KR102183214B1 - 영상 정보 인코딩 및 디코딩 방법 - Google Patents

영상 정보 인코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR102183214B1
KR102183214B1 KR1020207006631A KR20207006631A KR102183214B1 KR 102183214 B1 KR102183214 B1 KR 102183214B1 KR 1020207006631 A KR1020207006631 A KR 1020207006631A KR 20207006631 A KR20207006631 A KR 20207006631A KR 102183214 B1 KR102183214 B1 KR 102183214B1
Authority
KR
South Korea
Prior art keywords
sao
band
offset
bands
information
Prior art date
Application number
KR1020207006631A
Other languages
English (en)
Other versions
KR20200028049A (ko
Inventor
박승욱
김정선
전용준
박준영
전병문
임재현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20200028049A publication Critical patent/KR20200028049A/ko
Application granted granted Critical
Publication of KR102183214B1 publication Critical patent/KR102183214B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 정보 인코딩 및 디코딩 방법과 이를 이용한 장치에 관한 것으로서, 본 발명에 따른 영상 정보 인코딩 방법은 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계, 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계 및 적용된 SAO의 정보를 포함하는 영상 정보를 전송하는 단계를 포함하며, 상기 전송 단계에서는, 상기 SAO 적용 단계에서 밴드 오프셋이 적용되는 경우에, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 전송한다.

Description

영상 정보 인코딩 및 디코딩 방법{METHOD FOR ENCODING AND DECODING IMAGE INFORMATION}
본 발명은 영상 정보 압축 기술에 관한 것으로서, 더 구체적으로는 인-루프 필터(in-loop filter)로서 SAO(Sample Adaptive Offset)을 적용하는 방법에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.
본 발명의 기술적 과제는 영상 복원 효과를 향상시키기 위해 SAO를 적응적으로 적용하는 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 세기(intensity) 즉 픽셀 값별로 픽셀의 빈도를 고려하여 밴드 오프셋을 적용하는 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 유효 밴드에 대해서만 밴드 오프셋을 적용하기 위한 정보를 인코딩 장치로부터 디코딩 장치에 전달하기 위한 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 SAO 적용 유닛에 따라서 SAO를 복수 적용하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 기술적 과제는 영상 복원 효과를 높이기 위해 크로마 픽셀에 대해서 SAO를 적용하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 영상 정보 인코딩 방법으로서, 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계, 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계 및 적용된 SAO의 정보를 포함하는 영상 정보를 전송하는 단계를 포함하며, 상기 전송 단계에서는, 상기 SAO 적용 단계에서 밴드 오프셋이 적용되는 경우에, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 전송할 수 있다. 상기 전송 단계에서는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보와 함께, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋 값의 정보를 전송할 수 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함할 수 있다.
또한, 상기 밴드 오프셋이 적용되는 픽셀 값을 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함할 수도 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는 SAO 적용 단위별로 전송될 수도 있다.
본 발명의 다른 실시형태는 영상 정보 디코딩 방법으로서, 적용된 SAO(Sample Adaptive Offset)에 관한 SAO 정보를 포함하는 영상 정보를 수신하는 단계, 상기 수신한 정보를 기반으로 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계 및 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계를 포함하며, 상기 SAO 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 포함하고, 상기 SAO를 적용하는 단계에서 밴드 오프셋이 적용되는 경우에는, 상기 밴드 정보를 기반으로 지정된 밴드들에 대응하는 픽셀에 대해서 밴드 오프셋을 적용할 수 있다
상기 SAO 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋의 값을 포함할 수 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함할 수 있다.
또한, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함할 수도 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보에서는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들이 SAO 적용 단위별로 지정될 수도 있다.
본 발명의 또 다른 실시형태는 영상 정보 인코딩 장치로서, 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 필터부 및 상기 필터부에서 적용된 SAO 정보를 포함하는 영상 정보를 엔트로피 인코딩하여 전송하는 엔트로피 인코딩부를 포함하며, 상기 SAO 정보는, 상기 필터부에서 밴드 오프셋이 적용되는 경우에, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 포함할 수 있다.
상기 SAO 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋 값의 정보를 포함할 수 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함할 수 있다.
또한, 상기 밴드 오프셋이 적용되는 픽셀 값을 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함할 수도 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는 SAO 적용 단위별로 전송될 수도 있다.
본 발명의 또 다른 실시형태는 영상 정보 디코딩 장치로서, 수신한 비트스트림을 엔트로피 디코딩하여 영상 정보를 획득하는 엔트로피 디코딩부 및 상기 영상 정보를 기반으로 생성된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 필터링부를 포함하며, 상기 영상 정보는 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 포함하고, 밴드 오프셋이 적용되는 경우에, 상기 필터링부는 상기 지정된 밴드들에 대응하는 픽셀에 대해서 밴드 오프셋을 적용할 수 있다.
상기 영상 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋의 값을 포함할 수 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함할 수 있다.
또한, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함할 수도 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보에서는
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들이 SAO 적용 단위별로 지정될 수도 있다.
본 발명에 의하면, SAO를 적응적으로 적용함으로써 영상 복원의 효과를 높일 수 있다.
본 발명에 의하면, 유효 밴드에 대해서만 밴드 오프셋을 적용하고, 관련 정보를 인코딩 장치로부터 디코딩 장치에 전달함으로써, 정보 전달량을 줄일 수 있다.
본 발명에 의하면, SAO 적용 유닛에 따라서 SAO를 복수 적용함으로써 영상 복원의효과를 높일 수 있다.
본 발명에 의하면, 크로마 픽셀에 SAO를 적용함으로써 영상 복원 효과를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 밴드 오프셋을 개략적으로 설명하는 도면이다.
도 4는 동일한 영상에 대한 히스토그램의 로컬(local) 분포를 나타낸 것이다.
도 5 내지 7은 전체 픽셀 값의 범위를 적응적 또는 가변적으로 나누어 밴드 오프셋을 적용하는 방법의 예들을 개략적으로 설명하는 도면이다.
도 8은 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 9는 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 10은 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 또 다른 예를 개략적으로 설명하는 도면이다.
도 11은 블록 내에서 방향별로 나타날 수 있는 대표적인 에지의 형태를 예로서 나타낸 것이다.
도 12는 에지 오프셋의 4가지 에지 타입을 현재 픽셀(C)을 기준으로 나타낸 것이다.
도 13은 현재 픽셀과 주변 픽셀의 세기(intensity)를 비교하고, 네 가지 카테고리로 나눈 것을 개략적으로 설명하는 도면이다.
도 14는 SAO 적용 유닛을 개략적으로 설명하는 도면이다.
도 15 및 도 16은 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드 오프셋을 적용하는 예들을 개략적으로 설명하는 도면이다.
도 17은 본 발명이 적용되는 시스템에서 인코딩 장치의 동작을 개략적으로 나타내는 순서도이다.
도 18은 본 발명이 적용되는 시스템에서 디코딩 장치의 동작을 개략적으로 나타내는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다. 예컨대 휘도 샘플에 대해서는 1/4 픽셀 단위로, 색차 샘플에 대해서는 1/8 픽셀 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태를 가질 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N, 2N×N, N×2N, 또는 N×N 등의 크기를 가질 수 있다. 인트라 예측의 경우에 PU는 2N×2N 또는 N×N (N은 정수) 등의 크기를 가질 수 있다. 이때, N×N 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN, mN×N, 2N×mN 또는 mN×2N (m＜1) 등의 크기를 가지는 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 인코딩부(130)에서의 엔트로피 인코딩 효율을 높일 수도 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림을 영상 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 인코딩 장치에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 인코딩 장치에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 영상 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터링 등을 적용한다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
한편, 상술한 바와 같이, 인코딩 장치 및 디코딩 장치의 필터부는 인-루프(in-loop) 필터로서 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter)를 적용할 수 있다.
디블록킹 필터는 블록 단위의 예측, 변환, 양자화에 따른 블록 간의 아티팩트(artifacts)를 제거한다. 디블록킹 필터는 예측 유닛 에지(edge) 또는 변환 유닛 에지에 적용되며, 디블록킹 필터를 적용하기 위한 소정의 최저 블록 사이즈를 설정할 수 있다.
디블록킹 필터를 적용하기 위해서, 우선 수평 혹은 수직 필터 경계(boundary)의 BS(Boundary Strength)를 결정한다. BS를 기반으로 필터링을 수행할 것인지를 블록 단위로 결정한다. 필터링을 수행하기로 결정하면, 어떤 필터를 적용할 것인지를 정한다. 적용할 필터는 위크 필터(weak filter)와 스트롱 필터(strong filter) 중에서 선택될 수 있다. 필터링부는 선택된 필터를 해당 블록의 경계에 적용한다.
ALF(Adaptive Loop Filter)는 후술하는 SAO를 수행한 뒤에 적용할 수도 있다. ALF는 빈너 필터(Wiener filter)를 이용하여 부호화 에러를 보상하는 것으로서, SAO와 달리 슬라이스(slice) 내에 글로벌(global)하게 적용된다. ALF는 HE(High Efficiency)의 경우에만 적용되도록 할 수도 있다.
SAO는 디블록킹 필터링을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 절차이다. SAO를 통해서 부호화 에러(coding error)를 보상할 수 있으며, 부호화 에러는 양자화 등에 기인한 것일 수 있다.상술한 바와 같이, SAO에는 밴드 오프셋(band offset)과 에지 오프셋(edge offset)의 두 가지 타입이 있다.
도 3은 밴드 오프셋을 개략적으로 설명하는 도면이다.
밴드 오프셋을 적용하기 위해서, SAO 적용 유닛 내의 픽셀들은 각 픽셀의 세기(intensity), 즉 픽셀 값에 따라서 분류될 수 있다. 픽셀이 가질 수 있는 세기의 범위(intensity range) 즉, 픽셀 값의 범위는 소정 개수의 세기 구간(intensity interval)(픽셀 값의 구간) 즉, 소정 개수의 밴드(band)로 나뉠 수 있다 (본 명세서에서는 설명의 편의를 위해 ‘픽셀 값’을 ‘픽셀의 세기’를 혼용하나, ‘픽셀 값’과 ‘픽셀의 세기’는 동일한 의미 또는 ‘픽셀 값’이 ‘픽셀의 세기’를 포함하는 의미로 해석될 수 있다.). 픽셀에 적용되는 오프셋의 값은 각 밴드별로 설정될 수 있다. 픽셀 값이 속하는 밴드의 오프셋이 픽셀에 적용될 수 있다.
N 비트 픽셀들로 구성되는 영상에 대해서, 전체 픽셀 범위(intensity range)는 0 ∼ 2N-1이 될 수 있다. 예컨대, 8비트 픽셀의 경우에는 0 ∼ 255의 픽셀 범위를 가질 수 있다. 도 3에서는 전체 픽셀 값의 범위를 32개의 동일한 픽셀 값 구간을 가지는 밴드로 나누는 예를 도시하고 있다.
도 3을 참조하면, 각 밴드의 세기 구간은 8이 된다. 32개의 밴드를 중앙의 제1 그룹과 주변의 제2 그룹으로 나눌 수 있다. 각 그룹을 동일한 개수의 밴드로 구성한다면, 제1 그룹은 16개의 밴드로 구성되고, 제2 그룹 역시 16개의 밴드로 구성될 수 있다. 오프셋은 각 밴드별로 적용되며, 각 밴드별 오프셋 값이 디코딩 장치에 전송될 수 있다.
디코딩 장치에서는 인코딩 장치에서 밴드 오프셋을 적용하는 과정과 동일하게 픽셀들을 그룹핑(grouping)하고 픽셀이 속하는 밴드에 따라서, 전송된 오프셋 값을 픽셀에 적용한다.
한편, 상술한 바와 같이32개의 밴드를 2 개의 그룹으로 나누고 각각의 밴드에 대한 오프셋을 설정하는 방식 대신, 밴드 오프셋을 적응적으로 적용하는 것을 고려할 수 있다. 예를 들어, SAO를 적용하는 SAO 적용 유닛에 따라서, 밴드 오프셋을 적용하기 위한 밴드의 구간을 다르게 설정하거나, 밴드 오프셋을 적용할 밴드를 선택적으로 지정하거나, 밴드 오프셋을 적용하기 위한 그룹의 개수를 증가시킴으로써, 밴드 오프셋을 효과적으로 적용하는 방법을 고려할 수 있다.
이하, 본 발명이 적용되는 시스템에서 적응적으로 밴드 오프셋을 수행하는 방법을 설명한다.
도 4는 소정의 영상에 있어서, 해당 영상의 특성에 따른 히스토그램의 일 예를 나타낸 것이다. 구체적으로, 도 4에서는 도 4(a)의 영상에서 각 부분 영상별로 영상 특성에 따른 루마와 크로마 성분의 히스토그램의 다양한 예를 보여주고 있다.
예컨대, 도 4(a)의 A 영역과 B 영역에 대하여, 도 4(b)의 좌측에 있는 아래위 두 히스토그램은 원본(original) 영상의 루마 성분 히스토그램을 나타내며, 도 4(b)의 우측에 있는 아래위 두 히스토그램은 복원된(reconstructed) 영상의 루마 성분 히스토그램을 나타낸다.
도 4(a)의 A 영역과 B 영역에 대하여, 도 4(c)의 좌측에 있는 아래위 두 히스토그램은 원본(original) 영상의 크로마(Cr) 성분 히스토그램을 나타내며, 도 4(c)의 우측에 있는 아래위 두 히스토그램은 복원된(reconstructed) 영상의 크로마(Cr) 성분 히스토그램을 나타낸다.
또한, 도 4(a)의 A 영역과 B 영역에 대하여, 도 4(d)의 좌측에 있는 아래위 두 히스토그램은 원본(original) 영상의 크로마 성분(Cb) 히스토그램을 나타내며, 도 4(d)의 우측에 있는 아래위 두 히스토그램은 복원된(reconstructed) 영상의 크로마 성분(Cb) 히스토그램을 나타낸다.
도 4를 참조하면, 동일 픽처 내에서도 영역에 따라서 상이한 영상 특성을 보이며, 각각의 영역별로 영상의 특성에 따라서, 히스토그램은 다양한 분포를 가지는 것을 알 수 있다. 따라서, SAO를 적용하는 단위 영역(SAO 유닛)별로 밴드 오프셋을 적응적으로 적용함으로써 영상 품질을 높이고 압축 효율을 증가시킬 수 있다.
인코딩 장치 또는 디코딩 장치는 픽셀 값의 범위(pixel range)를 적응적으로 나누어 밴드 오프셋을 적용할 수 있다. 즉, 픽셀이 가질 수 있는 픽셀 세기의 범위(intensity range)를 적응적 또는 가변적으로 나누어 밴드 구간을 설정할 수 있다.
예컨대, 해당 블록의 영상에 대한 히스토그램이 픽셀 값 범위의 중심부에 집중되어 있다면, 픽셀 값 범위의 중심부는 더 세밀하게 나누어 좁은 구간을 가지는 밴드를 설정하고, 픽셀 값 범위의 주변부는 조금 덜 세밀하게 나누어 좀 더 큰 구간을 가지는 밴드를 설정할 수 있다.
구체적으로 N 비트의 픽셀에 대하여, 전체 픽셀 값의 범위(0 ∼ 2N-1)에서 중심부에 해당하는 픽셀의 분포가 많다면, 중심부에 작은 세기 구간(intensity interval), 즉 작은 픽셀 값 구간을 가지는 M 개의 밴드를 설정하고, 주변부에 큰 세기 구간(큰 픽셀 값 구간)을 가지는 L개의 밴드를 설정할 수 있다. 이때, M과 L은 동일한 값으로 설정될 수도 있고, 상이한 값으로 설정될 수도 있다.
반대로, 전체 픽셀 값의 범위에서 해당 블록의 영상에 대한 히스토그램이 주변부에 집중되어 있다면, 주변부를 더 세밀하게 나누어 밴드를 설정하고, 중심부는 조금 덜 세밀하게 나누어 밴드를 설정하는 방법을 생각할 수 있다.
구체적으로 N 비트의 픽셀에 대하여, 전체 세기 범위(0 ∼ 2N-1)에서 주변부에 해당하는 픽셀의 분포가 많다면, 주변부에 작은 세기 구간(intensity interval), 작은 픽셀 값 구간을 가지는 M 개의 밴드를 설정하고, 중심부에 큰 세기 구간(큰 픽셀 값 구간)을 가지는 L개의 밴드를 설정할 수 있다. 이때, M과 L은 동일한 값으로 설정될 수도 있고, 상이한 값으로 설정될 수도 있다.
도 5는 전체 픽셀 값의 범위를 적응적 또는 가변적으로 나누어 밴드 오프셋을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 5에서는 픽셀 값 범위의 중심부에 해당하는 픽셀이 많은 경우를 예로서 설명하고 있다.
도 5의 예에서, 픽셀 값의 범위가 256(0 ∼ 28-1)이라고 하면, 중심부의 제1 그룹은 4 픽셀 값을 하나의 밴드로 해서 16개의 밴드로 세밀하게 나누고, 주변부의 제2 그룹은 16 픽셀 값을 하나의 밴드로 해서 12개의 밴드로 나눌 수 있다.
또한, 해당 블록의 영상에 대한 히스토그램이 전체 픽셀 값 범위의 주변부에 집중되어 있는 경우에는, 도 5의 예와 반대로 중심부의 제1 그룹을 16 픽셀 값을 하나의 밴드로 해서 12개의 밴드로 나누고, 주변부의 제2 그룹은 4 픽셀 값을 하나의 밴드로 해서 16개의 밴드로 나눌 수도 있다.
도 6은 전체 픽셀 범위를 적응적 또는 가변적으로 나누어 밴드 오프셋을 적용하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 6에서는 전체 픽셀 값 범위의 주변부에 해당하는 픽셀이 많은 경우를 예로서 설명하고 있다.
한편, 전체 픽셀 값의 범위를 두 개의 밴드 그룹으로 분류하지 않고 SAO 적용 유닛에 따라서 더 많은 밴드 그룹으로 분류하는 방법을 이용할 수도 있다. 전체 픽셀 값의 범위를 더 조밀하게 나누어 오프셋을 적용할 수 있으므로, 영상 복원의 효과를 높일 수 있다. 예컨대, 밴드들을 두 그룹으로 나누는 것이 아니라, N 개의 그룹으로 나누어 인코딩 장치가 일부 픽셀 값 범위(range)에 대해서는 더 세밀한 오프셋 정보를 제공하도록 할 수 있다. 따라서, 디코딩 장치는 일부 픽셀 값 범위에 대해서는 더 세밀한 오프셋 정보를 인코딩 장치로부터 수신해서, 픽셀 값 범위에 따라 세밀한 오프셋을 적용할 수 있게 된다.
도 7은 전체 픽셀에 대한 픽셀 값의 범위(range)를 적응적 또는 가변적으로 나누어 밴드 오프셋을 적용하는 방법의 또 다른 예를 개략적으로 설명하는 도면이다.
도 7의 예에서는 전체 픽셀 값의 범위를 소정 개수의 밴드로 나누고, 밴드들을 4개의 그룹으로 나누어 밴드 오프셋을 적용하는 것을 설명하고 있다.
예컨대, 도 7에서, N이 8인 경우라면, 즉 픽셀 값에 할당된 비트가 8 비트라면, 전체 픽셀 값의 범위는 0 ∼ 255의 256개 값이 될 수 있다. 전체 픽셀 값의 범위를 32개의 밴드로 나누고, 동일한 개수의 밴드로 구성된 4개의 그룹을 설정한다면, 각 그룹은 8개의 밴드를 포함하며, 각 밴드는 8 픽셀 값의 구간을 가지게 된다.
전체 픽셀 값의 범위를 2개의 그룹이 아니라, 더 많은 그룹으로 나누어 각 그룹에 대한 오프셋 정보를 전송함으로써 영상의 국지적(local) 특성을 더 잘 반영할 수 있다.한편, 밴드 오프셋을 적용할 때 각 그룹이 커버하는 픽셀 값의 범위(range), 즉 세기의 범위가 고정되어 있으면, 그룹 내 특정 밴드의 발생 회수(특정 밴드에 해당하는 픽셀의 발생 회수 또는 특정 밴드에 대응하는 오프셋의 적용 회수)가 적을지라도 혹은 해당 밴드에 대한 밴드 오프셋의 값이 0일지라도 관련 정보를 전송하게 된다. 이 경우에도 관련 정보를 전송하는 것은 정보 전송량을 증가시키고 전체적인 시스템의 복잡도를 높이게 된다.
따라서, 이를 방지하기 위해 인코딩 장치에서 현재 픽처에 사용할 밴드 오프셋의 범위(range)를 전송할 수 있다. 즉 현재 픽처에 사용할 밴드 오프셋에 대응하는 밴드들의 범위 또는 구간을 전송하도록 할 수 있다.
구체적으로, 인코딩 장치는 밴드 오프셋이 적용되는 경우에, 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보와 해당 밴드들에 대한 오프셋 값에 관한 정보를 디코딩 장치에 전송할 수 있다. 인코딩 장치는 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버할 수 있는 밴드들을 지정할 수도 있고, 밴드 오프셋이 적용되는 픽셀 값의 범위만을 커버하는 밴드들을 지정할 수도 있다. 따라서, 전송되는 밴드들의 정보는 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 포함하는 밴드 구간의 정보일 수도 있고, 밴드 오프셋이 적용되는 픽셀 값의 범위만을 커버하는 밴드 구간을 지정하는 정보일 수도 있다.
디코딩 장치는 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보와 해당 밴드들에 대한 오프셋 값에 관한 정보를 인코딩 장치로부터 수신한다. 디코딩 장치는 밴드 오프셋을 적용하는 경우에, 대상 픽셀의 픽셀 값이 밴드 오프셋이 적용될 밴드들의 픽셀 값 범위에 속하는지를 판단한다. 대상 픽셀의 픽셀 값이 밴드 오프셋이 적용될 밴드들의 픽셀 값 범위에 속하는 경우에, 디코딩 장치는 대상 픽셀의 픽셀 값이 속하는 밴드에 대응하는 오프셋을 대상 픽셀에 적용할 수 있다. 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하고, 지정된 밴드들에 대해서만 적용할 오프셋의 값이 전송되므로, 지정된 밴드들 이외의 밴드들에 대해서는 오프셋을 적용하지 않거나 오프셋의 값을 0으로 설정할 수 있다.
예컨대, 인코딩 장치는 현재 픽처에서 어느 픽셀 값의 구간에 밴드 오프셋이 적용되는지에 관한 정보를 디코딩 장치에 전달할 수 있다. 인코딩 장치는 현재 픽처의 오프셋들이 특정한 픽셀 값(예컨대, 세기)의 범위(range)에서 주로 발생한다면, 해당 픽셀 값의 범위를 커버하는 밴드들을 지시하는 정보를 디코딩 장치에 전송할 수 있다. 즉, 균일한 구간을 가지는 밴드에 대하여 밴드 오프셋을 사용하는 경우에, 밴드 오프셋의 적용을 시작하는 밴드와 밴드 오프셋을 적용하는 밴드의 개수를 지정하거나, 밴드 오프셋의 적용을 종료하는 밴드와 밴드 오프셋을 적용하는 밴드의 개수를 지정하거나, 밴드 오프셋의 적용을 시작하는 밴드 및 종료하는 밴드를 지정함으로써 불필요한 오프셋 정보가 전송되거나 불필요한 오프셋이 수행되는 것을 방지할 수 있다.
도 8은 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 8의 예에서는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지시하는 방법을 설명하고 있다.
도 8을 참조하면, 전체 N개의 밴드들 중에서 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 n개인 경우에, 인코딩 장치는 n개의 밴드들 중에서 첫 번째 밴드를 지시하는 정보를 디코딩 장치에 전송한다.
예를 들어, 전체 픽셀 값의 범위에서 0의 픽셀 값을 포함하는 밴드를 0 번째 밴드라고 하고, 전체 픽셀 값의 범위에서 가장 큰 픽셀 값을 포함하는 밴드를 N-1번째 밴드라고 하자. 인코딩 장치는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 n 개의 밴드들 중 첫 번째 밴드인 i 번째 밴드를 지시하는 정보와 n개의 밴드들에 대한 오프셋 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 i 번째 밴드를 지시하는 정보와 n개의 밴드들에 대한 오프셋 정보를 수신한다. 현재 픽처 또는 현재 SAO 적용 유닛 내의 픽셀들은 상기 n 개의 밴드들 중 어느 하나에 해당하는 픽셀 값을 가지며, 디코딩 장치는 픽셀 값에 따라서 각 픽셀에 밴드 오프셋을 적용할 수 있다.
도 8의 예에서, 전체 픽셀 값의 범위가 0∼ 256이고, 전체 밴드의 개수가 32인 경우에, 인코딩 장치는 0번째 밴드부터 31번째 밴드 중에서, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지시할 수 있다. 이때, n의 값은 인코딩 장치와 디코딩 장치 사이에 미리 결정되어 있을 수 있다. 가령, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 4개이고 4개의 밴드들 중 첫 번째 밴드가 i 번째 밴드라면, 인코딩 장치는 i 번째 밴드를 지시하는 정보와 함께, i, i+1, i+2, i+3 번째 밴드들에 대한 밴드 오프셋 값을 디코딩 장치에 전송할 수 있다.
도 9는 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 9의 예에서는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지시하는 방법을 설명하고 있다.
도 9를 참조하면, 전체 N개의 밴드들 중에서 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 n개인 경우에, 인코딩 장치는 n개의 밴드들 중에서 마지막 밴드를 지시하는 정보를 디코딩 장치에 전송한다.
예를 들어, 전체 픽셀 값의 범위에서 0의 픽셀 값을 포함하는 밴드를 0 번째 밴드라고 하고, 전체 픽셀 값의 범위에서 가장 큰 픽셀 값을 포함하는 밴드를 N-1번째 밴드라고 하자. 인코딩 장치는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 n 개의 밴드들 중 마지막 밴드인 j 번째 밴드를 지시하는 정보와 n개의 밴드들에 대한 오프셋 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 j 번째 밴드를 지시하는 정보와 n개의 밴드들에 대한 오프셋 정보를 수신한다. 현재 픽처 또는 현재 SAO 적용 유닛 내의 픽셀들은 상기 n 개의 밴드들 중 어느 하나에 해당하는 픽셀 값을 가지며, 디코딩 장치는 픽셀 값에 따라서 각 픽셀에 밴드 오프셋을 적용할 수 있다.
도 9의 예에서, 전체 픽셀 값의 범위가 0∼ 256이고, 전체 밴드의 개수가 32인 경우에, 인코딩 장치는 0번째 밴드부터 31번째 밴드 중에서, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지시할 수 있다. 이때, n의 값은 인코딩 장치와 디코딩 장치 사이에 미리 결정되어 있을 수 있다. 가령, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 4개이고 4개의 밴드들 중 마지막 밴드가 j 번째 밴드라면, 인코딩 장치는 j 번째 밴드를 지시하는 정보와 함께, j, j-1, j-2, j-3 번째 밴드들에 대한 밴드 오프셋 값을 디코딩 장치에 전송할 수 있다.
도 10은 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 또 다른 예를 개략적으로 설명하는 도면이다. 도 10의 예에서는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드(시작 밴드)와 마지막 밴드(종료 밴드)를 지시하는 방법을 설명하고 있다.
도 10을 참조하면, 전체 N개의 밴드들 중에서 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 n개인 경우에, 인코딩 장치는 n개의 밴드들 중 첫 번째 밴드와 마지막 밴드를 지시하는 정보를 디코딩 장치에 전송한다.
예를 들어, 전체 픽셀 값의 범위에서 0의 픽셀 값을 포함하는 밴드를 0 번째 밴드라고 하고, 전체 픽셀 값의 범위에서 가장 큰 픽셀 값을 포함하는 밴드를 N-1번째 밴드라고 하자. 인코딩 장치는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 n 개의 밴드들 중 첫 번째 밴드인 i번째 밴드와 마지막 밴드인 j 번째 밴드를 지시하는 정보, 그리고 n개의 밴드들에 대한 오프셋 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터i번째 밴드와j 번째 밴드를 지시하는 정보, 그리고 n개의 밴드들에 대한 오프셋 정보를 수신한다. 현재 픽처 또는 현재 SAO 적용 유닛 내의 픽셀들은 상기 n 개의 밴드들 중 어느 하나에 해당하는 픽셀 값을 가지며, 디코딩 장치는 픽셀 값에 따라서 각 픽셀에 밴드 오프셋을 적용할 수 있다.
도 10의 예에서, 전체 픽셀 값의 범위가 0∼ 256이고, 전체 밴드의 개수가 32인 경우에, 인코딩 장치는 0번째 밴드부터 31번째 밴드 중에서, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드와 마지막 밴드를 지시할 수 있다. 가령, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 4개이고 4개의 밴드들 중 첫 번째 밴드가 i 번째 밴드이고 마지막 밴드가 j 번째 밴드라면, 인코딩 장치는 i번째 밴드와 j 번째 밴드를 지시하는 정보 그리고, i, i+1, i+2, i+3 (=j) 번째 밴드들에 대한 밴드 오프셋 값을 디코딩 장치에 전송할 수 있다.
이때, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수 n의 값은 인코딩 장치와 디코딩 장치 사이에 미리 결정되어 있을 수 있다. 또한, 밴드 오프셋이 적용될 밴드들 중 첫 번째 밴드와 마지막 밴드를 지시하는 경우에는, 인코딩 장치에서 밴드 오프셋이 적용될 픽셀 값의 범위를 판단하여 밴드 오프셋이 적용될 밴드의 개수를 가변적으로 지정할 수도 있다.
가령, 전체 픽셀 값의 범위가 0∼ 256이고, 전체 밴드의 개수가 32이고, 각 밴드가 8픽셀 값들의 균등한 구간을 가진다고 하자. 현재 픽처에서 오프셋들이 주로 픽셀 값 범위 32에서 160 사이에 발생한다면, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드는 0번째 밴드부터 31번째 밴드들 중 4번째 밴드부터 20번째 밴드가 된다. 인코딩 장치는 밴드 오프셋이 적용되는 밴드들 중에서 첫 번째 밴드와 마지막 밴드를 지시하는 정보(예컨대, band_start 및 band_end)를 디코딩 장치에 전달할 수 있다. 전체 밴드들 중 4번째 밴드부터 20번째 밴드까지 밴드 오프셋이 적용된다면, band_start=4 및 band_end=20과 같은 정보가 인코딩 장치로부터 디코딩 장치로 전송될 수 있다.
상술한 도 8 내지 도 10의 예에서, 인코딩 장치는 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들, 즉 밴드 오프셋이 적용되는 밴드들의 구간을 SAO 적용 유닛별, SAO가 적용되는 픽처별 또는 SAO가 적용되는 슬라이스별로 설정해서 디코딩 장치에 전송할 수도 있다.
한편, 각 밴드에 속하는 픽셀 값의 발생 회수, 즉 밴드 오프셋이 적용된 밴드의 발생 회수를 밴드별로 카운트하여 발생 빈도가 높은 밴드에 대해서 인코딩 장치가 밴드 오프셋 값을 디코딩 장치에 전송하도록 할 수도 있다.
예컨대, 전체 픽셀 값의 범위를 0부터 31의 32개 밴드가 커버하고, 이 중에서 발생 빈도가 높은 밴드가 0, 4, 5, 6, 7, 9, 12, 15, 19, 20, 23, 25라고 하면, 인코딩 장치는 발생 빈도가 높은 이들 밴드에 대해서만 밴드 오프셋 값을 디코딩 장치에 전송하고, 발생 빈도가 낮은 밴드들에 대해서는 밴드 오프셋으로 적용할 오프셋 값을 전송하지 않을 수 있다.
이 경우에 인코딩 장치는 어떤 밴드에 대한 오프셋 값을 전송하는지에 관한 정보를 디코딩 장치에 추가로 전송할 수 있다.
SAO의 두 번째 타입으로서, 상술한 밴드 오프셋 외에 에지 오프셋이 있다. 에지 오프셋은 픽셀별 에지 정보, 예컨대 현재 픽셀을 기준으로 한 에지의 방향 그리고 현재 픽셀과 주변 픽셀의 세기 등을 고려하여 오프셋을 적용한다.
도 11은 블록 내에서 방향별로 나타날 수 있는 대표적인 에지의 형태를 예로서 나타낸 것이다. 도 11을 참조하면, 도 11의 (a)는 90도의 방향을 가지는 에지, (b)는 0도의 방향을 가지는 에지, (c)는 45도의 방향을 가지는 에지, (d)는 135도의 방향을 가지는 에지가 각각 나타내고 있다.
에지 오프셋은 에지의 각도 또는 방향에 따라 하나의 필터링을 위한 유닛, 즉 SAO 적용 유닛을 위한 4 가지 종류가 사용될 수 있다. SAO 적용 유닛의 최소 단위는 LCU(Largest Coding Unit)일 수 있다. 이하, 설명의 편의를 위해, 도 11과 같은 SAO 적용 유닛상의 4가지 에지 종류를 에지 오프셋의 에지 타입이라고 한다.
도 12는 에지 오프셋의 4가지 에지 타입을 현재 픽셀(C)을 기준으로 나타낸 것이다. 도 12를 참조하면, 도 12의 (a)는 1차원 0 도(0 degree)의 에지 타입을 나타내며, (b)는 1차원 90도의 에지 타입을 나타내고, (c)는 1차원 135도의 에지 타입을 나타내며, (d)는 1차원 45도의 에지 타입을 나타낸다.
도 12에 도시된 네 가지 에지 타입에 따라서, 에지 오프셋이 이용될 수 있다.
에지 타입이 결정되면, 현재 픽셀과 주변 픽셀 사이의 관계를 반영하여 에지 오프셋을 적용한다.
도 13은 현재 픽셀과 주변 픽셀의 세기(intensity)를 비교하고, 네 가지 카테고리로 나눈 것을 개략적으로 설명하는 도면이다. 도 13을 참조하면, 도 13의 (a) 내지 (f)는 각 카테고리별로 현재 픽셀과 인접 픽셀의 관계를 나타낸 것이다.
도 13의 (a)에 도시된 카테고리는 현재 픽셀보다 인접하는 두 픽셀의 세기가 더 큰 경우를 나타낸다. 도 13의 (b)와 (c)에 도시된 카테고리는 현재 픽셀에 인접하는 두 픽셀 중 한 픽셀의 세기가 현재 픽셀보다 작은 두 경우를 나타낸다. 도 13의 (d)와 (e)에 도시된 카테고리는 현재 픽셀에 인접하는 두 픽셀 중 한 픽셀의 세기가 현재 픽셀보다 큰 두 경우를 나타낸다. 도 13의 (f)에 도시된 카테고리는 현재 픽셀에 인접하는 두 픽셀의 세기가 현재 픽셀보다 작은 경우를 나타낸다.
도 13의 (a)와 (f)는 현재 픽셀의 세기가 주변 픽셀의 세기와 대비하여 더 크거나 더 작은 경우를 나타낸다. 또한, 도 13의 (b) 내지 (e)는 현재 픽셀이 소정의 영역의 경계(boundary)에 위치하는 경우에 나타날 수도 있다.
표 1은 도 13에 도시된 네 가지 카테고리를 나타낸 것이다.
Figure 112020023740743-pat00001
표 1에서 C는 현재 픽셀을 나타낸다. 표 1의 카테고리 1은 도 13의 (a)에 대응하며, 표 1의 카테고리 2는 도 13의 (b)와 (c)에 대응하고, 표 1의 카테고리 3은 도 13의 (d)와 (e)에 대응하며, 표 1의 카테고리 4는 도 13의 (f)에 대응한다.
인코딩 장치는 각 카테고리별로 에지 오프셋 값을 전송한다. 디코딩 장치는 픽셀들에 대한 에지 타입과 카테고리에 대응하는 에지 오프셋 값을 더해서 픽셀을 복원할 수 있다. 예컨대, 현재 픽셀이 도 11의 4 가지 에지 타입 중 어느 타입에 속하는지를 결정한 뒤에, 표 1의 카테고리 중 어느 카테고리에 속하는지를 결정해서 해당 카테고리의 오프셋을 현재 픽셀에 적용할 수 있다.
한편, 필터링 유닛, 즉 SAO를 적용하는 유닛(설명의 편의를 위해, SAO 적용 유닛이라 함)은 LCU(Largest Coding Unit)보다 같거나 큰 사이즈의 유닛으로서, LCU 경계에 맞춰 정렬되는(aligned) 유닛들이다.
SAO가 적용되는 유닛은 하나의 픽처가 쿼드 트리(quadtree) 구조로 분리된 영역으로서, 인코딩 장치는 각 SAO 적용 유닛별로 SAO 적용 여부, 오프셋 타입, 오프셋의 값을 결정하여 디코딩 장치에 전송할 수 있다. 여기서 오프셋 타입을 결정한다는 것은 복수의 밴드 오프셋과 복수의 에지 오프셋 중 어느 것을 적용하는가를 결정하는 것이다. SAO 적용 유닛은 루마 성분과 크로마 성분에 대하여 별도로 설정될 수도 있고, SAO 적용 유닛에 대한 정보는 루마 성분과 크로마 성분에 대하여 별도로 전송될 수도 있다.
도 14는 SAO 적용 유닛을 개략적으로 설명하는 도면이다. 도 14에서 SAO 적용 유닛은 점선으로 구분된 영역에 해당한다. 도 14의 예에서는 WQVGA(416x240) 영상을 쿼드트리(quadtree) 구조로 분할한 SAO 적용 유닛을 나타내고 있다. 각 SAO 적용 유닛은 최소한 LCU보다 커야 하며, LCU의 경계를 따라서 분할될 수 있다.
상술한 바와 같이, SAO 적용 유닛의 가장 작은 단위는 LCU이지만, 작은 영상일수록 LCU는 단일 오프셋을 적용하기에 너무 큰 사이즈일 수 있다. 예컨대, LCU가 64x64인 경우에, LCU는 단일 오프셋만으로 원본 영상을 복원하기에 너무 큰 SAO 적용 유닛이 될 수 있다. 따라서, 하나의 LCU 안에 서로 다른 둘 이상의 에지가 존재하는 경우에는, 하나의 LCU 안에 둘 이상의 에지 오프셋이 적용되도록 할 수도 있다.
하나의 SAO 적용 유닛 내에 복수의 에지 오프셋이 적용되는 경우에는, 영역 내 에지의 방향에 따라서 도 12의 (a) 내지 (d) 중 복수의 에지 타입을 선택해서 적용할 수 있다.
이하, 상술한 SAO의 밴드 오프셋과 에지 오프셋을 수행하기 위한 신택스 정보에 대해서 설명한다.
표 2는 SAO를 적용하기 위한 신택스 구조로서 시퀀스 파라미터 셋(parameter set) 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00002
표 2의 예에서는 현재 시퀀스에 SAO가 적용되는지를 지시하는 시그널링의의 예를 나타내고 있다. 예컨대, 표 2의 신택스에서sao_used_flag의 값이 0이면 현재 시퀀스에 대해서는 SAO가 사용되지 않는 것(disabled)을 지시하며, sao_used_flag의 값이 1이면 현재 시퀀스에 대해 SAO가 사용될 수 있는 것(enabled)을 지시한다.
표 3은 SAO를 적용하기 위한 신택스 구조로서 슬라이스 해더 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00003
표 3에 나타난 슬라이스 헤더 신택스를 통해서, SAO 적용을 위한 SAO 파라미터(sao_param())를 슬라이스 헤더 레벨에서 콜링할 수 있다. SAO 파라미터는 표 4와 같이 별도의 신택스 셋(set)으로 설정될 수 있다.
표 4는 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00004
SAO 파라미터 신택스를 통해서 SAO를 적용하기 위해 필요한 파라미터들이 전송될 수 있다. 전송되는 파라미터들은 표 4의 예에서와 같이, SAO 적용 영역의 분할에 관한 sao_split_param과 SAO로 적용되는 오프셋에 관한 sao_offset_param 등이 있다.
표 4의 예에서, sao_flag의 값이 1이면 현재 픽처의 적어도 일부에 대해서SAO가 적용될 수 있다(enable)는 것을 지시하며, sao_flag의 값이 0이면 현재 픽처 전체에 대해서 SAO가 적용될 수 없다(disabled)는 것을 지시한다. 따라서, sao_flag의 값이 1이면 SAO 파라미터들이 지시될 수 있다.
표 5는 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 중 분할에 관한 sao_split_param 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00005
표 5의 예에서 sao_split_param(x, y, Depth)는 sao_split_flag를 통해 (x, y)가 지정하는 위치 및 ‘Depth’가 지정하는 깊이에서의 SAO 적용 유닛이 더 분할되는지에 관한 정보를 시그널링한다는 것을 나타낸다. sao_split_flag의 값이 0이면 현재 영역(region)이 리프(leaf)라는 것을 지시한다. 따라서, 현재 영역은 SAO 적용을 위해 더 이상 분할되지 않는다. sao_split_flag의 값이 1이면 현재 영역은 네 개의 자식(children) 영역으로 더 분할된다는 것을 지시한다. SAO 적용 영역이 분할되면, 분할된 네 영역에 대한 분할 파라미터(pqao_split_param)가 지시될 수 있다.
pqao_split_param는 SAO 적용 유닛이 더 분할되는 경우에, 분할된 영역별로 SAO 적용 유닛이 더 분할되는지를 지시한다. 해당 깊이에서 SAO 적용 유닛의 분할 여부를 지시한다는 점에서, 신택스 pqao_split_param 대신에 분할된 영역에 대해서 신택스 sao_split_param를 재차 사용하되, 지시하는 영역의 깊이를 변경하여 적용하도록 할 수도 있다. 예컨대, SAO 를 적용하기 위한 영역의 분할 여부를 지시함에 있어서, 분할 여부의 지시 대상이 되는 영역과 그 깊이가(x0, y0, saoDepth)라고 할 때, sao_split_param(x0, y0, saoDepth)가 해당 영역 (x0, y0)이 분할된다는 것을 지시한 경우에는, 분할된 각 영역 (x0+0, y0+0), (x0+0, y0+1), (x0+1, y0+0), (x0+1, y0+1)에 대해, 깊이를 ‘saoDepth+1’으로 조정하여 다시 분할 여부를 지시할 수 있다.
표 6은 본 발명에 따라서 밴드 오프셋을 적용하기 위한 신택스로서, 밴드 오프셋을 적용할 소정의 밴드들에 대한 오프셋 정보를 전송하는 방법의 일 예를 개략적으로 나타내고 있다.
Figure 112020023740743-pat00006
표 6의 예에서, sao_type_idx의 값은 SAO 중 밴드 오프셋과 에지 오프셋의 어느 것이 적용되는지를 지시한다. 표 6의 예에서, sao_type_idx의 값이 0일 때는 밴드 오프셋과 에지 오프셋이 적용되지 않는 것을 지시한다.
sao_type_idx의 값이 밴드 오프셋의 적용을 지시하는 경우에, 인코딩 장치는 start_offset의 신택스를 통해 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 첫 번째 밴드를 지시할 수 있다. 이어서, start_offset으로 지시된 밴드를 포함한 n개의 밴드에 대한 밴드 오프셋(SAO 오프셋) 값을 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 수신한 정보를 통해, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 첫 번째 밴드를 결정하고, 첫 번째 밴드를 포함하는 n 개의 밴드들에 대한 오프셋 정보를 획득할 수 있다.
디코딩 장치는 픽셀의 값이 n 개의 밴드 중 어느 하나에 해당하는 경우에는, 픽셀 값이 속하는 밴드의 밴드 오프셋 값을 해당 픽셀에 적용할 수 있다.
표 7은 본 발명에 따라서 밴드 오프셋을 적용하기 위한 신택스로서, 밴드 오프셋을 적용할 소정의 밴드들에 대한 오프셋 정보를 전송하는 방법의 다른 예를 개략적으로 나타내고 있다.
Figure 112020023740743-pat00007
표 7의 예에서도, sao_type_idx의 값은 SAO 중 밴드 오프셋과 에지 오프셋의 어느 것이 적용되는지를 지시하며, sao_type_idx의 값이 0일 때는 밴드 오프셋과 에지 오프셋이 적용되지 않는 것을 지시한다.
*sao_type_idx의 값이 밴드 오프셋의 적용을 지시하는 경우에, 인코딩 장치는 end_offset의 신택스를 통해 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 마지막 밴드를 지시할 수 있다. 이어서, end_offset으로 지시된 밴드를 포함한 n개의 밴드에 대한 밴드 오프셋(SAO 오프셋) 값을 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 수신한 정보를 통해, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 마지막 밴드를 결정하고, 마지막 밴드를 포함하는 n 개의 밴드들에 대한 오프셋 정보를 획득할 수 있다.
디코딩 장치는 픽셀의 값이 n 개의 밴드 중 어느 하나에 해당하는 경우에는, 픽셀 값이 속하는 밴드의 밴드 오프셋 값을 해당 픽셀에 적용할 수 있다.
표 8은 본 발명에 따라서 밴드 오프셋을 적용하기 위한 신택스로서, 밴드 오프셋을 적용할 소정의 밴드들에 대한 오프셋 정보를 전송하는 방법의 또 다른 예를 개략적으로 나타내고 있다.
Figure 112020023740743-pat00008
표 8의 예에서도, sao_type_idx의 값은 SAO 중 밴드 오프셋과 에지 오프셋의 어느 것이 적용되는지를 지시하며, sao_type_idx의 값이 0일 때는 밴드 오프셋과 에지 오프셋이 적용되지 않는 것을 지시한다.
sao_type_idx의 값이 밴드 오프셋의 적용을 지시하는 경우에, 인코딩 장치는 start_offset과 end_offset의 신택스를 통해 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 첫 번째 밴드와 마지막 밴드를 지시할 수 있다. 이어서, 지정된 첫 번째 밴드부터 마지막 밴드까지 n 개의 밴드에 대한 밴드 오프셋(SAO 오프셋) 값을 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 수신한 정보를 통해, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들을 첫 번째 밴드와 마지막 밴드를 통해 결정하고, 첫 번째 밴드부터 마지막 밴드까지의 n 개 밴드들에 대한 오프셋 정보를 획득할 수 있다.
디코딩 장치는 픽셀의 값이 n 개의 밴드 중 어느 하나에 해당하는 경우에는, 픽셀 값이 속하는 밴드의 밴드 오프셋 값을 해당 픽셀에 적용할 수 있다.
상술한 바와 같이, 인코딩 장치는 밴드 오프셋을 적용하는 경우에, 현재 픽처 또는 현재 SAO 적용 유닛에 대하여 밴드 오프셋을 적용할 픽셀 값을 커버하는 밴드들의 범위를 지시하는 정보를 디코딩 장치에 전송할 수 있다. 또한, 인코딩 장치는 상기 범위에 속하는 밴드들에 대한 밴드 오프셋 값을 디코딩 장치에 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 밴드 오프셋이 적용되는 밴드들을 지시하는 정보와 상기 밴드들에 대한 밴드 오프셋 정보를 수신할 수 있다. 디코딩 장치는 픽셀 값이 상기 밴드 오프셋이 적용되는 밴드들에 속하는 경우에 대응하는 밴드의 오프셋 값을 해당 픽셀에 적용할 수 있다.
표 9는 본 발명에 따른 밴드 오프셋을 적용하는 경우에, SAO를 수행하기 위한 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00009
표 9를 참조하면, SAO 적용 영역이 분할되는 경우에는 분할되는 각 영역 별로 오프셋 파라미터를 지시할 수 있다.
SAO 적용 영역이 더 이상 분할되지 않는 경우에는 해당 SAO 적용 영역에 대한 오프셋 타입이 지시된다.
표 9의 예에서, sao_type_idx는 현재 영역에 적용되는 오프셋 타입을 지시한다. 현재 영역에 적용되는 SAO타입(sao_type_idx)에 따라서SAO오프셋의 개수 또는 SAO 카테고리의 개수가 결정될 수 있다.
표 9의 예에서, sao_type_idx의 값이 0인 경우는 SAO가 적용되지 않는다는 것을 의미할 수 있으며, sao_type_idx의 값이 1 내지 4인 경우에는 에지 오프셋이 적용되는 것을 지시할 수 있다. sao_type_idx의 값 중 1 내지 4는 도 12에 도시된 에지 오프셋의 네 가지 타입에 대응할 수 있다. sao_type_idx의 값이 4 이상인 경우에는 밴드 오프셋이 적용되는 것을 지시할 수 있다. 예컨대, 표 6 내지 7과 같이, 밴드 오프셋이 적용될 소정 범위의 밴드를 지시하는 경우라면, sao_type_idx의 값이 5인 경우에 밴드 오프셋의 적용을 지시하는 것으로 설정할 수 있다. 또한, 상술한 바와 같이, 전체 픽셀 값의 범위를 소정의 밴드들로 구성된 그룹으로 나누고, 현재 픽셀 또는 현재 SAO 적용 유닛이 어떤 그룹에 속하는지를 지시하는 경우에는, 4보다 큰 sao_type_idx의 값들이 각각 밴드들의 그룹을 지시하도록 할 수도 있다.
표 9의 예에서는, 밴드 오프셋이 적용되는 경우에, start_offset과 end_offset을 통해서, 밴드 오프셋이 적용되는 밴드들을 지정하고 해당 밴드들에 대한 밴드 오프셋 값을 전송하는 예를 나타내고 있다.
오프셋 타입에 따른 SAO 오프셋의 개수 또는 SAO 카테고리의 개수를 나타내는 신택스 정보의 예로서, PqaoOffsetNum[sao_type_idx]를 들 수 있다.
표 9의 예에서, start_offset은 오프셋이 적용되는 밴드 또는 에지 타입의 가장 작은 수(the smallest number)의 밴드 또는 에지 타입, 즉 가장 작은 인덱스의 밴드 또는 에지 타입을 지시할 수 있다. start_offset이 이용될 수 없는 경우라면(if ‘start_offset’ is not available), start_offset이 0의 값을 가지는 것으로 추정될 수도 있다. 또한, end_offset은 이용되는 밴드 또는 에지 타입 중 가장 큰 수(the largest number)의 밴드 또는 에지 타입, 즉 가장 큰 인덱스의 밴드 또는 에지 타입을 지시할 수 있다. end_offset이 이용될 수 없는 경우라면, end_offset의 값을 상술한 바와 같이 sao 타입(sao_type_idx)에 따라서 결정되는 SAO 카테고리의 수(오프셋의 수), PqaoOffsetNum[sao_type_idx]로 설정할 수 있다.
표 10은 SAO 오프셋 타입의 일 예를 개략적으로 나타낸 것이다. 표 9를 통해서, 상술한 바와 같이, 오프셋 타입에 따라 SAO 카테고리(오프셋의 개수)를 결정할 수도 있다.
Figure 112020023740743-pat00010
표 10과 같이, SAO 타입 인덱스는 에지 오프셋과 밴드 오프셋들 중에서 하나를 지시할 수 있다. 표 10에서는 전체 밴드를 두 개의 그룹으로 나누어 밴드 오프셋을 적용하는 경우를 예로서 나타낸 것으로서, SAO 타입 인덱스는 4개의 에지 오프셋과 두 개의 밴드 오프셋 중 하나를 지시한다. 각 SOA 타입을 구성하는 카테고리별로 오프셋 값이 설정된다. 예컨대, 에지 오프셋의 경우에는 각 에지 타입에 대하여 현재 픽셀과 주변 픽셀의 세기에 따른 4 개씩의 카테고리별로 오프셋 값이 설정될 수 있다.
표 11은 밴드 그룹의 개수를 적응적으로 설정하여 밴드 오프셋을 적용하는 경우의 SAO 오프셋 타입에 관한 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00011
표 11의 예에서는 중앙 밴드와 주변 밴드의 카테고리 개수를 달리하고 있다. 예컨대, 256 픽셀의 경우에, 표 10의 경우에는 8 픽셀 값씩 16개 밴드로 구성되는 중앙 밴드와 주변 밴드를 구성한 반면에, 표 11의 경우에는 4 픽셀 값씩의 16개 밴드로 구성된 중앙 밴드와 16 픽셀 값씩의 12 개 밴드로 구성된 주변 밴드를 이용해서 밴드 오프셋을 적용한다. 따라서, 중앙의 밴드들에 대하여 더 세밀하게 오프셋을 적용할 수 있다.
표 12는 밴드 그룹을 적응적으로 나누어 밴드 오프셋을 적용하는 경우의 SAO 오프셋 타입에 관한 다른 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00012
표 12에서는 표 11의 경우와 달리, 주변 밴드를 더 세밀하게 나누어 밴드 오프셋을 적용하는 예를 나타내고 있다. 예컨대, 표 12에서는 16 픽셀 값씩의 12개 밴드로 구성된 중앙 밴드와 4 픽셀 값씩의 16 개 밴드로 구성된 주변 밴드를 이용해서 밴드 오프셋을 적용한다. 따라서, 주변의 밴드들에 더 세밀하게 오프셋을 적용할 수 있다.
표 13은 더 많은 밴드 그룹을 지정하여 밴드오프셋을 적용하는 경우의 SAO 타입에 관한 테이블의 예이다.
Figure 112020023740743-pat00013
표 13의 예에서는 8 픽셀 값씩의 8 밴드로 각 밴드 그룹을 형성한다. 각 밴드 그룹은 도 7과 같이 전체 밴드에 대해 좌측부터 차례로 그루핑될 수 있다.
표 14는 밴드 오프셋에 대하여, 밴드 오프셋이 적용될 픽셀 값을 커버하는 소정의 밴드들을 지정하여 밴드 오프셋을 적용하는 경우의 SAO 타입에 관한 테이블의 예이다.
Figure 112020023740743-pat00014
표 14의 예에서 밴드 오프셋이 적용되는 경우에는, 인코딩 장치가sao_type_idx의 값으로서 5의 값을 디코딩 장치에 전송할 수 있다. 이와 함께, 인코딩 장치는 밴드 오프셋이 적용될 밴드들의 범위를 지정하고 해당 범위의 밴드들에 대한 밴드 오프셋의 값을 상술한 바와 같이 디코딩 장치에 전송할 수 있다.
표 6 내지 9에서는 표 10 내지 14에 나타낸 바와 같은 SAO 타입들(에지 타입) 중 현재 픽셀에 적용될 SAO 타입을 상술한 sao_type_idx를 통해서 지시할 수 있다. 표 10 내지 14을 참조하면, sao_type_idx의 값이 4보다 큰 경우에는 상술한 바와 같이 밴드 오프셋이 적용된다.
표 15는 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 중 오프셋에 관한 sao_offset_param 신택스의 다른 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00015
표 15는 유효한 밴드 오프셋만을 전송하는 신택스 구조의 일 예를 나타낸 것이다. 여기서 유효한 밴드 오프셋은 적용 가능한 밴드 오프셋을 의미한다.
유효한 밴드 오프셋에 관한 정보만 전송되므로, 적용하는 밴드 오프셋의 개수에 관한 정보, 밴드 오프셋을 지시하는 정보, 오프셋의 값을 지시하는 정보 등이 전송될 필요가 있다.
total_offset_num_minus_one은 밴드 오프셋의 전체 오프셋 개수를 지시한다. offset_idx[i]는 sao_type_idx를 통해 지시된 밴드 오프셋에 대해, 어떤 카테고리에 해당하는지를 지시한다. sao_offset은 해당 위치 및 깊이에서 offset_idx[i]를 통해 지시된 카테고리에 대한 오프셋 값을 지시한다.
상술한 바와 같이, 하나의 SAO 적용 유닛에 대해 복수의 에지 오프셋을 적용할 수 있다.
표 16은 하나의 SAO 적용 유닛에 복수의 에지 오프셋을 적용하는 경우의 신택스 구조의 일 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00016
표 16과 표 10 내지 14의 예를 참조하면, sao_type_idx의 값이 5보다 작은 경우에는 에지 오프셋이 적용된다. num_edge_offset은 에지 오프셋의 전체 오프셋 개수를 지시한다.
표 13을 참조하면, num_edge_offset이 지시하는 만큼 해당 SAO 적용 영역에 에지 오프셋을 적용할 수 있다.
한편, SAO를 적용함에 있어서, 루마와 크로마 사이의 차이를 고려하여, 크로마에 대해 SAO를 적용할 수 있다.
도 4는 동일한 영상에 대한 히스토그램의 로컬(local) 분포를 나타낸 것이다. 상술한 바와 같이, 동일한 동영상의 한 이미지인 도 4 (a)의 A와 B 영역에 대하여, 도 4 (b)는 루마 오리지널(luma original) 영상과 복원된(reconstructed) 영상 간의 히스토그램 차이를 나타내고 있다.
도 4 (c)는 도 4 (a)의 A와 B 영역에 대하여, 크로마(Cr) 오리지널 영상에 대한 히스토그램(도 4(c)의 좌측 상하)과 복원된 영상에 대한 히스토그램(도 4(c)의 우측 상하) 간의 차이를 나타내고 있다.
또한, 도 4(d)는 크로마(Cb) 오리지널 영상에 대한 히스토그램(도 4(d)의 좌측 상하)과 복원된 영상에 대한 히스토그램(도 4(d)의 우측 상하) 간의 차이를 나타내고 있다.
도 4를 참조하면, 동일한 영상에 대하여, 루마와 크로마 사이에 영상 특성의 차이가 존재하는 것을 알 수 있다. 따라서, 루마 픽셀에 대한 신호(signal)의 오프셋뿐만 아니라, 크로마 픽셀에 대한 신호(signal)의 오프셋도 독립적으로 전송하도록 할 수도 있다. 이때, 루마 픽셀의 수와 크로마 픽셀의 수를 고려하여, 크로마 픽셀에 오프셋을 적용하도록 할 수도 있다.
예컨대, 크로마 신호의 범위(range), 즉 크로마 픽셀의 픽셀 값의 범위가 0∼2N-1(N은 픽셀 값의 비트뎁스)이라면, 전체 비트뎁스의 크기, 즉 픽셀 값의 범위(range)를 도 15 또는 도 16의 예와 같이 나눌 수 있다.
도 15는 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드 오프셋을 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 15를 참조하면, 전체 2*K 개의 밴드 중에 중심의 K개 밴드로 구성된 중심 밴드들에 크로마 픽셀들을 할당하고, 밴드 오프셋을 적용할 수 있다.
밴드 오프셋이 적용되는 각 밴드에 할당된 인덱스(1, 2, …, K)에 대한 오프셋 값은 인코딩 장치로부터 디코딩 장치에 전달될 수 있다. 밴드 오프셋이 적용되지 않는 주변 밴드들에 대한 오프셋 값은 해당 인덱스를 0으로 지정하여, 크로마 픽셀에 대해서는 해당 오프셋이 지시되지 않도록 할 수 있다. 0의 값을 갖는 인덱스는 밴드 오프셋을 적용하지 않는 것을 지시할 수도 있고, 밴드 오프셋의 오프셋 값이 0이라는 것을 지시할 수도 있다.
도 16은 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드 오프셋을 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 16을 참조하면, 전체 2*K 개의 밴드 중에 주변의 K개 밴드로 구성된 잔여 밴드들에 크로마 픽셀들을 할당하고, 밴드 오프셋을 적용할 수 있다.
밴드 오프셋이 적용되는 각 밴드에 할당된 인덱스(1, 2, …, K/2, K/2+1, …, K)에 대한 오프셋 값은 인코딩 장치로부터 디코딩 장치에 전달될 수 있다. 밴드 오프셋이 적용되지 않는 중심 밴드에 대한 오프셋 값은 해당 인덱스를 0으로 지정하여, 크로마 픽셀에 대해서는 해당 오프셋이 지시되지 않도록 할 수 있다. 0의 값을 갖는 인덱스는 밴드 오프셋을 적용하지 않는 것을 지시할 수도 있고, 밴드 오프셋의 오프셋 값이 0이라는 것을 지시할 수도 있다.
도 15와 도 16의 예에 있어서, K의 값이 16으로 설정되었다고 가정하면, 전체 픽셀 값의 범위를 32개의 밴드로 나누고, 중심부의 16개 밴드와 주변부의 16개 밴드의 2 그룹으로 나누어 밴드 오프셋을 적용할 수 있다.
루마 픽셀에 대한 신호(픽셀 값)와 대비할 때, 크로마 픽셀에 대한 신호(픽셀 값)의 변량(variance)이 적다는 것을 고려하여, 전체 밴드의 수를 줄여서 K=8로 설정할 수도 있다. K=8인 경우에, 밴드 오프셋을 적용하기 위한 전체 밴드 수는 16개가 된다. 8개의 중심부 밴드들과 8개의 주변부 밴드들로 크로마 픽셀에 대해 밴드 오프셋을 적용할 수 있다. 여기서, 루마 픽셀에 대한 신호(루마 신호)는 루마 픽셀의 픽셀 값(예컨대, 세기)으로서, 이하 설명의 편의를 위해 ‘루마 신호’라 한다.
표 17은 SAO를 크로마에 독립적으로 적용하기 위한 신택스 구조로서 SAO 파라미터 중 오프셋에 관한 sao_offset_param 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112020023740743-pat00017
표 17을 참조하면, sao_type_cr_idx는 크로마(Cr) 신호에 대한 오프셋 타입을 지시한다. 또한, sao_type_cb_idx는 크로마(Cb) 신호에 대한 오프셋 타입을 지시한다. sao_cr_offset은 크로마(Cr) 신호에 대한 오프셋 값을 지시한다. sao_cb_offset은 크로마(Cb) 신호에 대한 오프셋 값을 지시한다.
표 17의 예에서는, 크로마(Cr) 신호에 적용되는 오프셋 타입이 sao_type_cr_idx에 의해 지시되면 현재 픽셀에 대해서 sao_cr_offset이 지시하는 오프셋 값을 적용할 수 있다. 또한, 크로마(Cb) 신호에 적용되는 오프셋 타입이 sao_type_cb_idx에 의해 지시되면 현재 픽셀에 대해서 sao_cb_offset이 지시하는 오프셋 값을 적용할 수 있다.
도 17은 본 발명이 적용되는 시스템에서 인코딩 장치의 동작을 개략적으로 나타내는 순서도이다.
도 17을 참조하면, 인코딩 장치는 블록을 복원한다(S1710). 인코딩 장치는 예측 블록과 현재 블록을 기반으로 생성된 레지듀얼 블록을 변환하고, 양자화한 뒤에 역양자화 및 역변환을 거쳐서 복원된 레지듀얼 블록을 생성한다.
이어서, 인코딩 장치는 복원된 블록에 인-루프 필터를 적용한다(S1720). 인-루프 필터는 도 1의 필터부에서 적용될 수 있으며, 디블록킹 필터, SAO. ALF 등이 적용될 수 있다. 이때, SAO는 디블록킹 필터가 적용된 영상에 픽셀 단위로 적용될 수 있으며, SAO는 SAO 적용 유닛별로 복원 블록에 적용될 수도 있다. ALF는 SAO가 적용된 뒤에 적용될 수 있다.
SAO가 적용되는 경우에, 필터부는 픽셀 단위로 오프셋을 적용할 수 있다. 이때, 필터부는 밴드 오프셋의 적용을 위해 오프셋의 개수(밴드의 개수), 밴드의 그룹 등을 적응적으로 정할 수도 있고, 유효한 밴드(밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들)에 대한 오프셋만을 디코딩 장치에 전송할 수도 있다. 또한, 필터부는 에지 오프셋을 SAO 적용 영역 내에 복수 적용하도록 할 수도 있다. 구체적인 내용은 상술한 바와 같다.
또한, 필터부는 SAO를 크로마 픽셀에 대해서 적용할 수 있다. SAO를 적용하기 위한 영역을 루마와 크로마의 경우에 독립적으로 규정할 수도 있다. 아울러, 크로마에 대한 밴드 오프셋의 경우에, 밴드의 개수와 그룹을 크로마 픽셀에 오프셋을 적용하기 위해 결정할 수도 있다. 이에 관한 구체적인 내용도 상술한 바와 같다.
인코딩 장치는 이어서 SAO 등이 적용된 영상 정보 및 SAO 등에 관한 영상 정보가 포함된 비트스트림을 디코딩 장치에 전송할 수 있다(S1730). 이때, 인코딩 장치는 영상 정보를 전송하기 위해, 변환, 양자화, 재정렬, 엔트로피 코딩 등의 과정을 수행할 수 있다. 인코딩 장치는 밴드 오프셋이 적용되는 경우에, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보와 해당 밴드들에 대한 밴드 오프셋 값을 전송할 수 있다.
도 18은 본 발명이 적용된 시스템에서 디코딩 장치의 동작을 개략적으로 설명하는 순서도이다.
도 18을 참조하면, 디코딩 장치는 우선 인코딩 장치로부터 비트스트림을 수신한다(S1810). 수신한 비트스트림에는, 영상 정보뿐만 아니라, 영상 정보를 복원하기 위해 필요한 정보가 포함되어 있다.
디코딩 장치는 수신한 정보를 기반으로 블록을 복원한다(S1820). 디코딩 장치는 예측에 의해 생성된 예측 블록과 역양자화 및 역변환을 통해 생성한 레지듀얼 블록을 기반으로 복원 블록을 생성한다. 디코딩 장치는 레지듀얼 블록을 생성하기 위해, 역양자화 및 역변환 전에 엔트로피 복호화 및 재정렬을 수행할 수 있다.
디코딩 장치는 복원 블록에 인-루프 필터를 적용한다(S1830). 인-루프 필터링은 도 2의 필터부에서 수행될 수 있다. 필터부에서는 디블록킹 필터, SAO, ALF 등을 적용할 수 있다. 이때, SAO는 디블록킹 필터가 적용된 영상에 픽셀 단위로 적용될 수 있으며, SAO는 SAO 적용 유닛별로 복원 블록에 적용될 수 있다. ALF는 SAO가 적용된 영상에 적용될 수 있다.
SAO가 적용되는 경우에, 필터부는 픽셀 단위로 오프셋을 적용할 수 있다. 이때, 필터부는 인코딩 장치로부터 전송된 신택스 엘리먼트에 기반해서 SAO 파라미터를 유도할 수 있다. SAO 파라미터 등 SAO 적용에 관한 정보가 지시하는 오프셋의 개수(밴드의 개수), 밴드의 그룹 등에 기반해서 필터부는 밴드 오프셋을 현재 픽셀에 적용할 수 있다. 이때, 유효한 밴드(밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들)에 대한 오프셋 정보만이 디코딩 장치에 전송될 수도 있다. 또한, 필터부는 SAO 파라미터 등이 지시하는 바에 따라서, 해당 SAO 적용 영역 내에 에지 오프셋을 복수 적용할 수도 있다. 구체적인 내용은 상술한 바와 같다.
또한, 필터부는 SAO를 크로마 픽셀에 대해서 적용할 수 있다. SAO를 적용하기 위한 영역이 루마와 크로마의 경우에 독립적으로 규정되어 관련된 정보가 인코딩 장치로부터 전송될 수 있다. 아울러, 크로마 픽셀에 밴드 오프셋을 적용하기 위한 밴드의 개수와 그룹에 관한 정보가 인코딩 장치로부터 전송될 수 있다. 디코딩 장치는 전송된 정보를 기반으로 크로마 픽셀에 대한 SAO를 수행할 수 있다. 이에 관한 구체적인 내용도 상술한 바와 같다.
상술한 설명에서는, 발명의 특징을 명확하게 설명하기 위해 ‘픽셀 값(pixel value)’과 ‘픽셀의 세기(intensity of pixel)’를 혼용하여 기재하였으나, 두 용어는 동일한 의미 또는 ‘픽셀 값’이 ‘픽셀의 세기’를 포함하는 의미로 해석될 수 있다. 또한, SAO를 적용하는 단위 영역에 대해서도, 필터링 유닛과 SAO 적용 유닛을 설명의 편의를 위해 혼용하고 있으나, 동일한 의미로 해석될 수 있음에 유의한다. 상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (10)

  1. 영상 디코딩 방법에 있어서,
    예측 모드 정보, 레지듀얼 정보 및 SAO 정보를 포함하는 영상 정보를 수신하는 단계;
    상기 예측 모드 정보를 기반으로 예측된 블록을 도출하는 단계;
    상기 레지듀얼 정보를 기반으로 레지듀얼 블록을 도출하는 단계;
    상기 예측된 블록 및 상기 레지듀얼 블록을 기반으로 복원 픽처를 생성하는 단계:
    상기 복원 픽처에 디블록킹 필터를 적용하여 수정된 복원 픽처를 도출하는 단계; 및
    상기 디블록킹 필터가 적용된 수정된 복원 픽처에 SAO(Sample Adaptive Offset)를 적용하는 단계를 포함하며,
    상기 SAO를 위하여 밴드 오프셋이 적용되는 경우에, 상기 SAO 정보는 32개의 밴드들 중 하나를 연속적인 n개의 밴드들을 포함하는 밴드 그룹의 시작 밴드(start band)로 지시하는 정보를 포함하고, 상기 n개의 밴드들 중 하나의 밴드에 연관된 오프셋 값이 상기 수정된 복원 픽처의 샘플에 적용되는 것을 특징으로 하는 영상 디코딩 방법.
  2. 제1항에 있어서,
    상기 n은 특정 정수로 미리 결정되는 것을 특징으로 하는 영상 디코딩 방법.
  3. 제1항에 있어서,
    상기 SAO 정보는 상기 32개의 밴드들 중 하나를 상기 n개의 밴드들을 포함하는 상기 밴드 그룹의 마지막 밴드(last band)로 지시하는 정보를 더 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  4. 제1항에 있어서,
    상기 32개의 밴드들 중 하나를 상기 n개의 밴드들을 포함하는 상기 밴드 그룹의 상기 시작 밴드(start band)로 지시하는 정보는 SAO 적용 단위별로 시그널링되는 것을 특징으로 하는 영상 디코딩 방법.
  5. 영상 디코딩 장치로서,
    예측 모드 정보, 레지듀얼 정보 및 SAO 정보를 포함하는 영상 정보를 수신하는 엔트로피 디코딩부;
    상기 예측 모드 정보를 기반으로 예측된 블록을 도출하는 예측부;
    상기 레지듀얼 정보를 기반으로 레지듀얼 블록을 도출하는 역변환부;
    상기 예측된 블록 및 상기 레지듀얼 블록을 기반으로 복원 픽처를 생성하는 복원 픽처 생성부: 및
    상기 복원 픽처에 디블록킹 필터를 적용하여 수정된 복원 픽처를 도출하고, 상기 디블록킹 필터가 적용된 수정된 복원 픽처에 SAO(Sample Adaptive Offset)를 적용하는 필터링부를 포함하되,
    상기 SAO를 위하여 밴드 오프셋이 적용되는 경우에 상기 SAO 정보는 32개의 밴드들 중 하나를 연속적인 n개의 밴드들을 포함하는 밴드 그룹의 시작 밴드(start band)로 지시하는 정보를 포함하고, 상기 n개의 밴드들 중 하나의 밴드에 연관된 오프셋 값이 상기 수정된 복원 픽처의 샘플에 적용되는 것을 특징으로 하는 영상 디코딩 장치.
  6. 영상 인코딩 방법에 있어서,
    예측된 블록을 도출하고, 상기 예측된 블록에 적용된 예측 모드 정보를 생성하는 단계;
    상기 예측된 블록을 기반으로 레지듀얼 블록을 도출하고, 상기 레지듀얼 블록에 대한 레지듀얼 정보를 생성하는 단계;
    상기 예측된 블록 및 상기 레지듀얼 블록을 기반으로 복원 픽처를 생성하는 단계:
    상기 복원 픽처에 디블록킹 필터를 적용하여 수정된 복원 픽처를 도출하는 단계;
    상기 디블록킹 필터가 적용된 수정된 복원 픽처에 SAO(Sample Adaptive Offset)를 적용하고, 상기 적용된 SAO에 관한 SAO 정보를 생성하는 단계; 및
    상기 예측 모드 정보, 상기 레지듀얼 정보 및 상기 SAO 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하며,
    상기 SAO를 위하여 밴드 오프셋이 적용되는 경우에, 상기 SAO 정보는 32개의 밴드들 중 하나를 연속적인 n개의 밴드들을 포함하는 밴드 그룹의 시작 밴드(start band)로 지시하는 정보를 포함하고, 상기 n개의 밴드들 중 하나의 밴드에 연관된 오프셋 값이 상기 수정된 복원 픽처의 샘플에 적용되는 것을 특징으로 하는 영상 인코딩 방법.
  7. 제6항에 있어서, 상기 n은 특정 정수로 미리 결정되는 것을 특징으로 하는 영상 인코딩 방법.
  8. 제6항에 있어서, 상기 SAO 정보는 상기 32개의 밴드들 중 하나를 상기 n개의 밴드들을 포함하는 상기 밴드 그룹의 마지막 밴드(last band)로 지시하는 정보를 더 포함하는 것을 특징으로 하는 영상 인코딩 방법.
  9. 영상 인코딩 장치에 있어서,
    예측된 블록을 도출하고, 상기 예측된 블록에 적용된 예측 모드 정보를 생성하는 예측부;
    상기 예측된 블록을 기반으로 레지듀얼 블록을 도출하고, 상기 레지듀얼 블록에 대한 레지듀얼 정보를 생성하는 변환부;
    상기 예측된 블록 및 상기 레지듀얼 블록을 기반으로 복원 픽처를 생성하는 가산부:
    상기 복원 픽처에 디블록킹 필터를 적용하여 수정된 복원 픽처를 도출하고, 상기 디블록킹 필터가 적용된 수정된 복원 픽처에 SAO(Sample Adaptive Offset)를 적용하고, 상기 적용된 SAO에 관한 SAO 정보를 생성하는 필터부; 및
    상기 예측 모드 정보, 상기 레지듀얼 정보 및 상기 SAO 정보를 포함하는 영상 정보를 인코딩하는 엔트로피 인코딩부를 포함하며,
    상기 SAO를 위하여 밴드 오프셋이 적용되는 경우에, 상기 SAO 정보는 32개의 밴드들 중 하나를 연속적인 n개의 밴드들을 포함하는 밴드 그룹의 시작 밴드(start band)로 지시하는 정보를 포함하고, 상기 n개의 밴드들 중 하나의 밴드에 연관된 오프셋 값이 상기 수정된 복원 픽처의 샘플에 적용되는 것을 특징으로 하는 영상 인코딩 장치.
  10. 컴퓨터 판독 가능한 디지털 저장 매체로서, 청구항 6항에 기재된 영상 인코딩 방법에 의하여 인코딩된 영상 정보가 저장된 디지털 저장 매체.
KR1020207006631A 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법 KR102183214B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161497045P 2011-06-14 2011-06-14
US61/497,045 2011-06-14
PCT/KR2012/004692 WO2012173403A2 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197013569A Division KR102088014B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033433A Division KR102241992B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법

Publications (2)

Publication Number Publication Date
KR20200028049A KR20200028049A (ko) 2020-03-13
KR102183214B1 true KR102183214B1 (ko) 2020-11-25

Family

ID=47357606

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020137034257A KR101979387B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020217010984A KR102349348B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020207033433A KR102241992B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020247011541A KR20240051308A (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020207006631A KR102183214B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020227000381A KR102479046B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020197013569A KR102088014B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020227043928A KR102656595B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020137034257A KR101979387B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020217010984A KR102349348B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020207033433A KR102241992B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020247011541A KR20240051308A (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020227000381A KR102479046B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020197013569A KR102088014B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020227043928A KR102656595B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법

Country Status (12)

Country Link
US (8) US9565453B2 (ko)
EP (5) EP2723073B1 (ko)
KR (8) KR101979387B1 (ko)
CN (2) CN103733627B (ko)
DK (1) DK3787289T3 (ko)
ES (3) ES2853673T3 (ko)
FI (1) FI4075799T3 (ko)
HU (1) HUE060260T2 (ko)
MX (1) MX2013014951A (ko)
PL (3) PL3787289T3 (ko)
PT (1) PT3787289T (ko)
WO (1) WO2012173403A2 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2853673T3 (es) 2011-06-14 2021-09-17 Lg Electronics Inc Método para codificar y descodificar la información de imágenes
CN107105305B (zh) 2011-06-24 2020-04-03 Lg 电子株式会社 图像信息编码和解码方法
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US9277194B2 (en) * 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
US9282328B2 (en) * 2012-02-10 2016-03-08 Broadcom Corporation Sample adaptive offset (SAO) in accordance with video coding
SG10201808973XA (en) * 2012-04-13 2018-11-29 Mitsubishi Electric Corp Image encoding device, image decoding device, image encoding method and image decoding method
US10477208B2 (en) * 2012-09-24 2019-11-12 Intel Corporation Histogram segmentation based local adaptive filter for video encoding and decoding
GB2509707B (en) * 2013-01-04 2016-03-16 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
GB2512827B (en) * 2013-04-05 2015-09-16 Canon Kk Method and device for classifying samples of an image
CN111263149B (zh) * 2013-12-12 2021-10-26 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
CN110177283B (zh) * 2014-04-04 2021-08-03 北京三星通信技术研究有限公司 对像素标识进行处理的方法和装置
KR102298599B1 (ko) * 2014-04-29 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 샘플 적응 오프셋 필터링에 대한 인코더측 결정
CN105530519B (zh) * 2014-09-29 2018-09-25 炬芯（珠海）科技有限公司 一种环内滤波方法及装置
CN105635732B (zh) * 2014-10-30 2018-12-14 联想(北京)有限公司 自适应样点补偿编码、对视频码流进行解码的方法及装置
US10238386B2 (en) 2015-09-23 2019-03-26 Ethicon Llc Surgical stapler having motor control based on an electrical parameter related to a motor current
EP3280143A1 (en) * 2016-08-04 2018-02-07 Thomson Licensing A method and an apparatus for image block encoding and decoding
EP3306924A1 (en) 2016-10-05 2018-04-11 Thomson Licensing Method and device for context-adaptive binary arithmetic coding a sequence of binary symbols representing a syntax element related to picture data
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器（美国）知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
JP7179023B2 (ja) 2017-05-31 2022-11-28 インターデジタル マディソン パテント ホールディングス， エスアーエス ピクチャの符号化および復号の方法およびデバイス
WO2019184852A1 (en) * 2018-03-26 2019-10-03 Mediatek Inc. Methods and apparatus for signalling coding unit partitioning of video data
GB2574423A (en) * 2018-06-05 2019-12-11 Canon Kk Video coding and decoding
CN108810543B (zh) * 2018-06-13 2020-08-28 北京奇艺世纪科技有限公司 视频编码的补偿方法、装置及电子设备
WO2020204412A1 (ko) * 2019-04-03 2020-10-08 엘지전자 주식회사 적응적 루프 필터 절차를 동반한 비디오 또는 영상 코딩
WO2020204420A1 (ko) * 2019-04-03 2020-10-08 엘지전자 주식회사 필터링 기반 비디오 또는 영상 코딩
WO2020242260A1 (ko) * 2019-05-31 2020-12-03 한국전자통신연구원 전역적 문맥을 이용하는 기계 학습 기반의 이미지 압축을 위한 방법 및 장치
CN110121069B (zh) * 2019-06-27 2021-06-11 上海富瀚微电子股份有限公司 基于十字界的hevc环路滤波方法
WO2023113224A1 (ko) * 2021-12-17 2023-06-22 현대자동차주식회사 매핑 기반 비디오 코딩에서 인루프 필터링

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2735355B2 (ja) * 1990-04-13 1998-04-02 株式会社日立製作所 ストロボ機能付き高品位テレビ受信機
FI114679B (fi) 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
KR20050099256A (ko) 2004-04-09 2005-10-13 삼성전자주식회사 디블록킹을 이용한 영상처리 장치와 영상처리 방법
NO322722B1 (no) 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
CN100345450C (zh) * 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
EP2060122A4 (en) 2006-09-07 2016-04-27 Lg Electronics Inc METHOD AND DEVICE FOR CODING AND DECODING A VIDEO SIGNAL
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
AU2007318376B2 (en) 2006-11-09 2010-07-01 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR101349836B1 (ko) 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
WO2010005269A1 (en) 2008-07-11 2010-01-14 Electronics And Telecommunications Research Institute Filter and filtering method for deblocking of intra macroblock
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US8902978B2 (en) 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
CN103535035B (zh) * 2011-05-16 2017-03-15 寰发股份有限公司 用于亮度和色度分量的样本自适应偏移的方法和装置
ES2853673T3 (es) * 2011-06-14 2021-09-17 Lg Electronics Inc Método para codificar y descodificar la información de imágenes
US10038903B2 (en) * 2011-06-22 2018-07-31 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation in video coding
DK3361725T3 (da) 2011-06-23 2020-04-27 Huawei Tech Co Ltd Offset dekoderanordning, offset koderanordning, billedfilteranordning og datastruktur
CN107105305B (zh) 2011-06-24 2020-04-03 Lg 电子株式会社 图像信息编码和解码方法
US9161035B2 (en) * 2012-01-20 2015-10-13 Sony Corporation Flexible band offset mode in sample adaptive offset in HEVC
US9031137B2 (en) * 2012-05-03 2015-05-12 Texas Instruments Incorporated Signaling signed band offset values for sample adaptive offset (SAO) filtering in video coding
KR20140043037A (ko) * 2012-09-28 2014-04-08 삼성전자주식회사 인터 레이어 예측 오차를 부호화하기 위한 sao 오프셋 보상 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MediaTek, :CE13: Sample Adaptive Offset with LCU-Independent Decoding" JCTVC-E049, 2011.03.16.-23.
MediaTek, :CE8 Subset3: Picture Quardtree Adaptive Offset" JCTVC-D122, 2011.01.20.-28.

Also Published As

Publication number Publication date
EP2723073A4 (en) 2014-11-26
EP4373090A2 (en) 2024-05-22
KR20200028049A (ko) 2020-03-13
US20200413104A1 (en) 2020-12-31
KR20240051308A (ko) 2024-04-19
ES2657827T3 (es) 2018-03-07
US20140119433A1 (en) 2014-05-01
US10531126B2 (en) 2020-01-07
CN103733627B (zh) 2017-11-17
EP3787289A1 (en) 2021-03-03
US20160337642A1 (en) 2016-11-17
US9992515B2 (en) 2018-06-05
PL3280144T3 (pl) 2021-06-14
US20180288442A1 (en) 2018-10-04
US9300982B2 (en) 2016-03-29
KR20220005648A (ko) 2022-01-13
US11671630B2 (en) 2023-06-06
CN103733627A (zh) 2014-04-16
KR102656595B1 (ko) 2024-04-12
EP4075799B1 (en) 2024-04-10
EP3280144B1 (en) 2020-11-25
EP2723073B1 (en) 2017-11-08
EP3787289B1 (en) 2022-08-03
KR20190054178A (ko) 2019-05-21
DK3787289T3 (da) 2022-08-29
EP3280144A1 (en) 2018-02-07
FI4075799T3 (fi) 2024-05-06
US20200120361A1 (en) 2020-04-16
PL2723073T3 (pl) 2018-04-30
KR20230004920A (ko) 2023-01-06
KR20200133028A (ko) 2020-11-25
PT3787289T (pt) 2022-09-30
ES2929494T3 (es) 2022-11-29
WO2012173403A2 (ko) 2012-12-20
US20210144410A1 (en) 2021-05-13
US10924767B2 (en) 2021-02-16
US11418815B2 (en) 2022-08-16
US20220353541A1 (en) 2022-11-03
CN107682698A (zh) 2018-02-09
CN107682698B (zh) 2020-07-28
KR102479046B1 (ko) 2022-12-19
KR102349348B1 (ko) 2022-01-10
US10798421B2 (en) 2020-10-06
HUE060260T2 (hu) 2023-02-28
PL3787289T3 (pl) 2022-12-12
KR20210043747A (ko) 2021-04-21
KR101979387B1 (ko) 2019-05-16
WO2012173403A3 (ko) 2013-03-14
KR102241992B1 (ko) 2021-04-19
MX2013014951A (es) 2014-07-09
EP2723073A2 (en) 2014-04-23
EP4373090A3 (en) 2024-05-29
ES2853673T3 (es) 2021-09-17
KR102088014B1 (ko) 2020-03-11
EP4075799A1 (en) 2022-10-19
KR20140034857A (ko) 2014-03-20
US20150229972A1 (en) 2015-08-13
US9565453B2 (en) 2017-02-07
PL3280144T4 (pl) 2021-06-14

Similar Documents

Publication Publication Date Title
KR102183214B1 (ko) 영상 정보 인코딩 및 디코딩 방법
US11758149B2 (en) In-loop filtering method and apparatus for same
US20220191489A1 (en) Image information encoding and decoding method

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant