KR20110137796A - 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치 - Google Patents

성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치 Download PDF

Info

Publication number
KR20110137796A
KR20110137796A KR1020117024095A KR20117024095A KR20110137796A KR 20110137796 A KR20110137796 A KR 20110137796A KR 1020117024095 A KR1020117024095 A KR 1020117024095A KR 20117024095 A KR20117024095 A KR 20117024095A KR 20110137796 A KR20110137796 A KR 20110137796A
Authority
KR
South Korea
Prior art keywords
filter
transform
variable
decoder
level
Prior art date
Application number
KR1020117024095A
Other languages
English (en)
Other versions
KR101378749B1 (ko
Inventor
퀴안 주
윤페이 젱
조엘 솔레
펭 인
지아오안 루
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110137796A publication Critical patent/KR20110137796A/ko
Application granted granted Critical
Publication of KR101378749B1 publication Critical patent/KR101378749B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터의 결정 및 선택을 위한 방법 및 장치가 제공된다. 장치는 화상의 적어도 일부를 위한 화상 데이터를 인코딩하기 위한 인코더(100)를 포함한다. 인코더는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링을 수행하기 위한 성김에 기반한 아티팩트 제거 필터(165)를 포함한다. 상기 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택된다.

Description

성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치{METHODS AND APPARATUS FOR FILTER PARAMETER DETERMINATION AND SELECTION RESPONSIVE TO VARIABLE TRANSFORMS IN SPARSITY-BASED DE-ARTIFACT FILTERING}
본 출원은, 2009년 4월 14일에 출원된, 미국 가특허출원 제61/168,990호(대리인 관리 번호 PU090041호)의 이익을 주장하며, 상기 출원은 그 전체가 본 명세서에 참조로서 통합된다.
본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것이고, 보다 상세하게는 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법 및 장치에 관한 것이다.
압축 효율을 달성하기 위해, 비디오 코딩 표준들은 블록-기반의 변환{예컨대, 도처에 있는 이산 코사인 변환, 즉 DCT}과 움직임 보상을 이용한다. 움직임 보상된 예측에서의 이웃하는 블록들에 의한, 변환 계수들의 거친 양자화와, 상이한 기준 위치들 또는 상이한 기준 화상들의 사용은, 가장자리(edge), 텍스처(texture) 또는 블록 불연속점들(block discontinuities) 주위의 왜곡과 같은 시각적으로 교란시키는 아티팩트를 야기할 수 있다. 종래의 International Organization for Standardization/International Electrotechnical Commission(ISO/IEC) MPEG(Moving Pictrue Experts Group)-4 파트(Part) 10 AVC(Advanced Video coding) 표준/ITU-T(Internation Telecommunication Union, Telecommunication Sector) H.264 권고안(이후, "MPEG-4 AVC 표준")에서는, 적응형 블록제거(de-blocking) 필터가 블록 경계들을 따라 생기는 아티팩트들을 해결하기 위해 도입된다.
더 일반적으로, 아티팩트 제거(de-artifacting) 접근법이 아티팩트들이 나타날 때는 언제나 블록 불연속점들뿐만 아니라 이미지 특이성들(singularities)(예컨대, 가장자리 및/또는 텍스처) 둘레에 있는 아티팩트들을 해결하기 위해 제안되었다. 제 1 종래 기술의 접근법에서, 4×4 DCT의 오버컴플리트(overcomplete) 세트는 QCIF(quarter common intermediate format)와 CIF(common intermediate format)와 같은 상대적으로 낮은 해상도의 비디오 소스에서 잡음이 있는 재구성된 신호의 성긴 분해를 제공하기 위하여 사용된다.
그러나, 작은 크기의 DCT 변환은 높은 해상도의 비디오 콘텐트(예, 720p 및 1080p의 비디오 콘텐트)의 코딩에서 효율적이지 못할 수가 있고, 더 큰 크기 또는 다른 기초의 변환이 증가된 공간 해상도로 크기를 잘 조절하기 위하여 필요하다. 특히, 필터 파라미터(임계값, 반복 회수 등을 포함하여)는 필터 성능에 매우 중요하고, 역시 변환에 대해 적응형이어야만 한다.
MPEG-4 AVC 표준에서 블록제거 필터
종래의 MPEG-4 AVC 표준 내에서, 루프 내의 블록제거 필터가 채용되어왔다. 필터는 블록 경계를 따라 발생하는 아티팩트를 감소시키도록 작용한다. 이러한 아티팩트는 움직임 보상된 예측뿐만아니라 변환(DCT) 계수의 거친 양자화에 의해 야기된다. 블록 가장자리에 저역-통과 필터를 적응적으로 적용함으로써, 블록제거 필터는 주관적인 및 객관적인 비디오 품질을 모두 개선시킬 수 있다. 필터는, 실제 이미지 콘텐트에 속한 일반적으로 더 큰 강도 차이를 유지하면서 블록 아티팩트에 기인하는 작은 강도 차이를 감소시키기 위하여, 블록 가장자리 주위의 샘플의 분석을 수행함으로써 작동하고, 필터 강도를 적응시킨다. 수 개의 블록 코딩 모드와 조건은 또한 필터가 적용되는 강도를 나타내도록 작용할 수 있다. 이들은 인터/인트라(inter/intra) 예측 결정, 코딩된 나머지의 존재 및 인접 블록 사이의 움직임의 차이를 포함한다. 블록-레벨에 대한 적응 가능성 이외에, 블록제거 필터는 또한 슬라이스-레벨과 샘플-레벨에 적응될 수 있다. 슬라이스 레벨 상에서, 필터링 강도는 비디오 시퀀스의 개별 특성에 대해 조정될 수 있다. 샘플 레벨에서, 필터링은 샘플 값과 양자화기에 기반한 임계값에 따라 각 개별 샘플에 대해 턴오프된다.
MPEG-4 AVC 표준의 블록제거 필터에 의해 제거된 블록 아티팩트는 압축된 비디오에 존재하는 아티팩트만이 아니다. 거친 양자화 또한 예컨대, 링잉(ringing), 가장자리 왜곡, 및 텍스쳐 손상과 같은 다른 아티팩트에 원인이 된다. 블록제거 필터는 블록 내부에서 출현하는 양자화 에러에 의해 야기된 아티팩트를 줄이지 못한다. 더욱이, 블록제거에서 사용된 저역통과 필터링 기술은 평활한 이미지 모델을 간주하고, 예컨대 가장자리 및 텍스쳐와 같은 이미지 특이성을 처리하는데 적합하지 않다.
성김에 기반한 아티팩트 제거
성김에 기반한 잡음제거 기술에 영감을 받아, 비선형 루프내 필터가 제 1 종래 기술의 접근법에 대해 위에서 언급한 압축 아티팩트 제거를 위해 제안되어왔다. 제 1 종래 기술의 접근법은 변환의 오버컴플리트 세트에 의해 제공된 잡음제거된 추정값의 세트를 사용한다. 제 1 종래 기술의 접근법의 구현은 웨이블릿(wavelet) 또는 DCT와 같은 주어진 2차원(2D) 직교 변환(H)의 가능한 모든 변환들(Hi)을 사용함으로써 변환의 오버컴플리트 세트를 생성한다. 따라서, 이미지(I)가 주어지면, 다양한 변환(Hi)을 적용함으로써 이미지(I)의 일련의 다른 변환된 형태(Yi)가 생성된다. 그후 각 변환된 형태(Yi)는 일반적으로 임계처리 동작을 수반하고 일련의 Y'i를 생성하는 잡음제거 절차를 거친다. 변환되고 임계처리된 계수(Y'i)는 이 후 공간영역으로 다시 역변환되어, 잡음제거된 추정값(I'i)을 야기한다. 오버컴플리트 설정에서, 잡음제거된 추정값의 일부가 다른 것보다 더 양호한 성능을 제공할 것이라고 예상되고, 최종 필터링된 형태(I')가 이러한 잡음제거된 추정값의 평균화를 통해 조합으로부터 이득을 얻을 것이라고 예상된다. 제 1 종래 기술의 접근법의 잡음제거 필터는 잡음제거된 추정값(I'i)의 가중된 평균화를 제안하는데, 여기에서 가중은 신호의 성김에 기반하여 최상의 잡음제거된 추정값을 강조하기 위하여 최적화된다.
직교 변환들{Hi}의 세트는 이미지(I)의 성긴 분해를 제공하는 것으로 예상된다. 예컨대, 블록 크기 4×4의 DCT는 QCIF 콘텐트를 위한 제 1 종래 기술의 접근법 처리에서 사용되었다. 고선명도(HD) 콘텐트의 증가하는 인기에 따라, 작은 블록 크기의 DCT는, 특히 인코딩 절차가 더 큰 변환을 사용하고 계수를 더 큰 블록 크기로 양자화할 때, 증가된 해상도에 크기조정을 잘하지 못하기 때문에 더 이상 효율적이지 않을 것이다. 이 점에 관해서, 더 큰 크기(예, 8×8 또는 16×16)를 갖거나 다른 기초의 함수를 갖는 변환은 더 큰 블록 단위 내에서 공간 상관관계를 더 양호하게 이용하기 위하여 잡음제거에 도입된다.
다른 한 편으로, 예컨대 임계값과 같은 필터 파라미터의 선택은 아티팩트 제거 필터의 성능에 상당히 중요하다. 임계값은 최상의 잡음제거 추정치를 강조하는 잡음제거 추정치의 정확도와 평균 가중치 모두에 관해 필터의 잡음제거 성능에 필수적이다. 부적절한 임계 선택은 과도하게 평활화되어 재구성된 화상을 초래할 수 있거나, 아티팩트의 지속을 허용할 수 있다. 제 1 종래 기술의 접근법에서, QP와 코딩 모드 정보에 기반한 픽셀 클래스당 임계는 인코더와 디코더 모두에 저장되고, 이들은 변환에 대해 적응적이지 않다.
다른 변환 크기 또는 다른 기반의 함수에 대해, 동일한 QP 또는 코딩 모드 하에서 비디오 시퀀스의 잡음 또는 아티팩트 거동은 매우 다를 수 있고, 이는 다른 필터 파라미터를 요구한다.
종래 기술의 이들 및 다른 단점 및 불이익은 본 발명의 원리에 의해 다루어지는데, 본 발명의 원리는 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치에 관한 것이다.
본 발명의 원리의 일 양상에 따라, 하나의 장치가 제공된다. 이 장치는 적어도 하나의 화상의 적어도 일부에 대한 화상 데이터를 인코딩하기 위한 인코더를 포함한다. 인코더는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링을 수행하기 위한 성김에 기반한 아티팩트 제거 필터를 포함한다. 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택된다.
본 발명의 원리의 다른 양상에 따라, 비디오 인코더에서의 방법이 제공된다. 이 방법은 적어도 한 화상의 적어도 일부를 위한 화상 데이터를 인코딩하는 단계를 포함한다. 인코딩 단계는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링을 수행하는 단계를 포함한다. 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택된다.
본 발명의 원리의 또 다른 양상에 따라, 하나의 장치가 제공된다. 이 장치는 적어도 한 화상의 적어도 일부를 위한 화상 데이터를 디코딩하는 디코더를 포함한다. 디코더는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링을 수행하기 위한 성김에 기반한 아티팩트 제거 필터를 포함한다. 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택된다.
본 발명의 원리의 또 다른 양상에 따라, 비디오 디코더에서의 방법이 제공된다. 이 방법은 적어도 한 화상의 적어도 일부를 위한 화상 데이터를 디코딩하는 단계를 포함한다. 디코딩 단계는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링을 수행하는 단계를 포함한다. 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택된다.
본 발명의 원리의 이들 및 다른 양상, 특징 및 장점은, 첨부된 도면과 연관되어 읽혀져야 할, 예시적인 실시예에 대한 다음의 세부 설명으로부터 자명해질 것이다.
본 발명의 원리는 다음의 예시적인 도면에 따라 더 잘 이해될 것이다.
본 발명에 따라, 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터의 결정 및 선택을 위한 방법 및 장치가 제공되어, 코딩 효율을 개선시킨다.
도 1은 본 발명의 원리의 일 실시예에 따라, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 인코더를 도시하는 블록도.
도 2는 본 발명의 원리의 일 실시예에 따라, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더를 도시하는 블록도.
도 3은 본 발명의 원리의 일 실시예에 따라, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 예시적인 방법을 도시하는 흐름도.
도 4는 본 발명의 원리의 일 실시예에 따라, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 예시적인 방법을 도시하는 흐름도.
도 5는 본 발명의 원리의 일 실시예에 따라, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법을 도시하는 흐름도.
도 6은 본 발명의 원리의 일 실시예에 따라, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법을 도시하는 흐름도.
도 7은 본 발명의 원리의 일 실시예에 따라, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법을 도시하는 흐름도.
도 8은 본 발명의 원리의 일 실시예에 따라, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법을 도시하는 흐름도.
도 9는 본 발명의 원리의 일 실시예에 따라, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법을 도시하는 흐름도.
도 10은 본 발명의 원리의 일 실시예에 따라, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법을 도시하는 흐름도.
도 11은 본 발명의 원리의 일 실시예에 따라, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법을 도시하는 흐름도.
도 12는 본 발명의 원리의 일 실시예에 따라, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법을 도시하는 흐름도.
본 발명의 원리는 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법 및 장치에 관한 것이다.
본 설명은 본 발명의 원리를 설명한다. 따라서, 본 명세서에서 명시적으로 기술되거나 도시되지 않았더라도, 당업자가 본 발명의 원리를 구현하고, 본 발명의 사상과 범주 내에 포함되는 다양한 장치를 안출할 수 있음을 알 수 있을 것이다.
본 명세서에 상술된 모든 예시들 및 조건적 언어는 해당 기술을 진전시키기 위해 본 발명자에 의해 공헌된 본 발명의 원리 및 개념을 독자가 이해하는 것을 돕기 위한 교육적인 목적을 위한 것이며, 그렇게 명확하게 상술한 예시들 및 조건들로 제한되지 않는 것으로 해석되어야 한다.
더욱이, 본 발명의 특정 예시들뿐만 아니라, 본 발명의 원리, 양상, 및 실시예들을 상술하는 본 명세서에서의 모든 진술은, 본 발명의 구조적 그리고 기능적 등가물들을 모두 포함하도록 의도된다. 덧붙여, 그러한 등가물들은 현재 알려진 등가물 및 미래에 개발될 등가물 모두, 즉, 구조에 관계없이 동일한 기능을 수행하는 임의의 개발된 요소를 포함하도록 의도된다.
그러므로, 예컨대, 당업자라면 본 명세서에 제공된 블록도는 본 발명의 원리를 구현하는 예시적 회로의 개념적 개관을 나타낸다는 점을 이해할 것이다. 마찬가지로, 임의의 흐름도, 순서도, 상태 전이도, 의사 코드(pseudocode) 등은, 실질적으로 컴퓨터 판독 가능한 매체에 제공될 수 있고 따라서, 컴퓨터 또는 프로세서가 명시적으로 도시되어있는지의 여부에 관계없이, 컴퓨터 또는 프로세서에 의해 실행되는 다양한 프로세스들을 나타낸다는 것이 이해될 것이다.
도면들에 도시된 다양한 요소들의 기능들은 전용 하드웨어 및, 적절한 소프트웨어와 결합하여 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수도 있다. 프로세서에 의해 제공될 때, 기능들은 단일의 전용 프로세서에 의해, 단일의 공유된 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별적인 프로세서에 의해 제공될 수도 있다. 또한, 용어 "프로세서(processor)" 또는 "제어기(controller)"의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되어서는 안 되며, 이들은, 제한 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독-전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 그리고 비-휘발성 저장 장치를 암묵적으로 포함할 수도 있다.
종래의 및/또는 맞춤화된 다른 하드웨어가 또한 포함될 수도 있다. 마찬가지로, 도면들에 도시된 임의의 스위치들은 오직 개념적이다. 그러한 스위치들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호작용을 통해, 또는 수동으로까지 수행될 수도 있으며, 문맥으로부터 더욱 명확하게 이해되는 것과 같이, 이러한 특정 기술은 구현자에 의해 선택될 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하는 수단으로 표현된 임의의 요소들은 그러한 기능을 수행하는 임의의 방법을 포함하도록 의도되는데, 임의의 방법은 예컨대, a) 그러한 기능을 수행하는 회로 요소들의 결합 또는 b) 임의의 형태의, 따라서 그러한 기능을 수행하기 위한 소프트웨어를 실행시키기 위한 적절한 회로와 결합된 펌웨어, 마이크로코, 등을 포함하는, 소프트웨어를 포함한다. 그러한 청구항들에 의해 한정되는 본 발명의 원리는, 다양한 상술한 수단들에 의해 제공되는 기능이 청구항들이 요구하는 방식으로 결합되며 함께 제공되는 사실에 존재한다. 그러므로, 그러한 기능들을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 수단들과 동등한 것으로 간주된다.
본 명세서에서, 본 발명의 원리의 다른 변형뿐만 아니라 본 발명의 원리의 "하나의 실시예" 또는 "일 실시예"에 대한 언급은, 그러한 실시예와 관련되어 설명되는 특정한 특징, 구조 특성 등이 본 발명의 원리의 적어도 한 실시예에 포함된다는 것을 의미한다. 그러므로, 본 명세서 전반에 걸쳐서 다양한 위치에 나타나는 "일 실시예에서" 또는 "하나의 실시예에서" 및 임의의 다른 변형의 구절의 출현은 반드시 모두 동일한 실시예를 언급하는 것은 아니다.
예컨대 "A/B", "A 및/또는 B", 및 "A와 B 중 적어도 하나"의 경우에서와 같이 "/", "및/또는(and/or)"과 "중 적어도 하나" 중 임의의 것의 사용은 첫 번째로 열거된 옵션(A)만의 선택, 또는 두 번째로 열거된 옵션(B)만의 선택, 또는 옵션(A와 B) 모두의 선택을 포함하는 것으로 의도된다는 점을 알아야 한다. 또 다른 예로서, "A, B 및/또는 C"와 "A, B 및 C 중 적어도 하나"의 경우들에서, 그러한 어법은 첫 번째 열거된 옵션(A)만의 선택, 또는 두 번째 열거된 옵션(B)만의 선택, 또는 세 번째 열거된 옵션(C)만의 선택, 또는 첫 번째 및 두 번째 열거된 옵션들(A, B)만의 선택, 또는 첫 번째 및 세 번째 열거된 옵션(A, C)만의 선택, 또는 두 번째 및 세 번째 열거된 옵션(B,C)만의 선택, 또는 3개의 옵션(A, B, C) 전부의 선택을 포함하는 것으로 의도된다. 이는 당업자에게 바로 명백해 지듯이, 열거된 많은 항목에 관해 확장될 수 있다.
더 나아가 본 발명의 원리의 하나 이상의 실시예가 MPEG-4 AVC 표준에 대해 본 명세서에서 기술되었지만, 본 발명의 원리는 이러한 표준에만 제한되지 않고, 따라서 본 발명의 원리의 사상을 유지하면서, MPEG-4 AVC 표준의 확장부를 포함하여 다른 비디오 코딩 표준, 권고안 및 이들의 확장부에 관해 이용될 수 있다는 점을 알아야 한다.
더욱이, 본 발명의 원리의 하나 이상의 실시예가 임계 파라미터에 대해 본 명세서에서 기술되지만, 본 발명의 원리는, 본 발명의 원리가 적용될 수 있는 필터 파라미터에 대한 임계 파라미터에만 제한되는 것은 아니고, 따라서 본 발명의 원리의 사상을 유지하면서 당업자에 의해 쉽게 결정되는 임의의 다른 필터 파라미터에 적용될 수 있다.
또한 본 명세서에서 사용된 용어, "화상"과 "이미지"는 교환가능하게 사용되며, 비디오 시퀀스로부터의 정지 이미지 또는 화상을 언급한다. 알려진 바와 같이, 화상은 한 프레임 또는 한 필드이다.
부가적으로, 본 명세서에서 사용된 용어, "신호발신"("signal")은 특히 대응하는 디코더에 무언가를 지시하는 것을 언급할 수 있다. 예컨대, 인코더는 디코더가 어떤 변환 크기(들) 및/또는 필터 파라미터(들)가 인코더 측에서 사용되었는지를 알 수 있게 하기 위하여, 가능한 변환 크기들 및/또는 필터 파라미터들의 그룹 중에서 특정 변환 크기(들) 및/또는 필터 파라미터(들)를 신호발신(signal)할 수 있다. 이러한 방식으로, 동일한 변환 크기(들) 및/또는 필터 파라미터(들)가 인코더 측과 디코더 측 모두에서 사용될 수 있다. 따라서, 인코더는 특정 변환 크기(들) 및/또는 필터 파라미터(들)를 디코더에 송신할 수 있어서, 디코더는 동일한 변환 크기(들) 및/또는 필터 파라미터(들)를 사용할 수 있거나, 또는 만약 디코더가 다른 것뿐만 아니라 특정 변환 크기(들) 및/또는 필터 파라미터(들)를 이미 가지고 있다면, 단순히 디코더가 특정 변환 크기(들) 및/또는 필터 파라미터(들)를 알고 선택하는 것을 허용하기 위하여, (송신을 하지 않고) 신호발신이 사용될 수 있다. 임의의 실제 변환 크기들 및/또는 필터 파라미터들의 송신을 회피함으로써, 비트 절약이 실현된다. 신호발신은 다양한 방식으로 달성될 수 있음을 알아야 한다. 예컨대, 대응하는 디코더에 정보를 신호발신하기 위하여 하나 이상의 구문 요소, 플래그 등이 사용될 수 있다. 이전 사항들은 단어 "신호발신"의 동사형태에 관한 것이지만, "신호"("signal")는 명사로도 사용될 수 있다.
더욱이, 본 명세서에서 사용된 구, "화상 영역"(또는 단순히 짧게 "영역")은 예컨대 하나 이상의 블록 또는 임의 크기의 임의의 형태를 둘러싸거나, 및/또는 그렇지 않을 경우 이들로부터 공식화되는 화상의 일부를 언급한다. 하나 이상의 블록은 예컨대, 수퍼 매크로블록, 매크로블록, 매크로블록의 분할, 하위-매크로블록의 분할 등을 언급한다. 더욱이, 블록 경계에 제한되는 종래의 블록제거 필터와는 반대로, 본 발명의 원리에 따른 화상 영역은 블록 경계뿐만 아니라, 비-블록 경계를 포함할 수 있다. 즉, 일부 실시예에 있어서, 화상 영역은 오직 비-블록 경계만을 포함한다(즉, 임의의 블록 경계를 배제). 따라서, 블록 경계가 아닌 영역은 유리하게 필터링되어 이들로부터의 아티팩트를 제거하거나 감소시킬 수 있다.
도 1을 참조하면, 본 발명의 원리에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더가 일반적으로 참조번호 100으로 표시되었다.
비디오 인코더(100)는 하나의 출력을 갖는 프레임 배열 버퍼(110)를 포함하고, 이 출력은 결합기(185)의 비반전 입력에 교신하도록 연결된다. 결합기(185)의 출력은 변환 및 양자화기(125)의 제 1 입력에 교신하도록 연결된다. 변환기 및 양자화기(125)의 출력은 엔트로피 코더(145)의 제 1 입력과, 역변환기 및 역양자화기(150)의 제 1 입력에 교신하도록 연결된다. 엔트로피 코더(145)의 출력은 결합기(190)의 제 1 비반전 입력에 교신하도록 연결된다. 결합기(190)의 출력은 출력 버퍼(135)의 제 1 입력에 교신하도록 연결된다.
인코더 제어기(105)의 제 1 출력은 프레임 배열 버퍼(110)의 제 2 입력, 역 변환기 및 역 양자화기(150)의 제 2 입력, 화상-유형 결정 모듈(115)의 입력, 매크로블록(MB)-유형 결정 모듈(120)의 제 1 입력, 인트라 예측 모듈(160)의 제 2 입력, 아티팩트 제거 필터(165)의 제 2 입력, 움직임 보상기(170)의 제 1 입력, 움직임 추정기(175)의 제 1 입력, 및 기준 화상 버퍼(180)의 제 2 입력에 교신하도록 연결된다.
인코더 제어기(105)의 제 2 출력은 보충 강화 정보(SEI : Supplemental Enhancement Information) 삽입기(130)의 제 1 입력, 변환기 및 양자화기(125)의 제 2 입력, 엔트로피 코더(145)의 제 2 입력, 출력 버퍼(135)의 제 2 입력, 및 시퀀스 파라미터 세트(SPS) 및 화상 파라미터 세트(PPS) 삽입기(140)의 입력에 교신하도록 연결된다.
SEI 삽입기(130)의 출력은 결합기(190)의 제 2 비반전 입력에 교신하도록 연결된다.
화상-유형 결정 모듈(115)의 제 1 출력은 프레임 배열 버퍼(110)의 제 3 입력에 교신하도록 연결된다. 화상-유형 결정 모듈(115)의 제 2 출력은 매크로블록-유형 결정 모듈(120)의 제 2 입력에 교신하도록 연결된다.
시퀀스 파라미터 세트(SPS) 및 화상 파라미터 세트(PPS) 삽입기(140)의 출력은 결합기(190)의 제 3 비반전 입력에 교신하도록 연결된다.
역 변환기 및 역 양자화기(150)의 출력은 결합기(119)의 제 1 비반전 입력에 교신하도록 연결된다. 결합기(119)의 출력은 인트라 예측 모듈(160)의 제 1 입력과 아티팩트 제거 필터(165)의 제 1 입력에 교신하도록 연결된다. 아티팩트 제거 필터(165)의 출력은 기준 화상 버퍼(180)의 제 1 입력에 교신하도록 연결된다. 기준 화상 버퍼(180)의 출력은 움직임 추정기(175)의 제 2 입력과 움직임 보상기(170)의 제 3 입력에 교신하도록 연결된다. 움직임 추정기(175)의 제 1 출력은 움직임 보상기(170)의 제 2 입력에 교신하도록 연결된다. 움직임 추정기(175)의 제 2 출력은 엔트로피 코더(145)의 제 3 입력에 교신하도록 연결된다.
움직임 보상기(170)의 출력은 스위치(197)의 제 1 입력에 교신하도록 연결된다. 예측 모듈(160)의 출력은 스위치(197)의 제 2 입력에 교신하도록 연결된다. 매크로블록-유형 결정 모듈(120)의 출력은 스위치(197)의 제 3 입력에 교신하도록 연결된다. 스위치(197)의 제 3 입력은 스위치의 "데이터" 입력이 (제어 입력 즉 제 3 입력과 비교하여) 움직임 보상기(170) 또는 인트라 예측 모듈(160)에 의해 제공될 지의 여부를 결정한다. 스위치(197)의 출력은 결합기(119)의 제 2 비반전 입력과 결합기(185)의 반전 입력에 교신하도록 연결된다.
프레임 배열 버퍼(110)의 제 1 입력과 인코더 제어기(105)의 입력은 입력 화상을 수신하기 위한 인코더(100)의 입력으로 사용 가능하다. 더욱이, 보충 강화 정보(SEI) 삽입기(130)의 제 2 입력은 메타 데이터를 수신하기 위한 인코더(100)의 입력으로 사용 가능하다. 출력 버퍼(135)의 출력은 비트 스트림을 출력하기 위한 인코더(100)의 출력으로 사용 가능하다.
도 2를 참조하면, 본 발명의 원리에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더가 일반적으로 도면번호 200으로 표시된다.
비디오 디코더(200)는 엔트로피 디코더(245)의 제 1 입력과 교신하도록 연결된 출력을 가지는 입력 버퍼(210)를 포함한다. 엔트로피 디코더(245)의 제 1 출력은 역 변환기 및 역 양자화기(250)의 제 1 입력과 교신하도록 연결된다. 역 변환기 및 역 양자화기(250)의 출력은 결합기(225)의 제 2 비반전 입력과 교신하도록 연결된다. 결합기(225)의 출력은 아티팩트 제거 필터(265)의 제 2 입력 및 인트라 예측 모듈(260)의 제 1 입력과 교신하도록 연결된다. 아티팩트 제거 필터(265)의 제 2 출력은 기준 화상 버퍼(280)의 제 1 입력과 교신하도록 연결된다. 기준 화상 버퍼(280)의 출력은 움직임 보상기(270)의 제 2 입력과 교신하도록 연결된다.
엔트로피 디코더(245)의 제 2 출력은, 움직임 보상기(270)의 제 3 입력, 아티팩트 제거 필터(265)의 제 1 입력, 및 인트라 예측기(260)의 제 3 입력과 교신하도록 연결된다. 엔트로피 디코더(245)의 제 3 출력은 디코더 제어기(205)의 입력과 교신하도록 연결된다. 디코더 제어기(205)의 제 1 출력은 엔트로피 디코더(245)의 제 2 입력과 교신하도록 연결된다. 디코더 제어기(205)의 제 2 출력은 역 변환기 및 역 양자화기(250)의 제 2 입력과 교신하도록 연결된다. 디코더 제어기(205)의 제 3 출력은 아티팩트 제거 필터(265)의 제 3 입력과 교신하도록 연결된다. 디코더 제어기(205)의 제 4 출력은 인트라 예측 모듈(260)의 제 2 입력, 움직임 보상기(270)의 제 1 입력, 및 기준 화상 버퍼(280)의 제 2 입력과 교신하도록 연결된다.
움직임 보상기(270)의 출력은 스위치(297)의 제 1 입력과 교신하도록 연결된다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제 2 입력과 교신하도록 연결된다. 스위치(297)의 출력은 결합기(225)의 제 1 비반전 입력과 교신하도록 연결된다.
입력 버퍼(210)의 입력은 입력 비트스트림을 수신하기 위한 디코더(200)의 입력으로서 사용 가능하다. 아티팩트 제거 필터(265)의 제 1 출력은 출력 화상을 출력하기 위한 디코더(200)의 출력으로서 사용 가능하다.
상술한 바와 같이, 본 발명의 원리는 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치에 관한 것이다.
본 발명의 원리에 따라, 가변 변환의 아티팩트 제거 필터링에 기반하여, 필터 파라미터를 적응, 조정, 설정 및/또는 그렇지 않을 경우 선택 및 구성하는 것에 관한 방법 및 장치를 제안한다. 유리하게, 필터 파라미터 적응이 성김에 기반한 아티팩트 제거 필터링에 상당한 영향을 줄 수 있으므로, 본 발명의 원리에 관련된 가변 변환의 아티팩트 제거 필터링을 위한 필터 파라미터를 구성하는 능력은 코딩 효율을 개선시킬 수 있다.
일 실시예에 있어서, 기반의 동일한 적응방향을 갖지만 다른 변환 크기를 갖는 변환에 초점을 맞춘다. QP 및 모드 정보에 기반하는 것뿐만 아니라 변환 크기에 기반하여서도 필터 파라미터를 적응시킨다. 비록 MPEG-4 AVC 표준과 또한 예시 목적을 위한 임계 파라미터에 적용된 예에 관해 기술되었지만, 상술한 바와 같이 본 발명의 원리가 본 발명의 사상을 유지하면서 다른 필터 파라미터뿐만 아니라 다른 비디오 코딩 표준 및 이들의 권고안 및 확장부에 적용될 수 있음을 인식하여야 한다. 더욱이, 다른 실시예는 다른 적응 방향을 갖는 하나 이상의 변환을 수반할 수 있음을 인식하여야 한다.
일 실시예에 있어서, 변환은 DCT, 웨이블릿 등 중에서 하나 이상이 될 수 있고, 변환 크기는 4×4, 8×8, 16×16, 32×32 등 중에서 하나 이상이 될 수 있고, 변환의 차원은 1, 2 또는 그 이상이 될 수 있다. 물론, 본 발명의 원리는 선행한 변환 유형, 변환 크기 또는 변환 차원에 제한되지 않고, 따라서 본 발명의 원리의 사상을 유지하면서, 다른 변환 유형, 변환 크기 및 변환 차원에 적용될 수 있다. 각 변환 크기에 대해, 아티팩트 제거 필터의 파라미터는 다를 수 있다. 선택된 변환 크기와 대응하는 필터 파라미터는 모두, 예컨대 하이 레벨 구문을 사용하여 신호발신될 필요가 있는데, 하이 레벨 구문은, 각 슬라이스를 위한 슬라이스 헤더, 화상 파라미터 세트(PPS: Picture Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 네트워크 추상 층(NAL: Network Abstraction Layer) 유닛 헤더 등의 내부에 위치하지만, 이들에 제한되는 것은 아니다. 신호발신의 부담을 줄이기 위하여, 여러 가지 방법이 적용된다. 신호발신의 부담을 줄이기 위한 일부 예시적인 방법은 본 명세서에서 설명의 목적으로 제공된다.
따라서, 본 명세서에서 기술된 많은 실시예가 본 발명의 원리에 따라 사용된 특정 변환 파라미터로서 변환 크기에 관한 것이지만, 본 발명의 원리의 사상을 유지하면서, 다른 변환 파라미터 역시 본 발명의 원리의 가르침에 따라 사용될 수 있음을 주목해야 한다. 더욱이, 일부 실시예는 하나의 특정 변환 파라미터(예, 크기)의 변화성을 수반할 수 있고, 반면에 다른 실시예는 하나 이상의 특정 변환 파라미터에 관한 변화성을 수반할 수 있다. 본 발명의 원리의 이들 및 다른 변형은, 본 명세서에서 제공된 본 발명의 원리의 가르침이 주어진다면, 본 발명의 원리의 사상을 유지하면서, 당업자에 의해 쉽게 결정된다.
도 3을 참조하면, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 예시적인 방법이 일반적으로 도면번호 300으로 표시되었다. 방법(300)은 제어를 기능블록(310)에 전달하는 시작 블록(305)을 포함한다. 기능블록(310)은 엔코딩 설정을 수행하고, 제어를 루프 제한 블록(315)에 전달한다. 루프 제한 블록(315)은 각 변환 크기(예, 4×4, 8×8, 16×16, 32×32 등)에 대한 루프를 시작하고, 제어를 루프제한 블록(320)에 전달한다. 루프제한 블록(320)은 필터 파라미터에 대한 루프를 시작하고, 제어를 기능블록(325)에 전달한다. 기능블록(325)는 아티팩트 제거 필터링을 수행하고, 제어를 루프 제한 블록(330)에 전달한다. 루프 제한 블록(330)은 필터 파라미터에 대한 루프를 종료하고, 제어를 기능블록(335)에 전달한다. 기능블록(335)은 코딩 경비에 기초하여 최상의 필터 파라미터를 설정(예, 결정 및 선택)하고, 제어를 루프 제한 블록(340)에 전달한다. 루프 제한 블록(340)은 변환 크기에 대한 루프를 종료하고, 제어를 기능블록(345)에 전달한다. 기능블록(345)은 코딩 경비에 기초하여 최상의 변환 크기를 설정(예, 결정 및 선택)하고, 제어를 기능블록(347)에 전달한다. 기능블록(347)은 필터 파라미터를 (예, 양자화 잡음 및 코딩 정보에 기초하여) 적응시키고, 제어를 기능블록(350)에 전달한다. 기능블록(350)은 최상의 변환 크기와 최상의 필터 파라미터를 인코딩하고, 제어를 기능블록(355)에 전달한다. 기능블록(355)은 {예, 크기조정 계수와 옵셋 쌍, 파라미터 표의 엔트리에 대한 색인 및 플래그(예, 가변 변환이 적용될 지의 여부를 나타내는 플래그) 중 하나 이상을 사용하여} 변환 크기와 필터 파라미터를 신호발신하고, 제어를 종료 블록(399)에 전달한다. 기능블록(355)에 의해 수행되는 신호발신이 예컨대, 하나 이상의 샘플, 하나 이상의 블록, 하나 이상의 슬라이스, 하나 이상의 화상 등에 관한 것이 될 수 있음을 인식해야 한다. 더욱이, 기능블록(355)이 특정 구현에 따라 선택사항이 될 수 있음을 인식해야 한다.
도 4를 참조하면, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 예시적인 방법이 일반적으로 도면 번호 400으로 표시되었다. 방법(400)은 제어를 기능블록(410)에 전달하는 시작 블록(405)을 포함한다. 기능블록(410)은 (예, 크기조정 계수와 옵셋 쌍, 파라미터 표의 엔트리에 대한 색인 및 플래그 중 하나 이상을 사용하여) 변환 크기와 필터 파라미터를 디코딩하고, 제어를 기능블록(415)에 전달한다. 기능블록(415)은 기능블록(410)에 의해 디코딩된 하나 이상의 항목에 기초하여, 성김에 기반한 아티팩트 제거 필터링을 수행하고, 제어를 종료 블록(499)에 전달한다.
일 실시예에 있어서, QP 값과 코딩 모드 정보에 기초하여 형성될 수 있는 하나의 변환 크기(S0)를 위한 고유한 파라미터 표(P0)는 인코더와 디코더 모두에 저장된다. 예컨대 Si와 같은 다른 변환 크기의 파라미터 표(Pi)는 P0와 Si의 함수가 될 수 있다, 즉 Pi = f(P0,Si)이다.
일 실시예에 있어서, 표의 각 엔트리에 대해 Pi = ai * P0 + bi 를 설정할 수 있는데, 여기에서 ai와 bi는 상수이다. 따라서, 변환 블록 크기(Si)에 대해, 크기조정 계수(ai)와 옵셋(bi)만을 신호발신하는 것이 필요하다.
도 5를 참조하면, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법이 일반적으로 도면 번호 500으로 표시된다. 방법(500)은 제어를 기능블록(510)으로 전달하는 시작 블록(505)을 포함한다. 기능 블록(510)은 각 변환 크기를 위한 고유한 파라미터 표를 저장하고, 제어를 기능블록(515)에 전달한다. 일 실시예에 있어서, 파라미터 표 내의 각 엔트리는, 크기 조정 계수와 옵셋 쌍뿐만 아니라 각 변환 크기에 대응하는, 고정된 파라미터 값 및/또는 다른 경우 미리 결정된 파라미터 값에 의해 표시되거나, 및/또는 파라미터 값과 일치하는 그 밖의 것이다. 일 실시예에 있어서, 필터 파라미터는 예컨대 방법(300)을 사용하여 결정된다. 기능블록(515)은, 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨(화상이 비디오 시퀀스의 일부인 경우) 중 하나 이상에 관해, 각 변환 크기(들), 크기조정 계수와 옵셋 쌍(들) 및 플래그(들)를 신호발신하고, 제어를 종료블록(599)에 전달한다.
도 6을 참조하면, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법이 일반적으로 도면번호 600으로 표시된다.
방법(600)은 제어를 기능블록(610)에 전달하는 시작 블록(605)을 포함한다. 기능블록(610)은 적어도 하나의 변환 크기를 위한 고유한 파라미터 표를 저장하고, 제어를 기능블록(615)에 전달한다. 일 실시예에 있어서, 파라미터 표 내의 각 엔트리는 각 변환 크기, 크기 조정 계수 및 옵셋에 대응하는, 고정된 파라미터 값 및/또는 다른 경우 미리 결정된 파라미터 값에 의해 표시되거나 및/또는 파라미터 값과 일치하는 그 밖의 것이다. 기능블록(615)은, 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨(화상이 비디오 시퀀스의 일부인 경우) 중 하나 이상에 관해, 각 변환 크기(들), 크기조정 계수 및 옵셋 쌍(들) 및 플랙그(들)을 수신하여 디코딩하고, 제어를 기능블록(620)에 전달한다. 기능블록(620)은, 기능블록(615)에 의해 수신된 항목에 기초하여, 대응하는 샘플, 블록, 영역, 슬라이스, 화상 또는 시퀀스를 위한 필터 파라미터를 결정하여 선택하고, 제어를 기능블록(625)에 전달한다. 기능블록(625)은 예컨대, 잡음 분산의 통계에 기초하여, 결정 및 선택된 필터 파라미터를 선택적으로 적응시키고, 제어를 기능블록(630)에 전달한다. 기능블록(630)은 결정되어 선택된 필터 파라미터 또는 적응된 필터 파라미터를 사용하여 성김에 기반한 아티팩트 제거 필터링을 샘플, 블록, 영역, 슬라이스, 화상, 또는 시퀀스 상에서 수행하고, 제어를 종료블록(699)에 전달한다.
일 실시예에 있어서, 표의 각 엔트리에 대해 Pi = ai * P0 + bi 를 설정할 수 있는데, 여기에서 ai와 bi는 상수이다. 따라서, 변환 블록 크기(Si)에 대해, 파라미터 표에 대한 대응하는 색인을 신호발신할 것만을 필요로 한다.
도 7를 참조하면, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법이 일반적으로 도면 번호 700으로 표시된다. 방법(700)은 제어를 기능블록(710)으로 전달하는 시작블록(705)을 포함한다. 기능블록(710)은 적어도 하나의 변환 크기에 대해 고유한 파라미터 표를 저장하고, 제어를 기능블록(715)에 전달한다. 일 실시예에 있어서, 파라미터 표 내의 각 엔트리는, 크기 조정 계수와 옵셋 쌍뿐만 아니라 각 변환 크기에 대응하는, 고정된 파라미터 값 및/또는 다른 경우 미리 결정된 파라미터 값에 의해 표시되거나 및/또는 파라미터 값과 일치하는 그 밖의 것이다. 일 실시예에 있어서, 필터 파라미터는 예컨대 방법(300)을 사용하여 결정된다. 기능블록(715)은, 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨(화상이 비디오 시퀀스의 일부인 경우) 중 하나 이상에 관해, 파라미터 표 내의 특정 엔트리에 대한 색인 및 플래그(들)를 신호발신하고, 제어를 종료블록(799)에 전달한다.
도 8을 참조하면, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법이 일반적으로 도면번호 800으로 표시된다.
방법(800)은 제어를 기능블록(810)에 전달하는 시작 블록(805)을 포함한다. 기능블록(810)은 적어도 하나의 변환 크기를 위한 고유한 파라미터 표를 저장하고, 제어를 기능블록(815)에 전달한다. 일 실시예에 있어서, 파라미터 표 내의 각 엔트리는 각 변환 크기, 크기 조정 계수 및 옵셋에 대응하는, 고정된 파라미터 값 및/또는 다른 경우 미리 결정된 파라미터 값에 의해 표시되거나 및/또는 파라미터 값과 일치하는 그 밖의 것이다. 기능블록(815)은, 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨(화상이 비디오 시퀀스의 일부인 경우) 중 하나 이상에 관해, 각 변환 크기(들), 파라미터 표 내의 특정 엔트리에 대한 색인(들) 및 플래그(들)를 수신하여 디코딩하고, 제어를 기능블록(820)에 전달한다. 기능블록(820)은, 기능블록(815)에 의해 수신된 항목에 기초하여, 대응하는 샘플, 블록, 영역, 슬라이스, 화상 또는 시퀀스를 위한 필터 파라미터를 결정하여 선택하고, 제어를 기능블록(825)에 전달한다. 기능블록(825)은 결정 및 선택된 필터 파라미터를 적응시키고, 제어를 기능블록(830)에 전달한다. 기능블록(830)은 결정되어 선택된 필터 파라미터를 사용하여 성김에 기반한 아티팩트 제거 필터링을 샘플, 블록, 영역, 슬라이스, 화상 또는 시퀀스 상에서 수행하고, 제어를 종료블록(899)에 전달한다.
대안적으로, 파라미터(ai와 bi)는 현재의 슬라이스의 통계에 기초하여 적응적일 수 있다. 일 실시예에 있어서, 통계는 아티팩트 제거 필터링 이전의 국부적인 분산이 될 수 있고, 이 경우, ai와 bi는 신호발신될 필요가 없다.
도 9를 참조하면, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법이 일반적으로 도면번호 900으로 표시된다. 방법(900)은 제어를 기능블록(910)으로 전달하는 시작블록(905)을 포함한다. 기능블록(910)은 적어도 하나의 변환 크기에 대해 고유한 파라미터 표를 저장하고, 제어를 기능블록(915)에 전달한다. 일 실시예에 있어서, 파라미터 표 내의 각 엔트리는, 크기 조정 계수와 옵셋 쌍뿐만 아니라 각 변환 크기에 대응하는, 고정된 파라미터 값 및/또는 다른 경우 미리 결정된 파라미터 값에 의해 표시되거나 및/또는 파라미터 값과 일치하는 그 밖의 것이다. 일 실시예에 있어서, 필터 파라미터는 예컨대 방법(300)을 사용하여 결정된다. 기능블록(915)은, 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨(화상이 비디오 시퀀스의 일부인 경우) 중 하나 이상에 관해, 각 변환 크기(들) 및 플래그(들)를 신호발신하고, 제어를 종료블록(999)에 전달한다.
도 10을 참조하면, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법이 일반적으로 도면번호 1000으로 표시된다.
방법(1000)은 제어를 기능블록(1010)에 전달하는 시작 블록(1005)을 포함한다. 기능블록(1010)은 적어도 하나의 변환 크기를 위한 고유한 파라미터 표를 저장하고, 제어를 기능블록(1015)에 전달한다. 일 실시예에 있어서, 파라미터 표 내의 각 엔트리는 각 변환 크기, 크기 조정 계수 및 옵셋에 대응하는, 고정된 파라미터 값 및/또는 다른 경우 미리 결정된 파라미터 값에 의해 표시되거나 및/또는 파라미터 값과 일치하는 그 밖의 것이다. 기능블록(1015)은, 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨(화상이 비디오 시퀀스의 일부인 경우) 중 하나 이상에 관해, 각 변환 크기(들)와 플래그(들)를 수신하여 디코딩하고, 제어를 기능블록(1020)에 전달한다. 기능블록(1020)은, 기능블록(1015)에 의해 수신된 항목에 기초하여, 대응하는 샘플, 블록, 영역, 슬라이스, 화상 또는 시퀀스를 위한 필터 파라미터를 결정하여 선택하고, 제어를 기능블록(1025)에 전달한다. 기능블록(1025)은 결정 및 선택된 필터 파라미터를 예컨대 현재 슬라이스의 예컨대 로컬 통계에 기초하여 적응시키고, 제어를 기능블록(1030)에 전달한다. 기능블록(1030)은 결정되어 선택된 필터 파라미터를 사용하여 성김에 기반한 아티팩트 제거 필터링을 샘플, 블록, 영역, 슬라이스, 화상 또는 시퀀스 상에서 수행하고, 제어를 종료블록(1099)에 전달한다.
다른 실시예에 있어서, 통계는 잡음의 분산으로 이루어질 수 있고, 이 경우, ai와 bi는 신호발신되어야 한다. 이러한 경우, 기능 블록(1025)은 기능블록(1025)에 대해 선택적으로 도시된, 예컨대 잡음 분산의 통계에 기초하여 결정되어 선택된 필터 파라미터를 적응시킬 수 있다.
다른 실시예에 있어서, 각 변환 크기에 대한 파라미터 세트는 인코더와 디코더 모두에서 저장된다. 각 슬라이스에 대해 변환크기의 신호발신만을 필요로 한다. 따라서, 도 9와 및 10이 파라미터 표가 크기조정 계수와 옵셋 쌍을 사용하지 않는다는 점에서 도 10 및 도 11과 다르다는 점을 주지해야 한다.
도 11을 참조하면, 비디오 인코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법이 일반적으로 도면번호 1100으로 표시된다. 방법(1100)은 제어를 기능블록(1110)으로 전달하는 시작블록(1105)을 포함한다. 기능블록(1110)은 적어도 하나의 변환 크기에 대해 고유한 파라미터 표를 저장하고, 제어를 기능블록(1115)에 전달한다. 일 실시예에 있어서, 파라미터 표 내의 각 엔트리는, 각 변환 크기에 대응하는, 고정된 파라미터 값 및/또는 다른 경우 미리 결정된 파라미터 값에 의해 표시된다. 일 실시예에 있어서, 필터 파라미터는 예컨대 방법(300)을 사용하여 결정된다. 기능블록(1115)은, 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨(화상이 비디오 시퀀스의 일부인 경우) 중 하나 이상에 관해, 각 변환 크기(들) 및 플래그(들)를 신호발신하고, 제어를 종료블록(1199)에 전달한다.
도 12를 참조하면, 비디오 디코더에서 아티팩트 제거 필터링을 위해 필터 파라미터의 결정 및 선택을 위한 다른 예시적인 방법이 일반적으로 도면번호 1200에 의해 표시된다.
방법(1200)은 제어를 기능블록(1210)에 전달하는 시작 블록(1205)을 포함한다. 기능블록(1210)은 적어도 하나의 변환 크기를 위한 고유한 파라미터 표를 저장하고, 제어를 기능블록(1215)에 전달한다. 일 실시예에 있어서, 파라미터 표 내의 각 엔트리는 각 변환 크기, 크기 조정 계수 및 옵셋에 대응하는, 고정된 파라미터 값 및/또는 다른 경우 미리 결정된 파라미터 값에 의해 표시되거나 및/또는 파라미터 값과 일치하는 그 밖의 것이다. 기능블록(1215)은, 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨(화상이 비디오 시퀀스의 일부인 경우) 중 하나 이상에 관해, 각 변환 크기(들)와 플래그(들)를 수신하여 디코딩하고, 제어를 기능블록(1220)에 전달한다. 기능블록(1220)은, 기능블록(1215)에 의해 수신된 항목에 기초하여, 대응하는 샘플, 블록, 영역, 슬라이스, 화상 또는 시퀀스를 위한 필터 파라미터를 결정하여 선택하고, 제어를 기능블록(1225)에 전달한다. 기능블록(1225)은 결정 및 선택된 필터 파라미터를 적응시키고, 제어를 기능블록(1230)에 전달한다. 기능블록(1230)은 결정되어 선택된 필터 파라미터를 사용하여 성김에 기반한 아티팩트 제거 필터링을 샘플, 블록, 영역, 슬라이스, 화상 또는 시퀀스 상에서 수행하고, 제어를 종료블록(1299)에 전달한다.
다른 실시예에 있어서, 플래그는 가변 변환 크기가 현재의 화상/슬라이스를 위해 적용되는 지의 여부를 나타내기 위하여 사용될 수 있다.
상기 방법들은 휘도 및/또는 색차에 적용될 수 있음이 인식되어야 한다.
표 1은 본 발명의 원리의 일 실시예에 따른 예시적인 화상 및 슬라이스 헤더 구문을 도시한다.
picture_header(){ 서술자
transform_size_adaptive_flag u(1)
}
slice_header(){
if(transform_size_adaptive_flag==1){
transform_size_idx u(2)
for(j=0; j<num_of_calsses;j++){
parameter_idx[j] u(2)
}
}
....
}
표 1의 구문 요소의 적어도 일부에 대한 의미론은 다음과 같다:
transform_size_adaptivie_flag가 1과 같은 것은 가변 변환 크기가 화상을 위해 사용되는 지의 여부를 규정한다. transform_size_adaptive_flag가 0과 같은 것은 가변 변환 크기 화상을 위해 사용되지 않음을 나타낸다.
transform_size_idx는 현재 슬라이스의 변환 블록 크기를 규정한다.
parameter_idx[j]는 현재 변환 크기와 클래스 j에 대한 파라미터 색인을 규정한다.
일부가 상술된, 본 발명의 수반되는 많은 장점/특징 중 일부의 설명이 이제 주어질 것이다. 예컨대, 하나의 장점/특징은 적어도 한 화상의 적어도 일부를 위한 화상 데이터를 인코딩하는 인코더를 갖는 장치이다. 인코더는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링을 수행하기 위한 성김에 기반한 아티팩트 제거 필터를 포함한다. 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택된다.
다른 장점/특징은 상술한 성김에 기반한 필터를 포함하는 인코더를 갖는 장치인데, 여기에서 화상은 비디오 시퀀스의 부분이고, 하나 이상의 필터 파라미터는 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨 중 하나 이상에 관한 것이다.
또 다른 장점/특징은 상술한 성김에 기반한 필터를 포함하는 인코더를 갖는 장치인데, 여기에서 하나 이상의 필터 파라미터는 필터 파라미터 결정 및 선택 프로세스를 수행함으로써 결정되어 선택된다. 필터 파라미터 결정 및 선택 프로세스는 필터 파라미터 적응 프로세스와 결합된다. 필터 파라미터 적응 프로세스는 적어도 양자화 잡음 및 코딩 정보에 기초한다.
또 다른 장점/특징은 상술한 성김에 기반한 필터를 포함하는 인코더를 갖는 장치인데, 여기에서 변환 크기와, 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터 중 적어도 일부는, 하나 이상의 하이 레벨 구문 요소를 사용하여 신호발신된다.
추가 장점/특징은 상술한 성김에 기반한 필터를 포함하는 인코더를 갖는 장치인데, 여기에서 가변 변환은, 변환 유형, 변환 크기, 변환 차원, 및 변환 적응방향 중 적어도 하나에 관해 가변적이다.
더욱이, 다른 장점/특징은 성김에 기반한 필터를 포함하는 인코더를 갖는 장치인데, 여기에서 가변 변환은 상술한 변환 유형, 변환 크기, 변환 차원 및 변환 적응방향 중 적어도 하나에 관해 가변적이고, 여기에서 필터 파라미터 표가 저장되며, 각 가변 변환에 대한 대응하는 필터 파라미터는 파라미터 표와 각각의 가변 변환의 함수이다.
더욱이, 다른 장점/특징은 성김에 기반한 필터를 포함하는 인코더를 갖는 장치인데, 여기에서 가변 변환은 상술한 변환 유형, 변환 크기, 변환 차원 및 변환 적응방향 중 적어도 하나에 관해 가변적이고, 각 가변 변환을 위한 대응하는 필터 파라미터는 크기조정 계수와 옵셋 중 적어도 하나를 통해 신호발신된다.
또한, 다른 장점/특징은 성김에 기반한 필터를 포함하는 인코더를 갖는 장치인데, 여기에서 가변 변환은 상술한 변환 유형, 변환 크기, 변환 차원 및 변환 적응방향 중 적어도 하나에 관해 가변적이고, 각 가변 변환을 위한 대응하는 필터 파라미터는 신호발신되기 전에 적응된다.
부가적으로, 다른 장점/특징은 성김에 기반한 필터를 포함하는 인코더를 갖는 장치인데, 여기에서 가변 변환은 상술한 변환 유형, 변환 크기, 변환 차원 및 변환 적응방향 중 적어도 하나에 관해 가변적이고, 각 가변 변환을 위한 대응하는 필터 파라미터는, 영역, 영역을 포함하는 슬라이스, 영역을 포함하는 화상 및 영역을 포함하는 비디오 시퀀스 중 적어도 하나의 통계에 기초하여, 디코더에 대한 신호발신과 함께, 또는 신호 발신 없이, 적응된다.
더욱이, 다른 장점/특징은 성김에 기반한 필터를 포함하는 인코더를 갖는 장치인데, 여기에서 가변 변환은 상술한 변환 유형, 변환 크기, 변환 차원, 및 변환 적응방향 중 적어도 하나에 관해 가변적이고, 각 가변 변환을 위한 필터 파라미터 세트는 인코더와 디코더 모두에 저장되고, 가변 변환들 중 대응하는 가변 변환의 색인만이 디코더에 대한 신호발신되거나, 또는 디코더에서 유도된다.
본 발명의 원리의 이들 및 다른 특징 및 장점은 본 명세서의 가르침에 기초하여 당업자에 의해 쉽게 확인될 수 있다. 본 발명의 원리의 가르침이 하드웨어, 소프트웨어, 펌웨어, 특수목적의 프로세서 또는 이들의 조합의 다양한 형태로 구현될 수 있음을 이해되어야 한다.
가장 바람직하게, 본 발명의 원리의 가르침은 하드웨어와 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는, 프로그램 저장 유닛 상에 실체적으로 구체화되는 응용 프로그램으로서 구현될 수도 있다. 응용 프로그램은, 임의의 적당한 구조를 포함하는 기계로 업로드되거나, 그러한 기계에 의해 실행될 수도 있다. 바람직하게, 그러한 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM"), 그리고 입력/출력("I/O") 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼상에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체계 및 마이크로명령어(microinstruction) 코드를 포함할 수도 있다. 본 명세서에 기술된 다양한 프로세스 및 기능은 CPU에 의해 실행될 수 있는 마이크로명령어 코드의 부분, 또는 응용 프로그램의 부분일 수도 있으며, 또는 그들의 임의의 조합일 수도 있다. 또한, 추가적인 데이터 저장 유닛 및 프린팅 유닛과 같은 다양한 다른 주변 유닛이 컴퓨터 플랫폼으로 연결될 수도 있다.
첨부 도면에 도시된 구성 시스템 구성요소들 및 방법들의 일부가 바람직하게 소프트웨어로 구현되므로, 시스템 구성요소들 또는 프로세스 기능 블록들 사이의 실제 연결은 본 발명의 원리가 프로그래밍되는 방법에 따라서 달라질 수도 있다는 것이 또한 이해되어야 한다. 본 명세서의 가르침들이 주어지면, 당업자라면 본 발명의 원리의 이들 그리고 유사한 구현들 또는 구성들을 예측할 수 있을 것이다.
본 명세서에서 기술된 예시적 실시예들이 첨부 도면을 참조하여 설명되었지만, 본 발명의 원리는 그러한 정확한 실시예들로 제한되지 않으며, 본 발명의 원리의 범주 또는 사상으로부터 벗어나지 않으면서, 당업자에 의해 그러한 실시예들에서 다양한 변화 및 수정이 이루어질 수도 있다는 것이 이해되어야 한다. 모든 그러한 변화 및 수정은 첨부되는 청구항에 설명된 본 발명의 원리의 범주 내에 포함되도록 의도된다.
100 : 비디오 인코더 105 : 인코더 제어기
110 : 프레임 배열 버퍼 115 : 화상-유형 결정 모듈
120 : MB-유형 결정 모듈 125 : 변환 및 양자화기
130 : 보충 강화 정보(SEI) 삽입기 135 : 출력 버퍼
140 : SPS 및 PPS 삽입기 145,245 : 엔트로피 코더
150,250 : 역변환기 및 역양자화기 160,260 : 인트라 예측 모듈
165,265 : 아티팩트 제거 필터 170,270 : 움직임 보상기
175 : 움직임 추정기 180,280 : 기준 화상 버퍼
185,190,225, : 결합기 197,297 : 스위치
200 : 비디오 디코더 205 : 디코더 제어기
210 : 입력 버퍼

Claims (23)

  1. 장치로서,
    화상의 적어도 일부를 위한 화상 데이터를 인코딩하기 위한 인코더(100)를 포함하고,
    상기 인코더(100)는 상기 일부에 대한 성김에 기반한(sparsity-based) 아티팩트 제거(de-artifact) 필터링을 수행하기 위한 성김에 기반한 아티팩트 제거 필터(165)를 포함하고,
    상기 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택되는, 장치.
  2. 비디오 인코더에서의 방법으로서,
    화상의 적어도 일부를 위한 화상 데이터를 인코딩하는 단계(350)를 포함하고,
    상기 인코딩 단계는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링을 수행하는 단계(325)를 포함하고,
    상기 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택되는, 비디오 인코더에서의 방법.
  3. 제 2항에 있어서, 상기 화상은 비디오 시퀀스의 일부이고, 상기 하나 이상의 필터 파라미터는 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨 중 하나 이상에 관련되는(515, 715, 915, 1115), 비디오 인코더에서의 방법.
  4. 제 2항에 있어서, 상기 하나 이상의 필터 파라미터는 필터 파라미터 결정 및 선택 프로세스를 수행함으로써 결정되어 및 선택되고(335), 상기 필터 파라미터 결정 및 선택 프로세스는 필터 파라미터 적응 프로세스와 결합되고(355), 상기 필터 파라미터 적응 프로세스는 적어도 양자화 잡음 및 코딩 정보에 기초하는, 비디오 인코더에서의 방법.
  5. 제 2항에 있어서, 변환 크기와, 상기 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터 중 적어도 일부는, 하나 이상의 하이 레벨 구문 요소를 사용하여 신호발신되는(355), 비디오 인코더에서의 방법.
  6. 제 2항에 있어서, 상기 가변 변환들은, 변환 유형, 변환 크기, 변환 차원, 및 변환 적응방향 중 적어도 하나에 관해 가변적인, 비디오 인코더에서의 방법.
  7. 제 6항에 있어서, 필터 파라미터 표가 저장되고, 상기 가변 변환들의 각각에 대해 대응하는 필터 파라미터는, 상기 파라미터 표와, 상기 가변 변환들 중 각각의 가변 변환의 함수인(510, 710, 910, 1110), 비디오 인코더에서의 방법.
  8. 제 6항에 있어서, 상기 가변 변환들의 각각에 대해 대응하는 필터 파라미터는 크기조정 계수와 옵셋 중 적어도 하나에 의해 신호발신되는(355, 515), 비디오 인코더에서의 방법.
  9. 제 8항에 있어서, 상기 가변 변환들의 각각에 대해 상기 대응하는 필터 파라미터는 신호발신되기 전에 적응되는(347), 비디오 인코더에서의 방법.
  10. 제 6항에 있어서, 상기 가변 변환들의 각각에 대해 대응하는 필터 파라미터는, 상기 영역, 상기 영역을 포함하는 슬라이스, 상기 영역을 포함하는 화상, 및 상기 영역을 포함하는 비디오 시퀀스 중 적어도 하나의 통계에 기초하여, 디코더에 대한 신호발신(355)과 함께, 또는 신호 발신 없이 적응되는(347), 비디오 인코더에서의 방법.
  11. 제 6항에 있어서, 상기 가변 변환들의 각각에 대해 필터 파라미터의 세트는 인코더 및 디코더 모두에 저장되고(710), 상기 가변 변환들의 대응하는 가변 변환의 색인만이 디코더에 신호발신되거나, 디코더에서 유도되는(715), 비디오 인코더에서의 방법.
  12. 장치로서,
    화상의 적어도 일부를 위한 화상 데이터를 디코딩하기 위한 디코더(200)를 포함하고,
    상기 디코더(200)는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링을 수행하기 위한 성김에 기반한 아티팩트 제거 필터(265)를 포함하고,
    상기 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택되는, 장치.
  13. 비디오 디코더에서의 방법으로서,
    화상의 적어도 일부를 위한 화상 데이터를 디코딩하는 단계(410)를 포함하고,
    상기 디코딩 단계는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링을 수행하는 단계(415)를 포함하고,
    상기 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택되는, 비디오 디코더에서의 방법.
  14. 제 13항에 있어서, 상기 화상은 비디오 시퀀스의 일부이고, 상기 하나 이상의 필터 파라미터는 샘플 레벨, 블록 레벨, 영역 레벨, 슬라이스 레벨, 화상 레벨 및 시퀀스 레벨 중 하나 이상에 관련되는(615, 815, 1015, 1215), 비디오 디코더에서의 방법.
  15. 제 13항에 있어서, 상기 하나 이상의 필터 파라미터는 필터 파라미터 결정 및 선택 프로세스를 수행함으로써 결정되어 및 선택되고(620, 820,1020, 1220), 상기 필터 파라미터 결정 및 선택 프로세스는 필터 파라미터 적응 프로세스와 결합되고(625, 825, 1025, 1225), 상기 필터 파라미터 적응 프로세스는 적어도 양자화 잡음 및 코딩 정보에 기초하는, 비디오 디코더에서의 방법.
  16. 제 13항에 있어서, 변환 크기와, 상기 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터 중 적어도 일부는, 하나 이상의 하이 레벨 구문 요소를 사용하여 결정되는(410), 비디오 디코더에서의 방법.
  17. 제 13항에 있어서, 상기 가변 변환들은, 변환 유형, 변환 크기, 변환 차원, 및 변환 적응방향 중 적어도 하나에 관해 가변적인, 비디오 디코더에서의 방법.
  18. 제 17항에 있어서, 필터 파라미터 표가 저장되고, 상기 가변 변환들의 각각에 대해 대응하는 필터 파라미터는, 상기 파라미터 표와, 상기 가변 변환들 중 각각의 가변 변환의 함수인(610, 810, 1010, 1210), 비디오 디코더에서의 방법.
  19. 제 17항에 있어서, 상기 가변 변환들의 각각에 대해 대응하는 필터 파라미터는 크기조정 계수와 옵셋 중 적어도 하나를 사용하여 신호발신되는(615), 비디오 디코더에서의 방법.
  20. 제 19항에 있어서, 상기 가변 변환들의 각각에 대해 상기 대응하는 필터 파라미터는 초기에 결정되는 것에 후속하여 적응되는(625, 825, 1025, 1225), 비디오 디코더에서의 방법.
  21. 제 17항에 있어서, 상기 가변 변환들의 각각에 대해 대응하는 필터 파라미터는, 상기 영역, 상기 영역을 포함하는 슬라이스, 상기 영역을 포함하는 화상 및 상기 영역을 포함하는 비디오 시퀀스 중 적어도 하나의 통계에 기초하여 적응되는(625, 825, 1025, 1225), 비디오 디코더에서의 방법.
  22. 제 17항에 있어서, 상기 가변 변환들의 각각에 대해 필터 파라미터의 세트는 인코더 및 디코더 모두에 저장되고, 상기 가변 변환들의 대응하는 가변 변환의 색인만이 상기 디코더에 의해 수신되거나, 상기 디코더에서 유도되는(610, 810, 1010, 1210), 비디오 디코더에서의 방법.
  23. 인코딩된 비디오 신호 데이터를 저장한 컴퓨터 판독 가능한 저장 매체로서,
    화상의 적어도 일부에 대해 인코딩된 화상 데이터를 포함하고,
    상기 화상 데이터는 상기 일부에 대한 성김에 기반한 아티팩트 제거 필터링에 후속한 부분을 나타내고,
    상기 성김에 기반한 아티팩트 제거 필터링을 위한 하나 이상의 필터 파라미터는 가변 변환들에 응답하여 결정되어 선택되는, 컴퓨터 판독 가능한 저장 매체.
KR1020117024095A 2009-04-14 2010-03-26 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치 KR101378749B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16899009P 2009-04-14 2009-04-14
US61/168,990 2009-04-14
PCT/US2010/000915 WO2010120338A2 (en) 2009-04-14 2010-03-26 Methods and apparatus for filter parameter determination and selection responsive to variable transforms in sparsity-based de-artifact filtering

Publications (2)

Publication Number Publication Date
KR20110137796A true KR20110137796A (ko) 2011-12-23
KR101378749B1 KR101378749B1 (ko) 2014-03-28

Family

ID=42983048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117024095A KR101378749B1 (ko) 2009-04-14 2010-03-26 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치

Country Status (6)

Country Link
US (1) US9020287B2 (ko)
EP (1) EP2420063B1 (ko)
JP (2) JP5800396B2 (ko)
KR (1) KR101378749B1 (ko)
CN (1) CN102439975B (ko)
WO (1) WO2010120338A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378749B1 (ko) * 2009-04-14 2014-03-28 톰슨 라이센싱 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치
US8493262B2 (en) * 2011-02-11 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Synthetic aperture radar image formation system and method
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
US9262808B2 (en) * 2013-02-07 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Denoising of images with nonstationary noise
US10313565B2 (en) 2014-06-26 2019-06-04 Integrated Device Technology, Inc. Methods and apparatuses for edge preserving and/or edge enhancing spatial filter
US10027986B2 (en) 2014-09-24 2018-07-17 Integrated Device Technology, Inc. Apparatuses and methods for filtering noise from a video signal
US10057601B2 (en) 2015-06-22 2018-08-21 Integrated Device Technology, Inc. Methods and apparatuses for filtering of ringing artifacts post decoding
CN105847848B (zh) * 2015-11-17 2019-03-15 西安邮电大学 一种高效视频编码中判定滤波强弱的可重构阵列结构
EP3451663A1 (en) * 2017-08-31 2019-03-06 Thomson Licensing Pools of transforms for local selection of a set of transforms in video coding
KR102444054B1 (ko) 2017-09-14 2022-09-19 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US11663702B2 (en) * 2018-12-19 2023-05-30 Dolby Laboratories Licensing Corporation Image debanding using adaptive sparse filtering
US10853709B1 (en) 2019-12-18 2020-12-01 Ricoh Company, Ltd. Image filtering for improved lossless compression

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2879298B2 (ja) * 1993-11-15 1999-04-05 日本電気エンジニアリング株式会社 適応後処理フィルタ
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
FR2848373A1 (fr) * 2002-12-04 2004-06-11 Koninkl Philips Electronics Nv Procede de mesure d'artefacts de bloc
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
KR20080090421A (ko) * 2006-01-31 2008-10-08 톰슨 라이센싱 비디오 인코더 및 디코더에서의 해상도가 감소한 갱신모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한방법 및 장치
SG139602A1 (en) * 2006-08-08 2008-02-29 St Microelectronics Asia Automatic contrast enhancement
US20100128803A1 (en) * 2007-06-08 2010-05-27 Oscar Divorra Escoda Methods and apparatus for in-loop de-artifacting filtering based on multi-lattice sparsity-based filtering
JP4922101B2 (ja) 2007-08-21 2012-04-25 株式会社東芝 情報処理装置およびインター予測モード判定方法
KR101566564B1 (ko) * 2007-10-16 2015-11-05 톰슨 라이센싱 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
WO2010065060A1 (en) * 2008-11-25 2010-06-10 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
US20100245672A1 (en) * 2009-03-03 2010-09-30 Sony Corporation Method and apparatus for image and video processing
KR101378749B1 (ko) * 2009-04-14 2014-03-28 톰슨 라이센싱 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치
US20120044987A1 (en) * 2009-12-31 2012-02-23 Broadcom Corporation Entropy coder supporting selective employment of syntax and context adaptation

Also Published As

Publication number Publication date
WO2010120338A3 (en) 2011-12-29
JP6104975B2 (ja) 2017-03-29
KR101378749B1 (ko) 2014-03-28
JP2015164335A (ja) 2015-09-10
CN102439975B (zh) 2015-08-26
JP2012524455A (ja) 2012-10-11
US9020287B2 (en) 2015-04-28
WO2010120338A2 (en) 2010-10-21
EP2420063A2 (en) 2012-02-22
JP5800396B2 (ja) 2015-10-28
EP2420063B1 (en) 2022-07-13
US20120030219A1 (en) 2012-02-02
CN102439975A (zh) 2012-05-02

Similar Documents

Publication Publication Date Title
KR101378749B1 (ko) 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치
KR101680915B1 (ko) 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치
JP6646029B2 (ja) アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置
US20100272191A1 (en) Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
KR101885382B1 (ko) 공간적으로 변하는 잔류물 코딩을 위한 방법 및 장치
CN101543076A (zh) 用于环内去伪影滤波的方法和设备
KR20130030254A (ko) 분류-기반 루프 필터에 대한 방법들 및 장치

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20111013

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120328

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130531

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20131231

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140321

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140324

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170220

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180219

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20200316

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220310

Start annual number: 9

End annual number: 9