KR102418957B1 - 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR102418957B1
KR102418957B1 KR1020210118234A KR20210118234A KR102418957B1 KR 102418957 B1 KR102418957 B1 KR 102418957B1 KR 1020210118234 A KR1020210118234 A KR 1020210118234A KR 20210118234 A KR20210118234 A KR 20210118234A KR 102418957 B1 KR102418957 B1 KR 102418957B1
Authority
KR
South Korea
Prior art keywords
image
block
prediction
filtering
template
Prior art date
Application number
KR1020210118234A
Other languages
English (en)
Other versions
KR20210113126A (ko
Inventor
정제창
김기백
정동진
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47042086&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102418957(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20210113126A publication Critical patent/KR20210113126A/ko
Priority to KR1020220082417A priority Critical patent/KR20220100833A/ko
Application granted granted Critical
Publication of KR102418957B1 publication Critical patent/KR102418957B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

인루프 필터링을 적용한 예측 방법이 개시된다. 본 발명에 따른 방법은 동영상 부호화 및 복호화를 위한 예측으로서, 역 양자화 및 역 변환을 거쳐 현재 블록의 잔차 블록을 생성하는 단계, 화면 내 예측을 거쳐 현재 블록의 예측 블록을 생성하는 단계, 잔차 블록과 예측 블록을 합산한 현재 블록에 인루프 필터링을 수행하는 단계 및 인루프 필터링이 수행된 현재 블록을 다음 부호화 대상 블록의 화면 내 예측을 위하여 프레임 버퍼에 저장하는 단계를 포함하여 구성된다. 따라서, 동영상 부호화 및 복호화 과정에서 인루프 필터를 이용하여 예측을 수행하므로써 예측의 정확도를 높이고 예측 오차를 줄일 수 있어 동영상 압축의 효율을 높이고 전송해야할 데이터의 양을 줄이는 효과를 얻을 수 있다.

Description

인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치{VIDEO ENCODING/DECODING METHOD AND APPARATUS USING PREDICTION BASED ON IN-LOOP FILTERING}
본 발명은 동영상 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 동영상 부호화 및 복호화 과정에 있어서 보다 정확한 예측을 이뤄냄으로써 예측 오차를 줄이고, 이를 통하여 동영상 압축 효율을 높일 수 있는 예측 방법에 관한 것이다.
동영상 데이터는 크기가 커서 저장하거나 전송하기 위해 압축하는 과정이 필요하다. 통상적으로 동영상 데이터를 부호화하는 경우, 동영상 데이터의 각 픽처를 블록 단위로 화면내 예측 또는 인터 예측, 변환, 양자화 및 엔트로피 코딩 등을 수행하여 부호화 한다.
특히 화면내 예측은 동영상에서 데이터의 중복성을 줄이기 위해 예측을 수행하는데 공간적 중복성을 이용하여 주변 블록으로부터 예측을 수행하는 화면내 예측을 사용하여 데이터의 중복성을 줄인다. 예를 들면, 기존의 H.264/AVC의 화면내 예측은 9가지 모드를 사용하여 외삽을 시행하는데, 예측하려는 화소가 참조 화소로부터 멀어질수록 정확한 예측이 어려운 단점이 있다. 특히 텍스쳐를 나타내는데에 있어서 기존의 화면내 예측을 사용하면 예측의 정확성이 떨어지는 문제점을 갖고 있다.
또한, 화면내 예측 또는 화면간 예측에 있어 원본 영상과 복원 영상간의 왜곡이 발생하거나 왜곡으로 인해 다음에 진행되는 화면내 예측 또는 화면간 예측의 정확도를 떨어뜨리는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 인루프 필터를 적용한 예측을 수행하여 예측의 정확도를 높임으로써 예측 오차를 줄이고, 부호화기로부터 복호화기로 전송해야할 데이터의 양을 감소시킬 수 있는 예측 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명은, 동영상 부호화 및 복호화를 위한 화면 내 예측 방법으로서, 역 양자화 및 역 변환을 거쳐 현재 블록의 잔차 블록을 생성하는 단계, 화면 내 예측을 거쳐 현재 블록의 예측 블록을 생성하는 단계, 상기 잔차 블록과 상기 예측 블록을 합산한 현재 블록에 인루프 필터링을 수행하는 단계 및 상기 인루프 필터링이 수행된 현재 블록을 다음 부호화 대상 블록의 화면 내 예측을 위하여 프레임 버퍼에 저장하는 단계를 포함한 화면내 예측 방법을 제공한다.
여기에서, 상기 예측 블록을 생성하는 단계는 상기 현재 블록의 이웃에 위치한 부호화 또는 복호화가 완료된 블록에 놓여져 있는 화소들로부터 부호화 비용이 최소인 최적의 예측 모드를 결정하여 결정된 예측모드에 따라서 예측된 예측 화소값을 갖는 예측 블록을 생성하도록 구성될 수 있다.
여기에서, 상기 예측 블록을 생성하는 단계는 상기 현재 블록의 이웃에 위치한 부호화 또는 복호화가 완료된 블록에 대해서 템플릿(template)을 구성하여 상기 템플릿의 화소들로부터 예측된 화소값을 갖는 예측 블록을 생성하도록 구성될 수 있다. 이때, 상기 템플릿의 화소들로부터 예측된 화소값을 갖는 예측 블록을 생성하는 과정은 상기 템플릿의 화소들을 소수 단위로 보간한 화소값을 이용하여 상기 예측 블록을 생성하도록 구성될 수도 있다.
여기에서, 상기 인루프 필터링을 수행하는 단계는 상기 현재 블록의 아래쪽 경계 및 오른쪽 경계에 대해서 인루프 필터링을 수행하도록 구성될 수 있다.
여기에서, 상기 인루프 필터링을 수행하는 단계는 상기 현재 블록의 이웃 블록들의 화면 내 예측 방향에 기반하여 필터링의 여부, 필터링의 종류 및 필터링의 강도를 조절하도록 구성될 수 있다.
여기에서, 상기 인루프 필터링을 수행하는 단계는 상기 현재 블록과 상기 현재 블록의 이웃 블록의 예측 방법이 동일한지 다른지 여부에 따라서 필터링의 여부, 필터링의 종류 및 필터링의 강도를 조절하도록 구성될 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 측면은, 동영상 부호화 및 복호화를 위한 예측 방법에 있어서, 역 양자화 및 역 변환을 거친 현재 영상의 잔차 영상을 생성하는 단계와, 화면내 예측 또는 화면간 예측을 거쳐 현재 영상의 예측 영상을 생성하는 단계와, 잔차 영상과 예측 영상을 합산하여 복원 영상을 생성하고, 복원 영상의 원본 영상과 복원 영상간의 왜곡에 기반하거나 복원 영상의 특성에 기반하여 복원 영상에 인루프 필터링을 수행하는 단계 및 인루프 필터링이 수행된 복원 영상을 다음 부호화 대상 영상의 예측을 위하여 프레임 버퍼에 저장하는 단계를 포함한다.
여기에서, 상기 인루프 필터링을 수행하는 단계는, 디블록킹 필터링을 포함하며, 적어도 하나의 추가적인 필터링을 더 포함할 수 있다.
여기에서, 상기 추가적인 필터링은, 복원 영상의 원본 영상과 복원 영상간의 왜곡에 따른 원본 영상의 화소와 복원 영상의 화소의 차분치 또는 차분치에 기반한 계수를 이용하여 복원 영상에 필터링을 수행할 수 있다.
여기에서, 상기 인루프 필터링을 수행하는 단계는, 인루프 필터링을 위해 복원 영상을 분할한 블록의 크기 또는 블록의 방향성에 기반하여 필터링의 여부, 필터링의 횟수 또는 필터링의 종류를 결정할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 다른 측면은, 화면내 예측 또는 화면간 예측을 거쳐 현재 영상의 예측 영상을 생성하는 예측부와, 역 양자화 및 역 변환을 거쳐 현재 영상의 잔차 영상을 생성하는 감산부와, 잔차 영상과 예측 영상을 합산하여 복원 영상을 생성하고, 복원 영상의 원본 영상과 복원 영상간의 왜곡에 기반하거나 복원 영상의 특성에 기반하여 복원 영상에 인루프 필터링을 수행하는 인루프 필터부 및 인루프 필터링이 수행된 복원 영상을 다음 부호화 대상 영상의 예측을 위하여 저장하는 메모리부를 포함하는 부호화 장치를 제공한다.
상기 다른 목적을 달성하기 위한 본 발명의 또 다른 측면은, 비트스트림을 복호화하여 현재 영상의 잔차 영상을 생성하는 복호화부와, 화면내 예측 또는 화면간 예측을 거쳐 현재 영상의 예측 영상을 생성하는 예측부와, 잔차 영상과 예측 영상을 합산한 복원 영상을 생성하는 가산부와, 복원 영상의 원본 영상과 복원 영상간의 왜곡에 기반하거나 복원 영상의 특성에 기반하여 복원 영상에 인루프 필터링을 수행하는 인루프 필터부 및 인루프 필터링이 수행된 복원 영상을 다음 부호화 대상 영상의 예측을 위하여 저장하는 메모리부를 포함하는 복호화 장치를 제공한다.
상기 다른 목적을 달성하기 위한 본 발명의 또 다른 측면은, 비트스트림을 복호화하여 현재 영상의 잔차 영상을 생성하는 단계와, 화면내 예측 또는 화면간 예측을 거쳐 현재 영상의 예측 영상을 생성하는 단계와, 잔차 영상과 예측 영상을 합산한 복원 영상을 생성하는 단계와, 복원 영상의 원본 영상과 복원 영상간의 왜곡에 기반하거나 복원 영상의 특성에 기반하여 복원 영상에 인루프 필터링을 수행하는 단계 및 인루프 필터링이 수행된 복원 영상을 다음 부호화 대상 영상의 예측을 위하여 저장하는 단계를 포함하는 복호화 방법을 제공한다.
상기와 같은 본 발명에 따른 예측 방법을 이용하면, 동영상 부호화 및 복호화 과정에서 인루프 필터를 적용한 예측을 수행하므로써 예측의 정확도를 높이고 예측 오차를 줄일 수 있어 동영상 압축의 효율을 높이고 전송해야할 데이터의 양을 줄이는 효과를 얻을 수 있다.
도 1은 본 발명에 따른 화면내 예측 방법을 설명하기 위한 순서도이다.
도 2는 H. 264/AVC의 4×4 화소 블록에 대한 화면내 예측 모드를 설명하기 위한 개념도이다.
도 3a는 템플릿 구성을 통한 화면 내 예측 방법을 3b는 이웃 블록이 아닌 이미 부호화가 완료된 영역으로부터 화면 내 예측을 수행하는 방법을 설명하기 위한 개념도이다.
도 4는 템플릿 구성을 통한 화면 내 예측 방법에서 템플릿을 구성하는 다양한 방식을 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 화면내 예측 방법에서 인루프 필터링의 일 예를 설명하기 위한 개념도이다.
도 6a 및 도 6b 는 본 발명에 따른 화면내 예측 방법에서 현재 블록 경계에 대한 인루프 필터링의 개념을 설명하기 위한 개념도이다.
도 7a 및 도 7b는 현재 블록의 이웃 블록의 예측 모드에 기반하여 인루프 필터링을 수행하는 개념을 설명하기 위한 개념도이다.
도 8은 본 발명에 따른 예측 방법에서 인루프 필터링의 유무 및 강도를 조절하는 개념을 설명하기 위한 개념도이다.
도 9는 움직임 벡터와 프리딕터와 차분치 정보를 구성하는 개념을 설명하기 위한 개념도이다.
도 10은 본 발명에 따른 예측 방법이 구현된 영상 부호화 장치의 구성예을 설명하기 위한 블록도이다.
도 11은 본 발명에 따른 예측 방법이 구현된 영상 복호화 장치의 구성예을 설명하기 위한 블록도이다.
도 12 는 본 발명에 따른 일 실시예에 영상 부호화 방법을 예시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 화면내 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 화면내 블록은 화면내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면내 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
한편 이하의 실시예는 본 발명의 성능을 확인하기 위하여 H.264/AVC 코덱을 기준으로 설명된 것이나, 본 발명의 기술적 사상은 H.264/AVC 이외에 화면 내 예측 방법이 적용되는 동영상 압축 기술에 폭넓게 적용이 가능하다.
본 발명에 따른 화면내 예측 방법의 개요
도 1 은 본 발명에 따른 화면내 예측 방법을 설명하기 위한 순서도이다.
도 1을 참조하면, 본 발명에 따른 화면 내 예측 방법은, 화면 내 예측 방법에 있어서, 역 양자화 및 역 변환을 거쳐 잔차 블록을 생성하는 단계(S110), 화면 내 예측을 거쳐 예측 블록을 생성하는 단계(S120), 상기 잔차 블록과 상기 예측 블록을 합산한 현재 블록에 인루프 필터링을 수행하는 단계(S130) 및 상기 인루프 필터링이 수행된 현재 블록을 다음 부호화 대상 블록의 화면 내 예측을 위하여 프레임 버퍼에 저장하는 단계(S140)를 포함하여 구성될 수 있다.
먼저, 단계(S110)는 역 양자화 및 역 변환을 거쳐 잔차 블록을 생성하는 단계로서 상기 화면내 예측이 동영상의 부호화 과정에서 이루어지는 경우와 동영상 복호화 과정에서 이루어지는 경우에 따라서 다르게 설명될 수 있다.
동영상 부호화 과정에서 상술된 단계(S110)이 수행될 경우에는, 예측된 예측 블록과 부호화 대상 블록간의 차이 값을 가진 잔차 블록을 변환 및 양자화한 다음에 다시 역 영자화하고 역 변환하도록 구성된다. 이는 복호화과정에서 역 양자화와 역 변환을 거쳐서 생성되는 잔차 블록과 동일한 잔차 블록을 부호화 과정에서 다시 생성하여 이후의 부호화 과정에서 참조하기 위한 과정이다. 즉, 여기에서 생성되는 잔차 블록은 동영상 부호화 과정에서 화면내 예측된 예측 블록과 합산되어 현재 블록을 생성하기 위한 블록이다.
동영상 복호화 과정에서 상술된 단계(S110)이 수행될 경우에는, 수신된 비트 스트림으로부터 엔트로피 복호화와 역 양자화 및 역 변환을 거쳐서 잔차 블록을 생성하도록 구성된다. 즉, 앞서 설명된 동영상 부호화 과정에서 생성되는 잔차 블록과 동영상 복호화 과정에서 생성되는 잔차 블록은 동일하게 구성된다. 이때, 역 양자화 과정은 양자화된 잔차 블록의 양자화 주파수 계수들을 역양자화하여 주파수 계수를 생성하며, 역 변환 과정은 역 양자화에 의해 역 양자화된 잔차 블록을 역 변환한다.
다음으로, 단계(S120)는 화면 내 예측을 거쳐 예측 블록을 생성하는 단계로서, 대표적으로는 아래와 같은 두가지 방법이 이용될 수 있다.
첫 번째 방법은 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값을 결정된 최적의 예측 모드에 따라 이웃 블록에 놓여져 있는 화소들로부터 예측하여 예측된 각 화소의 예측 화소값을 갖는 예측 블록을 생성한다. 여기서, 최적의 예측 모드란 화면내 예측을 위한 다양한 화면내 예측 모드(예를 들어, H.264/AVC에서는 화면내 8×8 예측과 화면내 4 X 4 예측 각각에서의 9 가지의 예측 모드와 화면내 16 X 16 예측에서의 4 가지의 예측 모드) 중 부호화 비용이 최소인 예측 모드가 결정될 수 있다.
도 2는 H. 264/AVC의 4×4 화소 블록에 대한 화면내 예측 모드를 설명하기 위한 개념도이다.
도 2를 참조하면, 4×4 화소 블록의 화면내 예측에는, 수직(Vertical) 모드(210), 수평(Horizontal) 모드(220), DC(Direct Current)모드(230), 대각선 왼쪽(Diagonal down-left) 모드(240), 대각선 오른쪽(Diagonal down-right) 모드(250), 수직 오른쪽(Vertical-right)모드(260), 수평 아래쪽(Horizontal-down) 모드(270), 수직 왼쪽(Vertical-left) 모드(280) 및 수평 위쪽(Horizontal-up) 모드(290)를 포함하는 9 가지의 예측 모드가 있다. 한편, 16×16 화소 블록의 경우에는 4가지 예측 모드가 존재하며, HEVC에서는 더욱 많은 예측 모드가 준비되어 있다. 예측 블록을 생성하는 단계(S120)에서는 부호화 대상 블록의 블록 모드 또는 블록 크기에 따라 각 예측 모드의 부호화 비용을 계산하고 부호화 비용이 최소인 예측 모드를 최적의 화면내 예측모드로서 결정하여 예측 블록을 생성하도록 구성될 수 있다.
두번째 방법으로서, 상술된 예측 블록 생성 단계(S120)는 H.264/AVC의 차기 동영상 압축 표준으로 표준화가 진행 중인 HEVC(High-Efficiency Video Coding) 등에서 논의 중인 다른 방법으로 이루어질 수도 있으며, 크게 두가지 방식이 가능할 수 있다. 그러나, 예측 블록 생성 단계(S120)는 후술될 두 가지의 방법 외에도 이전에 부호화된 영역으로부터 예측 블록을 생성하기 위한 다양한 예측 방법을 이용하여 수행될 수 있다.
도 3a는 템플릿 구성을 통한 화면 내 예측 방법을 설명하기 위한 개념도이며, 도 3b는 이웃 블록이 아닌 이미 부호화가 완료된 영역으로부터 화면 내 예측을 수행하는 방법을 설명하기 위한 개념도이다.
도 3a를 참조하면, 예측 블록 생성 단계(S120)는 영상에서 부호화하고자 하는 현재 블록(310)의 템플릿(template; 311)을 구성하여 각 화소의 화소값을 화면내에 부호화 또는 복호화가 이미 끝난 후보 블록(320)으로부터 현재 픽쳐의 이전 부호화된 영역에서 위에서 구한 템플릿과 제일 비슷한 후보 템플릿(321)을 찾아 현재 블록을 예측하도록 구성될 수 있다.
또한, 예측 블록 생성 단계(S120)는 도 3b에서 명시한 것과 같이 화면간 예측(inter-frame)에서처럼 현재 블록(330)과 현재 픽쳐의 이전 부호화된 탐색 영역(340)에서 제일 비슷한 후보 블록(350)을 찾아 예측 블록을 생성하도록 구성될 수도 있다. 이때는 화면간 예측처럼 현재 블록과 현재 픽쳐의 이전 부호화된 영역에서 제일 비슷한 블록을 찾아 예측 블록을 생성할 경우 움직임 벡터(motion vector) 등에 대한 정보를 복호화기에 전송할 수 있다.
첫 번째 방법의 외삽(extrapolation)으로 블록을 예측하였을 경우 참조되는 이웃블록으로부터 거리가 멀어질 경우 정확하게 예측하기 힘들거나 만약 반복되는 영역에 현재 블록이 포함되어 있는 경우 정확하게 예측하기 힘든 문제점이 있게 되는데 상술된 도 3a 및 도 3b의 방법의 경우는 이러한 문제점을 극복할 수 있다는 장점이 있다.
도 4는 템플릿 구성을 통한 화면 내 예측 방법에서 템플릿을 구성하는 다양한 방식을 설명하기 위한 개념도이다.
도 4와 도 3a를 병행하여 참조하면, 템플릿으로 현재 블록을 예측할 경우에는 템플릿의 모양은 a, b, m, n을 다르게 설정하여 구성할 수도, 다양한 모양으로 설정할 수도 있다.
이 때, 템플릿의 a, b, m, n의 정보는 부호화기와 복호화기가 같은 고정된 값을 사용할 수도 있고, 템플릿의 모양에 대한 정보를 복호화기에 전송할 수도 있다. 이 때 보내지는 정보는 픽쳐, 슬라이스, 블록, 서브블록 등의 단위로 전송될 수 있다.
다음으로, 단계(S130)는 상기 잔차 블록과 상기 예측 블록을 합산한 현재 블록에 인루프 필터링을 수행하는 단계이다. 즉, 인루프 필터링 단계(S130)는 복원된 현재 블록을 필터링한다. 이 때 필터링의 목적은 양자화 에러를 줄이거나 블록간의 화면 열화 현상을 줄이는 등의 목적을 가지고 수행된다. 예측블록 생성 단계(S120)에서 화면내 예측 방법에서 템플릿을 사용하여 예측을 수행하거나 화면간 예측처럼 현재 블록과 제일 비슷한 블록을 찾아 예측을 수행할 경우에 이전에 부호화된 영역이 블록간의 열화가 존재하거나 양자화 에러가 클 경우에 이웃 블록으로부터의 템플릿과 이전 부호화된 영역에서의 템플릿과의 제일 비슷한 템플릿을 찾을 경우 제대로된 비슷한 템플릿을 찾을 수 없게 되거나 현재 블록과 제일 비슷한 블록을 찾을 때 제대로 비슷한 블록을 찾을 수 없는 경우가 발생하기 때문에 인루프 필터링은 블록 단위로 부호화가 끝났을 때 적용한다.
이 때 필터링은 기존의 디블록킹 필터(de-blocking filter), 디블록킹 필터와 비슷하거나 다른 방법이 적용되어 수행될 수 있다. 디블록킹 필터는 블록간의 경계를 부드럽게 하여 부호화 또는 복호화된 화면의 화질을 향상시킨다.
또한, 본 발명의 실시예는 부호화 또는 복호화된 화면의 화질을 향상시키는 다른 방법의 필터를 적용할 수 있다. 양자화 등의 부호화 과정을 통해 발생하는 원본 영상과 복원 영상간의 왜곡에 따른 원본 영상의 화소와 복원 영상의 화소의 차분치를 이용하거나 그에 기반한 계수를 이용하는 필터를 통해 왜곡을 보상할 수 있다. 즉, 원본 영상과 복원 영상간의 왜곡을 보상할 수 있는 필터를 이용하여 참조 영상을 만들 수 있고, 이를 통하여 부호화 효율을 높일 수 있다. 또한, 복원 영상의 특성에 기반한 필터링을 수행하여 왜곡을 감소시킴으로써, 다음에 진행되는 화면내 예측 또는 화면간 예측의 정확도를 높일 수 있으며, 이를 통하여 부호화 효율을 향상시킬 수 있다.
마지막으로, 단계(S140)에서는 상기 인루프 필터링이 수행된 현재 블록을 다음 부호화 대상 블록의 화면 내 예측을 위하여 프레임 버퍼(메모리)에 저장하게 된다.
상술된 본 발명에 따른 화면내 예측 방법은 실제 당해 화면내 예측 방법이 구현된 동영상 부호화 장치 및 동영상 복호화 장치의 구성을 통하여 보다 용이하게 설명될 수 있으며 이는 후술된다. 이하에서는 상술된 본 발명에 따른 화면내 예측 방법의 몇가지 실시예를 상술한다. 실시예#1과 실시예#2는 본 발명에 따른 화면내 예측 방법의 인루프 필터링 수행 단계(S130)를 보다 구체화시킨 실시예이며, 실시예#3은 본 발명에 따른 화면내 예측 방법의 예측 블록 생성 단계(S120)를 보다 구체화시킨 실시예에 해당된다. 실시예#4와 실시예#5는 본 발명에 따른 화면내 예측 방법이 적용된 경우에 부호화기로부터 복호화기로 전달되는 정보량의 감소를 위한 방법을 제공하는 실시예들에 해당된다.
본 발명에 따른 화면내 예측 방법의 실시예 #1
도 5는 본 발명에 따른 화면내 예측 방법에서 인루프 필터링의 일 예를 설명하기 위한 개념도이며, 도 6은 본 발명에 따른 화면내 예측 방법에서 현재 블록 경계에 대한 인루프 필터링의 개념을 설명하기 위한 개념도이다.
도 5를 참조하면, 본 발명에 따른 화면내 예측 방법에서는 부호화가 끝난 현재 블록(510)에 대해서 인루프 필터링을 수행하게 된다.
이때, 예측 블록 생성단계(S120)에서 상술된 첫번째 방법으로 화면내 예측을 한 경우에는 블록의 예측 모드 방향에 따라 필터링을 적용하여 양자화 에러를 줄여준다. 즉, 도 6a을 참조하면, 예측 방향에 놓여져 있는 복호화된 화소들간의 상관도가 높기 때문에 부호화가 끝난 블록의 아래(511)와 오른쪽(512)의 블록 경계에 놓여져 있는 화소들에 예측 모드의 방향에 따라 필터링을 수행하여 양자화 에러를 줄여줌으로써 현재 블록 이후에 부호화 또는 복호화되는 블록을 도 2를 통하여 설명된 예측 블록 생성 방법을 사용하여 예측할 경우 원래 화소값과 비슷한 값을 사용하여 부호화 하기 때문에 예측 오차를 줄여줌으로써 부호화 효율을 높일 수 있다.
도 6b를 참조하면, 현재 블록의 아래와 오른쪽의 블록 경계에 놓여져 있는 화소들에 대해 필터링을 수행하여 양자화 에러를 줄여줌으로써 현재 블록 이후에 부호화 또는 복호화되는 블록의 예측 오차를 줄여줌으로써 부호화 효율을 높일 수 있다.
또한, 원본 화소와 복원 화소와의 차분치를 보정하여 예측의 오차를 줄여줄 수 있다. 즉, 복원 영상에 대해, 필터링을 수행하거나 원본 화소와 복원 화소와의 차분치를 보정할 수 있다.
예컨대, 필터링에 대한 계수값은 원본 화소와 복원 화소의 차분치에 기반하여 계산하거나, 일정한 계수값을 미리 정의하여 사용할 수 있고, 다른 방법으로는 복원 화소들에 기반하여 계산할 수도 있다.
원본 화소와 복원 화소와의 차분치에 기반하여 필터에 대한 계수값들이 정해진 경우, 계수값에 대한 정보는 복호화기에 보내지며 이 정보는 시퀀스, 슬라이스, 블록 등의 단위로 전송될 수 있다. 또한, 일정한 계수값을 미리 정의하여 사용하거나 복원 화소들에 기반하여 필터에 대한 계수값이 정해지는 경우에는, 부호화기와 복호화기와의 약속 하에 따로 정보를 전송하지 않을 수 있다. 즉, 블록의 오른쪽과 아래의 블록 경계에 놓여져 있는 화소들 또는 블록에 있는 전체 화소들을 필터링하여 양자화 에러를 줄여줌으로써 예측의 효율을 높일 수 있다. 또는, 현재 블록의 아래와 오른쪽의 블록의 경계에 놓여져 있는 화소들 또는 블록에 있는 전체 화소들에 원본 화소와 복원 화소와의 차이에 기반하여 그 차분치를 보정해주는 필터링을 적용하여 양자화 에러를 줄여줄 수 있다. 이 경우에는 그 차분치에 대한 정보를 복호화기에 보내주어 부호화기, 복호화기에서 같은 처리를 진행할 수 있게 한다.
예컨대, 외삽방법으로 화면내 예측을 하게 될 경우에 복원 블록은 다음 부호화 또는 복호화할 블록(오른쪽 또는 아래 또는 오른쪽 아래 블록)의 예측 정확도에 크게 영향을 미치기 때문에 이와 같은 처리를 해줄 경우에 예측의 정확도가 높아져 부호화 효율을 높일 수 있다. 원본 화소와 복원 화소와의 차분치에 대한 정보는 각 화소단위로 차이값을 보낼 수도, 화소들을 어느 특정 기준에 따라 그룹을 지어서 그 그룹단위로 대표되는 차이값을 보내는 등의 방법을 사용하여 복호화기로 전송할 수 있다. 여기서, 특정 기준은 화소의 밝기값이 될 수도, 기울기의 정보가 기준이 될 수도 있고 그 이외의 기준이 사용될 수 있다.
본 발명의 실시예에 따르면, 도 6a 및 도 6b와 같이 원본 영상과 복원 영상간의 왜곡에 따른 원본 영상의 화소와 복원 영상의 화소의 차분치를 보정해주거나 차분치에 기반한 계수를 이용하는 필터를 적용할 수 있다.
이 경우, 원본 영상의 화소와 복원 영상의 화소의 차분치 또는 차분치에 기반한 계수에 대한 정보는 시퀀스, 픽쳐, 슬라이스, 블록 등의 단위로 복호화기에 전송할 수 있다. 여기서, 원본 화소와 복원 화소의 차분치의 보정은 필터에 의해 수행될 수도 있다. 예를 들어, 원본 영상과 복원 영상간의 왜곡에 기반하여 필터링을 수행할 경우, 원본 영상의 화소와 복원 영상의 화소의 차분치에 대한 정보가 복호화기에 전송될 수 있다.
따라서, 본 발명의 실시예에 따른 부호화 또는 복호화에 있어서, 복원 영상의 원본 영상과 복원 영상간의 왜곡에 기반하거나 복원 영상의 특성에 기반하여 필터링 여부, 필터링 횟수(필터링의 종류), 필터링 방향 및 필터링 강도를 다르게 수행할 수 있다.
즉, 본 발명의 실시예에 따르면 부호화 또는 복호화된 화면의 화질을 향상시키는 추가적인 필터링이 적용될 수 있다. 추가적인 필터링은 기존의 디블로킹 필터링을 이용한 방법 뿐만 아니라 원본 영상과 복원 영상간의 왜곡에 따른 원본 영상의 화소와 복원 영상의 화소의 차분치를 이용하거나 그에 기반한 계수를 이용하는 방법을 활용할 수 있다. 이에, 추가적인 필터링은 디블록킹 필터링과 독립적으로 또는 중첩적으로 적용될 수 있으며, 블록의 크기 또는 블록의 방향성에 따라 추가적인 필터링 적용여부가 결정될 수 있다.
예컨대, 디블록킹 필터링을 수행한 후 전술된 적어도 하나의 추가적인 필터링이 선택적 또는 필수적으로 수행될 수 있으며, 필터링의 횟수 또는 필터링의 종류는 인루프 필터링을 위해 복원 영상을 분할한 블록의 크기 또는 블록의 방향성에 따라 결정될 수 있다.
이를 통하여 원본 영상과 복원 영상 간의 왜곡을 줄여줄 뿐 아니라 부호화 효율 및 주관적 화질을 향상시킬 수 있다.
본 발명에 따른 화면내 예측 방법의 실시예 #2
도 8은 본 발명에 따른 예측 방법에서 인루프 필터링의 유무 및 강도를 조절하는 개념을 설명하기 위한 개념도이다.
기존의 인루프 필터링 과정에서는 화면을 부호화한 후, 디블록킹 필터링을 거쳐서 메모리에 화면이 저장된다. 다음 화면에서 화면간 예측시에 이전에 인루프 필터링 과정을 거친 화면을 참조하게 된다. 그러나 위 발명에서 제안하는 인루프 필터링은 하나의 블록을 부호화한 후, 바로 인루프 필터링을 적용한다. 그리고 다음 블록에 대해서도 이 과정을 진행한다. 이 방식을 사용하면 화면내 예측시에 현 화면에서 이전에 부호화된 블록을 참조할 경우, 양자화 오차가 없어진 블록을 참조함으로써 블록 열화가 없어진 블록을 예측 할 수 있으므로 좀 더 좋은 예측을 할 수 있다. 또한, 도 3a 및 도 3b를 통하여 설명된 예측 블록 생성 방법에서도 이전에 부호화된 영역에서 블록의 경계에서 블록 열화가 줄어들었기 때문에 높은 정확도를 갖고 현재 블록을 예측할 수 있다.
한편, 현재 블록의 이웃 블록의 예측 모드에 따라서 필터링 여부, 필터링 횟수(필터링의 종류), 필터링 방향 및 필터링 강도를 다르게 수행하도록 구성될 수도 있다.
도 7a 및 도 7b는 현재 블록의 이웃 블록의 예측 모드에 기반하여 인루트 필터링을 수행하는 개념을 설명하기 위한 개념도이다.
도 7a를 참조하면, 현재 블록(710)과 이웃 블록(720)의 예측 모드 방향이 같거나 비슷할 경우를 예시하고 있으며, 이 경우에는 해당 방향에 놓여져 있는 화소들을 대상으로 필터링을 수행한다.
반면에, 도 7b를 참조하면, 현재 블록(730)과 이웃 블록(740) 양 쪽의 블록간의 연속성이 존재하지 않는 경우이기 때문에 필터링을 약하게 하거나, 필터링을 수행하지 않는다. 만약 양 쪽에 놓여져 있는 각 블록의 예측 모드가 다를 경우에는 예측 모드 방향은 고려하지 않고 기존의 방법을 사용하여 필터링을 수행한다. 필터링에 적용되는 화소의 개수는 블록의 크기에 따라 다르게 적용할 수 있다.
그리고 기존의 부호화 방법 중에 하나인 H.264 에서는 본 발명의 인루프 필터링 수행 단계(S130)에서 부호화가 끝난 왼쪽, 위쪽 블록에 필터링을 수행할 때와 비슷한 역할을 하는 디블록킹 필터링이 있다. 이 디블록킹 필터링 과정에서 화면간 예측 시, 전송해야 될 계수들이 있을 경우에는 이 부분의 경계에는 블록 열화가 심할 것이라 판단하여 필터링을 강하게 수행한다. 반면에 전송해야 될 계수들이 없을 경우, 이 부분은 전송해야 될 계수가 없어 양자화 에러가 없거나 적기 때문에 필터링을 약하게 또는 수행하지 않도록 구성된다. 도 8을 참조하면, 본 발명에 따른 화면내 예측 방법의 예측 블록 생성 단계(S120)에서 도 3b를 통하여 설명된 바와 같이 부호화 또는 복호화가 완료된 블록들에 대해서 현재 블록과 유사한 블록을 찾는다. 이 과정에서 찾아진 블록을 가지고 현재 블록의 예측 블록으로 생성하는 방식을 이용할 경우에. 인루프 필터링(S130)에서 블록의 부호화가 끝난 후 왼쪽과 위쪽에 블록 경계에서 필터링을 수행한다. 이 때 화면간 예측에서와 마찬가지로 화면내 예측에서도 전송해야 될 계수들이 없을 경우, 전송해야 될 계수들이 있을 경우보다 블록 열화가 적을 것을 판단하여 필터링을 약하게 또는 수행하지 않도록 구성될 수 있다. 그리고 도 3a에서 사용된 화면내 예측에서도 이와 같은 알고리즘을 적용한다.
또한 양쪽의 블록에서 각 블록의 예측이 도 3a를 통하여 설명된 첫번째 방법으로 예측됐는지 또는 도 3b를 통하여 설명된 두번째 방법으로 예측됐는지에 따라 필터링을 다르게 수행할 수도 있다. 예컨대, 양쪽의 블록의 예측 모드가 모두 화면내 예측의 두번째 방법으로 예측을 수행한 경우에는 필터링을 약하게 수행하도록 구성될 수 있다(S850). 그 이유는 두번째 방법으로 예측을 수행할 경우 현재 픽처의 이전에 부호화된 영역에서 현재 블록과 유사한 블록을 찾아 예측을 하기 때문에 도 8에서 명시된 것과 같이 기존의 화면간 예측과 같이 양자화 에러가 적을 것이라 판단하여 화면내 예측보다 필터링을 약하게 수행한다.
본 발명에 따른 화면내 예측 방법의 실시예 #3
한편, 본 발명에 따른 화면내 예측 방법의 예측 블록 생성 단계(S120)에서는 도 3a 및 3b를 통하여 설명된 바와 같이 현재 블록의 이웃 블록들의 화소에 대해 템플릿을 구성하여 예측 블록을 생성하거나 현재 블록과 유사한 블록을 이전에 부호화된 영역에서 찾아서 유사한 블록을 예측 블록으로 생성하는 예측 방법이 적용된 경우에 정수단위가 아닌 소수 단위 화소까지로 확장하여 템플릿을 구성하거나 유사한 블록을 찾도록 구성될 수도 있다.
즉, 이웃 블록으로부터 템플릿을 구성하여 현재 픽쳐의 이전 부호화된 영역에서 위의 템플릿과 제일 비슷한 템플릿을 찾거나 현재 블록과 제일 비슷한 블록을 현재 픽처의 이전 부호화된 영역에서 찾아서 예측 블록을 생성할 경우에 소수 단위로 확장하여 예측을 수행할 경우에는 더욱 정확한 블록을 찾을 수 있는 장점을 얻을 수 있다.
이 때 정수단위로 할 지 또는 어떠한 소수 단위(1/2 or 1/4 or etc)까지 확장하여 템플릿을 구성하거나 예측 블록을 찾을지에 대한 정보는 부호화기와 복호화기가 같은 고정된 단위를 사용할 수도 있고, 데이터를 보내어 단위를 결정할 경우 픽쳐, 슬라이스, 블록, 서브블록 등의 여러 가지 단위로 전송될 수 있다. 위의 정보들은 예측 블록을 생성하는 단계(S120)에서 사용한 예측 방법에 따라 보내질 수도 안 보내질 수도 있다. 위의 소수 단위까지 확장하여 예측 블록을 찾을 때 소수 단위의 화소를 만들기 위해서는 여러 가지의 보간 필터(예컨대, H.264/AVC의 1/4화소 화면간 예측에 적용되는 6탭 FIR 보간 필터 등)가 적용될 수가 있다.
본 발명에 따른 화면내 예측 방법의 실시예 #4
본 실시예는 본 발명에 따른 화면내 예측 방법의 예측 블록 생성 단계(S120)에서 도 3b를 통하여 설명된 이미 부호화된 영역에서 유사 블록을 찾아서 예측 블록을 생성하는 방식이 적용되었을때에 부호화기와 복호화기간에 전달되는 정보량을 감소시키기 위한 실시 구성이다.
즉, 예측 블록 생성 단계(S120)에서 현재 블록과 제일 비슷한 블록을 현재 픽처 이전 부호화된 영역에서 찾아서 예측을 할 경우 움직임에 대한 정보를 보내줘야 할 경우 프리딕터(predictor)를 다양하게 설정하여 구성할 수 있다.
예컨대, 현재 블록의 좌측 상단에 있는 좌표를 프리딕터로 삼고 그 좌표를 기준으로 움직임 벡터와의 차분치에 대한 정보를 부호화기에서 복호화기에 보낼 수도 있고, 템플릿을 이용하여 최적의 템플릿으로 결정된 좌표를 프리딕터로 삼고 그 좌표를 기준으로 움직임 벡터와의 차분치에 대한 정보를 복호화기에 보낼 수도 있다.
어느 종류의 프리딕터를 사용했는지에 대한 정보는 부호화기와 복호화기가 같은 고정된 정보를 사용할 수도 있고 픽쳐, 슬라이스, 블록, 서브블록 등의 여러 가지 경우로 전송될 수 있다. 추가적으로 프리딕터의 후보군을 여러 개로 두어(예를 들어 현재 블록의 좌측 상단의 좌표, 템플릿을 이용하여 최적의 템플릿으로 결정된 좌표 등 여러 후보군을 둘 수 있음) 그 중에 부호화 비용이 적은 최적의 프리딕터 후보에 대한 정보를 전송할 수도 있다.
예를 들어 도 4에서와 같이 템플릿이 (a),(b),(c)와 같이 존재한다고 가정하였을 경우 이 템플릿들을 사용하여 각각 제일 비슷한 템플릿을 이전 부호화된 영역에서 찾아서 프리딕터로 사용한다. 이 경우 어떤 모양의 템플릿을 프리딕터로 사용했는지 정보를 보내줘야 되는데 현재 템플릿 프리딕터를 3개를 사용했으므로 (a),(b),(c)에 0,10,11을 인덱스로 매겨줘서 복호화기에 보내줄 수 있다. 그리고 최적의 템플릿들의 위치 x, y 좌표값의 차이가 모두 어떤 문턱값 이하의 차이를 갖는다면 템플릿 프리딕터 후보에 대한 정보는 생략할 수 있다. 만약 3개의 템플릿 프리딕터 후보들 중 첫번째 템플릿 프리딕터 후보의 최적의 템플릿 위치가 현재 블록의 좌측 상단의 좌표를 기준으로 (-7, -5), 두번째 템플릿 프리딕터 후보의 최적의 템플릿 위치는 (-6,-6), 세번째 템플릿 프리딕터 후보의 최적의 템플릿 위치는 (-7,-6) 이고 문턱값을 2라고 가정하면, 세 경우의 최적 좌표가 문턱값의 범위내에 존재하므로 이는 비슷한 성능을 갖는 템플릿이라고 가정하고 최적의 템플릿에 대한 정보는 보내지 않고 미리 정해진 규칙에 따라3개 중에 한 개의 템플릿으로 프리딕터를 사용한다.
만약 2개의 템플릿 프리딕터 후보들이 찾은 최적의 템플릿 위치는 어떤 문턱값 이하의 차이를 갖고 나머지 템플릿 프리딕터 후보는 앞의 2개의 최적의 템플릿 프리딕터 위치와 문턱값보다 큰 차이를 갖을 경우, 앞의 2개의 템플릿 프리딕터 후보는 비슷한 성능을 갖는 템플릿이라고 가정하고 나머지 템플릿 프리딕터 후보와 실제 움직임 정보와의 차이값 비교하여 적은 데이터를 갖는 템플릿 프리딕터 후보에 대한 정보를 전송한다. (예를 들어, 첫번째 템플릿 프리딕터의 최적의 템플릿 위치가 (-7, -5), 두번째는 (-6, -5), 세번째는 (-3, -1) 이고 문턱값이 2일 경우에 첫번째와 두번째는 문턱값의 범위내에 존재하므로 이 둘은 하나로 묶고, 세번째는 앞의 2개와 문턱값 범위 내에 존재하지 않으므로 다른 템플릿으로 둔다. 이로써 템플릿 프리딕터 후보는 2개(앞에 2개 묶은 걸 1개로 봄)가 되는데 각각의 템플릿 프리딕터 후보에 코드워드를 '0', '1'로 할당하여 템플릿 프리딕터 후보에 대한 정보를 전송할 수 있다.)
그리고 움직임 벡터와 프리딕터와의 차분치에 대한 정보는 차분치에 대한 절대값과 부호 성분으로 구성이 될 수 있다.
도 9는 움직임 벡터와 프리딕터와 차분치 정보를 구성하는 개념을 설명하기 위한 개념도이다.
도 9를 참조하면, 차분치에 대한 정보를 복호화기에 보낼 경우, 현재 블록(930)의 위치가 도 9에서 예시한 것과 같을 경우에 만약 프리딕터가 위에서 언급된 현재 블록의 좌측 상단 좌표와 같다면, 후보 블록(940)를 지정하기 위한 움직임 벡터의y축 방향으로의 부호에 대한 정보는 필요하지 않기 때문에 부호에 대한 정보를 복호화기에 보내는 것은 불필요할 수 있다(즉, 현재 블록의 위치가 탐색 영역의 가장 하단 가장 자리에 위치하므로 y축 방향의 부호는 고정되는 경우). 위와 같이 프리딕터의 위치에 따라 부호에 대한 정보가 불필요한 경우에는 부호에 대한 정보는 포함하지 않은 차분치에 대한 정보를 복호화기에 보내줌으로써 효율을 높일 수 있다.
본 발명에 따른 화면내 예측 방법의 실시예 #5
본 실시예는 본 발명에 따른 화면내 예측 방법의 예측 블록 생성 단계(S120)에서 도 3a를 통하여 설명된 템플릿을 구성하여 예측 블록을 생성하는 방식이 적용되었을때에 부호화기와 복호화기간에 전달되는 정보량을 감소시키기 위한 실시 구성이다.
즉, 예측 블록 생성 단계(S120)에서 템플릿을 이용하여 예측 블록을 생성하는 경우에는 여러 후보의 템플릿을 구성하고, 그에 대한 최적의 템플릿을 찾도록 구성된다. 예컨대, 더욱 정확한 템플릿을 찾기 위해 도 4에서 설명된 바와 같이 여러 개의 후보 템플릿을 구성하고 최적의 템플릿을 찾게 된다.
도 4 (a)과 같이 현재 블록의 왼쪽 영역에 더 상관성이 높은 템플릿, 도 4 (b)와 같이 현재 블록의 왼쪽 윗쪽 영역에 더 상관성이 높은 템플릿, 도 4 (c)과 같이 현재 블록의 전반적으로 상관성이 높은 템플릿, 도 4 (d)와 같이 현재 블록의 윗쪽 영역에 더 상관성이 높은 템플릿 등 여러 개의 템플릿을 구성하여 예측한다. 예를 들어 도 4의 (a), (b), (c) 3개의 템플릿을 후보군으로 두었을 경우, 각각 템플릿에서 최적의 예측 블록을 찾는다. 그 중에 부호화 비용이 적은 템플릿 후보에 대한 정보를 전송하여 부호화를 수행할 수 있다. 템플릿 후보에 대한 정보를 복호화기에 전송하는 이유는 여러 템플릿 후보를 사용하여 가장 오차가 적은 템플릿을 복호화기에서도 알 수 있지만, 해당 템플릿이 최적이 아닐 수 있기 때문에 여러 후보군 중에 실제 부호화 비용이 제일 적은 템플릿 후보에 대한 정보를 전송한다. 이 경우 가장 빈도수가 높은(혹은, 높다고 여겨지는) 템플릿 후보에 대해 짧은 코드워드(예를 들어 '0')를 할당하고 나머지에 대한 템플릿 후보에 대해 긴 코드워드(예를 들어 '10', '11')을 할당하여 템플릿 후보에 대한 정보를 전송할 수 있다. 각 후보에 대한 코드워드 할당은 여러 가지의 방법을 사용하여 구성할 수 있다.
만약 3개의 템플릿 후보들이 찾은 최적의 템플릿 위치가 x, y 좌표값의 차이가 모두 어떤 문턱값 이하의 차이를 갖는다면 템플릿 후보에 대한 정보는 생략할 수 있다. (예를 들어 첫번째 템플릿 후보의 최적의 템플릿 위치가 현재 블록의 좌측 상단의 좌표를 기준으로 (-7, -5), 두번째 템플릿 후보의 최적의 템플릿 위치는 (-6,-6), 세번째 템플릿 후보의 최적의 템플릿 위치는 (-7,-6) 이고 문턱값을 2라고 가정하면, 세 경우의 최적 좌표가 문턱값의 범위내에 존재하므로 이는 비슷한 성능을 갖는 템플릿이라고 가정하고 최적의 템플릿에 대한 정보는 보내지 않고 3개 중에 한 개의 템플릿으로 현재 블록을 예측한다.)
만약 2개의 템플릿 후보들이 찾은 최적의 템플릿 위치는 어떤 문턱값 이하의 차이를 갖고 나머지 템플릿 후보는 앞의 2개의 최적의 템플릿 위치와 문턱값보다 큰 차이를 갖을 경우, 앞의 2개의 템플릿 후보는 비슷한 성능을 갖는 템플릿이라고 가정하고 나머지 템플릿 후보와 부호화 비용을 비교하여 적은 비용을 갖는 템플릿 후보에 대한 정보를 전송한다. (예를 들어, 첫번째 템플릿의 최적의 템플릿 위치가 (-7, -5), 두번째는 (-6, -5), 세번째는 (-3, -1) 이고 문턱값이 2일 경우에 첫번째와 두번째는 문턱값의 범위내에 존재하므로 이 둘은 하나로 묶고, 세번째는 앞의 2개와 문턱값 범위 내에 존재하지 않으므로 다른 템플릿으로 둔다. 이로써 템플릿 후보는 2개(앞에 2개 묶은 걸 1개로 봄)가 되는데 각각의 템플릿 후보에 코드워드를 '0', '1'로 할당하여 템플릿 후보에 대한 정보를 전송할 수 있다.)
본 발명에 따른 화면내 예측 방법의 실시예 #6
도 12는 본 발명에 따른 화면 내 예측 방법의 또 다른 실시예를 설명하기 위한 개념도이다.
도 12를 통하여 설명되는 본 발명에 따른 화면내 예측 방법은 화면내 예측의 대상이 되는 현재 블록의 주위 블록들에 적용된 화면내 예측 방법들의 조합에 따라서 현재 블록의 화면내 예측 방법의 선택 확률을 산정하고 이를 부호화에 활용하는 방법이다.
즉, 화면내 예측 부호화 과정에서 이미 부호화가 완료된 블록들에 적용된 화면내 예측 방법들로부터 유추된 확률을 기반으로 현재 블록의 화면내 예측 방법의 부호화를 효율화하기 위한 방법이다.
도 12를 참조하면, 현재 블록의 왼쪽 블록(X)와 윗쪽 블록(Y)의 각각에 첫번째 화면내 예측 방법이 적용되었음을 0, 두번째 화면내 예측 방법이 적용되었음을 1로 표현한다면, 그 조합은 (0,0), (1,0), (0,1), (1,1)의 네가지 조합으로 표현될 수 있다. 예컨대, 왼쪽 블록과 윗쪽 블록 모두 첫번째 화면내 예측방법을 적용한 경우는 (0,0)으로 표현될 수 있으며, 왼쪽 블록에는 첫번째 화면내 예측방법이 적용되고 윗쪽 블록에는 두번째 화면내 예측방법이 적용된 경우는 (0,1)로 표현될 수 있다.
이때, 화면내 예측 방법은 H.264/AVC 등에 적용된 외삽(extrapolation)에 기반한 인트라 모드 예측 방법 또는 앞서 설명된 템플릿 매칭 방법을 의미할 수 있다. 즉, 0으로 표현된 첫번째 화면내 예측 방법이 인트라 모드 예측 방법이라면 1로 표현된 두번째 화면내 예측 방법은 템플릿 매칭 예측 방법일 수 있다.
또한, 현재 블록에서 첫번째 화면 내 예측 방법이 선택될 확률은 a로서 표현될 수 있고, 두번째 화면내 예측 방법이 선택될 확률은 b로서 표현될 수 있다. 이때, a와 b값은 소정의 초기값을 가지고 화면 내 예측을 시작하면서 블록들의 화면내 예측 부호화가 진행되는 과정중에 지속적으로 업데이트될 수 있다. 따라서, 왼쪽 블록과 윗쪽 블록에 적용된 화면내 예측 방법의 조합에 따라서 현재 블록에 적용될 화면내 예측 방법이 첫번째 화면내 예측 방법으로 선택될 것인지 두번째 화면내 예측 방법으로 선택될 것인지의 확률(a, b)이 산정될 수 있다.
예컨대, 도 12에서는 왼쪽 블록(X)와 윗쪽 블록(Y)에 모두 첫번째 화면내 예측 방법이 적용된 경우에 현재블록에 첫번째 화면내 예측 방법이 선택될 확률이 더 높으므로 첫번째 화면내 예측 방법에 더 높은 확률을 설정해서 부호화하게 된다. 이와 같은 확률은 컨텍스트 기반 산술 코딩(context-based arithmetic endcoding) 기법에 적용되어 전체적인 부호화의 효율을 향상시키게 된다.
한편 상술된 실시예에서는 선택 가능한 화면내 예측 방법이 두가지 경우를 가정한 것이나 선택 가능한 화면내 예측 방법이 세가지 이상인 경우에 대해서도 동일한 방식으로 적용될 수 있을 것이며, 이 경우는 왼쪽 블록과 윗쪽 블록에 적용된 화면내 예측 방법의 조합의 수가 많아지는 차이를 제외하면 상술된 설명과 동일하다.
본 발명에 따른 화면내 예측방법이 구현된 동영상 부호화 장치의 구성예
이하에서는, 상술된 본 발명에 따른 화면내 예측 방법이 구현되는 영상 부호화 장치 구성이 설명된다.
도 10은 본 발명에 따른 화면내 예측 방법이 구현된 영상 부호화 장치의 구성예을 설명하기 위한 블록도이다.
도 10을 참조하면, 영상 부호화 장치는(1000)는 예측부(1010), 감산부(1020), 변환부(1030), 양자화부(1040), 역 양자화부(1050), 역 변환부(1060), 가산부(1070), 인루프 필터부(1080), 메모리(1090), 부호화부(1091)를 포함하여 구성될 수 있다. 위의 구성 중 일부는 반드시 포함되지 않을 수 있으며, 구현에 따라 일부 또는 전부가 선택적으로 포함될 수 있다.
예측부(1010)는 도 1을 통하여 상술된 예측 블록 생성 단계(S120)를 수행하여 현재 블록의 화소를 예측하는 예측 블록을 생성한다. 즉, 예측부(1010)가 화면내 예측을 하는 방법은 도 1, 도 2, 도 3a 및 도 3b를 통하여 설명된 본 발명에 따른 화면내 예측 방법의 예측 블록 생성 단계(S120)에서 설명된 다양한 방식이 적용될 수 있을 것이다.
감산부(1020)는 부호화할 대상 블록(즉, 현재 블록)에서 예측 블록을 감산하여 잔차 블록을 생성한다. 즉, 감산부(1020)는 부호화하고자 하는 대상 블록의 각 화소의 화소값과 예측부(1010)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호를 포함하는 잔차 블록을 생성한다.
변환부(1030)는 잔차 블록을 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환한다. 여기서, 변환부(1030)는 하다마드 변환, 이산 코사인 변환 기반 변환 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다.
양자화부(1040)는 변환부(1030)에 의해 주파수 영역으로 변환된 주파수 계수를 갖는 잔차 블록을 양자화한다. 여기서, 양자화부(1040)는 변환된 잔차 블록을 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.
역 양자화부(1050)는 양자화부(1040)에 의해 양자화된 잔차 블록을 역 양자화한다. 즉, 역 양자화부(1050)는 양자화된 잔차 블록의 양자화 주파수 계수들을 역양자화하여 주파수 계수를 갖는 잔차 블록을 생성한다.
역 변환부(1060)는 역 양자화부(1050)에 의해 역 양자화된 잔차 블록을 역 변환한다. 즉, 역 변환부(1060)는 역 양자화된 잔차 블록의 주파수 계수들을 역 변환하여 화소값을 갖는 잔차 블록 즉, 복원된 잔차 블록을 생성한다. 여기서, 역 변환부(1060)는 변환부(1030)에서 사용한 변환한 방식을 역으로 사용하여 역 변환할 수 있다.
가산부(1070)는 예측부(1010)에서 예측된 예측 블록과 역변환부(1060)에 의해 복원된 잔차 블록을 가산하여 대상 블록인 현재블록을 복원한다.
인루프 필터부(1090)는 가산부(1070)에 의해 복원된 현재 블록을 필터링한다. 이 때 필터링의 목적은 양자화 에러를 줄이거나 블록간의 화면 열화 현상을 줄이는 등의 목적을 가지고 수행된다. 예측부(1010)에서 화면내 예측 방법에서 템플릿을 사용하여 예측을 수행하거나 화면간 예측처럼 현재 블록과 제일 비슷한 블록을 찾아 예측을 수행할 경우에 이전에 부호화된 영역은 블록간의 열화가 존재하거나 양자화 에러가 클 경우에 이웃 블록으로부터의 템플릿과 이전 부호화된 영역에서의 템플릿과의 제일 비슷한 템플릿을 찾을 경우 제대로된 비슷한 템플릿을 찾을 수 없게 되거나 현재 블록과 제일 비슷한 블록을 찾을 때 제대로 비슷한 블록을 찾을 수 없는 경우가 발생하기 때문에 인루프 필터링은 블록 단위로 부호화가 끝났을 때 적용한다.
특히, 본 발명의 실시예에 따른 인루프 필터부(1090)에 있어서, 필터링에 대한 계수값은 원본 화소와 복원 화소의 차분치에 기반하여 계산하거나, 일정한 계수값을 미리 정의하여 사용할 수 있고, 다른 방법으로는 복원 화소들에 기반으로 계산할 수 있다.
또한, 원본 화소와 복원 화소와의 차분치에 대한 정보는 각 화소단위로 차이값을 보낼 수도, 화소들을 어느 특정 기준에 따라 그룹을 지어서 그 그룹단위로 대표되는 차이값을 보내는 등의 방법을 사용하여 복호화기로 전송할 수 있다. 특히, 인루프 필터부(1090)은 기존의 필터링(예를 들어, 디블록킹 필터링)과 원본 영상과 복원 영상간의 왜곡에 따른 차이값을 보정해주는 필터링을 병행하여 수행할 수 있다. 이 때, 필터링의 적용에 대한 정보는 시퀀스, 픽쳐, 슬라이스, 블록 등의 단위로 복호화기에 전송할 수 있다.
따라서, 본 발명의 실시예에 따른 부호화기는, 잔차 영상과 예측 영상을 합산한 복원 영상의 원본 영상과 복원 영상간의 왜곡에 기반하거나 복원 영상의 특성에 기반하여 필터링 여부, 필터링 횟수(필터링의 종류), 필터링 방향 및 필터링 강도를 다르게 수행할 수 있다.
즉, 본 발명의 실시예에 따른 부호화기는 부호화된 화면의 화질을 향상시키는 추가적인 필터가 적용될 수 있다. 추가적인 필터는 기존의 디블로킹 필터를 이용할 수 있을 뿐만 아니라 원본 영상과 복원 영상간의 왜곡에 따른 원본 영상의 화소와 복원 영상의 화소의 차분치를 이용하거나 그에 기반한 계수를 이용하거나 복원 영상의 특성에 기반하여 필터링할 수 있다. 이에, 추가적인 필터는 디블록킹 필터링과 독립적으로 또는 중첩적으로 적용될 수 있으며, 블록의 크기 또는 블록의 방향성에 따라 추가적인 필터의 적용여부가 결정될 수 있다.
이에, 본 발명의 실시예에 따른 인루프 필터부(1090)는 적어도 하나의 필터를 포함하여 구성될 수 있다. 인루프 필터부(1090)를 구성하는 필터는 디블록킹 필터와 적어도 하나의 추가적인 필터일 수 있다.
또한, 인루프 필터부(1090)는 블록의 크기 또는 블록의 방향성에 따라 적용되는 필터링의 유무, 필터의 개수 또는 필터의 종류 등을 결정할 수 있다. 이를 통하여 원본 영상과 복원 영상간의 왜곡을 줄여줄 뿐 아니라 부호화 효율 및 주관적 화질을 향상시킬 수 있다. 예를 들어, 도 6b에서와 같이 블록의 크기가 MxN이고 블록의 방향성이 vertical(수직)일 경우에는 [1/4, 1/2, 1/4]와 같은 필터를 적용하거나, horizontal(수평)일 경우에는 상기의 필터를 적용하지 않아 필터의 개수 또는 필터의 종류가 결정될 수 있다.
메모리부(1090)는 인루프 필터링한 현재 블록을 저장하여 현재 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 데이타로서 사용될 수 있다.
부호화부(1091)는 양자화 주파수 계수열을 엔트로피 부호화 기법 등을 이용하여 부호화함으로써 비트스트림을 출력한다. 이러한 부호화 기술로서는 엔트로피 부호화 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술을 사용할 수 있을 것이다.
또한, 부호화부(1091)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수계수가 부호화 된 비트열 및 예측에 필요한 정보를 위한 비트열 등을 포함할 수 있다.
본 발명에 따른 화면내 예측방법이 구현된 동영상 복호화 장치의 구성예
도 11은 본 발명에 따른 화면내 예측 방법이 구현된 영상 복호화 장치의 구성예를 설명하기 위한 블록도이다.
도 11을 참조하면, 본 발명에 따른 영상 복호화 장치(1100)는 복호화부(1110), 역 양자화부(1120), 역 변환부(1130), 예측모드 복호화부(1140), 예측부(1150), 가산부(1160), 인루프 필터부(1170) 및 메모리(1180)를 포함하여 구성될 수 있다.
복호화부(1110)는 비트스트림을 복호화하여 양자화 하여 양자화 주파수 계수열을 추출하고 양자화 주파수 계수열을 역 스캐닝하여 양자화 주파수 계수를 갖는 잔차 블록을 생성할 수 있다.
역 양자화부(1120)와 역 변환부(1130)는 도 10을 통하여 설명한 영상 부호화 장치(100)의 역 양자화부(1050)와 역 변환부(1060)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.
예측모드 복호화부(1140)는 비트스트림을부터 예측모드에 대한 정보를 복호한다. 부호화기에서의 예측부(1110)에서 화면내 예측으로 결정되었을 경우 첫번째 방법으로 예측을 했는지 두번째 방법으로 예측을 했는지, 첫번째 방법으로 예측했다면 어느 모드로 예측했는지에 대한 정보를, 두번째 방법으로 예측했다면 템플릿을 이용하여 예측하는 방법인지 현재 블록과 비슷한 블록을 찾아 예측하는 방법인지에 대한 정보 등을 복호한다. 템플릿을 이용하여 예측하는 경우 위에서 설명한 a, b, m, n에 대한 정보 등을, 현재 블록과 비슷한 블록을 찾아 예측할 경우 움직임에 대한 정보, 움직임의 프리딕터에 대한 정보 등의 정보를 복호한다. 위의 정보 중 일부는 반드시 포함되지 않을 수 있으며, 구현에 따라 일부 또는 전부가 선택적으로 포함될 수 있다.
예측부(1150)는 부호화기에서의 예측부(1010)과 비슷한 역할을 수행하므로 자세한 설명은 생략한다.
가산부(1160)는 예측부(1150)에서 생성된 예측 블록과 역 변환부(1130)에 의해 복원된 잔차 블록을 가산하여 대상 블록을 복원한다. 복원된 대상 블록은 인루프 필터부(1170)에 의해 필터링된 후, 메모리에 저장되어 현재 블록의 다음 블록이나 향후 다른 블록을 복원할 때 참조 데이타로 사용될 수 있다.
인루프 필터부(1170)는 부호화기에서의 것과 비슷한 역할을 수행하므로 자세한 설명은 생략한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1000: 동영상 부호화기
1010: 예측부 1020: 감산부
1030: 변환부 1040: 양자화부
1050: 역 양자화부 1060: 역 변환부
1070: 합산부 1080: 인루프 필터부
1090: 메모리 1091: 부호화부

Claims (4)

  1. 영상 복호화 장치에 의해 수행되는 영상 복호화 방법으로서,
    현재 영상에 대한 양자화 계수들에 역양자화를 수행함으로써 상기 현재 영상에 대한 잔차 영상을 생성하는 단계;
    예측을 수행함으로써 상기 현재 영상에 대한 예측 영상을 생성하는 단계;
    상기 잔차 영상과 상기 예측 영상을 더함으로써 복원 영상을 생성하는 단계; 및
    상기 복원 영상에 대해 인-루프 필터링을 수행하는 단계를 포함하고,
    상기 인-루프 필터링을 수행하는 단계는,
    디블록킹 필터링을 수행하는 단계; 및
    상기 디블록킹 필터링 이후 추가적인 필터링을 수행하는 단계를 포함하고,
    상기 추가적인 필터링을 수행하는 단계는,
    비트스트림으로부터 획득한 차분치에 관한 정보에 기반하여 상기 차분치를 획득하는 단계, 여기서 상기 차분치는 원본 영상의 픽셀과 상기 복원 영상의 대응 픽셀 간의 차이에 기반함; 및
    상기 차분치를 상기 복원 영상의 픽셀에 더함으로써 상기 복원 영상의 픽셀을 보정하는 단계를 포함하고,
    상기 추가적인 필터링의 종류는 상기 추가적인 필터링의 대상 블록의 방향성에 기반하여 결정되는 영상 복호화 방법.
  2. 제1항에 있어서, 상기 차분치는 상기 복원 영상의 픽셀들에 기반하여 결정되는 영상 복호화 방법.
  3. 영상 부호화 장치에 의해 수행되는 영상 부호화 방법으로서,
    현재 영상에 대한 양자화 계수들에 역양자화를 수행함으로써 상기 현재 영상에 대한 잔차 영상을 생성하는 단계;
    예측을 수행함으로써 상기 현재 영상에 대한 예측 영상을 생성하는 단계;
    상기 잔차 영상과 상기 예측 영상을 더함으로써 복원 영상을 생성하는 단계; 및
    상기 복원 영상에 대해 인-루프 필터링을 수행하는 단계를 포함하고,
    상기 인-루프 필터링을 수행하는 단계는,
    디블록킹 필터링을 수행하는 단계; 및
    상기 디블록킹 필터링 이후 추가적인 필터링을 수행하는 단계를 포함하고,
    상기 추가적인 필터링을 수행하는 단계는,
    원본 영상의 픽셀과 상기 복원 영상의 대응 픽셀 간의 차이에 기반하여 차분치를 결정하는 단계;
    상기 차분치를 상기 복원 영상의 픽셀에 더함으로써 상기 복원 영상의 픽셀을 보정하는 단계; 및
    상기 차분치에 관한 정보를 비트스트림에 부호화하는 단계를 포함하고,
    상기 추가적인 필터링의 종류는 상기 추가적인 필터링의 대상 블록의 방향성에 기반하여 결정되는 영상 부호화 방법.
  4. 영상 부호화 방법에 의해 생성된 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체로서, 상기 영상 부호화 방법은,
    현재 영상에 대한 양자화 계수들에 역양자화를 수행함으로써 상기 현재 영상에 대한 잔차 영상을 생성하는 단계;
    예측을 수행함으로써 상기 현재 영상에 대한 예측 영상을 생성하는 단계;
    상기 잔차 영상과 상기 예측 영상을 더함으로써 복원 영상을 생성하는 단계; 및
    상기 복원 영상에 대해 인-루프 필터링을 수행하는 단계를 포함하고,
    상기 인-루프 필터링을 수행하는 단계는,
    디블록킹 필터링을 수행하는 단계; 및
    상기 디블록킹 필터링 이후 추가적인 필터링을 수행하는 단계를 포함하고,
    상기 추가적인 필터링을 수행하는 단계는,
    원본 영상의 픽셀과 상기 복원 영상의 대응 픽셀 간의 차이에 기반하여 차분치를 결정하는 단계;
    상기 차분치를 상기 복원 영상의 픽셀에 더함으로써 상기 복원 영상의 픽셀을 보정하는 단계; 및
    상기 차분치에 관한 정보를 비트스트림에 부호화하는 단계를 포함하고,
    상기 추가적인 필터링의 종류는 상기 추가적인 필터링의 대상 블록의 방향성에 기반하여 결정되는 컴퓨터 판독 가능한 기록 매체.
KR1020210118234A 2011-04-21 2021-09-06 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치 KR102418957B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220082417A KR20220100833A (ko) 2011-04-21 2022-07-05 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020110037484 2011-04-21
KR20110037484 2011-04-21
KR1020200128880A KR102412271B1 (ko) 2011-04-21 2020-10-06 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200128880A Division KR102412271B1 (ko) 2011-04-21 2020-10-06 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220082417A Division KR20220100833A (ko) 2011-04-21 2022-07-05 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210113126A KR20210113126A (ko) 2021-09-15
KR102418957B1 true KR102418957B1 (ko) 2022-07-11

Family

ID=47042086

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020120042328A KR101215152B1 (ko) 2011-04-21 2012-04-23 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020140007816A KR101949763B1 (ko) 2011-04-21 2014-01-22 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020190016487A KR102035565B1 (ko) 2011-04-21 2019-02-13 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020190128875A KR102165288B1 (ko) 2011-04-21 2019-10-17 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020200128880A KR102412271B1 (ko) 2011-04-21 2020-10-06 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020210118234A KR102418957B1 (ko) 2011-04-21 2021-09-06 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020220082417A KR20220100833A (ko) 2011-04-21 2022-07-05 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020230155371A KR20230160755A (ko) 2011-04-21 2023-11-10 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020120042328A KR101215152B1 (ko) 2011-04-21 2012-04-23 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020140007816A KR101949763B1 (ko) 2011-04-21 2014-01-22 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020190016487A KR102035565B1 (ko) 2011-04-21 2019-02-13 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020190128875A KR102165288B1 (ko) 2011-04-21 2019-10-17 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020200128880A KR102412271B1 (ko) 2011-04-21 2020-10-06 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220082417A KR20220100833A (ko) 2011-04-21 2022-07-05 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR1020230155371A KR20230160755A (ko) 2011-04-21 2023-11-10 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (7) US9008180B2 (ko)
KR (8) KR101215152B1 (ko)
WO (1) WO2012144876A2 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
US9247265B2 (en) 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
JP5291133B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
JP5291134B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2014003421A1 (ko) * 2012-06-25 2014-01-03 한양대학교 산학협력단 비디오 부호화 및 복호화를 위한 방법
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9883198B2 (en) * 2012-11-13 2018-01-30 Intel Corporation Video codec architecture for next generation video
WO2014084674A2 (ko) * 2012-11-29 2014-06-05 인텔렉추얼 디스커버리 주식회사 잔차 변환을 이용한 인트라 예측 방법 및 장치
WO2014120368A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
US20160037184A1 (en) * 2013-03-14 2016-02-04 Sony Corporation Image processing device and method
WO2014163241A1 (ko) * 2013-04-02 2014-10-09 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
CN115134610A (zh) 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
KR101782156B1 (ko) * 2015-06-11 2017-09-26 인텔렉추얼디스커버리 주식회사 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치
US20190045224A1 (en) * 2016-02-04 2019-02-07 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
KR102601732B1 (ko) * 2016-05-31 2023-11-14 삼성디스플레이 주식회사 영상 부호화 방법 및 영상 복호화 방법
US10657674B2 (en) * 2016-06-17 2020-05-19 Immersive Robotics Pty Ltd. Image compression method and apparatus
KR101974261B1 (ko) 2016-06-24 2019-04-30 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN117201777A (zh) * 2016-09-13 2023-12-08 韩国电子通信研究院 视频编码/解码方法和装置以及存储比特流的记录介质
KR20180040824A (ko) * 2016-10-13 2018-04-23 디지털인사이트 주식회사 복호화기 기반의 화면 내 예측 모드 추출 기술을 사용하는 비디오 코딩 방법 및 장치
CN116866553A (zh) 2017-01-16 2023-10-10 世宗大学校产学协力团 影像解码/编码方法以及传送比特流的方法
AU2018218182B2 (en) 2017-02-08 2022-12-15 Immersive Robotics Pty Ltd Antenna control for mobile device communication
WO2019100108A1 (en) 2017-11-21 2019-05-31 Immersive Robotics Pty Ltd Image compression for digital reality
AU2018373495B2 (en) 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Frequency component selection for image compression
KR101998036B1 (ko) * 2017-12-06 2019-07-08 한국과학기술원 왜곡 제거 방법 및 장치
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
CN114928745B (zh) * 2018-09-02 2024-04-19 Lg电子株式会社 信号编解码方法、计算机可读存储介质和数据传输方法
CN112840654B (zh) * 2018-10-12 2024-04-16 韦勒斯标准与技术协会公司 使用多假设预测的视频信号处理方法和装置
WO2020147804A1 (en) * 2019-01-17 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Use of virtual candidate prediction and weighted prediction in video processing
EP3977736A4 (en) * 2019-06-24 2022-06-29 Huawei Technologies Co., Ltd. Clipping levels for non-linear adaptive loop filter
CN114747223B (zh) * 2019-10-07 2023-11-14 Lg电子株式会社 基于子画面结构执行环路内滤波的图像编码/解码方法和装置及发送比特流的方法
WO2021101201A1 (ko) * 2019-11-18 2021-05-27 엘지전자 주식회사 루프 필터링을 제어하는 영상 코딩 장치 및 방법
KR20230094417A (ko) 2021-12-21 2023-06-28 한밭대학교 산학협력단 포인트 클라우드 비디오 부호화 방법
CN115002463B (zh) * 2022-07-15 2023-01-13 深圳传音控股股份有限公司 图像处理方法、智能终端及存储介质
WO2024043760A1 (ko) * 2022-08-25 2024-02-29 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010091504A1 (en) 2009-02-13 2010-08-19 Research In Motion Limited In-loop deblocking for intra-coded images or frames

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0514663A3 (en) * 1991-05-24 1993-07-14 International Business Machines Corporation An apparatus and method for motion video encoding employing an adaptive quantizer
US5784631A (en) * 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US6282684B1 (en) * 1997-10-23 2001-08-28 Sony Corporation Apparatus and method for recovery of data in a lossy transmission environment
US6298085B1 (en) * 1997-10-23 2001-10-02 Sony Corporation Source encoding using shuffling of data to provide robust error recovery in a burst error-environment
US6535148B1 (en) * 1999-02-12 2003-03-18 Sony Corporation Method and apparatus for truncated decoding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7149249B2 (en) * 2001-05-07 2006-12-12 Summus, Inc. Color video codec method and system
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
WO2004030369A1 (en) * 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
US6795584B2 (en) * 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
US8085850B2 (en) * 2003-04-24 2011-12-27 Zador Andrew M Methods and apparatus for efficient encoding of image edges, motion, velocity, and detail
US20050013494A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
ES2767933T3 (es) * 2003-09-07 2020-06-19 Microsoft Technology Licensing Llc Capa de sectores en códec de vídeo
US7362809B2 (en) * 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
EP1578134A1 (en) * 2004-03-18 2005-09-21 STMicroelectronics S.r.l. Methods and systems for encoding/decoding signals, and computer program product therefor
US20060029135A1 (en) * 2004-06-22 2006-02-09 Minhua Zhou In-loop deblocking filter
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
KR100679025B1 (ko) * 2004-11-12 2007-02-05 삼성전자주식회사 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
US7574060B2 (en) * 2004-11-22 2009-08-11 Broadcom Corporation Deblocker for postprocess deblocking
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US8149926B2 (en) * 2005-04-11 2012-04-03 Intel Corporation Generating edge masks for a deblocking filter
US20060239347A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for scene change detection in a video encoder
US8045615B2 (en) 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
KR101215614B1 (ko) * 2005-09-09 2012-12-26 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US20070192393A1 (en) * 2006-02-14 2007-08-16 Taiyi Cheng Method and system for hardware and software shareable DCT/IDCT control interface
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
US8559514B2 (en) * 2006-07-27 2013-10-15 Qualcomm Incorporated Efficient fetching for motion compensation video decoding process
EP2047687B1 (en) * 2006-08-02 2018-05-16 Thomson Licensing DTV Adaptive geometric partitioning for video encoding
JP4763549B2 (ja) * 2006-08-18 2011-08-31 富士通セミコンダクター株式会社 フレーム間予測処理装置、画像符号化装置、及び画像復号化装置
US20080123750A1 (en) * 2006-11-29 2008-05-29 Michael Bronstein Parallel deblocking filter for H.264 video codec
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
KR20080076817A (ko) * 2007-02-14 2008-08-20 삼성전자주식회사 디지털 동영상 처리 시스템의 디블록 필터링 장치 및 방법
JP2008289134A (ja) * 2007-04-20 2008-11-27 Panasonic Corp 符号化レート変換装置、集積回路、符号化レート変換方法、及びプログラム
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US8228990B2 (en) * 2008-01-16 2012-07-24 Sony Corporation Template matching scheme using multiple predictors as candidates for intra-prediction
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8208563B2 (en) * 2008-04-23 2012-06-26 Qualcomm Incorporated Boundary artifact correction within video units
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
KR101379187B1 (ko) * 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
US8634457B2 (en) * 2008-09-26 2014-01-21 Qualcomm Incorporated Determining availability of video data units
EP2182732A1 (en) * 2008-10-28 2010-05-05 Panasonic Corporation Switching between scans in image coding
EP2192786A1 (en) * 2008-11-27 2010-06-02 Panasonic Corporation Frequency domain filters for video coding
US8611435B2 (en) * 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
KR101538704B1 (ko) 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
JP5334070B2 (ja) * 2009-02-13 2013-11-06 ブラックベリー リミテッド 画像処理における均衡ピクセル領域ひずみ分布を有する適合量子化
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US8451904B2 (en) * 2009-06-24 2013-05-28 Qualcomm Incorporated 8-point transform for media data coding
US20100329362A1 (en) * 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
US20110122950A1 (en) * 2009-11-26 2011-05-26 Ji Tianying Video decoder and method for motion compensation for out-of-boundary pixels
WO2011136896A1 (en) * 2010-04-27 2011-11-03 Sony Corporation Boundary adaptive intra prediction for improving subjective video quality
US9456111B2 (en) * 2010-06-15 2016-09-27 Mediatek Inc. System and method for content adaptive clipping
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9398308B2 (en) * 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
US8755444B2 (en) * 2010-08-06 2014-06-17 Qualcomm Incorporated Two-stage entropy decoding
US20120044992A1 (en) * 2010-08-17 2012-02-23 Qualcomm Incorporated Low complexity adaptive filter
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
US9552206B2 (en) * 2010-11-18 2017-01-24 Texas Instruments Incorporated Integrated circuit with control node circuitry and processing circuitry
US8630356B2 (en) * 2011-01-04 2014-01-14 The Chinese University Of Hong Kong High performance loop filters in video compression
US8982960B2 (en) * 2011-02-23 2015-03-17 Qualcomm Incorporated Multi-metric filtering
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
CA2772894A1 (en) * 2011-05-17 2012-11-17 Her Majesty The Queen In Right Of Canada, As Represented By The Ministerof Industry, Through The Communications Research Centre Canada Image and video encoding and decoding
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US10027982B2 (en) * 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
US9510020B2 (en) * 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US9532074B2 (en) * 2011-10-26 2016-12-27 Mediatek Inc. Method and system for video coding system with loop filtering
WO2013061551A1 (ja) * 2011-10-27 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US10390046B2 (en) * 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
US9191670B2 (en) * 2012-01-17 2015-11-17 Qualcomm Incorporated Throughput improvement for CABAC coefficient level coding
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
MX2014008485A (es) * 2012-01-19 2014-10-14 Sony Corp Aparato de procesamiento y metodo para procesamiento de imagen.
US9756327B2 (en) * 2012-04-03 2017-09-05 Qualcomm Incorporated Quantization matrix and deblocking filter adjustments for video coding
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
KR20140019221A (ko) * 2012-07-17 2014-02-14 한국전자통신연구원 인루프 필터링 방법 및 이를 이용하는 장치
US10270642B2 (en) * 2012-12-05 2019-04-23 Origin Wireless, Inc. Method, apparatus, and system for object tracking and navigation
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010091504A1 (en) 2009-02-13 2010-08-19 Research In Motion Limited In-loop deblocking for intra-coded images or frames

Also Published As

Publication number Publication date
US20200374563A1 (en) 2020-11-26
KR20190018459A (ko) 2019-02-22
WO2012144876A2 (ko) 2012-10-26
KR20220100833A (ko) 2022-07-18
US10129567B2 (en) 2018-11-13
KR20210113126A (ko) 2021-09-15
US9420312B2 (en) 2016-08-16
US10237577B2 (en) 2019-03-19
KR102412271B1 (ko) 2022-06-23
US20220295115A1 (en) 2022-09-15
US20150139319A1 (en) 2015-05-21
KR20140019855A (ko) 2014-02-17
KR20200118784A (ko) 2020-10-16
US20160345025A1 (en) 2016-11-24
US20130208794A1 (en) 2013-08-15
US20160330485A1 (en) 2016-11-10
KR20230160755A (ko) 2023-11-24
KR20120120091A (ko) 2012-11-01
KR102165288B1 (ko) 2020-10-13
US9008180B2 (en) 2015-04-14
KR102035565B1 (ko) 2019-10-23
US10785503B2 (en) 2020-09-22
US11381844B2 (en) 2022-07-05
KR101949763B1 (ko) 2019-02-19
US20190158883A1 (en) 2019-05-23
KR101215152B1 (ko) 2012-12-24
KR20190120145A (ko) 2019-10-23
WO2012144876A3 (ko) 2013-01-10

Similar Documents

Publication Publication Date Title
KR102418957B1 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
JP5846675B2 (ja) イントラ予測モード復号化方法及び装置
KR20190016982A (ko) 인트라 예측 정보 부호화 방법 및 장치
US9503725B2 (en) Method and apparatus for encoding/decoding image for performing intraprediction using pixel value filtered according to prediction mode
JP5989840B2 (ja) 映像復号化装置
US20150063452A1 (en) High efficiency video coding (hevc) intra prediction encoding apparatus and method
KR20120126050A (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant