KR101774392B1 - 화면 내 예측 방법 및 이러한 방법을 사용하는 장치 - Google Patents

화면 내 예측 방법 및 이러한 방법을 사용하는 장치 Download PDF

Info

Publication number
KR101774392B1
KR101774392B1 KR1020157033453A KR20157033453A KR101774392B1 KR 101774392 B1 KR101774392 B1 KR 101774392B1 KR 1020157033453 A KR1020157033453 A KR 1020157033453A KR 20157033453 A KR20157033453 A KR 20157033453A KR 101774392 B1 KR101774392 B1 KR 101774392B1
Authority
KR
South Korea
Prior art keywords
pixel
prediction
sample
unit
reference pixel
Prior art date
Application number
KR1020157033453A
Other languages
English (en)
Other versions
KR20150140848A (ko
Inventor
전용준
박승욱
임재현
김정선
박준영
최영희
성재원
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20150140848A publication Critical patent/KR20150140848A/ko
Application granted granted Critical
Publication of KR101774392B1 publication Critical patent/KR101774392B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

화면 내 예측 방법 및 이러한 방법을 사용하는 장치가 개시되어 있다. 화면 내 예측 방법은 하단 우측 픽셀을 DC 예측값으로 설정하는 단계, 하단 우측 픽셀과 제n 상단 참조 픽셀을 보간하여 제n 열의 예측값을 산출하고 하단 우측 픽셀과 제n 좌측 참조 픽셀을 보간하여 제n 행의 예측값을 산출하는 단계와 양방향 선형 보간을 수행하여 제n 행과 제n 열을 제외한 예측 단위에 포함된 픽셀의 예측값을 산출하는 단계를 포함할 수 있다. 따라서, 향상된 화면 내 예측 방법을 사용함으로서 화면 내 예측 방법을 수행시 원본 블록의 값과 가까운 예측 블록을 생성하여 부복호화 효율을 높힐 수 있다.

Description

화면 내 예측 방법 및 이러한 방법을 사용하는 장치{INTRA PREDICTION METHOD AND APPARATUS USING THE METHOD}
본 발명은 화면 내 예측 방법 및 이러한 방법을 사용하는 장치에 관한 것으로 더욱 상세하게는 복호화 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품록을 받으질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
본 발명의 목적은 영상 부복호화 효율을 증가시키기 위한 화면 내 예측 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 영상 부복호화 효율을 증가시키기 위한 화면 내 예측 방법을 수행하는 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 화면 내 예측 방법은 하단 우측 픽셀을 DC 예측값으로 설정하는 단계, 하단 우측 픽셀과 제n 상단 참조 픽셀을 보간하여 제n 열의 예측값을 산출하고 하단 우측 픽셀과 제n 좌측 참조 픽셀을 보간하여 제n 행의 예측값을 산출하는 단계와 양방향 선형 보간을 수행하여 제n 행과 제n 열을 제외한 예측 단위에 포함된 픽셀의 예측값을 산출하는 단계를 포함할 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 예측 방법은 상단 좌측 참조 픽셀, 제n 상단 참조 픽셀 및 제n 좌측 참조 픽셀의 평균을 이용하여 하단 우측 픽셀을 설정하는 단계, 하단 우측 픽셀과 제n 상단 참조 픽셀을 보간하여 제n 열의 예측값을 산출하고 하단 우측 픽셀과 제n 좌측 참조 픽셀을 보간하여 제n 행의 예측값을 산출하는 단계와 양방향 선형 보간을 수행하여 제n 행과 제n 열을 제외한 예측 단위에 포함된 픽셀의 예측값을 산출하는 단계를 포함할 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 예측 방법은 하단 우측 픽셀을 DC 예측값으로 설정하는 단계, 하단 우측 픽셀과 제n 상단 참조 픽셀을 보간하여 제n 열의 예측값을 산출하고 하단 우측 픽셀과 제n 좌측 참조 픽셀을 보간하여 제n 행의 예측값을 산출하는 단계, 상단 참조 픽셀, 좌측 참조 픽셀, 제n 열, 제n 행의 값을 기초로 사선 방향 보간을 수행하여 제n 행과 제n 열을 제외한 예측 단위에 포함된 픽셀의 제1 예측값을 산출하는 단계와 제n 행과 제n 열을 제외한 예측 단위에 포함된 픽셀의 상단, 하단, 좌측, 우측에 존재하는 픽셀을 양방향 선형 보간하여 픽셀의 제2 예측값을 산출하는 단계를 포함할 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 예측 방법은 상단 좌측 참조 픽셀, 제n 상단 참조 픽셀 및 제n 좌측 참조 픽셀의 평균을 이용하여 하단 우측 픽셀을 설정하는 단계, 하단 우측 픽셀과 제n 상단 참조 픽셀을 보간하여 제n 열의 예측값을 산출하고 하단 우측 픽셀과 제n 좌측 참조 픽셀을 보간하여 제n 행의 예측값을 산출하는 단계, 상단 참조 픽셀, 좌측 참조 픽셀, 제n 열, 제n 행의 값을 기초로 사선 방향 보간을 수행하여 제n 행과 제n 열을 제외한 예측 단위에 포함된 픽셀의 제1 예측값을 산출하는 단계와 제n 행과 제n 열을 제외한 예측 단위에 포함된 픽셀의 상단, 하단, 좌측, 우측에 존재하는 픽셀을 양방향 선형 보간하여 픽셀의 제2 예측값을 산출하는 단계를 포함할 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 예측 방법은 각각의 상단 참조 픽셀과 제n 좌측 참조 픽셀을 평균낸 값으로 제n 행에 포함된 픽셀의 예측값을 생성하는 단계와 제n 행에 포함된 픽셀과 상단 참조 픽셀을 보간하여 제n 행을 제외한 예측 단위의 픽셀의 예측값을 생성하는 단계를 포함할 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 예측 방법은 각각의 좌측 참조 픽셀값과 제n+1 상단 참조 픽셀값에 대해 평균값을 산출하여 제n 열에 포함된 픽셀의 예측값을 생성하는 단계와 제n 열에 포함된 픽셀과 좌측 참조 픽셀을 보간하여 제n 열을 제외한 예측 단위의 픽셀의 예측값을 생성하는 단계를 포함할 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 에측 방법은 하단 우측 픽셀의 예측값을 산출하는 단계, 상기 상출된 하단 우측 픽셀의 예측값과 제n 좌측 참조 픽셀의 보간값을 제n 행에 포함된 픽셀의 예측값으로 사용하고, 상기 하단 우측 픽셀의 예측값과 제n 상단 참조 픽셀의 보간값을 제n 열에 포함된 픽셀의 예측값으로 사용하는 단계와 제n 행과 제n 열을 제외한 예측 단위의 나머지 픽셀의 예측값은 예측 대상 픽셀의 수직 방향으로 동일한 열에 포함되어 있는 상단 참조 픽셀과 제n 행의 픽셀 및 예측 대상 픽셀의 수평 방향으로 동일한 행에 포함되어 있는 좌측 참조 픽셀과 제n 열의 픽셀을 양방향 보간하는 단계를 포함할 수 있다. 상기 하단 우측 픽셀의 예측값을 산출하는 단계는 제n 좌측 참조 픽셀 및 제n 상단 참조 픽셀의 평균값을 상기 하단 우측 픽셀의 예측값으로 산출하는 단계일 수 있다. 상기 하단 우측 픽셀의 예측값을 산출하는 단계는 제2n 상단 참조 픽셀과 제2n 좌측 참조 픽셀의 평균값을 상기 하단 우측 픽셀의 예측값으로 산출하는 단계일 수 있다. 상기 하단 우측 픽셀의 예측값을 산출하는 단계는 제n 상단 참조 픽셀과 제2n 상단 참조 픽셀의 평균값인 상단 평균 픽셀과 제n 좌측 참조 픽셀과 제2n 좌측 참조 픽셀의 평균값인 좌측 평균 픽셀을 산출하는 단계와 상기 상단 평균 픽셀 및 상기 좌측 평균 픽셀의 평균값을 상기 하단 우측 픽셀의 예측값으로 산출하는 단계를 포함할 수 있다. 상기 하단 우측 픽셀의 예측값을 산출하는 단계는 제n 상단 참조 픽셀과 제2n 상단 참조 픽셀의 중간에 위치한 상단 중간 픽셀과 제n 좌측 참조 픽셀과 제2n 좌측 참조 픽셀의 중간에 위치한 좌측 중간 픽셀의 평균값을 이용하여 상기 하단 우측 픽셀의 예측값을 산출하는 단계일 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 예측 방법은 하단 우측 픽셀의 예측값을 산출하는 단계, 제n+1 좌측 참조 픽셀에서 제2n 좌측 참조 픽셀까지 값을 제n 행에 포함된 픽셀의 예측값으로 사용하고, 제n+1 상단 참조 픽셀에서 제2n 상단 참조 픽셀까지 값을 제n 열에 포함된 픽셀의 예측값으로 사용하는 단계, 제n 행과 제n 열을 제외한 예측 단위의 나머지 픽셀의 예측값은 예측 대상 픽셀의 수직 방향으로 동일한 열에 포함되어 있는 상단 참조 픽셀과 제n 행의 픽셀 및 예측 대상 픽셀의 수평 방향으로 동일한 행에 포함되어 있는 좌측 참조 픽셀과 제n 열의 픽셀을 양방향 보간하는 단계를 포함할 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 예측 방법은 하단 우측 픽셀의 예측값을 산출하는 단계, 제n+1 좌측 참조 픽셀에서 제2n 좌측 참조 픽셀까지 값과 제n+1 상단 참조 픽셀에서 제2n 상단 참조 픽셀까지 값을 양방향 보간하여 제n 행 및 제n 열에 포함된 픽셀의 예측값으로 사용하는 단계와 제n 행과 제n 열을 제외한 예측 단위의 나머지 픽셀의 예측값은 예측 대상 픽셀의 수직 방향으로 동일한 열에 포함되어 있는 상단 참조 픽셀과 제n 행의 픽셀 및 예측 대상 픽셀의 수평 방향으로 동일한 행에 포함되어 있는 좌측 참조 픽셀과 제n 열의 픽셀을 양방향 보간하는 단계를 포함할 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 예측 방법은 수평 방향으로 동일한 행에 존재하는 좌측 참조 픽셀값과 제2n 상단 참조 픽셀값 및 수직 방향으로 동일한 열에 존재하는 상단 참조 픽셀값과 제2n 좌측 참조 픽셀값을 산출하는 단계와 상기 좌측 참조 픽셀값, 상기 제2n 상단 참조 픽셀값, 상기 상단 참조 픽셀값 및 제2n 좌측 참조 픽셀값을 양방향 선형 보간하여 예측 단위에 포함된 픽셀의 예측값을 산출하는 단계를 포함할 수 있다.
또한, 상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 화면 내 예측 방법은 수평 방향으로 동일한 행에 존재하는 좌측 참조 픽셀값과 제2n 상단 참조 픽셀값을 이용하여 수평 보간을 수행하는 단계, 수직 방향으로 동일한 열에 존재하는 상단 참조 픽셀값과 제2n 좌측 참조 픽셀값을 이용하여 수직 보간을 수행하는 단계와 상기 수평 보간 및 수직 보간을 수행한 값에 일정한 가중치를 곱한 값 더해 예측 단위에 포함되는 픽셀의 예측값을 산출하는 단계를 포함할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 화면 내 예측 방법 및 이러한 방법을 사용하는 장치에 따르면, 향상된 화면 내 예측 방법을 사용함으로서 화면 내 예측 방법을 수행시 원본 블록의 값과 가까운 예측 블록을 생성하여 부복호화 효율을 높힐 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 예측 단위와 참조 픽셀을 나타낸 것이다.
도 4는 본 발명의 실시예에 따른 향상된 DC 모드를 이용한 화면 내 예측 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 향상된 DC 모드를 이용한 화면 내 예측 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 향상된 DC 모드를 이용한 화면 내 예측 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 향상된 DC 모드를 이용한 화면 내 예측 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 향상된 수직 방향 화면 내 예측 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 향상된 수평 방향 화면 내 예측 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 향상된 플레이너 모드를 통해 예측 단위를 산출하는 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 향상된 플레이너 모드 화면 내 예측 방법에서 하단 우측 픽셀을 산출하는 방법을 나타내는 개념도이다.
도 12는 본 발명의 실시예에 따른 향상된 플레이너 모드 화면 내 예측 방법에서 하단 우측 픽셀을 산출하는 방법을 나타낸 개념도이다.
도 13은 본 발명의 실시예에 따른 향상된 플레이너 모드 화면 내 예측 방법에서 하단 우측 픽셀을 산출하는 방법을 나타낸 개념도이다.
도 14는 본 발명의 실시예에 따른 향상된 플레이너 모드에서 하단 우측 픽셀을 생성하는 방법을 나타낸 개념도이다.
도 15는 본 발명의 실시예에 따른 플레이너 모드를 수행시 제n 행 및 제n 열을 생성하는 방법을 나타낸 개념도이다.
도 16은 본 발명의 실시예에 따른 향상된 플레이너 모드를 수행시 제n 행 및 제n 열을 생성하는 방법을 나타낸 개념도이다.
도 17은 본 발명의 실시예에 따른 향상된 플레이너 모드에 따른 예측 방법을 나타낸 개념도이다.
도 18은 본 발명의 실시예에 따른 플레이너 모드에 따른 예측 방법을 나타낸 개념도이다.
도 19는 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 20은 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 21은 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 22는 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 23은 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 24는 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 25는 본 발명의 실시예에 따른 향상된 플레이너 모드 예측 방법을 나타낸 개념도이다.
도 26은 본 발명의 실시예에 따른 제2n 좌측 참조 픽셀 또는 제2n 상단 참조 픽셀이 존재하지 않는 경우, 플레이너 모드를 수행하는 방법을 나타낸 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 포함할 수 있다.
도 1에 나타난 각 구성부들은 영상 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
픽쳐 분할부(105)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 단위(Prediction Unit: PU)일 수도 있고, 변환 단위(Transform Unit: TU)일 수도 있으며, 부호화 단위(Coding Unit: CU)일 수도 있다. 픽쳐 분할부(105)에서는 하나의 픽쳐에 대해 복수의 부호화 단위, 예측 단위 및 변환 단위의 조합으로 분할하고 소정의 기준(예를 들어, 비용 함수)으로 하나의 부호화 단위, 예측 단위 및 변환 단위 조합을 선택하여 픽쳐를 부호화 할 수 있다.
예를 들어, 하나의 픽쳐는 복수개의 부호화 단위로 분할될 수 있다. 픽쳐에서 부호화 단위를 분할하기 위해서는 쿼드 트리 구조(Quad Tree Structure)와 같은 재귀적인 트리 구조를 사용할 수 있는데 하나의 영상 또는 최대 크기 부호화 단위를 루트로 하여 다른 부호화 단위로 분할되는 부호화 유닛은 분할된 부호화 단위의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 일정한 제한에 따라 더이상 분할되지 않는 부호화 단위는 리프 노드가 된다. 즉, 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정하는 경우, 하나의 부호화 단위는 최대 4개의 다른 부호화 단위로 분할될 수 있다.
이하, 본 발명의 실시예에서는 부호화 단위의 의미를 부호화를 하는 단위라는 의미뿐만 아니라 복호화를 하는 단위의 의미로 사용할 수 있다.
예측 단위는 하나의 부호화 단위 내에서 동일한 크기의 적어도 하나의 정사각형 또는 직사각형 등의 형태를 가지고 분할되거나 하나의 부호화 단위 내에서 분할된 예측 단위 중 하나의 예측 단위의 형태가 다른 예측 단위의 형태와 다른 형태를 가지고 분할될 수 있다.
부호화 단위를 기초로 화면 내 예측을 수행하는 예측 단위를 생성시 최소 부호화 단위가 아닌 경우, 복수의 예측 단위(NxN)으로 분할하지 않고 화면 내 예측을 수행할 수 있다.
예측부(110)는 화면 간 예측을 수행하는 화면 간 예측부와 화면 내 예측을 수행하는 화면 내 예측부를 포함할 수 있다. 예측 단위에 대해 화면 간 예측을 사용할 것인지 또는 화면 내 예측을 수행할 것인지를 결정하고, 각 예측 방법에 따른 구체적인 정보(예컨대, 화면 내 예측 모드, 움직임 벡터, 참조 픽쳐 등)를 결정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 예측 단위로 결정되고, 예측의 수행은 변환 단위로 수행될 수도 있다. 생성된 예측 블록과 원본 블록 사이의 잔차값(잔차 블록)은 변환부(115)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 잔차값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화기에 전달될 수 있다. 특정한 부호화 모드를 사용할 경우, 예측부(110)를 통해 예측 블록을 생성하지 않고, 원본 블록을 그대로 부호화하여 복호화부에 전송하는 것도 가능하다
화면 간 예측부는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측 단위를 예측할 수 있다. 화면 간 예측부는 참조 픽쳐 보간부, 움직임 예측부, 움직임 보상부가 포함할 수 있다.
참조 픽쳐 보간부에서는 메모리(150)로부터 참조 픽쳐 정보를 제공받고 참조 픽쳐에서 정수 화소 이하의 화소 정보를 생성할 수 있다. 휘도 화소의 경우, 1/4 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 8탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다. 색차 신호의 경우 1/8 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 4탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다.
움직임 예측부는 참조 픽쳐 보간부에 의해 보간된 참조 픽쳐를 기초로 움직임 예측을 수행할 수 있다. 움직임 벡터를 산출하기 위한 방법으로 FBMA(Full search-based Block Matching Algorithm), TSS(Three Step Search), NTS(New Three-Step Search Algorithm) 등 다양한 방법이 사용될 수 있다. 움직임 벡터는 보간된 화소를 기초로 1/2 또는 1/4 화소 단위의 움직임 벡터값을 가질 수 있다. 움직임 예측부에서는 움직임 예측 방법을 다르게 하여 현재 예측 단위를 예측할 수 있다. 움직임 예측 방법으로 스킵(Skip) 방법, 머지(Merge) 방법, AMVP(Advanced Motion Vector Prediction)방법 등 다양한 방법이 사용될 수 있다.
이하, 본 발명의 실시예에서는 AMVP 방법을 사용하여 화면 간 예측을 수행시 후보 예측 움직임 벡터 리스트를 구성하는 방법에 대해 개시한다.
화면 내 예측부는 현재 픽쳐 내의 화소 정보인 현재 블록 주변의 참조 픽셀정보를 기초로 예측 단위를 생성할 수 있다. 현재 예측 단위의 주변 블록이 화면 간 예측을 수행한 블록이어서, 참조 픽셀이 화면 간 예측을 수행한 픽셀일 경우, 화면 간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면 내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수 있다. 즉, 참조 픽셀이 가용하지 않는 경우, 가용하지 않은 참조 픽셀 정보를 가용한 참조 픽셀 중 적어도 하나의 참조 픽셀로 대체하여 사용할 수 있다.
화면 내 예측에서 예측 모드는 참조 픽셀 정보를 예측 방향에 따라 사용하는 방향성 예측 모드와 예측을 수행시 방향성 정보을 사용하지 않는 비 방향성 모드를 가질 수 있다. 휘도 정보를 예측하기 위한 모드와 색차 정보를 예측하기 위한 모드가 상이할 수 있고, 색차 정보를 예측하기 위해 휘도 정보를 예측한 화면 내 예측 모드 정보 또는 예측된 휘도 신호 정보를 활용할 수 있다.
화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 화면 내 예측을 수행하지만, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 화면 내 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 NxN 분할을 사용하는 화면 내 예측을 사용할 수 있다.
화면 내 예측 방법은 예측 모드에 따라 참조 화소에 MDIS(Mode Dependent Intra Smoothing) 필터를 적용한 후 예측 블록을 생성할 수 있다. 참조 화소에 적용되는 MDIS 필터의 종류는 상이할 수 있다. 화면 내 예측 방법을 수행하기 위해 현재 예측 단위의 화면 내 예측 모드는 현재 예측 단위의 주변에 존재하는 예측 단위의 화면 내 예측 모드로부터 예측할 수 있다. 주변 예측 단위로부터 예측된 모드 정보를 이용하여 현재 예측 단위의 예측 모드를 예측하는 경우, 현재 예측 단위와 주변 예측 단위의 화면 내 예측 모드가 동일할 경우, 소정의 플래그 정보를 이용하여 현재 예측 단위와 주변 예측 단위의 예측 모드가 동일하다는 정보를 전송할 수 있고, 만약, 현재 예측 단위와 주변 예측 단위의 예측 모드가 상이할 경우, 엔트로피 부호화를 수행하여 현재 블록의 예측 모드 정보를 부호화할 수 있다.
또한, 예측부(110)에서 생성된 예측 단위을 기초로 예측을 수행한 예측 단위와 예측 단위의 원본 블록과 차이값인 잔차값(Residual) 정보를 포함하는 잔차 블록이 생성될 수 있다. 생성된 잔차 블록은 변환부(115)로 입력될 수 있다. 변환부(115)에서는 원본 블록과 예측부(110)를 통해 생성된 예측 단위의 잔차값(residual) 정보를 포함한 잔차 블록을 DCT(Discrete Cosine Transform) 또는 DST(Discrete Sine Transform)와 같은 변환 방법을 사용하여 변환시킬 수 있다. 잔차 블록을 변환하기 위해 DCT를 적용할지 DST를 적용할지는 잔차 블록을 생성하기 위해 사용된 예측 단위의 화면 내 예측 모드 정보를 기초로 결정할 수 있다.
양자화부(120)는 변환부(115)에서 주파수 영역으로 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공될 수 있다.
재정렬부(125)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원의 블록 형태 계수를 1차원의 벡터 형태로 변경할 수 있다. 예를 들어, 재정렬부(125)에서는 지그재그 스캔(Zig-Zag Scan)방법을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원 벡터 형태로 변경시킬 수 있다. 변환 단위의 크기 및 화면 내 예측 모드에 따라 지그 재그 스캔 방법이 아닌 2차원의 블록 형태 계수를 열 방향으로 스캔하는 수직 스캔 방법, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔 방법이 사용될 수 있다. 즉, 변환 단위의 크기 및 화면 내 예측 모드에 따라 지그재그 스캔, 수직 방향 스캔 및 수평 방향 스캔 중 어떠한 스캔 방법이 사용될지 여부를 결정할 수 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 산출된 값들을 기초로 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), VLC(Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 사용할 수 있다.
엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 부호화 단위의 잔차값 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 단위 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 프레임 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
엔트로피 부호화부(130)에서는 재정렬부(125)에서 입력된 부호화 단위의 계수값을 엔트로피 부호화할 수 있다.
역양자화부(135) 및 역변환부(140)에서는 양자화부(120)에서 양자화된 값들을 역양자화하고 변환부(115)에서 변환된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 잔차값(Residual)은 예측부(110)에 포함된 움직임 추정부, 움직임 보상부 및 인트라 예측부를 통해서 예측된 예측 단위와 합쳐져 복원 블록(Reconstructed Block)을 생성할 수 있다.
필터부(145)는 디블록킹 필터, 오프셋 보정부, ALF(Adaptive Loop Filter)중 적어도 하나를 포함할 수 있다.
디블록킹 필터(145)는 복원된 픽쳐에서 블록간의 경계로 인해 생긴 블록 왜곡을 제거할 수 있다. 디블록킹을 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한 디블록킹 필터를 적용함에 있어 수직 필터링 및 수평 필터링을 수행시 수평 방향 필터링 및 수직 방향 필터링이 병행 처리되도록 할 수 있다.
오프셋 보정부는 디블록킹을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋을 보정할 수 있다. 특정 픽쳐에 대한 오프셋 보정을 수행하기 위해 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.
ALF (Adaptive Loop Filter)는 필터링한 복원 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. ALF를 적용할지 여부에 관련된 정보는 휘도 신호는 부호화 단위(Coding Unit, CU) 별로 전송될 수 있고, 각각의 블록에 따라 적용될 ALF의 크기 및 계수는 달라질 수 있다. ALF는 다양한 형태를 가질 수 있으며, 필터에 그에 따라 포함되는 계수의 갯수도 달라질 수 있다. 이러한 ALF의 필터링 관련 정보(필터 계수 정보, ALF On/Off 정보, 필터 형태 정보)는 비트스트림에서 소정의 파라메터 셋에 포함되어 전송될 수 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있고, 저장된 복원 블록 또는 픽쳐는 화면 간 예측을 수행 시 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.
도 2를 참조하면, 영상 복호화기(200)는 엔트로피 복호화부(2110), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235), 메모리(240)가 포함될 수 있다.
영상 부호화기에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 부호화기와 반대의 절차로 복호화될 수 있다.
엔트로피 복호화부(210)는 영상 부호화기의 엔트로피 부호화부에서 엔트로피 부호화를 수행한 것과 반대의 절차로 엔트로피 복호화를 수행할 수 있고 엔트로피 복호화부에서 엔트로피 복호화를 수행한 잔차값은 재정렬부(215)로 입력될 수 있다.
엔트로피 복호화부(210)에서는 부호화기에서 수행된 화면 내 예측 및 화면 간 예측에 관련된 정보를 복호화할 수 있다. 전술한 바와 같이 영상 부호화기에서 화면 내 예측 및 화면 간 예측을 수행시 소정의 제약이 있는 경우, 이러한 제약을 기초로 한 엔트로피 복호화를 수행해 현재 블록에 대한 화면 내 예측 및 화면 간 예측에 관련된 정보를 제공받을 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 부호화부에서 재정렬한 방법을 기초로 재정렬을 수행할 수 있다. 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부에서는 부호화부에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화기에서 수행한 양자화 결과에 대해 변환부에서 수행한 DCT 및 DST에 대해 역DCT 및 역 DST를 수행할 수 있다. 역변환은 영상 부호화기에서 결정된 전송 단위를 기초로 수행될 수 있다. 영상 부호화기의 변환부에서는 DCT와 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 영상 복호화기의 역변환부(225)에서는 영상 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
변환을 수행시 변환 단위가 아닌 부호화 단위를 기준으로 변환을 수행할 수 있다.
예측부(230)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 복호화된 블록 또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다.
전술한 바와 같이 영상 부호화기에서의 동작과 동일하게 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 화면 내 예측을 수행하지만, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 화면 내 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 NxN 분할을 사용하는 화면 내 예측을 사용할 수 있다.
예측부(230)는 예측 단위 판별부, 화면 간 예측부 및 화면 내 예측부를 포함할 수 있다. 예측 단위 판별부는 엔트로피 복호화부에서 입력되는 예측 단위 정보, 화면 내 예측 방법의 예측 모드 정보, 화면 간 예측 방법의 움직임 예측 관련 정보 등 다양한 정보를 입력 받고 현재 부호화 단위에서 예측 단위를 구분하고, 예측 단위가 화면 간 예측을 수행하는지 아니면 화면 내 예측을 수행하는지 여부를 판별할 수 있다. 화면 간 예측부는 영상 부호화기에서 제공된 현재 예측 단위의 화면 간 예측에 필요한 정보를 이용해 현재 예측 단위가 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 단위에 대한 화면 간 예측을 수행할 수 있다.
화면 간 예측을 수행하기 위해 부호화 단위를 기준으로 해당 부호화 단위에 포함된 예측 단위의 움직임 예측 방법이 스킵 모드(Skip Mode), 머지 모드(Merge 모드), AMVP 모드(AMVP Mode) 중 어떠한 방법인지 여부를 판단할 수 있다.
이하, 본 발명의 실시예에서는 AMVP 방법을 사용하여 화면 간 예측을 수행시 후보 예측 움직임 벡터 리스트를 구성하는 방법에 대해 개시한다.
화면 내 예측부는 현재 픽쳐 내의 화소 정보를 기초로 예측 블록을 생성할 수 있다. 예측 단위가 화면 내 예측을 수행한 예측 단위인 경우, 영상 부호화기에서 제공된 예측 단위의 화면 내 예측 모드 정보를 기초로 화면 내 예측을 수행할 수 있다. 화면 내 예측부에는 MDIS 필터, 참조 화소 보간부, DC 필터를 포함할 수 있다. MDIS 필터는 현재 블록의 참조 화소에 필터링을 수행하는 부분으로써 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용할 수 있다. 영상 부호화기에서 제공된 예측 단위의 예측 모드 및 MDIS 필터 정보를 이용하여 현재 블록의 참조 화소에 MDIS 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 MDIS 필터링을 수행하지 않는 모드일 경우, MDIS 필터는 적용되지 않을 수 있다.
참조 화소 보간부는 예측 단위의 예측 모드가 참조 화소를 보간한 화소값을 기초로 화면 내 예측을 수행하는 예측 단위일 경우, 참조 화소를 보간하여 정수값 이하의 화소 단위의 참조 화소을 생성할 수 있다. 현재 예측 단위의 예측 모드가 참조 화소를 보간하지 않고 예측 블록을 생성하는 예측 모드일 경우 참조 화소는 보간되지 않을 수 있다. DC 필터는 현재 블록의 예측 모드가 DC 모드일 경우 필터링을 통해서 예측 블록을 생성할 수 있다.
복원된 블록 또는 픽쳐는 필터부(235)로 제공될 수 있다. 필터부(235)는 디블록킹 필터, 오프셋 보정부, ALF를 포함할 수 있다.
영상 부호화기로부터 해당 블록 또는 픽쳐에 디블록킹 필터를 적용하였는지 여부에 대한 정보 및 디블록킹 필터를 적용하였을 경우, 강한 필터를 적용하였는지 또는 약한 필터를 적용하였는지에 대한 정보를 제공받을 수 있다. 영상 복호화기의 디블록킹 필터에서는 영상 부호화기에서 제공된 디블록킹 필터 관련 정보를 제공받고 영상 복호화기에서 해당 블록에 대한 디블록킹 필터링을 수행할 수 있다. 영상 부호화기에서와 마찬가지로 우선 수직 디블록킹 필터링 및 수평 디블록킹 필터링을 수행하되, 겹치는 부분에 있어서는 수직 디블록킹 및 수평 디블록킹 중 적어도 하나를 수행할 수 있다. 수직 디블록킹 필터링 및 수평 디블록킹 필터링이 겹치는 부분에서 이전에 수행되지 못한 수직 디블록킹 필터링 또는 수평 디블록킹 필터링이 수행될 수 있다. 이러한 디블록킹 필터링 과정을 통해서 디블록킹 필터링의 병행 처리(Parallel Processing)이 가능하다.
오프셋 보정부는 부호화시 영상에 적용된 오프셋 보정의 종류 및 오프셋 값정보 등을 기초로 복원된 영상에 오프셋 보정을 수행할 수 있다.
ALF는 필터링을 수행 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 부호화기로부터 제공된 ALF 적용 여부 정보, ALF 계수 정보 등을 기초로 부호화 단위에 ALF를 적용할 수 있다. 이러한 ALF 정보는 특정한 파라메터 셋에 포함되어 제공될 수 있다.
메모리(240)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
전술한 바와 같이 이하, 본 발명의 실시예에서는 설명의 편의상 코딩 유닛(Coding Unit)을 부호화 단위라는 용어로 사용하지만, 부호화 뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다.
또한, 이하, 본 발명의 실시예에서 후술할 영상 부호화 방법 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미 뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.
이하, 본 발명의 실시예에 따른 화면 내 예측 방법은 기존의 화면 내 예측 방법 대신 사용되거나, 플래그 정보를 기초로 기존의 화면 내 예측 모드와 선택적으로 사용될 수 있다. 이하, 본 발명의 실시예에 따른 화면 내 예측 모드를 향상된 화면 내 예측 모드(Advanced Intra Prediction, AIP)라고 할 수 있는데, 향상된 화면 내 예측 모드(AIP)를 수행하여 예측을 할지 아니면, 향상된 화면 내 예측 모드(AIP)가 아닌 일반 예측 방법을 사용하여 예측할지 여부에 대한 정보인 advanced_intra_pred_flag 정보를 SPS(Sequence Parameter Set) 또는 PPS(Picture Parameter Set) 또는 슬라이스 헤더와 같은 일정한 상위 신택스 구조에 포함하여 전송할 수 있다. AIP 모드는 휘도 신호 또는 색차 신호에 대하여 각각 전송될 수 있고, 휘도 신호의 경우, advanced_intra_pred_flag를 통해서, 색차 신호의 경우, advanced_intra_pred_chroma_flag를 통하여 전송될 수 있다.
도 3은 본 발명의 실시예에 따른 예측 단위와 참조 픽셀을 나타낸 것이다.
도 3을 참조하면, 이하, 본 발명의 실시예에서 참조 픽셀은 상단 참조 픽셀(300), 상단 좌측 참조 픽셀(310), 좌측 참조 픽셀(320)로 분류되어 표현될 수 있다.
블록의 크기가 nxn 크기여서 상단 참조 픽셀이 n 개인 경우, 상단 참조 픽셀 중 첫번째 위치한 참조 픽셀은 제1 상단 참조 픽셀, 가장 우측에 있는 픽셀을 제n 상단 참조 픽셀이라고 할 수 있고, 좌측 참조 픽셀 중 가장 상단에 있는 픽셀을 제1 좌측 참조 픽셀, 가장 하단에 있는 픽셀을 제n 좌측 참조 픽셀이라고 할 수 있다. 이러한 방법으로 순차적으로 제n 상단 참조 픽셀의 바로 오른쪽에 위치한 n+1 번째 픽셀을 제n+1 상단 참조 픽셀(330)이라고 하고 2n 번째 위치한 픽셀을 제2n 상단 참조 픽셀(340)이라고 한다. 동일하게, 제n 좌측 참조 픽셀의 바로 아래쪽에 위치한 n+1 번째 픽셀을 제n+1 좌측 참조 픽셀(350)이라고 하고 2n 번째 위치한 픽셀을 제2n 하단 참조 픽셀(360)이라고 한다.
예측 단위는 픽셀을 포함하고 있는 행과 열을 기준으로 각각의 열과 행을 제1행부터 제n행, 제1열부터 제n열이라고 표현할 수 있다.
도 4는 본 발명의 실시예에 따른 향상된 DC 모드를 이용한 화면 내 예측 방법을 나타낸 개념도이다.
도 4를 참조하면, DC 모드를 이용하여 화면 내 예측을 수행하기 위해서는 하단 우측 픽셀(410)을 DC 예측값으로 설정한다(400).
예측 단위의 상단 참조 픽셀과 좌측 참조 픽셀, 상단 좌측 픽셀의 평균값을 이용하여 DC 예측값을 산출할 수 있고 이 값을 하단 우측 픽셀(410)의 예측값으로 사용할 수 있다.
하단 우측 픽셀(410)과 제n 상단 참조 픽셀(423)을 사용하여 제n 열의 예측값을 산출하고 하단 우측 픽셀(410)과 제n 좌측 참조 픽셀(426)을 사용하여 제n 행의 예측값을 산출할 수 있다(420).
양방향 선형 예측을 수행하여 제n 행과 제n 열을 제외한 나머지 예측 단위에 포함된 픽셀의 예측값을 산출한다(440).
즉, 제n 행과 제n 열을 제외한 나머지 예측 단위에 포함된 픽셀은 수직 방향 위에 위치한 상단 참조 픽셀(445)과 수평 방향 아래에 위치하는 제n 행의 픽셀(450)과 수평 방향 왼쪽으로 좌측 참조 픽셀(455)과 수평 방향 오른쪽으로 제n 열의 픽셀(460)에 대해 선형 예측을 수행하여 픽셀의 예측값을 생성할 수 있다.
도 5는 본 발명의 실시예에 따른 향상된 DC 모드를 이용한 화면 내 예측 방법을 나타낸 개념도이다.
도 5를 참조하면, 상단 좌측 참조 픽셀(505), 제n 상단 참조 픽셀(510), 제n 좌측 참조 픽셀(515)의 평균을 이용하여 하단 우측 픽셀(520)을 생성한다(500).
생성된 하단 우측 픽셀(520)과 제n 상단 참조 픽셀(525)을 보간하여 제n 열에 포함된 픽셀(530)의 예측값을 생성하고 생성된 하단 우측 픽셀(520)과 제n 좌측 참조 픽셀(535)을 보간하여 제n 행에 포함된 픽셀(537)의 예측값을 생성한다(540).
선형 보간을 수행하여 거리에 따라 하단 우측 픽셀(520)과 제n 상단 우측 참조 픽셀(525)에 각각 일정한 가중치를 주어 제n 열에 포함된 픽셀의 예측값을 생성할 수 있고 마찬가지로 하단 우측 픽셀(520)과 제n 좌측 하단 참조 픽셀(535)을 보간하여 제n 행에 포함된 픽셀의 예측값을 생성할 수 있다.
수직 상단 방향에 위치한 상단 참조 픽셀(545), 좌측 참조 픽셀(550)과 생성된 제n 행에 포함된 픽셀(555)의 예측값과 제n 열에 포함된 픽셀(557)의 예측값을 기초로 양방향 선형 예측을 수행하여 제n 행과 제n 열을 제외한 나머지 예측 단위에 포함된 픽셀의 예측값을 예측한다(560).
도 6은 본 발명의 실시예에 따른 향상된 DC 모드를 이용한 화면 내 예측 방법을 나타낸 개념도이다.
도 6을 참조하면, 하단 우측 픽셀을 DC 예측값으로 설정한다(600).
하단 우측 픽셀(610)은 상단 참조 픽셀, 좌측 참조 픽셀, 상단 좌측 픽셀의 평균값을 산출하여 DC 예측값을 생성할 수 있다.
제n 상단 참조 픽셀(615)과 하단 우측 픽셀(610)을 보간하여 제n 열에 포함된 픽셀의 예측값을 생성하고 제n 좌측 참조 픽셀(617)과 하단 우측 참조 픽셀(610)을 보간하여 제n 행에 포함된 픽셀의 예측값을 생성할 수 있다(620).
사선 방향에 존재하는 참조 픽셀값과 예측된 제n 행 및 제n 열의 픽셀값을 기초로 제n 행과 제n 열을 제외한 나머지 예측 단위에 포함된 픽셀의 예측값을 생성한다(640).
존재하는 참조 픽셀값과 예측된 제n 행 및 제n 열의 픽셀값 중 사선 방향으로 상단 우측에 존재하는 하나의 픽셀과 하단 좌측에 존재하는 하나의 픽셀값을 이용한 선형 보간을 수행하여 제n 행과 제n 열을 제외한 예측 단위에 포함된 나머지 픽셀의 제1 예측값을 생성할 수 있다.
제n 행과 제n 열을 제외한 나머지 예측 단위에 포함된 픽셀의 제1 예측값의 주변에 존재하는 수평 방향의 픽셀 2개와 수직 방향의 픽셀 2개를 이용하여 양방향 선형 예측을 수행하여 제2 예측값(670)을 생성한다(660).
현재 예측 픽셀의 수직 방향 위로 한 픽셀 위에 존재하는 픽셀(675), 현재 예측 픽셀의 수직 방향 아래로 한 픽셀 아래에 존재하는 픽셀(680), 현재 예측 픽셀의 수평 방향 왼쪽으로 한 픽셀 좌측에 존재하는 픽셀(685), 현재 예측 픽셀의 수평 방향 오른쪽으로 한 픽셀 우측에 존재하는 픽셀(690)을 보간하여 제2 예측값(670)을 생성할 수 있다.
도 7은 본 발명의 실시예에 따른 향상된 DC 모드를 이용한 화면 내 예측 방법을 나타낸 개념도이다.
도 7을 참조하면, 상단 좌측 참조 픽셀(703), 제n 상단 참조 픽셀(706), 제n 좌측 참조 픽셀(709)의 평균을 이용하여 하단 우측 픽셀(710)을 생성한다(700).
제n 상단 참조 픽셀(706)과 하단 우측 픽셀(710)을 보간하여 제n 열에 포함된 픽셀의 예측값(713)을 생성하고 제n 좌측 참조 픽셀(709)과 하단 우측 참조 픽셀(710)을 보간하여 제n 행에 포함된 픽셀(715)의 예측값을 생성할 수 있다(720).
사선 방향에 존재하는 참조 픽셀값과 예측된 제n 행 및 제n 열의 픽셀값을 기초로 제n 행과 제n 열을 제외한 나머지 예측 단위에 포함된 픽셀의 예측값을 생성한다(740).
존재하는 참조 픽셀값과 예측된 제n 행 및 제n 열의 픽셀값 중 사선 방향(예를 들어, 45도)으로 상단 우측에 존재하는 하나의 픽셀과 하단 좌측에 존재하는 하나의 픽셀값을 이용하여 보간을 수행하여 제n 행과 제n 열을 제외한 나머지 예측 단위에 포함된 픽셀의 제1 예측값을 생성할 수 있다.
제n 행과 제n 열을 제외한 나머지 예측 단위에 포함된 픽셀의 제1 예측값의 주변에 존재하는 수평방향의 픽셀 2개와 수직 방향의 픽셀 2개를 이용하여 양방향 선형 예측을 수행하여 제2 예측값을 생성한다(760).
현재 예측 픽셀의 수직 방향 위로 한 픽셀 위에 존재하는 픽셀(745), 현재 예측 픽셀의 수직 방향 아래로 한 픽셀 아래(750)에 존재하는 픽셀, 현재 예측 픽셀의 수평 방향 왼쪽으로 한 픽셀 왼쪽에 존재하는 픽셀(755), 현재 예측 픽셀의 수평 방향 오른쪽으로 한 픽셀 우측에 존재하는 픽셀(757)을 보간하여 제2 예측값(770)을 생성할 수 있다.
도 8은 본 발명의 실시예에 따른 향상된 수직 방향 화면 내 예측 방법을 나타낸 개념도이다.
도 8을 참조하면, 제n 좌측 참조 픽셀(810)과 각 상단 참조 픽셀값을 평균낸 값을 제n 행에 삽입한다(800).
제n 행에 포함된 각 픽셀은 상단 참조 픽셀 중 동일한 열에 포함된 픽셀의 값과 제n 좌측 하단 참조 픽셀의 평균값이 될 수 있다.
제n 행에 포함된 픽셀과 상단 참조 픽셀값을 보간하여 제n 행을 제외한 나머지 행에 포함된 픽셀의 예측값을 생성한다(850).
이러한 방법을 사용함으로써 행 단위로 선형적으로 변화하는 픽셀값 정보를 표현할 수 있다.
도 9는 본 발명의 실시예에 따른 향상된 수평 방향 화면 내 예측 방법을 나타낸 개념도이다.
도 9를 참조하면, 제n+1 상단 참조 픽셀과 각 좌측 참조 픽셀값을 평균낸 픽셀값을 제n 열에 삽입한다(900).
제n 열에 포함된 각 픽셀은 좌측 참조 픽셀 중 동일한 행에 포함된 픽셀의 값과 제n+1 상단 우측 참조 픽셀의 평균값이 될 수 있다.
또 다른 방법은 제n 상단 참조 픽셀과 각 좌측 참조 픽셀값을 평균낸 픽셀값을 제n 열에 삽입할 수도 있다(925).
즉, 제n 열에 포함된 각 픽셀은 좌측 참조 픽셀 중 동일한 행에 포함된 픽셀의 값과 제n 상단 우측 참조 픽셀의 평균값이 될 수 있다.
제n 열에 포함된 픽셀과 상단 참조 픽셀값을 보간하여 제n 열을 제외한 나머지 행에 포함된 픽셀의 예측값을 생성한다(950).
이러한 방법을 사용함으로서 행 단위로 변화하는 픽셀값 정보를 표현할 수 있다.
도 10은 본 발명의 실시예에 따른 향상된 플레이너 모드를 통해 예측 단위를 산출하는 방법을 나타낸 개념도이다.
도 10을 참조하면, 플레이너 모드를 이용한 화면 내 예측을 수행하기 위해서는 하단 우측 픽셀(1000)의 예측값을 구한다. 산출된 하단 우측 픽셀(1000)의 예측값과 제n 좌측 참조 픽셀(1010)을 보간한 보간값을 제n 행에 포함된 픽셀의 예측값으로 사용하고, 산출된 하단 우측 픽셀(1000)의 예측값과 제n 상단 참조 픽셀(1020)의 보간값을 제n 열에 포함된 픽셀의 예측값으로 사용할 수 있다.
상단 참조 픽셀, 좌측 참조 픽셀, 상단 좌측 참조 픽셀과 전술한 단계에서생성된 제n 열 및 제n 행의 픽셀 예측값을 기초로 양방향 보간을 수행하여 제n 행과 제n 열을 제외한 나머지 예측 단위에 포함된 픽셀의 예측값을 산출할 수 있다.
이때 하단 우측 픽셀은 다양한 방법으로 산출될 수 있다. 이하 도 11 내지 도 14는 본 발명의 실시예에 따른 하단 우측 픽셀값을 산출하는 방법을 나타낸다.
도 11은 본 발명의 실시예에 따른 향상된 플레이너 모드 화면 내 예측 방법에서 하단 우측 픽셀을 산출하는 방법을 나타내는 개념도이다.
도 11을 참조하면 하단 우측 픽셀은 제n 좌측 참조 픽셀(1100)과 제n 상단 참조 픽셀(1110)의 평균값으로 산출될 수 있다.
즉, 두 개의 픽셀값만을 이용하여 하단 우측 픽셀값을 산출하는 방법을 사용함으로서 계산 복잡도를 감소시킬 수 있다.
도 12는 본 발명의 실시예에 따른 향상된 플레이너 모드 화면 내 예측 방법에서 하단 우측 픽셀을 산출하는 방법을 나타낸 개념도이다.
도 12를 참조하면, 하단 우측 픽셀은 제2n 상단 참조 픽셀(1200)과 제2n 좌측 참조 픽셀(1210)의 평균값으로 산출될 수 있다.
즉, 기존의 방법과 달리 두 개의 픽셀값만을 이용하여 하단 우측 픽셀값을 산출할 수 있다.
예측 단위가 에지 부분에 위치하여 제2n 상단 참조 픽셀(1200)과 제2n 좌측 참조 픽셀(1210)이 존재하지 않는 경우, 도 11에서 개시한 바와 같이 제n 좌측 하단 참조 픽셀과 제n 상단 우측 참조 픽셀값을 이용하여 하단 우측 픽셀을 생성하거나 다른 방법을 사용하여 하단 우측 픽셀을 생성할 수 있다.
도 13은 본 발명의 실시예에 따른 향상된 플레이너 모드 화면 내 예측 방법에서 하단 우측 픽셀을 산출하는 방법을 나타낸 개념도이다.
도 13을 참조하면, 하단 우측 픽셀은 제n 상단 참조 픽셀(1300)과 제2n 상단 참조 픽셀(1310)의 평균값을 기초로 생성된 상단 평균 픽셀(1320)과 제n 좌측 참조 픽셀(1330)과 제2n 좌측 참조 픽셀(1340)의 평균값을 산출된 좌측 평균 픽셀(1350)을 이용하여 산출될 수 있다.
즉, 상단 평균 픽셀(1320)과 좌측 평균 픽셀(1350)을 평균한 값을 기초로 하단 우측 픽셀을 산출할 수 있다.
예측 단위가 에지 부분에 위치하여 해당 픽셀이 존재하지 않는 경우, 도 11에서와 같이 제n 좌측 하단 참조 픽셀과 제n 상단 우측 참조 픽셀값을 이용하여 하단 우측 픽셀을 생성하거나 다른 방법을 사용하여 하단 우측 픽셀을 생성할 수 있다.
도 14는 본 발명의 실시예에 따른 향상된 플레이너 모드에서 하단 우측 픽셀을 생성하는 방법을 나타낸 개념도이다.
도 14를 참조하면, 제n 상단 참조 픽셀(1400)과 제2n 상단 참조 픽셀(1410)의 중간에 위치한 상단 중간 픽셀(1420)과 제n 좌측 참조 픽셀(1430)과 제2n 좌측 참조 픽셀(1440)의 중간에 위치한 좌측 중간 픽셀(1450)의 평균값을 이용하여 하단 우측 픽셀(1460)을 생성할 수 있다. 중간에 위치한 픽셀은 n+n/2 번째 또는 (n+n/2)+1 번째 위치한 제n+n/2 상단 또는 좌측 참조 픽셀이거나, 제(n+n/2)+1 상단 또는 좌측 참조 픽셀이 될 수 있다.
예측 단위가 에지 부분에 위치하여 해당 픽셀이 존재하지 않는 경우, 제n 좌측 하단 참조 픽셀과 제n 상단 우측 참조 픽셀값을 이용하여 하단 우측 픽셀을 생성하거나 다른 하단 우측 픽셀 생성 방법을 사용하여 참조 픽셀을 예측할 수 있다.
이하, 도 15 내지 도 16은 향상된 플레이너 예측 모드를 수행함에 있어서 예측 단위에 포함되는 제n 행과 제n 열을 보간하여 생성하는 방법을 나타낸 개념도이다.
도 15는 본 발명의 실시예에 따른 플레이너 모드를 수행시 제n 행 및 제n 열을 생성하는 방법을 나타낸 개념도이다.
도 15를 참조하면, 하단 우측 픽셀을 제외한 제n 열에 포함된 픽셀은 제n+1 상단 참조 픽셀에서 제2n-1 상단 참조 픽셀까지의 픽셀을 복사하여 예측값을 생성할 수 있다.
또한, 하단 우측 픽셀을 제외한 제n 행에 포함된 픽셀은 제n+1 좌측 참조 픽셀에서 제2n-1 좌측 참조 픽셀까지의 픽셀을 복사하여 예측값을 생성할 수 있다.하단 우측 픽셀은 상단 제2n 픽셀과 좌측 제2n 픽셀의 평균값을 생성하여 예측값을 생성할 수 있다.
도 16은 본 발명의 실시예에 따른 향상된 플레이너 모드를 수행시 제n 행 및 제n 열을 생성하는 방법을 나타낸 개념도이다.
도 16을 참조하면, 제n 열은 제n+1 상단 참조 픽셀에서 제2n-1 상단 참조 픽셀까지의 픽셀과 제n+1 좌측 참조 픽셀에서 제2n-1 좌측 참조 픽셀까지의 픽셀을 거리에 따라 선형적으로 예측한 값으로 생성한 픽셀을 사용하여 예측값으로 사용할 수 있다. 예를 들어, 제n 열 중 두번째 픽셀(1600)은 제n+2 상단 참조 픽셀과 제 n+2 좌측 참조 픽셀의 선형 보간합을 수행하여 해당 픽셀의 예측값을 생성할 수 있다.
제n 행도 마찬가지로 제n+1 상단 참조 픽셀에서 제2n-1 상단 참조 픽셀까지의 픽셀과 제n+1 좌측 참조 픽셀에서 제2n-1 좌측 참조 픽셀까지의 픽셀을 거리에 따라 선형적으로 예측한 값으로 생성한 픽셀을 사용하여 예측값으로 사용할 수 있다. 예를 들어, 제n 행 중 두번째 픽셀은 제n+2 상단 참조 픽셀과 제 n+2 좌측 참조 픽셀의 선형 보간합을 수행하여 해당 픽셀의 예측값을 생성할 수 있다.
전술한 방법을 사용함으로써 거리적으로 가까운 픽셀값에 더 많은 영향을 받도록 제n 행과 제n 열의 예측 픽셀값을 생성한 후 플레이너 모드에 따른 예측을 수행할 수 있다.
도 17은 본 발명의 실시예에 따른 향상된 플레이너 모드에 따른 예측 방법을 나타낸 개념도이다.
도 17을 참조하면, 예측 단위에 포함된 픽셀의 예측값을 생성하기 위하여 4개의 픽셀을 이용할 수 있다.
제1 픽셀(1700)은 예측 대상 픽셀의 수직 방향 위에 위치하는 제1 상단 참조 픽셀에서 제n 상단 참조 픽셀 중 하나의 픽셀이 될 수 있다. 제2 픽셀(1720)은 예측 대상 픽셀의 수직 방향 아래에 위치한 픽셀로 제2n 좌측 하단 참조 픽셀(1725)을 복사한 값이 될 수 있다.
제3 픽셀(1740)은 예측 대상 픽셀의 수평 방향 왼쪽에 위치하는 제1 좌측 참조 픽셀에서 제n 좌측 참조 픽셀 중 하나의 픽셀이 될 수 있다. 제4 픽셀(1760)은 예측 대상 픽셀의 수평 방향 오른쪽에 위치한 픽셀로 제 2n 상단 우측 참조 픽셀(1765)을 복사한 값이 될 수 있다.
본 발명의 실시예에 따른 플레이너 예측 방법은 제1 픽셀 내지 제4 픽셀을 양방향 선형 보간하는 방법을 사용하여 예측 단위에 포함된 픽셀의 예측값을 생성할 수 있다.
도 18은 본 발명의 실시예에 따른 플레이너 모드에 따른 예측 방법을 나타낸 개념도이다.
도 18을 참조하면, 플레이너 모드에 따른 예측을 수행시 수평 방향 예측된 값과 수직 방향 예측된 값에 일정한 비율의 가중치를 부여하여 예측 단위의 예측값을 생성할 수 있다.
수평 방향 예측된 값은 좌측 참조 픽셀 중 예측 대상 픽셀과 동일한 행에 위치한 값과 제n 상단 참조 픽셀을 보간한 값이 될 수 있다(1800).
수직 방향 예측된 값은 상단 참조 픽셀 중 예측 대상 픽셀과 동일한 열에 위치한 값과 제n 좌측 참조 픽셀을 보간한 값이 될 수 있다(1850).
수평 방향 예측된 값과 수직 방향 예측된 값은 각각의 가중치를 곱하여 예측값을 생성할 수 있다.
아래의 수학식 1은 가중치값을 기초로 예측값을 생성한다.
Figure 112015114373739-pat00001
수학식 1을 참조하면 상대적으로 수평 방향 또는 수직 방향 중 어느 방향에 가까운지에 따라 더 가까운 방향에 더 큰 가중치를 부여하여 예측값을 생성할 수 있다.
도 19는 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 19를 참조하면, 향상된 DC 모드 예측을 수행할 경우, 이웃에 존재하는 예측 단위와 불연속성을 최소화하기 위해 상단 참조 픽셀들과 좌측 참조 픽셀들을 예측 단위의 내부 픽셀 중 제1 행과 제1 열의 값으로 복사하여 사용할 수 있다. 제1 행 1 열에 위치한 픽셀값은 상단 참조 픽셀의 첫번째 픽셀값, 좌측 참조 픽셀의 첫번째 픽셀값 또는 상단 참조 픽셀의 첫번째 픽셀값, 좌측 참조 픽셀의 첫번째 픽셀값을 이용하여 산출된 값이 될 수 있다. 예측 단위의 제1행과 제1 열의 값을 깅초로 DC 모드를 이용한 화면 내 예측을 수행하여 제1 행 및 제1 열을 제외한 나머지 픽셀값의 예측값을 생성할 수 있다.
도 20은 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 20의 좌측을 참조하면, 향상된 DC 모드 예측을 수행함에 있어서, 상단 참조 픽셀 중 첫번째 픽셀인 제1 상단 참조 픽셀과 n 번째 픽셀인 제n 상단 참조 픽셀과 좌측 참조 픽셀 중 첫번째 픽셀인 제1 좌측 참조 픽셀과 n 번째 픽셀인 제n 좌측 참조 픽셀의 평균값을 산출하여 예측 픽셀을 생성할 수 있다. 즉, 참조 픽셀 중 일부 픽셀만을 사용하여 예측 단위에 포함된 픽셀의 예측값을 산출하는 방법을 통해 화면 내 예측을 수행시 계산 복잡도를 감소시킬 수 있다.
도 20의 우측을 참조하면, DC 모드 예측을 수행함에 있어서, 상단 참조 픽셀 중 n 번째 픽셀인 제n 상단 참조 픽셀과 좌측 참조 픽셀 중 n 번째 픽셀인 제n 좌측 참조 픽셀과 상단 좌측 참조 픽셀의 평균값을 산출하여 예측 픽셀을 생성할 수 있다. 즉, 도 20의 좌측과 마찬가지로 참조 픽셀 중 일부 픽셀만을 사용함으로써 계산 복잡도를 감소시킬 수 있다.
도 21은 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 21을 참조하면, 향상된 DC 모드 예측 방법은 제1 열과 제1 행을 참조 픽셀을 이용하여 산출된 DC 예측값으로 채운다(2100).
제1 행 및 제1 열에 포함되는 DC 예측값은 상단 참조 픽셀과 상단 좌측 참조 픽셀과 좌측 참조 픽셀의 평균값이 될 수 있다.
상단 참조 픽셀과 좌측 참조 픽셀 및 상단 좌측 참조 픽셀을 이용하여 필터링을 수행한다(2120).
예측 단위에 포함되는 제1 행 1 열에 위치한 픽셀을 제외한 제1 열과 제1 행에 포함된 픽셀들은 참조 픽셀과 2 탭 필터를 이용하여 필터링을 수행할 수 있다. 예측 단위에서 제1 행 1 열에 위치한 픽셀의 경우, 3 탭 필터를 이용하여 제1 상단 참조 픽셀과 제1 좌측 참조 픽셀을 기초로 필터링될 수 있다.
필터링된 제1 열 및 제1 행에 포함된 픽셀을 기초로 DC 모드 예측을 수행하여 예측 단위에 포함된 픽셀의 예측값을 생성한다(2140). 필터링된 제1 열 및 제1 행에 위치한 픽셀의 평균값을 이용해 DC 모드를 이용한 예측을 수행할 수 있다.
도 22는 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 22를 참조하면, 참조 픽셀을 기초로 DC 모드를 이용한 화면 내 예측을 수행하여 예측 단위의 제1 행과 제1 열에 포함된 픽셀값을 예측할 수 있다(2200).
DC 모드 화면 내 예측값은 도 21에서와 같이 상단 참조 픽셀과 상단 좌측 참조 픽셀과 좌측 참조 픽셀의 평균값이 될 수 있다.
상단 참조 픽셀과 좌측 참조 픽셀 및 상단 좌측 참조 픽셀와 생성된 제1 행을 이용및 제1 열에 포함된 픽셀을 이용하여 필터링을 수행한다(2220).
예측된 제1 열과 제1 행은 2 탭 필터를 이용하여 참조 필터값과 필터링을 수행할 수 있다. 제1 행 1 열에 위치한 픽셀의 경우, 3 탭 필터를 이용하여 제1 상단 참조 픽셀과 제1 좌측 참조 픽셀을 기초로 필터링될 수 있다.
제1 행과 제1 열을 제외한 나머지 예측 단위에 포함된 픽셀값들은 픽셀의 상단과 픽셀의 좌측에 위치한 픽셀값들의 평균값을 산출하여 예측값을 생성할 수 있다(2240).
도 23은 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 23를 참조하면, 상단 참조 픽셀과 좌측 참조 픽셀을 예측 단위의 예측 픽셀로 사용한다(2300). 상단 참조 픽셀과 좌측 참조 픽셀을 예측 단위의 제1 열과 제1 행에 포함되는 픽셀의 예측값으로 사용할 수 있다.
제1 행 제1 열의 픽셀값은 제1 좌측 참조 픽셀값, 제1 상단 참조 픽셀값 중 적어도 하나에 기초하여 산출된 예측값이 될 수 있다.
제1 행과 제1 열에 포함된 픽셀값을 제외한 나머지 예측 단위의 값들은 제1 행과 제1 열의 픽셀값들에 기초하여 DC 모드 예측을 수행하여 제1 예측값을 산출할 수 있다(2320).
제1 행과 제1 열에 포함된 픽셀값을 제외한 나머지 예측 단위의 예측값들은 예측 픽셀의 좌측과 상단에 위치한 픽셀값들의 평균값으로 다시 제2 예측값을 생성할 수 있다(2340).
도 24는 본 발명의 실시예에 따른 향상된 DC 모드 예측 방법을 나타낸 개념도이다.
도 24를 참조하면, 참조 픽셀을 이용하여 DC 모드 예측값을 산출한다.
상단 참조 픽셀, 상단 좌측 참조 픽셀, 좌측 참조 픽셀값의 평균을 산출하여 DC 예측값을 산출할 수 있다.
아래의 수학식 2는 DC 모드를 이용한 예측값을 산출하는 방법을 나타낸다.
Figure 112015114373739-pat00002
참조 픽셀마다 DC 모드를 이용한 예측값과 참조 픽셀의 값 사이의 편차값을 산출할 수 있다. 아래의 수학식 3은 참조픽셀 값과 DC 모드를 이용한 예측값을 나타낸 것이다.
Figure 112015114373739-pat00003
예측 단위에 포함된 픽셀의 예측값은 수학식 2에서 산출된 DC 예측값에 수학식 3에서 구한 각각의 x 방향 편차들과 y 방향 편차들의 평균값을 이용하여 산출할 수 있다.
Figure 112015114373739-pat00004
이러한 방식으로 예측을 수행함으로써 해당 열과 해당 행에서의 편차값들을 DC 예측값에 더하거나 뺌으로써 열과 행의 특성을 반영할 수 있다.
도 25는 본 발명의 실시예에 따른 향상된 플레이너 모드 예측 방법을 나타낸 개념도이다.
도 25를 참조하면, 플레이너 예측 모드를 수행함에 있어서 현재 예측 픽셀과 동일한 열에 포함되는 수직 방향 위로 존재하는 상단 참조 픽셀에 포함되는 픽셀(2500)과 좌측 참조 픽셀에서 2n 번째 참조 픽셀인 제2n 좌측 참조 픽셀(2510)을 이용하여 수직 보간을 수행할 수 있다. 또한, 현재 예측 픽셀의 수평 방향 좌측에 존재하는 현재 예측 픽셀과 동일한 행에 포함되는 좌측 참조 픽셀값(2520)과 상단 참조 픽셀에서 2n 번째 참조 픽셀인 제2n 상단 참조 픽셀(2530)을 이용하여 수평 보간을 수행할 수 있다.
만약 제2n 좌측 참조 픽셀(2510) 또는 제2n 상단 참조 픽셀(2530)이 존재하지 않는 경우, 제n 좌측 참조 픽셀이나 제n 상단 참조 픽셀을 사용하여 수평 보간 또는 수직 보간을 수행할 수 있다.
도 26은 본 발명의 실시예에 따른 제2n 좌측 참조 픽셀 또는 제2n 상단 참조 픽셀이 존재하지 않는 경우, 플레이너 모드를 수행하는 방법을 나타낸 개념도이다.
도 26의 좌측은 제2n 좌측 참조 픽셀 및 제2n 상단 참조 픽셀 중 적어도 하나의 픽셀이 존재하지 않는 경우를 나타낸다.
제2n 좌측 참조 픽셀이 존재하지 않는 경우, 제2n 좌측 참조 픽셀 대신 제n 좌측 참조 픽셀을 사용하여 보간을 수행할 수 있다. 제2n 상단 참조 픽셀이 존재하지 않는 경우, 제2n 상단 참조 픽셀 대신 제n 상단 참조 픽셀을 사용하여 보간을 수행할 수 있다.
도 26의 우측은 제2n 좌측 참조 픽셀 및 제2n 상단 참조 픽셀이 존재하지 않는 경우를 나타낸다. 제2n 좌측 참조 픽셀 및 제2n 상단 참조 픽셀이 존재하지 않는 경우, 제n 좌측 픽셀 및 제n 우측 참조 픽셀을 사용하여 플레이너 모드를 수행할 수 있다.
이상에서 설명한 영상 부호화 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 각 영상 부호화기 및 영상 복호화기 장치의 각 구성부에서 구현될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 비트스트림으로부터 예측 모드에 대한 정보를 획득하는 단계;
    상기 예측 모드에 대한 정보를 기반으로 현재 블록에 인트라 예측을 적용할지 인터 예측을 적용할지 여부를 결정하는 단계
    상기 현재 블록에 인트라 예측이 적용되는 경우에, 인트라 예측 모드를 유도하는 단계;
    상기 현재 블록의 주변 샘플들을 필터링하는 단계;
    상기 인트라 예측 모드에 기반하여, 상기 필터링된 주변 샘플들 중 4개의 샘플을 이용하여 양방향 보간을 통해 상기 현재 블록의 예측 샘플을 유도하는 단계를 포함하되,
    상기 4개의 샘플은,
    상기 예측 샘플과 동일한 x좌표를 갖는 제1 샘플;
    상기 제1 샘플의 우측에 위치하는 제2 샘플;
    상기 예측 샘플과 동일한 y좌표를 갖는 제3 샘플; 및
    상기 제3 샘플의 하측에 위치하는 제4 샘플이고,
    상기 제2 샘플은 상기 현재 블록 내의 가장 큰 x 좌표를 갖는 임의의 예측 샘플보다 더 큰 x 좌표를 갖고,
    상기 제4 샘플은 상기 현재 블록 내의 가장 큰 y 좌표를 갖는 임의의 예측 샘플보다 더 큰 y 좌표를 갖는 것을 특징으로 하는 인트라 예측 방법.
  2. 제 1항에 있어서, 상기 현재 블록은 n x n 크기의 블록(n은 정수)이고,
    상기 제2 샘플은 상기 현재 블록의 상단 샘플들 중에서 x축 방향으로 n+1번째 샘플부터 2n번째 샘플 중 어느 하나이고,
    상기 제4 샘플은 상기 현재 블록의 좌측 샘플들 중에서 y축 방향으로 n+1번째 샘플부터 2n번째 샘플 중 어느 하나인 것을 특징으로 하는 인트라 예측 방법.
  3. 제 2항에 있어서, 상기 제2 샘플은 상기 상단 샘플들 중에서 2n번째 샘플이고,
    상기 제4 샘플은 상기 좌측 샘플들 중에서 2n 번째 샘플인 것들 특징으로 하는 인트라 예측 방법.
  4. 제 1항에 있어서, 상기 예측 샘플은, 상기 예측 샘플의 위치로부터 상기 제1 내지 제4 샘플 사이의 거리에 따른 양 방향 보간에 의해 유도되는 것을 특징으로 하는 인트라 예측 방법.
  5. 제 4항에 있어서, 상기 거리들에 따라서 상기 양 방향 보간에 사용되는 샘플들의 값들에 가중치를 부가하며, 상기 제1 내지 제4 샘플 중 상기 예측 샘플의 위치에 더 가까운 샘플에는 더 큰 가중치를 적용하는 것을 특징으로 하는 인트라 예측 방법.
  6. 제 5항에 있어서, 상기 거리들에 따라서 상기 양 방향 보간에 사용되는 상기 샘플들의 값들에 가중치를 부가하며, 상기 제1 내지 제4 샘플 중 상기 예측 샘플의 위치로부터 더 먼 샘플에는 더 작은 가중치를 적용하는 것을 특징으로 하는 인트라 예측 방법.
  7. 제 1항에 있어서, 상기 예측 샘플은,
    상기 예측 샘플과 상기 제1 샘플 사이의 수직 거리; 및
    상기 예측 샘플과 상기 제4 샘플 사이의 수직 거리를 기반으로 상기 양 방향 보간에 의해 유도되는 것을 특징으로 하는 인트라 예측 방법.
  8. 제 7항에 있어서, 상기 예측 샘플은,
    상기 예측 샘플과 상기 제2 샘플 사이의 수평 거리; 및
    상기 예측 샘플과 상기 제3 샘플 사이의 수평 거리를 기반으로 상기 양 방향 보간에 의해 유도되는 것을 특징으로 하는 인트라 예측 방법.
  9. 제 8항에 있어서, 상기 거리들에 따라서 상기 양 방향 보간에 사용되는 샘플들의 값들에 가중치를 부가하며, 상기 제1 내지 제4 샘플 중 상기 예측 샘플로부터 더 먼 샘플에는 더 작은 가중치를 적용하는 것을 특징으로 하는 인트라 예측 방법.
  10. 제 1항에 있어서, 상기 양방향 보간에 사용되는 상기 4개의 샘플들 중 두 개의 샘플들은 상기 현재 블록의 상단 샘플들 중 상기 예측 샘플과 동일한 열의 샘플 및 상기 현재 블록의 좌측 샘플들 중 상기 예측 샘플과 동일한 행의 샘플인 것을 특징으로 하는 인트라 예측 방법.
KR1020157033453A 2010-12-22 2011-12-21 화면 내 예측 방법 및 이러한 방법을 사용하는 장치 KR101774392B1 (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201061426480P 2010-12-22 2010-12-22
US61/426,480 2010-12-22
US201161451121P 2011-03-10 2011-03-10
US61/451,121 2011-03-10
US201161471185P 2011-04-03 2011-04-03
US61/471,185 2011-04-03
US201161475636P 2011-04-14 2011-04-14
US61/475,636 2011-04-14
US201161476311P 2011-04-17 2011-04-17
US61/476,311 2011-04-17
PCT/KR2011/009954 WO2012087034A2 (ko) 2010-12-22 2011-12-21 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137019270A Division KR101579356B1 (ko) 2010-12-22 2011-12-21 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177024196A Division KR101883932B1 (ko) 2010-12-22 2011-12-21 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Publications (2)

Publication Number Publication Date
KR20150140848A KR20150140848A (ko) 2015-12-16
KR101774392B1 true KR101774392B1 (ko) 2017-09-04

Family

ID=46314639

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020137019270A KR101579356B1 (ko) 2010-12-22 2011-12-21 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR1020157033453A KR101774392B1 (ko) 2010-12-22 2011-12-21 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR1020177024196A KR101883932B1 (ko) 2010-12-22 2011-12-21 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020137019270A KR101579356B1 (ko) 2010-12-22 2011-12-21 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177024196A KR101883932B1 (ko) 2010-12-22 2011-12-21 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Country Status (11)

Country Link
US (6) US9693054B2 (ko)
EP (2) EP2658263B1 (ko)
KR (3) KR101579356B1 (ko)
CN (1) CN103283237B (ko)
ES (2) ES2934221T3 (ko)
FI (1) FI2658263T3 (ko)
HR (1) HRP20230003T1 (ko)
HU (2) HUE063154T2 (ko)
PL (2) PL4124034T3 (ko)
SI (1) SI2658263T1 (ko)
WO (1) WO2012087034A2 (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103238320B (zh) * 2010-09-30 2016-06-01 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
ES2934221T3 (es) * 2010-12-22 2023-02-20 Lg Electronics Inc Método de intrapredicción y aparato que utiliza el método
CN105959706B (zh) 2011-01-12 2021-01-08 三菱电机株式会社 图像编码装置和方法、以及图像译码装置和方法
WO2012115420A2 (ko) * 2011-02-23 2012-08-30 엘지전자 주식회사 필터링을 이용한 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20240014614A (ko) * 2011-10-18 2024-02-01 엘지전자 주식회사 인트라 예측 방법 및 그 장치
WO2013111593A1 (ja) 2012-01-27 2013-08-01 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
US9667965B2 (en) * 2012-06-25 2017-05-30 Industry-University Cooperation Foundation Hanyang University Video encoding and decoding method
CN103152540B (zh) * 2013-03-11 2016-01-20 深圳创维－Rgb电子有限公司 分辨率转换方法及装置、超高清电视机
EP2984824A4 (en) 2013-04-12 2016-11-09 Intel Corp SIMPLIFIED DEPTH CODING DEPENDING ON THE SIZE OF THE CODING UNIT FOR 3D VIDEO CODING
US9571809B2 (en) 2013-04-12 2017-02-14 Intel Corporation Simplified depth coding with modified intra-coding for 3D video coding
KR102281282B1 (ko) 2013-12-26 2021-07-23 삼성전자주식회사 서브블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
US9504038B2 (en) 2014-12-25 2016-11-22 Intel Corporation Apparatus, method and system of communicating a wide-bandwidth data frame
US10645416B2 (en) * 2015-05-12 2020-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding an image using a modified distribution of neighboring reference pixels
WO2016200235A1 (ko) * 2015-06-11 2016-12-15 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10848759B2 (en) * 2015-07-28 2020-11-24 Lg Electronics Inc. Intra prediction mode-based image processing method and apparatus therefor
CN108353185B (zh) 2015-08-28 2022-09-13 株式会社Kt 用于处理视频信号的方法和设备
WO2017052118A1 (ko) * 2015-09-23 2017-03-30 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017069505A1 (ko) * 2015-10-19 2017-04-27 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017142335A1 (ko) * 2016-02-16 2017-08-24 삼성전자 주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
KR102346713B1 (ko) 2016-04-12 2022-01-03 세종대학교산학협력단 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
US11503315B2 (en) 2016-08-19 2022-11-15 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using intra prediction filtering
CN107801039B (zh) * 2016-08-30 2020-04-14 华为技术有限公司 运动补偿预测方法和装置
CN109691112B (zh) 2016-08-31 2023-09-26 株式会社Kt 用于处理视频信号的方法和设备
WO2018047995A1 (ko) * 2016-09-08 2018-03-15 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN116437079A (zh) * 2016-09-20 2023-07-14 株式会社Kt 对视频进行解码和编码的方法以及传输方法
WO2018062702A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
JP6847211B2 (ja) * 2016-10-14 2021-03-24 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 距離重み付けされた双方向性イントラ予測
CN109845252B (zh) * 2016-10-14 2021-08-03 华为技术有限公司 帧内预测方法、装置、编解码装置和计算机可读存储介质
WO2018105759A1 (ko) * 2016-12-05 2018-06-14 엘지전자(주) 영상 부호화/복호화 방법 및 이를 위한 장치
WO2018124850A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 예측 블록의 중복성을 고려한 화면 내 예측 방법 및 화면 내 예측을 수행하는 영상 복호화 장치
RU2753643C2 (ru) * 2017-01-31 2021-08-18 Шарп Кабусики Кайся Системы и способы для выполнения планарного кодирования видеосигналов с внутренним прогнозированием
WO2018174354A1 (ko) * 2017-03-21 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
WO2018174358A1 (ko) * 2017-03-21 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN116634175A (zh) * 2017-05-17 2023-08-22 株式会社Kt 用于解码图像信号的方法和用于编码图像信号的方法
EP3410724A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding
WO2018219925A1 (en) * 2017-05-31 2018-12-06 Interdigital Vc Holdings, Inc. Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding
US11006109B2 (en) 2017-06-19 2021-05-11 Lg Electronics Inc. Intra prediction mode based image processing method, and apparatus therefor
KR102441568B1 (ko) 2017-08-21 2022-09-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN107302689B (zh) * 2017-08-24 2018-05-18 北京顺顺通科技有限公司 枪式摄像机自适应开关系统
CN107392942B (zh) * 2017-08-28 2018-06-05 广州文冠信息科技有限公司 人体目标实时分析系统
CN107563321B (zh) * 2017-08-28 2018-07-13 深圳市奥丝卡生物科技有限公司 一种人体目标实时分析方法
JP7170718B2 (ja) 2017-09-28 2022-11-14 サムスン エレクトロニクス カンパニー リミテッド 映像復号方法、映像符号化方法及び映像復号装置
US20190110052A1 (en) * 2017-10-06 2019-04-11 Futurewei Technologies, Inc. Bidirectional intra prediction
US10484695B2 (en) 2017-10-23 2019-11-19 Google Llc Refined entropy coding for level maps
US11070831B2 (en) 2017-11-30 2021-07-20 Lg Electronics Inc. Method and device for processing video signal
US10869060B2 (en) * 2018-01-30 2020-12-15 Google Llc Efficient context model computation design in transform coefficient coding
WO2019182292A1 (ko) 2018-03-19 2019-09-26 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019190181A1 (ko) * 2018-03-30 2019-10-03 엘지전자 주식회사 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
US10645381B2 (en) 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
MX2020013481A (es) * 2018-06-18 2021-02-26 Interdigital Vc Holdings Inc Filtrado de limites para los modos planar y dc en la prediccion intra.
US20210144402A1 (en) * 2018-06-21 2021-05-13 Kt Corporation Video signal processing method and device
EP3823284B1 (en) * 2018-08-09 2023-10-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video image component prediction methods, decoder and encoder
US11159789B2 (en) 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
CN113228656B (zh) * 2018-12-21 2023-10-31 北京字节跳动网络技术有限公司 使用多项式模型的帧间预测
CN113489975A (zh) 2019-03-12 2021-10-08 Oppo广东移动通信有限公司 帧内预测方法及装置、计算机可读存储介质
CN110072112B (zh) * 2019-03-12 2023-05-12 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置
US11640649B2 (en) * 2019-06-19 2023-05-02 Samsung Electronics Co., Ltd. Methods and apparatus for efficient range calculation
US11277616B2 (en) * 2019-06-20 2022-03-15 Qualcomm Incorporated DC intra mode prediction in video coding
US11388419B2 (en) 2020-02-05 2022-07-12 Apple Inc. Smoothed directional and DC intra prediction
WO2024039132A1 (ko) * 2022-08-18 2024-02-22 삼성전자 주식회사 영상 복호화 장치 및 방법, 및 영상 부호화 장치 및 방법

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100281967B1 (ko) 1998-08-31 2001-02-15 전주범 공간 상관성을 이용한 영상 부호화 장치 및 그 방법
US7649943B2 (en) * 2000-04-21 2010-01-19 Microsoft Corporation Interface and related methods facilitating motion compensation in media processing
PT3525464T (pt) * 2002-04-19 2021-04-06 Panasonic Ip Corp America Método e sistema de codificação e descodificação de imagem
US7289674B2 (en) * 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
MXPA06002210A (es) * 2003-08-26 2006-05-19 Thomson Licensing Metodo y aparato para la decodificacion de bloques intra-inter codificados hibridos.
KR100723403B1 (ko) 2005-02-28 2007-05-30 삼성전자주식회사 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
KR100703200B1 (ko) * 2005-06-29 2007-04-06 한국산업기술대학교산학협력단 인트라 부호화 장치 및 방법
JP2007259306A (ja) * 2006-03-24 2007-10-04 Univ Waseda 予測器及び画像符号化器
JP4802944B2 (ja) * 2006-08-31 2011-10-26 大日本印刷株式会社 補間演算装置
US8650238B2 (en) * 2007-11-28 2014-02-11 Qualcomm Incorporated Resolving buffer underflow/overflow in a digital system
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
KR20090097688A (ko) * 2008-03-12 2009-09-16 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 장치
EP2924994B1 (en) * 2008-05-07 2016-09-21 LG Electronics, Inc. Method and apparatus for decoding video signal
KR101361005B1 (ko) * 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9049450B2 (en) * 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
US8982961B2 (en) * 2010-04-05 2015-03-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
US9083974B2 (en) * 2010-05-17 2015-07-14 Lg Electronics Inc. Intra prediction modes
KR101781874B1 (ko) * 2010-05-25 2017-09-26 엘지전자 주식회사 신규한 평면 예측 모드
US8917774B2 (en) * 2010-06-30 2014-12-23 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
ES2934221T3 (es) * 2010-12-22 2023-02-20 Lg Electronics Inc Método de intrapredicción y aparato que utiliza el método
KR20130099242A (ko) * 2011-01-07 2013-09-05 노키아 코포레이션 비디오 코딩의 움직임 예측
US9066104B2 (en) * 2011-01-14 2015-06-23 Google Inc. Spatial block merge mode
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
KR20220070072A (ko) * 2011-02-09 2022-05-27 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
JP5883431B2 (ja) * 2011-02-25 2016-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法および画像復号化方法
WO2012124961A2 (ko) * 2011-03-11 2012-09-20 삼성전자 주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
PL3474551T3 (pl) * 2011-09-22 2022-07-04 Lg Electronics Inc. Sposób predykcji międzyobrazowej wykonywany przez urządzenie dekodujące, sposób kodowania wideo wykonywany przez urządzenie kodujące i odczytywalny przez dekoder nośnik zapisu przechowujący zakodowaną informację wideo.
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9426463B2 (en) * 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9143781B2 (en) * 2012-04-03 2015-09-22 Qualcomm Incorporated Weighted prediction parameter coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
KR102367210B1 (ko) * 2012-10-01 2022-02-24 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
US9693060B2 (en) * 2012-11-16 2017-06-27 Qualcomm Incorporated Device and method for scalable coding of video information
US10136143B2 (en) * 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9237345B2 (en) * 2013-02-26 2016-01-12 Qualcomm Incorporated Neighbor block-based disparity vector derivation in 3D-AVC
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
US9554152B2 (en) * 2013-07-12 2017-01-24 Qualcomm Incorporated Concurrent processing of horizontal and vertical transforms
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
US9967592B2 (en) * 2014-01-11 2018-05-08 Qualcomm Incorporated Block-based advanced residual prediction for 3D video coding
US10362336B2 (en) * 2014-03-25 2019-07-23 Qualcomm Incorporated Palette predictor signaling with run length code for video coding

Also Published As

Publication number Publication date
HUE060871T2 (hu) 2023-04-28
ES2934221T3 (es) 2023-02-20
WO2012087034A3 (ko) 2012-09-07
PL4124034T3 (pl) 2024-01-03
CN103283237B (zh) 2017-03-22
EP2658263A4 (en) 2016-12-28
SI2658263T1 (sl) 2023-03-31
US10609410B2 (en) 2020-03-31
EP2658263A2 (en) 2013-10-30
US9860557B2 (en) 2018-01-02
US20210235115A1 (en) 2021-07-29
US10136158B2 (en) 2018-11-20
HRP20230003T1 (hr) 2023-02-17
KR20130133250A (ko) 2013-12-06
US20200228829A1 (en) 2020-07-16
KR20170102385A (ko) 2017-09-08
CN103283237A (zh) 2013-09-04
PL2658263T3 (pl) 2023-03-13
ES2955938T3 (es) 2023-12-11
KR101579356B1 (ko) 2015-12-21
KR101883932B1 (ko) 2018-07-31
EP2658263B1 (en) 2022-12-14
FI2658263T3 (fi) 2023-01-13
KR20150140848A (ko) 2015-12-16
US20130272405A1 (en) 2013-10-17
EP4124034B1 (en) 2023-08-23
HUE063154T2 (hu) 2023-12-28
US20180124426A1 (en) 2018-05-03
US11006145B2 (en) 2021-05-11
US20190089980A1 (en) 2019-03-21
WO2012087034A2 (ko) 2012-06-28
US9693054B2 (en) 2017-06-27
US20170280157A1 (en) 2017-09-28
EP4124034A1 (en) 2023-01-25
US11622129B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
KR101774392B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR101953383B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR101549910B1 (ko) 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
KR20170108367A (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
KR101974952B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR101802375B1 (ko) 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치
KR101938389B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR101348566B1 (ko) 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant