KR101453899B1 - 화면 내 예측 방법 및 장치 - Google Patents

화면 내 예측 방법 및 장치 Download PDF

Info

Publication number
KR101453899B1
KR101453899B1 KR1020140038232A KR20140038232A KR101453899B1 KR 101453899 B1 KR101453899 B1 KR 101453899B1 KR 1020140038232 A KR1020140038232 A KR 1020140038232A KR 20140038232 A KR20140038232 A KR 20140038232A KR 101453899 B1 KR101453899 B1 KR 101453899B1
Authority
KR
South Korea
Prior art keywords
block
prediction
pixel
sample
pixels
Prior art date
Application number
KR1020140038232A
Other languages
English (en)
Other versions
KR20140056200A (ko
Inventor
권재철
김주영
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of KR20140056200A publication Critical patent/KR20140056200A/ko
Application granted granted Critical
Publication of KR101453899B1 publication Critical patent/KR101453899B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Abstract

본 발명은 인트라 예측 방법 및 장치에 관한 것으로서, 본 발명에 따른 복호화기의 인트라 예측 방법은 수신한 비트스트림을 엔트로피 복호화하는 단계, 예측 유닛의 인트라 예측에 이용할 참조 화소를 생성하는 단계, 예측 유닛에 대한 예측 모드를 기반으로 상기 참조 화소로부터 예측 블럭을 생성하는 단계 및 엔트로피 복호화를 통해 구한 잔차 블럭과 상기 예측 블럭으로부터 영상을 재구성(reconstruction)하는 단계를 포함하며, 상기 참조 화소들 및 상기 예측 블럭의 화소들 중 적어도 어느 하나의 화소들은 기준 화소를 기반으로 예측되고, 상기 예측되는 화소값은 상기 기준 화소의 화소값에 및 상기 기준 화소로부터 상기 생성되는 화소까지의 화소값 변화량을 더한 값일 수 있다.

Description

화면 내 예측 방법 및 장치{Method And Apparatus For Intra Prediction}
본 발명은 영상 처리 기술에 관한 것으로서, 더 구체적으로는 영상 정보의 부호화/복호화에 있어서, 화면 내 예측 방법에 관한 것이다.
최근, 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
본 발명은 방향성이 있는 텍스쳐에 대하여 인접 블럭 참조 화소들의 변화량을 고려함으로써 효과적인 인트라 예측을 수행하는 방법을 제공하는 것을 목적으로 한다.
본 발명은 인트라 예측을 수행함에 있어서, 예측 블럭에 인접한 블럭의 화소값의 변화량을 고려하여 플래너 예측을 수행하는 방법을 제공하는 것을 목적으로 한다.
본 발명은 CIP(Constrained Intra Prediction)이 적용되는 경우, 인터 모드의 인접 화소 위치에 인트라 모드의 인접 블럭을 기반으로 참조 화소를 생성하여, 인트라 예측에 이용하는 방법을 제공하는 것을 특징으로 한다.
본 발명은 인터 모드의 인접 화소 위치에 인트라 모드의 인접 블럭을 기반으로 참조 화소를 생성하는 경우에, 화소값의 변화량을 반영하여 참조 화소를 생성하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 입력된 예측 유닛에 대하여 인트라 예측을 위한 참조 화소들을 생성하는 단계, 예측 유닛에 대한 인트라 모드를 결정하는 단계, 참조 화소와 상기 인트라 모드를 기반으로 예측 블럭을 생성하는 단계 및 예측 유닛과 상기 예측 블럭에 대한 잔차 블럭을 생성하는 단계를 포함하는 부호화기의 인트라 예측 방법으로서, 참조 화소들 및 예측 블럭의 화소들 중 적어도 어느 하나의 화소들은 기준 화소를 기반으로 예측되고, 상기 예측되는 화소값은 기준 화소의 화소값에 상기 기준 화소로부터 상기 생성되는 화소까지의 화소값 변화량을 더한 값을 화소값일 수 있다.
본 실시형태에서는 상기 예측 블럭의 좌상측 코너에 위치하는 인접 블럭의 참조 화소를 제1 기준 화소로 할 수 있으며, 제1 기준 화소로부터, 상기 예측 블럭과의 좌측 경계에 위치하는 인접 블럭의 참조 화소 중 가장 아래 화소까지의 화소값 변화량과, 제1 기준 화소로부터, 상기 예측 블럭과의 상측 경계에 위치하는 인접 블럭의 참조 화소 중 가장 오른쪽 화소까지의 화소값 변화량을 상기 기준 화소에 반영한 값을 상기 예측 블럭의 우하측 코너의 대각선 화소인 제2 기준 화소의 화소값으로 설정할 수 있고, 제1 기준 화소와 제2 기준 화소로부터 상기 예측 블럭의 대각선 화소값들을 예측할 수 있다.
이때, 상기 예측 블럭의 비 대각선 화소들은 상기 대각선 화소들과 상기 예측 블럭과의 상측 및/또는 좌측 경계에 있는 인접 블럭의 화소들을 보간 또는 외삽하여 예측될 수 있다.
또한, 본 실시형태에서는, 상기 예측 블럭의 좌상측 코너에 위치하는 인접 블럭의 참조 화소를 기준 화소로 할 수 있고, 상기 기준 화소로부터, 상기 예측 블럭의 좌측 경계에 위치하는 인접 블럭의 참조 화소 중 예측 대상 화소와 동일한 행에 위치하는 인접 화소까지의 화소값 변화량과, 상기 기준 화소로부터, 상기 예측 블럭의 상측 경계에 위치하는 인접 블럭의 참조 화소 중 상기 예측 대상 화소와 동일한 열에 위치하는 인접 화소까지의 화소값 변화량을 상기 기준 화소에 반영한 값을 상기 예측 대상 화소의 화소값으로 예측할 수 있다.
또한, 본 실시형태에서는, 상기 예측 블럭과의 좌측 또는 상측 경계에 위치하는 인접 블럭의 화소들 중 예측 대상 화소와 동일한 행 또는 동일한 열에 위치하는 화소를 기준 화소로 할 수 있고, 상기 기준 화소로부터, 상기 예측 화소까지의 화소값 변화량을 상기 기준 화소에 반영한 값은 상기 예측 대상 화소의 화소값으로 예측할 수 있다.
이때, 상기 예측 대상 화소는 상기 예측 블럭의 대각선 화소일 수 있고, 상기 예측 블럭의 비 대각선 화소는 상기 대각선 화소와 상기 인접 블럭의 화소들을 이용한 보간을 통해서 예측될 수 있다.
본 실시형태에서는, 상기 예측 유닛과 인접한 블럭이 인터 모드 블럭인 경우에, 상기 인터 모드 블럭과 상기 예측 유닛과의 경계에 위치하는 참조 화소를 생성하는 단계를 더 포함할 수 있으며, 상기 참조 화소의 좌측 또는 하측에 위치하는 인트라 모드 블럭의 화소 중 상기 예측 유닛과의 경계에 위치하는 화소를 제1 기준 화소로 하고, 상기 참조 화소의 우측 또는 상측에 위치하는 인트라 모드 블럭의 화소 중 상기 예측 유닛과의 경계에 위치하는 화소를 제2 기준 화소로 하여, 상기 제1 기준 화소로부터 상기 참조 화소까지의 거리와, 상기 제2 기준 화소로부터 상기 참조 화소까지의 거리를 기초로 상기 참조 화소를 생성할 수 있다.
이때, 상기 제1 기준 화소의 화소값은 제1 기준 화소가 속하는 인트라 모드 블럭의 화소 중 상기 예측 유닛과의 경계에 위치하는 화소들의 평균 화소 값일 수 있고, 상기 제2 기준 화소의 화소값은 제2 기준 화소가 속하는 인트라 모드 블럭의 화소 중 상기 예측 유닛과의 경계에 위치하는 화소들의 평균 화소 값일 수 있다. 또한, 상기 참조 화소의 좌측 또는 하측에만 인트라 모드 블럭이 위치하는 경우에는 상기 제1 기준 화소 값을 상기 참조 화소 값으로 할 수도 있고, 상기 참조 화소의 우측 또는 상측에만 인트라 모드 블럭이 위치하는 경우에는, 상기 제2 기준 화소 값을 상기 참조 화소 값으로 할 수도 있다.
본 발명의 다른 실시형태는 수신한 비트스트림을 엔트로피 복호화하는 단계, 예측 유닛의 인트라 예측에 이용할 참조 화소를 생성하는 단계, 예측 유닛에 대한 예측 모드를 기반으로 상기 참조 화소로부터 예측 블럭을 생성하는 단계 및 엔트로피 복호화를 통해 구한 잔차 블럭과 상기 예측 블럭으로부터 영상을 재구성(reconstruction)하는 단계를 포함하는 복호화기에서의 인트라 예측 방법으로서, 상기 참조 화소들 및 상기 예측 블럭의 화소들 중 적어도 어느 하나의 화소들은 기준 화소를 기반으로 예측되고, 상기 예측되는 화소값은 상기 기준 화소의 화소값에 및 상기 기준 화소로부터 상기 생성되는 화소까지의 화소값 변화량을 더한 값일 수 있다.
본 실시형태에서는 상기 예측 블럭의 좌상측 코너에 위치하는 인접 블럭의 참조 화소를 제1 기준 화소로 할 수 있으며, 상기 제1 기준 화소로부터, 상기 예측 블럭과의 좌측 경계에 위치하는 인접 블럭의 참조 화소 중 가장 아래 화소까지의 화소값 변화량과, 상기 제1 기준 화소로부터, 상기 예측 블럭과의 상측 경계에 위치하는 인접 블럭의 참조 화소 중 가장 오른쪽 화소까지의 화소값 변화량을 상기 기준 화소에 반영한 값을 상기 예측 블럭의 우하측 코너의 대각선 화소인 제2 기준 화소의 화소값으로 설정할 수 있고, 상기 제1 기준 화소와 상기 제2 기준 화소로부터 상기 예측 블럭의 대각선 화소값들을 예측할 수 있다.
이때, 상기 예측 블럭의 비 대각선 화소들은 상기 대각선 화소들과 상기 예측 블럭과의 상측 및/또는 좌측 경계에 있는 인접 블럭의 화소들을 보간 또는 외삽하여 예측할 수 있다.
본 실시형태에서는 상기 예측 블럭의 좌상측 코너에 위치하는 인접 블럭의 참조 화소를 기준 화소로 할 수 있고, 상기 기준 화소로부터, 상기 예측 블럭의 좌측 경계에 위치하는 인접 블럭의 참조 화소 중 예측 대상 화소와 동일한 행에 위치하는 인접 화소까지의 화소값 변화량과, 상기 기준 화소로부터, 상기 예측 블럭의 상측 경계에 위치하는 인접 블럭의 참조 화소 중 상기 예측 대상 화소와 동일한 열에 위치하는 인접 화소까지의 화소값 변화량을 상기 기준 화소에 반영한 값을 상기 예측 대상 화소의 화소값으로 예측할 수 있다.
또한 본 실시형태에서는, 상기 예측 블럭과의 좌측 또는 상측 경계에 위치하는 인접 블럭의 화소들 중 예측 대상 화소와 동일한 행 또는 동일한 열에 위치하는 화소를 기준 화소로 할 수 있고, 상기 기준 화소로부터, 상기 예측 화소까지의 화소값 변화량을 상기 기준 화소에 반영한 값을 상기 예측 대상 화소의 화소값으로 예측할 수 있다.
이때, 상기 예측 대상 화소는 상기 예측 블럭의 대각선 화소일 수 있으며, 상기 예측 블럭의 비 대각선 화소는 상기 대각선 화소와 상기 인접 블럭의 화소들을 이용한 보간을 통해서 예측될 수 있다.
본 실시형태에 있어서, 상기 예측 유닛과 인접한 블럭이 인터 모드 블럭인 경우에, 상기 인터 모드 블럭과 상기 예측 유닛과의 경계에 위치하는 참조 화소를 생성하는 단계를 더 포함할 수 있으며, 상기 참조 화소의 좌측 또는 하측에 위치하는 인트라 모드 블럭의 화소 중 상기 예측 유닛과의 경계에 위치하는 화소를 제1 기준 화소로 할 수 있고, 상기 참조 화소의 우측 또는 상측에 위치하는 인트라 모드 블럭의 화소 중 상기 예측 유닛과의 경계에 위치하는 화소를 제2 기준 화소로 할 수 있으며, 상기 제1 기준 화소로부터 상기 참조 화소까지의 거리와, 상기 제2 기준 화소로부터 상기 참조 화소까지의 거리에 기초하여 상기 참조 화소를 생성할 수 있다.
이때, 상기 제1 기준 화소의 화소값은 제1 기준 화소가 속하는 인트라 모드 블럭의 화소 중 상기 예측 유닛과의 경계에 위치하는 화소들의 평균 화소 값일 수 있고, 상기 제2 기준 화소의 화소값은 제2 기준 화소가 속하는 인트라 모드 블럭의 화소 중 상기 예측 유닛과의 경계에 위치하는 화소들의 평균 화소 값일 수 있다. 또한, 상기 참조 화소의 좌측 또는 하측에만 인트라 모드 블럭이 위치하는 경우에는 상기 제1 기준 화소 값을 상기 참조 화소 값으로 할 수 있고, 상기 참조 화소의 우측 또는 상측에만 인트라 모드 블럭이 위치하는 경우에는, 상기 제2 기준 화소 값을 상기 참조 화소 값으로 할 수 있다.
본 실시형태에 있어서, 복호화기는 상기 엔트로피 복호화를 통해 상기 예측 블럭의 화소들을 상기 기준 화소를 기반으로 생성하라는 지시를 획득할 수 있다. 또한, 복호화기는 상기 엔트로피 복호화를 통해 상기 참조 화소들을 상기 기준 화소를 기반으로 생성하라는 지시를 획득할 수 있다.
본 발명에 의하면, 방향성이 있는 텍스쳐에 대하여 인접 블럭 참조 화소들의 변화량을 고려함으로써 효과적인 인트라 예측이 이루어질 수 있다.
또한, 본 발명에 의하면, 플래너 예측을 수행함에 있어서 예측 블럭에 인접한 블럭의 화소값의 변화량이 고려될 수 있으므로, 예측 효율을 향상시킬 수 있다.
또한, 본 발명에 의하면, CIP(Constrained Intra Prediction)이 적용되는 경우, 인터 모드의 인접 화소 위치에 인트라 모드의 인접 블럭을 기반으로 참조 화소를 생성하여 인트라 예측에 이용할 수 있으며, 이때 화소값의 변화량을 반영하여 참조 화소를 생성함으로써 예측 효율을 향상시킬 수 있다.
도 1은 본 발명이 적용되는 비디오 부호화기의 일 실시예에 따른 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 인트라 예측부의 구성을 개략적으로 나타내는 블럭도이다.
도 3은 본 발명이 적용되는 비디오 복호화기의 일 실시예에 따른 구성을 나타내는 블럭도이다.
도 4는 플래너 예측의 한 방법을 개략적으로 설명하는 도면이다.
도 5는 플래너 예측의 다른 방법을 개략적으로 설명하는 도면이다.
도 6은 현재 예측 블럭의 대각선 화소를 먼저 예측하는 것을 계략적으로 나타낸 것이다.
도 7은 대각선 화소를 기준으로 예측 블럭 내의 다른 화소값들을 구하는 방법을 개략적으로 도시한 것이다.
도 8은 기준 화소값 및 기준 화소로부터의 변화량을 고려하여 화소값을 예측하는 다른 예를 개략적으로 도시한 것이다.
도 9는 예측 블럭의 대각선 화소를 먼저 구한 뒤 나머지 화소값들을 구하는 다른 예를 개략적으로 설명하는 도면이다.
도 10은 대각선 화소를 먼저 구한 뒤, 대각선 화소 이외의 화소들도 대각선 화소와 동일한 방법으로 구하는 예를 개략적으로 설명하는 도면이다.
도 11은 CIP의 한 방법을 개략적으로 설명하는 도면이다.
도 12는 CIP의 다른 방법을 개략적으로 설명하는 도면이다.
도 13은 본 발명이 적용되는 시스템에서 화소값의 변화량을 고려하여 CIP를 수행하는 것을 개략적으로 설명하는 도면이다.
도 14는 상술한 본 발명이 적용되는 시스템에서 부호화기에서의 동작을 개략적으로 설명하는 순서도이다.
도 15는 인트라 예측 모드의 예측 방향을 나타낸 것이다.
도 16은 상술한 본 발명이 적용되는 시스템에서 복고화 장치에서의 동작을 개략적으로 설명하는 순서도이다.
본 명세서에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화기에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명이 적용되는 비디오 부호화기의 일 실시예에 따른 구성을 나타내는 블럭도이다. 도 1을 참조하면, 상기 비디오 부호화기는 픽쳐 분할부(110), 인터 예측부(120), 인트라 예측부(125), 변환부(130), 양자화부(135), 역양자화부(140), 역변환부(145), 디블럭킹 필터(deblocking filter)(150), 메모리(160), 재정렬부(165) 및 엔트로피 부호화부(170)를 포함한다.
픽쳐 분할부(110)에는 현재 픽쳐가 입력되며, 이를 하나 이상의 부호화 단위로 분할할 수 있다. 부호화 단위는 비디오 부호화기에서 부호화가 수행되는 하나의 단위를 말하며, CU(Coding Unit)라고도 할 수 있다. 부호화 단위는 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. 가장 큰 크기의 부호화 단위는 최대 부호화 단위(LCU: Largest Coding Unit), 가장 작은 크기의 부호화 단위는 최소 부호화 단위(SCU: Smallest Coding Unit)이라 한다. 또한 부호화 단위는 8×8, 16×16, 32×32, 64×64 크기를 가질 수 있다. 또한 픽쳐 분할부(110)는 부호화 단위를 분할하여 예측 단위 및 변환 단위를 생성할 수 있다. 예측 단위는 PU(Prediction Unit), 변환 단위는 TU(Transform Unit)이라고도 할 수 있다.
인터 예측 모드에 있는 경우, 인터 예측부(120)는 움직임 추정(ME: Motion Estimation) 및 움직임 보상(MC: Motion Compensation)을 수행할 수 있다. 인터 예측부(120)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐 정보를 기초로 예측 블럭을 생성하며 이를 화면 간 예측이라고도 할 수 있다.
인터 예측부(120)에는 분할된 예측 대상 블럭 및 메모리부(160)에 저장된 적어도 하나의 참조 블럭이 제공된다. 인터 예측부(120)는 상기 예측 대상 블럭 및 참조 블럭을 이용하여 움직임 추정을 수행한다. 인터 예측부(120)는 움직임 추정의 결과로 움직임 벡터(MV: Motion Vector), 참조 블럭 인덱스(index) 및 예측 모드 등을 포함한 움직임 정보(motion information)를 생성한다.
또한 인터 예측부(120)는 상기 움직임 정보 및 참조 블럭을 이용하여 움직임 보상을 수행한다. 이 때, 인터 예측부(120)는 상기 참조 블럭으로부터 입력 블럭에 대응하는 예측 블럭을 생성하여 출력한다.
상기 움직임 정보는 엔트로피 부호화되어 압축된 비트 스트림을 형성하여 비디오 부호화기에서 비디오 복호화기로 전송된다.
인트라 예측 모드의 경우, 인트라 예측부(125)는 현재 픽쳐 내의 화소 정보를 기초로 예측 블럭을 생성할 수 있다. 인트라 예측은 화면 내 예측이라고도 할 수 있다. 인트라 예측 모드의 경우, 인트라 예측부(125)에는 예측 대상 블럭 및 이전에 부호화되고 복호화되어 복원된 복원 블럭이 입력된다. 다만, 입력되는 상기 복원 블럭은 디블럭킹 필터부를 거치기 전의 영상이다. 상기 복원 블럭은 이전 예측 블럭일 수 있다.
도 2는 본 발명의 일 실시예에 따른 인트라 예측부의 구성을 개략적으로 나타내는 블럭도이다. 도 2를 참조하면, 도 2는 참조 화소 생성부(210), 인트라 예측 모드 결정부(220) 및 예측 블럭 생성부(230)를 포함한다.
참조 화소 생성부(210)는 인트라 예측에 필요한 참조 화소를 생성한다. 예측 대상 블럭에 인접한 좌측 블럭의 맨 오른쪽 수직 라인상의 화소들과 예측 블럭에 인접한 상단 블럭의 맨 아래쪽 수평 라인상의 화소들이 참조 화소 생성에 사용된다. 예를 들어 예측 대상 블럭의 크기가 N이라면, 좌측 및 상단 각 방향에서 2N개의 화소를 참조 화소로 사용한다. 참조 화소는 그대로 사용될 수도 있고, AIS(Adaptive Intra Smoothing) 필터링된 후 사용될 수도 있다. AIS 필터링되는 경우에는 AIS 필터링에 관련된 정보가 시그널링(signaling)된다.
인트라 예측 모드 결정부(220)는 상기 예측 대상 블럭 및 상기 복원 블럭이 입력된다. 인트라 예측 모드 결정부(220)는 상기 입력된 영상을 이용하여, 예측 모드 중에서 부호화될 정보의 양을 최소화시키는 모드를 선택하여 그 예측 모드 정보를 출력한다. 이 때 소정의 비용 함수(cost function) 또는 하다마드(Hadamard) 변환 등이 이용될 수 있다.
예측 모드 생성부(230)에는 상기 예측 모드 정보 및 상기 참조 화소가 입력된다. 상기 예측 모드 생성부(230)는 예측 모드 정보 및 참조 화소값을 사용함으로써, 예측 대상 블럭의 화소값을 공간상 예측, 보상하여 예측 블럭을 생성한다.
예측 모드 정보는 엔트로피 부호화되어 영상 데이터 등과 함께 압축된 비트 스트림을 형성하여 비디오 부호화기에서 비디오 복호화기로 전송된다. 비디오 복호화기는 인트라 예측 블럭을 생성할 때 상기 예측 모드 정보를 사용한다.
다시 도 1을 참조하면, 예측 대상 블럭 및 인터 또는 인트라 예측 모드에서 생성된 예측 블럭의 차분에 의해 차분 블럭이 생성되고, 이는 변환부(130)에 입력된다. 변환부(130)는 변환 단위(TU)로 차분 블럭에 대해 변환을 수행하여 변환 계수를 생성한다.
변환 단위를 가지는 변환 블럭은 최대 및 최소 크기 내에서 쿼드 트리 구조(quad tree structure)를 가지므로, 정해진 하나의 크기에 종속되지 않는다. 변환 블럭마다 현재 블럭이 하위 블럭(sub-block)으로 나누어지는지 여부를 가리키는 지시자(flag)를 가지며, 지시자가 1의 값을 가지는 경우, 현재 변환 블럭은 동일한 크기의 네 개의 하위 블럭으로 나누어질 수 있다. 변환에는 이산 여현 변환(DCT: Discrete Cosine Transform)이 사용될 수 있다.
양자화부(135)는 변환부(130)에서 변환된 값들을 양자화할 수 있다. 블럭에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화된 변환 계수 값은 재정렬부(165) 및 역양자화부(140)에 제공될 수 있다.
재정렬부(165)는, 엔트로피 부호화의 효율을 높이기 위해, 스캔(scan)을 통하여 상기 양자화된 2차원의 블럭 형태의 변환 계수를 1차원의 벡터 형태의 변환 계수로 변경할 수 있다. 재정렬부(165)는 확률적 통계를 기초로 스캔 순서를 달리 하여 엔트로피 부호화 효율을 높일 수 있다.
엔트로피 부호화부(170)는 재정렬부(165)에서 얻어진 값들을 엔트로피 부호화하며, 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장된다.
역양자화부(140)에는 양자화부(135)에서 양자화된 변환 계수가 입력되어 역양자화가 수행되며, 이는 역변환부(145)에서 역변환되어, 복원된 차분 블럭이 생성된다. 복원된 차분 블럭은 인터 예측부(120) 또는 인트라 예측부(125)에서 생성된 예측 블럭과 합쳐져 복원 블럭이 생성될 수 있다. 복원 블럭은 인트라 예측부(125) 및 디블럭킹 필터(150)에 제공된다.
디블럭킹 필터(150)는 부호화 및 복호화 과정에서 발생하는 블럭 경계 사이의 왜곡을 제거하기 위해, 복원 블럭을 필터링하며, 필터링된 결과는 ALF(Adaptive Loop Filter)(155)에 제공된다.
ALF(155)는 예측 대상 블럭과 최종 복원 블럭 사이의 에러를 최소화하기 위해 필터링을 수행한다. ALF(155)는 디블럭킹 필터(150)를 통해 필터링된 복원 블럭과 현재의 예측 대상 블럭을 비교한 값을 기초로 필터링을 수행하며, ALF(155)의 필터 계수 정보는 슬라이스 헤더(slice header)에 실려 부호화기로부터 복호화기로 전송된다.
메모리(160)는 ALF(155)를 통해 얻어진 최종 복원 블럭을 저장할 수 있고, 저장된 최종 복원 블럭은 화면 간 예측을 수행하는 인터 예측부(120)에 제공될 수 있다.
도 3은 본 발명이 적용되는 비디오 복호화기의 일 실시예에 따른 구성을 나타내는 블럭도이다. 도 3을 참조하면, 상기 비디오 복호화기는 엔트로피 복호화부(310), 재정렬부(315), 역양자화부(320), 역변환부(325), 인터 예측부(330), 인트라 예측부(335), 디블럭킹 필터(340), ALF(345) 및 메모리(350)를 포함한다.
엔트로피 복호화부(310)는 NAL로부터 압축된 비트 스트림을 수신한다. 엔트로피 복호화부(310)는 수신된 비트 스트림을 엔트로피 복호화하며, 예측 모드, 움직임 벡터 정보 등이 비트 스트림에 포함되는 경우 이를 함께 엔트로피 복호화한다. 엔트로피 복호화된 변환 계수 또는 차분 신호는 재정렬부(315)에 제공된다. 재정렬부(315)는 이를 역스캔(inverse scan)하여 2차원 블럭 형태의 변환 계수를 생성한다.
역양자화부(320)에는 엔트로피 복호화 및 재정렬된 변환 계수가 입력되며 역양자화부(320)는 이를 역양자화한다. 역변환부(325)는 역양자화된 변환 계수를 역변환하여 차분 블럭을 생성한다.
차분 블럭은 인터 예측부(330) 또는 인트라 예측부(335)에서 생성된 예측 블럭과 합쳐져 복원 블럭이 생성될 수 있다. 복원 블럭은 인트라 예측부(335) 및 디블럭킹 필터(340)에 제공된다. 인터 예측부(330) 및 인트라 예측부(335)의 동작은 각각 비디오 부호화기에서의 인터 예측부(120) 및 인트라 예측부(125)의 동작과 동일할 수 있다.
디블럭킹 필터(340)는 부호화 및 복호화 과정에서 발생하는 블럭 경계 사이의 왜곡을 제거하기 위해, 복원 블럭을 필터링하며, 필터링된 결과는 ALF(Adaptive Loop Filter)(345)에 제공된다. ALF(345)는 예측 대상 블럭과 최종 복원 블럭 사이의 에러를 최소화하기 위해 필터링을 수행한다. 메모리(160)는 ALF(345)를 통해 얻어진 최종 복원 블럭을 저장할 수 있고, 저장된 최종 복원 블럭은 화면 간 예측을 수행하는 인터 예측부(330)에 제공될 수 있다.
한편, 하늘이나 바다 등을 단조로운 배경으로 이용하는 경우와 같이, 텍스쳐의 변화가 적은 영역의 경우에는 플래너 인트라 예측을 사용함으로써 부호화 효율을 더 높일 수 있다.
인트라 예측은 방향성 예측과 DC 예측, 플래너 예측으로 구분될 수 있는데, 플래너 예측은 DC 예측을 확장한 개념이라고도 할 수 있다. 크게 보면, 플래너 예측은 DC 예측에 포함된다고도 할 수 있지만, DC 예측이 커버하지 못하는 예측 방법을 플래너 예측이 커버할 수도 있다. 예컨대, 균일한 텍스쳐의 경우에는 DC 예측을 사용하는 것이 바람직할 수 있으나, 화소 값에 방향성이 있는 경우에는 플래너 예측을 사용하여 블럭 예측을 수행하는 것이 효과적일 수 있다.
본 명세서에서는 인접 블럭 참조 화소들의 화소값의 변화량을 이용하여, 방향성이 있는 텍스쳐에 대해서 플래너 예측 효율을 향상시키는 방법을 제공한다.
도 4는 플래너 예측의 한 방법을 개략적으로 설명하는 도면이다.
먼저 도 4(a)를 참조하면, 현재 블럭의 우하측 코너의 화소값(425)를 예측한다. 현재 블럭의 우하측 코너 화소값(425)은 DC 값으로 예측될 수 있다.
도 4(b)를 참조하면, 현재 블럭의 우측 경계에 위치하는 화소값들과 현재 블럭의 하측 경계에 위치하는 화소값들을 예측한다. 예컨대, 현재 블럭의 우측 경계에 위치하는 화소값(445)는 상측 블럭의 화소값(450)과 DC 값(425)을 선형 보간(interpolation)하여 예측할 수 있다. 또한, 현재 블럭의 하측 경계에 위치하는 화소값(435)는 좌측 블럭의 화소값(430)과 DC 값(425)을 선형 보간하여 예측할 수 있다.
도 4(c)를 참조하면, 현재 블럭의 우하측 코너 화소, 우측 경계 화소, 하측 경계 화소를 제외한 나머지 화소들은, 상측 블럭 및 좌측 블럭의 화소값과 이미 예측한 현재 블럭의 화소값을 이용해서 쌍선형(bi-linear) 보간을 통해 예측할 수 있다. 예컨대, 현재 블럭 내의 화소값(475)는 상측 블럭의 화소값(460), 좌측 블럭의 화소값(455), 현재 블럭의 우측 경계에 있는 이미 예측된 화소값(445) 및 현재 블럭의 하측 경계에 있는 이미 예측된 화소값(435)를 이용한 보간을 통해서 예측될 수 있다.
이어서, 도 4(d)를 참조하면, 상술한 과정을 통해 얻은 예측 샘플들을 개선(refine)할 수도 있다. 예컨대, 현재 블럭의 화소값 X(485)를 상측 샘플값 T(480), 좌측 샘플값 L(490)을 이용하여 개선할 수 있다. 일 예로서, X를 개선한 X'은 X'={(X<<1)+L+T+1}>>2 와 같이 구해질 수 있다. 여기서, "x<<y"는 x의 2의 보수(two's complement integer) 표현을 이진수 단위 y만큼 산술적으로 좌측 이동하는 것이며, "x>>y"는 x의 2의 보수 표현을 이진수 단위 y만큼 산술적으로 우측 이동하는 것을 나타낸다.
도 5는 플래너 예측의 다른 방법을 개략적으로 설명하는 도면이다.
도 5의 방법에서는 현재 블럭의 대각선에 위치하는 화소값들을 먼저 예측하고, 예측된 화소값들을 이용하여 현재 블럭의 나머지 화소값들을 예측한다. 이하, 설명의 편의를 위해 블럭을 구성하는 화소들 중, 블럭내 좌상측으로부터 우하측으로 이어지는 대각선상에 위치하는 화소를 대각선 화소라고 한다.
도 5(a)를 참조하면, 현재 블럭(510)의 대각선 화소들(540)을 상측 참조 블럭의 화소값(510)과 좌측 화소 블럭의 화소값(530)을 이용하여 예측한다. 예컨대, 현재 블럭의 대각선 화소(P)는 상측 블럭의 화소들 중 현재 블럭과의 경계에 위치하는 화소(AboveRef)와 좌측 블럭의 화소들 중 현재 블럭과의 경계에 위치하는 화소(LeftRef)를 통해서 P=(LeftRef+AboveRef+1)>>1 와 같이 얻어질 수 있다.
다음으로 도 5(b)를 참조하면, 현재 블럭(510)의 대각선 화소들(540) 이외의 화소들은 도 5(a)에서 설명한 바와 같이 얻어진 화소들과 상측, 좌측 블럭의 경계에 있는 화소들을 이용하여 선형 보간을 통해 얻어질 수 있다. 예컨대, P1은 상측 블럭의 화소 AboveRef와 이미 구한 현재 블럭의 대각선 화소 P를 이용하여 P1 = (AboveRef*d2 + P*d1)/(d1+d2)로 얻어질 수 있다. 또한, 예를 들어, P2는 P2 = (LeftRef*d3 + P*d4)(d3+d4)로 얻어질 수 있다.
한편, 상술한 도 4 및 도 5의 플래너 예측 방법은 방향성이 없는 균일한 텍스쳐에 대해서는 효과적일 수 있지만, 텍스쳐에 방향성이 있는 경우, 예컨대 휘도 화소에 대하여 어느 한 방향(이를 테면 수평 방향)으로는 밝기의 변화가 크고, 다른 방향(이를 테면 수식 방향)으로는 변화가 거의 없는 경우에는 예측의 효율이 떨어질 수 있다.
따라서, 화소값의 변화량을 고려한 플래너 인트라 예측(planar intra prediction) 방법을 고려할 필요가 있다. 본 발명에 따른 플래너 인트라 예측 방법에서는 기준 화소값을 선택하거나 예측하고, 기준 화소값에 해당 기준 화소로부터 대상 화소까지 화소값의 변화량을 반영하여 대상 화소의 화소값을 예측한다.
이하, 도면을 참조하여 본 발명의 실시예들을 설명한다.
실시예 1
도 6은 현재 예측 블럭의 대각선 화소(Pii)를 먼저 예측하는 것을 계략적으로 나타낸 것이다. 도 6에서는 설명의 편의을 위해 8x8 예측 블럭을 예로서 설명하지만, 본 발명은 이에 한정되지 않으며, 소정의 NxN 예측 블럭에 동일하게 적용될 수 있다.
실시예 1에서는 도 6과 같이 현재 예측 블럭에 인접하는 참조 블럭의 참조 화소(Ri0 및/또는 R0j, 8x8 예측 블럭의 경우, 0≤i,j≤8)를 기반으로 현재 예측 블럭의 대각선 화소를 먼저 예측한다.
즉, 대각선 화소 Pii를 먼저 구한 뒤에, 예측 블럭 내의 다른 화소값들은 인접 블럭의 참조 화소값(Rij)과 이미 구한 Pii를 이용한 보간(interpolation) 또는 외삽(extrapolation)을 통해서 구할 수 있다.
도 7은 대각선 화소를 기준으로 예측 블럭 내의 다른 화소값들을 구하는 방법을 개략적으로 도시한 것이다.
본 발명에서는 화소값의 변화를 고려하여 플래너 예측을 수행한다. 예컨대, 도 7(a)와 같이, 참조 화소값이 x(우측) 및 y(하측) 방향으로 모두 증가하는 경우에는, 예측 블럭의 화소값들 역시 우하측 방향으로 증가할 가능성이 크다. 이 경우, 예측 블럭 내의 우하측 코너 화소값 P88을 먼저 예측하고, 이를 기반으로 나머지 화소들을 예측할 수 있다.
P88의 값을 예측하기 위해, 현재 예측 블럭의 좌상측 코너에 위치하는 참조 화소값(R00)을 기준 화소로 하고, 기준 화소로부터 예측 블럭 내의 예측 대상 화소(P88)까지의 변화량을 기준 화소값에 반영할 수 있다. 예컨대, 대상 화소값 P88은 수학식 1과 같이 구해질 수 있다. 이하, 설명의 편의를 위해, 도면과 명세서 상에서 Rij 또는 Pij로 나타내던 화소의 표현을 수학식에서는 Ri ,j 및 Pi ,j로 나타낸다.
<수학식 1>
Figure 112014031055722-pat00001
P88의 값이 구해지면, 나머지 대각선 화소값 Pii는 수학식 2와 같이 구해질 수 있다.
<수학식 2>
Figure 112014031055722-pat00002
여기서, i는, 본 실시예가 8x8 예측 블럭을 예로서 설명하는 것이므로, 1, 2, …, 8의 값을 갖는다. 실시예 1은 설명의 편의를 위해 8x8 예측 블럭을 예로서 설명하고 있으나, NxN 예측 블럭의 경우에는 Pii=R00+(i/N)P88과 같이 구해질 수도 있다.
도 7(b)와 같이, 참조 화소값이 x(우측) 및 y(하측) 방향으로 모두 감소하는 경우에도, 감소하는 화소값의 변화량을 고려하여 예측 블럭 내 우하측 코너의 화소(P88)을 구하고, 이를 기반으로 나머지 화소값들을 예측할 수 있다. 이 경우, P88은 수학식 3과 같이 산출될 수 있다.
<수학식 3>
Figure 112014031055722-pat00003
P88이 구해지면, 예측 블럭 내의 나머지 대각선 화소들은 수학식 4와 같이 구해질 수 있다.
<수학식 4>
Figure 112014031055722-pat00004
상술한 바와 같이, 여기서, i는 1, 2, …, 8의 값을 갖는다.
도 7(c)와 같이, 참조 화소값이 우상측 방향으로 증가하는 경우에는, 화소값의 변화량을 고려하여, 도 7(a) 및 7(b)와는 달리, 예측 블럭 내의 좌하측과 우상측을 잇는 대각선 화소를 먼저 산출한다. 예컨대, 예측 블럭 내 좌하측 코너의 화소(P81)을 구하고, 이를 기반으로 나머지 화소값들을 예측할 수 있다. 이 경우, P81은 수학식 5와 같이 산출될 수 있다.
<수학식 5>
Figure 112014031055722-pat00005
P81이 구해지면, 예측 블럭 내의 나머지 대각선 화소들(좌하측-우상측)은 수학식 6과 같이 산출될 수 있다.
<수학식 6>
Figure 112014031055722-pat00006
여기서, i는 1, 2, …, 8의 값을 갖는다.
또한, 도 7(d)와 같이, 참조 화소값이 좌하측 방향으로 증가하는 경우에도, 화소값의 변화량을 고려하여, 예측 블럭 내의 좌하측과 우상측을 잇는 대각선 화소를 먼저 산출한다. 예컨대, 예측 블럭 내 좌하측 코너의 화소(P81)을 구하고, 이를 기반으로 나머지 화소값들을 예측할 수 있다. 이 경우, P81은 수학식 7와 같이 산출될 수 있다.
<수학식 7>
Figure 112014031055722-pat00007
P81이 구해지면, 예측 블럭 내의 나머지 대각선 화소들(좌하측-우상측)은 수학식 8과 같이 산출될 수 있다.
<수학식 8>
Figure 112014031055722-pat00008
여기서, i는 1, 2,…, 8의 값을 갖는다.
상술한 수학식 대각선 화소들을 산출하기 위한 제곱근 연산에 대해서는, 연산 부하를 고려하여 수학식 9와 같은 근사를 고려할 수 있다.
<수학식 9>
Figure 112014031055722-pat00009
이어서, 대각선 화소의 예측값과 상측 참조 화소값, 좌측 참조 화소값을 이용하여 예측 블럭 내의 다른 화소값들을 보간 또는 외삽을 통해 구할 수 있다.
도 7의 (a)와 (b)의 경우에, 예측 블럭 내의 화소(Pij)는 대각선 화소(Pii)들과 인접 블럭의 참조 화소(R)들을 이용한 보간을 통해 산출될 수 있다. 이때, 적용되는 보간의 일 예는 수학식 10과 같다.
<수학식 10>
Figure 112014031055722-pat00010
여기서, d1은 보간에 이용되는 인접 블럭 화소 R0j 또는 Rj0으로부터 예측 대상 화소 Pij까지의 거리를 나타내며, d2는 보간에 이용되는 대각선 화소 Pii로부터 예측 대상 화소 Pij까지의 거리를 나타낸다.
또한, 도 7의 (c)와 (d)의 경우에, 예측 블럭의 화소 중 보간을 통해 산출되는 화소(Pi)는 수학식 11과 같이 구해질 수 있다.
<수학식 11>
Figure 112014031055722-pat00011
여기서, i+j<9 이며, d1은 보간에 이용되는 인접 블럭 화소 R0j 또는 Rj0으로부터 예측 대상 화소 Pij까지의 거리를 나타내며, d2는 보간에 이용되는 대각선 화소 Pii로부터 예측 대상 화소 Pij까지의 거리를 나타낸다. 여기서는, 예측 블럭의 화소 Pij를 산출하는 보간의 방법으로서 수학식 11을 예로 들었으나, 본 발명은 이에 한정되지 않으며, 다양한 보간 방법이 적용될 수 있다.
한편, 도 7의 (c)와 (d)의 경우에는, 예측 블럭의 화소 중 외삽을 통해 산출되는 화소(Pe)가 존재한다. 이때, 예측 블럭의 화소를 산출하기 위한 외삽의 일 예로 수학식 12가 이용될 수 있다.
<수학식 12>
Figure 112014031055722-pat00012
이 경우에, i+j>9이며, P는 외삽에 사용되는 대각선 화소를 나타낸다. 또한, d1과 d2는 상술한 바와 같이, 외삽에 이용되는 참조 화소와 Pii로부터 예측 대상 화소 Pij까지의 거리를 각각 나타낸다.
실시예 2
도 8은 기준 화소값 및 기준 화소로부터의 변화량을 고려하여 화소값을 예측하는 다른 예를 개략적으로 도시한 것이다. 도 8에서는 설명의 편의을 위해 8x8 예측 블럭을 예로서 설명하지만, 본 발명은 이에 한정되지 않으며, 소정의 NxN 예측 블럭에 동일하게 적용될 수 있다.
도 8에서는 예측 블럭의 좌상단 코너에 위치하는 참조 화소 R00를 기준 화소로 하는 예를 설명하고 있다. 실시예 2에 따르면, 예측 대상 화소 Pij는 기준 화소값에, 기준 화소로부터의 수직 및 수평 방향 변화량을 반영함으로써 얻어진다.
예컨대, 대상 화소 Pij는 수학식 13과 같이 산출된다.
<수학식 13>
Figure 112014031055722-pat00013
여기서, △y = Ri0 - R00 이며, △x = R0j - R00이고, 본 실시예와 같이 8X8 예측 블럭의 경우에 1≤ i,j ≤8 이다.
예컨대, 도 8을 참조하면, 수학식 7을 적용할 때, 화소 P33은 P33=R00+△x+△y와 같이 구해진다. 이때, △x와 △y는 각각 기준 화소 R00으로부터 P33까지 x 방향 및 y 방향으로의 화소값 변화량을 나타낸다.
또 다른 예로서, 수학식 13을 적용할 때, 화소 P76은, 도 8을 참조하면, P76=R00+△x'+△y'와 같이 구해진다. 이때, △x'와 △y'는 각각 기준 화소 R00으로부터 P76까지 x 방향 및 y 방향으로의 화소값 변화량을 나타낸다.
실시예 3
도 9는 예측 블럭의 대각선 화소를 먼저 구한 뒤 나머지 화소값들을 구하는 다른 예를 개략적으로 설명하는 도면이다.
상술한 도 5에서는, 대각선 화소를 현재 예측 블럭에 인접한 블럭의 수평/수직 방향에 있는 두 개 화소들에 대한 일종의 평균값으로 구했으나, 실시예 3의 도 9에서는 변화량을 반영하여 대각선 화소를 산출한다.
예컨대 도 9(a)를 참조하면, 예측 블럭의 대각선 화소를 인접 블럭의 화소값들 중 예측 블럭과의 상측 및/또는 좌측 경계에 있는 화소값들을 이용하여 예측한다. 예컨대, 대각선 화소 Pii는 수학식 14와 같이 예측된다.
<수학식 14>
Figure 112014031055722-pat00014
예컨대, 수학식 14을 적용하면, 도 9(a)를 참조할 때, P33은 P33=R03+△y 또는 P33=R30+△x와 같이 예측될 수 있다. △x와 △y는 각각 기준 화소 R30으로부터 P33까지 x 방향으로의 화소값 변화량 및 기준 화소 R03으로부터 P33까지 y 방향으로의 화소값 변화량을 나타낸다.
도 9(b)를 참조하면, 현재 블럭에서 대각선 화소 이외의 화소(Pij)들은, 대각선 화소의 예측값들과 인접 블럭의 화소들 중 현재 블럭과의 상측과 좌측 경계에 있는 참조 화소(R00, R10~R80, R01~R08)를 이용하여 선형 보간을 통해 예측될 수 있다.
예컨대, 화소값(Pij)는 수학식 15와 같이 예측될 수 있다.
<수학식 15>
Figure 112014031055722-pat00015
d1은 보간에 이용되는 인접 블럭 화소 R0j 또는 Pi0로부터 예측 대상 화소 Pij까지의 거리를 나타내며, d2는 보간에 이용되는 대각선 화소 Pii로부터 예측 대상 화소 Pij까지의 거리를 나타낸다.
실시예 4
도 10은 대각선 화소를 먼저 구한 뒤, 대각선 화소 이외의 화소들도 대각선 화소와 동일한 방법으로 구하는 예를 개략적으로 설명하는 도면이다.
도 10에서는, 대각선 화소를 도 9의 경우와 동일한 방법으로 예측할 수 있다. 따라서, 도 10(a)를 참조하면, 예컨대, 현재 예측 블럭의 대각선 화소 P33은 P33=R03+△y 또는 P33=R30+△x와 같이 예측될 수 있다.
이어서, 현재 블럭에서 대각선 화소 이외의 화소(Pij)들은, 대각선 화소의 예측값들과 인접 블럭의 화소들 중 현재 블럭과의 상측과 좌측 경계에 있는 참조 화소(R00, R10~R80, R01~R08)를 이용하여 선형 보간을 통해 예측될 수 있다.
이때, 대각선 화소를 계산하는 방법과 동일한 방법을 적용할 수 있다. 예컨대, 화소 Pij는 수학식 16과 같이 예측될 수 있다.
<수학식 16>
Figure 112014031055722-pat00016
이때, △y = Ri0 - R00 이며, △x = R0j - R00이고, 본 실시예와 같이 8X8 예측 블럭의 경우에 1≤ i,j ≤8 이다.
수학식 16을 적용하는 경우, 예를 들면, 도 10에서 P37은 P37=R07+△y 또는 P37=R70+△x와 같이 구해질 수 있다.
한편, 부호화기나 복호화기에서 정수 연산에 의해 발생하는 작은 에러들이 오랫동안 계속 누적되는 경우에는 큰 오차를 발생시킬 수 있다. 또한, 현재 블럭에 인접한 블럭에 전송 에러가 난 경우에는 부호화기나 복호화기 간의 미스매치가 발생하거나 에러가 전파되게 된다. 예컨대, 인접 블럭에 에러가 발생한 경우에, 인접 블럭의 경계면 화소값이 변하게 되는데, 복호화기에서 변화된 화소값을 갖는 화소를 참조 화소로 사용하게 되면, 현재 블럭에 에러가 전파되게 된다. 따라서, 이런 문제를 방지하기 위한 툴이 필요한데, 그 중 한 방법이 CIP(Constrained Intra Prediction)과 같은 부호화 툴이다.
도 11은 CIP의 한 방법을 개략적으로 설명하는 도면이다.
도 11의 방법에서는, 현재 매크로 블럭(T)의 인접 블럭에 하나라도 인터 모드의 블럭이 있으면, DC 인트라 모드만을 사용하고, DC 예측값을 128로 고정한다.
이때, 인접 블럭에서 인터 모드로 예측된 블럭의 화소값은 참조 화소로 사용하지 않는다. 따라서, 이 방법에서는 사용 가능한 정보(예컨대, 인접하는 인트라 모드의 화소)까지 모두 배제하고 예측 모드를 DC 모드로 강제하게 된다.
도 12는 CIP의 다른 방법을 개략적으로 설명하는 도면이다.
도 12의 방법에서는, 인접 블럭에서 인트라 모드로 예측된 블럭의 화소값을 참조 화소값으로 사용하고, 인터 모드로 예측된 블럭의 화소값은 주변에 있는 인트라 모드의 블럭을 이용하여 계산한다. 따라서, DC 모드뿐만 아니라, 다른 인트라 예측 모드를 모두 사용할 수 있다.
도 12를 참조하면, 현재 예측 블럭(T) 주변의 블럭들 중에서, 인터 모드로 예측된 블럭(A, B, D, E, F, H, I)의 화소값(1210, 1220, 1230)을 인트라 모드로 예측된 블럭의 화소를 이용하여 계산한다.
예컨대, 대상 인터 예측 샘플의 좌우에 모두 인트라 모드의 예측 화소가 있는 경우에는 수학식 17과 같이 인터 모드로 예측된 블럭 위치의 화소값(PT)를 계산해 낸다.
<수학식 17>
Figure 112014031055722-pat00017
여기서, PT는 대상 인터 예측 샘플이며, PLB는 좌측 혹은 하측 인트라 예측 샘플이고, PRA는 우측 또는 상측 인트라 예측 샘플이다. 또한, 대상 인터 예측 샘플의 한 쪽에만 인트라 예측 샘플이 있으면, 수학식 18와 같이 인터 모드로 예측된 블럭 위치의 화소값(PT)를 계산해 낸다.
<수학식 18>
Figure 112014031055722-pat00018
도 12의 방법은 도 11의 방법과 비교할 때, 인트라 예측 모드를 더 적절하게 활용하고 있으나, 인터 모드로 예측된 인접 블럭의 화소값을 이용 가능한 인트라 모드 화소값의 평균으로 하거나 혹은 이용 가능한 인트라 모드 화소값을 그대로 사용함으로써, 화소값의 변화량을 고려하고 있지는 않다.
따라서, 화소값의 변화량을 고려하여 CIP를 수행하는 방법을 고려할 필요가 있다.
실시예 5
도 13은 본 발명이 적용되는 시스템에서 화소값의 변화량을 고려하여 CIP를 수행하는 것을 개략적으로 설명하는 도면이다.
도 12에서와 같이, 산출할 화소값을 양쪽 화소값의 평균값으로 하는 것보다, 도 13에서와 같이 양쪽 화소값들의 변화량을 이용하여 보간하는 것이 대상 화소값을 더 정확하게 예측할 수 있는 방법이다. 예컨대, 산출할 화소값(1310, 1320, 1330) 중 대상 화소 PT는 수학식 19을 통해 산출할 수 있다.
<수학식 19>
Figure 112014031055722-pat00019
여기서, PT는 대상 예측 샘플이며, PLB는 좌측 혹은 하측 인트라 예측 샘플이고, PRA는 우측 또는 상측 인트라 예측 샘플이다. 또한, 도 13에 도시된 바와 같이, d1은 PLB로부터 PT까지의 거리, d2는 PRA로부터 PT까지의 거리를 나타낸다.
예를 들어, 도 13을 참조하면, PT1은 (PLB1×d21+PRA1×d11)/(d11+d21)와 같이 산출될 수 있고, PT2는 (PLB2×d22+PRA2×d12)/(d12+d22)와 같이 산출될 수 있다.
만약에 대상 예측 샘플(PT)의 좌우 또는 상하의 어느 한쪽 방향에만 보간에 사용할 인트라 예측 샘플이 있는 경우에는, PT = PLB, PT = PRA로 설정한다. 또한, 대상 예측 블럭(T)의 인접 블럭에 인트라 모드로 예측된 블럭이 하나도 없는 경우에는 이전 픽쳐의 동일 위치에 있는 화소값을 복사하여 참조 화소값으로 이용할 수 있다.
상술한 PLB, PRA 값으로 경계면 인트라 화소들의 평균값을 사용할 수도 있다. 예컨대, 도 13에서 PT가 E 블럭 또는 D 블럭의 아래쪽 화소열(1320)에 위치하는 경우에는 인트라 모드인 C 블럭의 가장 아래에 있는 4 개 화소의 평균값을 PRA 값으로 사용하고, G 블럭의 가장 오른쪽 8개 화소의 평균값을 PLB 값으로 사용할 수 있다. 이 경우에, d1의 기준점은 G 블럭의 가장 오른쪽 화소들 중 가장 위쪽 화소가 되고, d2의 기준점은 C 블럭의 가장 아래쪽 화소들 중 가장 왼쪽 화소가 될 수 있다.
또한, 선형 보간은 경계면 화소들에 대한 스무딩 효과가 있으므로, AIS(Adaptive Intra Smoothing)을 오프(Off) 시킬 수도 있다. 다만, DC 예측 모드의 경우에는 예측 블럭 경계면 화소들에 대한 필터링은 온(ON) 시킬 수도 있다.
도 14는 상술한 본 발명이 적용되는 시스템에서 부호화기에서의 동작을 개략적으로 설명하는 순서도이다.
도 14를 참조하면, 우선 현재 픽쳐의 새로운 예측 유닛이 입력된다(S1410). 예측 유닛(Prediction Unit: PU)은 인트라(intra) 예측과 인터(inter) 예측을 위한 기반 단위이다. 예측 유닛은 부호화 유닛(Coding Unit: CU)보다 작은 블럭이며, 반드시 정사각형일 필요는 없고, 직사각형일 수도 있다. 예측 유닛의 인트라 예측은 기본적으로 2Nx2N 또는 NxN의 블럭 단위로 수행된다.
이어서, 인트라 예측에 필요한 참조 화소가 생성된다(S1420). 현재 예측 블럭에 인접한 좌측 블럭의 가장 오른쪽 수직 라인상의 화소들과 현재 예측 블럭에 인접한 상측 블럭의 가장 아래쪽 수평 라인상의 화소들이 참조 화소의 생성에 이용된다. 예측 블럭의 크기가 N이면, 상측과 좌측에서 모두 2N개의 화소가 참조 화로서 이용될 수 있다.
이때, 참조 화소는 현재 예측 블럭에 인접한 좌측 블럭의 가장 오른쪽 수직 라인상의 화소들과 현재 예측 블럭에 인접한 상측 블럭의 가장 아래쪽 수평 라인상의 화소들을 그대로 사용할 수도 있고, 인접 블럭의 화소들을 스무딩해서 사용할 수도 있다.
스무딩을 하는 경우에는, 스무딩에 관한 정보 역시 복호화기에 시그널링 한다. 예컨대, 스무딩을 하는 경우에는 적응적 인트라 스무딩(Adaptive Intra Smoothing) 필터를 적용할 수 있는데, 필터 계수로서 [1, 2, 1] 또는 [1, 1, 4, 1, 1] 등을 사용할 수 있다. 두 필터 계수 중에서 후자가 더 샤프(sharp)한 경계면을 제공할 수 있다. 필터를 사용할 건지, 필터를 사용하는 경우에는 어떤 필터를 사용하며 필터 계수는 무엇인지 등의 정보가 상술한 바와 같이 복호화기로 시그널링된다.
한편, 참조 화소를 생성하기 위해 CIP를 적용하는 경우에는 CIP_flag의 값을 1로 설정한다. CIP가 적용되면, 인접 블럭의 화소들 중에서 인트라 모드로 부호화된 화소들만 참조 화소로 사용되고, 인터 모드로 부호화된 인접 블럭의 화소들은 참조 화소로 사용되지 않는다. 이 경우에, 도 13에 관해서 상술한 바와 같이, 근처에 있는 인트라 모드로 부호화된 참조 화소들을 보간하여 인터 모드로 부호화된 인접 블럭의 화소 위치에 대응하는 화소(대상 예측 샘플)들을 참조 화소로 생성하거나, 근처에 있는 인트라 모드로 부호화된 참조 화소를 복사하여 인터 모드로 부호화된 인접 블럭의 화소 위치에 대응하는 참조 화소로 사용할 수 있다.
예컨대, 대상 인터 예측 샘플의 좌우 또는 상하 양쪽에 모두 인트라 모드의 예측 화소가 있는 경우에는 수학식 11과 같이 인터 모드로 예측된 블럭 위치의 대상 예측 샘플(PT)를 계산해 낸다. 또한, 대상 예측 샘플의 한쪽에만 인트라 예측 샘플이 있으면, 수학식 12와 같이 인터 모드로 예측된 블럭 위치의 대상 예측 샘플(PT)를 계산해 낸다. 수학식 11 및/또는 수학식 12에서 PLB, PRA값으로 해당 인트라 모드 화소들의 평균값을 사용할 수도 있다. 만일 인접 블럭에 인트라 모드로 예측된 블럭이 하나도 없는 경우에는 이전 픽쳐의 동일 위치에서 화소값을 복사하여 참조 화소값으로 사용할 수 있다.
선형 보간은 경계면 화소들에 대한 스무딩 효과가 있으므로, CIP를 적용하는 경우에 AIS는 오프시키는 것이 더 효과적일 수도 있다.
이어서, 인트라 예측 모드가 결정된다(S1430).
인트라 예측 모드는 예측 유닛(PU) 단위로 결정되는데, 소요 비트율과 왜곡량의 관계를 고려하여 최적의 예측 모드를 결정한다.
예컨대, RDO(Rate Distortion Optimization)이 온(On)된 경우, 코스트 J = R+rD(R은 비트량, D는 왜곡량, r은 라그랑지 변수)를 최소화하는 모드를 선택할 수 있다. 다만, 로컬 복호화를 완전하게 해야 하므로, 이 경우에는 복잡도가 증가할 수 있다.
ROD가 오프(off)된 경우, 예측 오차를 하다마드(Hadamard) 변환하여 MAD(Mean Absolute Difference)가 최소가 되는 예측 모드를 선택할 수도 있다.
표 1은 휘도 성분에 대한 예측 모드의 개수를 예측 유닛 블럭의 크기에 따라 나타낸 일 예이다.
<표 1>
Figure 112014031055722-pat00020
도 15는 인트라 예측 모드의 예측 방향을 나타낸 것이다. 도 15를 참조하면, 0번 모드는 수직 모드(vertical mode)로서 인접 블럭 화소값을 사용하여 수직 방향으로 예측이 수행된다. 1번 모드는 수평 모드(horizontal mode)로서 인접 블럭 화소값을 사용하여 수평 방향으로 예측이 수행된다. 또한, 2번 모드는 DC 모드로서 현재 예측 대상 블럭의 평균 화소값(예컨대 휘도 화소인 경우에는 휘도값, 색차 화소의 경우에는 색차값)에 의해 예측 블럭을 생성한다. 도 15의 나머지 모드들에 대해서는 해당 각도에 따라 인접 블럭 화소값을 이용하여 예측을 수행한다.
DC 모드인 경우에는 예측 효율을 높이기 위해, 가장 위쪽의 예측 화소와 가장 좌측의 예측 화소들을 필터링할 수 있다. 이때, 필터링의 강도는 블럭의 크기가 작을수록 강할 수 있다. 현재 예측 블럭의 나머지 내부 화소들은 필터링하지 않는다.
한편, DC 모드 대신에 방향성을 반영할 수 있는 플래너 모드를 사용할 수도 있다. 플래너 모드를 사용하는 경우에, 부호화기에서 복호화기로 전송되는 정보 중 Planar_flag의 값은 1로 설정한다. 플래너 모드를 사용하는 경우에는 DC 모드를 사용하지 않는다. 따라서, 플래너 모드 대신에 DC 모드를 사용하는 경우에, Planar_flag의 값은 0으로 설정한다.
플래너 모드를 적용하는 경우에, 플래너 모드에서 사용되는 예측 방법은 도 6 내지 도 10에서 상술한 방법과 동일하다. 이때, 가장 적합한 방법을 선택하기 위해서, 복호기는 상술한 ROD와 같은 동작을 수행할 수도 있다. 필요한 경우에는 상술한 방법들 중에서 둘 이상의 방법을 함께 사용할 수도 있다. 도 6 내지 도 10에서 설명한 플래너 모드에서의 예측 방법들 중 어떤 방법을 선택하였는지에 관하여, 복호기는 부호화기에 관련된 정보를 복호화기에 시그널링 한다.
한편, 색차 성분의 참조 화소에 대하여는, 모드 번호가 4인 경우, 루마(luma) 블럭의 UDI(Unified Directional Intra)가 그대로 채용될 수 있으며, 이러한 모드를 DM 모드라 한다. 모드 번호가 0인 경우, 루마와 크로마 간의 선형 관계를 이용하여 예측 블럭이 생성되며, 이를 선형 예측 모드(LM mode: Linear Model Mode)라 한다. 모드 번호가 1인 경우는 수직(vertical) 모드이며, 예측 방향이 수직 방향이고 루마의 0번 모드에 해당한다. 모드 번호가 2인 경우 수평(horizontal) 모드이며, 예측 방향이 수평 방향이고 루마의 1번 모드에 해당한다. 모드 번호가 3인 경우는 DC 모드이며, 현재 예측 대상 블럭의 평균 색차값에 의해 예측 블럭이 생성되고, 루마의 2번 모드에 해당한다.
다시, 도 14로 돌아와, 부호화기는 현재 블럭의 예측 모드를 부호화한다(S1440). 현재 예측 블럭의 휘도 성분 블럭과 색차 성분 블럭에 대한 예측 모드를 부호화하는데, 현재 예측 대상 블럭의 예측 모드는 인접 블럭의 예측 모드와 상관성이 크기 때문에, 인접 블럭의 예측 모드를 이용해 현재 예측 대상 블럭을 부호화함으로써 비트량을 절감할 수 있다. 또한 현재 예측 대상 블럭의 MPM(Most Probable Mode)가 결정되고, MPM을 이용하여 현재 예측 대상 블럭의 예측 모드가 부호화할 수 있다.
이어서, 현재 예측 블럭의 화소값과 예측 블럭의 화소값에 대하여 화소 단위로 차분값을 구하여 잔차 신호를 생성한다(S1450).
생성한 잔차 신호를 변환하고 부호화한다(S1460). 잔차 신호는 변환 커널(kernel)을 적용하여 부호화할 수 있는데, 변환 부호화 커널의 크기는 2x2, 4x4, 8x8, 16x16, 32x32 또는 64x64이 될 수 있다.
변환에 대한 변환 계수 C가 생성되는데, 변환 계수는 2차원의 블럭 형태를 가질 수 있다. 예를 들어, n×n 블럭에 대해, 변환 계수는 수학식 20과 같이 계산될 수 있다.
<수학식 20>
Figure 112014031055722-pat00021
여기서, C(n,n)은 n×n 크기의 변환 계수에 대한 행렬이고, T(n,n)은 n×n 크기의 변환 커널 행렬이고, B(n,n)은 n×n 크기의 예측 대상 블럭에 대한 행렬이다.
m=hN, n=2N, h=1/2이라고 할 때, m×n 또는 n×m 크기의 차분 블럭에 대한 변환 계수 C는 두 가지 방법으로 계산될 수 있다. 하나는 m×n 또는 n×m 크기의 차분 블럭을 4개의 m×m 블럭으로 분할한 후 각각에 대해 변환 커널을 적용하여 변환 계수를 생성하는 방법이다. 다른 하나의 방법은 m×n 또는 n×m 크기의 차분 블럭 자체에 대해 변환 커널을 적용하여 변환 계수를 생성하는 방법이다.
부호화기는 잔차 신호와 변환 계수 중에서 어떤 것을 전송할 지를 결정한다(S1470). 예컨대, 예측이 잘된 경우에는 변환 부호화를 하지 않고, 잔차 신호를 그대로 전송할 수 있다.
잔차 신호와 변환 계수 중에서 어떤 것을 전송할 지는 상술한 RDO 등을 통해서 결정할 수 있다. 변환 부호화 전후의 비용(cost) 함수를 비교하여 비용이 최소화되도록 결정할 수 있다. 현재 예측 블럭에 대하여 전송할 신호의 타입(잔차 신호 또는 변환 계수)이 결정되면, 전송 되는 신호의 타입 역시 복호화기로 시그널링 한다.
이어서, 부호화기는 변환 계수가 스캔(scan) 된다(S1480). 스캔에 의해 양자화된 2차원의 블럭 형태의 변환 계수가 1차원의 벡터 형태의 변환 계수로 변경될 수 있다.
스캔된 변환 계수와 인트라 예측 모드를 엔트로피 부호화 한다(S1490). 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장될 수 있다.
도 16은 상술한 본 발명이 적용되는 시스템에서 복고화 장치에서의 동작을 개략적으로 설명하는 순서도이다.
도 16을 참조하면, 복호화기는 수신한 비트스트림을 엔트로피 복호화한다(S1610). 이 때, VLC(variable length coding) 테이블로부터 블럭 타입이 얻어지고, 현재 복호화 대상 블럭의 예측 모드가 산출될 수 있다. 수신된 비트 스트림에 복호화에 필요한 보조 정보(side information), 예를 들어 부호화 단위, 예측 단위, 변환 단위에 관한 정보, AIS 필터링에 관련된 정보, 예측 모드 개수 제한 정보, 사용되지 않는 예측 모드에 대한 정보, 예측 모드 재배치 정보, 변환 방법에 관한 정보, 스캔 방법에 관한 정보 등이 포함되는 경우, 비트스트림과 함께 상기 보조 정보도 엔트로피 복호화된다.
또한 복호화된 정보를 통해 현재 복호화 대상 블럭에 대해 전송되어 온 신호가 차분 블럭에 대한 잔차 신호인지, 아니면 변환 계수인지를 확인할 수 있다. 그리고 현재 복호화 대상 블럭에 대해, 차분 블럭에 대한 잔차 신호나 1차원 벡터 형태의 변환 계수가 얻어진다.
이어서, 복호화기는 잔차 블럭을 생성한다(S1620).
복호화기는 엔트로피 복호화된 잔차 신호나 변환 계수를 역스캔(inverse scan)하여 2차원 블럭을 생성한다. 이 때, 잔차 신호의 경우 잔차 블럭이 생성되고, 변환 계수의 경우, 2차원 블럭 형태의 변환 계수가 생성된다.
변환 계수가 생성된 경우 역양자화가 수행된다. 역양자화된 변환 계수는 역변환되고, 역변환을 통해 잔차(residual) 신호에 대한 잔차 블럭이 생성된다. n×n 크기의 블럭에 대한 역변환은 수학식 11에 의해 표현될 수 있다.
이어서, 복호화기는 참조 화소를 생성한다(S1630). 이 때, 부호화기에서 시그널링되어 전송된 AIS 필터링 적용 여부 및 어떤 타입의 필터가 사용되었는지 여부에 대한 정보가 참조되어 복호화기 측에서 참조 화소가 생성된다. 또한 부호화 단계에서와 마찬가지로, 현재 복호화 대상 블럭에 인접한, 이미 복호화되어 복원된 좌측 블럭의 맨 오른쪽 수직라인상의 화소들과 복호화 대상 블럭에 인접한 상단 블럭의 맨 아래쪽 수평라인상의 화소들이 참조 화소 생성에 사용된다.
한편, 복호화기가 수신한 CIP_flag의 값이 1로 설정되어 있는 경우에는, 부호화기에서 대상 픽처에 CIP를 사용한 것이므로, 이에 따라서 참조 화소를 생성한다. 예컨대, 인접 블럭의 화소들 중에서 인트라 모드로 부호화된 화소들만 참조 화소로 사용되고, 인터 모드로 부호화된 인접 블럭의 화소들은 참조 화소로 사용되지 않는다. 이 경우에, 도 16에서 상술한 바와 같이, 근처에 있는 인트라 모드로 부호화된 참조 화소들을 보간하여 인터 모드로 부호화된 인접 블럭의 화소 위치에 대응하는 화소(대상 예측 샘플)들을 참조 화소로 생성하거나, 근처에 있는 인트라 모드로 부호화된 참조 화소를 복사하여 인터 모드로 부호화된 인접 블럭의 화소 위치에 대응하는 참조 화소로 사용할 수 있다.
예컨대, 대상 인터 예측 샘플의 좌우 또는 상하 양쪽에 모두 인트라 모드의 예측 화소가 있는 경우에는 수학식 17과 같이 인터 모드로 예측된 블럭 위치의 대상 예측 샘플(PT)를 계산해 낸다. 또한, 대상 예측 샘플의 한쪽에만 인트라 예측 샘플이 있으면, 수학식 18와 같이 인터 모드로 예측된 블럭 위치의 대상 예측 샘플(PT)를 계산해 낸다. 수학식 17 및/또는 수학식 18에서 PLB, PRA값으로 해당 인트라 모드 화소들의 평균값을 사용할 수도 있다. 만일 인접 블럭에 인트라 모드로 예측된 블럭이 하나도 없는 경우에는 이전 픽쳐의 동일 위치에서 화소값을 복사하여 참조 화소값으로 사용할 수 있다.
참조 화소 생성시, 부호화기 측에서 사용된 참조 화소 생성 방법에 따라, 부호화기 측에서 AIS 필터링이 적용된 경우, 즉 스무딩이 적용되어 AIS가 온(on)인 경우에는 복호화기 측에서도 AIS(Adaptive Intra Smoothing) 필터링이 수행된다. 복호화기는 수신한 정보 중 필터 타입 정보를 기반으로 필터 계수를 정할 수 있다. 예컨대, 적용하는 필터 계수가 [1, 2, 1], [1, 1, 4, 1, 1] 인 경우에는 두 필터 계수 중에서 필터 타입 정보가 지시하는 필터 계수를 적용할 수 있다.
다음으로, 참조 화소 및 현재 복호화 대상 블럭의 엔트로피 복호화된 예측 모드를 사용하여 복호화 대상 블럭에 대한 예측 블럭이 생성된다(S1640).
예측 블럭의 생성 과정은 부호화기 측에서 예측 모드 결정 및 예측 블럭 생성에 사용된 과정과 동일하다. 현재 블럭의 예측 모드가 플래너 모드인 경우에, 예측 블럭을 생성하기 위해 어떤 플래너 예측 방법을 사용하였는지를 시그널링된 정보를 분석해서 파악할 수 있다. 이때, 복호화기는 파악한 내용에 따라서, 도 6 내지 10에서 설명한 플래너 모드 중 어떤 모드가 사용되었는지에 따라서, 예측 블럭을 생성할 수 있다.
다음으로, 예측 블럭의 화소값과 차분 블럭의 화소값이 화소 단위로 더해져서 재생된 블럭, 즉 복원 블럭이 생성된다(S1670).

Claims (4)

  1. 비트스트림으로부터 현재 블록에 대한 레지듀얼 샘플을 유도하는 단계;
    상기 현재 블록의 주변에 위치하는 주변 샘플들을 기반으로 상기 현재 블록에 대한 인트라 예측을 수행하는 단계;
    상기 인트라 예측에 의해 유도된 예측 샘플과 상기 레지듀얼 샘플을 더하여 상기 현재 블록에 대한 복원 샘플을 유도하는 단계; 및
    상기 복원 샘플에 디블록킹 필터를 적용하는 단계를 포함하고,
    상기 인트라 예측을 수행하는 단계는,
    상기 현재 블록의 주변 샘플들 중 상기 현재 블록에 대한 인트라 예측에 이용되지 않는 비가용 샘플이 존재하는 경우에는, 상기 비가용 샘플을 상기 비가용 샘플의 이웃 샘플로 대체하는 단계를 포함하되,
    상기 비가용 샘플이 상기 현재 블록의 좌측 주변 샘플인 경우에, 상기 비가용 샘플의 이웃 샘플은 상기 비가용 샘플의 아래에 인접하는 샘플이며,
    상기 비가용 샘플이 상기 현재 블록의 상측 주변 샘플인 경우에, 상기 비가용 샘플의 이웃 샘플은 상기 비가용 샘플의 좌측에 인접하는 샘플인 것을 특징으로 하는 비디오 디코딩 방법.
  2. 제1항에 있어서, 상기 현재 블록에 대한 인트라 예측 모드가 플래이너 모드(planar mode)인 경우에,
    상기 인트라 예측을 수행하는 단계에서는 상기 주변 샘플들의 선형 보간을 이용하여 상기 예측 샘플을 유도하는 것을 특징으로 하는 비디오 디코딩 방법.
  3. 제2항에 있어서, 상기 주변 샘플들은 상기 좌측 주변 샘플과 상기 상측 주변 샘플을 포함하되,
    상기 좌측 주변 샘플은 상기 예측 샘플과 동일한 y좌표를, 상기 상측 주변 샘플은 상기 예측 샘플과 동일한 x좌표를 가지는 것을 특징으로 하는 비디오 디코딩 방법.
  4. 삭제
KR1020140038232A 2011-05-20 2014-03-31 화면 내 예측 방법 및 장치 KR101453899B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110048130 2011-05-20
KR1020110048130 2011-05-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140007853A Division KR101458794B1 (ko) 2011-05-20 2014-01-22 화면 내 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140056200A KR20140056200A (ko) 2014-05-09
KR101453899B1 true KR101453899B1 (ko) 2014-10-23

Family

ID=48179115

Family Applications (12)

Application Number Title Priority Date Filing Date
KR1020110065210A KR101383775B1 (ko) 2011-05-20 2011-06-30 화면 내 예측 방법 및 장치
KR1020140007853A KR101458794B1 (ko) 2011-05-20 2014-01-22 화면 내 예측 방법 및 장치
KR1020140038231A KR101453898B1 (ko) 2011-05-20 2014-03-31 화면 내 예측 방법 및 장치
KR1020140038230A KR101453897B1 (ko) 2011-05-20 2014-03-31 화면 내 예측 방법 및 장치
KR1020140038232A KR101453899B1 (ko) 2011-05-20 2014-03-31 화면 내 예측 방법 및 장치
KR20140124086A KR101508291B1 (ko) 2011-05-20 2014-09-18 화면 내 예측 방법 및 장치
KR20140124085A KR101508894B1 (ko) 2011-05-20 2014-09-18 화면 내 예측 방법 및 장치
KR20140135606A KR101508292B1 (ko) 2011-05-20 2014-10-08 화면 내 예측 방법 및 장치
KR20140135608A KR101508895B1 (ko) 2011-05-20 2014-10-08 화면 내 예측 방법 및 장치
KR1020140135609A KR101552631B1 (ko) 2011-05-20 2014-10-08 화면 내 예측 방법 및 장치
KR20140135607A KR101508486B1 (ko) 2011-05-20 2014-10-08 화면 내 예측 방법 및 장치
KR20150048599A KR20150043278A (ko) 2011-05-20 2015-04-06 화면 내 예측 방법 및 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020110065210A KR101383775B1 (ko) 2011-05-20 2011-06-30 화면 내 예측 방법 및 장치
KR1020140007853A KR101458794B1 (ko) 2011-05-20 2014-01-22 화면 내 예측 방법 및 장치
KR1020140038231A KR101453898B1 (ko) 2011-05-20 2014-03-31 화면 내 예측 방법 및 장치
KR1020140038230A KR101453897B1 (ko) 2011-05-20 2014-03-31 화면 내 예측 방법 및 장치

Family Applications After (7)

Application Number Title Priority Date Filing Date
KR20140124086A KR101508291B1 (ko) 2011-05-20 2014-09-18 화면 내 예측 방법 및 장치
KR20140124085A KR101508894B1 (ko) 2011-05-20 2014-09-18 화면 내 예측 방법 및 장치
KR20140135606A KR101508292B1 (ko) 2011-05-20 2014-10-08 화면 내 예측 방법 및 장치
KR20140135608A KR101508895B1 (ko) 2011-05-20 2014-10-08 화면 내 예측 방법 및 장치
KR1020140135609A KR101552631B1 (ko) 2011-05-20 2014-10-08 화면 내 예측 방법 및 장치
KR20140135607A KR101508486B1 (ko) 2011-05-20 2014-10-08 화면 내 예측 방법 및 장치
KR20150048599A KR20150043278A (ko) 2011-05-20 2015-04-06 화면 내 예측 방법 및 장치

Country Status (13)

Country Link
US (11) US9154803B2 (ko)
EP (1) EP2712192A4 (ko)
KR (12) KR101383775B1 (ko)
CN (20) CN107659816B (ko)
AU (2) AU2012259700B2 (ko)
BR (1) BR112013029931B1 (ko)
CA (2) CA2958027C (ko)
ES (11) ES2545039B1 (ko)
GB (4) GB2556649B (ko)
PL (1) PL231066B1 (ko)
RU (6) RU2628153C1 (ko)
SE (6) SE537736C2 (ko)
WO (1) WO2012161444A2 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100882949B1 (ko) 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
WO2012081895A1 (ko) 2010-12-13 2012-06-21 한국전자통신연구원 인트라 예측 방법 및 그 장치
US9462272B2 (en) 2010-12-13 2016-10-04 Electronics And Telecommunications Research Institute Intra prediction method and apparatus
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
US9667965B2 (en) 2012-06-25 2017-05-30 Industry-University Cooperation Foundation Hanyang University Video encoding and decoding method
US9386306B2 (en) * 2012-08-15 2016-07-05 Qualcomm Incorporated Enhancement layer scan order derivation for scalable video coding
JP5798539B2 (ja) 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US10003818B2 (en) * 2013-10-11 2018-06-19 Sony Corporation Video coding system with intra prediction mechanism and method of operation thereof
WO2015057947A1 (en) * 2013-10-17 2015-04-23 Huawei Technologies Co., Ltd. Improved reference pixel selection and filtering for intra coding of depth map
WO2016072732A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 텍스쳐 합성 기반 예측 모드를 이용하는 비디오 부호화/복호화 방법 및 장치
US10148953B2 (en) * 2014-11-10 2018-12-04 Samsung Electronics Co., Ltd. System and method for intra prediction in video coding
CN107534780A (zh) * 2015-02-25 2018-01-02 瑞典爱立信有限公司 视频中的帧间画面的编码和解码
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US20160373770A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
WO2017014412A1 (ko) * 2015-07-20 2017-01-26 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
CN108353193B (zh) * 2015-08-19 2022-07-15 Lg 电子株式会社 基于多个基于图的模型处理视频数据的方法和设备
US10136131B2 (en) * 2015-09-11 2018-11-20 Beamr Imaging Ltd. Video coding apparatus and method
KR20180068334A (ko) * 2015-11-12 2018-06-21 엘지전자 주식회사 영상 코딩 시스템에서 계수 유도 인트라 예측 방법 및 장치
WO2017091001A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 픽셀의 기울기에 기초하여 인트라 또는 인터 예측 블록을 후처리하는 방법 및 장치
EP3393126A4 (en) 2016-02-16 2019-04-17 Samsung Electronics Co., Ltd. INTRA PREDICTION METHOD FOR REDUCING INTRA PREDICTION ERRORS AND DEVICE THEREFOR
US10390026B2 (en) * 2016-03-25 2019-08-20 Google Llc Smart reordering in recursive block partitioning for advanced intra prediction in video coding
US10841574B2 (en) * 2016-04-25 2020-11-17 Lg Electronics Inc. Image decoding method and device using intra prediction in image coding system
CN114189681A (zh) * 2016-04-26 2022-03-15 英迪股份有限公司 图像解码方法、图像编码方法以及传输比特流的方法
US11405620B2 (en) 2016-08-01 2022-08-02 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus with sub-block intra prediction
US10542275B2 (en) * 2016-12-28 2020-01-21 Arris Enterprises Llc Video bitstream coding
CN110199523B (zh) * 2017-01-13 2023-06-13 Vid拓展公司 用于帧内平面编码的预测方法
CN116170585A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
US11272202B2 (en) * 2017-01-31 2022-03-08 Sharp Kabushiki Kaisha Systems and methods for scaling transform coefficient level values
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
EP3410708A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for intra prediction with interpolation
JP2019041165A (ja) * 2017-08-23 2019-03-14 富士通株式会社 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム
US20190110052A1 (en) * 2017-10-06 2019-04-11 Futurewei Technologies, Inc. Bidirectional intra prediction
GB2567861A (en) 2017-10-27 2019-05-01 Sony Corp Image data encoding and decoding
KR20190056888A (ko) * 2017-11-17 2019-05-27 삼성전자주식회사 비디오 부호화 장치 및 방법
US10645381B2 (en) * 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
WO2019245650A1 (en) * 2018-06-18 2019-12-26 Interdigital Vc Holdings, Inc. Boundary filtering for planar and dc modes in intra prediction
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
KR102022375B1 (ko) * 2018-08-22 2019-09-18 (주)넥서스일렉트로닉스 Uhd tv용 업스케일 칩셋 모듈
CN110896476B (zh) * 2018-09-13 2021-11-26 阿里巴巴（中国）有限公司 图像处理方法、装置及存储介质
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
GB2580036B (en) * 2018-12-19 2023-02-01 British Broadcasting Corp Bitstream decoding
US11930179B2 (en) * 2018-12-28 2024-03-12 Electronics And Telecommunications Research Institute Video encoding/decoding method, apparatus, and recording medium having bitstream stored thereon
US11418811B2 (en) * 2019-03-12 2022-08-16 Apple Inc. Method for encoding/decoding image signal, and device therefor
US20220217405A1 (en) * 2019-04-03 2022-07-07 Lg Electronics Inc. Video or image coding for modifying reconstructed picture
CN111836043A (zh) * 2019-04-15 2020-10-27 中兴通讯股份有限公司 码块的预测、解码方法及装置
EP3987778B1 (en) * 2019-06-21 2023-11-22 Vid Scale, Inc. Precision refinement for motion compensation with optical flow
WO2020256597A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Matrix-based intra prediction for still picture and video coding
EP3970377B1 (en) * 2019-06-21 2023-08-30 Huawei Technologies Co., Ltd. Method and apparatus of quantizing coefficients for matrix-based intra prediction technique
KR102465614B1 (ko) * 2019-08-14 2022-11-09 엘지전자 주식회사 루마 샘플 위치를 참조하여 크로마 블록의 예측 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20210133395A (ko) 2020-04-29 2021-11-08 삼성전자주식회사 이미지 부호화 장치, 이미지 센싱 장치 및 이미지 부호화 장치의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679031B1 (ko) 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
KR20070040394A (ko) * 2004-07-15 2007-04-16 콸콤 인코포레이티드 인트라-예측 방향에 기반한 ｈ.264 공간 에러 은닉 방법 및장치
JP2008271371A (ja) 2007-04-24 2008-11-06 Sharp Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法およびプログラム

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122873A (en) * 1987-10-05 1992-06-16 Intel Corporation Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels
ATE109604T1 (de) 1987-12-22 1994-08-15 Philips Nv Videosignalkodierung und -dekodierung mit einem adaptiven filter.
GB8729878D0 (en) * 1987-12-22 1988-02-03 Philips Electronic Associated Processing sub-sampled signals
US4903124A (en) * 1988-03-17 1990-02-20 Canon Kabushiki Kaisha Image information signal transmission apparatus
DE68909472T2 (de) * 1988-04-15 1994-04-07 Philips Nv Einrichtung zur Dekodierung von Signalen, die eine Folge von Bildern darstellen und Übertragungssystem von Fernsehbildern mit hoher Auflösung mit einer solchen Einrichtung.
FR2633137B1 (fr) * 1988-06-21 1990-11-09 Labo Electronique Physique Systeme d'emission et reception de television a haute definition a estimateur de vitesses ameliore et a debit de donnees reduit
US5335019A (en) * 1993-01-14 1994-08-02 Sony Electronics, Inc. Digital video data quantization error detection as applied to intelligent dynamic companding
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
JP3900000B2 (ja) * 2002-05-07 2007-03-28 ソニー株式会社 符号化方法及び装置、復号方法及び装置、並びにプログラム
US20030231795A1 (en) 2002-06-12 2003-12-18 Nokia Corporation Spatial prediction based intra-coding
JP4324844B2 (ja) 2003-04-25 2009-09-02 ソニー株式会社 画像復号化装置及び画像復号化方法
KR100597402B1 (ko) 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
CA2547891C (en) 2003-12-01 2014-08-12 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
KR100596706B1 (ko) 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
CN100536573C (zh) * 2004-01-16 2009-09-02 北京工业大学 基于方向的dc预测方法及用于视频编码的帧内预测方法
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
KR101204788B1 (ko) 2004-06-03 2012-11-26 삼성전자주식회사 영상의 공간 예측 부호화 방법, 부호화 장치, 복호화 방법및 복호화 장치
US7953152B1 (en) * 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
KR100654436B1 (ko) * 2004-07-07 2006-12-06 삼성전자주식회사 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
WO2006004331A1 (en) * 2004-07-07 2006-01-12 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
CN1275469C (zh) * 2004-11-10 2006-09-13 华中科技大学 一种复杂度可分级的帧内预测方法
KR100679025B1 (ko) 2004-11-12 2007-02-05 삼성전자주식회사 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
US20060133507A1 (en) 2004-12-06 2006-06-22 Matsushita Electric Industrial Co., Ltd. Picture information decoding method and picture information encoding method
CN101133650B (zh) * 2005-04-01 2010-05-19 松下电器产业株式会社 图像解码装置以及图像解码方法
JP4427003B2 (ja) * 2005-05-23 2010-03-03 オリンパスイメージング株式会社 データ符号化装置、データ復号化装置、データ符号化方法、データ復号化方法、プログラム
KR100716999B1 (ko) * 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US9055298B2 (en) 2005-07-15 2015-06-09 Qualcomm Incorporated Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information
US8155189B2 (en) * 2005-10-19 2012-04-10 Freescale Semiconductor, Inc. System and method of coding mode decision for video encoding
KR101246294B1 (ko) * 2006-03-03 2013-03-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
JP2008153802A (ja) 2006-12-15 2008-07-03 Victor Co Of Japan Ltd 動画像符号化装置及び動画像符号化プログラム
KR101365574B1 (ko) 2007-01-29 2014-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
KR101378338B1 (ko) * 2007-06-14 2014-03-28 삼성전자주식회사 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
US8913670B2 (en) * 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
US8254450B2 (en) 2007-08-23 2012-08-28 Nokia Corporation System and method for providing improved intra-prediction in video coding
CN100562114C (zh) * 2007-08-30 2009-11-18 上海交通大学 视频解码方法与解码装置
KR101946376B1 (ko) * 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101228020B1 (ko) 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
CN101483780B (zh) * 2008-01-07 2011-08-24 华为技术有限公司 一种帧内dc预测的方法及装置
JP5111127B2 (ja) 2008-01-22 2012-12-26 キヤノン株式会社 動画像符号化装置及びその制御方法、並びに、コンピュータプログラム
KR101394209B1 (ko) * 2008-02-13 2014-05-15 삼성전자주식회사 영상의 인트라 예측 부호화 방법
EP2101504B1 (en) * 2008-03-09 2012-07-25 LG Electronics Inc. Video coding using template matching
KR20090097688A (ko) 2008-03-12 2009-09-16 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR101595899B1 (ko) * 2008-04-15 2016-02-19 오렌지 선형 형태의 픽셀들의 파티션들로 슬라이스 된 이미지 또는 이미지들의 시퀀스의 코딩 및 디코딩
US20090262801A1 (en) * 2008-04-17 2009-10-22 Qualcomm Incorporated Dead zone parameter selections for rate control in video coding
EP2266321B1 (en) 2008-04-23 2017-12-13 Telefonaktiebolaget LM Ericsson (publ) Template-based pixel block processing
WO2009136743A2 (ko) * 2008-05-07 2009-11-12 Lg전자 비디오 신호의 디코딩 방법 및 장치
PL2953353T3 (pl) 2008-05-07 2017-08-31 Lg Electronics, Inc. Sposób i urządzenie do dekodowania sygnału wideo
EP2286547B1 (en) 2008-05-09 2017-07-19 Lg Electronics Inc. Apparatus and method for transmission opportunity in mesh network
US20090316788A1 (en) * 2008-06-23 2009-12-24 Thomson Licensing Video coding method with non-compressed mode and device implementing the method
WO2010018992A2 (en) * 2008-08-12 2010-02-18 Lg Electronics Inc. Method of processing a video signal
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
CN101677406B (zh) * 2008-09-19 2011-04-20 华为技术有限公司 一种视频编解码的方法及装置
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US10455248B2 (en) * 2008-10-06 2019-10-22 Lg Electronics Inc. Method and an apparatus for processing a video signal
CN102204256B (zh) * 2008-10-31 2014-04-09 法国电信公司 图像预测方法和系统
JP5238523B2 (ja) 2009-01-13 2013-07-17 株式会社日立国際電気 動画像符号化装置、動画像復号化装置、および、動画像復号化方法
TWI380654B (en) * 2009-02-11 2012-12-21 Univ Nat Chiao Tung The control method of transmitting streaming audio/video data and architecture thereof
US8798158B2 (en) * 2009-03-11 2014-08-05 Industry Academic Cooperation Foundation Of Kyung Hee University Method and apparatus for block-based depth map coding and 3D video coding method using the same
JP5169978B2 (ja) 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
CN101674475B (zh) * 2009-05-12 2011-06-22 北京合讯数通科技有限公司 一种h.264/svc的自适应层间纹理预测方法
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101507344B1 (ko) * 2009-08-21 2015-03-31 에스케이 텔레콤주식회사 가변 길이 부호를 이용한 인트라 예측모드 부호화 방법과 장치, 및 이를 위한기록 매체
FR2952497B1 (fr) 2009-11-09 2012-11-16 Canon Kk Procede de codage et de decodage d'un flux d'images; dispositifs associes
JP2011146980A (ja) * 2010-01-15 2011-07-28 Sony Corp 画像処理装置および方法
KR20110113561A (ko) 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
US8619857B2 (en) 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
EP2559239A2 (en) * 2010-04-13 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
WO2011145862A2 (en) * 2010-05-17 2011-11-24 Lg Electronics Inc. New intra prediction modes
CN101877792B (zh) * 2010-06-17 2012-08-08 无锡中星微电子有限公司 帧内模式预测方法与装置、编码器
PL3125553T3 (pl) 2010-08-17 2018-09-28 M&K Holdings Inc. Sposób kodowania trybu intra-predykcji
CN108737843B (zh) * 2010-09-27 2022-12-27 Lg 电子株式会社 用于分割块的方法和解码设备
US20120121018A1 (en) * 2010-11-17 2012-05-17 Lsi Corporation Generating Single-Slice Pictures Using Paralellel Processors
KR101912307B1 (ko) 2010-12-08 2018-10-26 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
US9930366B2 (en) 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
CN102685505B (zh) * 2011-03-10 2014-11-05 华为技术有限公司 帧内预测的方法和预测装置
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070040394A (ko) * 2004-07-15 2007-04-16 콸콤 인코포레이티드 인트라-예측 방향에 기반한 ｈ.264 공간 에러 은닉 방법 및장치
KR100679031B1 (ko) 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
JP2008522537A (ja) 2004-12-03 2008-06-26 サムスン エレクトロニクス カンパニー リミテッド 多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置
JP2008271371A (ja) 2007-04-24 2008-11-06 Sharp Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法およびプログラム

Also Published As

Publication number Publication date
ES2612388A1 (es) 2017-05-16
RU2576502C2 (ru) 2016-03-10
ES2597432R1 (es) 2017-03-23
CA2958027C (en) 2019-04-30
US20150146781A1 (en) 2015-05-28
GB2560394A (en) 2018-09-12
SE1651172A1 (sv) 2016-09-01
AU2012259700A1 (en) 2013-12-19
KR20140128904A (ko) 2014-11-06
KR101552631B1 (ko) 2015-09-11
CN107566833B (zh) 2020-11-10
CN107786870A (zh) 2018-03-09
CN107592532B (zh) 2020-04-28
CN107786870B (zh) 2020-11-10
ES2597459A2 (es) 2017-01-18
ES2612388B1 (es) 2017-11-24
CN107566832B (zh) 2020-03-06
US9432695B2 (en) 2016-08-30
CN107566833A (zh) 2018-01-09
ES2450643B1 (es) 2015-07-17
RU2628157C1 (ru) 2017-08-15
GB2506039B (en) 2018-10-24
CN107659816B (zh) 2020-07-03
GB201712867D0 (en) 2017-09-27
KR101458794B1 (ko) 2014-11-07
AU2012259700B2 (en) 2015-10-01
KR101508291B1 (ko) 2015-04-08
GB2559438B (en) 2018-11-14
RU2013152690A (ru) 2015-06-27
CN107517377A (zh) 2017-12-26
US9756341B2 (en) 2017-09-05
CN108055537B (zh) 2020-11-10
KR20140135679A (ko) 2014-11-26
CN107566832A (zh) 2018-01-09
US20170006291A1 (en) 2017-01-05
SE1551664A1 (sv) 2015-12-17
ES2597431A2 (es) 2017-01-18
CN107613296A (zh) 2018-01-19
SE541010C2 (sv) 2019-02-26
CN107592530B (zh) 2020-03-06
KR20140128903A (ko) 2014-11-06
US20170034518A1 (en) 2017-02-02
SE1550476A1 (sv) 2015-04-22
US9749640B2 (en) 2017-08-29
SE539822C2 (sv) 2017-12-12
KR20150043278A (ko) 2015-04-22
CN107613295A (zh) 2018-01-19
RU2628160C1 (ru) 2017-08-15
PL407846A1 (pl) 2015-05-25
CN107786871A (zh) 2018-03-09
KR101508486B1 (ko) 2015-04-08
ES2450643R1 (es) 2014-12-11
ES2597433B1 (es) 2017-12-21
CN107592545A (zh) 2018-01-16
KR20140135681A (ko) 2014-11-26
CN107592532A (zh) 2018-01-16
US9843808B2 (en) 2017-12-12
SE537736C3 (ko) 2016-04-12
SE541011C2 (sv) 2019-02-26
CN107592545B (zh) 2020-11-10
CN107592546B (zh) 2020-03-06
CN107592546A (zh) 2018-01-16
CN103703773A (zh) 2014-04-02
ES2597432B1 (es) 2017-12-28
ES2570027B1 (es) 2017-04-12
CN107517379A (zh) 2017-12-26
EP2712192A4 (en) 2015-06-17
KR20140135680A (ko) 2014-11-26
RU2628161C1 (ru) 2017-08-15
US20150139318A1 (en) 2015-05-21
KR20140056200A (ko) 2014-05-09
KR101508894B1 (ko) 2015-04-08
ES2570027R1 (es) 2016-08-01
KR20140019457A (ko) 2014-02-14
CN107517378B (zh) 2020-09-08
AU2015261728B2 (en) 2017-07-27
RU2628153C1 (ru) 2017-08-15
ES2570027A2 (es) 2016-05-13
CA2836888A1 (en) 2012-11-29
US9584815B2 (en) 2017-02-28
ES2545039R1 (es) 2015-12-28
WO2012161444A2 (ko) 2012-11-29
ES2597459B1 (es) 2017-12-21
US9432669B2 (en) 2016-08-30
GB2556649B (en) 2018-10-31
CN104378645A (zh) 2015-02-25
KR20140135678A (ko) 2014-11-26
BR112013029931A2 (pt) 2017-01-24
CN103703773B (zh) 2017-11-07
ES2545039B1 (es) 2016-09-09
US20170006292A1 (en) 2017-01-05
ES2597431R1 (es) 2017-03-17
EP2712192A2 (en) 2014-03-26
KR20130028815A (ko) 2013-03-20
ES2633153B1 (es) 2018-10-10
US20160112719A1 (en) 2016-04-21
KR101383775B1 (ko) 2014-04-14
SE538196C2 (sv) 2016-04-05
GB201321333D0 (en) 2014-01-15
CN107613296B (zh) 2020-11-10
ES2633153A2 (es) 2017-09-19
GB2506039A (en) 2014-03-19
AU2015261728A1 (en) 2015-12-17
BR112013029931B1 (pt) 2022-07-12
ES2597458A2 (es) 2017-01-18
CN107613295B (zh) 2020-05-12
CN107517377B (zh) 2020-08-21
CA2958027A1 (en) 2012-11-29
US9154803B2 (en) 2015-10-06
ES2597458B1 (es) 2017-11-24
US9288503B2 (en) 2016-03-15
ES2597433A2 (es) 2017-01-18
ES2597459R1 (es) 2017-04-26
ES2633153R1 (es) 2017-11-03
ES2597431B1 (es) 2018-02-27
KR20140059177A (ko) 2014-05-15
CN107547894B (zh) 2020-11-10
CN107547894A (zh) 2018-01-05
KR101508895B1 (ko) 2015-04-08
US20160373764A1 (en) 2016-12-22
CA2836888C (en) 2017-10-31
KR20140056199A (ko) 2014-05-09
GB2559438A (en) 2018-08-08
ES2597432A2 (es) 2017-01-18
US20180054620A1 (en) 2018-02-22
GB2560394B (en) 2018-12-05
ES2450643A2 (es) 2014-03-25
CN107592531B (zh) 2020-04-24
US10158862B2 (en) 2018-12-18
CN108055537A (zh) 2018-05-18
CN106851315A (zh) 2017-06-13
KR101508292B1 (ko) 2015-04-08
CN107786871B (zh) 2020-11-10
ES2596027A2 (es) 2017-01-04
WO2012161444A3 (ko) 2013-01-17
RU2628154C1 (ru) 2017-08-15
KR101453897B1 (ko) 2014-10-23
US9445123B2 (en) 2016-09-13
CN106851315B (zh) 2020-04-21
GB2556649A (en) 2018-06-06
ES2597433R1 (es) 2017-04-18
CN107659816A (zh) 2018-02-02
CN107517379B (zh) 2020-09-04
ES2596027R1 (es) 2017-03-17
KR101453898B1 (ko) 2014-10-23
CN104378645B (zh) 2017-11-14
SE1351441A1 (sv) 2014-01-22
CN107517378A (zh) 2017-12-26
ES2597458R1 (es) 2017-04-18
US20160173874A1 (en) 2016-06-16
GB201712865D0 (en) 2017-09-27
SE1651173A1 (sv) 2016-09-01
US20140105290A1 (en) 2014-04-17
ES2596027B1 (es) 2017-12-27
SE537736C2 (sv) 2015-10-06
GB201712866D0 (en) 2017-09-27
US20170006308A1 (en) 2017-01-05
US9749639B2 (en) 2017-08-29
CN107592531A (zh) 2018-01-16
CN107592530A (zh) 2018-01-16
ES2545039A2 (es) 2015-09-07
PL231066B1 (pl) 2019-01-31

Similar Documents

Publication Publication Date Title
KR101552631B1 (ko) 화면 내 예측 방법 및 장치
JP5914680B2 (ja) 映像復号化装置
KR20220151140A (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR102539354B1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102416804B1 (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR102212631B1 (ko) 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치
KR101601854B1 (ko) 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법
KR20120058384A (ko) 인트라 프리딕션 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190930

Year of fee payment: 6