KR101292093B1 - 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법 - Google Patents

화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR101292093B1
KR101292093B1 KR1020110066099A KR20110066099A KR101292093B1 KR 101292093 B1 KR101292093 B1 KR 101292093B1 KR 1020110066099 A KR1020110066099 A KR 1020110066099A KR 20110066099 A KR20110066099 A KR 20110066099A KR 101292093 B1 KR101292093 B1 KR 101292093B1
Authority
KR
South Korea
Prior art keywords
prediction
prediction unit
unit
size
pixel
Prior art date
Application number
KR1020110066099A
Other languages
English (en)
Other versions
KR20120003406A (ko
Inventor
이충구
김민성
이을호
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Publication of KR20120003406A publication Critical patent/KR20120003406A/ko
Application granted granted Critical
Publication of KR101292093B1 publication Critical patent/KR101292093B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상의 복호화 방법은 수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화 및 역변환하여 잔여값을 복원하는 단계와, 비대칭 파티션 분할 및 기하학적 파티션 분할 방법 중 적어도 하나를 적용하여 분할된 예측 유닛에 대하여 복수의 예측 모드 중 하나를 선택적으로 사용하여 화면내 예측 부호화를 수행하여 예측 유닛을 생성하는 단계와, 상기 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 단계를 포함한다. 비대칭 파티션닝 및/또는 기하학적 파티션닝에 대하여 화면내 예측을 적용하여 HD급 이상의 고해상도 영상의 부호화 효율을 향상시킬 수 있다.

Description

화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법{APPARATUSES AND METHODS FOR ENCODING/DECODING OF VIDEO FOR INTRA PREDICTION}
본 발명은 영상의 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 영상의 화면내 예측 부호화에 적용할 수 있는 영상 부호화/복호화 장치 및 방법에 관한 것이다.
일반적으로 영상 압축 방법에서는 압축 효율을 높이기 위해 픽쳐들의 중복도를 제거하는 화면간 예측(inter prediction) 및 화면내 예측(intra prediction) 기술을 이용한다.
화면내 예측을 이용해 영상을 부호화하는 방법은 현재 블록 주위의 이미 부호화된 블록-현재 프레임(또는 픽처)내의 상단 블록, 좌측 블록, 좌측상단 블록, 우측 상단 블록-내의 화소값으로부터 블록간의 화소 상관도를 사용하여 화소값을 예측하고 그 예측오차를 전송한다.
화면내 예측 부호화에서는 부호화하려는 영상의 특성에 맞게 여러가지의 예측 방향(가로, 세로, 대각선, 평균값등) 중에서 최적의 예측 모드(예측 방향)을 선택한다.
기존의 H.264/AVC 표준에서는, 4x4 화소단위의 블록에 대해 화면내 예측 부호화를 적용할 경우, 9가지의 예측 모드(예측 모드 0 내지 8) 중 가장 적절한 예측 모드를 4x4 화소 블록마다 1개씩 선택하고 선택된 예측 모드(예측 방향)을 4x4 화소 블록 단위로 부호화한다. 또한, 16x16 화소단위의 블록에 대해 화면내 예측 부호화를 적용할 경우에는, 4가지의 예측 모드(수직 예측, 수평 예측, 평균값 예측, 평면 예측) 중 가장 적절한 예측 모드를 16x16 화소 블록마다 1개씩 선택하고 선택된 예측 모드(예측 방향)을 16x16 화소 블록 단위로 부호화한다.
기존의 화면내 예측 부호화의 경우에는 MxM 크기의 정사각형의 대칭적인 화소 블록(M=4, 8 또는 16)에 대해서만 소정 개수의 예측 방향을 미리 정해 화면내 예측 부호화를 수행하였다. 즉, 기존에는 화면내 예측 부호화를 위해 MxM 크기의 대칭적인 파티션 분할만을 적용하여 화면내 예측 부호화의 기본 단위로 정사각형 모양을 가지는 대칭적인 블록을 사용하였다.
기존의 대칭적인 화소 블록만을 사용하여 화면내 예측 부호화를 수행할 경우 코딩 효율을 높이는데 한계가 있으므로 코딩 효율을 높이기 위한 방법이 요구된다. 특히, HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상의 경우 대칭적인 화소 블록만을 사용한 화면내 예측 부호화만으로는 코딩 효율을 높이는데 한계가 있으므로 코딩 효율을 높이기 위한 방법이 요구된다.
본 발명의 제1 목적은 HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상에 적용할 수 있는 화면내 예측 부호화 방법 및 부호화 장치를 제공하는 것이다.
본 발명의 제2 목적은 HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상에 적용할 수 있는 화면내 예측 복호화 방법 및 복호화 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 부호화 방법은 입력 영상을 예측 부호화하기 위하여 상기 입력 영상을 비대칭 파티션 분할 및 기하학적 파티션 분할 방법 중 적어도 하나를 적용하여 분할된 예측 유닛에 대하여 복수의 예측 모드 중 하나를 선택적으로 사용하여 화면내 예측 부호화를 수행하는 단계와, 상기 화면내 예측에 의해 예측된 예측 유닛과 현재 예측 유닛간의 차이인 잔여값(residue)을 변환 및 양자화하여 엔트로피 부호화하는 단계를 포함한다. 상기 비대칭 파티션 분할된 예측 유닛내의 화소값은 수직 방향, 수평 방향, 평균값 예측, 우측 대각선 방향 및 좌측 대각선 방향 중 하나의 예측 방향을 따라서 상기 에측 유닛보다 이전에 부호화된 블록내의 화소값을 이용하여 예측될 수 있다.
또한, 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 복호화 방법은 수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화 및 역변환하여 잔여값을 복원하는 단계와, 비대칭 파티션 분할 및 기하학적 파티션 분할 방법 중 적어도 하나를 적용하여 분할된 예측 유닛에 대하여 복수의 예측 모드 중 하나를 선택적으로 사용하여 화면내 예측 부호화를 수행하여 예측 유닛을 생성하는 단계와, 상기 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 단계를 포함한다.
상기 비대칭 파티션 분할된 예측 유닛내의 화소값은 수직 방향, 수평 방향, 평균값 예측, 우측 대각선 방향 및 좌측 대각선 방향 중 하나의 예측 방향을 따라서 상기 에측 유닛보다 이전에 부호화된 블록내의 화소값을 이용하여 예측될 수 있다. 상기 비대칭 파티션 분할된 예측 유닛내의 화소값은 360도 전방향으로 소정의 등각도 간격으로 이루어진 라인을 따라서 상기 예측 유닛보다 이전에 부호화된 블록내의 화소값을 이용하여 예측될 수 있다. 상기 비대칭 파티션 분할된 예측 유닛내의 화소값은 수평 방향으로 dx 및 수직 방향으로 dy 만큼의 기울기를 정의하는 dx 및 dy 정보를 기초로 상기 기울기에 해당되는 각도의 라인을 따라서 화면내 예측을 수행할 수 있다. 상기 예측 유닛의 맨우측 하단의 화소의 예측 화소값은 상기 예측 유닛 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값을 이용하여 구할 수 있다. 상기 예측 유닛의 맨우측 하단의 화소의 예측 화소값은 상기 예측 유닛 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값과 상기 예측 유닛내의 수직 및 수평방향으로 대응되는 내부 예측 화소값들을 이용하여 선형 보간(linear interpolation)을 수행하여 구할 수 있다. N번째 픽처의 현재 예측 유닛의 맨우측 하단의 화소의 예측 화소값은 현재 예측 유닛의 주변에 위치하는 이전에 부호화된 좌측 블록 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값과 N-1번째 픽처의 대응되는 예측 유닛의 주변에 위치하는 이전에 부호화된 좌측 블록 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값을 이용하여 그 평균값을 구하거나 또는 선형 보간을 수행하여 구할 수 있다.
또한, 본 발명의 제2 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상의 복호화 장치는 수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화하고 역변환하여 잔여값을 복원하는 역양자화 및 역변환부와, 비대칭 파티션 분할 및 기하학적 파티션 분할 방법 중 적어도 하나를 적용하여 분할된 예측 유닛에 대하여 복수의 예측 모드 중 하나를 선택적으로 사용하여 화면내 예측 부호화를 수행하여 예측 유닛을 생성하는 인트라 예측부와, 상기 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 가산부를 포함한다.
상술한 바와 같은 화면내 예측 부호화/복호화 방법 및 장치에 따르면, MxN 크기의 비대칭적 모양 또는 임의의 기하학적 모양의 화소 블록에 대해 화면내 예측 부호화/복호화를 적용함으로써 HD급 또는 울트라 HD(Ultra High Definition)급 이상의 고해상도를 가지는 영상의 부호화 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 순환적 코딩 유닛 구조를 나타낸 개념도이다.
도 2 내지 도 5는 본 발명의 일 실시예에 따른 비대칭적 파티션 분할(asymmetric partitioning) 방식을 설명하기 위한 개념도이다.
도 6은 본 발명의 일실시예에 따른 비대칭 화소 블록을 이용한 화면내 예측(Intra Prediction) 부호화 방법을 설명하기 위한 개념도이다.
도 7 내지 도 9는 본 발명의 다른 실시예에 따른 비대칭 화소 블록을 이용한 화면내 예측(Intra Prediction) 부호화 방법을 설명하기 위한 개념도이다.
도 10은 본 발명의 다른 실시예에 따른 선형 예측(Planar prediction)에 기반한 화면내 예측 부호화 방법을 설명하기 위한 개념도이다.
도 11은 본 발명의 또 다른 실시예에 따른 선형 예측(Planar prediction)에 기반한 화면내 예측 부호화 방법을 설명하기 위한 개념도이다.
도 12는 본 발명의 또 다른 실시예들에 따른 기하학적 파티션 분할(geometrical partitioning) 방식을 설명하기 위한 개념도이다.
도 13은 본 발명의 일 실시예에 따른 화면내 예측 부호화를 수행하는 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 14는 본 발명의 일 실시예에 따른 화면내 예측 부호화를 적용한 영상 부호화 방법을 나타내는 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 16은 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 일실시예에서는 HD(High Definition)급 이상의 해상도를 가지는 고해상도에 적용하기 위하여 32x32 픽셀 크기 이상의 확장 매크로블록(Extended Macroblock) 크기를 이용하여 화면간/화면내 예측, 변환, 양자화, 엔트로피 부호화등의 부호화와 복호화를 수행할 수도 있고, 하기 설명하는 순환적(recursive) 코딩 유닛(Coding Unit; CU) 구조를 사용하여 부호화 및 복호화를 수행할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 순환적 코딩 유닛 구조를 나타낸 개념도이다.
도 1을 참조하면, 각 코딩 유닛(CU)은 정사각형 모양을 가지며, 각 코딩 유닛(CU)은 2N X 2N(단위 pixel) 크기의 가변적인 크기를 가질 수 있다. 화면간 예측, 화면내 예측, 변환, 양자화 및 엔트로피 부호화는 코딩 유닛(CU) 단위로 이루어질 수 있다. 코딩 유닛(CU)은 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)를 포함할 수 있으며, 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)의 크기는 8이상의 크기를 가지는 2의 거듭제곱 값으로 나타낼 수 있다.
본 발명의 일 실시예에 따른 코딩 유닛(CU)은 순환적인 트리 구조를 가질 수 있다. 도 1은 최대 코딩 유닛(LCU)인 CU0의 한변의 크기(2N0)가 128(N0=64)이고, 최대 계층 레벨(level) 또는 계층 깊이(depth)가 5인 경우를 나타낸다. 순환적인 구조는 일련의 플래그(flag)를 통하여 표현될 수 있다. 예를들어, 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)의 플래그(flag)값이 0인 경우, 코딩 유닛(CUk)에 대한 코딩(coding)은 현재의 계층 레벨(level) 또는 계층 깊이(depth)에 대해 이루어지며, 플래그(flag)값이 1인 경우, 현재의 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)은 4개의 독립적인 코딩 유닛(CUk+1)으로 분할되며, 분할된 코딩 유닛(CUk+1)은 계층 레벨(level) 또는 계층 깊이(depth)가 k+1이 되며, 크기는 Nk+1 X Nk+1가 된다. 이 경우 코딩 유닛(CUk+1)은 코딩 유닛(CUk)의 서브 코딩 유닛으로 나타낼 수 있다. 코딩 유닛(CUk+1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달할 때까지 코딩 유닛(CUk+1)은 순환적으로(recursive) 처리될 수 있다. 코딩 유닛(CUk+1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)-도 2에서는 4인 경우를 예로 들었음-과 동일한 경우에는 더 이상의 분할은 허용되지 않는다.
최대 코딩 유닛(LCU)의 크기 및 최소 코딩 유닛(SCU)의 크기는 시퀀스 파라미터 셋(Sequence Parameter Set; SPS)에 포함될 수 있다. 시퀀스 파라미터 셋(SPS)는 최대 코딩 유닛(LCU)의 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)를 포함할 수 있다. 예를 들어, 도 1의 경우는 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)는 5이고, 최대 코딩 유닛(LCU)의 한변의 크기가 128(단위 pixel)인 경우, 128 X 128(LCU), 64 X 64, 32 X 32, 16 X 16 및 8 X 8(SCU)의 5가지 종류의 코딩 유닛 크기가 가능하다. 즉, 최대 코딩 유닛(LCU)의 크기 및 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)가 주어지면 허용가능한 코딩 유닛의 크기가 결정될 수 있다.
상기와 같은 본 발명의 일 실시예에 따른 순환적 코딩 유닛 구조를 사용할 경우의 장점은 다음과 같다.
첫째, 기존의 16 X 16 매크로블록보다 큰 사이즈를 지원할 수 있다. 만약 관심 이미지 영역이 균일(homogeneous)하다면, 큰 코딩 유닛(LCU)은 여러 개의 작은 블록들을 사용하는 경우보다 관심 이미지 영역을 더 적은 개수의 심볼들로 표시할 수 있다.
둘째, 고정된 크기의 매크로블록을 사용하는 경우에 비하여 임의의 다양한 크기를 가지는 최대 코딩 유닛(LCU)을 지원함으로써 코덱은 다양한 콘텐츠, 애플리케이션 및 장치에 용이하게 최적화될 수 있다. 즉, 최대 코딩 유닛(LCU) 크기 및 최대 계층 레벨(level) 또는 최대 계층 깊이(depth)를 적절히 선택함으로써, 상기 계층적 블록 구조는 목표로 하는 애플리케이션에 보다 더 최적화 될 수 있다.
셋째, 매크로블록, 서브-매크로블록, 확장 매크로 블록을 구분하지 않고 코딩 유닛(LCU)이라는 한 개의 단일 유닛 형태를 사용함으로써, 멀티레벨 계층적 구조를 최대 코딩 유닛(LCU) 크기, 최대 계층 레벨(level)(또는 최대 계층 깊이(depth)) 및 일련의 플래그를 이용하여 매우 간단하게 나타낼 수 있다. 크기 독립적(size-independent)인 신택스 표현(syntax representation)과 함께 사용될 경우 나머지 코딩 툴들에 대한 하나의 일반화된 크기의 신택스 아이템을 명시하는데 충분하게 되며, 이러한 일관성이 실제 파싱 과정등을 단순화 시킬 수 있다. 계층 레벨(level)(또는 최대 계층 깊이(depth))의 최대값은 임의값을 가질 수 있으며 기존의 H.264/AVC 부호화 방식에서 혀용된 값보다 더 큰 값을 가질 수 있다. 크기 독립적 신택스 표현을 사용하여 코딩 유닛(CU)의 크기에 독립적으로 일관된 방식으로 모든 신택스 엘리먼트(syntax elements)를 명시할 수 있다. 코딩 유닛(CU)에 대한 분할 과정(splitting process)은 순환적으로 명시될 수 있고, 말단 코딩 유닛(leaf coding unit)-계층 레벨의 마지막 코딩 유닛-에 대한 다른 신택스 엘리먼트들은 코딩 유닛 크기에 무관하게 동일한 크기로 정의될 수 있다. 상기와 같은 표현법은 파싱 복잡도를 줄이는 데 매우 효과적이며, 큰 계층 레벨 또는 계층 깊이가 허용되는 경우 표현의 명료성이 향상될 수 있다.
상기와 같은 계층적인 분할 과정이 완료되면 더 이상의 분할 없이 코딩 유닛 계층 트리의 말단 노드에 대해 화면간 예측 또는 화면내 예측을 수행할 수 있으며, 이러한 말단 코딩 유닛이 화면간 예측 또는 화면내 예측의 기본 단위인 예측 유닛(Prediction Unit; PU)으로 사용된다.
즉, 화면간 예측 또는 화면내 예측을 위하여 상기 말단 코딩 유닛에 대해 파티션(partition) 분할이 수행 된다. 파티션 분할은 예측 유닛(PU)에 대해 수행된다. 여기서, 예측 유닛(PU)는 화면간 예측 또는 화면내 예측을 위한 기본 단위의 의미이며, 기존의 매크로 블록 단위 또는 서브-매크로 블록 단위가 될 수도 있고, 32 X 32 픽셀 크기 이상의 확장 매크로 블록 단위가 될 수도 있다.
예측과 관련된 모든 정보(움직임 벡터, 움직임 벡터의 차이값등)는 화면간 예측의 기본 단위인 예측 유닛별로 디코더로 전송된다.
상기 화면간 예측 또는 화면내 예측을 위한 파티션 분할은 비대칭적 파티션 분할(asymmetric partitioning) 방식으로 이루어질 수도 있고, 정사각형이외의 임의의 모양을 가지는 기하학적 파티션 분할(geometrical partitioning) 방식으로 이루어질 수도 있고, 에지 방향에 따른 파티션 분할 방식으로 이루어질 수도 있다. 이하, 본 발명의 실시예들에 따른 파티션 분할 방식에 대해 구체적으로 설명한다.
도 2 내지 도 5는 본 발명의 일 실시예에 따른 비대칭적 파티션 분할(asymmetric partitioning) 방식을 설명하기 위한 개념도이다.
화면간 예측 또는 화면내 예측을 위한 예측 유닛(PU)의 크기가 M X N(M, N은 서로 다른 값을 가지는 자연수로서 단위는 pixel)인 경우 코딩 유닛의 수평방향으로 비대칭적 파티션 분할을 하거나 또는 수직방향으로 비대칭적 파티션 분할을 할 수 있다. 도 3 내지 도 5에서는 예측 유닛(PU)의 크기가 각각 64 X 64, 32 X 32, 16 X 16, 8 X 8인 경우를 예를 들어 도시한 것이다. 특히, 도 3 및 도 4의 경우는 예측 유닛(PU)의 크기가 매크로 블록 크기인 16X16 보다 큰 경우의 비대칭적 파티션을 나타낸다.
도 2를 참조하면, 예측 유닛(PU)의 크기가 각각 64 X 64인 경우, 수평 방향으로 비대칭적 파티션 분할을 하여 64 X 16크기의 파티션 P11a와 64 X 48 크기의 P21a로 분할하거나, 64 X 48 크기의 파티션 P12a와 64 X 16 크기의 P22a로 분할할 수 있다. 또한, 수직 방향으로 비대칭적 파티션 분할을 하여 16 X 64 크기의 파티션 P13a와 48 X 64 크기의 P23a로 분할하거나, 48 X 64 크기의 파티션 P14a와 16 X 64 크기의 P24a로 분할할 수 있다.
도 3을 참조하면, 예측 유닛(PU)의 크기가 각각 32 X 32인 경우, 수평 방향으로 비대칭적 파티션 분할을 하여 32 X 8 크기의 파티션 P11b와 32 X 24 크기의 P21b로 분할하거나, 32 X 24 크기의 파티션 P12b와 32 X 8 크기의 P22b로 분할할 수 있다. 또한, 수직 방향으로 비대칭적 파티션 분할을 하여 8 X 32 크기의 파티션 P13b와 24 X 32 크기의 P23b로 분할하거나, 24 X 32 크기의 파티션 P14b와 8 X 32 크기의 P24b로 분할할 수 있다.
도 4를 참조하면, 예측 유닛(PU)의 크기가 16 X 16인 경우, 수평 방향으로 비대칭적 파티션 분할을 하여 16 X 4 크기의 파티션 P11c와 16 X 12 크기의 P21c로 분할하거나, 도면에서는 도시하지 않았으나 16 X 12 크기의 상단 파티션과 16 X 4 크기의 하단 파티션으로 분할할 수 있다. 또한, 도면에서는 도시하지 않았으나 수직 방향으로 비대칭적 파티션 분할을 하여 4 X 16 크기의 좌측단 파티션과 12 X 16 크기의 우측단 파티션으로 분할하거나, 12 X 16 크기의 좌측단 파티션과 4 X 16 크기의 우측단 파티션으로 분할할 수 있다.
도 5를 참조하면, 예측 유닛(PU)의 크기가 8 X 8인 경우, 수평 방향으로 비대칭적 파티션 분할을 하여 8 X 2 크기의 파티션 P11d와 8 X 6 크기의 P21d로 분할하거나, 도면에서는 도시하지 않았으나 8 X 6 크기의 상단 파티션과 8 X 2 크기의 하단 파티션으로 분할할 수 있다. 또한, 도면에서는 도시하지 않았으나 수직 방향으로 비대칭적 파티션 분할을 하여 2 X 8 크기의 좌측단 파티션과 6 X 8 크기의 우측단 파티션으로 분할하거나, 6 X 8 크기의 좌측단 파티션과 2 X 8 크기의 우측단 파티션으로 분할할 수 있다.
도 6은 본 발명의 일실시예에 따른 비대칭 화소 블록을 이용한 화면내 예측(Intra Prediction) 부호화 방법을 설명하기 위한 개념도이다.
도 7 내지 도 9는 본 발명의 다른 실시예에 따른 비대칭 화소 블록을 이용한 화면내 예측(Intra Prediction) 부호화 방법을 설명하기 위한 개념도이다. 도 6 내지 도 9는 화면내 예측시 도 2 내지 도 5의 비대칭 파티션 분할을 사용하는 경우의 화면내 예측을 예를 들어 설명한 것으로서 도 6 내지 도 9에 도시된 경우로만 한정되는 것은 아니며, 도 2 내지 도 5에 도시된 다양한 비대칭 파티션 분할의 경우들에 대해서도 본 발명의 다른 실시예에 따른 비대칭 화소 블록을 이용한 화면내 예측 부호화 방법을 적용할 수 있음은 물론이다.
도 6은 예측 유닛(PU)의 크기가 8 X 8인 경우, 수평 방향으로 비대칭적 파티션 분할을 하여 8 X 2 크기의 파티션 P11d에 대하여 화면간 예측을 수행하기 위한 예측 모드를 설명하기 위한 도면이다.
도 6을 참조하면, 8 X 2 크기의 파티션 P11d에 대해서는 수직 방향(예측 모드 0), 수평 방향(예측 모드 1), 평균값 예측(예측 모드 2), 우측 대각선 방향(예측 모드 3), 좌측 대각선 방향(예측 모드 4)의 예측 방향을 따라서 이전에 부호화된 블록내의 화소값을 이용하여 8 X 2 크기의 파티션 P11d 내의 화소값을 예측한다.
예를 들어, 예측 모드 0의 경우에는, 8 X 2 크기의 파티션 P11d 내의 예측 화소값으로 이전에 부호화된 상단 블록내의 수직방향의 대응되는 위치의 화소값과 동일한 값을 사용한다.
예측 모드 1의 경우에는, 8 X 2 크기의 파티션 P11d 내의 예측 화소값으로 이전에 부호화된 좌측 블록내의 수평 방향의 대응되는 위치의 화소값과 동일한 값을 사용한다.
예측 모드 2의 경우에는, 8 X 2 크기의 파티션 P11d 내의 예측 화소값으로 이전에 부호화된 좌측 블록 및 상단 블록내의 화소값들의 평균값을 사용한다.
예측 모드 3의 경우에는, 8 X 2 크기의 파티션 P11d 내의 예측 화소값으로 이전에 부호화된 상단 블록내의 우측 대각선 방향의 화소값과 동일한 값을 사용한다. 예측 모드 3의 경우에는 파티션 P11d의 상단 블록내의 화소만으로 부족한 부분은 상단 우측 블록내의 화소 2개를 이용할 수 있다.
예측 모드 4의 경우에는, 8 X 2 크기의 파티션 P11d 내의 예측 화소값으로 이전에 부호화된 좌측 및 상단 블록내의 좌측 대각선 방향의 화소값과 동일한 값을 사용한다.
도 7은 예측 유닛(PU)의 크기가 8 X 8인 경우, 수평 방향으로 비대칭적 파티션 분할을 하여 8 X 6 크기의 파티션 P21d에 대하여 화면간 예측을 수행하기 위한 예측 모드를 설명하기 위한 도면이다.
도 7을 참조하면, 8 X 6 크기의 파티션 P21d에 대해서는 수직 방향(예측 모드 0), 수평 방향(예측 모드 1), 평균값 예측(예측 모드 2), 우측 대각선 방향(예측 모드 3), 좌측 대각선 방향(예측 모드 4)의 예측 방향을 따라서 이전에 부호화된 블록내의 화소값을 이용하여 8 X 6 크기의 파티션 P21d 내의 화소값을 예측한다.
예를 들어, 예측 모드 0의 경우에는, 8 X 6 크기의 파티션 P21d 내의 예측 화소값으로 이전에 부호화된 상단 블록내의 수직방향의 대응되는 위치의 화소값과 동일한 값을 사용한다.
예측 모드 1의 경우에는, 8 X 6 크기의 파티션 P21d 내의 예측 화소값으로 이전에 부호화된 좌측 블록내의 수평 방향의 대응되는 위치의 화소값과 동일한 값을 사용한다.
예측 모드 2의 경우에는, 8 X 6 크기의 파티션 P21d 내의 예측 화소값으로 이전에 부호화된 좌측 블록 및 상단 블록내의 화소값들의 평균값을 사용한다.
예측 모드 3의 경우에는, 8 X 6 크기의 파티션 P21d 내의 예측 화소값으로 이전에 부호화된 상단 블록내의 우측 대각선 방향의 화소값과 동일한 값을 사용한다. 예측 모드 3의 경우에는 파티션 P21d의 상단 블록내의 화소만으로 부족한 부분은 상단 우측 블록내의 화소 6개를 이용할 수 있다.
예측 모드 4의 경우에는, 8 X 6 크기의 파티션 P21d 내의 예측 화소값으로 이전에 부호화된 좌측 및 상단 블록내의 좌측 대각선 방향의 화소값과 동일한 값을 사용한다.
도 8은 예측 유닛(PU)의 크기가 16 X 16인 경우, 수평 방향으로 비대칭적 파티션 분할을 하여 16 X 4 크기의 파티션 P11c에 대하여 화면간 예측을 수행하기 위한 예측 모드를 설명하기 위한 도면이다.
도 8을 참조하면, 16 X 4 크기의 파티션 P11c에 대해서는 수직 방향(예측 모드 0), 수평 방향(예측 모드 1), 평균값 예측(예측 모드 2), 우측 대각선 방향(예측 모드 3), 좌측 대각선 방향(예측 모드 4)의 예측 방향을 따라서 이전에 부호화된 블록내의 화소값을 이용하여 16 X 4 크기의 파티션 P11c 내의 화소값을 예측한다.
예를 들어, 예측 모드 0의 경우에는, 16 X 4 크기의 파티션 P11c 내의 예측 화소값으로 이전에 부호화된 상단 블록내의 수직방향의 대응되는 위치의 화소값과 동일한 값을 사용한다.
예측 모드 1의 경우에는, 16 X 4 크기의 파티션 P11c 내의 예측 화소값으로 이전에 부호화된 좌측 블록내의 수평 방향의 대응되는 위치의 화소값과 동일한 값을 사용한다.
예측 모드 2의 경우에는, 16 X 4 크기의 파티션 P11c 내의 예측 화소값으로 이전에 부호화된 좌측 블록 및 상단 블록내의 화소값들의 평균값을 사용한다.
예측 모드 3의 경우에는, 16 X 4 크기의 파티션 P11c 내의 예측 화소값으로 이전에 부호화된 상단 블록내의 우측 대각선 방향의 화소값과 동일한 값을 사용한다. 예측 모드 3의 경우에는 파티션 P11c의 상단 블록내의 화소만으로 부족한 부분은 상단 우측 블록내의 화소 4개를 이용할 수 있다.
예측 모드 4의 경우에는, 16 X 4 크기의 파티션 P11c 내의 예측 화소값으로 이전에 부호화된 좌측 및 상단 블록내의 좌측 대각선 방향의 화소값과 동일한 값을 사용한다.
도 9는 예측 유닛(PU)의 크기가 확장 매크로 블록 크기에 해당되는 32 X 32인 경우, 수평 방향으로 비대칭적 파티션 분할을 하여 32 X 8 크기의 파티션 P11b에 대하여 화면간 예측을 수행하기 위한 예측 모드를 설명하기 위한 도면이다.
도 9를 참조하면, 32 X 8 크기의 파티션 P11c에 대해서는 수직 방향(예측 모드 0), 수평 방향(예측 모드 1), 평균값 예측(예측 모드 2), 우측 대각선 방향(예측 모드 3), 좌측 대각선 방향(예측 모드 4)의 예측 방향을 따라서 이전에 부호화된 블록내의 화소값을 이용하여 32 X 8 크기의 파티션 P11b 내의 화소값을 예측한다.
예를 들어, 예측 모드 0의 경우에는, 32 X 8 크기의 파티션 P11b 내의 예측 화소값으로 이전에 부호화된 상단 블록내의 수직방향의 대응되는 위치의 화소값과 동일한 값을 사용한다.
예측 모드 1의 경우에는, 32 X 8 크기의 파티션 P11b 내의 예측 화소값으로 이전에 부호화된 좌측 블록내의 수평 방향의 대응되는 위치의 화소값과 동일한 값을 사용한다.
예측 모드 2의 경우에는, 32 X 8 크기의 파티션 P11b 내의 예측 화소값으로 이전에 부호화된 좌측 블록 및 상단 블록내의 화소값들의 평균값을 사용한다.
예측 모드 3의 경우에는, 32 X 8 크기의 파티션 P11b 내의 예측 화소값으로 이전에 부호화된 상단 블록내의 우측 대각선 방향의 화소값과 동일한 값을 사용한다. 예측 모드 3의 경우에는 파티션 P11b의 상단 블록내의 화소만으로 부족한 부분은 상단 우측 블록내의 화소 8개를 이용할 수 있다.
예측 모드 4의 경우에는, 32 X 8 크기의 파티션 P11b 내의 예측 화소값으로 이전에 부호화된 좌측 및 상단 블록내의 좌측 대각선 방향의 화소값과 동일한 값을 사용한다.
도 6 내지 도 9에서는 비대칭 파티션 블록에 대해 예측 유닛의 크기별로 소정 개수의 예측 모드를 사용한 경우를 예시적으로 나타낸 것이며, 예측 유닛별로 도면에서 도시되지 않은 다른 방향의 예측 모드도 사용이 가능함은 물론이다. 예를들어, 이전에 부호화된 좌측 및 상단 블록내의 화소값을 이용하여 360도 전방향으로 소정의 등각도(22.5도, 11.25도등) 간격으로 이루어진 라인을 따라서 화면내 예측을 수행할 수도 있다. 또는, 임의의 각도를 인코더측에서 미리 지정하여 상기 지정된 각도의 라인을 따라서 화면내 예측을 수행할 수도 있다. 상기 임의의 각도를 지정하기 위하여 예를 들어, 수평 방향으로 dx, 수직 방향으로 dy 만큼의 기울기를 정의하여 인코더측에서 dx, dy 정보를 디코더로 전송할 수 도 있고, 소정의 각도 정보를 인코더측에서 디코더로 전송할 수도 있다.
도 10은 본 발명의 다른 실시예에 따른 선형 예측(Planar prediction)에 기반한 화면내 예측 부호화 방법을 설명하기 위한 개념도이다.
HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상의 부호화를 위해 16 x 16 이상 크기의 확장 매크로 블록을 사용하거나, 예측 유닛의 크기가 8 x 8 이상 커지는 경우 예측 유닛의 맨우측 하단의 화소값에 대해 기존의 화면내 예측 모드를 적용할 경우 예측으로 인한 왜곡으로 인하여 부드러운 영상(smooth image)으로 복원하기 어렵게 될 수 있다.
이 경우 별도의 선형 예측 모드(planar mode)를 정의하고, 선형 예측 모드 플래그가 활성화된 경우 도 10에 도시된 바와 같이 예측 유닛의 맨우측 하단의 화소(1010)의 예측 화소값을 구하기 위해 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값(1001, 1003) 및/또는 예측 블록내의 수직 및 수평방향으로 대응되는 내부 화소값들을 이용하여 선형 보간(linear interpolation)을 수행할 수 있다. 즉, 선형 예측 모드 플래그가 활성화된 경우 도 10에 도시된 바와 같이 예측 유닛의 맨우측 하단의 화소(예를 들어, 1010 화소)의 예측 화소값을 구하기 위해 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값(1001, 1003)을 이용하여 선형 보간(linear interpolation)을 수행할 수 있다. 또는, 선형 예측 모드 플래그가 활성화된 경우 도 10에 도시된 바와 같이 예측 유닛의 맨우측 하단의 화소(예를 들어, 1010 화소)의 예측 화소값을 구하기 위해 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값(1001, 1003) 및 예측 블록내의 수직 및 수평방향으로 대응되는 내부 예측 화소값들을 이용하여 선형 보간(linear interpolation)을 수행할 수 있다. 선형 예측 모드 플래그가 활성화된 경우 예측 유닛의 맨우측 최하단의 화소값은 부호화기에서 복호화기쪽으로 전송할 수도 있다. 여기서, 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값(1001, 1003)은, 도 10의 경우와 같이 현재 예측 유닛이 8X8 예측 블록으로 이루어진 경우 상기 예측 블록의 주변에 있는 이미 부호화된 블록 중 좌측 블록 및 상단 블록 내의 화소값으로서, 상기 예측 유닛의 맨우측 하단의 화소(1010)의 수평 방향의 대응되는 화소값은 화소(1003)을 의미하며, 상기 예측 유닛의 맨우측 하단의 화소(1010)의 수직 방향의 대응되는 화소값은 화소(1001)을 의미하고, 상기 예측 블록내의 수평 방향으로 대응되는 내부 예측 화소값은 화소(1003)과 맨우측 하단의 화소(1010) 사이에 수평방향을 따라서 위치하는 화소들 중의 적어도 하나를 의미하며, 상기 예측 블록내의 수직 방향으로 대응되는 내부 예측 화소값은 화소(1001)과 맨우측 하단의 화소(1010) 사이에 수직방향을 따라서 배열된 화소들 중의 적어도 하나를 의미한다.
또한, 선형 예측 모드 플래그가 활성화된 경우 예측 유닛의 내부 화소의 예측 화소값은 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값 및/또는 예측 유닛내부의 수직 및 수평방향으로 대응되는 내부 경계 예측 화소값(예를 들어 화소(1003)과 맨우측 하단의 화소(1010) 사이에 수평방향을 따라서 위치하는 화소들 중의 적어도 하나, 또는 화소(1001)과 맨우측 하단의 화소(1010) 사이에 수직방향을 따라서 배열된 화소들 중의 적어도 하나)을 이용하여 이선형 보간(bilinear interpolation)을 수행하여 구할 수 있다. 여기서, 예측 유닛의 내부 화소의 예측 화소값은 상기 예측 블록내의 수평 방향으로 배열된 내부 화소의 예측 화소값(도 10의 경우 8X8 블록이므로 8개의 수평 라인이 있으며, 8개 각각의 수평 라인 방향으로 배열된 8개의 내부 화소의 예측 화소값) 또는 상기 예측 블록내의 수직 방향으로 배열된 내부 화소의 예측 화소값(도 10의 경우 8X8 블록이므로 8개의 수직 라인이 있으며, 8개 각각의 수직 라인 방향으로 배열된 8개의 내부 화소의 예측 화소값)을 의미한다.
도 10에서 예측 유닛의 내부 화소의 예측 화소값을 구하는 경우, 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값은, 도 10의 경우와 같이 현재 예측 유닛이 8X8 예측 블록으로 이루어진 경우 상기 예측 블록의 주변에 있는 이미 부호화된 블록 중 좌측 블록 및 상단 블록 내의 화소값으로서, 상기 예측 유닛의 맨우측 라인의 8개 화소(맨 위부터 맨 아래까지 8개 화소)의 수평 방향의 대응되는 화소값은 상기 예측 블록의 주변에 있는 이미 부호화된 좌측 블록내의 화소값 중에서 상기 예측 유닛의 맨우측 라인의 해당 화소와 수평 방향으로 동일한 위치에 배열된 화소값을 의미하며, 상기 예측 유닛의 최하단 라인의 8개 화소(맨 좌측부터 맨 우측까지 8개 화소)의 수직 방향의 대응되는 화소값은 상기 예측 블록의 주변에 있는 이미 부호화된 상단 블록내의 화소값 중에서 상기 예측 유닛의 최하단 라인의 해당 화소와 수직 방향으로 동일한 위치에 배열된 화소값을 의미한다.
또한, 도 10에서 예측 유닛의 내부 화소의 예측 화소값을 구하는 경우, 예측 유닛내부의 수직 및 수평방향으로 대응되는 내부 경계 예측 화소값은 도 10의 경우와 같이 현재 예측 유닛이 8X8 예측 블록으로 이루어진 경우 상기 예측 블록의 내부의 맨우측 라인 또는 최하측 라인에 위치한 화소값(예측된 화소값)으로서, 예를 들어 상기 예측 유닛의 상단으로부터 5번째 수평 라인상의 8개 화소 중 우측 7번째 화소의 대응되는 내부 경계 예측 화소값은 상기 예측 유닛의 상단으로부터 5번째 수평 라인상의 8개 화소 중 가장 우측의 화소값(예측 화소값)이 될 수 있다. 이 경우 상기 예측 유닛의 상단으로부터 5번째 수평 라인상의 8개 화소 중 우측 7번째 화소의 예측 화소값은 상기 예측 블록의 주변에 있는 이미 부호화된 좌측 블록내의 화소값 중에서 상기 예측 유닛의 상단으로부터 5번째 수평 라인상의 8개 화소 중 우측 7번째 화소와 수평 방향으로 동일한 위치에 배열된 이전에 부호화된 화소값과, 상기 예측 유닛의 상단으로부터 5번째 수평 라인상의 8개 화소 중 가장 우측의 화소값(예측 화소값)을 이용하여 이선형 보간(bilinear interpolation)을 수행하여 구할 수 있다.
또한, 도 10에서 예측 유닛의 내부 화소의 예측 화소값을 구하는 경우, 예측 유닛내부의 수직 및 수평방향으로 대응되는 내부 경계 예측 화소값은 도 10의 경우와 같이 현재 예측 유닛이 8X8 예측 블록으로 이루어진 경우, 예를 들어 상기 예측 유닛의 가장 좌측으로부터 우측으로 5번째 수직 라인상의 8개 화소 중 맨위에서 하측방향으로 7번째 화소의 대응되는 내부 경계 예측 화소값은 상기 예측 유닛의 가장 좌측으로부터 우측으로 5번째 수직 라인상의 8개 화소 중 가장 하단의 화소값이 될 수 있다. 이 경우 상기 예측 유닛의 가장 좌측으로부터 우측으로 5번째 수직 라인상의 8개 화소 중 맨위에서 하측방향으로 7번째 화소의 예측 화소값은 상기 예측 블록의 주변에 있는 이미 부호화된 상측 블록내의 화소값 중에서 상기 예측 유닛의 가장 좌측으로부터 우측으로 5번째 수직 라인상의 8개 화소 중 맨위에서 하측방향으로 7번째 화소와 수직 방향으로 동일한 위치에 배열된 이전에 부호화된 화소값과, 상기 예측 유닛의 가장 좌측으로부터 우측으로 5번째 수직 라인상의 8개 화소 중 가장 하단의 화소값(예측 화소값)을 이용하여 이선형 보간(bilinear interpolation)을 수행하여 구할 수 있다.
한편, 선형 예측 모드 플래그가 활성화된 경우 예측 유닛의 맨우측 하단의 화소값은 부호화기에서 복호화기쪽으로 전송할 수 있다. 또한, 도 10의 맨우측 라인의 화소값은 부호화기에서 전송된 맨우측 최하단의 화소(1010)값과 맨우측 최상단의 화소(1001)값을 이용하여 선형 보간(linear interpolation)을 수행하여 구할 수도 있다. 또는, 도 10의 맨하측 라인의 화소값은 부호화기에서 전송된 맨우측 최하단의 화소(1010)값과 맨좌측 최하단의 화소(1003)값을 이용하여 선형 보간(linear interpolation)을 수행하여 구할 수도 있다.
도 11은 본 발명의 또 다른 실시예에 따른 선형 예측(Planar prediction)에 기반한 화면내 예측 부호화 방법을 설명하기 위한 개념도이다.
선형 예측 모드 플래그가 활성화된 경우, 도 11에 도시된 바와 같이, 부호화할 현재 픽처인 N번째 픽처에 포함된 제1 크기-도 11에서는 예시적으로 8 x 8 크기-를 가지는 현재 예측 유닛에 대한 참조 예측 유닛을 상기 N번째 픽처보다 시간적으로 앞에 위치한 N-1번째 픽처에서 결정한다. 상기 N번째 픽처의 현재 예측 유닛의 맨우측 하단의 화소의 예측 화소값을 구하기 위해 현재 예측 유닛의 주변에 위치하는 이전에 부호화된 좌측 블록 및 상단 블록(213)내의 수직 및 수평 방향의 대응되는 화소값 뿐만 아니라 N-1번째 픽처의 대응되는 예측 유닛의 주변에 위치하는 이전에 부호화된 좌측 블록 및 상단 블록(233)내의 수직 및 수평 방향의 대응되는 화소값을 이용하여 그 평균값을 구하거나 또는 선형 보간을 수행할 수 있다.
또는, 상기 N번째 픽처의 현재 예측 유닛의 맨우측 하단의 화소의 예측 화소값을 구하기 위해 현재 예측 유닛의 주변에 위치하는 이전에 부호화된 좌측 블록 및 상단 블록(213)내의 수직 및 수평 방향의 대응되는 화소값 및 N번째 픽처의 현재 예측 유닛내의 수직 및 수평방향으로 대응되는 내부 화소값들 뿐만 아니라 N-1번째 픽처의 대응되는 예측 유닛의 주변에 위치하는 이전에 부호화된 좌측 블록 및 상단 블록(233)내의 수직 및 수평 방향의 대응되는 화소값을 이용하여 그 평균값을 구하거나 또는 선형 보간을 수행할 수 있다.
또는, 상기 N번째 픽처의 현재 예측 유닛의 맨우측 하단의 화소의 예측 화소값을 구하기 위해 현재 예측 유닛의 주변에 위치하는 이전에 부호화된 좌측 블록 및 상단 블록(213)내의 수직 및 수평 방향의 대응되는 화소값 및 N번째 픽처의 현재 예측 유닛내의 수직 및 수평방향으로 대응되는 내부 화소값들 뿐만 아니라 N-1번째 픽처의 대응되는 예측 유닛의 주변에 위치하는 이전에 부호화된 좌측 블록 및 상단 블록(233)내의 수직 및 수평 방향의 대응되는 화소값 및 N-1번째 픽처의 대응되는 예측 유닛내의 맨우측 하단의 화소의 수직 및 수평방향으로 대응되는 내부 화소값을 이용하여 그 평균값을 구하거나 또는 선형 보간을 수행할 수 있다.
또는 선형 예측 모드 플래그가 활성화된 경우, N번째 픽처의 예측 유닛의 내부 화소의 예측 화소값은 N번째 픽처의 현재 예측 유닛의 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값 및/또는 N번째 픽처의 현재 예측 유닛내부의 수직 및 수평방향으로 대응되는 내부 경계 화소값들, N-1번째 픽처의 대응 예측 유닛의 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값 및/또는 N-1번째 픽처의 대응 예측 유닛내부의 수직 및 수평방향으로 대응되는 내부 경계 화소값들을 이용하여 이선형 보간(bilinear interpolation)을 수행하여 구할 수 있다.
도 11에서는 N번째 픽처의 현재 예측 유닛과 N-1번째 픽처의 대응 예측 유닛을 이용하여 화면내 예측을 수행하는 경우를 도시하였으나, N번째 픽처의 현재 예측 유닛과 N+1번째 픽처의 대응 예측 유닛을 이용하여 화면내 예측을 수행할 수도 있고, 또는 N번째 픽처의 현재 예측 유닛과 N-1번째 픽처 및 N+1번째 픽처의 대응 예측 유닛을 이용하여 화면내 예측을 수행할 수도 있고, 또는 N번째 픽처의 현재 예측 유닛과 N-2번째 픽처, N-1번째 픽처, N+1번째 픽처, N+2번째 픽처의 대응 예측 유닛을 이용하여 화면내 예측을 수행할 수도 있다.
상기 제2 크기를 가지는 현재 예측 유닛은 8×8 픽셀 또는 16×16 픽셀 또는 32 × 32 픽셀 크기의 정사각형 대칭 형태를 가질 수도 있고, 도 2 내지 도 5에서 전술한 바와 같은 비대칭적 형태를 가질 수도 있다. 상기 도 2 내지 도 5에서 전술한 바와 같은 비대칭적 형태에 대해서도 도 10 및 도 11을 포함한 전술한 실시예들을 적용하여 화면간 예측을 수행할 수도 있음은 물론이다.
즉, 전술한 도 10 및 도 11의 선형 예측(Planar prediction)에 기반한 화면내 예측 부호화 방법은 예측 유닛이 전술한 비대칭적 모양 또는 임의의 기하학적 모양을 가지는 화소 블록에 대해서 뿐만 아니라 직사각형 모양 또는 정방형의 대칭적 모양을 가지는 화소 블록에 대한 화면내 예측 부호화/복호화에도 적용될 수 있다.
도 12는 본 발명의 또 다른 실시예들에 따른 기하학적 파티션 분할(geometrical partitioning) 방식을 설명하기 위한 개념도이다.
도 12는 예측 유닛(PU)에 대해 정사각형이외의 모양을 가지는 기하학적 파티션 분할을 하는 경우의 일실시예를 나타낸 것이다.
도 12를 참조하면, 예측 유닛(PU)에 대해 기하학적 파티션의 경계선 L은 다음과 같이 정의할 수 있다. 예측 유닛(PU)의 중심(O)을 X, Y 축을 이용하여 4개 사분면으로 등분한 후 예측 유닛(PU)의 중심(O)으로부터 경계선 L에 수선을 그리면, 예측 유닛(PU)의 중심(O)으로부터 경계선 L까지의 수직 거리 ρ, X축으로부터 반시계 방향으로 상기 수선까지의 회전각도 θ에 의해 임의 방향의 모든 경계선을 특정할 수 있다.
화면간 예측 또는 화면내 예측을 위한 예측 유닛(PU)을 중심을 기준으로 4개 사분면으로 등분한 후, 2사분면의 좌상단 블록 파티션, 나머지 1, 3, 4분면으로 이루어진 '』' 모양의 블록 파티션으로 분할 할 수도 있다. 또는, 3사분면의 좌하단 블록 파티션, 나머지 1, 2, 4분면으로 이루어진 블록 파티션으로 분할 할 수 있다. 또는, 1사분면의 우상단 블록 파티션, 나머지 2, 3, 4분면으로 이루어진 블록 파티션으로 분할 할 수 있다. 또는, 4사분면의 우하단 블록 파티션, 나머지 1, 2, 3분면으로 이루어진 블록 파티션으로 분할 할 수 있다.
상기와 같이 'ㄱ' 자 모양으로 파티션을 분할함으로써 파티션 분할시 에지 블록, 즉 좌상단, 좌하단, 우상단, 우하단 블록에 움직이는 객체(object)가 존재하는 경우 4개 블록으로 파티션 분할하는 경우보다 효과적으로 부호화를 할 수 있다. 상기 4가지 파티션 중에 움직이는 객체(object)가 어느 에지 블록에 위치하느냐에 따라서 해당되는 파티션이 선택되어 사용될 수 있다.
상기와 같은 파티션 분할후의 블록의 크기는 가변될 수 있다. 또한, 상기와 같은 파티션 분할후의 블록의 모양은 전술한 비대칭 파티션 분할, 기하학적 파티션 분할을 적용할 경우 기존의 정사각형 모양뿐만 아니라 전술한 바와 같이 직사각형과 같은 비대칭적 모양, 'ㄱ'자 모양, 삼각형 모양등과 같은 다양한 기하학적 모양을 가질 수 있다.
상기 도 12를 포함한 전술한 기하학적 블록 파티션의 경우에도 기하학적 블록에 대하여 도 6 내지 도 9에서 적용한 예측 모드들을 변형 활용하여 화면내 예측을 수행할 수 있음은 물론이다.
도 13은 본 발명의 일 실시예에 따른 화면내 예측 부호화를 수행하는 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 13을 참조하면, 영상 부호화 장치는 부호화기(630)를 포함하며, 부호화기(630)는 화면간 예측부(632), 인트라 예측부(635), 감산기(637), 변환부(639), 양자화부(641), 엔트로피 부호화부(643), 역양자화부(645), 역변환부(647), 가산기(649) 및 프레임 버퍼(651)를 포함할 수 있다. 화면간 예측부(632)는 움직임 예측부(631)와 움직임 보상부(633)를 포함한다.
부호화기(630)는 입력된 영상에 대해 부호화를 수행한다. 상기 입력된 영상은 예측 유닛(PU) 단위로 화면간 예측부(632)에서의 화면간 예측 또는 인트라 예측부(635)에서의 화면내 예측을 위해 사용될 수 있다.
상기 화면간 예측 또는 화면내 예측에 적용되는 예측 유닛의 크기는 입력된 영상을 부호화기 내부에 마련된 버퍼(미도시)에 저장한 후 저장된 프레임(또는 픽처)의 시간적 주파수 특성에 따라 결정될 수 있다. 예를 들어, 예측 유닛 결정부(610)는 n-1번째 프레임(또는 픽처)과 n번째 프레임(또는 픽처)의 시간 주파수 특성을 분석하고, 분석된 시간 주파수 특성값이 미리 설정된 제1 임계값 미만인 경우에는 예측 유닛의 크기를 64x64 픽셀로 결정하고, 분석된 시간 주파수 특성값이 미리 설정된 제1 임계값 이상 제2 임계값 미만인 경우에는 예측 유닛의 크기를 32x32 픽셀로 결정하며, 분석된 시간 주파수 특성값이 미리 설정된 제2 임계값 이상인 경우에는 예측 유닛의 크기를 16x16 픽셀 이하의 크기로 결정할 수 있다. 여기서, 제1 임계값은 제2 임계값보다 프레임(또는 픽처)간의 변화량이 작은 경우의 시간 주파수 특성값을 나타낼 수 있다.
상기 화면간 예측 또는 화면내 예측에 적용되는 예측 유닛의 크기는 입력된 영상을 부호화기 내부에 마련된 버퍼(미도시)에 저장한 후 저장된 프레임(또는 픽처)의 공간 주파수 특성에 따라 결정될 수 있다. 예를 들어 입력되는 프레임(또는 픽처)의 영상 평탄도 또는 균일도가 높은 경우에는 예측 유닛의 크기를 32x32 픽셀 이상으로 크게 설정하고, 프레임(또는 픽처)의 영상 평탄도 또는 균일도가 낮은 경우(즉, 공간 주파수가 높은 경우)에는 예측 유닛의 크기를 16x16 픽셀 이하로 작게 설정할 수 있다.
도 13에서는 도시하지 않았으나, 예측 유닛의 크기를 결정하는 동작은 상기 입력 영상을 입력받아 부호화 제어부(미도시)에서 수행되거나 또는 상기 입력 영상을 입력받아 별도의 예측 유닛 결정부(미도시)에서 수행될 수도 있다. 예를 들어, 예측 유닛의 크기는 16x16 픽셀 이하의 크기, 32x32 픽셀 크기, 64x64 픽셀 크기를 가질 수 있다.
전술한 바와 같이 화면간 예측 또는 화면내 예측을 위해 결정된 예측 유닛 크기를 포함하는 예측 유닛 정보를 엔트로피 부호화부(643)에 제공하고, 결정된 크기를 가지는 예측 유닛 단위로 부호화기(630)에 제공한다. 구체적으로, 확장 매크로블록(Extended Macroblock) 및 확장 매크로 블록 크기를 이용하여 부호화 및 복호화하는 경우에는 예측 블록 정보는 매크로 블록 크기 정보 또는 확장 매크로 블록 크기 정보를 포함할 수 있다. 여기서, 확장 매크로 블록 크기는 32x32 픽셀 크기 이상을 의미하며, 예를 들어, 32x32 픽셀, 64x64 픽셀, 또는 128x128 픽셀 크기를 포함할 수 있다. 전술한 순환적(recursive) 코딩 유닛(Coding Unit; CU)을 사용하여 부호화 및 복호화를 수행할 경우에는 예측 유닛 정보는 상기 마크로 블록의 크기 정보 대신 화면간 예측 또는 화면내 예측을 위해 사용될 말단 코딩 유닛(LCU)의 크기 정보, 즉 예측 유닛의 크기 정보를 포함할 수 있으며, 더 나아가 예측 유닛 정보는 최대 코딩 유닛(LCU)의 크기, 최소 코딩 유닛(SCU)의 크기, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth), 플래그(flag) 정보를 더 포함할 수 있다.
부호화기(630)는 상기 결정된 크기를 가지는 예측 유닛에 대해 부호화를 수행한다.
화면간 예측부(632)는 제공된 현재 부호화될 예측 유닛을 전술한 비대칭 파티션 분할, 기하학적 파티션 분할등의 파티션 분할 방법을 사용하여 분할하고, 상기 파티션 분할된 블록 단위로 움직임을 추정하여 움직임 벡터를 생성한다.
움직임 예측부(631)는 제공된 현재 예측 유닛을 전술한 다양한 파티션 분할 방법을 사용하여 분할하고, 상기 파티션 분할된 블록 별로 현재 부호화되는 픽처의 앞 및/또는 뒤에 위치하는 적어도 하나의 참조 픽처(프레임 버퍼(651)에 부호화가 완료되어 저장됨)에서 현재 부호화되는 파티션 분할된 블록과 유사한 영역을 검색하여 블록 단위로 움직임 벡터를 생성한다. 여기서, 상기 움직임 추정에 사용되는 블록의 크기는 가변될 수 있으며, 또한, 본 발명의 실시예들에 따른 비대칭 파티션 분할, 기하학적 파티션 분할을 적용할 경우 상기 블록의 모양도 기존의 정사각형 모양뿐만 아니라 도 2 내지 도 3c에 도시한 바와 같이 직사각형과 같은 비대칭적 모양, 'ㄱ'자 모양, 삼각형 모양등과 같은 기하학적 모양을 가질 수 있다.
움직임 보상부(633)는 움직임 예측부(631)로부터 생성된 움직임 벡터와 참조 픽처를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록(또는 예측된 예측 유닛)을 생성한다.
화면간 예측부(632)는 전술한 블록 병합을 수행하여 병합된 블록별로 움직임 파라미터를 구한다. 전술한 블록 병합을 수행하여 병합된 블록별 움직임 파라미터는 디코더로 전송된다.
인트라 예측부(635)는 블록간의 화소 상관도를 사용하여 화면내 예측 부호화를 수행할 수 있다. 인트라 예측부(635)는 도 6 내지 도 11에서 설명한 다양한 실시예들에 따라서 현재 예측 유닛의 예측 블록을 현재 프레임(또는 픽처)내의 블록의 이미 부호화된 화소값으로부터 화소값을 예측하여 구하는 인트라 예측(Intra Prediction)을 수행한다.
감산기(637)는 움직임 보상부(633)에서 제공된 예측 블록(또는 예측된 예측 유닛)과 현재 블록(또는 현재 예측 유닛)을 감산하여 잔여값을 생성하고, 변환부(639) 및 양자화부(641)는 상기 잔여값(residue)을 DCT(Discrete Cosine Transform)변환하고 양자화한다. 여기서, 변환부(639)는 예측 유닛 크기 정보에 기초하여 변환을 수행할 수 있고, 예를 들어, 32x32 또는 64x64 픽셀 크기로 변환을 수행할 수 있다. 또는 변환부(639)는 예측 유닛 결정부(610)로부터 제공된 예측 유닛 크기 정보와 독립적으로 별도의 변환 유닛(Transform Unit; TU) 단위로 변환을 수행할 수 있다. 예를 들어, 변환 유닛(TU) 크기는 최소 4 X 4 픽셀 크기부터 최대 64x64 픽셀 크기를 가질 수 있다. 또는 변환 유닛(TU)의 최대 크기는 64x64 픽셀 크기 이상- 예를 들어 128 X 128 픽셀 크기-를 가질수도 있다. 상기 변환 유닛 크기 정보는 변환 유닛 정보에 포함되어 디코더로 전송될 수 있다.
엔트로피 부호화부(643)는 양자화된 DCT 계수들과 움직임 벡터, 결정된 예측 유닛 정보, 파티션 정보, 변환 유닛 정보 등의 헤더 정보를 엔트로피 부호화하여 비트 스트림을 생성한다.
역양자화부(645) 및 역변환부(647)는 양자화부(641)를 통해 양자화된 데이터를 역양자화하고 역변환한다. 가산기(649)는 역변환된 데이터와 움직임 보상부(633)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 프레임 버퍼(651)에 제공하고, 프레임 버퍼(651)는 복원된 영상이 저장된다.
도 14는 본 발명의 일 실시예에 따른 화면내 예측 부호화를 적용한 영상 부호화 방법을 나타내는 흐름도이다.
도 14를 참조하면, 먼저 부호화 장치에 입력 영상이 입력되면(단계 1401), 상기 입력 영상에 대해 화면간 예측 또는 화면내 예측을 위한 예측 유닛을 전술한 다양한 비대칭, 기하학적 파티션 분할 방법을 사용하여 분할한다(단계 1403).
화면내 예측 모드가 활성화되는 경우에는 상기 파티션 분할된 비대칭 블록 또는 기하학적 블록에 대하여 도 6 내지 도 11에서 설명한 화면내 예측 방법을 적용하여 화면내 예측을 수행한다(단계 1405).
또는 화면간 예측 모드가 활성화되는 경우에는 상기 파티션 분할된 블록 별로 현재 부호화되는 픽처의 앞 및/또는 뒤에 위치하는 적어도 하나의 참조 픽처(프레임 버퍼(651)에 부호화가 완료되어 저장됨)에서 현재 부호화되는 파티션 분할된 블록과 유사한 영역을 검색하여 블록 단위로 움직임 벡터를 생성하고, 생성된 움직임 벡터와 픽처를 이용하여 움직임 보상을 수행함으로써 예측 블록(또는 예측된 예측 유닛)을 생성한다.
그 다음, 부호화 장치는 현재 예측 유닛과 예측(화면내 예측 또는 화면간 예측)된 예측 유닛 사이의 차이를 구하여 잔여값(residue)을 생성하여 생성된 잔여값을 변환 및 양자화한 후(단계 1407), 양자화된 DCT 계수들과 움직임 파라미터 등의 헤더 정보들을 엔트로피 부호화하여 비트 스트림을 생성한다(단계 1409).
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 복호화 장치는 엔트로피 복호화부(731), 역양자화부(733), 역변환부(735), 움직임 보상부(737), 인트라 예측부(739), 프레임 버퍼(741) 및 가산부(743)을 포함한다.
엔트로피 복호화부(731)는 압축된 비트 스트림을 수신하고 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 역양자화부(733) 및 역변환부(735)는 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 잔여값을 복원한다.
엔트로피 복호화부(731)에 의해 복호화된 헤더 정보에는 예측 유닛 크기 정보가 포함될 수 있고, 상기 예측 유닛 크기는 예를 들어, 16x16 픽셀 크기 또는 32x32 픽셀, 64x64 픽셀, 128x128 픽셀 크기의 확장 매크로 블록 크기가 될 수 있다. 또한, 상기 복호화된 헤더 정보는 움직임 보상 및 예측을 위한 움직임 파라미터를 포함할 수 있다. 상기 움직임 파라미터는 본 발명의 실시예들에 따른 블록 병합 방법들에 의해 병합된 블록별로 전송된 움직임 파라미터를 포함할 수 있다. 또한, 상기 복호화된 헤더 정보는 선형 예측 모드(Planar mode)의 활성화 여부를 나타내는 플래그를 포함할 수도 있다. 또한, 상기 복호화된 헤더 정보는 전술한 비대칭 형태의 예측 유닛별 예측 모드 정보를 포함할 수 있다.
움직임 보상부(737)는 엔트로피 복호화부(731)에 의해 비트 스트림으로부터 복호화된 헤더 정보를 이용하여 부호화된 예측 유닛의 크기와 동일한 크기의 예측 유닛에 대해 상기 움직임 파라미터를 이용하여 움직임 보상을 수행하여 예측된 예측 유닛을 생성한다. 움직임 보상부(737)는 본 발명의 실시예들에 따른 블록 병합 방법들에 의해 병합된 블록별로 전송된 움직임 파라미터를 이용하여 움직임 보상을 수행하여 예측된 예측 유닛을 생성한다.
인트라 예측부(739)는 블록간의 화소 상관도를 사용하여 화면내 예측 부호화를 수행한다. 인트라 예측부(739)는 현재 예측 유닛의 예측 화소값을 전술한 도 6 내지 도 11의 화면내 예측 부호화 방법을 적용하여 구할 수 있다.
가산부(743)는 역변환부(735)에서 제공된 잔여값과, 움직임 보상부(737) 또는 인트라 예측부(739)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 프레임 버퍼(741)에 제공하고, 프레임 버퍼(741)는 복원된 영상을 저장한다.
도 16은 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
도 16을 참조하면, 먼저 복호화 장치는 부호화 장치로부터 비트 스트림을 수신한다(단계 1601).
이후, 복호화 장치는 수신된 비트 스트림에 대한 엔트로피 복호화를 수행한다(단계 1603). 엔트로피 복호화를 통해 복호화된 데이터에는 현재 예측 유닛과 예측된 예측 유닛 사이의 차이를 나타내는 잔여값(residue)을 포함된다. 엔트로피 복호화를 통해 복호화된 헤더 정보에는 예측 유닛 정보, 움직임 보상 및 예측을 위한 움직임 파라미터, 선형 예측 모드(Planar mode)의 활성화 여부를 나타내는 플래그, 비대칭 형태의 예측 유닛별 예측 모드 정보를 포함할 수 있다. 상기 예측 유닛 정보는 예측 유닛 크기 정보를 포함할 수 있다.
여기서, 확장 매크로블록(Extended Macroblock) 및 확장 매크로 블록 크기를 이용하여 부호화 및 복호화하는 방식대신 전술한 순환적(recursive) 코딩 유닛(Coding Unit; CU)을 사용하여 부호화 및 복호화를 수행할 경우에는 상기 예측 유닛(PU) 정보는 최대 코딩 유닛(LCU)의 크기, 최소 코딩 유닛(SCU)의 크기, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth), 플래그(flag) 정보를 포함할 수 있다.
복호화 제어부(미도시)에서는 부호화 장치에서 적용한 예측 유닛(PU)의 크기에 대한 정보를 부호화 장치로부터 전송받아 부호화 장치에서 적용한 예측 유닛(PU)의 크기에 따라 후술할 움직임 보상 복호화, 화면내 예측 부호화, 역변환 또는 역양자화를 수행할 수 있다.
복호화 장치는 상기 엔트로피 복호화된 잔여값을 역양자화하고 역변환한다(단계 1605). 상기 역변환과정은 예측 유닛 크기(예를 들면, 32x32 또는 64x64 픽셀) 단위로 수행될 수 있다.
복호화 장치는 화면간 예측 또는 도 6 내지 도 11에서 전술한 다양한 비대칭 또는 기하학적 형태의 예측 유닛에 대한 화면내 예측 방법을 적용하여 예측된 예측 유닛을 생성한다(단계 1607).
복호화기는 역양자화하고 역변환된 잔여값과 상기 화면간 예측 또는 화면내 예측을 통하여 예측된 예측 유닛을 더하여 영상을 복원한다(단계 1609).
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
630 : 부호화기 635 : 인트라 예측부
730 : 복호화기

Claims (30)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 영상의 복호화 방법에 있어서,
    수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화 및 역변환하여 잔여값을 복원하는 단계;
    분할된 예측 유닛에 대하여 복수의 예측 모드 중 하나를 선택적으로 사용하여 화면내 예측 부호화를 수행하여 예측 유닛을 생성하는 단계; 및
    상기 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 단계를 포함하되, 상기 복수의 예측 모드 중 선형 예측 모드를 나타내는 선형 예측 모드 플래그가 활성화된 경우 현재 예측 유닛의 내부 화소의 예측 화소값은 이전에 부호화된 좌측 및 상단 블록 내의 수직 및 수평 방향의 대응되는 화소값 및 예측 유닛 내부의 수직 및 수평방향으로 대응되는 내부 경계 예측 화소값을 이용하여 이선형 보간(bilinear interpolation)을 수행하여 구하는 것을 특징으로 하는 영상의 복호화 방법.
  18. 삭제
  19. 제17항에 있어서, 화면간 예측을 위한 예측 유닛의 크기가 M X N(M, N은 서로 다른 값을 가지는 자연수로서 단위는 pixel)인 경우 코딩 유닛의 수평방향으로 비대칭적 파티션 분할 또는 수직방향으로 비대칭적 파티션 분할을 가지는 것을 특징으로 하는 영상의 복호화 방법.
  20. 영상의 복호화 방법에 있어서,
    수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화 및 역변환하여 잔여값을 복원하는 단계;
    분할된 예측 유닛에 대하여 복수의 예측 모드 중 하나를 선택적으로 사용하여 화면내 예측 부호화를 수행하여 예측 유닛을 생성하는 단계; 및
    상기 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 단계를 포함하되, 화면간 예측을 위한 예측 유닛의 크기가 64 X 64인 경우 코딩 유닛의 수평방향으로 비대칭적 파티션 분할된 64 X 16 크기의 파티션과 64 X 48 크기의 파티션을 가지는 것을 특징으로 하는 영상의 복호화 방법.
  21. 제19항에 있어서, 상기 비대칭적 파티션은 상기 예측 유닛(PU)의 크기가 64 X 64인 경우 수직 방향으로 비대칭적 파티션 분할된 16 X 64 크기의 파티션과 48 X 64 크기의 파티션을 가지는 것을 특징으로 하는 영상의 복호화 방법.
  22. 제17항에 있어서, 상기 수신된 비트 스트림에 포함된 시퀀스 파라미터 셋(Sequence Parameter Set; SPS)는 최소 코딩 유닛(SCU)의 크기 및 최대 허용 가능한 계층 깊이(depth) 중 적어도 하나를 포함하는 것을 특징으로 하는 영상의 복호화 방법.
  23. 영상의 복호화 장치에 있어서,
    수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화하고 역변환하여 잔여값을 복원하는 역양자화 및 역변환부;
    분할된 예측 유닛에 대하여 복수의 예측 모드 중 하나를 선택적으로 사용하여 화면내 예측 부호화를 수행하여 예측 유닛을 생성하는 인트라 예측부; 및
    상기 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 가산부를 포함하되,
    상기 복수의 예측 모드 중 선형 예측 모드를 나타내는 선형 예측 모드 플래그가 활성화된 경우 상기 예측 유닛의 내부 화소의 예측 화소값은 이전에 부호화된 좌측 및 상단 블록 내의 수직 및 수평 방향의 대응되는 화소값 및 예측 유닛 내부의 수직 및 수평방향으로 대응되는 내부 경계 예측 화소값을 이용하여 이선형 보간(bilinear interpolation)을 수행하여 구하는 것을 특징으로 하는 영상의 복호화 장치.
  24. 삭제
  25. 제23항에 있어서, 상기 선형 예측 모드 플래그가 활성화된 경우 예측 유닛의 맨우측 하단의 화소의 예측 화소값을 구하기 위해 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값 및 예측 블록내의 수직 및 수평방향으로 대응되는 내부 예측 화소값들을 이용하여 선형 보간(linear interpolation)을 수행하는 것을 특징으로 하는 영상의 복호화 장치.
  26. 제23항에 있어서, 상기 선형 예측 모드 플래그가 활성화된 경우 예측 유닛의 내부 화소의 예측 화소값은 이전에 부호화된 좌측 및 상단 블록내의 수직 및 수평 방향의 대응되는 화소값 및 예측 유닛내부의 수직 및 수평방향으로 대응되는 내부 경계 예측 화소값을 이용하여 이선형 보간(bilinear interpolation)을 수행하는 것을 특징으로 하는 영상의 복호화 장치.
  27. 제23항에 있어서, 예측 유닛의 내부 화소의 예측 화소값을 구하는 경우, 상기 예측 유닛 내부의 수직 및 수평방향으로 대응되는 내부 경계 예측 화소값은 상기 예측 블록의 내부의 맨우측 라인 또는 최하측 라인에 위치한 화소값(예측된 화소값)인 것을 특징으로 하는 영상의 복호화 장치.
  28. 제23항에 있어서, 상기 영상의 복호화 장치는 압축된 비트 스트림을 수신하고 엔트로피 복호화를 수행하는 엔트로피 복호화부를 더 포함하되, 상기 엔트로피 복호화부에 의해 복호화된 헤더 정보에는 예측 유닛 크기 정보가 포함되는 것을 특징으로 하는 영상의 복호화 장치.
  29. 제28항에 있어서, 상기 복호화된 헤더 정보는 선형 예측 모드(Planar mode)의 활성화 여부를 나타내는 플래그를 포함하는 것을 특징으로 하는 영상의 복호화 장치.
  30. 제28항에 있어서, 상기 복호화된 헤더 정보는 비대칭 형태의 예측 유닛별 예측 모드 정보를 포함하는 것을 특징으로 하는 영상의 복호화 장치.
KR1020110066099A 2010-07-02 2011-07-04 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법 KR101292093B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100064009 2010-07-02
KR1020100064009 2010-07-02

Publications (2)

Publication Number Publication Date
KR20120003406A KR20120003406A (ko) 2012-01-10
KR101292093B1 true KR101292093B1 (ko) 2013-08-08

Family

ID=45402614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110066099A KR101292093B1 (ko) 2010-07-02 2011-07-04 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법

Country Status (5)

Country Link
US (6) US9036944B2 (ko)
EP (2) EP2590411A4 (ko)
KR (1) KR101292093B1 (ko)
CN (5) CN106851292A (ko)
WO (1) WO2012002785A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128511A1 (ko) * 2017-01-09 2018-07-12 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10904522B2 (en) 2017-01-09 2021-01-26 Sk Telecom Co., Ltd. Apparatus and method for video encoding or decoding using intra-predicting diagonal edges

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR101391829B1 (ko) * 2011-09-09 2014-05-07 주식회사 케이티 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치
GB2561515B (en) 2011-11-08 2019-01-16 Kt Corp Method and apparatus for encoding image, and method and apparatus for decoding image
US20130163664A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
WO2015054813A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
CN105765974B (zh) 2013-10-14 2019-07-02 微软技术许可有限责任公司 用于视频和图像编码和解码的帧内块复制预测模式的特征
CA2934699A1 (en) 2014-01-03 2015-07-09 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) * 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
WO2015192353A1 (en) 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
WO2016068630A1 (ko) * 2014-10-29 2016-05-06 엘지전자(주) 비디오 신호의 인코딩， 디코딩 방법 및 그 장치
KR20160095932A (ko) * 2015-02-04 2016-08-12 한국전자통신연구원 비디오 부호화 장치 및 방법
US20180115787A1 (en) * 2015-04-12 2018-04-26 Lg Electronics Inc. Method for encoding and decoding video signal, and apparatus therefor
US10390020B2 (en) 2015-06-08 2019-08-20 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
US10848759B2 (en) 2015-07-28 2020-11-24 Lg Electronics Inc. Intra prediction mode-based image processing method and apparatus therefor
US10404989B2 (en) 2016-04-26 2019-09-03 Google Llc Hybrid prediction modes for video coding
US10805607B2 (en) 2016-04-29 2020-10-13 Industry Academy Cooperation Foundation Of Sejong University Video signal encoding/decoding method and apparatus
KR102365937B1 (ko) * 2016-04-29 2022-02-22 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
WO2017188784A2 (ko) 2016-04-29 2017-11-02 세종대학교 산학협력단 영상 신호 부호화/복호화 방법 및 장치
WO2017188780A2 (ko) * 2016-04-29 2017-11-02 인텔렉추얼디스커버리 주식회사 영상 신호 부호화/복호화 방법 및 장치
GB2552323B (en) * 2016-07-18 2020-04-29 Imagination Tech Ltd Mip map compression
CN109952761B (zh) 2016-09-20 2022-04-15 株式会社Kt 用于处理视频信号的方法和装置
US10904581B2 (en) * 2016-11-08 2021-01-26 Kt Corporation Method and apparatus for processing video signal
WO2018097626A1 (ko) 2016-11-25 2018-05-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN110199523B (zh) 2017-01-13 2023-06-13 Vid拓展公司 用于帧内平面编码的预测方法
US10579121B2 (en) * 2017-04-01 2020-03-03 Intel Corporation Processor power management
US11909961B2 (en) * 2017-11-22 2024-02-20 Intellectual Discovery Co., Ltd. Image encoding/decoding method and apparatus, and recording medium for storing bitstream that involves performing intra prediction using constructed reference sample
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11297348B2 (en) 2018-04-13 2022-04-05 Mediatek Inc. Implicit transform settings for coding a block of pixels
US10999604B2 (en) 2018-04-13 2021-05-04 Mediatek Inc. Adaptive implicit transform setting
CN111971958B (zh) * 2018-04-18 2023-01-13 华为技术有限公司 视频编码中的块分割方法和设备
CN111418211B (zh) * 2018-11-06 2024-02-27 北京字节跳动网络技术有限公司 用于利用几何分割的帧间预测的多个Merge列表和顺序
CN112956202B (zh) * 2018-11-06 2024-07-12 北京字节跳动网络技术有限公司 利用几何分割的帧间预测的扩展
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
EP4391536A3 (en) * 2019-03-21 2024-08-14 Samsung Electronics Co., Ltd. Method and device for encoding video having block size set for each block shape, and method and device for decoding video
CN115623206B (zh) * 2019-10-10 2024-02-27 北京达佳互联信息技术有限公司 利用三角分区的视频编解码方法和装置
US20230048262A1 (en) * 2019-12-16 2023-02-16 Hyundai Motor Company Decoding device and method for predicting block partitioned into random shape
WO2021155865A1 (en) * 2020-02-07 2021-08-12 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode
EP4256784A2 (en) * 2020-12-03 2023-10-11 InterDigital CE Patent Holdings, SAS Intra prediction for asymmetric partition
CN113347417B (zh) * 2021-07-20 2022-01-04 杭州博雅鸿图视频技术有限公司 提高率失真优化计算效率的方法、装置、设备及存储介质
US11949863B2 (en) * 2021-08-02 2024-04-02 Tencent America LLC Geometric partition mode with intra block copy
WO2024131867A1 (en) * 2022-12-21 2024-06-27 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
KR20090074164A (ko) * 2006-09-29 2009-07-06 톰슨 라이센싱 기하학적 인트라 예측

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005981A (en) * 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
US6744387B2 (en) * 2002-07-10 2004-06-01 Lsi Logic Corporation Method and system for symbol binarization
KR100992044B1 (ko) * 2003-01-07 2010-11-05 톰슨 라이센싱 매크로블록 파티션의 혼합된 인터/인트라 비디오 코딩 방법
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
KR20060008523A (ko) * 2004-07-21 2006-01-27 삼성전자주식회사 영상의 인트라 예측 방법 및 그 장치
US7496242B2 (en) * 2004-12-16 2009-02-24 Agfa Inc. System and method for image transformation
KR100718135B1 (ko) * 2005-08-24 2007-05-14 삼성전자주식회사 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법
CN101848391B (zh) * 2005-09-26 2014-11-26 三菱电机株式会社 运动图像编码装置以及运动图像译码装置
WO2008056923A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding based on intra prediction
KR101366093B1 (ko) 2007-03-28 2014-02-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20080107965A (ko) 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
KR101579394B1 (ko) * 2007-10-16 2015-12-21 톰슨 라이센싱 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
CN101483780B (zh) * 2008-01-07 2011-08-24 华为技术有限公司 一种帧内dc预测的方法及装置
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2373031A1 (en) 2008-08-12 2011-10-05 Lg Electronics Inc. Method of decoding a video signal
WO2010041858A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
KR20090074164A (ko) * 2006-09-29 2009-07-06 톰슨 라이센싱 기하학적 인트라 예측

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128511A1 (ko) * 2017-01-09 2018-07-12 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10904522B2 (en) 2017-01-09 2021-01-26 Sk Telecom Co., Ltd. Apparatus and method for video encoding or decoding using intra-predicting diagonal edges

Also Published As

Publication number Publication date
CN104853201A (zh) 2015-08-19
US20150010079A1 (en) 2015-01-08
US9202290B2 (en) 2015-12-01
EP2942957A1 (en) 2015-11-11
CN107071437B (zh) 2019-10-25
US9224214B2 (en) 2015-12-29
CN107071437A (zh) 2017-08-18
US20150010080A1 (en) 2015-01-08
KR20120003406A (ko) 2012-01-10
WO2012002785A2 (ko) 2012-01-05
US20130108182A1 (en) 2013-05-02
US20150264352A1 (en) 2015-09-17
EP2590411A2 (en) 2013-05-08
CN107105256A (zh) 2017-08-29
US20150010081A1 (en) 2015-01-08
US20150016741A1 (en) 2015-01-15
CN103039077A (zh) 2013-04-10
CN106851292A (zh) 2017-06-13
CN106851293B (zh) 2018-07-03
WO2012002785A3 (ko) 2012-04-12
US9224215B2 (en) 2015-12-29
CN106851293A (zh) 2017-06-13
US9189869B2 (en) 2015-11-17
US9036944B2 (en) 2015-05-19
EP2590411A4 (en) 2014-07-30

Similar Documents

Publication Publication Date Title
KR101292093B1 (ko) 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법
KR102487618B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR101376673B1 (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR20120090740A (ko) 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
KR20230113257A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한기록 매체
CN110622511B (zh) 图像编码/解码方法及其设备
AU2012326873B2 (en) Method and apparatus for encoding/decoding image
KR20180037581A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180046876A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10893267B2 (en) Method for processing image on basis of intra-prediction mode and apparatus therefor
KR101298598B1 (ko) 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
KR20110134319A (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR20110135471A (ko) 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
KR20120010367A (ko) 정밀한 단위의 보간 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
KR20240132433A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20130055318A (ko) 제한된 후보 블록을 기반으로 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
KR20130055315A (ko) 서로 다른 병합 가능 블록 집합을 이용한 영상 부호화/복호화 장치 및 방법
KR20130055316A (ko) 화면내 예측 부호화를 위한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180604

Year of fee payment: 6