KR101718954B1 - 영상 부호화/복호화 방법 및 그 장치 - Google Patents

영상 부호화/복호화 방법 및 그 장치 Download PDF

Info

Publication number
KR101718954B1
KR101718954B1 KR1020157020439A KR20157020439A KR101718954B1 KR 101718954 B1 KR101718954 B1 KR 101718954B1 KR 1020157020439 A KR1020157020439 A KR 1020157020439A KR 20157020439 A KR20157020439 A KR 20157020439A KR 101718954 B1 KR101718954 B1 KR 101718954B1
Authority
KR
South Korea
Prior art keywords
mode
conversion
block
skip mode
horizontal
Prior art date
Application number
KR1020157020439A
Other languages
English (en)
Other versions
KR20150091431A (ko
Inventor
이배근
권재철
김주영
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of KR20150091431A publication Critical patent/KR20150091431A/ko
Application granted granted Critical
Publication of KR101718954B1 publication Critical patent/KR101718954B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 영상 복호화 방법은, 복호화 대상 블록에 대응하는 영상 정보를 수신하는 단계, 수신된 영상 정보에 대해 엔트로피 복호화를 수행하는 단계, 엔트로피 복호화된 영상 정보를 기반으로, 복수의 변환 스킵 모드 후보 중에서 복호화 대상 블록의 변환 스킵 모드를 결정하는 단계 및 결정된 변환 스킵 모드를 기반으로 복호화 대상 블록에 대한 역변환을 수행하는 단계를 포함한다.

Description

영상 부호화/복호화 방법 및 그 장치{METHOD AND APPARATUS FOR ENCODING/DECODING IMAGE}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 변환 방법 및 장치에 관한 것이다.
최근 다양한 분야에서 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 증가하고 있다.
고해상도, 고품질의 영상을 제공하기 위해서는 영상 데이터의 데이터량이 증가한다. 따라서, 기존의 영상 데이터 처리 방식과 비교할 때 고해상도, 고품질의 영상을 제공하기 위한 영상 데이터의 전송 비용과 저장 비용은 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 데이터를 압축하는 기술로서 현재 픽쳐에 포함된 픽셀 값을 다른 픽처로부터 예측하는 인터 예측(Inter Prediction) 방법, 현재 픽쳐 픽셀 값을 현재 픽쳐의 다른 픽셀의 정보를 이용해서 예측하는 인트라 예측(Intra Prediction) 방법, 발생 빈도 혹은 출현 빈도가 높은 신호일수록 짧은 부호를 할당해서 부호화/복호화를 수행하는 엔트로피 부호화/복호화 방법 등 다양한 기술이 이용되고 있다.
본 발명의 기술적 과제는 영상 부호화 성능을 향상시킬 수 있는 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 영상 복호화 성능을 향상시킬 수 있는 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화 성능을 향상시킬 수 있는 변환 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 복호화 성능을 향상시킬 수 있는 역변환 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화 성능을 향상시킬 수 있는 스캐닝 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 복호화 성능을 향상시킬 수 있는 역스캐닝 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 형태는 영상 복호화 방법이다. 상기 방법은, 복호화 대상 블록에 대응하는 영상 정보를 수신하는 단계, 상기 수신된 영상 정보에 대해 엔트로피 복호화를 수행하는 단계, 상기 엔트로피 복호화된 영상 정보를 기반으로, 복수의 변환 스킵 모드 후보 중에서 상기 복호화 대상 블록의 변환 스킵 모드(Transform Skip Mode: TSM)를 결정하는 단계 및 상기 결정된 변환 스킵 모드를 기반으로 상기 복호화 대상 블록에 대한 역변환을 수행하는 단계를 포함할 수 있다. 여기서, 상기 복수의 변환 스킵 모드 후보는, 수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함할 수 있다.
상기 영상 정보는, 상기 복호화 대상 블록에 대응되는 예측 모드 및 상기 복호화 대상 블록에 대응되는 예측 유닛(Prediction Unit: PU)의 형태에 관한 정보를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 인터 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 Nx2N(N은 자연수)인 경우, 상기 수직 변환 모드에는 상기 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 인터 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 2NxN(N은 자연수)인 경우, 상기 복수의 변환 스킵 모드 후보는, 상기 수직 변환 모드를 제외한 상기 2D 변환 모드, 상기 수평 변환 모드 및 상기 비변환 모드를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 인터 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 Nx2N(N은 자연수)인 경우, 상기 복수의 변환 스킵 모드 후보는, 상기 수평 변환 모드를 제외한 상기 2D 변환 모드, 상기 수직 변환 모드 및 상기 비변환 모드를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 SDIP(Short Distance Intra Prediction) 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 2Nx(1/2)N(N은 2 이상의 자연수)인 경우, 상기 복수의 변환 스킵 모드 후보는, 상기 수직 변환 모드를 제외한 상기 2D 변환 모드, 상기 수평 변환 모드 및 상기 비변환 모드를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 SDIP(Short Distance Intra Prediction) 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 (1/2)Nx2N(N은 2 이상의 자연수)인 경우, 상기 복수의 변환 스킵 모드 후보는, 상기 수평 변환 모드를 제외한 상기 2D 변환 모드, 상기 수직 변환 모드 및 상기 비변환 모드를 포함할 수 있다.
상기 영상 정보는, 상기 복호화 대상 블록에 대응되는 예측 모드 및 상기 복호화 대상 블록에 대응되는 예측 유닛의 예측 방향에 관한 정보를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 인트라 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 예측 방향이 수직 방향인 경우, 상기 수직 변환 모드에는 상기 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다.
상기 영상 복호화 방법은, 상기 결정된 변환 스킵 모드를 기반으로 상기 복호화 대상 블록에 대한 스캔 모드를 결정하는 단계 및 상기 결정된 스캔 모드를 기반으로 상기 복호화 대상 블록에 대한 역스캐닝을 수행하는 단계를 더 포함할 수 있다.
상기 스캔 모드 결정 단계에서는, 상기 결정된 변환 스킵 모드가 상기 수평 변환 모드인 경우, 상기 스캔 모드를 수직 스캔 모드로 결정할 수 있다.
상기 스캔 모드 결정 단계에서는, 상기 결정된 변환 스킵 모드가 상기 수직 변환 모드인 경우, 상기 스캔 모드를 수평 스캔 모드로 결정할 수 있다.
본 발명의 다른 실시 형태는 영상 복호화 장치이다. 상기 장치는, 복호화 대상 블록에 대응하는 영상 정보를 수신하고 상기 수신된 영상 정보에 대해 엔트로피 복호화를 수행하는 엔트로피 복호화부 및 상기 엔트로피 복호화된 영상 정보를 기반으로, 복수의 변환 스킵 모드 후보 중에서 상기 복호화 대상 블록의 변환 스킵 모드(Transform Skip Mode: TSM)를 결정하고, 상기 결정된 변환 스킵 모드를 기반으로 상기 복호화 대상 블록에 대한 역변환을 수행하는 역변환부를 포함할 수 있다. 여기서, 상기 복수의 변환 스킵 모드 후보는, 수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 실시 형태는 영상 부호화 방법이다. 상기 방법은, 부호화 대상 블록에 대응되는 잔차 블록(residual block)을 생성하는 단계, 복수의 변환 스킵 모드 후보 중에서 상기 부호화 대상 블록의 변환 스킵 모드를 결정하는 단계 및 상기 결정된 변환 스킵 모드를 기반으로 상기 잔차 블록에 대해 변환을 수행하는 단계를 포함할 수 있다. 여기서, 상기 복수의 변환 스킵 모드 후보는, 수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함할 수 있다.
상기 부호화 대상 블록에 대응되는 예측 모드는 인터 모드일 수 있고, 상기 변환 스킵 모드 결정 단계에서는, 상기 부호화 대상 블록에 대응되는 예측 유닛의 형태를 기반으로 상기 변환 스킵 모드를 결정할 수 있다.
상기 부호화 대상 블록에 대응되는 예측 모드는 SDIP 모드일 수 있고, 상기 변환 스킵 모드 결정 단계에서는, 상기 부호화 대상 블록에 대응되는 예측 유닛의 형태를 기반으로 상기 변환 스킵 모드를 결정할 수 있다.
상기 부호화 대상 블록에 대응되는 예측 모드는 인트라 모드일 수 있고, 상기 변환 스킵 모드 결정 단계에서는, 상기 부호화 대상 블록에 대응되는 예측 유닛의 예측 방향을 기반으로 상기 변환 스킵 모드를 결정할 수 있다.
상기 방법은, 상기 결정된 변환 스킵 모드를 기반으로 상기 부호화 대상 블록에 대한 스캔 모드를 결정하는 단계 및 상기 결정된 스캔 모드를 기반으로 상기 부호화 대상 블록에 대한 스캐닝을 수행하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시 형태는 영상 부호화 장치이다. 상기 장치는, 부호화 대상 블록에 대응되는 잔차 블록(residual block)을 생성하는 잔차 블록 생성부 및 복수의 변환 스킵 모드 후보 중에서 상기 부호화 대상 블록의 변환 스킵 모드를 결정하고, 상기 결정된 변환 스킵 모드를 기반으로 상기 잔차 블록에 대해 변환을 수행하는 변환부를 포함할 수 있다. 여기서, 상기 복수의 변환 스킵 모드 후보는, 수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함할 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면, 영상 부호화 성능이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면, 영상 복호화 성능이 향상될 수 있다.
본 발명에 따른 변환/역변환 방법에 의하면, 영상 부호화/복호화 성능이 향상될 수 있다.
본 발명에 따른 스캐닝/역스캐닝 방법에 의하면, 영상 부호화/복호화 성능이 향상될 수 있다.
도 1은 본 발명이 적용되는 비디오 부호화기의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 비디오 복호화기의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 변환 모드에 따른 변환 방식의 실시예를 개략적으로 나타내는 도면이다.
도 4는 본 발명에 따른 부호화기에서의 변환 과정의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 5는 본 발명에 따른 복호화기에서의 역변환 과정의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 인터 모드에서의 PU 형태에 따라, 변환 스킵 모드 후보를 결정하는 방법 및 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 7은 SDIP에서의 PU 형태에 따라, 변환 스킵 모드 후보를 결정하는 방법 및 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 8은 인트라 모드에서의 예측 방향에 따라 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 9는 변환 스킵 모드에 따른 변환 계수 스캐닝 방법의 실시예를 개략적으로 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 부호화 방법을 개략적으로 나타내는 흐름도이다.
도 11은 본 발명의 실시예에 따른 복호화 방법을 개략적으로 나타내는 흐름도이다.
본 명세서에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화기에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명이 적용되는 비디오 부호화기의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1을 참조하면, 상기 비디오 부호화기는 픽쳐 분할부(110), 인터 예측부(120), 인트라 예측부(125), 변환부(130), 양자화부(135), 역양자화부(140), 역변환부(145), 필터부(150), 메모리(155), 재정렬부(160) 및 엔트로피 부호화부(165)를 포함할 수 있다.
픽쳐 분할부(110)는 입력된 현재 픽쳐를 하나 이상의 부호화 단위로 분할할 수 있다. 부호화 유닛(Coding Unit: CU, 이하 ‘CU’라 함)은 비디오 부호화기에서 부호화가 수행되는 하나의 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. CU는 8×8, 16×16, 32×32, 64×64 등 다양한 크기를 가질 수 있다. 가장 큰 크기의 CU는 LCU(Largest Coding Unit)로 불릴 수 있으며, 가장 작은 크기의 CU는 SCU(Smallest Coding Unit)로 불릴 수 있다.
또한 픽쳐 분할부(110)는 CU를 분할하여 예측 유닛(Prediction Unit: PU, 이하 ‘PU’라 함)과 변환 유닛(Transdorm Unit: TU, 이하 ‘TU’라 함)을 생성할 수 있다. PU는 CU보다 작거나 같은 블록일 수 있고, 반드시 정방형일 필요는 없으며, 직사각형 형태의 블록일 수도 있다.
통상 인트라 예측은 2N*2N 또는 N*N 크기의 블록 단위로 수행될 수 있다. 여기서 N은 자연수로서 픽셀의 수를 나타내며, 2N*2N 및 N*N은 PU의 크기(및/또는 분할 모드)를 나타낼 수 있다. 그러나, SDIP(Short Distance Intra Prediction: 단거리 인트라 예측) 방법에서는, 인트라 예측의 효율을 높이기 위해 2N*2N의 예측 유닛 외에 이를 더 세분화한 예측 유닛 크기로서 hN*2N/2N*hN이 사용될 수 있다(여기서 h=1/2임). hN*2N/2N*hN의 크기의 예측 단위가 사용되는 경우, 블록 내의 경계면의 방향성이 보다 잘 반영될 수 있으며, 따라서 결과적으로 예측 오차 신호의 에너지가 감소되어 부호화에 필요한 비트량이 절감되어 부호화 효율이 증가할 수 있다.
또한, 인터 예측은 2N*2N, 2N*N, N*2N 또는 N*N 크기의 블록 단위로 수행될 수 있다. 여기서 N은 자연수로서 픽셀의 수를 나타내며, 2N*2N, 2N*N, N*2N 및 N*N은 PU의 크기(및/또는 분할 모드)를 나타낼 수 있다. 또한, 인터 예측에서는 인터 예측의 효율을 높이기 위해 2N*2N, 2N*N, N*2N 또는 N*N의 예측 유닛 외에 2NxnU, 2NxnD, nLx2N 또는 nRx2N의 예측 유닛 단위로 예측이 수행될 수도 있다. 여기서, 2NxnU, 2NxnD, nLx2N 및 nRx2N는 PU의 크기(및/또는 분할 모드)를 나타낼 수 있다. 2NxnU 및 2NxnD의 분할 모드에서는 PU의 크기가 2Nx(1/2)N 또는 2Nx(3/2)N일 수 있고, nLx2N 및 nRx2N의 분할 모드에서는 PU의 크기가 (1/2)Nx2N 또는 (3/2)Nx2N일 수 있다.
인터 예측(Inter Prediction) 모드에 있는 경우, 인터 예측부(120)는 움직임 추정(ME: Motion Estimation) 및 움직임 보상(MC: Motion Compensation)을 수행할 수 있다. 인터 예측부(120)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다.
인터 예측부(120)는 분할된 예측 대상 블록 및 메모리부(155)에 저장된 적어도 하나의 참조 블록을 기반으로 움직임 추정을 수행할 수 있다. 인터 예측부(120)는 움직임 추정의 결과로서 움직임 벡터(MV: Motion Vector), 참조 블록 인덱스 및 예측 모드 등을 포함한 움직임 정보(motion information)를 생성할 수 있다.
또한 인터 예측부(120)는 상기 움직임 정보 및 참조 블록을 이용하여 움직임 보상을 수행할 수 있다. 이 때, 인터 예측부(120)는 상기 참조 블록으로부터 입력 블록에 대응하는 예측 블록을 생성하여 출력할 수 있다.
인트라 예측(Intra Prediction) 모드의 경우, 인트라 예측부(125)는 현재 픽쳐 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다. 인트라 예측 모드의 경우, 인트라 예측부(125)는 예측 대상 블록과 이전에 변환 및 양자화된 후 복원된 복원 블록을 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 상기 복원 블록은 필터부(150)를 거치기 전의 복원된 영상일 수 있다.
상술한 바와 같이 인터 모드 또는 인트라 모드에서는 예측 대상 블록에 대한 예측이 수행되고 예측 블록이 생성될 수 있다. 이 때, 예측 대상 블록 및 생성된 예측 블록의 차분에 의해 잔차 블록이 생성될 수 있다.
변환부(130)는 TU 별로 잔차 블록에 대해 변환을 수행하여 변환 계수를 생성할 수 있다. TU는 최대 크기와 최소 크기의 범위 내에서 트리 구조(tree structure)를 가질 수 있다. TU 별로 현재 블록이 하위 블록(sub-block)으로 나누어지는지는 지시자(flag)를 통해 지시될 수 있다. 변환부(130)는 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform) 등을 기반으로 변환을 수행할 수 있다.
양자화부(135)는 변환부(130)에서 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화된 변환 계수 값은 재정렬부(160) 및 역양자화부(140)에 제공될 수 있다.
재정렬부(160)는, 엔트로피 부호화의 효율을 높이기 위해, 스캔(scan)을 통하여 상기 양자화된 2차원 블록 형태의 변환 계수를 1차원 벡터 형태의 변환 계수로 정렬할 수 있다. 이때, 재정렬부(160)는 확률적 통계를 기초로 스캔 순서를 달리 하여 엔트로피 부호화 효율을 높일 수 있다.
엔트로피 부호화부(165)는 재정렬부(160)에서 얻어진 값들을 엔트로피 부호화할 수 있다. 엔트로피 부호화 과정에서는 발생 빈도가 높은 구문 요소 값에 더 적은 비트수의 코드워드가 할당될 수 있고, 발생 빈도가 낮은 구문 요소 값에 더 많은 비트수의 코드워드가 할당될 수 있다. 따라서, 부호화 대상 심볼들에 대한 비트열의 크기가 감소되어 영상 부호화 압축 성능이 높아질 수 있다. 엔트로피 부호화를 위해서는 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding) 및/또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 부호화 방법이 사용될 수 있다. 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장될 수 있다.
역양자화부(140)는 양자화부(135)에서 양자화된 변환 계수를 역양자화할 수 있고, 역변환부(145)는 역양자화된 변환 계수를 역변환해서 복원된 잔차 블록을 생성할 수 있다. 복원된 잔차 블록은 인터 예측부(120) 또는 인트라 예측부(125)에서 생성된 예측 블록과 합쳐져 복원 블록이 생성될 수 있다. 복원 블록은 인트라 예측부(125) 및 필터부(150)에 제공될 수 있다.
필터부(150)는 복원된 잔차 블록에 디블록킹 필터(Deblocking Filter), SAO(Sample Adaptive Offset) 및/또는 ALF(Adaptive Loop Filter) 등을 적용할 수 있다. 디블록킹 필터는 부호화 및 복호화 과정에서 발생하는 블록 경계 사이의 왜곡을 제거하기 위해, 복원 블록을 필터링할 수 있다. SAO는 디블록킹 필터가 적용된 잔차 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 루프 필터 처리 과정이다. SAO를 통해서 적용되는 오프셋으로는 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등이 있을 수 있다. 밴드 오프셋은 픽셀을 세기(intensity)에 따른 32개의 밴드로 구분하고, 32 개 밴드를 가장 자리의 16개 밴드와 중심부 16개 밴드의 두 밴드 그룹으로 나누어 오프셋을 적용할 수 있다. ALF는 예측 대상 블록과 최종 복원 블록 사이의 에러를 최소화하기 위해 필터링을 수행할 수 있다. ALF는 디블록킹 필터를 통해 필터링된 복원 블록과 현재의 예측 대상 블록을 비교한 값을 기초로 필터링을 수행할 수 있으며, ALF의 필터 계수 정보는 슬라이스 헤더(slice header)에 실려 부호화기로부터 복호화기로 전송될 수 있다.
메모리(155)는 필터부(150)를 거친 최종 복원 블록을 저장할 수 있고, 저장된 최종 복원 블록은 인터 예측을 수행하는 인터 예측부(120)에 제공될 수 있다.
도 2는 비디오 복호화기의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 2를 참조하면, 비디오 복호화기는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 인터 예측부(230), 인트라 예측부(235), 필터부(240) 및 메모리(245)를 포함할 수 있다.
엔트로피 복호화부(210)는 NAL로부터 압축된 비트 스트림을 수신할 수 있다. 엔트로피 복호화부(210)는 수신된 비트 스트림을 엔트로피 복호화할 수 있고, 예측 모드, 움직임 벡터 정보 등이 비트 스트림에 포함되는 경우 이를 함께 엔트로피 복호화할 수 있다. 엔트로피 복호화 방법이 적용되는 경우, 발생 빈도가 높은 구문 요소 값에 더 적은 비트수의 코드워드가 할당될 수 있고, 발생 빈도가 낮은 구문 요소 값에 더 많은 비트수의 코드워드가 할당될 수 있다. 따라서, 부호화 대상 심볼들에 대한 비트열의 크기가 감소되어 영상 복호화 성능이 높아질 수 있다.
엔트로피 복호화된 변환 계수 또는 잔차 신호는 재정렬부(215)에 제공될 수 있다. 재정렬부(215)는 복호화된 변환 계수 또는 잔차 신호를 역스캔(inverse scan)하여 2차원 블록 형태의 변환 계수를 생성할 수 있다.
역양자화부(220)는 재정렬된 변환 계수를 역양자화할 수 있다. 역변환부(225)는 역양자화된 변환 계수를 역변환하여 잔차 블록을 생성할 수 있다.
잔차 블록은 인터 예측부(230) 또는 인트라 예측부(235)에서 생성된 예측 블록과 합쳐져 복원 블록이 생성될 수 있다. 복원 블록은 인트라 예측부(235) 및 필터부(240)에 제공될 수 있다. 인터 예측부(230) 및 인트라 예측부(235)의 동작은 각각 비디오 부호화기에서의 인터 예측부(120) 및 인트라 예측부(125)의 동작과 동일하거나 유사하므로, 여기서는 생략하기로 한다.
필터부(240)는 복원 블록에 디블록킹 필터, SAO 및/또는 ALF 등을 적용할 수 있다. 디블록킹 필터는 부호화 및 복호화 과정에서 발생하는 블록 경계 사이의 왜곡을 제거하기 위해, 복원 블록을 필터링할 수 있다. SAO는 디블록킹 필터링된 복원 블록에 픽셀 단위로 적용되어 원본 영상과의 차이를 줄일 수 있다. 또한, ALF는 예측 대상 블록과 최종 복원 블록 사이의 에러를 최소화하기 위해 SAO 과정이 수행된 복원 블록에 필터링을 수행할 수 있다.
메모리(245)는 필터부(240)를 통해 얻어진 최종 복원 블록을 저장할 수 있고, 저장된 최종 복원 블록은 인터 예측을 수행하는 인터 예측부(230)에 제공될 수 있다.
이하, 블록은 영상 부호화 및 복호화의 단위를 의미할 수 있다. 따라서, 본 명세서에서 블록은 경우에 따라 부호화 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit) 등을 의미할 수도 있다. 또한, 본 명세서에서 부호화/복호화 대상 블록은, 변환/역변환이 수행되는 경우의 변환/역변환 대상 블록 및 예측이 수행되는 경우의 예측 대상 블록 등을 모두 포함하는 의미로 사용될 수 있다.
도 1 및 도 2의 실시예에서 상술한 바와 같이, 부호화기는 TU 별로 잔차 블록에 대해 변환을 수행할 수 있으며, 복호화기는 역양자화된 변환 계수를 역변환함으로써 복원된 잔차 블록을 생성할 수 있다. 이하, 본 명세서에서는 설명의 편의상 경우에 따라 역변환이 ‘변환’으로 지칭될 수도 있으며, 이와 같은 구분은 당해 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다.
이 때, 부호화기 및 복호화기는 수직 변환(vertical transform) 및 수평 변환(horizontal transform)을 모두 포함하는 2D 변환을 수행할 수 있다. 그러나, 수직 방향의 신호와 수평 방향의 신호의 특성이 서로 크게 다른 경우에는, 수직 변환 또는 수평 변환이 생략될 수 있으며, 스파스(sparse) 신호에 대해서는 변환 과정 전체가 생략될 수도 있다. 이러한 변환 방법은 복호화기에서의 복잡도를 감소시킬 수 있고, 부호화 효율을 향상시킬 수 있다.
이하, 본 명세서에서는 수평 변환과 수직 변환이 모두 수행되는 변환 모드는‘2D 변환 모드’라 한다. 또한, 수직 변환이 생략되고 수평 변환만이 수행되는 변환 모드는 ‘수평 변환 모드’라 하고, 수평 변환이 생략되고 수직 변환만이 수행되는 변환 모드는 ‘수직 변환 모드’라 한다. 그리고, 수평 변환과 수직 변환이 모두 생략되는 변환 모드는 ‘비변환 모드’라 한다. 여기서, ‘비변환 모드’는 ‘변환 바이패스(transform bypass) 모드’로도 불릴 수 있다.
도 3은 변환 모드에 따른 변환 방식의 실시예를 개략적으로 나타내는 도면이다.
도 3의 310 내지 340 각각에 도시된 정방형 블록은 변환 대상 블록을 나타낸다. 여기서, 상기 변환 대상 블록은 TU 및/또는 CU에 해당될 수 있다. 또한, 도 3의 310 내지 330 각각에 도시된 화살표는 변환 방향을 나타낼 수 있다.
도 3의 310에서는 변환 대상 블록에 대해 수직 변환 및 수평 변환이 모두 수행될 수 있다. 따라서, 도 3의 310에 도시된 변환 모드는 2D 변환 모드에 해당될 수 있다. 또한, 도 3의 320에서는 수직 변환이 생략되고 수평 변환만이 수행될 수 있다. 따라서, 도 3의 320에 도시된 변환 모드는 수평 변환 모드에 해당될 수 있다. 이 경우에는 열(column)이 아닌 행(row)에 대해서 변환이 수행되므로, 수평 변환 모드에서의 변환 방식은 ‘행 변환(transform on rows only)’으로도 불릴 수 있다. 도 3의 330에서는 수평 변환이 생략되고 수직 변환만이 수행될 수 있다. 따라서, 도 3의 330에 도시된 변환 모드는 수직 변환 모드에 해당될 수 있다. 이 경우에는 행(row)이 아닌 열(column)에 대해서 변환이 수행되므로, 수직 변환 모드에서의 변환 방식은 ‘열 변환(transform on rows only)’으로도 불릴 수 있다. 도 3의 340의 실시예에서는 변환 대상 블록에 대해 변환이 수행되지 않을 수 있다. 따라서, 도 3의 340에 도시된 변환 모드는 비변환 모드에 해당될 수 있다.
상술한 각각의 변환 모드에서는 수직 변환 및/또는 수평 변환이 생략되거나 또는 생략되지 않을 수 있다. 따라서, 상술한 각각의 변환 모드는 변환 스킵 모드(Transfrom Skip Mode: TSM)로 불릴 수 있다. 즉, 변환 스킵 모드에는 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드가 있을 수 있다. 따라서, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및/또는 비변환 모드는 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다.
일 실시예로, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 적어도 하나는 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 때, 하나의 변환 대상 블록에는 복수의 변환 스킵 모드 후보 중에서 선택된 하나의 변환 스킵 모드가 적용될 수 있다. 부호화기는 복수의 변환 스킵 모드 후보 중에서 율-왜곡 최적화(Rate-Distortion Optimization) 관점에서 가장 작은 비용 값을 갖는 변환 스킵 모드를 선택할 수 있다. 이 때, 부호화기는 선택된 변환 스킵 모드를 기반으로 변환 대상 블록에 대한 변환을 수행할 수 있다. 즉, 부호화기는 선택된 변환 스킵 모드에 따라, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나를 변환 대상 블록에 적용할 수 있다.
또한, 부호화기는 선택된 변환 스킵 모드에 관한 정보를 부호화하여 복호화기로 전송할 수 있다. 변환 스킵 모드는 CU 단위로 결정되거나 또는 TU 단위로 결정될 수 있다. 이 때, 변환 스킵 모드가 CU 단위로 결정되는 경우에는 CU 단위로 상기 정보가 전송될 수 있고, 변환 스킵 모드가 TU 단위로 결정되는 경우에는 TU 단위로 상기 정보가 전송될 수 있다.
일례로, 상기 변환 스킵 모드에 관한 정보는, 변환 스킵 모드 인덱스(transform skip mode index)를 통해 복호화기로 전송될 수 있다. 여기서 변환 스킵 모드 인덱스는 변환 스킵 모드 후보 중에서, 변환 대상 블록에 대해 적용되는 변환 스킵 모드를 지시하는 인덱스를 의미할 수 있다. 상기 변환 스킵 모드 인덱스에는 변환 스킵 모드에 따라 인덱스 값이 할당될 수 있다. 이 때, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드는 서로 다른 인덱스 값에 대응될 수 있다.
복호화기는 부호화기로부터 변환 스킵 모드에 관한 정보(예를 들어, 부호화된 변환 스킵 모드 인덱스)를 수신하여 복호화할 수 있다. 이 때, 복호화기는 복호화된 정보를 기반으로 변환 대상 블록에 적용되는 변환 스킵 모드를 도출할 수 있다. 그리고 복호화기는 도출된 변환 스킵 모드를 기반으로 변환 대상 블록에 대한 변환을 수행할 수 있다. 즉, 복호화기는 도출된 변환 스킵 모드에 따라, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나를 변환 대상 블록에 적용할 수 있다.
도 4는 본 발명에 따른 부호화기에서의 변환 과정의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 4를 참조하면, 부호화기는 복수의 변환 스킵 모드 후보 중에서 변환 대상 블록에 대한 변환 스킵 모드를 결정할 수 있다(S410). 여기서, 상기 복수의 변환 스킵 모드 후보는 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 적어도 하나일 수 있다. 이 때, 부호화기는 복수의 변환 스킵 모드 후보 중에서 율-왜곡 최적화 관점에서 가장 작은 비용 값을 갖는 변환 스킵 모드를 선택할 수 있다. 변환 스킵 모드 후보를 결정하는 방식의 구체적인 실시예는 후술하기로 한다.
다시 도 4를 참조하면, 부호화기는 결정된 변환 스킵 모드를 기반으로 변환 대상 블록에 대한 변환을 수행할 수 있다(S420). 즉, 부호화기는 선택된 변환 스킵 모드에 따라, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나를 변환 대상 블록에 적용할 수 있다.
또한, 부호화기는 변환 대상 블록에 적용되는 변환 스킵 모드에 관한 정보를 부호화하여 복호화기로 전송할 수 있다. 일례로 상기 정보는 변환 스킵 모드 인덱스를 통해 복호화기로 전송될 수 있다. 이 때, 상술한 바와 같이 부호화기는 변환 스킵 모드의 발생 확률을 고려하여, 발생 빈도가 높은 변환 스킵 모드에 짧은 코드워드를 할당하고 발생 빈도가 낮은 변환 스킵 모드에 긴 코드워드를 할당할 수 있다. 변환 스킵 모드에 코드워드를 할당하는 방법의 구체적인 실시예는 후술하기로 한다.
도 5는 본 발명에 따른 복호화기에서의 역변환 과정의 일 실시예를 개략적으로 나타내는 흐름도이다.
복호화기는 부호화기로부터 변환 스킵 모드에 관한 정보(예를 들어, 부호화된 변환 스킵 모드 인덱스)를 포함한 비트스트림을 수신하여 복호화할 수 있다. 부호화기로부터 수신된 비트스트림에서, 발생 빈도가 높은 변환 스킵 모드에는 짧은 코드워드가 할당되어 있을 수 있으며, 발생 빈도가 낮은 변환 스킵 모드에는 긴 코드워드가 할당되어 있을 수 있다. 변환 스킵 모드에 코드워드를 할당하는 방법의 구체적인 실시예는 후술하기로 한다.
도 5를 참조하면, 복호화기는 복수의 변환 스킵 모드 후보 중에서 역변환 대상 블록에 대한 변환 스킵 모드를 도출할 수 있다(S510). 여기서, 상기 복수의 변환 스킵 모드 후보는 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 적어도 하나일 수 있다. 또한 복호화기는 부호화기에서와 동일한 변환 스킵 모드 후보를 사용할 수 있다. 이 때, 복호화기는 복호화된 정보(변환 스킵 모드에 관한 정보. 예를 들어, 복호화된 변환 스킵 모드 인덱스)를 기반으로 역변환 대상 블록에 대한 변환 스킵 모드를 도출할 수 있다. 변환 스킵 모드 후보를 결정하는 방식의 구체적인 실시예는 후술하기로 한다.
다시 도 5를 참조하면, 복호화기는 도출된 변환 스킵 모드를 기반으로 역변환 대상 블록에 대한 역변환을 수행할 수 있다(S520). 즉, 복호화기는 선택된 변환 스킵 모드에 따라, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나를 역변환 대상 블록에 적용할 수 있다.
한편, 일 실시예로 도 4 및 도 5의 실시예에서, 부호화기 및 복호화기는 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 모두를 변환 스킵 모드 후보로 사용할 수 있다. 이 때, 2D 변환 모드(및/또는 2D 변환 모드에 대응되는 변환 스킵 모드 인덱스), 수평 변환 모드(및/또는 수평 변환 모드에 대응되는 변환 스킵 모드 인덱스), 수직 변환 모드(및/또는 수직 변환 모드에 대응되는 변환 스킵 모드 인덱스) 및 비변환 모드(및/또는 비변환 모드에 대응되는 변환 스킵 모드 인덱스)에는 서로 다른 코드워드가 할당될 수 있다. 이 경우, 부호화기는 상술한 바와 같이 변환 스킵 모드의 발생 확률을 고려하여, 발생 빈도가 높은 변환 스킵 모드에 짧은 코드워드를 할당하고 발생 빈도가 낮은 변환 스킵 모드에 긴 코드워드를 할당할 수 있다. 다음 표 1은 변환 스킵 모드에 코드워드를 할당하는 방법의 일 실시예를 나타낸다.
Figure 112015072949911-pat00001
표 1의 실시예에서, TS0은 2D 변환 모드를 나타낸다. 또한, TS1은 수평 변환 모드를 나타내고 TS2는 수직 변환 모드를 나타낸다. 그리고, TS3는 비변환 모드를 나타낸다. 여기서, 수평 변환 모드 및 수직 변환 모드는 모두 1D 변환 모드에 해당될 수 있다.
표 1을 참조하면, 일례로 2D 변환 모드의 발생 빈도가 가장 높은 경우에 2D 변환 모드에는 코드워드 ‘1’이 할당될 수 있다. 또한, 발생 빈도에 따라 수평 변환 모드에는 코드워드 ‘01’이 할당되고, 수직 변환 모드에는 코드워드 ‘001’이 할당되고, 비변환 모드에는 코드워드 ‘000’이 할당될 수 있다.
변환 스킵 모드에 따라 수직 변환 및/또는 수평 변환이 생략되는 경우에도, 양자화 매트릭스(quantization matrix)는 2D 변환 모드에서와 동일하게 적용될 수 있다. 또한, 이 경우 부호화기 및 복호화기는 변환이 생략된 행(row) 및/또는 열(column)의 값에 대해 스케일링(scaling)을 수행할 수 있으며, 이는 다음 수학식 1에 의해 나타내어질 수 있다.
Figure 112015072949911-pat00002
여기서, x는 변환이 생략된 행 및/또는 열에 존재하는 성분(element)의 값을 의미하고, y는 스케일링된 값을 의미할 수 있다. 또한, ‘scaling’은 스케일링 팩터(scaling factor)를 나타낼 수 있다. ‘offset’은 스케일링 과정에서 적용되는 오프셋 값을 나타내고, ‘shift’는 스케일링 과정에서 적용되는 비트 이동 값을 나타낼 수 있다. 여기서, ‘offset’ 및 ‘shift’는 각각, 변환이 생략되지 않는 경우(예를 들어, 2D 변환 모드인 경우) 적용되는 오프셋 값 및 비트 이동 값과 동일한 값을 가질 수 있다.
또한, 수학식 1의 실시예에서 부호화기 및 복호화기에 적용되는 스케일링 팩터는, TU의 크기에 따라 종속적으로 결정되는 값일 수 있다. TU의 크기에 따른 스케일링 팩터 값은 일 실시예로 다음 표 2와 같이 설정될 수 있다.
Figure 112015072949911-pat00003
여기서, N(및/또는 NxN)은 TU의 크기를 나타낼 수 있고, scale은 스케일링 팩터를 나타낼 수 있다. 일례로, 표 2의 실시예에서 TU의 크기가 8x8인 경우에 적용되는 스케일링 팩터 값은 181일 수 있다.
한편, 상술한 바와 같이 PU는 반드시 정방형일 필요는 없으며, 직사각형 형태의 블록일 수도 있다. 예를 들어, 인터 모드에서 PU는 2N*N, N*2N, 2NxnU, 2NxnD, nLx2N 또는 nRx2N의 크기(및/또는 형태)를 가질 수 있다. 또한, SDIP가 적용되는 경우, PU는 2N*(1/2)N, (1/2)N*2N의 크기(및/또는 형태)를 가질 수 있다. 이러한 경우에는 특정 변환 스킵 모드의 발생 확률이 작을 수 있으므로, 부호화기 및 복호화기는 발생 확률이 작은 변환 스킵 모드를 변환 스킵 모드 후보로 사용하지 않음으로써 부호화/복호화 성능을 향상시킬 수 있다. 또한, 이러한 경우 부호화기는 발생 확률이 작은 변환 스킵 모드에 짧은 코드워드를 할당함으로써, 부호화/복호화 성능을 향상시킬 수도 있다. 따라서, PU의 크기(및/또는 형태)에 따라 변환 스킵 모드 후보를 결정하는 방법 및 PU의 크기(및/또는 형태)에 따라 변환 스킵 모드에 코드워드를 할당하는 방법이 제공될 수 있다.
도 6은 인터 모드에서의 PU 형태에 따라, 변환 스킵 모드 후보를 결정하는 방법 및 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 6은 인터 모드에서의 PU의 크기(및/또는 형태)를 개략적으로 도시한다. 도 6을 참조하면, 하나의 부호화 단위(610)는 영상의 성질 등에 따라 서로 다른 크기의 PU로 분할될 수 있다. 도 6은 인터 예측이 수행되는 경우를 나타내는 도면으로서, 하나의 부호화 단위(610)가 복수의 PU(620)로 분할되는 것을 보여준다. 인터 모드에서 PU의 크기(및/또는 형태)는 각각 2N*2N(621), 2N*N(622), N*2N(623), N*N(624), 2NxnU(625), 2NxnD(626), nLx2N(627) 또는 nRx2N(628)이 될 수 있다. 여기서, N*N(624) 크기(및/또는 형태)의 PU는 예측 비용을 산출하기 위한 계산 중복을 방지하기 위해 최소 부호화 단위인 SCU에서만 사용될 수도 있다.
한편, 인터 모드에서 수평 변환 모드 및 수직 변환 모드의 발생 확률은 PU의 형태에 따라 달라질 수 있다. 따라서, PU의 형태에 따라 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)에 할당되는 코드워드는 다르게 정해질 수 있다. 즉, 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)에 할당되는 코드워드는 PU의 형태를 기반으로 결정될 수 있다.
일 실시예로, PU의 형태가 N*2N(623)인 경우에는, 수평 변환의 에너지 압축(energy compaction) 효과가 수직 변환의 에너지 압축 효과보다 작을 수 있다. 따라서, 이 경우에는 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 높을 수 있다. 상술한 표 1의 실시예에서는 수평 변환 모드에 ‘01’의 코드워드가 할당되고 수직 변환 모드에 ‘001’의 코드워드가 할당되어 있으므로, 발생 확률이 높은 변환 스킵 모드에 더 긴 코드워드가 할당된다. 따라서, PU의 형태가 N*2N(623)인 경우에는, 수평 변환 모드에 할당되는 코드워드 및 수직 변환 모드에 할당되는 코드워드를 재설정함으로써, 부호화 성능이 향상될 수 있다. 다음 표 3은 PU의 형태가 N*2N(623)인 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예를 나타낸다.
Figure 112015072949911-pat00004
표 3의 실시예에서, TS0은 2D 변환 모드를 나타낸다. 또한, TS1은 수평 변환 모드를 나타내고 TS2는 수직 변환 모드를 나타낸다. 그리고, TS3는 비변환 모드를 나타낸다. 여기서, 수평 변환 모드 및 수직 변환 모드는 모두 1D 변환 모드에 해당될 수 있다.
표 3을 참조하면, 수평 변환 모드에는 코드워드 ‘001’이 할당되고, 수직 변환 모드에는 코드워드 ‘01’이 할당될 수 있다. 상술한 바와 같이, PU의 형태가 N*2N(623)인 경우에는 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 높을 수 있으므로, 수직 변환 모드에 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다.
상술한 표 3의 실시예는 PU의 형태가 N*2N(623)인 경우를 기준으로 서술되었으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, PU의 형태가 N*2N(623)인 경우뿐만 아니라 nLx2N(627) 또는 nRx2N(628)인 경우에도, 수직 변환 모드의 발생 확률은 수평 변환 모드의 발생 확률보다 높을 수 있다. 따라서, 이 경우에도 수직 변환 모드에는 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다.
반면, PU의 형태가 2N*N(622), 2NxnU(625) 및 2NxnD(626)인 경우에는, 수평 변환 모드의 발생 확률이 수직 변환 모드의 발생 확률보다 높을 수 있다. 따라서, 이 경우에는 수평 변환 모드에 수직 변환 모드보다 짧은 코드워드가 할당될 수 있다. 일례로, PU의 형태가 2N*N(622), 2NxnU(625) 및 2NxnD(626)인 경우에는, 상술한 표 1의 실시예에서와 같은 코드워드 할당 방식이 사용될 수 있다.
한편, 상술한 바와 같이 인터 모드에서 수평 변환 모드 및 수직 변환 모드의 발생 확률은 PU의 형태에 따라 달라질 수 있으므로, 변환 스킵 모드 후보의 개수가 PU의 형태에 따라 다르게 정해질 수도 있다. 즉, 변환 대상 블록에 대한 변환 스킵 모드 후보는 상기 변환 대상 블록에 대응되는 PU의 형태를 기반으로 결정될 수 있다.
일 실시예로, PU의 형태가 2N*N(622)인 경우에는, 수직 변환의 에너지 압축 효과가 수평 변환의 에너지 압축 효과보다 작으므로, 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 작을 수 있다. 따라서, PU의 형태가 2N*N(622)인 경우에는, 수직 변환 모드를 제외한 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 경우 변환 대상 블록에 적용되는 변환 스킵 모드는 2D 변환 모드, 수평 변환 모드 및 비변환 모드 중에서 하나일 수 있다. 다음 표 4는 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용되는 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예를 나타낸다.
Figure 112015072949911-pat00005
표 4의 실시예에서, TS0은 2D 변환 모드를 나타내고, TS1은 수평 변환 모드를 나타내며, TS3는 비변환 모드를 나타낸다. 여기서, 수평 변환 모드는 1D 변환 모드에 해당될 수 있다. 표 4를 참조하면, PU의 형태가 2N*N(622)인 경우에는 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용될 수 있다.
상술한 표 4의 실시예는 PU의 형태가 2N*N(622)인 경우를 기준으로 서술되었으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, PU의 형태가 2N*N(622)인 경우뿐만 아니라 2NxnU(625) 및 2NxnD(626)인 경우에도, 수직 변환 모드의 발생 확률은 수평 변환 모드의 발생 확률보다 작을 수 있다. 따라서, 이 경우에도 수직 변환 모드를 제외한 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다.
다른 실시예로, PU의 형태가 N*2N(623)인 경우에는, 수평 변환의 에너지 압축 효과가 수직 변환의 에너지 압축 효과보다 작으므로, 수평 변환 모드의 발생 확률이 수직 변환 모드의 발생 확률보다 작을 수 있다. 따라서, PU의 형태가 N*2N(623)인 경우에는, 수평 변환 모드를 제외한 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 경우 변환 대상 블록에 적용되는 변환 스킵 모드는 2D 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나일 수 있다. 다음 표 5는 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용되는 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예를 나타낸다.
Figure 112015072949911-pat00006
표 5의 실시예에서, TS0은 2D 변환 모드를 나타내고, TS2는 수직 변환 모드를 나타내며, TS3는 비변환 모드를 나타낸다. 여기서, 수직 변환 모드는 1D 변환 모드에 해당될 수 있다. 표 5를 참조하면, PU의 형태가 N*2N(623)인 경우에는 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용될 수 있다.
상술한 표 5의 실시예는 PU의 형태가 N*2N(623)인 경우를 기준으로 서술되었으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, PU의 형태가 N*2N(623)인 경우뿐만 아니라 nLx2N(627) 또는 nRx2N(628)인 경우에도, 수평 변환 모드의 발생 확률은 수직 변환 모드의 발생 확률보다 작을 수 있다. 따라서, 이 경우에도 수평 변환 모드를 제외한 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다.
상술한 표 3 내지 표 5의 실시예에서는, 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)를 부호화하기 위해 사용되는 비트 수가 감소될 수 있다. 따라서, 부호화/복호화 성능이 향상될 수 있다.
도 7은 SDIP에서의 PU 형태에 따라, 변환 스킵 모드 후보를 결정하는 방법 및 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 7은 SDIP에서의 PU의 크기(및/또는 형태)를 개략적으로 도시한다. 도 7을 참조하면, 하나의 부호화 단위(710)는 영상의 성질 등에 따라 서로 다른 크기의 PU로 분할될 수 있다. 도 7은 SDIP가 적용되는 경우를 나타내는 도면으로서, 하나의 부호화 단위(710)가 복수의 PU(720)로 분할되는 것을 보여준다. SDIP에서 PU의 크기(및/또는 형태)는 각각 2N*2N(721), N*N(723), (1/2)N*2N(725) 또는 2N*(1/2)N(727) 이 될 수 있다. 여기서, N*N(723) 크기(및/또는 형태)의 PU는 예측 비용을 산출하기 위한 계산 중복을 방지하기 위해 최소 부호화 단위인 SCU에서만 사용될 수도 있다.
한편, SDIP에서 수평 변환 모드 및 수직 변환 모드의 발생 확률은 PU의 형태에 따라 달라질 수 있으므로, 변환 스킵 모드 후보의 개수가 PU의 형태에 따라 다르게 정해질 수 있다. 즉, 변환 대상 블록에 대한 변환 스킵 모드 후보는 상기 변환 대상 블록에 대응되는 PU의 형태를 기반으로 결정될 수 있다.
일 실시예로, PU의 형태가 2N*(1/2)N(727)인 경우에는, 수직 변환의 에너지 압축 효과가 수평 변환의 에너지 압축 효과보다 작으므로, 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 작을 수 있다. 따라서, PU의 형태가 2N*(1/2)N(727)인 경우에는, 수직 변환 모드를 제외한 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 경우 변환 대상 블록에 적용되는 변환 스킵 모드는 2D 변환 모드, 수평 변환 모드 및 비변환 모드 중에서 하나일 수 있다. 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용되는 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예는 표 4에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
다른 실시예로, PU의 형태가 (1/2)N*2N(725)인 경우에는, 수평 변환의 에너지 압축 효과가 수직 변환의 에너지 압축 효과보다 작으므로, 수평 변환 모드의 발생 확률이 수직 변환 모드의 발생 확률보다 작을 수 있다. 따라서, PU의 형태가 (1/2)N*2N(725)인 경우에는, 수평 변환 모드를 제외한 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 경우 변환 대상 블록에 적용되는 변환 스킵 모드는 2D 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나일 수 있다. 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용되는 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예는 표 5에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
상술한 실시예에서는, 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)를 부호화하기 위해 사용되는 비트 수가 감소될 수 있다. 따라서, 부호화/복호화 성능이 향상될 수 있다.
도 8은 인트라 모드에서의 예측 방향에 따라 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 1 및 도 2의 실시예에서 상술한 바와 같이, 부호화기 및 복호화기는 현재 픽쳐 내의 픽셀 정보를 기초로 인트라 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측은 예측 대상 블록의 인트라 예측 모드에 따라 수행될 수 있다. 인트라 예측 모드에는 DC 모드, 플래너(planar) 모드, 수직(vertical) 모드, 수평(horizontal) 모드, 앵귤러 모드 등이 있을 수 있다. DC 모드 및 플래너 모드는 비방향성 모드이고, 나머지 모드들은 방향성 모드이다. 여기서, 앵귤러 모드는 수직 모드 및 수평 모드를 제외한 방향성(directional) 예측 모드를 의미할 수 있다.
도 8은 인트라 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드 값을 도시한다. 도 8의 실시예에서 각각의 인트라 예측 모드는 서로 다른 예측 방향을 가진다. 또한 각각의 인트라 예측 모드에 할당된 번호는 모드 값으로 불릴 수 있다.
도 8을 참조하면, 모드 값이 0인 인트라 예측 모드는 플래너 모드로 불릴 수 있다. 플래너 모드에서는 예측 대상 블록 내에 위치한 예측 대상 픽셀의 위치를 기반으로, 상기 예측 대상 픽셀의 픽셀 값 예측에 사용될 참조 픽셀들이 결정될 수 있고, 결정된 참조 픽셀을 기반으로 상기 예측 대상 픽셀의 예측 값이 도출될 수 있다. 모드 값이 1인 경우는 DC 모드로 불릴 수 있으며, 예측 대상 블록 주변에 위치한 픽셀들의 픽셀 값 평균에 의해 예측 블록이 생성될 수 있다. 또한, 모드 값이 26인 경우 주변 블록의 픽셀 값을 기반으로 수직 방향으로 예측이 수행될 수 있다. 따라서, 모드 값이 26인 인트라 예측 모드는 수직 모드(vertical mode)로도 불릴 수 있다. 모드 값이 10인 경우(수평 모드의 경우) 주변 블록의 픽셀 값을 기반으로 수평 방향으로 예측이 수행될 수 있다. 따라서, 모드 값이 10인 인트라 예측 모드는 수평 모드(horizontal mode)로도 불릴 수 있다. 그리고 나머지 모드의 경우, 해당 각도에 따라 주변 블록의 픽셀 값들을 기반으로 예측이 수행될 수 있다.
수평 변환 모드 및 수직 변환 모드의 발생 확률은 변환 대상 블록에 대응되는 PU의 인트라 예측 모드(및/또는 예측 방향)에 따라 달라질 수 있다. 따라서, PU의 인트라 예측 모드(및/또는 예측 방향)에 따라 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)에 할당되는 코드워드는 다르게 정해질 수 있다. 즉, 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)에 할당되는 코드워드는 변환 대상 블록에 대응되는 PU의 인트라 예측 모드(및/또는 예측 방향)를 기반으로 결정될 수 있다.
일 실시예로, PU의 인트라 예측 모드가 수직 모드인 경우에는, 수평 변환의 에너지 압축 효과가 수직 변환의 에너지 압축 효과보다 작을 수 있다. 따라서, 이 경우에는 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 높을 수 있다. 상술한 표 1의 실시예에서는 수평 변환 모드에 ‘01’의 코드워드가 할당되고 수직 변환 모드에 ‘001’의 코드워드가 할당되어 있으므로, 발생 확률이 높은 변환 스킵 모드에 더 긴 코드워드가 할당된다. 따라서, PU의 인트라 예측 모드가 수직 모드인 경우에는, 수평 변환 모드에 할당되는 코드워드 및 수직 변환 모드에 할당되는 코드워드를 재설정함으로써, 부호화 성능이 향상될 수 있다. 즉, PU의 인트라 예측 모드가 수직 모드인 경우에는 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 높을 수 있으므로, 수직 변환 모드에 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다. 수직 변환 모드에 수평 변환 모드보다 짧은 코드워드가 할당되는 경우의 실시예는 표 3의 실시예에서와 유사하므로, 여기서는 생략하기로 한다.
반면, 변환 대상 블록에 대응되는 PU의 인트라 예측 모드가 수평 모드인 경우에는, 수평 변환 모드의 발생 확률이 수직 변환 모드의 발생 확률보다 높을 수 있다. 따라서, 이 경우에는 수평 변환 모드에 수직 변환 모드보다 짧은 코드워드가 할당될 수 있다. 일례로, 변환 대상 블록에 대응되는 PU의 인트라 예측 모드가 수평 모드인 경우에는, 상술한 표 1의 실시예에서와 같은 코드워드 할당 방식이 사용될 수 있다.
도 9는 변환 스킵 모드에 따른 변환 계수 스캐닝 방법의 실시예를 개략적으로 나타내는 도면이다.
도 9는 수평 스캔(910) 방식, 수직 스캔(920) 방식 및 지그재그 스캔(930) 방식의 실시예를 도시한다. 비록 도 9에는 4x4 블록에 대한 스캐닝 방법(및/또는 스캔 순서)만이 도시되어 있지만, 본 발명은 이에 한정되는 것은 아니며 블록의 크기에 관계 없이 적용될 수 있다.
이하, 도 9의 실시예에서는 설명의 편의상 경우에 따라 역스캐닝이 ‘스캐닝’으로 지칭될 수도 있다. 이와 같은 구분은 당해 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다.
도 1에서 상술한 바와 같이, 부호화기는 엔트로피 부호화의 효율을 높이기 위해, 스캐닝(scanning)을 수행하여 양자화된 2차원 블록 형태의 변환 계수를 1차원 벡터 형태의 변환 계수로 정렬할 수 있다. 또한 도 2에서 상술한 바와 같이, 복호화기는 복호화된 1차원 벡터 형태의 변환 계수에 대해 스캐닝을 수행함으로써 2차원 블록 형태의 변환 계수를 생성할 수 있다.
이 때, 부호화기 및 복호화기는 변환 스킵 모드를 기반으로 스캐닝 방법(및/또는 스캐닝 순서)을 결정할 수 있다. 즉, 본 발명의 실시예에 따르면 변환 대상 블록에 대한 변환 스킵 모드에 따라 스캐닝 방법(및/또는 스캐닝 순서)가 서로 다르게 적용될 수 있다.
일 실시예로, 변환 스킵 모드가 수평 변환 모드인 경우에는 잔차 신호가 수직 방향으로 많이 남아 있을 확률이 높다. 따라서, 변환 대상 블록에 대한 변환 스킵 모드가 수평 변환 모드인 경우에는, 상기 변환 대상 블록에 대해 수직 스캔(vertical scan) 방식(920)이 적용될 수 있다. 또한, 변환 스킵 모드가 수직 변환 모드인 경우에는 잔차 신호가 수평 방향으로 많이 남아 있을 확률이 높다. 따라서, 변환 대상 블록에 대한 변환 스킵 모드가 수직 변환 모드인 경우에는, 상기 변환 대상 블록에 대해 수평 스캔(horizontal scan) 방식(910)이 적용될 수 있다. 수평 변환 모드 및 수직 변환 모드를 제외한 나머지 변환 스킵 모드에서는 지그재그 스캔(zigzag scan) 방식(930)을 기반으로 스캐닝이 수행될 수 있다.
도 10은 본 발명의 실시예에 따른 부호화 방법을 개략적으로 나타내는 흐름도이다.
도 10을 참조하면, 부호화기는 현재 블록에 대응되는 잔차 블록을 생성할 수 있다(S1010). 상술한 바와 같이, 부호화기는 현재 블록에 대해 인터 예측 및/또는 인트라 예측을 수행함으로써, 현재 블록에 대응되는 예측 블록을 생성할 수 있다. 이 때, 부호화기는 현재 블록의 픽셀 값과 예측 블록의 픽셀 값을 픽셀 단위로 차분하여 잔차(residual) 신호, 즉 잔차 블록을 생성할 수 있다.
다시 도 10을 참조하면, 부호화기는 잔차 신호, 즉 잔차 블록에 대해 변환을 수행할 수 있다(S1020). 부호화기는 변환 커널(kernel)을 적용하여 잔차 신호를 변환 부호화할 수 있으며, 변환 부호화 커널의 크기는 2*2, 4*4, 8*8, 16*16, 32*32 또는 64*64일 수 있다. 일 실시예로 n*n 블록에 대한 변환 계수 C는 다음 수학식 2에 의해 계산될 수 있다.
Figure 112015072949911-pat00007
여기서, C(n,n)은 n*n 크기의 변환 계수에 대한 행렬이고, T(n,n)은 n*n 크기의 변환 커널 행렬이고, B(n,n)은 n*n 크기의 잔차 블록에 대한 행렬이다.
변환 과정에 의해 변환 계수가 생성되면, 부호화기는 생성된 변환 계수에 대한 양자화를 수행할 수 있다.
잔차 블록과 변환 계수 중 어떤 것이 전송되는 지는 RDO를 통해 결정될 수 있다. 예측이 잘 된 경우에는 변환 부호화 없이 잔차 블록, 즉 잔차 신호가 그대로 전송될 수 있다. 부호화기는 변환 부호화 전/후의 비용 함수(cost function)를 비교할 수 있으며, 비용이 최소화되는 방법을 선택할 수 있다. 이 때, 부호화기는 현재 블록에 대해 전송하는 신호의 타입(잔차 신호 또는 변환 계수)에 대한 정보를 복호화 장치로 전송할 수 있다.
변환 과정의 구체적인 실시예들은 상술한 바 있으므로, 여기서는 생략하기로 한다.
다시 도 10을 참조하면, 부호화기는 변환 계수에 대한 스캐닝을 수행할 수 있다(S1030). 이 때, 상술한 바와 같이, 부호화기는 변환 스킵 모드를 기반으로 스캐닝 방법(및/또는 스캔 순서)를 결정할 수 있다. 변환 스킵 모드를 기반으로 스캔 순서를 결정하는 방법의 구체적인 실시예는 상술한 바 있으므로, 여기서는 생략하기로 한다.
스캐닝이 수행되면, 부호화기는 스캐닝된 변환 계수 및 보조 정보(예를 들어, 현재 블록의 인터 예측 모드 정보)에 대한 엔트로피 부호화를 수행할 수 있다(S1040). 부호화된 정보들은 압축된 비트스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장될 수 있다.
도 10의 실시예에서, 부호화 방법은 일련의 단계로서 흐름도를 기초로 설명되고 있으나, 본 발명은 이에 한정되는 것은 아니다. 도 10의 실시예에서 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 병렬적으로 발생할 수도 있다. 또한, 흐름도에 나타내어진 단계들에 다른 단계가 포함될 수도 있으며, 도 10의 흐름도에서 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수도 있다.
도 11은 본 발명의 실시예에 따른 복호화 방법을 개략적으로 나타내는 흐름도이다.
도 11을 참조하면, 복호화기는 부호화기로부터 수신된 비트스트림에 대해 엔트로피 복호화를 수행할 수 있다(S1110). 일례로, 복호화기는 VLC(variable length coding) 테이블 및/또는 CABAC을 기반으로 현재 블록의 예측 모드 및 잔차 신호를 도출할 수 있다. 복호화기는 현재 블록에 대해 수신된 신호가 잔차 신호인지 아니면 변환 계수인지에 관한 정보를 얻을 수 있고, 현재 블록에 대해 잔차 신호나 1차원 벡터 형태의 변환 계수를 얻을 수 있다. 수신된 비트스트림에 복호화에 필요한 보조 정보(side information)가 포함되는 경우, 이들이 함께 엔트로피 복호화될 수도 있다.
다시 도 11을 참조하면, 복호화기는 엔트로피 복호화된 잔차 신호나 변환 계수에 대해 역스캐닝을 수행함으로써, 2차원 블록을 생성할 수 있다(S1120). 이 때, 잔차 신호의 경우 잔차 블록이 생성되고, 변환 계수의 경우 2차원 블록 형태의 변환 계수가 생성될 수 있다. 변환 계수가 생성된 경우 복호화기는 생성된 변환 계수에 대해 역양자화를 수행할 수 있다.
한편, 상술한 바와 같이, 역스캐닝을 수행함에 있어, 복호화기는 변환 스킵 모드를 기반으로 스캐닝 방법(및/또는 스캔 순서)를 결정할 수 있다. 변환 스킵 모드를 기반으로 스캔 순서를 결정하는 방법의 구체적인 실시예는 상술한 바 있으므로, 여기서는 생략하기로 한다.
다시 도 11을 참조하면, 복호화기는 역양자화된 변환 계수에 대해 역변환을 수행함으로써 잔차 블록을 생성할 수 있다(S1130). 역변환 과정은 다음 수학식 3에 의해 나타내어질 수 있다.
Figure 112015072949911-pat00008
역변환 과정의 구체적인 실시예들은 상술한 바 있으므로, 여기서는 생략하기로 한다.
잔차 블록이 생성되면, 복호화기는 생성된 잔차 블록을 기반으로 복원 블록을 생성할 수 있다(S1140). 상술한 바와 같이, 복호화기는 복호화 대상 블록에 대해 인터 예측 및/또는 인트라 예측을 수행함으로써, 복호화 대상 블록에 대응되는 예측 블록을 생성할 수 있다. 이 때, 복호화기는 예측 블록의 픽셀값과 잔차 블록의 픽셀값을 픽셀 단위로 더하여 복원 블록을 생성할 수 있다.
도 11의 실시예에서, 복호화 방법은 일련의 단계로서 흐름도를 기초로 설명되고 있으나, 본 발명은 이에 한정되는 것은 아니다. 도 11의 실시예에서 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 병렬적으로 발생할 수도 있다. 또한, 흐름도에 나타내어진 단계들에 다른 단계가 포함될 수도 있으며, 도 11의 흐름도에서 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수도 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로써 흐름도 또는 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 병렬적으로 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도 또는 흐름도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상에서 본 발명은 실시예를 참조하여 설명되었으나, 상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합이 기술될 수는 없지만, 당해 기술 분야에서 통상의 지식을 가진 당업자는 본 발명의 사상에서 벗어나지 않는 범위 내에서 본 발명에 대한 다양한 변경 또는 수정이 가능함을 이해할 수 있을 것이다.

Claims (4)

  1. 비트스트림으로부터 현재 블록의 잔차 계수를 획득하는 단계;
    상기 잔차 계수를 역양자화하여 역양자화된 잔차 계수를 획득하는 단계;
    상기 현재 블록의 변환 스킵 모드를 특정하는 변환 스킵 모드 인덱스에 기반하여, 상기 현재 블록의 변환 스킵 모드 후보 중 어느 하나를 상기 현재 블록의 변환 스킵 모드로 결정하는 단계; 상기 변환 스킵 모드 후보는 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 또는 비변환 모드 중 적어도 하나를 포함하고, 상기 변환 스킵 모드 후보의 개수 또는 종류는 상기 현재 블록의 크기 또는 형태에 따라 상이함,
    상기 현재 블록의 변환 스킵 모드에 따라, 상기 역양자화된 잔차 계수를 이용하여 상기 현재 블록의 잔차 샘플을 획득하는 단계; 및
    상기 잔차 샘플과 상기 잔차 샘플에 대응하는 예측 샘플을 이용하여 복원 샘플을 획득하는 단계를 포함하되,
    상기 현재 블록의 변환 스킵 모드가 상기 비변환 모드로 결정된 경우, 상기 잔차 샘플은 상기 역양자화된 잔차 계수를 기결정된 값으로 스케일링하여 획득되며,
    상기 예측 샘플은 화면 간 예측을 통해 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  2. 제1항에 있어서, 상기 스케일링은 비트 시프트 연산을 이용하여 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  3. 제1항에 있어서, 상기 변환 스킵 모드 인덱스는 변환 유닛의 단위로 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  4. 제1항에 있어서,
    상기 2D 변환 모드는 수평 변환과 수직 변환이 모두 수행되는 모드이고, 상기 수평 변환 모드는 수평 변환만이 수행되는 모드이며, 상기 수직 변환 모드는 수직 변환만이 수행되는 모드이고, 상기 비변환 모드는 수평 변환과 수직 변환이 모두 생략되는 모드인 것을 특징으로 하는 비디오 신호 디코딩 방법.
KR1020157020439A 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치 KR101718954B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20110106107 2011-10-17
KR1020110106107 2011-10-17
PCT/KR2012/008482 WO2013058542A1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147028577A Division KR101857109B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20150091431A KR20150091431A (ko) 2015-08-10
KR101718954B1 true KR101718954B1 (ko) 2017-03-22

Family

ID=48141112

Family Applications (10)

Application Number Title Priority Date Filing Date
KR1020157020439A KR101718954B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020157020440A KR101857110B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147023493A KR101550724B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147023492A KR101550723B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147028577A KR101857109B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020157020441A KR101880642B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147010466A KR101533720B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147025590A KR101550725B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020157020438A KR101718953B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147025591A KR101550726B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치

Family Applications After (9)

Application Number Title Priority Date Filing Date
KR1020157020440A KR101857110B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147023493A KR101550724B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147023492A KR101550723B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147028577A KR101857109B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020157020441A KR101880642B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147010466A KR101533720B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147025590A KR101550725B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020157020438A KR101718953B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147025591A KR101550726B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치

Country Status (12)

Country Link
US (6) US9560384B2 (ko)
KR (10) KR101718954B1 (ko)
CN (9) CN104081775B (ko)
AU (5) AU2012326873B2 (ko)
BR (1) BR112014009403B1 (ko)
CA (1) CA2856198C (ko)
GB (5) GB2551290B (ko)
IN (1) IN2014DN03098A (ko)
MX (2) MX2014004777A (ko)
PL (1) PL230821B1 (ko)
RU (5) RU2606066C2 (ko)
WO (1) WO2013058542A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
GB2561487B (en) * 2011-10-18 2019-01-02 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
WO2015012600A1 (ko) * 2013-07-23 2015-01-29 성균관대학교 산학협력단 영상 부호화/복호화 방법 및 장치
KR101709775B1 (ko) * 2013-07-23 2017-02-23 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
GB2518823A (en) 2013-09-25 2015-04-08 Sony Corp Data encoding and decoding
WO2016081939A1 (en) * 2014-11-21 2016-05-26 Vid Scale, Inc. One-dimensional transform modes and coefficient scan order
WO2017030418A1 (ko) * 2015-08-19 2017-02-23 엘지전자(주) 다중 그래프 기반 모델에 따라 최적화된 변환을 이용하여 비디오 신호를 인코딩/ 디코딩하는 방법 및 장치
US10042942B2 (en) * 2015-10-30 2018-08-07 Sap Se Transforms using column dictionaries
ES2710807B1 (es) 2016-03-28 2020-03-27 Kt Corp Metodo y aparato para procesar senales de video
US10735720B2 (en) * 2016-06-24 2020-08-04 Kt Corporation Method and apparatus for processing video signal
US11190770B2 (en) * 2016-07-05 2021-11-30 Kt Corporation Method and apparatus for processing video signal
US10764583B2 (en) * 2016-08-31 2020-09-01 Kt Corporation Method and apparatus for processing video signal
EP4236321A3 (en) * 2016-08-31 2023-09-13 KT Corporation Method and device for processing video signal
US11095892B2 (en) * 2016-09-20 2021-08-17 Kt Corporation Method and apparatus for processing video signal
JP7198268B2 (ja) * 2017-07-31 2022-12-28 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 画像復号化方法、画像符号化方法及びコンピュータ可読記録媒体
EP3661214B1 (en) * 2017-08-04 2022-07-20 LG Electronics Inc. Method and apparatus for configuring transform for video compression
CN110049322B (zh) * 2018-01-15 2021-02-05 北京金山云网络技术有限公司 模式选择的方法、装置、电子设备及存储介质
WO2019194420A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 변환 인디케이터에 기반한 영상 코딩 방법 및 그 장치
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
WO2020185022A1 (ko) * 2019-03-12 2020-09-17 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2021006697A1 (ko) * 2019-07-10 2021-01-14 엘지전자 주식회사 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
JP7444998B2 (ja) * 2019-12-31 2024-03-06 エルジー エレクトロニクス インコーポレイティド リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
KR20220098017A (ko) * 2020-01-10 2022-07-08 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
JP7458489B2 (ja) * 2020-01-10 2024-03-29 エルジー エレクトロニクス インコーポレイティド 変換に基づく画像コーディング方法及びその装置
US20230015210A1 (en) * 2020-01-10 2023-01-19 Lg Electronics Inc. Transform-based image coding method and device therefor
CN113766225B (zh) * 2020-06-05 2023-02-28 杭州海康威视数字技术股份有限公司 编码方法、解码方法及装置

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
US20040125204A1 (en) 2002-12-27 2004-07-01 Yoshihisa Yamada Moving picture coding apparatus and moving picture decoding apparatus
US8009739B2 (en) 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
US8107531B2 (en) 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
MXPA06002495A (es) 2003-09-07 2006-06-20 Microsoft Corp Capa de porcion en codificador/descodificador (codec) de video.
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US8085844B2 (en) 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US8345754B2 (en) 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US8014450B2 (en) 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US7688894B2 (en) 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US8582659B2 (en) 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7577198B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7782954B2 (en) 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
US7092576B2 (en) 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US7852919B2 (en) 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7961786B2 (en) 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US8213779B2 (en) 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7606308B2 (en) 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7822123B2 (en) 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
US7369709B2 (en) 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
CN100401780C (zh) * 2004-05-07 2008-07-09 美国博通公司 在视频解码器中动态选择变换尺寸的方法和系统
KR100619041B1 (ko) * 2004-07-22 2006-09-01 삼성전자주식회사 비디오 동기화 장치 및 비디오 동기화 방법
WO2006044370A1 (en) 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
US20060104521A1 (en) * 2004-11-15 2006-05-18 Shu-Wen Teng Image processing devices and methods
CN1777283A (zh) * 2004-12-31 2006-05-24 上海广电（集团）有限公司 一种基于微块的视频信号编/解码方法
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR100750145B1 (ko) * 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CN101137047B (zh) * 2006-08-29 2010-09-15 昆山杰得微电子有限公司 一种通过有效残差系数分析提高编码效率的方法
WO2008035842A1 (en) * 2006-09-20 2008-03-27 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding using alternative converter according to the correlation of residual signal
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US8165203B2 (en) * 2006-12-07 2012-04-24 Qualcomm Incorporated Line-based video rate control
KR101345090B1 (ko) * 2006-12-14 2013-12-26 톰슨 라이센싱 적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8654833B2 (en) * 2007-09-26 2014-02-18 Qualcomm Incorporated Efficient transformation techniques for video coding
CN101415121B (zh) * 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
KR101291196B1 (ko) 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
CN101309401B (zh) * 2008-07-10 2010-08-04 上海富瀚微电子有限公司 一种快速的先进视频编码率计算方法及其装置
WO2010018992A2 (en) * 2008-08-12 2010-02-18 Lg Electronics Inc. Method of processing a video signal
KR20100027384A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 예측 모드 결정 방법 및 장치
KR20110106402A (ko) * 2009-01-27 2011-09-28 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
JP5700970B2 (ja) * 2009-07-30 2015-04-15 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像シーケンスを表す符号化データストリームの復号方法と画像シーケンスの符号化方法
EP2299717A1 (en) * 2009-09-10 2011-03-23 Thomson Licensing Method and apparatus for image encoding using Hold-MBs, and method and apparatus for image decoding using Hold-MBs
US20110090954A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Video Codes with Directional Transforms
US20110090952A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Directional Transforms for Video and Image Coding
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
CN101710994B (zh) * 2009-12-17 2012-12-26 无锡中星微电子有限公司 一种用于视频解码的方法和系统
US8315310B2 (en) * 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
US8885714B2 (en) 2010-01-14 2014-11-11 Texas Instruments Incorporated Method and system for intracoding in video encoding
US8559511B2 (en) * 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
CN101841713B (zh) * 2010-04-30 2012-12-05 西安电子科技大学 降低编码码率的视频编码方法及系统
CN101895756B (zh) * 2010-07-15 2012-10-31 北京大学 视频图像块的编码、解码、重构方法及系统
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Marta M. et al., "Transform skip mode", JCTVC-F077, 22 July, 2011.*
T. Wiegand, "WD3: Working Draft 3 of High Efficiency Video Coding", JCTVC-E603, 23 March, 2011.*

Also Published As

Publication number Publication date
KR101550724B1 (ko) 2015-09-07
GB201713539D0 (en) 2017-10-04
AU2016247083A1 (en) 2016-11-10
GB2551086A (en) 2017-12-06
GB2510078C (en) 2019-10-16
US20150139306A1 (en) 2015-05-21
AU2016247085B2 (en) 2018-10-18
GB201407661D0 (en) 2014-06-18
CN107483930A (zh) 2017-12-15
US9560384B2 (en) 2017-01-31
US20170099503A1 (en) 2017-04-06
PL230821B1 (pl) 2018-12-31
CN107483930B (zh) 2020-03-06
GB2551088B (en) 2018-09-19
US9560385B2 (en) 2017-01-31
RU2648605C1 (ru) 2018-03-26
US9661354B2 (en) 2017-05-23
CN107257475B (zh) 2020-04-21
KR20140135243A (ko) 2014-11-25
CN107343204A (zh) 2017-11-10
CN107257457A (zh) 2017-10-17
GB2551088A (en) 2017-12-06
KR101880642B1 (ko) 2018-07-20
CN107257475A (zh) 2017-10-17
AU2016201713A1 (en) 2016-04-07
KR20150091431A (ko) 2015-08-10
KR20150091432A (ko) 2015-08-10
GB2551087A (en) 2017-12-06
GB2551086B (en) 2018-09-19
GB201713557D0 (en) 2017-10-04
US9661352B2 (en) 2017-05-23
CN107360421A (zh) 2017-11-17
CN104378640B (zh) 2017-11-24
AU2016247085A1 (en) 2016-11-10
BR112014009403A2 (pt) 2017-04-18
GB2551087B (en) 2018-09-19
RU2016140545A (ru) 2018-12-14
KR101718953B1 (ko) 2017-03-22
CA2856198C (en) 2017-08-29
KR101533720B1 (ko) 2015-07-03
RU2646307C1 (ru) 2018-03-02
AU2016247083B2 (en) 2018-10-18
PL408822A1 (pl) 2015-07-20
CN107257457B (zh) 2020-04-21
AU2016201699A1 (en) 2016-04-07
KR20140111043A (ko) 2014-09-17
US9661346B2 (en) 2017-05-23
KR101550725B1 (ko) 2015-09-07
CN104081775B (zh) 2017-09-12
MX2014004777A (es) 2014-07-30
AU2016201699B2 (en) 2017-07-20
BR112014009403B1 (pt) 2022-09-13
US9826251B2 (en) 2017-11-21
KR101857109B1 (ko) 2018-05-11
RU2648607C1 (ru) 2018-03-26
KR20140116974A (ko) 2014-10-06
CN107343204B (zh) 2019-10-15
KR101550723B1 (ko) 2015-09-07
GB2551290A (en) 2017-12-13
US20140269915A1 (en) 2014-09-18
CN105100805A (zh) 2015-11-25
KR20150091430A (ko) 2015-08-10
CN104378640A (zh) 2015-02-25
KR101857110B1 (ko) 2018-05-11
KR20140077928A (ko) 2014-06-24
CA2856198A1 (en) 2013-04-25
GB2510078B (en) 2018-04-25
WO2013058542A1 (ko) 2013-04-25
US20170223380A1 (en) 2017-08-03
GB2510078A (en) 2014-07-23
KR101550726B1 (ko) 2015-09-07
US20170099502A1 (en) 2017-04-06
GB201713548D0 (en) 2017-10-04
US20170099504A1 (en) 2017-04-06
AU2016201713B2 (en) 2017-07-20
CN107360421B (zh) 2020-03-06
GB201713541D0 (en) 2017-10-04
RU2715031C2 (ru) 2020-02-21
AU2012326873B2 (en) 2015-12-24
AU2012326873A1 (en) 2014-05-22
KR20140111042A (ko) 2014-09-17
GB2551290B (en) 2018-09-19
IN2014DN03098A (ko) 2015-05-15
RU2014117487A (ru) 2015-11-27
CN104081775A (zh) 2014-10-01
RU2606066C2 (ru) 2017-01-10
KR20140116973A (ko) 2014-10-06
CN107493479B (zh) 2020-05-12
RU2016140545A3 (ko) 2019-12-26
MX339392B (es) 2016-05-25
CN107493479A (zh) 2017-12-19
KR20150091433A (ko) 2015-08-10
CN105100805B (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
KR101718954B1 (ko) 영상 부호화/복호화 방법 및 그 장치
KR101641863B1 (ko) 영상 부호화/복호화 방법 및 그 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant