KR20150027530A - Hevc 부호화 장치 및 이를 이용한 부호화 방법 - Google Patents

Hevc 부호화 장치 및 이를 이용한 부호화 방법 Download PDF

Info

Publication number
KR20150027530A
KR20150027530A KR20130106012A KR20130106012A KR20150027530A KR 20150027530 A KR20150027530 A KR 20150027530A KR 20130106012 A KR20130106012 A KR 20130106012A KR 20130106012 A KR20130106012 A KR 20130106012A KR 20150027530 A KR20150027530 A KR 20150027530A
Authority
KR
South Korea
Prior art keywords
residual signal
current block
prediction
prediction mode
signal
Prior art date
Application number
KR20130106012A
Other languages
English (en)
Inventor
김익균
변경진
엄낙웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR20130106012A priority Critical patent/KR20150027530A/ko
Priority to US14/304,405 priority patent/US20150063452A1/en
Publication of KR20150027530A publication Critical patent/KR20150027530A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상의 휘도 성분의 잔차신호와, 색차 성분의 잔차신호 사이의 잔차신호 채널간 인트라 예측 부호화 방법이 개시된다. 본 발명에 따르면, HEVC의 휘도 성분, 색차 성분의 잔차신호 채널 간 예측하는데 있어서 인트라 예측 부호화 성능을 개선할 수 있으며, 선형 예측을 위한 예측계수를 HEVC의 쿼드트리 블록 구조를 변경하지 않는 범위에서 고속으로 도출할 수 있다. 또한, 휘도 성분과 색차 성분의 PU(Prediction Unit)의 쿼드트리 블록 구조가 다른 경우에 발생하는 채널간 예측 성능 저하를 피할 수 있는 이점이 있다.

Description

HEVC 부호화 장치 및 이를 이용한 부호화 방법{High efficiency video coding intra frame prediction apparatus and method thereof}
본 발명은 동영상 부호화 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 성능이 향상된 HEVC 인트라 프레임 부호화 장치 및 그 방법에 관한 것이다.
동영상 부호화 방식인 H.264/AVC의 차세대방식으로서, YUV420 영상을 대상으로 HEVC(High Efficiency Video Coding)에 대한 표준 제정이 JCT-VC(Joint Collaborative Team on Video Coding)에서 진행되고 있다.
특히, H.264/AVC와의 큰 차이로서, 고정 사이즈였던 Macro Block(MB)과 비교하여, 가변사이즈를 전제로 한 Coding Unit(CU)와 쿼드트리(Quadtree) 구조에 바탕을 둔 쿼드트리 블록(Quadtree Block) 구조가 제안되어 채택되어 있다.
또한, JCT-VC에서는 인트라 예측 툴의 하나로서, 휘도 성분과 색차 성분 사이의 유사성을 이용하여 리던던시를 삭감하는 방식(화소신호 채널간 예측방식)이 제안되어 역시 채택되어 있다. 이 방식은 부호화가 끝난 주변신호로부터 예측계수를 추정하기 때문에, 예측계수 자체의 부호화 생략이 가능하고, 부호량을 크게 삭감할 수 있다. 하지만, 예측계수의 정도(accuracy)가 낮고, 낮은 bit-rate에서의 주관적 품질에 문제를 가지고 있다고 평가된다.
휘도 성분과 색차 성분 사이의 상관관계를 이용한 예측방식은 위의 화소신호 채널간 예측방식 이외에도 많은 검토가 이루어지고 있다. YUV444 부호화 툴로서 재구성 휘도 영상으로부터 선형예측을 이용하여 색차 예측신호를 만들어 내는 방식을 제안하기도 하고, 영상신호에 포함되는 방향성을 고려한 예측모델을 제안하고도 있다.
이와는 별개로 RGB444 영상을 대상으로 하여, 화면 내 예측과 휘도 성분과 색차 성분 사이 예측을 적응적으로 선택하는 방식을 제안하기도 한다.
H.264/AVC에 대한 다른 방식의 채널 간 예측으로서, Ultra HD라 불리는 초고정세 영상 내 RGB444 영상을 대상으로 하는 데이터저장용 부호화방식도 검토되고 있다. 초고정세영상에서는 동일 특징을 가지는 영역(화소수)이 늘어나 화소간 상관관계가 높아지기 때문에, 일반적으로 인트라 예측성능이 개선된다.
한편, H.264/AVC에서는 큰 블록사이즈가 선택되기 쉽게 되기 때문에, 방향을 고려한 예측에서는 예측이 곤란하게 되는 복잡한 texture edge가 잔차신호로서 생기고, 그 결과로 휘도 성분과 색차 성분 사이에서의 리던던시가 증가한다. 그래서, 휘도 성분과 색차 성분 사이 상관관계를 이용하여 인트라 예측 차분신호를 예측하는 방식이 제안되었다. 이 방식은 피예측신호의 인트라 예측 잔차신호를 참조신호로부터 선형 예측하여, 최적인 예측계수를 부호화 측에서 도출하여 이용한다.
그렇지만, HEVC 에서는 YUV420영상을 대상으로 하고 있고, 더욱 Quadtree block 구조가 채택되어 있기 때문에, 이 방식은 그대로 적용할 수 없다.
H.264/ AVC 의 화소신호 채널간 예측방식
이 방식은 재구성한 휘도 신호(local decode)를 이용하여 색차 신호를 채널간에서 선형 예측한다. 휘도 신호는 색차 신호와 사이즈 및 위상을 맞추기 때문에, 수직방향으로 다운사이징, 수평방향으로 서브 샘플링된다. 다시, 색차 신호는 재구성휘도 신호로부터 이하의 모델 식에 의하여 예측된다.
Figure pat00001
Figure pat00002
여기서,
Figure pat00003
는 부호화 대상이 되는 현재블록 내의 색차 예측신호,
Figure pat00004
은 현재블록 내의 재구성된 휘도 신호를 나타낸다. 상기 수학식 1의 파라미터 α와 β는 현재블록의 주위에 있는 부호화 완료 휘도 신호와 색차 신호를 이용하여, 부호화기와, 복호화기 각각에서 최소 제곱법(method of least squares)에 의하여 도출한다.
전술한 방식에서는, 현재블록의 휘도 성분과 색차 성분의 채널 사이에 상관관계 있다고 하여도, 현재블록과 그 주위의 영역에 있어서 상관관계가 없으면 파라미터의 도출이 부정확하게 되는 문제점이 있다. 또, 이미 양자화된 신호를 이용하여 파라미터를 도출하기 때문에 파라미터 추정 정도(accuracy)가 불충분하게 되어 주관품질의 개선도 한정적이다.
더욱, H.264/AVC FRExt 책정을 기회로 검토된 각 방식은 444영상을 대상으로 하고 있고, HEVC 에서 대상으로 하고 있는 420 영상에 적용하여도 성능의 개선은 한정적이고, 효과적인 계산량 개선 측면에서는 만족스럽지 못한 결과를 보이고 있다.
H.264/ AVC 의 잔차신호 채널간 예측 방식
이 방식은 화면 내 상관(intra frame)과 채널간 상관을 동시에 이용하기 때문에, 휘도 성분에 대한 인트라 예측 결과 생성된 잔차신호를 이용하여, 색차 성분에 대한 인트라 예측 잔차신호를 채널간에서 선형예측 한다. H.264의 휘도 성분의 인트라 예측에는 9종류의 모드가 존재하지만, 피예측신호의 인트라 예측 잔차신호는 아래의 수학식 2에 의하여 예측된다.
Figure pat00005
여기서,
Figure pat00006
는 피예측신호에서의 인트라 예측 잔차신호의 예측신호이다. 피예측신호의 예측모드는, 최적인 예측모드가 부호화되지만, 반드시 기준신호에 있어서의 예측모드와 일치하지 않는다. 따라서,
Figure pat00007
는 예측신호의 예측모드와 동일 예측모드를 재구성한 기준신호에 적용하여 산출한 예측 잔차신호이다.
예측계수 α는 기준신호(휘도 성분에 대한 신호)에 있어서 인트라 부호화가 완료된 잔차신호와 피예측신호(색차 성분에 대한 신호)에서의 정수변환·양자화 전의 잔차신호를 이용하여 최소제곱법(method of least squares)에 의해 해석적으로 부호화기에서 도출한다. 이후, 부호화기는 부호화 완료된 주변 블록에서의 예측계수 α를 이용하여, 현재블록에서의 예측계수 α를 추정하고, 해석적으로 도출된 값과의 차분치를 양자화하여 부호화 한다.
예측 블록사이즈가 변환블록 사이즈보다도 크기 때문에, 예측계수 β는 변환블록 내에서 동일한 값으로 되어, 다음 단의 정수변환에 의하여 DC 계수에만 가산된다. 즉, β는 가산된 DC계수를 부호화 한다.
이와 같이, 채널 내에서의 최적인 예측모드를 부호화하는 것으로 intra 상관관계를 낮추고, 피예측신호의 예측 잔차신호를 재예측하는 것으로 채널간 상관관계를 낮추며, 예측 정도(accuracy)를 높이기 위해 양자화 전의 신호로부터 도출한 예측계수의 부호화를 행한다. 한편, 이 방법은 Quadtree Block 구조를 갖는 HEVC에 그대로 적용하는 것은 어렵다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, H.264 확장방식을 베이스로 하여 HEVC의 쿼드트리 블록(Quadtree block)구조에 적응시킨, 휘도 성분과 색차 성분의 잔차신호(residue) 간 예측 부호화 장치 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 종래의 H.264 화소신호 채널간 예측 부호화 방식과 보완관계에 있는 HEVC의 잔차신호 채널간 예측 부호화 장치 및 그 방법을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 HEVC 인트라 예측 부호화 장치는 부호화 대상이 되는 현재블록(Prediction Unit, PU)에 대한 제1 인트라 예측 모드 방향에 따라 상기 현재블록의 휘도 성분에 대한 제1 잔차신호를 생성하는 휘도신호 부호화기; 상기 현재블록에 대한 제2 인트라 예측 모드 방향에 따라 상기 현재블록의 색차 성분에 대한 제2 잔차신호를 생성하는 색차신호 부호화기; 및 상기 현재블록의 휘도 잔차신호와 색차 잔차신호 사이에 잔차신호 채널간 예측을 수행하는 모드(이하, 잔차신호 채널간 예측모드)가 선택되면, 상기 제1 잔차신호 및 상기 제2 잔차신호를 이용하여 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성하는 잔차신호 예측 부호화기를 포함한다.
일 실시예로서, 상기 잔차신호 채널간 예측모드가 선택되면, 상기 제1 인트라 예측 모드 방향과 상기 제2 인트라 예측 모드 방향은 동일한 것일 수 있다.
다른 한편으로, 상기 잔차신호 채널간 예측모드가 선택되면, 상기 제2 인트라 예측 모드 방향에 대한 부호화는 생략되는 것일 수 있다.
바람직하게는, 상기 잔차신호 예측 부호화기는 상기 현재블록 내에서 TU(Transform Unit) 분할이 있는 경우, 상기 현재블록 내에서 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출한다.
또한, 상기 잔차신호 예측 부호화기는 상기 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록 내에서 색차 성분에 대한 TU 분할을 제한할 수 있다.
한편, 상기 제1 잔차신호는 정수 변환, 양자화 후 복원된 신호이고, 상기 제2 잔차신호는 정수 변환 및 양자화되기 전의 신호일 수 있다.
다른 한편으로, 상기 휘도신호 부호화기 및 상기 색차신호 부호화기는 휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 (Quadtree block) 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조가 상이한 경우, 상기 휘도 성분에 대한 현재블록 집합의 좌측 상단 현재블록의 제3 인트라 예측모드 방향에 따라, 상기 현재블록 집합에 대해 휘도 성분에 대한 제1 잔차신호 및 색차 성분에 대한 제2 잔차신호를 재생성할 수 있다.
본 발명의 다른 면에 따른 HEVC 인트라 예측 부호화 장치는 부호화 대상이 되는 현재블록(Prediction Unit, PU)에 대해 휘도 성분의 잔차신호와 색차 성분의 잔차신호 채널간 예측모드를 포함하는 인트라 예측 모드를 제공하는 예측 모드 선택부; 및 상기 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록의 제1 인트라 예측모드 방향에 따라 생성된 휘도 성분의 제1 잔차신호와, 상기 현재블록의 제2 인트라 예측모드 방향에 따라 생성된 색차 성분의 제2 잔차신호를 이용하여 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성하는 예측 잔차신호 생성부를 포함한다.
여기서, 상기 잔차신호 채널간 예측모드가 선택되면, 상기 제1 인트라 예측 모드 방향과 상기 제2 인트라 예측 모드 방향은 동일한 것을 특징으로 한다.
일 실시예로서, 상기 잔차신호 채널간 예측모드가 선택되면, 상기 제2 인트라 예측 모드 방향에 대한 부호화는 생략될 수 있다.
한편, 본 발명의 다른 면에 따른 HEVC 인트라 예측 부호화 장치는 상기 현재블록의 휘도 성분 및 색차 성분에 대한 쿼드트리 블록(Quadtree block) 구조를 결정하는 블록 분할부를 더 포함하되, 상기 예측 잔차신호 생성부는 상기 현재블록 내에서 휘도 성분 또는 색차 성분에 대한 TU(Transform Unit) 분할이 있는 경우, 상기 현재블록 내에서 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출할 수 있다.
이때, 상기 블록 분할부는 상기 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록 내에서 색차 성분에 대한 TU 분할을 제한할 수 있다.
한편, 상기 제1 잔차신호는 정수 변환, 양자화 후 복원된 신호이고, 상기 제2 잔차신호는 정수 변환 및 양자화되기 전의 신호인 것을 특징으로 한다.
본 발명의 또 다른 면에 따른 HEVC 인트라 예측 부호화 방법은 부호화 대상이 되는 현재블록(Prediction Unit, PU)에 대해 휘도 성분의 잔차신호와 색차 성분의 잔차신호 채널간 예측모드를 포함하는 인트라 예측 모드를 제공하는 단계; 상기 잔차신호 채널간 예측모드가 선택되면, 제1 인트라 예측 모드 방향에 따라 상기 현재블록의 휘도 성분에 대한 제1 잔차신호를 생성하는 단계; 제2 인트라 예측 모드 방향에 따라 상기 현재블록의 색차 성분에 대한 제2 잔차신호를 생성하는 단계; 및
상기 제1 잔차신호 및 상기 제2 잔차신호를 이용하여 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성하는 단계를 포함한다.
한편, 본 발명에 따른 HEVC 인트라 예측 부호화 방법은 휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 (Quadtree block) 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조를 결정하는 단계와, 상기 현재블록의 휘도 성분 및 색차 성분에 대한 쿼드트리 블록구조를 결정하는 단계를 더 포함할 수 있다.
일 실시예로서, 상기 예측 잔차신호를 생성하는 단계는 상기 현재블록 내에서 TU(Transform Unit) 분할이 있는 경우, 상기 현재블록 내에서 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출하는 단계를 포함한다.
다른 실시예로서, 상기 예측 잔차신호를 생성하는 단계는 상기 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록 내에서 색차 성분에 대한 TU 분할을 제한하는 단계를 포함할 수 있다.
한편, 본 발명에 따른 HEVC 인트라 예측 부호화 방법은 휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조가 상이한 경우, 상기 휘도 성분에 대한 현재블록 집합의 좌측 상단 현재블록의 제3 인트라 예측모드 방향에 따라, 상기 현재블록 집합에 대해 휘도 성분에 대한 제1 잔차신호 및 색차 성분에 대한 제2 잔차신호를 재생성하는 단계를 더 포함할 수 있다.
이상 상술한 바와 같이, 하나의 영상을 구성하는 휘도 성분과 색차 성분은 유사성이 높아 그 유사성을 이용하여 부호화 효율을 높이는 것이 가능하다. 본 발명에 따르면, HEVC의 휘도 성분, 색차 성분의 잔차신호 채널 간 예측하는데 있어서 인트라 예측 부호화 성능을 개선할 수 있으며, 선형 예측을 위한 예측계수를 HEVC의 쿼드트리 블록 구조를 변경하지 않는 범위에서 고속으로 도출할 수 있다.
또한, 휘도 성분과 색차 성분의 PU(Prediction Unit)의 쿼드트리 블록 구조가 다른 경우에 발생하는 채널간 예측 성능 저하를 피할 수 있는 이점이 있다.
도 1 및 도 2는 HEVC의 LCU, CU, PU, TU 사이의 관계를 설명하기 위한 도면.
도 3은 HEVC 쿼드트리 블록 구조에 있어서, CU에서 PART_NxN 모드가 선택될 경우, PU 분할 구조의 일 예를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 HEVC 부호화 장치의 내부 구성을 간략하게 도시한 블록구성도
도 5는 본 발명의 실시예에서 TU 분할이 제한된 일 예를 도시한 도면.
도 6은 본 발명의 다른 실시예에 따른 HEVC 부호화 장치의 내부 구성을 간략하게 도시한 블록구성도.
도 7은 본 발명의 다른 면에 따른 HEVC 부호화 방법을 도시한 순서도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP:PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
한편, 통상적으로 사용되는 대부분의 동영상의 압축 알고리즘들은 각 채널(Y, U, V)을 독립적으로 압축한다. 하지만, 보통의 컬러 이미지 또는 동영상에는 각 채널별(R, G, B 또는 Y, U, V) 영상 신호 사이에 상관 관계가 존재한다. 실제로 많은 애플리케이션(Application)에서는 이러한 채널별 상관 관계를 이용하여 애플리케이션의 성능을 높이는 연구가 진행되어 왔다.
통상적인 동영상의 압축 연구에서는 Y, U, V라는 컬러 도메인을 사용하고 각 신호가 충분히 디코릴레이션(Decorrelation)되어 있다는 가정을 하고 있다. 또한, U, V 신호는 Y 신호에 비해 더 적은 해상도를 가지기 때문에(4:2:0 포맷), 대부분의 압축 알고리즘은 U, V 신호보다는 Y 신호에 대한 압축에만 더 집중되어 있었다. 하지만, 실제 다른 애플리케이션의 예를 통해 알 수 있듯이, U, V 신호도 여전히 Y 신호와 강한 상관 관계가 있기 때문에, 이러한 성질을 이용하면 더욱 좋은 압축 성능을 기대할 수 있다.
한편, 본 발명에 따른 부호화 방법을 설명하기 앞서, 본 발명에 따른 부호화 방법이 적용되는 HEVC의 쿼드트리 블록 구조에 대해서 살펴본다. 도 1 및 도 2는 HEVC의 LCU, CU, PU, TU 사이의 관계를 설명하기 위한 도면이다.
HEVC 의 재귀적( recursive ) 분할구조
HEVC에서는 영상 슬라이스를 최소 8x8에서 최대 64x64까지의 크기를 가질 수 있는 LCU(Largest Coding Unit)들로 분할한다. 이 LCU는 최소 크기가 8x8이 될 때가지 쿼드트리 형태로 재귀적 분할될 수 있으며, 이때 분할된 각각의 영역을 CU(Coding Unit)라고 한다. 이러한 각각의 CU들에 대해, 인터 예측 혹은 인트라 예측 방법이 적용되며, 잔차신호가 생성된다.
한편, 이렇게 생성된 잔차신호에 대해 다시 쿼드트리 형태로 재귀적 분할이 수행되며, 이때 분할된 각각의 영역인 TU(Transform Unit) 크기에 맞는 변환이 적용되게 된다. 이러한 유연한 분할 방법에 의해 HEVC는 H.264/AVC와는 달리 하나의 CU 내부에서 다양한 크기를 갖는 변환이 영역별로 적용되는 것을 허용한다. HEVC는 최소 4x4에서 최대 32x32까지의 크기를 갖는 변환들이 존재하므로, 하나의 CU 내에서 이러한 변환들이 최적의 조합으로 혼합되어 사용되는 것이 가능하다.
좀 더 구체적으로 설명하면, JCT-VC에서는 종래의 H.264/AVC의 Macro Block을 대신하는 부호화 처리단위로서 3종류의 Unit가 제안되어 있다. 이들 Unit는 도 2에 도시된 바와 같이 재귀적(recursive) 분할구조를 가진다. 여기서는 인트라 프레임에 대하여만 기술한다.
우선, Macro Block에 대신하는 처리단위인 CU가 있고, 이는 쿼드트리(Quadtree) 구조로 되어 있다. 다음으로 각 CU에는 예측신호 정보를 공유하는 Prediction Unit(PU)가 1 계층만 도입된다. 즉, CU 사이즈와 PU 사이즈가 동일한 PART_2Nx2N 모드와 CU가 4 PU로 분할되는 PART_NxN 모드(도 2의 (b) 우하 PU 블록에 해당)의 2종류이다. PART_NxN 모드는 CU 사이즈가 최소변환 사이즈의 2배시에만 선택 가능하다.
다시, 각 PU는 실제의 예측이나 변환처리 단위인 Transform Unit(TU)으로 분할된다. 도 2의 (c), 좌하 TU 블록처럼 최소변환 사이즈가 될 때까지 재귀적으로 분할 가능하다.
한편, HEVC의 쿼드트리 블록(Quadtree Block)구조에서 잔차신호 채널 간 예측 부호화를 적용하기 위해서는 H.264 확장방식을 적용하는 문제 이외에 아래의 2가지 사항을 더 고려해야 한다.
㉠ PU와 TU 사이즈가 다른 경우에 최소제곱법에 의하여 예측계수 α를 도출할 수 없다.
PU는 예측정보를 공유하는 TU 집합이라고 하는 위치에 있다. 즉, PU 단위가 아니라 TU 단위로 예측처리가 행해지기 때문에, TU별로 예측계수 α의 최적치가 다르다. TU별로 최적인 예측계수를 부호화하면, 부가정보가 증대하는 문제가 생긴다.
반대로, PU 단위로 예측계수 α를 부호화하면 부가정보는 줄지만, 예측계수 α의 결정에 있어서 다른 문제가 발생한다. 즉, 장래 부호화될 TU 블록을 고려할 필요가 있기 때문에, 최소제곱법 등과 같은 해석적인 방법으로 예측계수 α를 도출하는 것이 불가능하다.
㉡ PART_NxN의 경우에는 휘도 성분과 색차 성분에서 예측방향이 다르기 때문에 인트라 예측 부호화 결과 생성된 휘도 성분과 색차 성분 각각의 잔차신호의 상관관계가 낮아지는 문제가 있다.
CU에서 PART_NxN을 선택하면, 휘도 성분(도 3의 첫 번째 블록)은 4 PU로 구성되고, 색차 성분(도 3의 두 번째 및 세 번째 블록)은 1 PU 그대로이기 때문에 휘도 성분과 색차 성분의 PU 구조가 달라지게 된다. 게다가, CU가 4 PU로 분할되는 것은 4 PU의 예측방향이 일치하지 않는 것을 의미한다. 이처럼 예측방향이 휘도 성분과 색차 성분에서 다르면, 인트라 예측 결과 생성되는 잔차신호의 성질도 달라지기 때문에 채널 간의 예측성능이 현저하게 낮아진다.
이와 같이, 종래의 채널 간 상관 관계를 이용한 인트라 예측 부호화 방법을 쿼드트리 블록 구조를 가지는 HEVC에 그대로 적용하기에는 무리가 있는 것이 사실이다. 따라서, 종래의 인트라 예측 부호화 방법을 HEVC의 쿼드트리 구조에 적응적으로 적용할 필요가 있으며, 이하에서는 본 발명의 일 실시예를 통해, HEVC의 쿼드트리 블록 구조에 적응된, 부호화된 휘도 성분의 잔차신호를 이용하여 색차 성분의 잔차신호를 예측하기 위한 부호화 장치 및 방법에 대해 설명한다.
도 4는 본 발명의 일 실시예에 따른 HEVC 부호화 장치의 내부 구성을 간략하게 도시한 블록구성도이다.
본 발명의 일 실시예에 따른 HEVC 부호화 장치는 영상의 휘도 신호에 대한 부호화를 수행하는 휘도신호 부호화기(100), 영상의 색차 신호에 대한 부호화를 수행하는 색차신호 부호화기(200) 및 영상의 색차 성분 잔차신호에 대한 예측 잔차신호를 생성하는 잔차신호 예측 부호화기(300)를 포함한다.
휘도신호 부호화기(100)는 부호화 대상이 되는 현재블록(Prediction Unit, PU)에 대한 제1 인트라 예측 모드 방향에 따라 상기 현재블록의 휘도 성분에 대한 제1 잔차신호(residue)를 생성한다.
구체적으로 설명하면, 상기 휘도신호 부호화기(100)는 인트라 예측부(110)와, 감산기(120)와, 변환/양자화부(130)와, 엔트로피 부호화부(140)와, 역변환/역양자화부(150)와, 가산기(160)와, 디블록킹 필터(170)와, 블록 분할부(180)를 포함할 수 있다.
인트라 예측부(110)는 부호화 대상이 되는 현재블록의 휘도 성분 신호에 대해 픽셀 단위로 인트라 프레임 예측을 하며, 이는 해당 프레임 내에서 공간적 중복성을 제거하기 위한 것이다.
인트라 예측부(110)는 HEVC의 휘도 인트라 예측에서 정의된 35 종류(33방향, DC, Planar)의 예측모드 중 어느 하나의 모드를 선택하고, 선택된 예측모드 방향(제1 인트라 예측모드 방향)에 따라, 현재블록의 휘도 성분에 대해 픽셀 단위로 예측신호를 생성한다.
본 발명의 실시예에서는, 상기 휘도 인트라 예측에서 정의된 35 종류의 예측모드에 상기 현재블록의 휘도 잔차신호와 색차 잔차신호 사이에 잔차신호 채널간 예측을 수행하는 모드(이하, 잔차신호 채널간 예측모드)가 더 제공된다. 이러한 잔차신호 채널간 예측모드는 영상의 율-왜곡(rate-distortion) 최적화에 의해 결정되는데, 본 발명의 실시예는 상기 잔차신호 채널간 예측모드가 선택된 경우를 가정한다.
감산기(120)는 상기 인트라 예측부(110)에서 생성된 현재블록의 예측신호와 원신호 사이의 차이에 해당하는 잔차신호(제1 잔차신호)를 생성한다.
변환/양자화부(130)는 상기 감산기(120)에서 생성된 상기 제1 잔차신호를 주파수 변환하고, 주파수 변환된 값들을 양자화한다. 즉, 변환된 주파수 성분 값들을 양자화 파라미터로 나누고, 그 결과를 정수 값들로 근사화 한다.
엔트로피 부호화부(140)는 상기 변환/양자화부(130)에 의해 양자화된 값들을 엔트로피 부호화함으로써, 비트스트림을 생성하고, 이것을 출력한다.
역양자화/역변환부(150)는 상기 변환/양자화부(130)에 의해 양자화된 값들을 역양자화하여 근사화된 정수 값들에 양자화 파라미터를 곱함으로써 주파수 성분 값들을 복원한다. 그리고 복원된 주파수 성분 값들을 주파수 공간으로부터 색 공간으로 변환함으로써 상기 제1 잔차신호를 복원한다.
가산기(160)는 상기 인트라 예측부(110)에 의해 생성된 예측신호와 상기 역양자화/역변환부(150)에 의해 생성된 복원된 제1 잔차신호를 합산하여, 복원된 현재블록의 휘도 성분 신호를 생성한다.
디블록킹 필터(170)는 상기 가산기(160)에 의해 생성된 복원된 현재블록의 휘도 성분 신호의 블록 경계의 왜곡을 줄임으로써, 그 화질을 향상시킨다.
블록 분할부(180)는 입력된 휘도 성분 신호에 대한 인트라 예측 부호화를 수행하는데 있어서, 부호화 대상이 되는 휘도 성분에 대한 현재블록 집합의 쿼드트리 블록(Quadtree block) 구조와, 상기 현재블록의 휘도 성분에 대한 쿼드트리 블록구조를 결정한다.
도 1 및 도 2를 참조하여 전술한 바와 같이, HEVC에서는 재귀적 분할구조를 채택하고 있으며, 이에 따라 하나의 CU 내부에서 다양한 크기를 갖는 분할 및 변환이 영역별로 적용되는 것을 허용한다. HEVC는 최소 4x4에서 최대 32x32까지의 크기를 갖는 변환들이 존재하므로, 하나의 CU 내에서 이러한 변환들이 최적의 조합으로 혼합되어 사용되는 것이 가능하다.
한편, 상기 역양자화/역변환부(150)에 의해 생성된 복원된 상기 제1 잔차신호는 잔차신호 예측부호화기(300)에 입력되어 현재블록의 색차 성분에 대한 잔차신호를 예측하는데 사용된다. 이에 대해서는 후술하기로 한다.
다음으로, 색차신호 부호화기(200)는 부호화 대상이 되는 현재블록(Prediction Unit, PU)에 대한 제2 인트라 예측 모드 방향에 따라 상기 현재블록의 색차 성분에 대한 제2 잔차신호(residue)를 생성한다.
구체적으로 설명하면, 상기 색차신호 부호화기(200)는 인트라 예측부(210)와, 감산기(220, 230)와, 변환/양자화부(240)와, 엔트로피 부호화부(250)와, 역변환/역양자화부(260)와, 가산기(270)와, 디블록킹 필터(280)와, 블록 분할부(290)를 포함할 수 있다.
인트라 예측부(210)는 HEVC의 색차 인트라 예측에서 정의된 6 종류(수직방향, 수평방향, DC, Planar, DM, LM)의 예측모드 중 어느 하나의 모드를 선택하고, 선택된 예측모드 방향(제2 인트라 예측모드 방향)에 따라, 현재블록의 색차 성분 대해 픽셀 단위로 예측신호를 생성한다. 여기서, 상기 제2 인트라 예측모드 방향은 본 발명의 실시예와 같이 잔차신호 채널간 예측모드가 선택된 경우에는 휘도 성분에 대한 상기 제1 인트라 예측모드 방향과 동일하다. 따라서, 상기 상기 제2 인트라 예측모드 방향에 관련된 정보는 부호화될 필요가 없다.
감산기(220)는 상기 인트라 예측부(210)에서 생성된 현재블록의 예측신호와 원신호 사이의 차이에 해당하는 잔차신호(제2 잔차신호)를 생성한다. 여기서, 상기 제2 잔차신호는 잔차신호 예측부호화기(300)에 입력되어 현재블록의 색차 성분에 대한 잔차신호를 예측하는데 사용된다. 이에 대해서는 후술하기로 한다.
한편, 상기 색차신호 부호화기(200)를 구성하는 나머지 구성요소에 대해서는, 상기 휘도신호 부호화기(100)에 대응되는 구성요소와 그 동작 및 기능이 동일하므로 이에 대한 상세한 설명은 생략한다.
다음으로, 잔차신호 예측 부호화기(300)는 상기 잔차신호 채널간 예측모드가 선택되면, 상기 제1 잔차신호 및 상기 제2 잔차신호를 이용하여 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성한다.
여기서, 상기 제1 잔차신호는 정수 변환, 양자화 후 복원된 신호이고, 상기 제2 잔차신호는 정수 변환 및 양자화되기 전의 신호인 것이다.
구체적으로, 상기 잔차신호 예측 부호화기(300)는 다음의 수학식을 이용하여 색차 성분의 잔차신호에 대한 예측 잔차신호를 선형 예측한다.
Figure pat00008
Figure pat00009
여기서,
Figure pat00010
는 색차 성분의 잔차신호에 대한 예측신호이고,
Figure pat00011
은 휘도 성분에 대한 부호화 완료 후 복원된 잔차신호이다. 예측계수
Figure pat00012
는 HEVC에서 실질적 부호화 단위인 TU에서 각 픽셀에 대해 동일한 값을 가지므로, DTC 정수변환에 의하여 DC계수로만 가산된다.
따라서, 상기 잔차신호 예측 부호화기(300)는 모든 픽셀에 대해 예측계수
Figure pat00013
를 명시적으로 산출할 필요도 없고, 더구나
Figure pat00014
를 단독으로 부호화할 필요도 없다. 즉,
Figure pat00015
가 가산된 DC계수를 부호화하면 된다.
더욱이,
Figure pat00016
가 가산된 DC계수는, 양자화된
Figure pat00017
를 적용한 후에 도출하기 위해
Figure pat00018
의 양자화 오차를 고려한 값에 수렴한다. 따라서, 실제의 예측식은 다음의 수학식과 같다.
Figure pat00019
이와 같이, 상기 잔차신호 예측 부호화기(300)는 상기 복원된 제1 잔차신호 및 최소제곱법 등의 방법으로 연산된 예측계수
Figure pat00020
를 이용하여, 색차 성분의 잔차신호에 대한 예측 잔차신호를 선형 예측한다.
선형 예측된 색차 성분에 대한 예측 잔차신호와, 상기 색차신호 부호화기(200)에 의해 입력된 상기 제2 잔차신호(색차 성분에 대한 원 잔차신호)는 감산기를 통해 새로운 잔차신호로 생성되고, 도면에는 도시되지 않았지만 정수 변환, 양자화 과정을 거쳐 비트스트림으로 부호화 된다.
이하, HEVC의 쿼드트리 블록 구조(Quadtree block)에 적응된 본 실시예에 따른 예측 잔차신호 생성방법을 도 5를 참조하여 설명한다.
도 5는 본 발명의 실시예에서 TU 분할이 제한된 일 예를 도시한 도면이다.
일 실시예로서, 상기 잔차신호 예측 부호화기(300)는 상기 현재블록 내에서 TU(Transform Unit) 분할이 있는 경우, 상기 현재블록 내에서 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출할 수 있다.
예측계수를 양자화하기 위해서는, 원칙적으로는 현재블록을 구성하는 각 픽셀에 대해 최소제곱법 등을 전체적으로 시행하여 율-왜곡(rate distortion) 최적화에 의하여 예측계수를 결정해야 한다. 이 경우, 부호화 시간이 증가하는 문제가 발생한다.
또한, 부호화기에서 예측계수를 어떻게 도출하든 복호화기에는 영향이 없으므로, 일 실시예에 따라 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출하는 것이 효율적이다. 이 경우, PART_NxN(CU가 4 PU로 분할)의 경우를 제외하고, 휘도 성분과 색차 성분의 쿼드트리 블록 구조에 일관성이 유지되는 효과를 얻을 수 있다.
다른 실시예에서, 상기 잔차신호 예측 부호화기(300)는 상기 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록 내에서 색차 성분에 대한 TU 분할을 제한할 수 있다. 일 예로, 상기 잔차신호 예측 부호화기(300)는 상기 블록 분할부(290)에 TU 분할을 제한하는 명령을 전달한다.
이는 잔차신호 채널간 예측모드가 선택된 경우만 PU 내에서 색차의 TU 분할을 행하지 않는 방식이다. 이와 같은, 1PU=1TU 제한이 도 4에 도시된다. 이 경우, 해석적으로 예측계수를 도출할 수 있다.
한편, 최소변환 블록의 제한에 의하여 휘도 성분과, 색차 성분의 쿼드트리 블록 구조가 상이할 수 있다. 이 경우, 상기 휘도신호 부호화기(100) 및 상기 색차신호 부호화기(200)는 상기 휘도 성분에 대한 현재블록 집합의 좌측 상단 현재블록의 제3 인트라 예측모드 방향에 따라, 상기 현재블록 집합에 대해 휘도 성분에 대한 제1 잔차신호 및 색차 성분에 대한 제2 잔차신호를 재생성한다.
예컨대, 상기 블록 분할부(180, 290)에서 PART_NxN가 선택되면 휘도 성분과 색차 성분의 PU 블록 구조가 달라지게 된다. 이 문제를 해결하기 위해, 휘도 성분의 좌측 상단 PU 블록에 대한 예측모드를 이용하여, 색차 PU에 대응하는 블록 내의 휘도 잔차신호를 재계산한다. 색차 성분에 대한 인트라 DM모드와 마찬가지로 색차 성분의 예측모드도 휘도의 좌상 PU 예측모드를 이용한다. 그 결과, 휘도 성분과, 색차 성분의 PU 블록에서 동일한 예측모드가 적용되어, 채널간 상관성이 보존될 수 있다.
도 6을 참조하여, 본 발명의 다른 실시예에 따른 HEVC 인트라 예측 부호화 장치를 설명한다.
본 발명의 다른 실시예에 따른 HEVC 인트라 예측 부호화 장치는 예측모드 선택부(10)와, 블록 분할부(20)와, 예측 잔차신호 생성부(30)를 포함할 수 있다.
예측모드 선택부(10)는 부호화 대상이 되는 현재블록(Prediction Unit, PU)에 대해 휘도 성분의 잔차신호와 색차 성분의 잔차신호 채널간 예측모드(이하, 잔차신호 채널간 예측모드)를 포함하는 인트라 예측 모드를 제공한다.
블록 분할부(20)는 상기 현재블록의 휘도 성분 및 색차 성분에 대한 쿼드트리 블록(Quadtree block) 구조를 결정한다.
예측 잔차신호 생성부(30)는 상기 예측모드 선택부(10)에서 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록의 제1 인트라 예측모드 방향에 따라 생성된 휘도 성분의 제1 잔차신호와, 상기 현재블록의 제2 인트라 예측모드 방향에 따라 생성된 색차 성분의 제2 잔차신호를 이용하여 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성한다. 여기서, 상기 제1 잔차신호는 정수 변환, 양자화 후 복원된 신호이고, 상기 제2 잔차신호는 정수 변환 및 양자화되기 전의 신호일 수 있다.
한편, 상기 제1 인트라 예측 모드 방향과 상기 제2 인트라 예측 모드 방향은 동일하고, 상기 제2 인트라 예측 모드 방향에 대한 부호화는 생략된다.
상기 블록 분할부(20)에서 블록 분할 결과, 상기 현재블록 내에서 휘도 성분 또는 색차 성분에 대한 TU(Transform Unit) 분할이 있는 경우가 있을 수 있다. 이때, 상기 예측 잔차신호 생성부(30)는 일 예로, 상기 현재블록 내에서 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출할 수 있다.
다른 한편으로, 상기 예측모드 선택부(10)에서 상기 잔차신호 채널간 예측모드가 선택되면, 상기 블록 분할부는(20) 상기 현재블록 내에서 색차 성분에 대한 TU 분할을 제한할 수도 있다.
도 7을 참조하여, 본 발명의 다른 면에 따른 HEVC 인트라 예측 부호화 방법을 설명한다.
도 7은 본 발명의 다른 면에 따른 HEVC 부호화 방법을 도시한 순서도이다.
도 7을 참조하면, 먼저 예측모드 선택부(10)는 부호화 대상이 되는 영상의 인트라 예측을 위한 인트라 예측모드 정보를 제공한다(S10).
이때, HEVC의 휘도 인트라 예측에서 정의된 35 종류(33방향, DC, Planar)의 예측모드와 함께 상기 현재블록의 휘도 잔차신호와 색차 잔차신호 사이에 잔차신호 채널간 예측을 수행하는 모드(이하, 잔차신호 채널간 예측모드)가 더 제공된다.
또한, HEVC의 색차 인트라 예측에서 정의된 6 종류(수직방향, 수평방향, DC, Planar, DM, LM)의 예측모드가 제공된다.
한편, 상기 잔차신호 채널간 예측모드는 영상의 율-왜곡(rate-distortion) 최적화에 의해 결정되는데, 본 실시예에서는 상기 잔차신호 채널간 예측모드가 선택된 경우를 가정하고 그 이후의 부호화 프로세스에 대해 살펴본다(S20).
이후, 블록 분할부(20)는 휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 (Quadtree block) 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조를 결정하고, 상기 현재블록의 휘도 성분 및 색차 성분에 대한 쿼드트리 블록구조를 결정한다(S30).
이후, 예측 잔차신호 생성부(30)는 제1 인트라 예측 모드 방향에 따라 상기 현재블록의 휘도 성분에 대한 제1 잔차신호를 생성하고, 제2 인트라 예측 모드 방향에 따라 상기 현재블록의 색차 성분에 대한 제2 잔차신호를 생성한다(S40). 이때, 상기 제1 인트라 예측 모드 방향과 상기 제2 인트라 예측 모드 방향은 동일하다.
또한, 상기 예측 잔차신호 생성부(30)는 결정된 쿼드트리 블록구조에 기초하여, 상기 제1 잔차신호 및 상기 제2 잔차신호에서 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성한다(S50). 여기서, 상기 제1 잔차신호는 정수 변환, 양자화 후 복원된 신호이고, 상기 제2 잔차신호는 정수 변환 및 양자화되기 전의 신호인 것을 특징으로 한다.
일 실시예로서, 상기 예측 잔차신호 생성부(30)는 상기 현재블록 내에서 TU(Transform Unit) 분할이 있는 경우, 상기 현재블록 내에서 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출한다. 도출된 채널가나 예측계수는 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성하는데 사용된다.
다른 실시예로서, 상기 예측 잔차신호 생성부(30)는 상기 현재블록 내에서 색차 성분에 대한 TU 분할을 제한할 수 있다. 이때, 상기 블록 분할부(20)는 PU 내에서 색차의 TU 분할을 행하지 않는다. 이와 같은, 1PU=1TU 제한이 도 4에 도시된다. 이 경우, 해석적으로 예측계수를 도출할 수 있다.
한편, 쿼드트리 블록구조 결정 결과, 휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 (Quadtree block) 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조가 상이할 수 있다. 이 경우, 상기 휘도 성분에 대한 현재블록 집합의 좌측 상단 현재블록의 제3 인트라 예측모드 방향에 따라, 상기 현재블록 집합에 대해 휘도 성분에 대한 제1 잔차신호 및 색차 성분에 대한 제2 잔차신호를 재생성하는 과정을 거친다.
한편, 상술한 본 발명에 따른 인트라 예측 부호화 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 휘도신호 부호화기
200: 색차신호 부호화기
300: 잔차신호 예측 부호화기
110, 210: 인트라 예측부 120, 220, 230: 감산기
130, 240: 변환/양자화부 140, 250: 엔트로피 부호화부
150, 260: 역변환/역양자화부 160, 270: 가산기
170, 280: 디블록킹 필터 180, 290: 블록 분할부
10: 예측모드 선택부 20: 블록 분할부
30: 예측 잔차신호 생성부

Claims (19)

  1. 영상을 부호화 하는 HEVC 인트라 예측 부호화 장치에 있어서,
    부호화 대상이 되는 현재블록(Prediction Unit, PU)에 대한 제1 인트라 예측 모드 방향에 따라 상기 현재블록의 휘도 성분에 대한 제1 잔차신호를 생성하는 휘도신호 부호화기;
    상기 현재블록에 대한 제2 인트라 예측 모드 방향에 따라 상기 현재블록의 색차 성분에 대한 제2 잔차신호를 생성하는 색차신호 부호화기; 및
    상기 현재블록의 휘도 잔차신호와 색차 잔차신호 사이에 잔차신호 채널간 예측을 수행하는 모드(이하, 잔차신호 채널간 예측모드)가 선택되면, 상기 제1 잔차신호 및 상기 제2 잔차신호를 이용하여 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성하는 잔차신호 예측 부호화기
    를 포함하는 HEVC 인트라 예측 부호화 장치.
  2. 제1항에 있어서,
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 제1 인트라 예측 모드 방향과 상기 제2 인트라 예측 모드 방향은 동일한 것
    인 HEVC 인트라 예측 부호화 장치.
  3. 제1항에 있어서,
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 제2 인트라 예측 모드 방향에 대한 부호화는 생략되는 것
    인 HEVC 인트라 예측 부호화 장치.
  4. 제1항에 있어서, 상기 잔차신호 예측 부호화기는,
    상기 현재블록 내에서 TU(Transform Unit) 분할이 있는 경우, 상기 현재블록 내에서 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출하는 것
    인 HEVC 인트라 예측 부호화 장치.
  5. 제1항에 있어서, 상기 잔차신호 예측 부호화기는,
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록 내에서 색차 성분에 대한 TU 분할을 제한하는 것
    인 HEVC 인트라 예측 부호화 장치.

  6. 제1항에 있어서,
    상기 제1 잔차신호는 정수 변환, 양자화 후 복원된 신호이고, 상기 제2 잔차신호는 정수 변환 및 양자화되기 전의 신호인 것
    인 HEVC 인트라 예측 부호화 장치.
  7. 제1항에 있어서, 상기 휘도신호 부호화기 및 상기 색차신호 부호화기는,
    휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 (Quadtree block) 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조가 상이한 경우, 상기 휘도 성분에 대한 현재블록 집합의 좌측 상단 현재블록의 제3 인트라 예측모드 방향에 따라, 상기 현재블록 집합에 대해 휘도 성분에 대한 제1 잔차신호 및 색차 성분에 대한 제2 잔차신호를 재생성하는 것
    인 HEVC 인트라 예측 부호화 장치.
  8. 영상을 부호화 하는 HEVC 인트라 예측 부호화 장치에 있어서,
    부호화 대상이 되는 현재블록(Prediction Unit, PU)에 대해 휘도 성분의 잔차신호와 색차 성분의 잔차신호 채널간 예측모드(이하, 잔차신호 채널간 예측모드)를 포함하는 인트라 예측 모드를 제공하는 예측 모드 선택부; 및
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록의 제1 인트라 예측모드 방향에 따라 생성된 휘도 성분의 제1 잔차신호와, 상기 현재블록의 제2 인트라 예측모드 방향에 따라 생성된 색차 성분의 제2 잔차신호를 이용하여 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성하는 예측 잔차신호 생성부를 포함하되,
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 제1 인트라 예측 모드 방향과 상기 제2 인트라 예측 모드 방향은 동일한 것
    인 HEVC 인트라 예측 부호화 장치.
  9. 제8항에 있어서,
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 제2 인트라 예측 모드 방향에 대한 부호화는 생략되는 것
    인 HEVC 인트라 예측 부호화 장치.
  10. 제8항에 있어서,
    상기 현재블록의 휘도 성분 및 색차 성분에 대한 쿼드트리 블록(Quadtree block) 구조를 결정하는 블록 분할부를 더 포함하되,
    상기 예측 잔차신호 생성부는 상기 현재블록 내에서 휘도 성분 또는 색차 성분에 대한 TU(Transform Unit) 분할이 있는 경우, 상기 현재블록 내에서 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출하는 것
    인 HEVC 인트라 예측 부호화 장치.
  11. 제8항에 있어서, 상기 블록 분할부는,
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록 내에서 색차 성분에 대한 TU 분할을 제한하는 것
    인 HEVC 인트라 예측 부호화 장치.
  12. 제8항에 있어서,
    상기 제1 잔차신호는 정수 변환, 양자화 후 복원된 신호이고, 상기 제2 잔차신호는 정수 변환 및 양자화되기 전의 신호인 것
    인 HEVC 인트라 예측 부호화 장치.
  13. 영상을 부호화 하는 HEVC 인트라 예측 부호화 방법에 있어서,
    부호화 대상이 되는 현재블록(Prediction Unit, PU)에 대해 휘도 성분의 잔차신호와 색차 성분의 잔차신호 채널간 예측모드를 포함하는 인트라 예측 모드를 제공하는 단계;
    상기 잔차신호 채널간 예측모드가 선택되면, 제1 인트라 예측 모드 방향에 따라 상기 현재블록의 휘도 성분에 대한 제1 잔차신호를 생성하는 단계;
    제2 인트라 예측 모드 방향에 따라 상기 현재블록의 색차 성분에 대한 제2 잔차신호를 생성하는 단계; 및
    상기 제1 잔차신호 및 상기 제2 잔차신호를 이용하여 상기 현재블록의 색차 성분의 잔차신호에 대한 예측 잔차신호를 생성하는 단계
    를 포함하는 HEVC 인트라 예측 부호화 방법.
  14. 제13항에 있어서,
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 제1 인트라 예측 모드 방향과 상기 제2 인트라 예측 모드 방향은 동일한 것
    인 HEVC 인트라 예측 부호화 방법.
  15. 제13항에 있어서,
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 제2 인트라 예측 모드 방향에 대한 부호화는 생략되는 것
    인 HEVC 인트라 예측 부호화 방법.
  16. 제13항에 있어서,
    휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 (Quadtree block) 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조를 결정하는 단계와,
    상기 현재블록의 휘도 성분 및 색차 성분에 대한 쿼드트리 블록구조를 결정하는 단계를 더 포함하되,
    상기 예측 잔차신호를 생성하는 단계는,
    상기 현재블록 내에서 TU(Transform Unit) 분할이 있는 경우, 상기 현재블록 내에서 최초로 부호화되는 TU의 채널간 예측계수를 상기 현재블록에 대한 채널간 예측계수로 도출하는 단계를 포함하는 것
    인 HEVC 인트라 예측 부호화 방법.
  17. 제13항에 있어서,
    휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 (Quadtree block) 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조를 결정하는 단계와,
    상기 현재블록의 휘도 성분 및 색차 성분에 대한 쿼드트리 블록구조를 결정하는 단계를 더 포함하되,
    상기 예측 잔차신호를 생성하는 단계는,
    상기 잔차신호 채널간 예측모드가 선택되면, 상기 현재블록 내에서 색차 성분에 대한 TU 분할을 제한하는 단계를 포함하는 것
    인 HEVC 인트라 예측 부호화 방법.
  18. 제13항에 있어서,
    휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 (Quadtree block) 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조를 결정하는 단계와,
    상기 현재블록의 휘도 성분 및 색차 성분에 대한 쿼드트리 블록구조를 결정하는 단계와,
    휘도 성분에 대한 현재블록 집합의 쿼드트리 블록 구조와, 색차 성분에 대한 현재블록 집합의 쿼드트리 블록 구조가 상이한 경우, 상기 휘도 성분에 대한 현재블록 집합의 좌측 상단 현재블록의 제3 인트라 예측모드 방향에 따라, 상기 현재블록 집합에 대해 휘도 성분에 대한 제1 잔차신호 및 색차 성분에 대한 제2 잔차신호를 재생성하는 단계
    를 더 포함하는 HEVC 인트라 예측 부호화 방법.
  19. 제13항에 있어서,
    상기 제1 잔차신호는 정수 변환, 양자화 후 복원된 신호이고, 상기 제2 잔차신호는 정수 변환 및 양자화되기 전의 신호인 것
    인 HEVC 인트라 예측 부호화 방법.


KR20130106012A 2013-09-04 2013-09-04 Hevc 부호화 장치 및 이를 이용한 부호화 방법 KR20150027530A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130106012A KR20150027530A (ko) 2013-09-04 2013-09-04 Hevc 부호화 장치 및 이를 이용한 부호화 방법
US14/304,405 US20150063452A1 (en) 2013-09-04 2014-06-13 High efficiency video coding (hevc) intra prediction encoding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130106012A KR20150027530A (ko) 2013-09-04 2013-09-04 Hevc 부호화 장치 및 이를 이용한 부호화 방법

Publications (1)

Publication Number Publication Date
KR20150027530A true KR20150027530A (ko) 2015-03-12

Family

ID=52583250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130106012A KR20150027530A (ko) 2013-09-04 2013-09-04 Hevc 부호화 장치 및 이를 이용한 부호화 방법

Country Status (2)

Country Link
US (1) US20150063452A1 (ko)
KR (1) KR20150027530A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017105141A1 (ko) * 2015-12-17 2017-06-22 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
WO2017131473A1 (ko) * 2016-01-27 2017-08-03 한국전자통신연구원 예측을 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
WO2018070555A1 (ko) * 2016-10-10 2018-04-19 디지털인사이트주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
CN107995494A (zh) * 2017-12-12 2018-05-04 珠海全志科技股份有限公司 视频图像数据的压缩方法与解压方法、计算机装置、计算机可读存储介质
KR20190029523A (ko) * 2016-05-13 2019-03-20 인터디지털 브이씨 홀딩스 인코포레이티드 인트라 예측된 블록 내에서 경계를 디블로킹 필터링하기 위한 방법 및 디바이스
WO2019059676A1 (ko) * 2017-09-20 2019-03-28 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10812841B2 (en) 2015-07-23 2020-10-20 Castwin Co., Ltd. Apparatus for encoding and transcoding which applies multi-format ultra-high definition high-efficiency codec

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225561B2 (en) * 2015-10-08 2019-03-05 Mediatek Inc. Method and apparatus for syntax signaling in image and video compression
US9780891B2 (en) * 2016-03-03 2017-10-03 Electronics And Telecommunications Research Institute Method and device for calibrating IQ imbalance and DC offset of RF tranceiver
EP3244614A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method and a device for decoding an intra predicted block of a picture and corresponding coding method and coding device
CN109479129B (zh) 2016-07-18 2023-07-11 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
US10694195B2 (en) * 2018-03-07 2020-06-23 Tencent America LLC Methods and apparatus for palette coding
CN110213576B (zh) * 2018-05-03 2023-02-28 腾讯科技（深圳）有限公司 视频编码方法、视频编码装置、电子设备及存储介质
PH12019000380A1 (en) * 2018-12-17 2020-09-28 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN112312132B (zh) * 2020-10-23 2022-08-12 深圳市迪威码半导体有限公司 一种基于直方图统计的hevc帧内简化算法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812841B2 (en) 2015-07-23 2020-10-20 Castwin Co., Ltd. Apparatus for encoding and transcoding which applies multi-format ultra-high definition high-efficiency codec
WO2017105141A1 (ko) * 2015-12-17 2017-06-22 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10742974B2 (en) 2015-12-17 2020-08-11 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device thereof
WO2017131473A1 (ko) * 2016-01-27 2017-08-03 한국전자통신연구원 예측을 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
KR20190029523A (ko) * 2016-05-13 2019-03-20 인터디지털 브이씨 홀딩스 인코포레이티드 인트라 예측된 블록 내에서 경계를 디블로킹 필터링하기 위한 방법 및 디바이스
US11812060B2 (en) 2016-05-13 2023-11-07 Interdigital Vc Holdings, Inc. Method and device for deblocking filtering a boundary within an intra predicted block
WO2018070555A1 (ko) * 2016-10-10 2018-04-19 디지털인사이트주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
US10904525B2 (en) 2016-10-10 2021-01-26 Intellectual Discovery Co., Ltd. Video coding method and apparatus utilizing combination of diverse block partitioning structures
US11589045B2 (en) 2016-10-10 2023-02-21 Intellectual Discovery Co., Ltd. Video coding method and apparatus utilizing combination of diverse block partitioning structures
US11677940B2 (en) 2017-09-20 2023-06-13 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium having stored bitstream
WO2019059676A1 (ko) * 2017-09-20 2019-03-28 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN107995494A (zh) * 2017-12-12 2018-05-04 珠海全志科技股份有限公司 视频图像数据的压缩方法与解压方法、计算机装置、计算机可读存储介质
CN107995494B (zh) * 2017-12-12 2019-11-22 珠海全志科技股份有限公司 视频图像数据的压缩方法与解压方法、计算机装置、计算机可读存储介质

Also Published As

Publication number Publication date
US20150063452A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
KR102418957B1 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR102518242B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
KR20150027530A (ko) Hevc 부호화 장치 및 이를 이용한 부호화 방법
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
US8249154B2 (en) Method and apparatus for encoding/decoding image based on intra prediction
US10116942B2 (en) Method and apparatus for decoding a video using an intra prediction
JP2020510374A (ja) 映像コーディングシステムにおける変換方法及びその装置
JP7420982B2 (ja) 選択的変換に基づいた映像コーディング方法およびその装置
KR102039039B1 (ko) 영상 부호화 방법 및 장치
US20200228831A1 (en) Intra prediction mode based image processing method, and apparatus therefor
KR20200139116A (ko) 영상 정보 부호화 방법 및 복호화 방법
KR20220098114A (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
US20200154103A1 (en) Image processing method on basis of intra prediction mode and apparatus therefor
KR20170027288A (ko) 시간 상관도에 기반한 고속 영상 부호화 방법
KR101997599B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101688085B1 (ko) 고속 인트라 예측을 위한 영상 부호화 방법 및 장치
KR101943425B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
RU2810727C1 (ru) Способы, оборудование и устройства для декодирования, кодирования и кодирования/декодирования
KR101534014B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR20170126817A (ko) 고속 영상 부호화 방법 및 장치
KR20140058468A (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR20140058469A (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid