KR101246294B1 - 영상의 인트라 예측 부호화, 복호화 방법 및 장치 - Google Patents

영상의 인트라 예측 부호화, 복호화 방법 및 장치 Download PDF

Info

Publication number
KR101246294B1
KR101246294B1 KR1020060038861A KR20060038861A KR101246294B1 KR 101246294 B1 KR101246294 B1 KR 101246294B1 KR 1020060038861 A KR1020060038861 A KR 1020060038861A KR 20060038861 A KR20060038861 A KR 20060038861A KR 101246294 B1 KR101246294 B1 KR 101246294B1
Authority
KR
South Korea
Prior art keywords
group
pixels
intra prediction
remaining
groups
Prior art date
Application number
KR1020060038861A
Other languages
English (en)
Other versions
KR20070090700A (ko
Inventor
송병철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP07709091.8A priority Critical patent/EP1992171B1/en
Priority to PCT/KR2007/001042 priority patent/WO2007100221A1/en
Priority to JP2008557213A priority patent/JP5047995B2/ja
Priority to CN2007800050742A priority patent/CN101385347B/zh
Priority to US11/713,684 priority patent/US8165195B2/en
Publication of KR20070090700A publication Critical patent/KR20070090700A/ko
Application granted granted Critical
Publication of KR101246294B1 publication Critical patent/KR101246294B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

영상의 인트라 예측 부호화, 복호화 방법 및 장치가 개시된다. 본 발명에 따른 영상의 인트라 예측 부호화 방법은 영상의 인트라 예측시 현재 블록을 복수 개의 그룹으로 분리하고, 첫 번째 그룹에 해당하는 화소들에 대해서는 이전에 처리된 주변 블록의 화소를 이용하여 인트라 예측을 수행하며, 나머지 그룹에 해당하는 화소들에 대해서는 순차적으로 이전 그룹의 복원된 화소를 이용하여 예측 부호화를 수행하는 것을 특징으로 한다.

Description

영상의 인트라 예측 부호화, 복호화 방법 및 장치{Method of and apparatus for video intraprediction encoding/decoding}
도 1은 H.264 표준안에 따른 휘도 성분의 16×16 인트라 예측 모드를 나타낸 도면이다.
도 2는 H.264 표준안에 따른 휘도 성분의 4×4 인트라 예측 모드를 나타낸 도면이다.
도 3은 본 발명에 따른 인트라 예측 부호화 장치가 적용되는 영상 부호화 장치를 나타낸 블록도이다.
도 4는 도 3의 인트라 예측부(330)의 구성을 나타낸 블록도이다.
도 5는 도 4의 영역 분리부(331)에 의하여 분리된 입력 블록을 나타낸 도면이다.
도 6은 본 발명에 따른 프레임 내 블록 처리 순서를 나타낸 도면이다.
도 7은 본 발명에 따라서 영역 분리부(331)에서 분리된 제 1 그룹의 화소들을 나타낸 도면이다.
도 8은 본 발명에 따라서 제 1 그룹의 화소들에 대한 인트라 예측 과정을 설명하기 위한 도면이다.
도 9는 본 발명에 따라 제 2 그룹 화소들의 인트라 예측을 위해 필요한 제 1 그룹의 화소들을 나타낸 도면이다.
도 10 및 도 11a 내지 11i는 본 발명에 따라 제 2 그룹 내의 화소 주변의 방향성을 결정하는 과정을 설명하기 위한 도면이다.
도 12는 본 발명에 따라 제 3 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 및 제 2 그룹의 화소들을 나타낸 도면이다.
도 13 및 도 14a 내지 14i는 본 발명에 따라 제 3 그룹 내의 화소 주변의 방향성을 결정하는 과정을 설명하기 위한 도면이다.
도 15는 본 발명에 따라 제 4 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 내지 제 3 그룹의 복원된 화소들을 나타낸 도면이다.
도 16은 본 발명의 다른 실시예에 따라 제 3 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 그룹의 화소들을 나타낸 도면이다.
도 17은 본 발명의 다른 실시예에 따라 제 2 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 및 제 3 그룹의 화소들을 나타낸 도면이다.
도 18은 본 발명의 다른 실시예에 따라 제 4 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 내지 제 3 그룹의 화소들을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 영상의 인트라 예측 부호화 방법을 나타낸 플로우 차트이다.
도 20은 본 발명의 다른 실시예에 따른 영상의 인트라 예측 부호화 방법을 나타낸 플로우 차트이다.
도 21은 본 발명에 따른 영상의 인트라 예측 복호화 장치가 적용되는 영상 복호화 장치를 나타낸 블록도이다.
도 22는 도 21의 본 발명에 따른 인트라 예측부(2160)의 구성을 나타낸 블록도이다.
도 23은 본 발명에 따른 영상의 인트라 예측 복호화 방법을 나타낸 플로우 차트이다.
본 발명은 영상의 인트라 예측에 관한 것으로, 보다 구체적으로는 영상의 인트라 예측시 현재 블록을 복수 개의 그룹으로 분리하고, 첫 번째 그룹에 해당하는 픽셀들에 대해서는 이전에 처리된 주변 블록의 화소를 이용하여 인트라 예측을 수행하며, 나머지 그룹에 해당하는 화소들에 대해서는 순차적으로 이전 그룹의 복원된 화소를 이용하여 예측 부호화를 수행하는 영상의 인트라 예측 부호화, 복호화 방법 및 장치에 관한 것이다.
MPEG-1, MPEG-2, MPEG-4, H.264/MPEG-4 AVC(Advanced Video Coding)와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처를 매크로 블록으로 나눈다. 그리고, 인터 예측(inter prediction) 및 인트라 예측(intra prediction)에서 이용가능한 모든 부호화 모드에서 각각의 매크로 블록을 부호화한 다음, 매크로 블록의 부호화에 소요되는 비트율과 원 매크로 블록과 복호화된 매크로 블록과의 왜곡 정도에 따라 부호화 모드를 하나 정해 매크로 블록을 부호화한다.
인트라 예측은 현재 픽처의 블록을 부호화하기 위해서 참조 픽처를 참조하는 것이 아니라, 부호화하고자 하는 현재 블록과 공간적으로 인접한 화소값을 이용하여 부호화하고자 하는 현재 블록에 대한 예측값을 계산한 후, 이 예측값과 실제 화소값의 차를 부호화하는 것을 말한다. 여기서, 인트라 예측 모드는 크게 휘도 성분의 4×4 인트라 예측 모드, 8×8 인트라 예측 모드(high profile의 경우), 16×16 인트라 예측 모드 및 색차 성분에 대한 인트라 예측 모드로 나뉜다.
도 1은 H.264 표준안에 따른 휘도 성분의 16×16 인트라 예측 모드를 나타낸 도면이고, 도 2는 H.264 표준안에 따른 휘도 성분의 4×4 인트라 예측 모드를 나타낸 도면이다.
도 1을 참조하면, 16×16 인트라 예측 모드에는 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 플레인(plane) 모드의 총 4개의 모드가 존재한다. 또한, 도 2를 참조하면, 4×4 인트라 예측 모드에는 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽(Diagonal Down-left) 모드, 대각선 오른쪽(Diagonal Down-right) 모드, 수직 오른쪽(Vertical right) 모드, 수직 왼쪽(Vertical left) 모드, 수평 위쪽(Horizontal-up) 모드 및 수평 아래쪽(Horizontal-down) 모드의 총 9개의 모드가 존재한다.
예를 들어, 도 2의 모드 0, 즉 수직 모드에 따라, 4×4 크기의 현재 블록을 예측 부호화하는 동작을 설명한다. 먼저 4×4 크기의 현재 블록의 위쪽에 인접한 화소 A 내지 D의 화소값을 4×4 현재 블록의 화소값으로 예측한다. 즉, 화소 A의 값을 4×4 현재 블록의 첫 번째 열에 포함된 4개의 화소값으로, 화소 B의 값을 4×4 현재 블록의 두 번째 열에 포함된 4개의 화소값으로, 화소 C의 값을 4×4 현재 블록의 세 번째 열에 포함된 4개의 화소값으로, 화소 D의 값을 4×4 현재 블록의 네 번째 열에 포함된 4개의 화소값으로 예측한다. 다음, 상기 화소 A 내지 D를 이용하여 예측된 4×4 현재 블록과 원래의 4×4 현재 블록에 포함된 화소의 실제값을 감산하여 차이값을 구한 후 그 차이값을 부호화한다.
H.264 표준안에 따른 영상의 부호화의 실시예로, 상기 4×4 인트라 예측 모드 및 16×16 인트라 예측 모드의 총 13가지 모드로 현재 매크로 블록을 부호화해 본 다음, 그 중 가장 코스트(cost)가 작은 모드로 인트라 부호화를 수행한다. 구체적으로는, 현재 매크로 블록에 대해서 4가지의 16×16 인트라 예측 모드를 수행하여 코스트가 가장 작은 16×16 인트라 예측 모드를 선택하고, 4×4 서브 블록에 대해서 차례대로 9가지의 4×4 인트라 예측 모드를 수행하여 각각의 서브 블록 별로 코스트가 가장 작은 모드를 선택한다. 그리고, 상기 선택된 16×16 인트라 예측 모드의 코스트와, 각각의 서브 블록들의 코스트를 합한 4×4 인트라 예측 모드의 코스트를 비교하여 최종적으로 코스트가 가장 작은 모드를 선택한다.
이와 같이, 종래 기술에 따른 인트라 예측은 현재 인트라 예측되는 블록 내의 화소들이 아니라 주변 블록에서 샘플링된 화소들을 이용한다. 따라서, 현재 인트라 예측되는 블록과 주변 블록 사이의 영상에 많은 차이가 존재하는 경우, 인트라 예측된 블록과 실제 블록 사이에는 많은 차이가 존재할 수 있다. 이와 같이, 종래 기술에 따른 인트라 예측에서는 현재 인트라 예측되는 블록 내의 화소 정보를 이용하지 않고 주변 블록의 화소 정보만을 이용하므로 예측에 한계가 존재하며, 코딩 효율도 떨어진다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 영상의 인트라 예측시 주변 블록의 화소들 뿐만이 아니라 현재 블록의 복원된 화소들을 보간한 화소들을 예측자로 이용함으로써 예측 효율을 증가시키는 영상의 인트라 예측 부호화, 복호화 방법 및 장치를 제공하는 데에 목적이 있다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상의 인트라 예측 부호화 방법은 입력 블록 내의 화소들을 복수 개의 그룹들로 분리하는 단계; 상기 복수 개의 그룹들 중 제 1 그룹에 속한 화소들을 이전에 처리된 주변 블록의 화소들을 이용하여 인트라 예측 부호화하는 단계; 상기 인트라 예측 부호화된 상기 제 1 그룹의 화소들을 복원하는 단계; 상기 복원된 제 1 그룹의 화소들 및 이전에 처리된 다른 나머지 그룹의 복원된 화소들을 이용하여 상기 제 1 그룹을 제외한 나머지 그룹들 내의 각 화소들의 방향성을 결정하는 단계; 및 상기 결정된 방향성에 따라서 상기 복원된 제 1 그룹의 복원된 화소들 및 이전에 처리된 다른 나머지 그룹의 복원된 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측 부호화하면서, 상기 나머지 그룹들에 속한 화소들을 그룹 단위로 소정의 순서에 따라 순차적으로 처리하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상의 인트라 예측 부호화 장치는 입력 블록 내의 화소들을 복수 개의 그룹들로 분리하는 영역 분리부; 상기 분리된 그룹들 내의 각 화소들의 방향성을 결정하는 방향 결정부; 상기 복수 개의 그룹들 중 제 1 그룹에 속한 화소들은 이전에 처리된 주변 블록의 화소들을 이용하여 인트라 예측 부호화하고, 상기 제 1 그룹을 제외한 나머지 그룹들에 속한 화소들을 그룹 단위로 소정의 순서에 따라 순차적으로 처리하며, 상기 결정된 방향성에 따라서 상기 제 1 그룹의 복원된 화소들 및 이전에 처리된 다른 나머지 그룹의 복원된 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측 부호화하는 인트라 예측 수행부를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상의 인트라 예측 복호화 방법은 입력 블록을 분리하여 얻어진 복수 개의 그룹들 중에서 주변 블록의 화소를 이용하여 인트라 예측 부호화된 제 1 그룹 화소들에 대한 데이터 및 상기 제 1 그룹의 복원된 화소 정보와 이전에 처리된 다른 나머지 그룹의 복원된 화소를 이용하여 인트라 예측 부호화된 화소들에 대한 데이터를 구비하는 비트스트림을 수신하는 단계; 상기 수신된 제 1 그룹 화소들에 대한 인트라 예측 복호화를 수행하는 단계; 상기 제 1 그룹의 복원된 화소들 및 이전에 처리된 다른 나머지 그룹의 화소들을 이용하여 상기 제 1 그룹을 제외한 나머지 그룹의 각 화소들의 방향성을 결정하는 단계; 상기 결정된 방향성에 따라서 상기 제 1 그룹의 복원된 화소들 및 이전에 복호화된 다른 나머지 그룹의 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상의 인트라 예측 복호화 장치는 입력 블록을 분리하여 얻어진 복수 개의 그룹들 중에서 주변 블록의 화소를 이용하여 인트라 예측 부호화된 제 1 그룹 화소들에 대한 데이터 및 상기 제 1 그룹의 복원된 화소 정보와 이전에 처리된 나머지 그룹의 복원된 화소를 이용하여 인트라 예측 부호화된 화소들에 대한 데이터를 구비하는 비트스트림을 수신하고, 상기 수신된 비트스트림에 구비된 인트라 예측 모드 정보를 이용하여 인트라 예측 모드를 결정하는 인트라 예측 모드 결정부; 상기 수신된 제 1 그룹 화소들에 대한 인트라 예측 복호화를 수행하고, 상기 제 1 그룹을 제외한 나머지 그룹의 각 화소들의 방향성을 결정하며, 상기 결정된 방향성에 따라서 상기 제 1 그룹의 복호화된 화소들 및 이전에 복호화된 다른 나머지 그룹의 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측하는 인트라 예측 수행부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 3은 본 발명에 따른 인트라 예측 부호화 장치가 적용되는 영상 부호화 장치를 나타낸 블록도이다. 이하에서는 설명의 편의를 위하여 H.264 표준안에 따른 영상 부호화 장치에 본 발명에 따른 인트라 예측 부호화 장치가 적용되는 경우를 중심으로 설명하지만, 본 발명에 따른 인트라 예측 부호화 장치는 인트라 예측을 이용하는 다른 방식의 압축 방식에도 적용될 수 있을 것이다.
도 3을 참조하면, 영상 부호화 장치(300)는 움직임 추정부(302), 움직임 보상부(304), 인트라 예측부(330), 변환부(308), 양자화부(310), 재정렬부(312), 엔트로피 코딩부(314), 역양자화부(316), 역변환부(318), 필터(320), 프레임 메모리(322) 및 제어부(325)를 구비한다. 여기서, 인트라 예측부(330)는 본 발명에 따 른 인트라 예측 부호화 장치에 대응된다.
움직임 추정부(302) 및 움직임 보상부(304)는 현재 픽처의 매크로 블록의 예측값을 참조 픽처에서 탐색하는 인터 예측을 수행한다.
인트라 예측부(330)는 현재 블록의 예측치를 현재 픽처 내에서 찾는 인트라 예측을 수행한다. 특히, 본 발명에 따른 인트라 예측부(330)는 예측 부호화할 현재 블록을 입력받아 전술한 도 1 및 2에 도시된 바와 같이 인트라 16×16 예측 모드 또는 인트라 4×4 예측 모드 또는 인트라 8×8 예측 모드 및 인트라 색차 모드로 인트라 예측 부호화를 수행하는 한편, 부가적으로 현재 블록을 복수 개의 그룹으로 분리하고 분리된 그룹 중 선택된 어느 하나의 그룹은 이전에 처리된 주변 블록을 이용하여 종래 기술과 유사하게 인트라 예측을 수행하며, 나머지 그룹들에 대해서는 순차적으로 이전 그룹의 복원된 화소들을 이용하여 예측을 수행한다.
구체적으로 인트라 예측부(330)는 현재 블록을 복수 개의 그룹들로 분리하고 분리된 영역 중에서 먼저 제 1 그룹의 화소들에 대해서 주변 블록의 화소들을 이용한 인트라 예측을 수행한다. 인트라 예측부(330)는 제 1 그룹의 화소들을 제외한 나머지 그룹의 화소들은 그 주변의 소정 방향에 위치한 제 1 영역의 화소들과 이전에 처리된 다른 그룹의 화소들 중 방향성을 고려하여 선택된 참조 화소들의 평균값을 예측자(predictor)로 이용한다. 이와 같이, 현재 인트라 예측되는 블록의 일부만을 먼저 인트라 예측하고 나머지 부분은 먼저 인트라 예측된 부분의 복원된 정보를 이용하여 인트라 예측을 수행하면, 인트라 예측시에 주변 블록의 화소뿐만이 아니라 현재 블록 내의 화소 정보를 이용할 수 있으므로 예측 효율이 향상된다.
제어부(325)는 영상 부호화 장치(300)의 각 구성 요소를 제어하는 한편, 현재 블록의 예측 모드를 결정한다. 일 예로서, 상기 제어부(325)는 인터 예측 또는 인트라 예측된 블록과 원래 블록 사이의 차이를 최소화하는 예측 모드를 결정한다. 구체적으로 제어부(325)는 인터 예측된 영상 및 인트라 예측된 영상의 코스트를 계산하고, 예측된 영상 중에서 가장 작은 코스트를 갖는 예측 모드를 최종적인 예측 모드로 결정한다. 여기서, 코스트 계산은 여러가지 방법에 의해서 수행될 수 있다. 사용되는 코스트 함수로는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference) 및 라그랑지 함수(Lagrange function) 등이 있다. SAD는 각 4×4 블록 예측 오차(residue) 값의 절대치를 취하여 그 값들을 합한 값이다. SATD는 각 4×4 블록의 예측 오차값에 하다마드 변환(Hadamard transform)을 적용하여 생성된 계수들의 절대치를 취하여 더한 값이다. SSD는 각 4×4 블록 예측 샘플의 예측 오차값을 제곱하여 더한 값이고, MAD는 각 4×4 블록 예측 샘플의 예측 오차값에 절대치를 취하여 평균을 구한 값이다. 라그랑지 함수는 코스트 함수에 비트스트림의 길이 정보를 포함하여 만들어진 새로운 함수이다.
인터 예측 또는 인트라 예측이 수행되어 현재 매크로 블록이 참조할 예측 데이터가 찾아졌다면, 이를 현재 매크로 블록에서 빼서 레지듀(residue)를 생성하고, 생성된 레지듀는 변환부(308)에 의하여 주파수 영역으로 변환되고, 양자화부(310)에서 양자화된다. 엔트로피 코딩부(314)는 양자화된 레지듀를 부호화하여 비트스트림을 출력한다.
한편, 인터 예측에 사용될 참조 픽처를 얻기 위하여 양자화된 픽처를 역양자화부(316)와 역변환부(318)를 통해 다시 복원한다. 이렇게 복원된 현재 픽처는 디블록킹 필터링을 수행하는 필터(320)를 거친 후, 프레임 메모리(322)에 저장되었다가 다음 픽처에 대하여 인터 예측을 수행하는데 사용된다. 또한, 디블록킹 이전 단계의 복원된 상기 제 1 그룹의 영상 데이터 정보는 상기 인트라 예측부(330)로 입력되어 나머지 그룹의 화소들을 예측하기 위한 참조 데이터로 이용된다.
도 4는 도 3의 본 발명에 따른 인트라 예측부(330)의 구성을 나타낸 블록도이고, 도 5는 도 4의 영역 분리부(331)에 의하여 분리된 입력 블록을 나타낸 도면이다.
도 4를 참조하면 본 발명에 따른 인트라 예측부(330)는 영역 분리부(331), 인트라 예측 수행부(332) 및 방향 결정부(333)를 포함한다. 상기 인트라 예측 수행부(332)는 입력 블록을 몇 개의 그룹으로 분리하는지에 따라서 분리된 각 그룹을 처리하기 위한 인트라 예측 수행부를 구비한다. 도 4에서는 입력 블록이 4개의 그룹으로 분리되는 경우 각 그룹을 처리하기 위하여 상기 인트라 예측 수행부(332)가 제 1 내지 제 4 인트라 예측 수행부(332a, 332b, 332c 및 332d)를 포함하는 경우를 도시하였다.
영역 분리부(331)는 입력되는 블록 내의 화소들을 적어도 2개 이상의 복수 개의 그룹으로 분리한다. 일 예로, 도 5에 도시된 바와 같이 영역 분리부(331)는 16×16 크기의 입력 블록 내의 화소들을 4개의 그룹으로 분리한다. 도 5를 참조하면, 제 1 그룹은 입력 블록을 구성하는 화소들 중 짝수 번째 행 및 짝수 번째 열에 위치한 화소들로 구성되며, 제 2 그룹은 상기 제 1 그룹의 화소들의 좌우에 위치한 화소들로 구성되며, 제 3 그룹은 상기 제 1 그룹의 화소들의 상하에 위치한 화소들로 구성되며, 제 4 그룹은 상기 제 1 내지 3 그룹에 포함되지 않은 입력 블록 내의 나머지 화소들로 구성된다. 입력 블록이 16×16 크기 이외의 M×N(M=2m, N=2n, m 및 n은 양의 정수)의 크기를 갖는 경우에도 유사하게 입력 블록 내의 화소들을 그룹으로 분리할 수 있다. 상기 제 1 그룹은 도 6에 도시된 바와 같은 래스터 스캔 처리 순서, 즉 좌에서 우로, 위에서 아래로 블록을 순차적으로 처리하는 블록 처리 순서에 의할 때 나머지 그룹들의 효율적인 공간 보간 예측을 위해 선택된 화소들로 구성된 그룹이다.
도 7은 본 발명에 따라서 영역 분리부(331)에서 분리된 제 1 그룹의 화소들을 나타낸 도면이고, 도 8은 본 발명에 따라서 제 1 그룹의 화소들에 대한 인트라 예측 과정을 설명하기 위한 도면이다. 도 8에서 Px ,y는 현재 입력 블록(800)의 x번째 열, y번째 행에 위치한 화소를 나타낸다.
제 1 인트라 예측 수행부(332a)는 상기 영역 분리부(331)에서 분리된 그룹들 중 먼저 제 1 그룹의 화소들에 대해서만 주변 블록의 화소들을 이용하여 인트라 예측을 수행한다. 이 때, H.264 표준안에 따른 인트라 예측 방식이나 기타 주변 블록의 화소들을 이용하여 처리하는 다른 방식의 인트라 예측 방법을 그대로 적용할 수 있다. 일 예로, 수직 모드에 따른 인트라 예측시에 상기 제 1 인트라 예측 수행부(332a)는 상기 제 1 그룹의 화소들과 동일한 열에 위치한 인접 블록의 화소들 의 V2, V4, V6,..., V14, V15 화소값을 현재 블록의 제 1 그룹의 화소값으로 예측한다. 즉, 화소 V2의 값을 제 1 그룹의 두 번째 열에 포함된 8개의 화소값으로, 화소 V4의 값을 제 1 그룹의 네 번째 열에 포함된 8개의 화소값으로, 화소 V6의 값을 제 1 영역의 여섯 번째 열에 포함된 8개의 화소값으로 예측한다. 이와 같은 방식으로 제 1 그룹의 화소들은 주변 블록의 화소들을 이용하여 인트라 예측된다. 상기 제 1 인트라 예측 수행부(332a)는 수직 모드 이외에 수평 모드 등의 다양한 인트라 예측 모드에 따라서 인트라 예측을 수행한 후, 각 모드에서 제 1 그룹의 인트라 예측된 영상과 원래 입력 블록 중 제 1 그룹에 해당되는 영상과의 차이에 따른 코스트를 비교하여 제 1 그룹의 인트라 예측 모드를 결정한다.
상기 제 1 인트라 예측 수행부(332a)에서 인트라 예측된 제 1 그룹의 영상 데이터와 제 1 그룹에 대응되는 현재 블록의 원래 화소들 사이의 차이인 레지듀는 변환부(308)에서 변환된 후에 양자화부(310)에서 양자화된다. 다음, 양자화된 제 1 그룹의 레지듀는 역양자화부(316)와 역변환부(318)를 거쳐 인트라 예측된 제 1 그룹의 영상 데이터와의 더해져서 복원되고, 복원된 제 1 그룹의 영상 데이터는 프레임 메모리(322)에 저장된다.
도 9는 본 발명에 따라 제 2 그룹 화소들의 인트라 예측을 위해 필요한 제 1 그룹의 화소들을 나타낸 도면이다.
도 9를 참조하면, 삼각형으로 나타낸 제 2 그룹의 화소들은 이전에 처리가 완료된 제 1 그룹의 주변 화소들을 이용하여 예측된다. 예를 들어, 도면 부호 911 로 표시된 제 2 그룹의 화소는 점선(910) 내의 제 1 그룹 화소들을 이용하여 예측될 수 있다. 이 때, 제 2 그룹의 화소 예측에 이용되는 제 1 그룹의 참조 화소를 결정하기 위하여, 먼저 방향 결정부(333)는 제 2 그룹의 화소를 중심으로 그 주변의 방향성을 결정한다.
도 10 및 도 11a 내지 11i는 본 발명에 따라 제 2 그룹 내의 화소 주변의 방향성을 결정하는 과정을 설명하기 위한 도면이다. 도 10에서 중심이 되는 제 2 그룹 내의 화소(1000)를 C라 하고, 상기 제 2 그룹 화소(1000)의 좌우에 인접한 열에 위치한 화소들을 각각 Li, Rj(i,j=-4,-3,-2,-1,0,1,2,3,4)라 한다. 여기서, L-4, L-2, L0, L2, L4, R-4, R-2, R0, R2, R4는 복원된 제 1 그룹 화소에 대응된다. 또한, Ln에서 n이 홀수인 경우 Ln은 Ln -1과 Ln +1의 평균값을 갖는다. 또한, Rn에서 n이 홀수인 경우 Rn은 Rn -1과 Rn +1의 평균값을 갖는다.
도 11a 내지 도 11i를 참조하면, 제 2 그룹 내의 화소 C를 중심으로 다음과 같이 그 주변 화소들 사이의 절대값 차이의 평균을 계산함으로써 방향성 계수(D1 내지 D9)를 계산한다.
D1=(｜L-1-R-1｜+｜L0-R0｜+｜L1-R1｜)/3;
D2=(｜L-2-R0｜+｜L-1-R1｜+｜L0-R2｜)/3;
D3=(｜L-3-R1｜+｜L-2-R2｜+｜L-1-R3｜)/3;
D4=(｜L-4-R2｜+｜L-3-R3｜+｜L-2-R4｜)/3;
D5=｜L-4-R4｜;
D6=(｜L0-R-2｜+｜L1-R-1｜+｜L2-R0｜)/3;
D7=(｜L1-R-3｜+｜L2-R-2｜+｜L3-R-1｜)/3;
D8=(｜L2-R-4｜+｜L3-R-3｜+｜L4-R-2｜)/3;
D9=｜L4-R-4｜
다음, 방향 결정부(333)는 계산된 방향성 계수(D1 내지 D9) 중에서 최소값을 갖는 방향성 계수를 선택하고, 선택된 방향성 계수에 대응되는 방향에 위치한 제 1 그룹의 복원된 화소들을 참조 화소로서 결정한다. 여기서, 방향성을 결정하는 과정은 상기 예에 한정되지 않고, 각 절대값 차이에 제 2 그룹 화소와의 거리에 따라 가중치를 부여할 수도 있으며 다른 다양한 방향성 측정 알고리즘이 이용될 수 있다.
다시 도 10을 참조하면, 최소값을 갖는 방향성 계수로서 D1이 선택된 경우, 상기 제 2 인트라 예측 수행부(332b)는 상기 D1에 대응되는 제 1 그룹의 복원된 화소들 L0 및 R0를 참조 화소로서 결정하고, 상기 참조 화소들의 평균값인 (L0+R0)/2를 제 2 그룹의 화소 C의 예측자로 이용한다. 즉, 제 2 그룹의 화소 C는 (L0+R0)/2의 값으로 예측된다. 최소값을 갖는 방향성 계수로서 D2가 선택된 경우, 상기 제 2 인트라 예측 수행부(332b)는 제 2 그룹의 화소 C의 예측값으로 (L-2+R0+L0+R2)/4 를 이용한다. 최소값을 갖는 방향성 계수로서 D3가 선택된 경우, 상기 제 2 인트라 예측 수행부(332b)는 제 2 그룹의 화소 C의 예측값으로 (L-2+R2)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D4가 선택된 경우, 상기 제 2 인트라 예측 수행부(332b)는 제 2 그룹의 화소 C의 예측값으로 (L-4+R2+L-2+R4)/4를 이용한다. 최소값을 갖는 방향성 계수로서 D5가 선택된 경우, 상기 제 2 인트라 예측 수행부(332b)는 제 2 그룹의 화소 C의 예측값으로 (L-4+R4)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D6가 선택된 경우, 상기 제 2 인트라 예측 수행부(332b)는 제 2 그룹의 화소 C의 예측값으로 (L0+R-2+L2+R0)/4를 이용한다. 최소값을 갖는 방향성 계수로서 D7이 선택된 경우, 상기 제 2 인트라 예측 수행부(332b)는 제 2 그룹의 화소 C의 예측값으로 (L2+R-2)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D8이 선택된 경우, 상기 제 2 인트라 예측 수행부(332b)는 제 2 그룹의 화소 C의 예측값으로 (L2+R-4+L4+R-2)/4를 이용한다. 최소값을 갖는 방향성 계수로서 D9이 선택된 경우, 상기 제 2 인트라 예측 수행부(332b)는 제 2 그룹의 화소 C의 예측값으로 (L4+R-4)/2를 이용한다.
또한, 전술한 방향성 계수(D1 내지 D9)는 다음과 같이 복원된 제 1 그룹의 화소들만을 이용하여 다음과 같이 생성될 수도 있다.
D1=(｜L-2-R-2｜+｜L0-R0｜+｜L2-R2｜)/3;
D2=(｜L-2-R0｜+｜L0-R2｜)/2;
D3=(｜L-4-R0｜+｜L-2-R2｜+｜L0-R4｜)/3;
D4=(｜L-4-R2｜+｜L-2-R4｜)/2;
D5=｜L-4-R4｜;
D6=(｜L0-R-2｜+｜L2-R0｜)/2;
D7=(｜L0-R-4｜+｜L2-R-2｜+｜L4-R0｜)/3;
D8=(｜L2-R-4｜+｜L4-R-2｜)/2;
D9=｜L4-R-4｜
이후 방향 결정 과정 및 나머지 그룹들의 예측을 위한 참조 화소 결정 과정은 전술한 바와 유사하므로 상세한 설명은 생략한다.
전술한 바와 같이, 제 2 그룹 내의 각 화소들은 상기 방향 결정부(333)에서 결정된 방향에 따라 이전에 처리된 제 1 그룹의 복원된 화소들을 이용하여 예측된다. 제 2 그룹 내의 모든 화소들에 대한 예측값이 생성되면, 예측값과 제 2 그룹에 대응되는 원래 입력 블록의 화소들 사이의 차이인 레지듀가 계산되고, 레지듀는 변환부(308)에서 변환된 후에 양자화부(310)에서 양자화된다. 다음, 양자화된 제 2 그룹의 레지듀는 역양자화부(316)와 역변환부(318)를 거쳐 예측된 제 2 그룹의 예측값과 더해져서 복원된 후에 프레임 메모리(322)에 저장된다.
도 12는 본 발명에 따라 제 3 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 및 제 2 그룹의 화소들을 나타낸 도면이다.
도 12를 참조하면, 제 3 그룹의 화소들은 이전에 처리가 완료된 제 1 및 제 2 그룹의 복원된 화소들을 이용하여 예측된다. 예를 들어, 도면 부호 1211로 표시된 제 3 그룹의 화소는 점선(1210) 내의 현재 입력 블록과 이전에 처리된 주변 블록에 구비된 제 1 그룹과 제 2 그룹의 복원된 화소들을 이용하여 예측될 수 있다. 상기 제 2 그룹의 화소 예측 과정과 유사하게, 제 3 그룹의 화소 예측에 이용되는 제 1 및 2 그룹의 참조 화소를 결정하기 위하여, 먼저 방향 결정부(333)는 제 3 그룹의 화소를 중심으로 그 주변의 방향성을 결정한다.
도 13 및 도 14a 내지 14i는 본 발명에 따라 제 3 그룹 내의 화소 주변의 방향성을 결정하는 과정을 설명하기 위한 도면이다. 도 13에서 제 3 그룹 내의 화소(1300)를 C라 하고, 상기 제 2 그룹 화소(1300)의 상하에 인접한 행에 위치한 화소들을 각각 Ui, dj(i,j=-4,-3,-2,-1,0,1,2,3,4)라 한다. 여기서, U-4, U-2, U0, U2, U4, d-4, d-2, d0, d2, d4는 복원된 제 1 그룹 화소에 대응되며, U-1, U-3, U1, U3, d-1, d-3, d1, d3 은 복원된 제 2 그룹 화소에 대응된다.
도 14a 내지 도 14i를 참조하면, 제 3 그룹 내의 화소 C를 중심으로 다음과 같이 그 주변 화소들 사이의 절대값 차이의 평균을 계산함으로써 방향성 계수(D1 내지 D9)를 계산한다.
D1=(｜U-1-d-1｜+｜U0-d0｜+｜U1-d1｜)/3;
D2=(｜U-2-d0｜+｜U-1-d1｜+｜U0-d2｜)/3;
D3=(｜U-3-d1｜+｜U-2-d2｜+｜U-1-d3｜)/3;
D4=(｜U-4-d2｜+｜U-3-d3｜+｜U-2-d4｜)/3;
D5=｜U-4-d4｜;
D6=(｜U0-d-2｜+｜U1-d-1｜+｜U2-d0｜)/3;
D7=(｜U1-d-3｜+｜U2-d-2｜+｜U3-d-1｜)/3;
D8=(｜U2-d-4｜+｜U3-d-3｜+｜U4-d-2｜)/3;
D9=｜U4-d-4｜
다음, 상기 방향 결정부(333)는 계산된 방향성 계수(D1 내지 D9) 중에서 최소값을 갖는 방향성 계수를 선택하고, 선택된 방향성 계수에 대응되는 방향에 위치한 제 1 및 제 2그룹의 복원된 화소들을 참조 화소로서 결정한다.
상기 방향 결정부(333)에서 제 3 그룹의 화소를 중심으로 주변의 방향성이 결정되면, 상기 제 3 인트라 예측 수행부(332c)는 결정된 방향성에 따라서 복원된 제 1 그룹의 화소 또는 제 2 그룹의 화소를 이용하여 상기 제 3 그룹의 화소를 예측한다.
다시 도 13을 참조하면, 최소값을 갖는 방향성 계수로서 D1이 선택된 경우, 상기 제 3 인트라 예측 수행부(332c)는 상기 D1에 대응되는 제 1 그룹의 복원된 화소들 U0 및 d0를 참조 화소로서 결정하고, 상기 참조 화소들의 평균값인 (U0+d0)/2를 제 3 그룹의 화소 C의 예측자로 이용한다. 즉, 제 3 그룹의 화소 C는 (U0+d0)/2의 값으로 예측된다. 최소값을 갖는 방향성 계수로서 D2가 선택된 경우, 상기 제 3 인트라 예측 수행부(332c)는 제 3 그룹의 화소 C의 예측값으로 (U-1+d1)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D3가 선택된 경우, 상기 제 3 인트라 예측 수행부(332c)는 제 3 그룹의 화소 C의 예측값으로 (U-2+d2)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D4가 선택된 경우, 상기 제 3 인트라 예측 수행부(332c)는 제 3 그룹의 화소 C의 예측값으로 (U-3+d3)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D5가 선택된 경우, 상기 제 3 인트라 예측 수행부(332c)는 제 3 그룹의 화소 C의 예측값으로 (U-4+d4)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D6가 선택된 경우, 상기 제 3 인트라 예측 수행부(332c)는 제 3 그룹의 화소 C의 예측값으로 (U1+d-1)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D7이 선택된 경우, 상기 제 3 인트라 예측 수행부(332c)는 제 3 그룹의 화소 C의 예측값으로 (U2+d-2)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D8이 선택된 경우, 상기 제 3 인트라 예측 수행부(332c)는 제 3 그룹의 화소 C의 예측값으로 (U3+d-3)/2를 이용한다. 최소값을 갖는 방향성 계수로서 D9이 선택된 경우, 상기 제 3 인트라 예측 수행부(332c)는 제 3 그룹의 화소 C의 예측값으로 (U4+d-4)/2를 이용한다.
전술한 바와 같이, 제 3 그룹 내의 각 화소들은 상기 방향 결정부(333)에서 결정된 방향에 따라 이전에 처리된 제 1 그룹 및 제 2 그룹의 복원된 화소들을 이용하여 예측된다. 제 3 그룹 내의 모든 화소들에 대한 예측값이 생성되면, 예측값과 제 3 그룹에 대응되는 원래 입력 블록의 화소들 사이의 차이인 레지듀가 계산되고, 레지듀는 변환부(308)에서 변환된 후에 양자화부(310)에서 양자화된다. 다음, 양자화된 제 3 그룹의 레지듀는 역양자화부(316)와 역변환부(318)를 거쳐 예측된 제 3 그룹의 예측값과 더해져서 복원된 후에 프레임 메모리(322)에 저장된다.
도 15는 본 발명에 따라 제 4 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 내지 제 3 그룹의 복원된 화소들을 나타낸 도면이다.
도 15를 참조하면, 제 4 그룹의 화소들은 이전에 처리가 완료된 제 1 내지 제 3 그룹의 복원된 화소들을 이용하여 예측된다. 예를 들어, 도면 부호 1511로 표시된 제 4 그룹의 화소는 점선(1510) 내의 현재 입력 블록과 이전에 처리된 주변 블록에 구비된 제 1 그룹 내지 3 그룹의 화소들을 이용하여 예측될 수 있다. 상기 제 2 및 제 3 그룹의 화소 예측 과정과 유사하게, 제 4 그룹의 화소 예측에 이용되는 제 1 내지 3 그룹의 참조 화소를 결정하기 위하여, 먼저 상기 방향 결정부(333)는 제 4 그룹의 화소를 중심으로 그 주변의 방향성을 결정하고, 상기 도 13 및 도 14a 내지 14i를 참조하여 설명한 제 3 그룹의 화소 예측 과정과 유사하게 제 1 내지 제 3 그룹의 복원된 화소를 이용하여 예측될 수 있다. 다만, 제 4 그룹의 화소를 중심으로 방향성 결정시에는, 제 4 그룹의 화소의 좌우에 위치한 제 3 그룹의 화소 사이의 절대값 차이의 평균을 이용한 방향성(D10)이 추가로 계산될 수 있다.
제 1 내지 제 3 그룹의 복원된 화소들을 이용하여 제 4 그룹 내의 모든 화소 들에 대한 예측값이 생성되면, 예측값과 제 4 그룹에 대응되는 원래 입력 블록의 화소들 사이의 차이인 레지듀가 계산되고, 레지듀는 변환부(308)에서 변환된 후에 양자화부(310)에서 양자화된다. 다음, 양자화된 제 4 그룹의 레지듀는 역양자화부(316)와 역변환부(318)를 거쳐 예측된 제 4 그룹의 예측값과 더해져서 복원된 후에 프레임 메모리(322)에 저장된다.
전술한 실시예에 있어서는 4개의 그룹으로 분리된 입력 블록을 제 1 그룹, 제 2 그룹, 제 3 그룹 및 제 4 그룹의 순차적인 순서로 예측 과정을 수행하였다. 본 발명의 다른 실시예에 있어서는 상기 제 2 그룹과 제 3 그룹의 처리 순서를 바꾸어 제 3 그룹을 복원된 제 1 그룹의 화소들을 이용하여 예측하고, 다음에 제 2 그룹의 화소들을 복원된 제 1 및 제 3 그룹의 화소들을 이용하여 예측한다.
도 16은 본 발명의 다른 실시예에 따라 제 3 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 그룹의 화소들을 나타낸 도면이다.
도 16을 참조하면, 제 3 그룹의 화소들은 이전에 처리가 완료된 제 1 그룹의 복원된 화소들을 이용하여 예측된다. 예를 들어, 도면 부호 1611로 표시된 제 3 그룹의 화소는 점선(1610) 내의 현재 입력 블록과 이전에 처리된 주변 블록에 구비된 제 1 그룹의 화소들을 이용하여 예측될 수 있다. 전술한 본 발명의 일 실시예와 유사하게, 먼저 상기 방향 결정부(333)는 제 3 그룹의 화소를 중심으로 그 주변의 방향성을 결정한 다음, 결정된 방향성에 대응되는 제 1 그룹의 복원된 화소를 이용하여 제 3 그룹의 화소를 예측한다.
도 17은 본 발명의 다른 실시예에 따라 제 2 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 및 제 3 그룹의 화소들을 나타낸 도면이다.
도 17을 참조하면, 제 2 그룹의 화소들은 이전에 처리가 완료된 제 1 및 제 2 그룹의 복원된 화소들을 이용하여 예측된다. 예를 들어, 도면 부호 1711로 표시된 제 2 그룹의 화소는 점선(1710) 내의 현재 입력 블록과 이전에 처리된 주변 블록에 구비된 제 1 및 제 3 그룹의 화소들을 이용하여 예측될 수 있다. 전술한 본 발명의 일 실시예와 유사하게, 먼저 상기 방향 결정부(333)는 제 2 그룹의 화소를 중심으로 그 주변의 방향성을 결정한 다음, 결정된 방향성에 대응되는 제 1 및 제 3 그룹의 복원된 화소를 이용하여 제 2 그룹의 화소를 예측한다.
도 18은 본 발명의 다른 실시예에 따라 제 4 그룹의 화소들의 인트라 예측을 위해 필요한 제 1 내지 제 3 그룹의 화소들을 나타낸 도면이다. 도 18을 참조하면, 제 4 그룹의 화소들은 이전에 처리가 완료된 제 1 내지 제 3 그룹의 복원된 화소들을 이용하여 예측된다. 예를 들어, 도면 부호 1811로 표시된 제 4 그룹의 화소는 점선(1810) 내의 현재 입력 블록과 이전에 처리된 주변 블록에 구비된 제 1 내지 제 3 그룹의 화소들을 이용하여 예측될 수 있다.
도 19는 본 발명의 일 실시예에 따른 영상의 인트라 예측 부호화 방법을 나타낸 플로우 차트이고, 도 20은 본 발명의 다른 실시예에 따른 영상의 인트라 예측 부호화 방법을 나타낸 플로우 차트이다.
도 19를 참조하면, 단계 1910에서 입력 블록 내의 화소들을 복수 개의 그룹으로 분리한다. 단계 1920에서 상기 분리된 복수 개의 그룹들 중에서 먼저 제 1 그룹의 화소들에 대해서 이전에 처리된 주변 블록의 화소들을 이용하여 인트라 예 측을 수행한다. 인트라 예측된 제 1 그룹의 화소들의 인트라 예측된 예측값과 원래 입력 블록의 화소들 사이의 차이인 레지듀가 계산되고, 레지듀는 변환 및 양자화되며, 양자화된 레지듀는 예측 모드 정보와 함께 엔트로피 부호화된다. 또한, 양자화된 제 1 그룹의 레지듀에 대한 역양자화 및 역변환이 수행되고, 역변환된 제 1 그룹의 레지듀는 제 1 그룹의 예측값과 더해져서 복원된 다음 메모리에 저장된다. 단계 1930에서 복원된 제 1 그룹의 화소들을 이용하여 제 2 그룹의 화소들에 대한 인트라 예측이 수행된다. 인트라 예측된 제 2 그룹의 화소들의 예측값과 원래 제 2 그룹 내의 모든 화소들에 대한 예측값이 생성되면, 예측값과 제 2 그룹에 대응되는 원래 입력 블록의 화소들 사이의 차이인 레지듀가 계산되고, 레지듀는 변환 및 양자화되고, 양자화된 레지듀는 예측 모드 정보와 함께 엔트로피 부호화된다. 또한, 제 2 그룹의 양자화된 레지듀에 대한 역양자화 및 역변환이 수행되고, 역변환된 제 2 그룹의 레지듀는 제 2 그룹의 예측값과 더해져서 복원된 다음 메모리에 저장된다. 단계 1940에서는 복원된 제 1 및 제 2 그룹의 화소들을 이용하여 제 3 그룹의 화소들에 대한 인트라 예측을 수행한다. 전술한 바와 같이, 제 3 그룹의 예측값과 원래 입력 블록의 화소들 사이의 차이인 레지듀는 변환 및 양자화 과정을 거치고, 양자화된 레지듀는 예측 모드 정보와 함께 엔트로피 부호화되며, 양자화된 레지듀에 대한 역양자화 및 역변환이 수행되어 역변화된 제 3 그룹의 레지듀는 제 3 그룹의 예측값과 더해져서 복원된 다음 메모리에 저장된다. 단계 1950에서는 복원된 제 1 내지 제 3 그룹의 화소들을 이용하여 제 4 그룹의 화소들에 대한 인트라 예측을 수행한다.
도 20을 참조하면, 본 발명의 다른 실시예에 따른 영상의 인트라 예측 부호화 방법은 전술한 바와 같이 제 2 그룹 및 제 3 그룹의 처리 순서를 변경하는 것을 제외하고 상기 본 발명의 일 실시예와 유사하다.
한편, 본 발명에 따라서 인트라 예측을 수행한 경우 종래 기술에 따른 인트라 예측을 수행하는 경우에 비하여 잔차값이 더 클 수 있다. 이와 같은 경우, 적응적으로 본 발명에 따른 인트라 예측 방법이 적용될 수 있도록 픽처 단위, 슬라이스 단위, GOP(Group Of Picture) 단위로 본 발명에 따른 부호화 방법의 적용 여부를 나타내는 신택스 정보를 부호화된 비트스트림의 헤더에 추가할 수 있다. 예를 들어, 8×8 블록 단위로 1 비트 신택스를 설정하고 본 발명에 따른 인트라 예측 방법이 적용되면 1, 아니면 0을 비트스트림의 헤더에 추가한다. 본 발명에 따른 인트라 예측 방법에 의하여 부호화된 비트스트림에는 별도의 방향 모드 정보없이 처리한다. 이는 본 발명에 따른 인트라 예측 복호화시에 각 화소를 중심으로 주변 블록의 화소들의 절대값 차이를 이용하여 방향을 결정할 수 있기 때문이다.
또한, 본 발명에 따른 인트라 예측시 각 그룹의 화소를 중심으로 모든 방향성을 체크하는 대신에 방향에 따라 그룹을 나누어, 가령 모드 1은 D1 내지 D3만을 체크하고, 모드 2는 D1 내지 D6, 모드 3는 D1 내지 D9만을 체크하는 것으로 부호화단 및 복호화단에서 미리 결정하고, 영상의 인트라 예측 부호화시에 상기 모드 정보를 픽처 단위, 슬라이스 단위, GOP(Group Of Picture) 단위로 비트스트림의 헤더에 추가하여 전송하도록 할 수 있다.
또한, 상기 언급한 방향성 결정 방법 외에 좋은 성능의 방향성 결정 방법이 존재할 수 있다. 예를 들어 복잡도가 작지만 상대적으로 성능은 떨어지는 방향성 결정 방법부터 복잡도는 크지만 상대적으로 성능이 좋은 방향성 결정 방법까지 N개의 방법들이 존재한다고 가정한다. 이러한 경우, 부호기에서는 소정의 단위(픽처 단위, 슬라이스 단위, GOP 단위)로, N개의 방법을 적용하여 그 중 적당한 방법을 선택하고, 선택된 방향성 결정 방법을 나타내는 인덱스 정보를 상기 소정의 단위로 신택스에 추가하여 복호기에 전송할 수 있다.
도 21은 본 발명에 따른 영상의 인트라 예측 복호화 장치가 적용되는 영상 복호화 장치를 나타낸 블록도이다.
도 21을 참조하면 영상 복호화 장치(2100)는 엔트로피 디코더(2110), 재정렬부(2120), 역양자화부(2130), 역변환부(2140), 움직임 보상부(2150), 인트라 예측부(2160) 및 필터(2170)를 구비한다. 여기서, 인트라 예측부(2160)는 본 발명에 따른 인트라 예측 복호화 장치에 대응된다.
상기 엔트로피 디코더(2110) 및 재정렬부(2120)는 압축된 비트스트림을 수신하여 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 상기 역양자화부(2130) 및 역변환부(2140)는 상기 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 변환 부호화 계수들, 움직임 벡터 정보, 헤더 정보 및 인트라 예측 모드 정보 등을 추출한다. 여기서, 인트라 예측 모드 정보에는 본 발명에 따른 인트라 예측 방법에 따라 복수 개의 그룹으로 분리되어 부호화된 비트스트림인지 여부를 나타내는 소정의 신택스가 포함될 수 있다. 전술한 바와 같이 각 그룹의 화소들의 예측된 방향 정보는 주변 블록 화소들의 절대값 차이로부터 계산될 수 있으므로 반 드시 비트스트림에 포함될 필요는 없다. 또한, 상기 비트스트림에는 복수 개의 방향성 중에서 실제 부호화시에 이용된 방향성을 나타내는 모드 정보가 포함될 수 있다.
움직임 보상부(2150) 및 인트라 예측부(2160)에서는 복호화된 헤더 정보를 사용하여 부호화된 픽처 타입에 따라서 예측 블록을 생성하며, 상기 예측 블록은 오차값을 나타내는 D'n에 더해져서 uF'n이 생성된다. 상기 uF'n는 필터(2170)를 거쳐 복원된 픽처 F'n이 생성된다.
특히, 본 발명에 따른 상기 인트라 예측부(2160)는 수신된 비트스트림에 포함된 인트라 예측 모드 정보를 이용하여 현재 복호화되는 블록의 부호화에 이용된 인트라 예측 모드를 결정하고, 본 발명에 따른 부호화 방법에 따라서 인트라 예측된 비트스트림의 경우에는 먼저 제 1 그룹의 화소들을 인트라 예측 복호화하고, 나머지 그룹들의 화소들은 이전에 처리된 그룹들의 복원된 화소들을 이용하여 복호화한다.
도 22는 도 21의 본 발명에 따른 인트라 예측부(2160)의 구성을 나타낸 블록도이다.
도 22를 참조하면, 인트라 예측부(2160)는 인트라 예측 모드 결정부(2161) 및 인트라 예측 수행부(2162)를 포함한다. 상기 인트라 예측 수행부(2162)는 입력 블록을 분리한 개수에 따라서 분리된 각 그룹을 처리하기 위한 인트라 예측 수행부를 구비한다. 도 22에서는 입력 블록이 4개의 그룹으로 분리되는 경우, 각 그룹을 처리하기 위하여 상기 인트라 예측 수행부(2162)가 제 1 내지 제 4 인트라 예측 수행부(2162a, 2162b, 2162c 및 2162d)를 포함하는 경우를 도시하였다.
인트라 예측 모드 결정부(2161)는 비트스트림으로부터 추출된 인트라 예측 모드 정보를 이용하여, 현재 인트라 예측 복호화되는 블록이 전술한 본 발명에 따른 인트라 예측 모드를 포함한 다양한 인트라 예측 모드 중 어떠한 인트라 예측 모드를 통해 인트라 예측 부호화되었는지를 판단하고, 현재 블록의 인트라 예측 모드를 결정한다.
제 1 인트라 예측 수행부(2162a)는 수신된 비트스트림에 구비된 제 1 그룹의 부호화된 영상 데이터를 복호화하여 복호화된 제 1 그룹 영상 데이터를 출력한다.
제 2 내지 제 4 인트라 예측 수행부(2162b, 2162c, 2162d)는 제 2 내지 제 4그룹 화소들을 중심으로 소정 각도에 위치한 주변 화소들의 절대값 차이를 계산함으로써 상기 제 1 그룹을 제외한 나머지 그룹의 화소들의 방향성을 결정하고, 그 결정된 방향성에 따라 상기 복호화된 제 1 그룹의 화소 및/또는 이전에 처리된 다른 나머지 그룹의 복호화된 화소들 중 참조 화소를 결정하고, 상기 결정된 참조 화소의 평균값을 이용하여 제 2 내지 제 4 그룹의 화소들을 그룹 단위로 인트라 예측 복호화한다.
도 23은 본 발명에 따른 영상의 인트라 예측 복호화 방법을 나타낸 플로우 차트이다.
도 23을 참조하면, 단계 2310에서 입력 블록을 분리하여 얻어진 복수 개의 그룹들 중에서 주변 블록의 화소를 이용하여 인트라 예측 부호화된 제 1 그룹 화소 들에 대한 데이터 및 상기 제 1 그룹의 복원된 화소 정보와 이전에 처리된 다른 나머지 그룹의 복원된 화소를 이용하여 인트라 예측 부호화된 화소들에 대한 데이터를 구비하는 비트스트림을 수신한다.
단계 2320에서 수신된 제 1 그룹 화소들에 대한 인트라 예측 복호화를 수행한다. 단계 2330에서 상기 제 1 그룹을 제외한 나머지 그룹의 각 화소들의 방향성을 결정한 다음, 단계 2340에서 상기 결정된 방향성에 따라서 상기 복호화된 제 1 그룹의 화소들 및 이전에 복호화된 다른 나머지 그룹의 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측한다.
한편, 본 발명은 YUV 영역에서의 코딩 뿐만 아니라 RGB 영역에서의 코딩에도 적용 가능하다. 현재 MPEG에서 표준화 진행 중인 H.264 High 444 profile이나 Advanced 444 profile에서는 RCT(Residual Color Transform)가 고려되고 있다. RCT 관련 내용은 2004년 7월에 릴리스(release)된 JVT문서 ["Text of ISO/IEC 14496 10 Advanced Video Coding 3rd Edition," ISO/IEC JTC 1/SC 29/ WG 11 N6540]에 상세히 언급되어 있다. 종래 기술에 따르면 획득된 RGB 성분의 영상 데이터를 YCbCr과 같은 다른 컬러 공간으로 변환한 다음 부호화하고, 복호화시에는 YCbCr 성분의 영상 데이터를 복원한 다음, 복원된 YCbCr 영상 데이터를 RGB 컬러 공간으로 변환하게 되며, 이러한 컬러 포맷의 변환 과정 중에 컬러 왜곡이 발생할 수 있다. 따라서, 컬러 포맷의 변환 과정 중에 생기는 컬러 왜곡을 감소시키기 위하여 RGB 영역에서 영상의 부호화, 복호화를 수행하는 RCT가 연구되고 있다.
RCT를 본 발명에 적용하여, 영상의 부호화시 RGB 영역에서 본 발명에 따라 분리된 그룹별 레지듀(residue) 블록들에 대한 변환(transform) 직전에 RCT를 수행할 수 있다. 복호기에서는 역변환(inverse transform) 직후에 역 RCT(inverse RCT)를 수행하게 된다. 나머지 과정들은 전술한 바와 같다.
구체적으로, 본 발명에 RCT를 적용하는 경우 RGB 컬러 공간에서 각 컬러 성분 별로 입력 블록의 화소들을 복수 개의 그룹들로 분리한다. 다음, 복수 개의 그룹들 중 제 1 그룹에 속한 화소들을 이전에 처리된 주변 블록의 화소들을 이용하여 예측한다. 그리고, 상기 예측된 제 1 그룹 화소들의 레지듀를 생성하고 상기 예측된 제 1 그룹 화소들의 레지듀에 대하여 RCT를 수행하며 RCT 변환된 제 1 그룹 화소들의 레지듀에 대한 DCT, 양자화 및 엔트로피 부호화를 수행하여 부호화를 수행한다. 다음 부호화된 제 1 그룹 화소들을 복원한 다음 메모리에 저장하여 나머지 그룹의 화소 예측에 이용한다. 전술한 바와 같이, 상기 나머지 그룹들 내의 각 화소들의 방향성을 결정한 다음, 결정된 방향성에 따라서 상기 복원된 제 1 그룹의 복원된 화소들 및 이전에 처리된 다른 나머지 그룹의 복원된 화소들을 이용하여 상기 나머지 그룹에 속한 화소들에 대한 예측을 수행한다. 원 영상의 대응되는 영역과 예측된 값을 감산함으로써 예측된 나머지 그룹 화소들의 레지듀를 생성하고 상기 나머지 그룹 화소들의 레지듀에 대한 컬러 변환을 수행한 다음, 컬러 변환된 나머지 그룹 화소들의 레지듀를 부호화한다.
한편, RCT는 레지듀 값에 일종의 컬러 변환(color transform)을 수행하는 것으로 RCT와 다른 방식의 레지듀 영역에서의 컬러 변환에도 본 발명이 적용될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 본 발명에 따르면, 영상의 인트라 예측시에 현재 블록의 주변 블록뿐만 아니라 현재 블록 내의 화소들 사이의 상관 관계(correlation)를 이용함으로써 예측 효율 및 코딩 효율을 증가시킬 수 있다.

Claims (22)

  1. 영상의 인트라 예측 부호화 방법에 있어서,
    입력 블록 내의 화소들을 복수 개의 그룹들로 분리하는 단계;
    상기 복수 개의 그룹들 중 제 1 그룹에 속한 화소들을 이전에 처리된 주변 블록의 화소들을 이용하여 인트라 예측 부호화하는 단계;
    상기 인트라 예측 부호화된 상기 제 1 그룹의 화소들을 복원하는 단계;
    상기 복원된 제 1 그룹의 화소들 및 이전에 처리된 다른 나머지 그룹의 복원된 화소들을 이용하여 상기 제 1 그룹을 제외한 나머지 그룹들 내의 각 화소들의 방향성을 결정하는 단계; 및
    상기 결정된 방향성에 따라서 상기 복원된 제 1 그룹의 복원된 화소들 및 이전에 처리된 다른 나머지 그룹의 복원된 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측 부호화하면서, 상기 나머지 그룹들에 속한 화소들을 그룹 단위로 소정의 순서에 따라 순차적으로 처리하는 단계를 포함하는 것을 특징으로 하는 영상의 인트라 예측 부호화 방법.
  2. 제 1항에 있어서,
    상기 나머지 그룹들 내의 각 화소들의 방향성을 결정하는 단계는
    상기 각 화소를 중심으로 복수 개의 방향을 설정하고, 상기 설정된 각각의 방향에 따라서 상기 각 화소의 주변 화소들 사이의 절대값 차이의 평균을 계산하는 단계; 및
    상기 각각의 방향에 따른 상기 절대값 차이의 평균을 비교하여 가장 작은 절대값 차이의 평균을 갖는 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 영상의 인트라 예측 부호화 방법.
  3. 제 1항에 있어서,
    상기 나머지 그룹에 속한 화소들을 예측 부호화하는 단계는
    상기 결정된 방향성에 따라서 상기 제 1 그룹 및 이전에 처리된 나머지 그룹의 화소들 중 참조 화소들을 결정하는 단계;
    상기 결정된 참조 화소들의 평균값을 이용하여 상기 나머지 그룹에 속한 화소들을 예측하는 단계를 포함하는 것을 특징으로 하는 영상의 인트라 예측 부호화 방법.
  4. 제 1항에 있어서, 상기 입력 블록은
    M×N(M=2m, N=2n, m 및 n은 양의 정수)의 크기를 갖으며,
    상기 입력 블록을 구성하는 화소들 중 짝수 번째 행 및 짝수 번째 열에 위치한 화소들로 구성되는 제 1 그룹;
    상기 제 1 그룹의 화소들의 좌우에 위치한 화소들로 구성되는 제 2 그룹;
    상기 제 1 그룹의 화소들의 상하에 위치한 화소들로 구성되는 제 3 그룹;
    상기 제 1 내지 3 그룹에 포함되지 않은 상기 입력 블록 내의 나머지 화소들 로 구성되는 제 4 그룹으로 분리되는 것을 특징으로 하는 영상의 인트라 예측 부호화 방법.
  5. 제 4항에 있어서, 상기 나머지 그룹들에 속한 화소들은
    제 2 그룹, 제 3 그룹 및 제 4 그룹의 순서로 처리되는 것을 특징으로 하는 영상의 인트라 예측 부호화 방법.
  6. 제 4항에 있어서, 상기 나머지 그룹들에 속한 화소들은
    제 3 그룹, 제 2 그룹 및 제 4 그룹의 순서로 처리되는 것을 특징으로 하는 영상의 인트라 예측 부호화 방법.
  7. 제 1항에 있어서,
    상기 영상의 인트라 예측 부호화에 이용된 방향성 정보를 구비하는 인트라 예측 모드 정보를 비트스트림의 헤더에 추가하는 단계를 더 포함하는 것을 특징으로 하는 영상의 인트라 예측 부호화 방법.
  8. 영상의 인트라 예측 부호화 장치에 있어서,
    입력 블록 내의 화소들을 복수 개의 그룹들로 분리하는 영역 분리부;
    상기 분리된 그룹들 내의 각 화소들의 방향성을 결정하는 방향 결정부;
    상기 복수 개의 그룹들 중 제 1 그룹에 속한 화소들은 이전에 처리된 주변 블록의 화소들을 이용하여 인트라 예측 부호화하고, 상기 제 1 그룹을 제외한 나머지 그룹들에 속한 화소들을 그룹 단위로 소정의 순서에 따라 순차적으로 처리하며, 상기 결정된 방향성에 따라서 상기 제 1 그룹의 복원된 화소들 및 이전에 처리된 다른 나머지 그룹의 복원된 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측 부호화하는 인트라 예측 수행부를 포함하는 것을 특징으로 하는 영상의 인트라 예측 부호화 장치.
  9. 제 8항에 있어서, 상기 방향 결정부는
    상기 나머지 그룹들 내의 각 화소를 중심으로 복수 개의 방향을 설정하고, 상기 설정된 각각의 방향에 따라서 상기 각 화소의 주변 화소들 사이의 절대값 차이의 평균을 계산한 다음, 상기 각각의 방향에 따른 상기 절대값 차이의 평균을 비교하여 가장 작은 절대값 차이의 평균을 갖는 방향을 결정하는 것을 특징으로 하는 영상의 인트라 예측 부호화 장치.
  10. 제 8항에 있어서, 상기 인트라 예측 수행부는
    상기 결정된 방향성에 따라서 상기 제 1 그룹 및 이전에 처리된 나머지 그룹의 화소들 중 참조 화소들을 결정하고, 상기 결정된 참조 화소들의 평균값을 이용하여 상기 나머지 그룹에 속한 화소들을 예측하는 것을 특징으로 하는 영상의 인트라 예측 부호화 장치.
  11. 제 8항에 있어서, 상기 입력 블록은
    M×N(M=2m, N=2n, m 및 n은 양의 정수)의 크기를 갖으며,
    상기 입력 블록을 구성하는 화소들 중 짝수 번째 행 및 짝수 번째 열에 위치한 화소들로 구성되는 제 1 그룹;
    상기 제 1 그룹의 화소들의 좌우에 위치한 화소들로 구성되는 제 2 그룹;
    상기 제 1 그룹의 화소들의 상하에 위치한 화소들로 구성되는 제 3 그룹;
    상기 제 1 내지 3 그룹에 포함되지 않은 상기 입력 블록 내의 나머지 화소들로 구성되는 제 4 그룹으로 분리되는 것을 특징으로 하는 영상의 인트라 예측 부호화 장치.
  12. 제 11항에 있어서, 상기 나머지 그룹들에 속한 화소들은
    제 2 그룹, 제 3 그룹 및 제 4 그룹의 순서로 처리되는 것을 특징으로 하는 영상의 인트라 예측 부호화 장치.
  13. 제 11항에 있어서, 상기 나머지 그룹들에 속한 화소들은
    제 3 그룹, 제 2 그룹 및 제 4 그룹의 순서로 처리되는 것을 특징으로 하는 영상의 인트라 예측 부호화 장치.
  14. 제 8항에 있어서, 상기 인트라 예측 수행부는,
    상기 영상의 인트라 예측 부호화에 이용된 방향성 정보를 구비하는 인트라 예측 모드 정보를 비트스트림의 헤더에 추가하는 것을 특징으로 하는 영상의 인트라 예측 부호화 장치.
  15. 영상의 인트라 예측 복호화 방법에 있어서,
    입력 블록을 분리하여 얻어진 복수 개의 그룹들 중에서 주변 블록의 화소를 이용하여 인트라 예측 부호화된 제 1 그룹 화소들에 대한 데이터 및 상기 제 1 그룹의 복원된 화소 정보와 이전에 처리된 다른 나머지 그룹의 복원된 화소를 이용하여 인트라 예측 부호화된 화소들에 대한 데이터를 구비하는 비트스트림을 수신하는 단계;
    상기 수신된 제 1 그룹 화소들에 대한 인트라 예측 복호화를 수행하는 단계;
    상기 제 1 그룹을 제외한 나머지 그룹의 각 화소들의 방향성을 결정하는 단계;
    상기 결정된 방향성에 따라서 상기 제 1 그룹의 복원된 화소들 및 이전에 복호화된 다른 나머지 그룹의 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측하는 단계를 포함하는 것을 특징으로 하는 영상의 인트라 예측 복호화 방법.
  16. 제 15항에 있어서,
    상기 나머지 그룹들의 각 화소들의 방향성을 결정하는 단계는
    상기 각 화소를 중심으로 소정 각도 방향에 위치한 주변 화소들 사이의 절대값 차이의 평균을 계산하는 단계; 및
    상기 각 방향에 따른 상기 절대값 차이의 평균을 비교하여 가장 작은 절대값 차이의 평균을 갖는 방향을 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상의 인트라 예측 복호화 방법.
  17. 제 15항에 있어서, 상기 나머지 그룹에 속한 화소들을 예측하는 단계는
    상기 결정된 방향성에 따라서 상기 제 1 그룹 및 이전에 처리된 나머지 그룹의 화소들 중 참조 화소들을 결정하고, 상기 결정된 참조 화소들의 평균값을 이용하여 상기 나머지 그룹에 속한 화소들을 예측하는 단계를 더 포함하는 것을 특징으로 하는 영상의 인트라 예측 복호화 방법.
  18. 영상의 인트라 예측 복호화 장치에 있어서,
    입력 블록을 분리하여 얻어진 복수 개의 그룹들 중에서 주변 블록의 화소를 이용하여 인트라 예측 부호화된 제 1 그룹 화소들에 대한 데이터 및 상기 제 1 그룹의 복원된 화소 정보와 이전에 처리된 나머지 그룹의 복원된 화소를 이용하여 인트라 예측 부호화된 화소들에 대한 데이터를 구비하는 비트스트림을 수신하고, 상기 수신된 비트스트림에 구비된 인트라 예측 모드 정보를 이용하여 인트라 예측 모드를 결정하는 인트라 예측 모드 결정부;
    상기 수신된 제 1 그룹 화소들에 대한 인트라 예측 복호화를 수행하고, 상기 제 1 그룹을 제외한 나머지 그룹의 각 화소들의 방향성을 결정하며, 상기 결정된 방향성에 따라서 상기 제 1 그룹의 복호화된 화소들 및 이전에 복호화된 다른 나머 지 그룹의 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측하는 인트라 예측 수행부를 포함하는 것을 특징으로 하는 영상의 인트라 예측 복호화 장치.
  19. 제 18항에 있어서, 상기 인트라 예측 수행부는
    상기 각 화소를 중심으로 소정 각도 방향에 위치한 주변 화소들 사이의 절대값 차이의 평균을 계산한 다음, 상기 각 방향에 따른 상기 절대값 차이의 평균을 비교하여 가장 작은 절대값 차이의 평균을 갖는 방향을 결정하는 것을 특징으로 하는 영상의 인트라 예측 복호화 장치.
  20. 제 18항에 있어서, 상기 인트라 예측 수행부는
    상기 결정된 방향성에 따라서 상기 제 1 그룹 및 이전에 처리된 다른 나머지 그룹의 화소들 중 참조 화소들을 결정하고, 상기 결정된 참조 화소들의 평균값을 이용하여 상기 나머지 그룹에 속한 화소들을 예측하는 것을 특징으로 하는 영상의 인트라 예측 복호화 장치.
  21. 영상의 인트라 예측 부호화 방법에 있어서,
    소정 컬러 공간에서 각 컬러 성분 별로 입력 블록의 화소들을 복수 개의 그룹들로 분리하는 단계;
    상기 복수 개의 그룹들 중 제 1 그룹에 속한 화소들을 이전에 처리된 주변 블록의 화소들을 이용하여 예측하는 단계;
    상기 예측된 제 1 그룹 화소들의 레지듀를 생성하고 상기 예측된 제 1 그룹 화소들의 레지듀에 대한 컬러 변환을 수행하며 컬러 변환된 제 1 그룹 화소들의 레지듀를 부호화하는 단계;
    상기 부호화된 제 1 그룹의 화소들을 복원하는 단계;
    상기 제 1 그룹의 복원된 화소들 및 이전에 복호화된 다른 나머지 그룹의 화소들을 이용하여 상기 제 1 그룹을 제외한 나머지 그룹들 내의 각 화소들의 방향성을 결정하는 단계; 및
    상기 결정된 방향성에 따라서 상기 복원된 제 1 그룹의 복원된 화소들 및 이전에 처리된 다른 나머지 그룹의 복원된 화소들을 이용하여 상기 나머지 그룹에 속한 화소들을 예측하는 단계;
    상기 예측된 나머지 그룹 화소들의 레지듀를 생성하고 상기 나머지 그룹 화소들의 레지듀에 대한 컬러 변환을 수행하며 컬러 변환된 나머지 그룹 화소들의 레지듀를 부호화하는 단계를 포함하며,
    상기 나머지 그룹들에 속한 화소들은 그룹 단위로 소정의 순서에 따라 순차적으로 처리되는 것을 특징으로 하는 영상의 인트라 예측 부호화 방법.
  22. 제 21항에 있어서, 상기 소정 컬러 공간은
    RGB 컬러 공간인 것을 특징으로 하는 영상의 인트라 예측 부호화 방법.
KR1020060038861A 2006-03-03 2006-04-28 영상의 인트라 예측 부호화, 복호화 방법 및 장치 KR101246294B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP07709091.8A EP1992171B1 (en) 2006-03-03 2007-03-02 Method and apparatus for video intraprediction encoding/decoding
PCT/KR2007/001042 WO2007100221A1 (en) 2006-03-03 2007-03-02 Method of and apparatus for video intraprediction encoding/decoding
JP2008557213A JP5047995B2 (ja) 2006-03-03 2007-03-02 映像のイントラ予測符号化、復号化方法及び装置
CN2007800050742A CN101385347B (zh) 2006-03-03 2007-03-02 视频帧内预测编码/解码的装置与方法
US11/713,684 US8165195B2 (en) 2006-03-03 2007-03-05 Method of and apparatus for video intraprediction encoding/decoding

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US77836006P 2006-03-03 2006-03-03
US60/778,360 2006-03-03

Publications (2)

Publication Number Publication Date
KR20070090700A KR20070090700A (ko) 2007-09-06
KR101246294B1 true KR101246294B1 (ko) 2013-03-21

Family

ID=38689061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060038861A KR101246294B1 (ko) 2006-03-03 2006-04-28 영상의 인트라 예측 부호화, 복호화 방법 및 장치

Country Status (6)

Country Link
US (1) US8165195B2 (ko)
EP (1) EP1992171B1 (ko)
JP (1) JP5047995B2 (ko)
KR (1) KR101246294B1 (ko)
CN (1) CN101385347B (ko)
WO (1) WO2007100221A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017192011A3 (ko) * 2016-05-02 2018-08-02 한양대학교 산학협력단 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 장치

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8077769B2 (en) * 2006-03-28 2011-12-13 Sony Corporation Method of reducing computations in transform and scaling processes in a digital video encoder using a threshold-based approach
US7929608B2 (en) * 2006-03-28 2011-04-19 Sony Corporation Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
KR101261526B1 (ko) * 2006-07-04 2013-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US9418450B2 (en) 2006-08-31 2016-08-16 Ati Technologies Ulc Texture compression techniques
US8331448B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Systems and methods for efficient spatial intra predictabilty determination (or assessment)
KR20080082143A (ko) * 2007-03-07 2008-09-11 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
WO2009122463A1 (ja) * 2008-03-31 2009-10-08 富士通株式会社 画像データ圧縮装置、復元装置、圧縮方法、復元方法及びプログラム
WO2009136066A1 (fr) * 2008-04-15 2009-11-12 France Telecom Prediction d'images par determination prealable d'une famille de pixels de reference, codage et decodage utilisant une telle prediction
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101432775B1 (ko) 2008-09-08 2014-08-22 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
JPWO2010055675A1 (ja) * 2008-11-14 2012-04-12 三菱電機株式会社 動画像符号化装置及び動画像復号装置
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN101783957B (zh) * 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置
US9071849B2 (en) * 2010-04-09 2015-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating video packets, method and apparatus for restoring video
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
JP6023044B2 (ja) 2010-05-14 2016-11-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 複数のグループに割り当てられた画素を有するブロックをイントラ符号化する方法および装置
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
KR101530284B1 (ko) * 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US9202289B2 (en) * 2010-09-30 2015-12-01 Electronics And Telecommunications Research Institute Method for coding and decoding target block partition information using information about neighboring blocks
JP2012080370A (ja) * 2010-10-01 2012-04-19 Sony Corp 画像処理装置及び画像処理方法
CN102469308B (zh) * 2010-11-15 2015-05-13 深圳市云宙多媒体技术有限公司 一种视频编码帧内预测方法
WO2012081895A1 (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 인트라 예측 방법 및 그 장치
GB2486726B (en) * 2010-12-23 2017-11-29 British Broadcasting Corp Compression of pictures
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US9299133B2 (en) 2011-01-12 2016-03-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
KR101247043B1 (ko) * 2011-06-07 2013-03-25 한양대학교 산학협력단 고속 화면내 예측 방법
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR101423648B1 (ko) * 2011-09-09 2014-07-28 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치
WO2013062195A1 (ko) 2011-10-24 2013-05-02 (주)인터앱 인트라 예측 모드 복호화 방법 및 장치
US9036704B2 (en) 2011-10-24 2015-05-19 Infobridge Pte. Ltd. Image decoding method using intra prediction mode
KR20130049522A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
JP5795525B2 (ja) * 2011-12-13 2015-10-14 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP6094760B2 (ja) * 2012-02-07 2017-03-15 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
JP2017509268A (ja) 2013-12-22 2017-03-30 エルジー エレクトロニクス インコーポレイティド 量子化エラーの追加的な制御を利用したビデオ信号のエンコード、デコード方法及び装置
KR102257379B1 (ko) 2014-07-22 2021-06-01 삼성전자주식회사 비디오 인코딩 회로 및 그것을 이용하는 비디오 인코딩 방법
CN105847825A (zh) * 2015-01-16 2016-08-10 杭州海康威视数字技术股份有限公司 视频编码码流的编码、索引存储和访问方法及相应装置
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
CN104702962B (zh) 2015-03-03 2019-04-16 华为技术有限公司 帧内编解码方法、编码器和解码器
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
CN107295349A (zh) * 2016-03-31 2017-10-24 晨星半导体股份有限公司 视频串流解码方法及视频串流解码系统
CN106851288B (zh) * 2017-02-27 2020-09-15 北京奇艺世纪科技有限公司 一种帧内预测编码方法及装置
CN107592539B (zh) * 2017-08-21 2019-10-22 北京奇艺世纪科技有限公司 一种视频编码方法和装置
KR20210084567A (ko) * 2018-11-28 2021-07-07 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004140473A (ja) 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
KR20050012762A (ko) * 2002-05-28 2005-02-02 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
KR20050072526A (ko) * 2004-01-06 2005-07-12 삼성전자주식회사 예측 부호화 장치, 예측 부호화 방법 및 상기 예측 부호화방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS631184A (ja) * 1986-06-20 1988-01-06 Nippon Telegr & Teleph Corp <Ntt> 予測符号化方式
JPH04219074A (ja) * 1990-08-31 1992-08-10 Toshiba Corp 画像符号化装置
JPH08186818A (ja) * 1994-12-28 1996-07-16 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
US5815097A (en) * 1996-05-23 1998-09-29 Ricoh Co. Ltd. Method and apparatus for spatially embedded coding
JP2900999B2 (ja) * 1997-08-29 1999-06-02 日本ビクター株式会社 ブロック間適応内挿予測符号化装置、復号化装置、符号化方法及び復号化方法
US6157676A (en) 1997-07-31 2000-12-05 Victor Company Of Japan Digital video signal inter-block interpolative predictive encoding/decoding apparatus and method providing high efficiency of encoding
JP2000036963A (ja) * 1998-07-17 2000-02-02 Sony Corp 画像符号化装置、画像符号化方法および画像復号化装置
US20040258162A1 (en) * 2003-06-20 2004-12-23 Stephen Gordon Systems and methods for encoding and decoding video data in parallel
KR101014660B1 (ko) * 2003-10-24 2011-02-16 삼성전자주식회사 인트라 예측 방법 및 장치
US7480335B2 (en) * 2004-05-21 2009-01-20 Broadcom Corporation Video decoder for decoding macroblock adaptive field/frame coded video data with spatial prediction
EP1605706A2 (en) * 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
EP1613091B1 (en) * 2004-07-02 2009-08-26 Mitsubishi Electric Information Technology Centre Europe B.V. Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012762A (ko) * 2002-05-28 2005-02-02 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
JP2004140473A (ja) 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
KR20050072526A (ko) * 2004-01-06 2005-07-12 삼성전자주식회사 예측 부호화 장치, 예측 부호화 방법 및 상기 예측 부호화방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017192011A3 (ko) * 2016-05-02 2018-08-02 한양대학교 산학협력단 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 장치
US10834408B2 (en) 2016-05-02 2020-11-10 Industry-University Cooperation Foundation Hanyang University Image encoding/decoding method and apparatus using intra-screen prediction
US11825099B2 (en) 2016-05-02 2023-11-21 Industry-University Cooperation Foundation Hanyang University Image encoding/decoding method and apparatus using intra-screen prediction

Also Published As

Publication number Publication date
CN101385347B (zh) 2012-10-31
CN101385347A (zh) 2009-03-11
EP1992171A1 (en) 2008-11-19
WO2007100221A1 (en) 2007-09-07
KR20070090700A (ko) 2007-09-06
EP1992171A4 (en) 2010-12-29
US20070206872A1 (en) 2007-09-06
EP1992171B1 (en) 2013-08-14
US8165195B2 (en) 2012-04-24
JP2009528762A (ja) 2009-08-06
JP5047995B2 (ja) 2012-10-10

Similar Documents

Publication Publication Date Title
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100727972B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP5128443B2 (ja) 映像の符号化、復号化の方法及びその装置
KR101211665B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4617644B2 (ja) 符号化装置及び方法
KR100750136B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR100667808B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101200865B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR100750128B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101311402B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
CN104396245B (zh) 用于对图像进行编码或解码的方法和装置
KR100727969B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR101215614B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
WO2008020687A1 (en) Image encoding/decoding method and apparatus
KR20070005848A (ko) 인트라 예측 모드 결정 방법 및 장치
KR20110073263A (ko) 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
JP5375938B2 (ja) 復号装置及び方法
KR100727991B1 (ko) 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치
JP4924708B2 (ja) 復号装置及び方法
JP5375935B2 (ja) 符号化装置及び方法
JP4983908B2 (ja) 復号装置及び方法
WO2014196118A1 (ja) 画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法
JP4983907B2 (ja) 符号化装置及び方法
JP5375936B2 (ja) 復号装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee