KR20140049537A - 영상의 복호화 방법 - Google Patents

영상의 복호화 방법 Download PDF

Info

Publication number
KR20140049537A
KR20140049537A KR1020140038234A KR20140038234A KR20140049537A KR 20140049537 A KR20140049537 A KR 20140049537A KR 1020140038234 A KR1020140038234 A KR 1020140038234A KR 20140038234 A KR20140038234 A KR 20140038234A KR 20140049537 A KR20140049537 A KR 20140049537A
Authority
KR
South Korea
Prior art keywords
block
blocks
motion compensation
prediction
unit
Prior art date
Application number
KR1020140038234A
Other languages
English (en)
Other versions
KR101499558B1 (ko
Inventor
이교혁
이상래
이재출
김일구
민정혜
한우진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140038234A priority Critical patent/KR101499558B1/ko
Publication of KR20140049537A publication Critical patent/KR20140049537A/ko
Application granted granted Critical
Publication of KR101499558B1 publication Critical patent/KR101499558B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상에 존재하는 공간적 상관관계(spatial correlation)를 보다 효율적으로 이용하기 위한 매크로블록 내에 구비된 소정 크기의 블록들의 처리 순서를 정의하는 영상의 부호화, 복호화 방법 및 장치가 개시된다. 본 발명에 따르면 매크로블록을 소정 크기의 제 1 블록들로 분할하고, 분할된 제 1 블록들 각각에 대해서 움직임 보상을 수행한 다음, 제 1 블록의 움직임 보상값과 입력 제 1 블록 사이의 차이값을 제 1 블록보다 작은 소정 크기의 제 2 블록 단위로 처리하기 위해서, 동일한 제 1 블록 내에 구비된 제 2 블록들이 순차적으로 처리되도록 제 2 블록들의 처리 순서를 결정하는 것을 특징으로 한다.

Description

영상의 복호화 방법{Method for video decoding}
본 발명은 영상의 부호화, 복호화 방법 및 장치에 관한 것으로, 보다 구체적으로는 영상에 존재하는 공간적 상관관계(spatial correlation)를 보다 효율적으로 이용하기 위한 매크로블록 내에 구비된 소정 크기의 블록들의 처리 순서를 정의하는 영상의 부호화, 복호화 방법 및 장치에 관한 것이다.
H.264/MPEG-4 AVC(Advanced Video Coding) 비디오 코덱(codec)에서는 블록 단위의 샘플 데이터에 대하여 예측(prediction process)을 수행하여 예측 샘플로 이루어진 예측 블록(prediction block)을 구하고, 이를 변환 및 양자화(transform & quantize)하는 방식으로 비디오 데이터를 압축한다.
예측(prediction)의 방식으로는 인트라 예측(intra prediction)과 인터 예측(inter prediction)의 두 가지 종류가 있다. 인터 예측의 경우, 인코딩/디코딩 과정과 디블로킹 필터링 과정을 거친 참조 픽처(reference picture)를 참고하여 움직임 보상/추정(motion compensation/estimation)을 실행하는 방식으로 예측이 이루어진다. 인트라 예측의 경우, 현재 픽처 내에서 이미 인코딩된 주변 블록의 데이터를 이용하여 예측을 수행한다. 예측과 변환 및 양자화 과정을 거쳐 압축된 비디오 데이터는, 엔트로피 인코딩(entropy coding) 과정을 통하여 다시 한번 압축되어 H.264 표준에 따른 비트스트림이 된다.
도 1은 H.264의 매크로블록 및 서브 매크로블록의 분할에 따른 예측 모드를 나타낸 도면이다.
도 1에서 인터 예측을 수행하는 경우 매크로블록을 분할한 블록의 형태에 따라 분류된 다양한 예측모드가 도시되어 있다. H/264/AVC에 따르면 이용가능한 예측 모드는 16x16 예측 모드, 8x16 예측 모드, 16x8 예측 모드, 8x8 예측 모드가 존재한다. 또한, 8x8의 서브 매크로 블록을 다시 분할한 4x8 예측 모드, 8x4 예측 모드, 4x4 예측 모드가 존재한다.
인터 예측의 경우에는 이상의 7가지 예측 모드 단위로 예측을 수행할 수 있다. 예를 들어, 8x8 예측 모드의 경우, 매크로 블록 내의 4개의 8x8 블록 각각에 대한 움직임 보상 및 예측을 수행하여 각 8x8 블록에 대한 움직임 보상 예측값을 생성한다. 이 경우, 각 8x8 블록들을 다시 더 작은 4x4 블록 단위로 나누어 움직임 보상 예측을 수행할 수 있다. 움직임 보상 및 예측을 수행할 때 매크로블록을 분할한 각 블록들은 도 1에 도시된 순서에 따라 순차적으로 움직임 보상 및 예측된다.
움직임 보상 및 예측에 의하여 생성된 예측 블록과 원 영상의 대응되는 블록 사이의 차이값인 레지듀(residue)가 계산되면, 레지듀는 다시 변환, 양자화 등의 처리 과정을 거친다. H.264/AVC의 경우에는 4x4 블록 단위로 레지듀에 대한 변환 및 양자화 과정을 수행한다.
도 2는 H.264/AVC에 따른 예측 모드에 따라서 레지듀에 대한 변환 및 양자화를 4x4 블록 단위로 처리할 때, 4x4 블록의 처리 순서를 나타낸 도면이다.
도 2를 참조하면, 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 블록들 중 어느 하나를 이용하여 움직임 보상 및 예측을 수행한 결과 생성된 레지듀들은 4x4 블록 단위로 도 2에 도시된 순서에 따라서 변환 및 양자화 과정을 거친다. 예를 들어 16x8 블록 단위로 움직임 보상 및 예측을 수행한 다음, 각 16x8 블록의 예측 블록과 원 입력 블록의 차이값인 레지듀에 대해서 도 2에 도시된 순서에 따라서 4x4블록 단위로 변환 및 양자화 과정을 수행한다.
이와 같은 종래 변환 및 양자화 등을 위한 4x4 블록 처리 순서에 의하면 매크로블록을 분할한 일부 블록에 대한 움직임 보상 및 예측이 완료된 경우라고 하더라도 레지듀에 대한 4x4 블록 단위의 변환 및 양자화 과정은 매크로블록의 분할 형태를 고려하지 않고 고정된 처리 순서에 따라서 수행되기 때문에, 움직임 보상 및 예측 과정의 순서와 변환 및 양자화 과정의 처리 순서가 불일치하여 매크로블록을 분할한 형태에 따라서 동시적인(synchronous) 블록 처리가 불가능한 경우가 발생한다. 예를 들어, 도 2에서 매크로블록(21)을 두 개의 8x16 블록(21a, 21b)으로 분할하여 움직임 보상 및 예측을 수행하는 경우, 좌측 8x16 블록(21a)는 우측 8x16 블록(21b)에 비해서 먼저 움직임 보상 및 예측되지만, 변환 및 양자화 과정에 있어서 우측 8x16 블록(21b)의 4,5,6,7번째로 처리되는 상단부의 4x4 레지듀들에 대한 변환 및 양자화 과정 이후에 좌측 8x16 블록(21a)의 하단부의 4x4 레지듀들이 8,9,10,11번째로 처리된다. 유사하게 8x8 블록(23)을 두 개의 4x8 블록(23a, 23b)으로 분할하여 움직임 보상 및 예측을 수행하는 경우에도 좌측 4x8 블록(23a)는 우측 4x8 블록(23b)에 비해서 먼저 움직임 보상 및 예측되지만, 좌측 4x8 블록(23a)의 하단부의 4x4 레지듀들은 변환 및 양자화 과정에 있어서 우측 4x8 블록(23b)의 상단부의 4x4 레지듀들의 변환 및 양자화 과정 이후에야 처리된다.
이와 같이 종래 기술에 따르면, 매크로블록을 분할한 형태에 따라서 움직임 보상 및 예측이 완료된 경우라고 하더라도 다른 블록에 대한 처리가 완료된 후에야 이후의 처리 과정, 예를 들어 변환, 양자화 및 디블록킹 필터링 과정 등을 수행할 수 있는 문제점이 있다.
또한, 종래 기술에 따르면 부호화되는 현재 블록의 주변 블록과의 공간적인 상관 관계를 이용하고자 하는 경우, 매크로블록을 분할한 형태에 따라서 주변 블록의 데이터의 미처리로 인해 주변 블록의 데이터를 제대로 이용하지 못하는 문제점이 있다.
본 발명이 해결하고자 하는 과제는 매크로블록의 분할 형태에 따른 블록 처리 순서를 정의함으로써, 현재 블록 처리시 주변 블록과의 공간적 상관 관계를 효율적으로 이용할 수 있도록 하는 영상 부호화, 복호화 방법 및 장치를 제공하기 위한 것이다.
본 발명에 따른 영상 부호화 방법은 매크로블록을 소정 크기의 제 1 블록들로 분할하고, 분할된 제 1 블록들 각각에 대해서 움직임 보상을 수행하는 단계; 상기 움직임 보상 결과 생성된 상기 제 1 블록의 움직임 보상값과 입력 제 1 블록 사이의 차이값을 상기 제 1 블록보다 작은 소정 크기의 제 2 블록 단위로 처리하기 위해서, 동일한 제 1 블록 내에 구비된 상기 제 2 블록들이 순차적으로 처리되도록 하는 상기 제 2 블록들의 처리 순서를 결정하는 단계; 및 상기 결정된 제 2 블록들의 처리 순서에 따라서 상기 동일한 제 1 블록 내에 구비된 제 2 블록 단위로 상기 차이값을 처리하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 부호화 장치는 매크로블록을 소정 크기의 제 1 블록들로 분할하고, 분할된 제 1 블록들 각각에 대해서 움직임 보상을 수행하는 움직임 보상부; 상기 움직임 보상 결과 생성된 움직임 보상값과 입력 제 1 블록 사이의 차이값을 상기 제 1 블록보다 작은 소정 크기의 제 2 블록 단위로 처리하기 위해서, 동일한 제 1 블록 내에 구비된 제 2 블록들이 순차적으로 처리되도록 하는 상기 제 2 블록들의 처리 순서를 결정하는 제어부; 및 상기 결정된 제 2 블록 단위의 처리 순서에 따라서 상기 동일한 제 1 블록 내에 구비된 제 2 블록 단위로 상기 차이값을 처리하는 영상 처리부를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 복호화 방법은 입력 비트스트림으로부터 복호화되는 현재 매크로 블록의 예측 모드 및 상기 예측 모드에 따라서 상기 현재 매크로블록을 분할한 소정 크기의 제 1 블록들 내에 구비된 제 2 블록들의 처리 순서 정보를 독출하는 단계; 및 상기 독출된 제 2 블록들의 처리 순서에 따라서 상기 제 1 블록 내에 구비된 제 2 블록들을 순차적으로 처리하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 복호화 장치는 입력 비트스트림으로부터 복호화되는 현재 매크로 블록의 예측 모드 및 상기 예측 모드에 따라서 상기 현재 매크로블록을 분할한 소정 크기의 제 1 블록들 내에 구비된 제 2 블록들의 처리 순서 정보를 독출하고 상기 제 2 블록들의 처리 순서를 제어하는 제어부; 및 상기 제어부의 제어에 따라서 상기 제 1 블록 내에 구비된 제 2 블록들을 순차적으로 처리하는 영상 처리부를 포함하는 것을 특징으로 한다.
본 발명에 따르면 매크로블록을 분할한 블록의 움직임 보상 처리 순서에 적합하게 매크로블록을 분할한 블록들의 처리 순서를 정의함으로써, 주변 블록 데이터의 효율적인 이용을 가능하게 함으로써 영상의 부호화 효율을 향상시킬 수 있다.
도 1은 H.264의 매크로블록 및 서브 매크로블록의 분할에 따른 예측 모드를 나타낸 도면이다.
도 2는 H.264/AVC에 따른 예측 모드에 따라서 레지듀에 대한 변환 및 양자화를 4x4 블록 단위로 처리할 때, 4x4 블록의 처리 순서를 나타낸 도면이다.
도 3은 본 발명에 따른 영상 부호화 장치의 구성을 나타낸 블록도이다.
도 4는 본 발명에 따른 움직임 보상값에 대한 4x4 블록의 처리 순서를 나타낸 도면이다.
도 5는 본 발명에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 6은 본 발명에 따른 영상 부호화 방법에 따라서 매크로블록을 부호화할 때 이용가능한 주변 블록의 데이터를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 8은 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 구체적으로 설명한다.
도 3은 본 발명에 따른 영상 부호화 장치의 구성을 나타낸 블록도이다. 이하에서는 설명의 편의를 위하여 H.264/AVC에 따른 영상 부호화 장치를 중심으로 설명하지만, 본 발명에 따른 영상 부호화 장치는 블록 단위로 영상을 처리하는 다른 방식의 영상 코딩 방식에도 적용될 수 있을 것이다.
도 3을 참조하면, 영상 부호화 장치(300)는 움직임 예측부(302), 움직임 보상부(304), 인트라 예측부(306), 변환부(308), 양자화부(310), 재정렬부(312), 엔트로피 코딩부(314), 역양자화부(316), 역변환부(318), 필터(320), 프레임 메모리(322) 및 제어부(325)를 구비한다.
움직임 예측부(302)는 현재 픽처에 구비된 매크로블록을 소정 크기의 제 1 블록들로 분할하고, 분할된 제 1 블록들 각각에 대해서 움직임 보상을 수행한다. 여기서, 제 1 블록들은 전술한 도 1에 도시된 바와 같이 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 및 4x4 크기의 블록 중 하나가 될 수 있다. 다음, 움직임 예측부(302)는 이전에 부호화된 후 복원되어 프레임 메모리(322)에 저장된 참조 픽처의 소정 탐색 영역 범위 내에서 현재 제 1 블록과 가장 유사한 영역을 탐색하는 움직임 예측을 수행하고, 현재 제 1 블록과 참조 픽처의 대응 영역 사이의 위치 차이인 움직임 벡터를 출력한다.
움직임 보상부(304)는 움직임 벡터가 가리키는 참조 픽처의 대응 영역 정보를 이용하여 현재 제 1 블록의 예측값인 움직임 보상값을 생성한다.
인트라 예측부(306)는 현재 블록의 예측값을 현재 픽처 내에서 찾는 인트라 예측을 수행한다. H.264/AVC 표준안에 따르면, 매크로블록은 16x16 크기의 블록 단위 또는 4x4 크기의 블록 단위로 분할되어 인트라 예측된다.
인터 예측 또는 인트라 예측에 의하여 현재 블록의 예측 블록이 생성되면, 현재 블록과 예측 블록 사이의 차이값인 레지듀(residue)가 생성되고, 생성된 레지듀는 변환부(308)에 의하여 주파수 영역으로 변환되고, 양자화부(310)에서 양자화된다. 엔트로피 코딩부(314)는 양자화된 레지듀를 부호화하여 비트스트림을 출력한다.
참조 픽처를 얻기 위하여 양자화된 픽처는 역양자화부(316)와 역변환부(318)에 의하여 다시 복원된다. 이렇게 복원된 현재 픽처는 디블록킹 필터링을 수행하는 필터(320)를 거친 후, 프레임 메모리(322)에 저장되었다가 다음 픽처의 예측시에 이용된다. 후술되는 바와 같이, 변환부(308), 양자화부(310), 역양자화부(316), 역변환부(318) 및 필터(320)는 제어부(325)의 제어에 따라서 동일한 제 1 블록 내에 구비된 제 2 블록들을 순차적으로 처리한다.
제어부(325)는 영상 부호화 장치(300)의 각 구성 요소를 제어하는 한편, 제 1 블록에 대한 움직임 보상 결과 생성된 움직임 보상값과 입력 제 1 블록 사이의 차이값인 레지듀를 제 1 블록보다 작은 소정 크기의 제 2 블록 단위로 처리하기 위해서, 동일한 제 1 블록 내에 구비된 제 2 블록들이 순차적으로 처리되도록 하는 제 2 블록들의 처리 순서를 결정하고, 변환부(308), 양자화부(310), 역양자화부(316), 역변환부(318), 필터(320) 등의 영상 처리부에서 결정된 제 2 블록들의 처리 순서에 따라서 동일한 제 1 블록 내에 구비된 제 2 블록 단위로 차이값을 처리하도록 제어한다.
도 4는 본 발명에 따른 움직임 보상값에 대한 4x4 블록의 처리 순서를 나타낸 도면이다. 도 4에서 MB AxB는 매크로블록을 AxB 크기의 블록 단위로 움직임 보상 및 예측을 수행한 경우를 나타내며, BLK CxD는 8x8 크기의 서브 매크로블록을 CxD 크기의 블록 단위로 움직임 보상 및 예측을 수행한 경우를 나타낸다.
도 4를 참조하면, 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 블록들로 움직임 보상 및 예측을 수행한 결과 생성된 레지듀들은 4x4 블록 단위로 도 4에 도시된 순서에 따라서 변환 및 양자화 등의 처리 과정을 거친다. 움직임 보상 처리 순서와 변환 및 양자화 등의 처리 순서의 불일치로 인해 문제되는 경우는, 매크로블록을 8x16 블록 또는 4x8 블록으로 분할하여 처리하는 경우이다. 본 발명에 따르면 제어부(325)는 동일한 제 1 블록 내에 구비된 제 2 블록들이 순차적으로 처리될 수 있도록 제 2 블록들의 처리 순서를 결정한다. 예를 들어, 매크로블록(410)을 두 개의 8x16 블록(411, 412)으로 분할하여 움직임 보상 및 예측을 수행한 다음 4x4 블록 단위로 변환 및 양자화 등의 영상 처리를 수행할 때, 제어부(325)는 좌측 8x16 블록(411)에 구비된 4x4 블록들이 순차적으로 먼저 처리될 수 있도록 4x4 블록들의 처리 순서를 결정한다. 전술한 도 2와 비교하였을 때, 좌측 8x16 블록(411)에 구비된 4x4 블록들 중 해칭되어 표시된 하단부의 4x4 블록들(413)은 종래 기술에 따라서 8~11번째로 처리되는 블록들로서 우측 8x16 블록(412)의 상단부에 구비된 4x4 블록들(414) 이후에 처리되었으나, 본 발명에 따르면 좌측 8x16 블록(411)에 구비된 하단부의 4x4 블록들(413)은 4번째 내지 7번째로 처리되어 우측 8x16 블록(412)에 구비된 상단부의 4x4 블록들(412)에 비하여 먼저 처리된다. 유사하게, 8x8 크기의 서브 매크로블록(420)을 두 개의 4x8 블록(421, 422)으로 분할하여 움직임 보상 및 예측을 수행한 경우, 본 발명에 따르면 좌측 4x8 블록(421)의 하단의 4x4 블록(423)은 우측 4x8 블록(422)의 상단의 4x4 블록(422)에 비하여 먼저 처리된다.
이와 같은 본 발명에 따른 4x4 블록의 처리 순서에 따르면 소정 크기의 제 1 블록 단위로 움직임 보상을 수행한 다음, 제 1 블록의 움직임 보상 결과를 제 1 브록보다 더 작은 크기로 변환, 양자화, 역양자화, 역변환 및 디블록킹 필터링 등의 후처리 동작을 수행할 때 먼저 움직임 보상된 제 1 블록 내의 제 2 블록들을 순차적으로 처리함으로써 다음 제 1 블록의 처리시에 이전 제 1 블록의 처리 결과를 이용할 수 있으므로, 영상의 공간적 상관 관계를 이용한 처리를 보다 효율적으로 수행할 수 있다.
도 5는 본 발명에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 단계 510에서 입력 영상에 구비된 매크로블록을 소정 크기의 제 1 블록들로 분할하고, 분할된 제 1 블록들 각각에 대해서 움직임 보상을 수행한다. 여기서 제 1 블록들은 도 1에 도시된 바와 같은 H.264/AVC 표준안에 따른 경우 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 중 하나의 크기를 갖는다. 특히 본 발명은 제 1 블록들의 크기가 8x16 또는 4x8인 경우와 같이 매크로블록을 수직축을 중심으로 더 작은 블록으로 분할한 경우에 적용되는 것이 바람직하다.
단계 520에서, 움직임 보상 결과 생성된 제 1 블록의 움직임 보상값과 입력 제 1 블록 사이의 차이값을 제 1 블록보다 작은 소정 크기의 제 2 블록 단위로 처리하기 위해서, 동일한 제 1 블록 내에 구비된 상기 제 2 블록들이 순차적으로 처리되도록 하는 제 2 블록들의 처리 순서를 결정한다. 여기서, 제 2 블록들의 처리 순서는 동일한 제 1 블록 내에 구비된 제 2 블록들에 대해서 위에서 아래로, 좌에서 우의 순서로 상기 동일한 제 1 블록 내에 구비된 상기 제 2 블록들이 처리되도록 하는 것이 바람직하다. 또한, 제 1 블록들의 크기가 8x16 또는 4x8인 경우와 같이, 제 1 블록들이 매크로블록 또는 서브 매크로블록을 수직선을 중심으로 좌우의 두 개의 블록들로 분할된 경우에는 제 1 블록들 중에서 좌측에 위치한 제 1 블록 내에 구비된 제 2 블록들이 우측에 위치한 제 1 블록 내에 구비된 제 2 블록들보다 먼저 처리되도록 제 2 블록들의 처리 순서를 결정하는 것이 바람직하다. 이는 공간적 상관 관계를 이용하여 영상 처리를 수행하는 경우 래스터 스캔 방식에 따라서 매크로블록을 위에서 아래로, 좌에서 우의 순서로 처리할 때 이전 블록의 데이터를 효율적으로 이용할 수 있기 때문이다.
단계 530에서, 결정된 제 2 블록들의 처리 순서에 따라서 동일한 제 1 블록 내에 구비된 제 2 블록 단위로 차이값을 처리한다. 전술한 바와 같이, 제 2 블록 단위의 처리 과정은 변환, 양자화, 역양자화, 역변환 및 디블록킹 필터링 과정 등의 영상 처리 과정이 포함되며, 이외에도 본 발명에 따른 블록 처리 순서는 움직임 보상값을 이용하여 블록 단위로 후영상 처리를 수행하는 다른 과정에도 적용될 수 있다.
한편, 전술한 실시예에서는 제 1 블록이 8x16 또는 4x8 중 하나의 크기를 갖으며, 제 2 블록은 4x4 크기의 블록인 경우를 중심으로 설명하였으나, H.264/AVC의 확장 프로파일(extended profile) 등에서는 8x8 블록 단위의 변환을 수행하는바, 이와 같은 경우에는 제 1 블록이 8x16의 크기의 블록이며, 제 2 블록은 8x8 크기의 블록이 될 수 있다.
도 6은 본 발명에 따른 영상 부호화 방법에 따라서 매크로블록을 부호화할 때 이용가능한 주변 블록의 데이터를 설명하기 위한 도면이다.
도 6을 참조하면, 현재 부호화되는 매크로블록(610)을 두 개의 8x16 블록(610a, 610b)으로 분할하여 부호화하는 경우, 종래 기술에 따르면 전술한 바와 같이 좌측 8x16 블록(610b)의 하단부의 4x4 블록들은 우측 8x16 블록(610a)의 상단부의 4x4 블록들의 변환 및 양자화 등의 과정 이후에야 처리되기 때문에 , 우측 8x16 블록(610a)를 부호화할 때 동일 매크로블록 내의 좌측 8x16 블록(610b)의 데이터를 이용할 수 없었다. 이러한 경우, 종래 기술에 따르면 이전에 부호화되어 복원된 상측의 주변 데이터(611)등만을 이용할 수 있었다. 그러나, 본 발명에 따르면, 움직임 보상 처리 순서에 따라서 좌측 8x16 블록(810b) 내부의 4x4 블록들에 대한 변환, 양자화 등의 영상 처리 과정을 먼저 수행하기 때문에, 우측 8x16 블록(610a)를 부호화할 때 이전에 먼저 처리되어 복원된 좌측 8x16 블록(610b)의 데이터를 이용할 수 있다. 따라서, 본 발명에 따르면 보다 공간적으로 인접한 데이터를 사용할 수 있으므로 영상의 부호화 효율을 향상시킬 수 있다.
도 7은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 7을 참조하면, 본 발명에 따른 영상 복호화 장치(700)는 엔트로피 디코더(710), 재정렬부(720), 역양자화부(730), 역변환부(740), 움직임 보상부(750), 인트라 예측부(760), 필터(770) 및 제어부(780)를 구비한다.
엔트로피 디코더(710) 및 재정렬부(720)는 압축된 비트스트림을 수신하여 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 역양자화부(730) 및 역변환부(740)는 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 변환 부호화 계수들, 움직임 벡터 정보, 예측 모드 정보 등을 추출한다. 여기서, 예측 모드 정보에는 본 발명에 따른 영상 부호화 방법에 따라 동일한 제 1 블록 내에 구비된 제 2 블록들이 순차적으로 처리되었는지 여부를 나타내는 소정의 플래그 및 각 매크로블록이 어떤 크기의 블록으로 분할되어 움직임 보상 및 예측되었는지를 나타내는 블록 분할 정보가 포함될 수 있다.
인트라 예측부(760)는 인트라 예측 부호화된 현재 블록에 대하여 이전에 복호화된 현재 블록의 주변 블록을 이용하여 예측 블록을 생성한다.
움직임 보상부(750)는 비트스트림에 구비된 현재 블록의 움직임 벡터를 이용하여 이전에 복호화된 참조 픽처들의 대응 영역을 결정하여 현재 블록의 예측 블록을 생성한다. 특히, 본 발명에 따른 움직임 보상부(750)는 제어부(780)의 제어에 따라서 제어부(780)에서 결정된 제 2 블록들의 처리 순서에 따라서 제 1 블록들에 구비된 제 2 블록들을 순차적으로 처리한다.
움직임 보상부(750) 및 인트라 예측부(760)에서는 생성된 예측 블록은 비트스트림으로부터 추출된 현재 블록과 예측 블록 사이의 오차값(D'n)과 더하여져서 복원된 영상 데이터 uF'n이 생성된다. uF'n는 필터(770)를 거쳐 최종적으로 현재 블록에 대한 복호화가 수행된다.
제어부(780)는 비트스트림으로부터 복호화되는 현재 매크로 블록의 예측 모드 및 예측 모드에 따라서 현재 매크로블록을 분할한 소정 크기의 제 1 블록들 내에 구비된 제 2 블록들의 처리 순서 정보를 독출하고 제 2 블록들의 처리 순서를 제어한다.
도 8은 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
도 8을 참조하면, 단계 810에서 입력 비트스트림으로부터 복호화되는 현재 매크로 블록의 예측 모드 및 상기 예측 모드에 따라서 현재 매크로블록을 분할한 소정 크기의 제 1 블록들 내에 구비된 제 2 블록들의 처리 순서 정보를 독출한다.
단계 820에서 독출된 제 2 블록들의 처리 순서에 따라서 제 1 블록 내에 구비된 제 2 블록들을 순차적으로 처리한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (2)

  1. 영상 복호화 방법에 있어서,
    상기 영상을 제 1 블록들로 분할하는 단계;
    상기 제 1 블록들 중 적어도 하나의 제 1 블록을 제 2 블록들로 분할하는 단계;
    상기 제 1 블록들을 좌측에서 우측, 상측에서 하측의 순서로 순차적으로 처리하며, 상기 제 1 블록들 중 분할된 제 1 블록에 포함된 제 2 블록들을 좌측에서 우측, 상측에서 하측의 순서로 순차적으로 처리하여 동일한 제 1 블록에 포함된 제 2 블록들을 상기 동일한 제 1 블록 이후에 처리되는 다른 제 1 블록보다 먼저 처리하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  2. 제 1 항에 있어서,
    상기 처리하는 단계는
    상기 제 2 블록의 처리 순서에 기초하여 상기 제 2 블록 단위로 상기 영상에 대한 역변환을 수행하는 것을 특징으로 하는 영상 복호화 방법.
KR1020140038234A 2014-03-31 2014-03-31 영상의 복호화 방법 KR101499558B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140038234A KR101499558B1 (ko) 2014-03-31 2014-03-31 영상의 복호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140038234A KR101499558B1 (ko) 2014-03-31 2014-03-31 영상의 복호화 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20070104466A Division KR101496324B1 (ko) 2007-10-17 2007-10-17 영상의 부호화, 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140049537A true KR20140049537A (ko) 2014-04-25
KR101499558B1 KR101499558B1 (ko) 2015-03-09

Family

ID=50655079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140038234A KR101499558B1 (ko) 2014-03-31 2014-03-31 영상의 복호화 방법

Country Status (1)

Country Link
KR (1) KR101499558B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100667808B1 (ko) * 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101496324B1 (ko) * 2007-10-17 2015-02-26 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치

Also Published As

Publication number Publication date
KR101499558B1 (ko) 2015-03-09

Similar Documents

Publication Publication Date Title
US9900610B2 (en) Method and device for encoding/decoding image by inter prediction using random block
KR100727972B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101431545B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101365570B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
KR101365567B1 (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101211665B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101496324B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR100667808B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100727969B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US20170078662A1 (en) Image-filtering method and apparatus, and encoding/decoding method and apparatus using same
US20070098067A1 (en) Method and apparatus for video encoding/decoding
KR20060105352A (ko) 인트라 예측 방법 및 그 장치
KR20080069069A (ko) 인트라/인터 예측 방법 및 장치
KR101250608B1 (ko) 비디오 부호화에서의 분할 블록 부호화 방법
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR101499558B1 (ko) 영상의 복호화 방법
KR102062894B1 (ko) 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR20140043014A (ko) 영상 부호화 방법 및 장치
KR20120086131A (ko) 모션 벡터 예측 방법 및 모션 벡터 복호화 방법
KR20110126567A (ko) 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR20110067648A (ko) 영상 부호화/복호화 방법 및 이를 수행하는 장치
KR101366088B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
KR101365443B1 (ko) 디블록킹 필터링 방법 및 장치
KR100717033B1 (ko) 영상 부호화기의 잡음 제거 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 5