KR101636649B1 - 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법 - Google Patents

슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법 Download PDF

Info

Publication number
KR101636649B1
KR101636649B1 KR1020150057215A KR20150057215A KR101636649B1 KR 101636649 B1 KR101636649 B1 KR 101636649B1 KR 1020150057215 A KR1020150057215 A KR 1020150057215A KR 20150057215 A KR20150057215 A KR 20150057215A KR 101636649 B1 KR101636649 B1 KR 101636649B1
Authority
KR
South Korea
Prior art keywords
image
slice
decoding
unit
block
Prior art date
Application number
KR1020150057215A
Other languages
English (en)
Other versions
KR20150051976A (ko
Inventor
조대성
최웅일
송관웅
주영훈
김용석
남정학
심동규
지봉일
Original Assignee
삼성전자주식회사
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 광운대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020150057215A priority Critical patent/KR101636649B1/ko
Publication of KR20150051976A publication Critical patent/KR20150051976A/ko
Application granted granted Critical
Publication of KR101636649B1 publication Critical patent/KR101636649B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 부호화방법/복호화방법을 제공한다. 본 발명의 실시 예에 따른 복호화장치는, 복호화장치에 있어서, 비트스트림으로부터 블록 관련 정보를 획득하고, 상기 블록 관련 정보를 기반으로 하여, 프레임을 적어도 두 개의 행들을 포함하는 복수의 블록들로 분할하는 분할부; 제1 행에서의 제2 블록을 복호화하여 복호화 정보를 획득하는 제어부; 및 상기 복호화 정보를 이용하여 상기 제1 행에서의 제3 블록 및 제2 행에서의 제1 블록을 복호화하는 복호화기를 포함하고, 상기 복호화 정보는 예측 정보 및 움직임 벡터 관련 정보를 포함하고, 상기 블록 관련 정보는 분할 정보(split information)를 포함한다.

Description

슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법{APPARATUS FOR PROCESSING VIDEO ENCODING AND DECODING USING VIDEO SEPARATION BASED ON SLICE LEVEL AND METHOD THEREFOR}
본 발명은 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법에 관한 것이다.
일반적으로 움직임 예측에 소용되는 연산량은 전체 부호화에 소용되는 연산량에 절대적인 영향을 주게 된다. 예컨대 H.264/AVC 압축 부호화 방식과 같이 한 장 이상의 순방향 또는 역방향 참조 프레임에 대해 움직임 예측을 수행하게 되는 경우 그 복잡도는 매우 높으며 MPEG-4 AVC/H.264 압축 비디오 구조의 경우, 시간적 스케일러빌러티(Scalability)를 갖기 위해 계층적 B-픽처(Picture)에 대해 다양한 블록을 사용하여 움직임 예측을 수행할 경우 그 복잡도는 기하급수적으로 증가하게 된다.
한편, 최근에는 멀티코어 기술이 개발됨에 따라 병렬처리 동영상 부호화 및 복호화 장치들이 많이 개발되었다. 최신의 동영상 압축 표준인 H.264/AVC를 이용한 병렬처리방법은 영상을 슬라이스(Slice)라 불리는 영역으로 나누고, 각각의 프로세스(Process) 또는 쓰레드에서 각각의 슬라이스 영상 영역을 각각 부호화 또는 복호화하는 방식이다. 이와 같은 병렬처리방법은 슬라이스로 나누어진 영상 영역 간에는 정보의 공유 및 전달이 요구되지 않기 때문에 구현이 쉽고, 병렬처리의 효율이 좋은 장점이 있다.
도 1은 종래기술에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화장치의 개략적인 구성을 도시한 블록도이다.
동영상 부호화장치는 메모리(10), 멀티코어 프로세서(20), 엠펙데이터 분할모듈(30), 디코딩 병합모듈(40)을 포함한다.
종래기술에 따른 동영상 부호화장치는, 엠펙 알고리즘으로 인코딩된 비트스트림 내의 한 프레임 데이터(30)를 메모리(10)에 저장하고, 이를 멀티코어 프로세서 내의 각 코어(Core)(20)마다 쓰레드로 할당하여 디코딩한 후에 병합한다.
멀티코어 프로세서(20)는 쓰레드 단위로 동작하는 복수 개의 코어(CPU:Central Processing Unit)를 구비한 프로세서를 의미하며, 각 코어는 서로 독립적으로 동작한다. 메모리(10)는 엠펙데이터 분할모듈(30)로부터 개별 슬라이스(슬라이스 1, 슬라이스 2,…, 슬라이스 N)를 입력받으면 이를 저장하고, 저장된 슬라이스를 멀티코어 프로세서(20)의 각 코어(코어 1, 코어 2, …, 코어 N)마다 제공하는 버퍼영역을 포함한다.
엠펙데이터 분할모듈(30)은 엠펙데이터를 입력받으면 먼저 디코딩 정보를 추출 후 개별 슬라이스 단위로 분할하고, 분할된 개별 슬라이스 단위의 비트스트림에 대한 디코딩 연산을 멀티코어 프로세서 내의 각 코어마다 쓰레드로 분산 배치시킨다. 이를 위하여 엠펙데이터 분할모듈(30)은 헤더파싱부(32), 슬라이스 분할부(34), 코어연산량 측정부(36) 및 분산배치수(38)를 포함한다.
헤더파싱부(32)는 비트스트림 형태의 엠펙데이터를 입력받아 디코딩 정보를 추출하는 등 기본적인 헤더 파싱을 수행하고, 메모리(10) 내의 영역을 분할, 할당하여 각 슬라이스용 버퍼를 준비한다. 즉, 헤더파싱부(32)는 메모리(10) 의 영역을 멀티코어 프로세서(20)의 각 코어에 대응되도록 복수 개의 버퍼(Buffer)로 분할, 할당한다.
슬라이스 분할부(34)는 비트스트림 내의 슬라이스 시작코드를 감지하여 개별 슬라이스 단위로 분할한다. 분산 배치부(38)는 슬라이스 단위로 분할된 비트스트림을 각 버퍼마다 적절히 분산 배치한다. 코어연산량 측정부(36)는 각 코어의 연산 점유량을 측정한다.
한편 도 1을 참조하면, 많은 동영상 코덱들이 멀티 코어 환경에서의 병렬처리를 지원하기 위해 영상을 슬라이스 단위로 나누고, 이를 각 코어에 할당하는 방식의 병렬처리를 사용하고 있다. 그러나 이와 같은 방법은 영상 전체를 부호화하는 방법에 비하여 전체적으로 부호화 성능이 떨어지는 문제점을 가지고 있다.
따라서 효율적인 슬라이스 분할을 통하여 동영상을 부호화 또는 복호화함에 있어서의 효율을 향상시킬 수 있는 병렬처리 동영상 부호화 및 복호화 장치가 요구된다.
본 발명의 목적은 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법을 제공함에 있다.
본 발명의 실시 예에 따른 복호화장치는, 복호화장치에 있어서, 비트스트림으로부터 블록 관련 정보를 획득하고, 상기 블록 관련 정보를 기반으로 하여, 프레임을 적어도 두 개의 행들을 포함하는 복수의 블록들로 분할하는 분할부; 제1 행에서의 제2 블록을 복호화하여 복호화 정보를 획득하는 제어부; 및 상기 복호화 정보를 이용하여 상기 제1 행에서의 제3 블록 및 제2 행에서의 제1 블록을 복호화하는 복호화기를 포함하고, 상기 복호화 정보는 예측 정보 및 움직임 벡터 관련 정보를 포함하고, 상기 블록 관련 정보는 분할 정보(split information)를 포함한다.
본 발명의 실시 예에 따른 복호화방법은, 복호화방법에 있어서, 비트스트림으로부터 블록 관련 정보를 획득하는 과정; 상기 블록 관련 정보를 기반으로 하여, 프레임을 적어도 두 개의 행들을 포함하는 복수의 블록들로 분할하는 과정; 제1 행에서의 제2 블록을 복호화하여 복호화 정보를 획득하는 과정; 및 상기 복호화 정보를 이용하여 상기 제1 행에서의 제3 블록 및 제2 행에서의 제1 블록을 복호화하는 과정을 포함하고, 상기 복호화 정보는 예측 정보 및 움직임 벡터 관련 정보를 포함하고, 상기 블록 관련 정보는 분할 정보(split information)를 포함한다.
본 발명에 따르면 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법을 제공할 수 있다.
도 1은 종래기술에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화장치의 개략적인 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화장치의 개략적인 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 복호화장치의 개략적인 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화방법을 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 복호화방법을 도시한 순서도이다.
도 6은 본 발명이 일 실시예에 따른 각 영상 슬라이스에서의 동영상 부호화 순서를 도시한 도면이다.
도 7 내지 도 13는 본 발명의 다른 실시예에 따른 각 영상 슬라이스에서의 동영상 부호화 순서를 도시한 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의하여야 한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 2는 본 발명의 일 실시예에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화장치의 개략적인 구성을 도시한 블록도이다.
본 실시예에 따른 동영상 부호화장치(50)는 슬라이스 분할부(60), 영상 부호화부(70), 동기화 제어부(90), 비트스트림 생성부(80)를 포함한다.
슬라이스 분할부(60)는 동영상 부호화장치(50)로 입력되는 영상을 슬라이스 단위로 분할하여 영상 슬라이스를 생성한다. 이하, 영상 슬라이스는 슬라이스 단위로 분할된 각각의 영상을 가리킨다. 본 실시예에 따른 슬라이스 분할부(60)는 각 영상 슬라이스 간에 정보가 공유될 수 있도록 영상 슬라이스로 분할하고, 각 영상 슬라이스에 따른 부호화 순서를 결정할 수 있다.
이때 영상 슬라이스 간의 정보가 공유된다는 것은, 후술하는 영상 부호화부(70)에 의하여 각 영상 슬라이스가 부호화될 때, 각 영상 부호화부(70)가 자신에게 할당된 영상 슬라이스를 부호화기 위하여 자신에게 할당된 영상 슬라이스 이외의 영상 슬라이스, 또는 기 부호화된 영상 슬라이스를 참조하는 것을 의미한다. 예를 들어, 제3영상 부호화부(70-3)가 제3영상 슬라이스를 부호화할 때, 제3영상 부호화부(70-3)는 기 부호화된 상태인 제2영상 슬라이스를 참조하거나 또는 제2영상 부호화부에 의하여 부호화된 제1영상 슬라이스를 참조할 수 있다.
영상 부호화부(70)는 슬라이스 분할부(60)에 의하여 슬라이스 단위로 분할된 적어도 하나의 영상 슬라이스를 입력받아 부호화한다. 영상 부호화부(70)는 제1영상 부호화부(70-1), 제2영상 부호화부(70-2), 제3영상 부호화부(70-3), …, 제N영상 부호화부(70-N)를 포함하며, 각각 제1영상 슬라이스, 제2영상 슬라이스, 제3영상 슬라이스, …, 제N영상 슬라이스를 입력받아 부호화한다.
위에서 언급하였듯이 각 영상 부호화부(70)는 각각 자신에게 할당된 영상 슬라이스를 부호화할 때, 현재 자신에게 할당된 영상 슬라이스 외의 타 영상 슬라이스를 참조하여 자신에게 할당된 영상 슬라이스를 부호화활 수 있다. 이때 영상 부호화부(70)는 타 영상 슬라이스를 참조함에 있어서 각 영상 슬라이스에 포함된 매크로블록(MacroBlock) 단위로 각 영상 슬라이스에 대한 정보를 참조할 수 있다.
예를 들어, 제2영상 부호화부(70-2)가 자신에게 할당된 제5영상 슬라이스를 부호화할 때 제3영상 부호화부에서 부호화되고 있는 제4영상 슬라이스의 제4매크로블록을 참조할 수 있다. 영상 부호화부(70)가 각 영상 슬라이스 또는 각 영상 슬라이스에 포함된 매크로블록에서 참조하는 정보는, 예를 들어 각 프레임에 따른 움직임 예측정보, 각 매크로블록의 움직임 벡터, 변환계수의 개수가 있으며, 동영상 부호화장치(50)에 기 구비된 메모리(미도시)에 저장될 수 있다. 이와 같이 영상 부호화부(70)는 각 영상 슬라이스 간의 정보를 공유함으로써 부호화 효율을 높일 수 있다.
비트스트림 생성부(80)는 제1영상 부호화부(70-1) 내지 제N영상 부호화부(70-N)으로부터 부호화된 각각의 영상 슬라이스를 입력받아 비트스트림을 생성한다.
동기화 제어부(90)는 영상 부호화부(70)가 각 영상 슬라이스를 부호화할 때 각 영상 슬라이스에 포함된 매크로블록들의 부호화 시점을 동기화한다. 각각의 영상 슬라이스는 적어도 하나의 매크로블록을 포함한다. 본 실시예에 따른 동기화 제어부(90)는 각 영상 슬라이스에 포함된 매크로블록들에서의 부호화 시점을 동시에 제어할 수 있다.
예를 들어, 제1영상 슬라이스가 제1매크로블록, 제2매크로블록, 제3매크로블록이 포함하고 제2영상 슬라이스가 제4매크로블록, 제5매크로블록, 제6매크로블록을 포함한다고 가정하기로 한다. 또한 제1영상 슬라이스는 제1영상 부호화부(70-1)에서 부호화되고, 제2영상 슬라이스는 제2영상 부호화부(70-2)에서 부호화된다고 가정한다. 본 실시예에 따른 동기화 제어부(90)는 제1영상 슬라이스의 제1매크로블록 및 제2영상 슬라이스의 제4매크로블록의 부호화가 동시에 일어나도록 제1영상 부호화부(70-1) 및 제2영상 부호화부(70-2)를 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 복호화장치의 개략적인 구성을 도시한 블록도이다.
본 실시예에 따른 동영상 복호화장치(100)는, 비트스트림 파싱부(110), 슬라이스 분할부(60), 영상 복호화부(120), 영상생성부(130), 동기화 제어부(90)를 포함한다.
비트스트림 파싱부(110)는 동영상 복호화장치(100)로 입력되는 비트스트림을 파싱한다.
슬라이스 분할부(60)는 비트스트림 파싱부(110)에 의해 파싱된 비트스트림을 슬라이스 단위로 나누어 비트스트림 슬라이스를 생성한다. 이하, 슬라이스 단위로 분할된 각각의 비트스트림을 '비트스트림 슬라이스'라 칭하기로 한다. 슬라이스 분할부(60)는 슬라이스 단위로 분할된 각 비트스트림 슬라이스에 대한 복호화 순서를 결정할 수 있다. 슬라이스 분할부(60)는 제1비트스트림 슬라이스 내지 제N비트스트림 슬라이스를 복호화 순서에 따라 영상 복호화부(120)에 전달한다.
영상 복호화부(120)는 슬라이스 분할부(60)에 의하여 정해진 순서에 따라 입력되는 적어도 하나의 비트스트림 슬라이스를 복호화한다. 영상 복호화부(120)는 제1영상 복호화부(120-1), 제2영상 복호화부(120-2), …, 제N영상 복호화부(120-N)를 포함하며, 각 영상 복호화부(120)는 각각 제1비트스트림 슬라이스, 제2비트스트림 슬라이스, …, 제N비트스트림 슬라이스를 입력받아 복호화한다.
영상생성부(130)는 복호화된 각각의 비트스트림 슬라이스를 입력받아 영상을 생성한다. 이때 생성되는 영상은 동영상 부호화장치(50)에 의하여 슬라이스로 분할된 영상일 수 있으며, 본 실시예에 따른 동영상 복호화장치(100)에 기 구비된 디스플레이부(미도시)에 의하여 출력, 재생될 수 있다.
동기화 제어부(90)는 영상 복호화부(120)가 각 비트스트림 슬라이스를 복호화할 때 각 비트스트림 슬라이스의 매크로블록의 복호화 시점을 동기화한다. 본 실시예에 따른 동기화 제어부(90)는 각 비트스트림 슬라이스에 포함된 매크로블록에서의 복호화 시점을 동시에 제어할 수 있다.
예를 들어, 제1비트스트림 슬라이스가 제1매크로블록, 제2매크로블록, 제3매크로블록이 포함되어 있고 제2비트스트림 슬라이스가 제4매크로블록, 제5매크로블록, 제6매크로블록을 포함한다고 가정하기로 한다. 또한 제1비트스트림 슬라이스는 제1영상 복호화부(120-1)에서 복호화되고, 제2비트스트림 슬라이스는 제2영상 복호화부(120-2)에서 복호화된다고 가정한다. 본 실시예에 따른 동기화 제어부(90)는 제1비트스트림 슬라이스의 제1매크로블록 및 제2비트스트림 슬라이스의 제4매크로블록의 복호화가 동시에 일어나도록 제1영상 복호화부(120-1) 및 제2영상 복호화부(120-2)를 제어할 수 있다.
도 4는 본 발명의 일 실시예에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화방법을 도시한 순서도이다.
슬라이스 분할부(60)는 동영상 부호화장치(50)에 입력되는 영상을 슬라이스 단위의 영상 슬라이스로 분할한다(S140). 또한 슬라이스 분할부(60)는 각 영상 슬라이스를 각 영상 부호화부(70)에 할당한다(S142).
이후 동영상 부호화장치(50)는 각 영상 슬라이스가 부호화되는 시간을 조절하면서 각 영상 슬라이스를 병렬적으로 부호화처리한다(S144). 이때 각 영상 슬라이스가 부호화되는 시점을 조절하는 것은 동기화 제어부(90)이고, 각 영상 슬라이스를 병렬적으로 부호화처리하는 것은 영상 부호화부(70)이다.
각 영상 슬라이스에 대한 부호화가 완료되면, 비트스트림 생성부(80)는 부호화된 영상 슬라이스를 이용하여 비트스트림을 생성한다(S146). 동영상 부호화장치(50)는 생성된 비트스트림을 출력한다(S148).
도 5는 본 발명의 일 실시예에 따른 슬라이스 단위로 분할된 동영상을 처리하는 동영상 복호화방법을 도시한 순서도이다.
슬라이스 분할부(60)는 동영상 복호화장치(100)에 입력되는 비트스트림을 슬라이스 단위의 비트스트림 슬라이스로 분할한다(S150). 또한 슬라이스 분할부(60)는 각 비트스트림 슬라이스를 각 영상 복호화부(120)에 할당한다(S152).
이후, 동영상 복호화장치(100)는 각 비트스트림 슬라이스가 복호화되는 시간을 조절하면서 각 비트스트림 슬라이스를 병렬적으로 복호화처리한다(S154). 이때 각 비트스트림 슬라이스가 복호화되는 시점을 조절하는 것은 동기화 제어부(90)이고, 각 비트스트림 슬라이스를 병렬적으로 복호화처리하는 것은 영상 복호화부(120)이다.
각 비트스트림 슬라이스에 대한 복호화가 완료되면, 영상생성부(130)는 복호화된 비트스트림 슬라이스를 이용하여 영상을 생성한다(S156). 동영상 복호화장치(100)는 생성된 영상을 기 구비된 디스플레이부(미도시) 등을 이용하여 출력한다(S158).
도 6은 본 발명이 일 실시예에 따른 각 영상 슬라이스에서의 동영상 부호화 순서를 도시한 도면이다.
도 6에서는 동영상 중 하나의 프레임(Frame)을 나타내고 있다. 도 6를 참조하면 하나의 프레임은 제1영상 슬라이스(162), 제2영상 슬라이스(164), 제3영상 슬라이스(166), 제4영상 슬라이스(168) 및 제5영상 슬라이스(170)를 포함한다. 또한 각 영상 슬라이스(162, 164, 166, 168, 170)는 20개의 매크로블록들을 포함한다.
제1영상 부호화부(70-1)는 제1영상 슬라이스(162)를 부호화하고, 제2영상 부호화부(70-2)는 제2영상 슬라이스(164)를, 제3영상 부호화부(70-3)는 제3영상 슬라이스(166)를, 제4영상 부호화부(70-4)는 제4영상 슬라이스(168)를, 제5영상 부호화부(70-5)는 제5영상 슬라이스(170)를 부호화한다고 가정한다.
본 실시예에 따른 제1영상 부호화부(70-1)는 제1영상 슬라이스(162)에 포함된 매크로블록을 부호화함에 있어서 '162-1(t1), 162-2(t2), 162-3(t3), 162-4(t4), 162-5(t5), 162-6(t6), 162-7(t7), 162-8(t8), …, 162-N(tN)'의 순으로 부호화한다. 마찬가지로 제2영상 부호화부(70-2)는 '164-5(t5), 164-6(t6), 164-7(t7), 164-8(t8), 164-9(t9), 164-10(t10), 164-11(t11), 164-12(t12), 164-13(t13), …, 164-N(tN)'의 순서대로 매크로블록을 부호화하고, 제3영상 부호화부(70-3)는 '166-9(t9), 166-10(t10), 166-11(t11), 166-12(t12), 166-13(t13), 166-14(t14), 166-15(t15), 166-16(t16), …, 166-N(tN)'의 순으로 제3영상 슬라이스(166)를 부호화하고, 제4영상 부호화부(70-4)는 '168-13(t13), 168-14(t14), 168-15(t15), 168-16(t16), 168-17(t17), 168-18(t18), 168-19(t19), 168-20(t20), …, 168-N(tN)'의 순으로 제4영상 슬라이스(168)를 부호화하고, 제5영상 부호화부(70-5)는 '170-17(t17), 170-18(t18), 170-19(t19), 170-20(t20), 170-21(t21), 170-22(t22), …, 170-N(tN)'의 순으로 제5영상 슬라이스(170)를 부호화한다. 위에서 괄호 안의 숫자는 각 매크로블록이 부호화되는 시점을 나타낸 것으로서, 예를 들어 매크로블록 170-21은 t21의 시점에 제5영상 부호화부(70-5)에 의하여 부호화되기 시작한다.
도 6을 참조하면 제1영상 부호화부(70-1)는 가장 먼저 162-1(t1)을 부호화한다. 162-2(t2)와 인접한 매크로블록(이하, '인접 매크로블록'이라 하기로 한다)인 162-1(t1)이 이미 부호화되었으므로 제1영상 부호화부(70-1)는 162-1(t1)을 참조하여 162-2(t2)를 부호화할 수 있다. 마찬가지로 제1영상 부호화부(70-1)는 162-1(t1) 및 162-2(t2)를 참조하여 매크로블록 162-3(t3)을 부호화한다. 또한 매크로블록 162-3(t3)이 부호화되면, 제1영상 부호화부(70-1)는 인접 매크로블록에 해당하는 162-1(t1), 162-2(t2), 162-3(t3)를 참조하여 162-4(t4)를 부호화한다. 또한 동일한 방식으로 제1영상 부호화부(70-1)는 162-3(t3) 및 162-4(t4)를 참조하여 매크로블록 162-5(t5)를 부호화한다. 여기서 인접 매크로블록의 범위는 도 6을 참조하여 예를 들면, 제2영상 슬라이스(164)의 매크로블록 164-4의 인접 매크로블록은 162-1, 162-2, 162-3, 164-3, 164-5, 166-5, 166-6, 166-7이다.
뿐만 아니라 164-5(t5)의 인접 매크로블록인 162-2(t2) 및 162-4(t4)가 부호화었으므로, 제2영상 부호화부(70-2)가 164-5(t5)를 부호화할 수 있게 된다. 즉, 제1영상 부호화부(70-1)가 162-5(t5)를 부호화하는 시점과 제2영상 부호화부(70-2)가 164-5(t5)를 부호화하는 시점이 동일해진다. 이때 동기화 제어부(90)는 제1영상 부호화부(70-1)가 162-5(t5)를 부호화하는 시점과 제2영상 부호화부(70-2)가 164-5(t5)를 부호화하는 시점이 동일하도록 제1영상 부호화부(70-1) 및 제2영상 부호화부(70-2)를 제어한다.
마찬가지 방식으로 제3영상 부호화부(70-3)는 164-6(t6) 및 164-8(t8)이 부호화되면 164-9(t9)를 부호화할 수 있게 되며, 제3영상 부호화부(70-3)가 164-9(t9)를 부호화하는 동안 제1영상 부호화부(70-1)는 162-9(t9)를 부호화하고 제2영상 부호화부(70-2)는 164-9(t9)를 부호화한다.
본 발명은 상기와 같은 방식으로 각각의 영상 부호화부(70)에 할당된 영상 슬라이스를 동시다발적으로 처리할 수 있는 동영상 부호화장치(50)에 대한 것이며, 상기와 같이 영상 슬라이스를 할당, 각 매크로블록을 부호화하는 방법은 본 발명에 따른 동영상 복호화장치(100)에도 적용할 수 있다. 또한 후술하는 도 7에서 다루게 될 영상 슬라이스의 분할 및 매크로블록들의 부호화 순서, 방식 또한 동영상 복호화장치(100)에서도 적용 가능한 예이다.
예를 들어, 제2영상 복호화부(120-2)가 164-9(t9)를 복호화하는 시점과 제3영상 복호화부(120-3)가 166-9(t9)를 복호화하는 시점은 동일하다.
도 7 내지 도 12는 본 발명의 다른 실시예에 따른 각 영상 슬라이스에서의 동영상 부호화 순서를 도시한 도면이다.
도 7은 도 6과 마찬가지로 5개의 슬라이스(162, 164, 166, 168, 170)를 포함하는 프레임을 도시한 것이다. 도 7에서 영상 부호화부(70)는 각 영상 슬라이스의 수평방향을 따라 'Z' 형태로, 각 영상 슬라이스(162, 164, 166, 168, 170)에 포함된 매크로블록들을 부호화처리한다.
도 7에서 제1영상 부호화부(70-1)가 162-9(t9), 162-10(t10)를 참조하여 162-11(t11)을 부호화하면, 동일한 시간에 제2영상 부호화부(70-2)는 기 부호화된 162-7(t7), 162-8(t8) 164-9(t9), 164-10(t10)을 참조하여 164-11(t11)을 부호화한다. 또난 제3영상 부호화부(70-3)는 164-7, 164-8(t8), 166-9(t9), 166-10(t10)을 참조하여 166-11(t11)을 부호화한다. 마찬가지의 방식으로 제4영상 부호화부(70-4)는 제3영상 슬라이스(166)에 포함된 매크로블록 166-11(t11), 166-12(t12)를 이용하여 제4영상 슬라이스(168)에 포함되는 블록인 168-13(t13)을 부호화한다. 이때, 이미 부호화된 매크로블록은 동영상 부호화장치(50)에 기 구비된 메모리(미도시)에 저장되는 것으로 가정한다.
도 8은 10개의 영상 슬라이스를 포함하는 프레임을 도시한 도면이다. 도 6에서 각 영상 슬라이스는 도 6 및 도 7과 달리 각각 10개의 매크로블록들을 포함한다. 본 실시예에서도 도 6 및 도 7에서와 마찬가지로, 적어도 하나의 인접 매크로블록이 이미 부호화된 경우에는, 그 매크로블록을 참조하여 다른 매크로블록을 부호화할 수 있다.
예를 들어, 제1영상 슬라이스의 매크로블록 162-1의 부호화가 완료되면 제1영상 부호화부(70-1)는 162-1의 인접 매크로블록인 162-2를 부호화할 수 있으며, 162-1 및 162-2의 부호화가 완료되면 매크로블록 162-3을 부호화할 수 있다.
도 6을 참조하면, 동기화 제어부(90)는 매크로블록 162-1 및 162-2가 부호화되면, 162-3 및 164-3이 동시에 부호화되도록 제1영상 부호화부(70-1) 및 제2영상 부호화부(70-2)를 동기화시킨다. 또한 동기화 제어부(90)는 제1영상 부호화부(70-1) 및 제2영상 부호화부(70-2)에 의하여 162-4, 164-4가 부호화되면, 162-5, 164-5 및 166-5가 동시에 부호화되도록 제1영상 부호화부(70-1), 제2영상 부호화부(70-2) 및 제3영상 부호화부(70-3)를 동기화시킨다. 동기화 제어부(90)는 상기와 같은 방식으로 각 영상 부호화부(70)가 각 매크로블록을 부호화하는 시점을 제어하여 다수 개의 코어(미도시) 및 버퍼(미도시)를 포함하는 영상 부호화부(70)가 효율적으로 슬라이스 단위로 나누어진 영상을 부호화하도록 제어한다.
도 9 내지 도 12는 가로 및 세로의 매크로블록이 10×10인 프레임에서 각기 다른 방식으로 영상 슬라이스를 나눈 것을 도시하고 있다. 도 9 내지 도 11를 참조하면 알 수 있듯이 영상의 분할 방식에 따라서 그 영상 슬라이스에 포함된 매크로블록들을 부호화하는 순서가 달라질 수 있다.
도 9에서는 10×10 매크로블록에서 세로 방향으로 10개의 매크로블록이 제1영상 슬라이스(162)이고, 제1영상 슬라이스를 제외한 나머지 프레임에서 가로 방향으로 9개의 매크로블록이 제2영상 슬라이스(164), 다시 제1 및 제2영상 슬라이스(162, 164)를 제외한 나머지 프레임에서 세로 방향으로 9개의 매크로블록이 제3슬라이스(166)으로서, 동영상 부호화장치(50)로 입력된 영상의 한 프레임은 세로 및 가로방향으로 번갈아가며 슬라이스 단위로 나눠지고 있다.
또한 도 9에서는 제1영상 슬라이스(162)의 162-1(t1)이 부호화된 이후에는 순서대로 162-2(t2), 164-2(t2)가 동시에 부호화되고, 162-3(t3), 164-3(t3), 166-3(t3)이 동시에 부호화되며, 162-4(t4), 164-4(t4), 166-4(t4) 및 168-4(t4)가 동시에 부호화되는 방식으로 각 영상 슬라이스가 부호화된다.
도 8과 같은 프레임의 경우에는 제1영상 슬라이스(162)의 매크로블록인 162-1(t1)이 가장 먼저 부호화된 후, 제1영상 슬라이스(162)의 162-2(t2), 제2영상 슬라이스(164)의 164-2(t2), 제3영상 슬라이스(166)의 166-2(t2)가 부호화된다. 이후 본 실시예에 따른 동기화 제어부(90)는 제1영상 슬라이스(162)의 162-3(t3), 제2영상 슬라이스(164)의 164-3(t3), 제3영상 슬라이스(166)의 166-3(t3), 제4영상 슬라이스(168)의 168-3(t3)의 부호화가 동시에 일어나도록 영상 부호화부(70)를 제어하며, 영상 부호화부(70)는 동기화 제어부(90)에 제어하에 상기와 동일한 방식으로 프레임에 포함된 다수 개의 영상 슬라이스를 병렬적으로 부호화처리한다.
도 11 및 도 12는 하나의 프레임이 4개의 영상 슬라이스(162, 164, 166, 168)를 포함한 경우의 각 영상 슬라이스의 부호화 순서를 나타낸 것이다.
도 11을 참조하면, 먼저 제1영상 슬라이스(162)의 162-1(t1), 162-2(t2), 162-3(t3), 162-4(t4), 162-5(t5)가 순차적으로 부호화되고, 제3영상 슬라이스(166)의 166-2(t2), 166-3(t3), 166-4(t4), 166-5(t5), 166-6(t6)이 순차적으로 부호화된다. 제1영상 슬라이스(162)의 162-5(t5) 및 제3영상 슬라이스(166)의 매크로블록 166-5(t5)의 부호화가 완료되면, 162-5(t5)를 참조하여 제2영상 부호화부(70-2)는 제2슬라이스(164)의 164-6(t6)을 부호화할 수 있다. 또한 제2영상 슬라이스의 164-6(t6)이 부호화되면, 제4영상 부호화부(70-4)는 162-5(t5), 164-6(t6) 및 164-6(t7)과 동일한 시점에 부호화되는 제3영상 슬라이스(166)의 166-6(t6)을 참조하여 제4영상 슬라이스의 168-7(t7)을 부호화할 수 있다.
도 12를 참조하면, 제1영상 슬라이스(162)의 매크로블록 162-1이 프레임의 가운데에 위치하고 있음을 알 수 있다. 그에 따라 제1영상 부호화부(70-1)에 의해 162-1(t1)이 부호화되면, 162-1의 인접 매크로블록에 해당하는 제2영상 슬라이스의 164-2 및 제3영상 슬라이스의 166-2를 부호화할 수 있다. 본 실시예에 따른 동영상 부호화장치(50)는 프레임의 중심부부터 부호화를 실시하여 프레임의 가장자리로 부호화를 확산시킨다.
도 13은 동영상 부호화장치(50)가 각 매크로블록의 부호화를 소용돌이 형태를 가지는 순서로 실행하는 것을 도시한 도면이다.
본 실시예에서 프레임은 제1영상 슬라이스(162), 제2영상 슬라이스(164), 제3영상 슬라이스(166) 및 제4영상 슬라이스(168)를 포함하며, 각각의 영상 슬라이스가 나선형의 형태를 가진다. 본 실시예에서 매크로블록 162-1(t1), 164-1(t1), 166-1(t1) 및 168-1(t1)은 동시에 부호화되며, 순차적으로 162-2(t2), 164-2(t2), 166-2(t2), 168-2(t2)가 동시에 부호화되고 162-3(t3), 164-3(t3), 166-3(t3), 168-3(t3)이 동시에 부호화되는 방식으로 부호화가 진행된다.
이상에서 설명한 영상 슬라이스 분할 방법은 실시 예에 불과하며, 영상 슬라이스 간의 일부의 정보 공유를 통해 부호화 효율을 높일 수 있는 여러 가지 형태의 변형 및 변경이 가능한 것으로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다. 또한 매크로블록의 부호화 시에, 이전에 부호화된 인접 매크로블록의 대상이 각 영상 슬라이스 분할에 따라 적응적으로 변형 및 변경 가능한 것은 당업자에게 자명하다 할 것이다.

Claims (6)

  1. 복호화장치에 있어서,
    비트스트림으로부터 블록 관련 정보를 획득하고, 상기 블록 관련 정보를 기반으로 하여, 프레임을 적어도 두 개의 행들을 포함하는 복수의 블록들로 분할하는 분할부;
    제1 행에서의 제2 블록을 복호화하여 복호화 정보를 획득하는 제어부; 및
    상기 복호화 정보를 이용하여 상기 제1 행에서의 제3 블록 및 제2 행에서의 제1 블록을 복호화하는 복호화기를 포함하고,
    상기 복호화 정보는 예측 정보 및 움직임 벡터 관련 정보를 포함하고,
    상기 블록 관련 정보는 분할 정보(split information)를 포함함을 특징으로 하는 복호화장치.
  2. 제1항에 있어서,
    상기 제1 행에서의 제3 블록 및 상기 제2 행에서의 제1 블록은 병렬적으로 복호화됨을 특징으로 하는 복호화장치.
  3. 삭제
  4. 복호화방법에 있어서,
    비트스트림으로부터 블록 관련 정보를 획득하는 과정;
    상기 블록 관련 정보를 기반으로 하여, 프레임을 적어도 두 개의 행들을 포함하는 복수의 블록들로 분할하는 과정;
    제1 행에서의 제2 블록을 복호화하여 복호화 정보를 획득하는 과정; 및
    상기 복호화 정보를 이용하여 상기 제1 행에서의 제3 블록 및 제2 행에서의 제1 블록을 복호화하는 과정을 포함하고,
    상기 복호화 정보는 예측 정보 및 움직임 벡터 관련 정보를 포함하고,
    상기 블록 관련 정보는 분할 정보(split information)를 포함함을 특징으로 하는 복호화방법.
  5. 제4항에 있어서, 상기 제1 행에서의 제3 블록 및 상기 제2 행에서의 제1 블록은 병렬적으로 복호화됨을 특징으로 하는 복호화방법.
  6. 삭제
KR1020150057215A 2015-04-23 2015-04-23 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법 KR101636649B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150057215A KR101636649B1 (ko) 2015-04-23 2015-04-23 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150057215A KR101636649B1 (ko) 2015-04-23 2015-04-23 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020080111850A Division KR101590633B1 (ko) 2008-11-11 2008-11-11 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법

Publications (2)

Publication Number Publication Date
KR20150051976A KR20150051976A (ko) 2015-05-13
KR101636649B1 true KR101636649B1 (ko) 2016-07-05

Family

ID=53389280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150057215A KR101636649B1 (ko) 2015-04-23 2015-04-23 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법

Country Status (1)

Country Link
KR (1) KR101636649B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057629B2 (en) 2017-07-19 2021-07-06 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, decoding method and apparatus therefor
KR20200101686A (ko) * 2019-02-20 2020-08-28 세종대학교산학협력단 센터-투-에지 점진적 영상 부호화/복호화 방법 및 장치
CN113709522A (zh) * 2020-05-22 2021-11-26 中兴通讯股份有限公司 监控视频的处理方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286288A1 (en) * 2006-06-08 2007-12-13 Jayson Smith Parallel batch decoding of video blocks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3662129B2 (ja) * 1997-11-11 2005-06-22 松下電器産業株式会社 マルチメディア情報編集装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286288A1 (en) * 2006-06-08 2007-12-13 Jayson Smith Parallel batch decoding of video blocks

Also Published As

Publication number Publication date
KR20150051976A (ko) 2015-05-13

Similar Documents

Publication Publication Date Title
KR101590633B1 (ko) 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법
US10218991B2 (en) Image encoding apparatus, method of image encoding, and recording medium, image decoding apparatus, method of image decoding, and recording medium
US20110013849A1 (en) Image encoding device and image decoding device
CN104412589B (zh) 视频编码/解码设备、方法和程序
CN102572422A (zh) 视频序列编码方法及视频序列编码装置
KR101636649B1 (ko) 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법
JP2014011726A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
TW202327365A (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法
CN112135151B (zh) 视频解码方法、系统、计算机设备和存储介质
CN106162194A (zh) 一种视频编码和解码的方法、装置和处理系统
TWI805926B (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法
Migallón et al. Performance analysis of frame partitioning in parallel HEVC encoders
Zare et al. Self-contained slices in H. 264 for partial video decoding targeting 3D light-field displays
TWI809279B (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法
JP2018121319A (ja) 符号化装置、復号装置及びプログラム
KR20070106318A (ko) 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
JP6505142B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 4