KR101835318B1 - 동영상 처리 방법 및 장치 - Google Patents

동영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR101835318B1
KR101835318B1 KR1020157034562A KR20157034562A KR101835318B1 KR 101835318 B1 KR101835318 B1 KR 101835318B1 KR 1020157034562 A KR1020157034562 A KR 1020157034562A KR 20157034562 A KR20157034562 A KR 20157034562A KR 101835318 B1 KR101835318 B1 KR 101835318B1
Authority
KR
South Korea
Prior art keywords
unit
blocks
compression
lookup table
block
Prior art date
Application number
KR1020157034562A
Other languages
English (en)
Other versions
KR20160016838A (ko
Inventor
정욱제
전민용
박동진
Original Assignee
주식회사 칩스앤미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칩스앤미디어 filed Critical 주식회사 칩스앤미디어
Publication of KR20160016838A publication Critical patent/KR20160016838A/ko
Application granted granted Critical
Publication of KR101835318B1 publication Critical patent/KR101835318B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

동영상을 처리하는 방법이 개시된다. 본 발명은 동영상 처리 방법에 있어서, 부호화된 영상을 수신하는 단계; 상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 단계; 상기 필터 처리된 영상 프레임을 미리 결정된 분할 블록 단위로 분할하는 단계; 상기 복수의 블록들을 각각 압축하는 단계; 상기 압축된 복수의 블록들을 일정 단위로 패키징하며, 상기 패키징된 복수의 블록들 각각에 대응하여 룩업 테이블 정보를 생성하는 단계; 상기 룩업 테이블 정보 및 상기 패키징된 데이터를 기록하는 단계; 상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들 중 특정 프레임에 대응되는 블록들에 대해 움직임 보상을 위한 제1 역압축을 수행하는 단계; 및 상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들을 순차적으로 역압축하는 제2 역압축을 수행하는 단계를 포함한다.

Description

동영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING VIDEO}
본 발명은 동영상 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 프레임 버퍼 메모리의 메모리 대역폭 효율을 향상시킬 수 있는 동영상 처리 방법 및 그 장치에 관한 것이다.
최근의 동영상 처리 방식의 향상에 따라 동영상 처리 장치는 더욱더 큰 사이즈의 영상을 처리하고 있다.
특히, UHD에 대한 니즈가 발생하면서, 저장매체의 크기 및 전달매체의 대역폭을 현재 동영상 압축 기술로는 수용하기 어려움에 따라, UHD 동영상 압축을 위한 새로운 압축 표준 기술이 필요하고 되었고, 이에 따라, HEVC가 2013년1월 표준화 완료되었다. HEVC는 internet 및 3G, LTE 등의 망을 통해 서비스되는 동영상 스트림을 위해서도 쓰일 수 있으며, 이때는 UHD 뿐만 아니라 FHD 또는 HD급도 HEVC로 압축될 수 있다.
UHD TV 같은 경우 단기적으로는 4K(4096 X 2304 픽셀) 및 30fps 비디오 스트림을 가질 것으로 예상되며, 4K 60fps/120fps, 8K 30fps/60fps/… 등으로 계속 초당 처리해야할 화소수가 커질 것으로 예상된다. 또한, 양방향 프레임 예측 및 필터링 처리를 위한 프레임당 요구 대역폭이 크게 향상될 것으로 예상된다.
이와 같은 처리 대역폭 향상에 대응하기 위해서는, 응용에서 요구되는 성능, 기능에 따라 시스템 모듈 간 또는 외부로의 전송 대역폭도 함께 향상되어야 한다.
그러나, 처리해야 할 이미지 해상도와 프레임 레이트 증가에 따라 요구되는 처리 대역폭이 크게 향상됨에 비해, 이를 전송하기 위한 대역폭은 제한적인 문제점이 있다.
예를 들어, 이미지를 프레임 버퍼 메모리에 저장하거나 그로부터 인출하기 위한 대역폭은 메모리 어플리케이션의 최소 버스트 길이(BURST LENGTH)에 따라 제한될 수 있다.
이를 해결하기 위해, 프레임 버퍼 메모리에 입출력되는 이미지를 압축하는 방식이 제안되고는 있으나 괄목할만한 대역폭 저감 효과를 가져오지는 못하고 있는 실정이다.
또한, 현재의 프레임 버퍼의 압축 방식들은 높은 압축 효율을 얻기 위해 손실 압축 방식을 사용하고 있으나 이는 퀄리티의 저하를 가져올 뿐만 아니라, 원본 데이터를 복원하기 어려운 문제점이 있다.
뿐만 아니라, 이와 같은 손실 압축에 의해, 랜덤 엑세스를 위한 프레임 버퍼 메모리 탐색 과정이 복잡하게 변경됨으로써 결과적으로 처리량 및 처리 시간이 다시 증가하게 되는 문제점이 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 프레임 버퍼의 무손실 압축을 이용하여 퀄리티의 저하 없이도 대역폭 효율을 향상시킬 수 있는 동영상 처리 장치 및 방법에 관한 것이다.
또한, 본 발명의 목적은 무손실을 유지하면서도 접근이 용이한 프레임 버퍼의 압축 방식을 제공함으로써, 빠른 프로세싱이 가능한 동영상 처리 장치 및 방법에 관한 것이다.
그리고, 본 발명의 또 다른 목적은 프레임 버퍼의 무손실 압축시의 압축 방식을 다변화하여 대역폭 감소 효과를 최대화할 수 있는 동영상 처리 장치 및 방법에 관한 것이다.
또한, 본 발명의 또 다른 목적은 프레임 버퍼의 압축시 블록 분할을 효율적으로 수행하여 압축 효율을 향상시킬 수 있는 도영상 처리 장치 및 방법에 관한 것이다.
그리고, 본 발명의 목적은 역압축(decompress)시에도 메모리 접근 및 압축 해제가 용이하며, 대역폭 감소 효과가 유지되기 위한 동영상 처리 장치 및 방법에 관한 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 동영상을 처리하는 장치는, 부호화된 영상을 수신하는 영상 수신부; 상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 필터링부; 상기 필터 처리된 영상 프레임을 미리 결정된 분할 블록 단위로 분할하는 블록 분할부; 상기 복수의 블록들을 각각 압축하고, 상기 압축된 복수의 블록들을 일정 단위로 패키징하며, 상기 패키징된 복수의 블록들 각각에 대응하여 룩업 테이블 정보를 생성하는 압축부; 상기 룩업 테이블 정보 및 상기 패키징된 데이터를 기록하는 프레임 버퍼 메모리; 상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들 중 특정 프레임에 대응되는 블록들에 대해 움직임 보상을 위한 역압축을 수행하는 제1 역압축부; 및 상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들을 순차적으로 역압축하여 출력하는 제2 역압축부를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 처리 장치의 동영상 처리 방법은, 부호화된 영상을 수신하는 단계; 상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 단계; 상기 필터 처리된 영상 프레임을 미리 결정된 분할 블록 단위로 분할하는 단계; 상기 복수의 블록들을 각각 압축하는 단계; 상기 압축된 복수의 블록들을 일정 단위로 패키징하며, 상기 패키징된 복수의 블록들 각각에 대응하여 룩업 테이블 정보를 생성하는 단계; 상기 룩업 테이블 정보 및 상기 패키징된 데이터를 기록하는 단계; 상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들 중 특정 프레임에 대응되는 블록들에 대해 움직임 보상을 위한 제1 역압축을 수행하는 단계; 및 상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들을 순차적으로 역압축하는 제2 역압축을 수행하는 단계를 포함할 수 있다.
한편, 상기 동영상 처리 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
본 발명의 다양한 실시 예에 따르면, 초당 처리해야할 화소수(4K 60fps/120fps, 8K 30fps/60fps/… 등)가 큰 영상의 경우에도, 퀄리티 저하 없이 메모리 대역폭을 저감시킴으로써 처리 효율을 향상시킬 수 있는 동영상 처리 장치 및 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 압축된 프레임 버퍼 메모리에 대한 접근이 용이하여 처리 성능을 향상시킬 수 있는 동영상 처리 장치 및 방법을 제공할 수 있다.
그리고, 본 발명의 다양한 실시 예에 따르면, 프레임 버퍼 메모리에서 입출력되는 정보의 오버헤드를 줄일 수 있으며, 대역폭의 변동을 줄임으로써 시스템 구현을 용이하게 하고 안정성을 향상시키는 동영상 처리 장치 및 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 분할된 텍스처 블록별로 서로 다른 압축 방식을 선택적으로 적용할 수 있으며, 대역폭 감소 효과를 최대화하는 방식을 선택함으로써 영상 처리 성능을 향상시킬 수 있는 동영상 처리 장치 및 방법을 제공할 수 있다.
그리고, 본 발명의 다양한 실시 예에 따르면, 효율적인 텍스처 블록의 분할 및 패딩 방식을 제공하고, 2중으로 처리된 잔차신호에 대해 가변 길이 부호화를 수행함으로써, 영상 처리 성능을 향상시킬 수 있는 동영상 처리 장치 및 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 역압축(decompress)시 룩업 테이블 정보를 이용하여 메모리에 용이하게 접근할 수 있고, 전송 대역폭이 감소된 압축 데이터를 신속히 수신하여 압축 해제를 수행함으로써, 영상 처리 성능을 향상시킬 수 있는 동영상 처리 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 동영상 복호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 다른 일 실시 예에 따른 동영상 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 동영상 복호화 장치의 압축부의 구성을 보다 상세하게 설명하기 위한 블록도이다.
도 4는 본 발명의 실시 예에 따른 동영상 복호화 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 블록 분할부를 보다 상세하게 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 블록 분할부의 동작을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시 예에 따라 분할된 블록의 압축 과정을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 블록 패키징 과정을 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시 예에 따른 역압축부를 보다 상세하게 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 컨버터부를 보다 상세하게 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따른 컨버터부의 라인 버퍼부를 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에 따른 컨버터부의 동작을 설명하기 위한 흐름도이다.
도 13은 본 발명의 실시 예에 따라 압축되는 프레임 버퍼 메모리를 설명하기 위한 도면이다.
도 14는 본 발명의 실시 예에 따른 압축 방법 및 그룹화를 설명하기 위한 도면이다.
도 15는 본 발명의 실시 예에 따른 룩업 테이블을 설명하기 위한 도면이다.
도 16은 본 발명의 실시 예에 따라 프레임 버퍼 메모리에 저장되는 정보를 종래 구성과 비교 설명하기 위한 도면이다.
도 17 내지 도 24는 본 발명의 실시 예를 적용한 경우의 처리 효율이 향상되는 것을 설명하기 위한 실험 데이터들이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 "이들의 조합"의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.
실제 영상과 그것의 깊이 정보 맵을 부호화하는 방법의 일예로, 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 진행 중인 HEVC(High Efficiency Video Coding)를 이용하여 복호화를 수행할 수 있으나, 이에 한정되지는 아니하며 본 발명의 실시 예에 따른 복호화 장치는 프레임 버퍼 메모리를 이용하는 다양한 방식(MPEG2, AVC 등)의 코덱을 이용하여 복호화를 수행할 수 있다.
통상, 동영상 처리 장치는 부호화 장치 또는 복호화 장치를 포함할 수 있으며, 부호화 장치는 인코딩 과정과 디코딩 과정을 포함하고, 복호화 장치는 디코딩 과정을 구비한다. 복호화 장치의 디코딩 과정은 부호화 장치의 디코딩 과정과 동일할 수 있다. 이하에서는 복호화 장치를 위주로 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 동영상 복호화 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 본 발명에 따른 동영상 복호화 장치(100)는 엔트로피 복호화부(110), 역양자화/역변환부(120), 가산기(180), 필터링부(130), 압축부(140), 프레임 버퍼 메모리(150), 역압축부(160), 움직임 보상부(170) 및 출력부(190)를 구비한다.
이외 본 발명의 실시 예에 따르면, 동영상 복호화 장치(100)는 인트라/인터전환 스위치 및 인트라 예측부를 더 포함할 수 있다. 다만, 본 실시 예는 예측 블록 생성을 위한 참조 프레임의 압축 및 패키징 방법과 이를 이용한 프레임 간 예측(인터 모드)시 움직임 보상 과정을 보다 구체적으로 설명하도록 한다.
엔트로피 복호화부(110)는, 동영상 부호화 장치로부터 전송되는 부호화 비트 스트림을 복호하여, 인트라 예측 모드 인덱스, 움직임 정보, 양자화 계수 시퀀스 등으로 분리한다. 엔트로피 복호화부(110)는 복호된 움직임 정보를 움직임 보상부(170)에 공급할 수 있다.
엔트로피 복호화부(110)는 상기 인트라 예측 모드 인덱스를 움직임 보상부 (170), 역양자화/역변환부(120)로 공급할 수 있다. 또한, 엔트로피 복호화부(110)는 역양자화 계수 시퀀스를 역양자화/역변환부(120)로 공급할 수 있다.
역양자화/역변환부(120)는 양자화 계수 시퀀스를 2차원 배열의 역양자화 계수로 변환할 수 있다. 역양자화/역변환부(120)는 변환을 위해 복수개의 스캐닝 패턴 중에 하나를 선택할 수 있다. 역양자화/역변환부(120)는 현재 블록의 예측모드(즉, 인트라 예측 및 인터 예측 중의 어느 하나)와 인트라 예측 모드 중 적어도 하나에 기초하여 복수개의 스캐닝 패턴 중 하나를 선택할 수 있다.
역양자화/역변환부(120)는 인트라 예측 모드를 움직임 보상부(170) 또는 엔트로피 복호화부(110)로부터 수신할 수 있다.
역양자화/역변환부(120)는 상기 2차원 배열의 역양자화 계수에 복수개의 양자화 매트릭스 중 선택된 양자화 매트릭스를 이용하여 양자화 계수를 복원한다. 복원하고자 하는 현재 블록의 크기에 따라 서로 다른 양자화 매트릭스가 적용되며, 동일 크기의 블록에 대해서도 상기 현재 블록의 예측 모드 및 인트라 예측 모드 중 적어도 하나에 기초하여 양자화 매트릭스를 선택할 수 있다.
그리고, 역양자화/역변환부(120)는 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원한다.
가산기(180)는 역양자화/역변환부(120)에 의해 복원된 잔차 블록과 인트라 예측부 또는 움직임 보상부(170)에 의해 생성되는 예측 블록을 가산함으로써, 영상 블록을 복원한다.
필터링부(130)는 가산기(180)에 의해 생성된 복원 영상에 필터 처리를 수행한다. 필터 처리를 통해 양자화 과정에 따른 영상 손실에 기인하는 아티펙트를 줄이는 효과를 가져올 수 있다. 예를 들어, 필터링부(130)는 복원된 픽쳐에 발생하는 블록킹 효과의 제거하기 위한 디블록킹 필터링 과정, 화소 단위로 원본 영상과의 차이값을 보완하기 위한 적응적 오프셋 적용 과정 및 코딩 유닛으로 원본 영상과의 차이값을 보완하기 위한 적응적 루프 필터링 과정을 수행할 수 있다.
프레임 버퍼 메모리(150)는 필터링부(130)에 의해 필터 처리가 수행된 로컬 복호 영상을 유지하기 위한 메모리이며, 움직임 보상을 위한 복수의 프레임들 또는 픽처들을 저장할 수 있다. 저장 및 출력되는 프레임의 데이터 포맷은 압축부(140) 및 역압축부(160)에 의해 변형될 수 있다.
프레임 버퍼 메모리(150)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
압축부(140)는 프레임 버퍼 메모리(150)에 저장되는 프레임을 본 발명의 동영상 처리 방법에 따라 압축 수행하기 위한 모듈이며, 역압축부(160)는 움직임 보상부(170)의 요청에 따른 랜덤 액세스 대상 프레임을 프레임 메모리(150)로부터 인출하고 역 압축을 수행하기 위한 모듈이다.
특히, 본 발명의 실시 예에서 압축부(140)는 선택적 무손실 압축 및 무압축을 병행함으로써 퀄리티의 저하를 방지할 수 있으며, 압축 정보를 생성하고, 룩업 테이블로 별도 관리하여 대역폭 저감을 실현할 수 있다.
예를 들어, 압축부(140)는 루프 필터링 수행된 프레임을 입력으로 받아, DPCM을 이용한 적응적 엔트로피 코딩을 수행하여 무손실 압축된 텍스쳐 세그먼트들을 획득할 수 있다.
그리고, 압축부(140)는 텍스쳐 세그먼트 각각에 대한 오프셋 정보를 포함하는 압축 정보를 생성하고, 텍스쳐 세그먼트를 버스트 길이 단위로 패키징하여 압축 정보와 함께 프레임 버퍼 메모리(150)에 저장할 수 있다. 프레임 버퍼 메모리(150)는 AXI 버스 인터페이스를 통해 연결되는 외부 메모리일 수 있다.
또한, 본 발명의 실시 예에 따른 압축부(140)의 압축 처리 및 역 압축부(160)의 동작에 의해, 움직임 보상부(170)에서의 프레임 버퍼 메모리(150)에 대한 랜덤 엑세스를 용이하게 구현할 수 있게 된다.
또한, 본 발명의 실시 예에 따른 무손실 압축 및 버스트 길이 단위의 저장방식을 통한 대역폭 저감 효율은 50%에 달할 수 있다. 이와 같은 압축부(140)의 구성에 대하여는 후술하도록 한다.
움직임 보상부(170)는 엔트로피 복호화부(120)로부터 수신된 인트라 예측 모드 인덱스에 기초하여 현재 블록의 인트라 예측 모드를 복원한다. 그리고, 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.
특히, 움직임 보상부(170)는 움직임 벡터 정보에 기초하여 역 압축부(160)를 통해 프레임 메모리(150)에 압축 저장된 픽쳐에 랜덤 엑세스할 수 있다. 그리고, 이에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 소수 정밀도의 움직임 보상이 적용될 경우에는 선택된 보간 필터를 적용하여 예측 블록을 생성한다. 생성된 예측 블록은 가산기(180)로 전달될 수 있다.
한편, 도면에 도시되지는 않았으나 인트라/인터 전환 스위치는 부호화 모드에 기초하여 인트라 예측부와 움직임 보상부(170)의 어느 하나에서 생성된 예측 블록을 가산기(180)에 제공할 수 있다.
그리고, 움직임 보상부(170)는 움직임 보상을 위한 예측 블록을 생성하기 위해, 디멀티플렉서, 움직임 정보 부호화 모드 판단부, 머지 모드 움직임 정보 복호화부, AMVP 모드 움직임 정보 복호화부, 예측블록 생성부, 잔차 블록 복호화부 및 복원블록 생성부를 더 포함할 수 있다.
움직임 정보는 참조 픽쳐 인덱스와 움직임 벡터를 포함한다. 참조 픽쳐 인덱스는 이전에 부호화되어 복원된 픽쳐 중 어느 하나를 나타낸다.
현재 블록이 단방향 인터 예측 부호화되는 경우에는 리스트 0(L0)에 속하는 참조 픽쳐들 중의 어느 하나를 나타낸다. 반면에, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0(L0)의 참조 픽쳐들 중 하나를 나타내는 참조픽쳐 인덱스와 리스트 1(L1)의 참조 픽쳐들 중의 하나를 나타내는 참조픽쳐 인덱스를 포함할 수 있다.
또한, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0과 리스트 1을 결합하여 생성된 복합 리스트(LC)의 참조 픽쳐들 중의 1개 또는 2개의 픽쳐를 나타내는 인덱스를 포함할 수 있다.
움직임 벡터는 각각의 참조픽쳐 인덱스가 나타내는 픽쳐 내의 예측 블록의 위치를 나타낸다. 움직임 벡터는 화소단위(정수단위)일수도 있으나, 서브화소단위일 수도 있다.
예를 들어, 1/2, 1/4, 1/8 또는 1/16 화소의 해상도를 가질 수 있다. 움직임 벡터가 정수단위가 아닐 경우에는 예측 블록은 정수 단위의 화소들로부터 생성된다.
디멀티플렉서는 수신된 비트스트림으로부터 현재 부호화된 움직임 정보와 부호화된 잔차 신호들을 역다중화한다. 디멀티플렉는 상기 역다중화된 움직임 정보를 움직임 정보 부호화 모드 판단부로 전송하고, 역다중화된 잔차신호를 잔차블록 복호화부로 전송한다.
움직임 정보 부호화 모드 판단부는 현재 블록의 움직임 정보 부호화 모드를 판단한다. 움직임 정보 부호화 모드 판단부는 수신된 비트스트림의 skip_flag에 따라, 현재 블록의 움직임 정보 부호화 모드를 판단할 수 있다. 움직임 정보 부호화 모드는 스킵 모드, 머지 모드, AMVP(advanced motion vector prediction) 모드 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
스킵 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 스킵 후보자가 존재하고, 잔차신호가 0인 경우에 적용될 수 있다. 또한, 스킵 모드는 현재 블록이 코딩 유닛과 사이즈가 같을 때 적용될 수 있다. 현재 블록은 예측 유닛으로 볼 수 있다.
머지 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 머지 후보자가 존재할 때 적용될 수 있다. 머지 모드는 현재 블록이 코딩 유닛과 사이즈가 다르거나, 사이즈가 같을 경우에는 잔차 신호가 존재하는 경우에 적용된다. 머지 후보자와 스킵 후보자는 동일할 수 있다.
AMVP 모드는 스킵 모드 및 머지 모드가 적용되지 않을 때 적용될 수 있다. 현재 블록의 움직임 벡터와 가장 유사한 움직임 벡터를 갖는 AMVP 후보자를 AMVP 예측자로 선택하는 모드를 의미할 수 있다.
그리고, 예측블록 생성부는 복원된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성한다. 움직임 벡터가 정수 단위일 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성할 수 있다.
그러나, 움직임 벡터가 정수 단위가 아닐 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐내의 정수 단위 화소들로부터 예측 블록의 화소들을 생성할 수 있다다. 이 경우, 휘도 화소의 경우에는 8탭의 보간 필터를 사용하여 예측 화소를 생성할 수 있으며, 색차 화소의 경우에는 4탭 보간 필터를 사용하여 예측 화소를 생성할 수 있다.
잔차 블록 복호화부는 잔차신호를 엔트로피 복호화한다. 그리고, 엔트로피 복호화된 계수들을 역스캐닝하여 2차원의 양자화된 계수 블록을 생성한다. 역스캐닝 방식은 엔트로피 복호화 방식에 따라 달라질 수 있다.
즉, CABAC 기반으로 복호화된 경우와 CAVLC 기반으로 복호화된 경우의 인터 예측 잔차신호의 역스캐닝 방식이 달라질 수 있다. 예를 들어, CABAC 기반으로 복호화된 경우에는 대각선 방향의 래스터 역스캔 방식으로, CAVLC 기반으로 복호화된 경우에는 지그재그 역스캔 방식이 적용될 수 있다.
또한, 예측 블록의 크기에 따라 역스캐닝 방식이 달리 결정될 수도 있다.
잔차블록 복호화부는 생성된 계수블록을 역양자화 매트릭스를 이용하여 역양자화한다. 상기 양자화 매트릭스를 유도하기 위해 양자화 파리미터를 복원한다. 양자화 스텝 사이즈는 미리 정해진 크기 이상의 코딩 유닛별로 복원된다. 상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다.
잔차블록 복호화부는 상기 역양자화된 계수 블록을 역변환하여 잔차블록을 복원하며, 복원블록 생성부는 상기 예측블록 생성부에 의해 생성된 예측블록과 상기 잔차블록 복호화부에 의하여 생성된 잔차블록을 더하여 복원블록을 생성할 수 있다.
이와 같은 방식으로 복원된 현재 블록의 예측 블록과 복호화한 현재 블록의 잔차 블록을 이용하여 현재 블록이 복원되며, 이는 다시 필터링 및 압축되어 프레임 버퍼 메모리(150)에 저장될 수 있고, 다시 움직임 보상부(170)로 역압축되어 전달되거나, 출력부(190)로 출력될 수 있다.
출력부(190)는 프레임 버퍼 메모리(150)로부터 출력되는 데이터를 처리하여 디스플레이하거나 외부로 전송할 수 있다. 출력부(190)에서 처리된 영상 신호, 데이터 신호, OSD 신호 등은 각각 R,G,B 신호로 변환되여 구동 신호로 생성될 수 있다.
또한, 출력부(190)는 압축부(140)에서 압축 처리된 데이터를 영상 신호로 재구성하기 위한 컨버터를 더 포함할 수 있다. 출력부(190)는 컨버팅된 영상 신호를 디스플레이하기 위한 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등을 포함할 수 있다.
도 2는 본 발명의 다른 일 실시 예에 따른 동영상 복호화 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 본 발명의 다른 일 실시 예에 따른 동영상 복호화 장치(100)는 엔트로피 복호화부(110), 역양자화/역변환부(120), 가산기(180), 필터링부(130), 압축부(140), 프레임 버퍼 메모리(150), 역압축부(160), 움직임 보상부(170) 및 출력부(190)를 구비하며, 비압축 처리부(195)를 더 구비할 수 있다.
도 2의 경우, 압축부(140), 비압축 처리부(195) 및 출력부(190)를 제외한 나머지 구성 요소들은 앞서 도 1에서 설명한 바와 유사한 동작을 수행하므로 구체적인 설명을 생략할 수 있다.
도 2에 도시된 바와 같이, 본 발명의 다른 일 실시 예에서 구비되는 비압축 처리부(195)는 필터링부(130)에서 필터링된 영상을 압축부(140)를 거치지 않고 직접 출력부(190)로 전달할 수 있다.
특히, 비압축 처리부(195)는 복호화 및 필터링 과정을 거친 영상 프레임을 라인별(LINE BY LINE) 쓰기 방식으로 출력부(190)로 전달할 수 있다. 이를 위해, 비압축 처리부(195)는 별도의 버퍼 메모리를 포함할 수 있으며, 데이터의 버스트 길이는 64byte 또는 128byte 등으로 미리 지정될 수 있다.
이와 같이 압축되지 않은 순정의 YUV 영상 신호가 출력부(190)로 전달되면, 출력부(190)는 역압축 처리를 수행하지 않고도 디스플레이 등을 통해 바로 출력을 수행할 수 있게 된다. 또한, 출력부(190)는 순정 YUV 영상 신호를 이용하여 스케일링 등의 후 처리를 용이하게 수행할 수 있어 활용 범위가 넓어 질 수 있다.
따라서, 도 2의 실시 예에서는 출력부(190)에는 별도의 역압축 프로세서가 포함되지 않을 수 있으며, 압축부(140)는 움직임 보상에 사용되는 참조 프레임만 압축하여 프레임 버퍼 메모리(150)에 저장함으로써 동영상 처리 효율을 향상시킬 수 있다.
이하에서는 상기한 바와 같은 동영상 부호화 장치의 압축 처리 구성에 대해 상세히 설명하기로 한다.
본 발명의 일 실시 예에 따르면, 압축부(140)는 픽처 버퍼부(141), 블록 분할부(142), 압축 수행부(143), 패키징부(144), 압축 데이터 관리부(145), 압축 플래그 생성부(146), 그룹 식별자 생성부(147) 및 시작 오프셋 생성부(148)를 포함한다.
픽처 버퍼부(141)는 필터링부(130)로부터 필터링되어 출력되는 영상 신호를 수신하고, 프레임별로 버퍼에 저장할 수 있다.
블록 분할부(142)는 픽처 버퍼부로부터 각각의 프레임을 획득하고, 획득된 프레임을 미리 설정된 압축 유닛의 사이즈 따라 복수 개의 압축 블록으로 분할한다. 본 발명의 실시 예에서, 압축 유닛의 사이즈는 고정될 수 있으며, 각 프레임은 예를 들어 가로 16 픽셀 x 세로 4 픽셀의 블록들로 분할될 수 있다.
압축 수행부(143)는 각 블록에 대한 압축 여부를 결정하고, 압축으로 결정된 블록에 대해 무손실 압축을 수행한다.
특히, 본 발명의 실시 예에 따르면, 압축 수행부(143)는 각각의 분할된 블록에 대해 무손실 압축 또는 무압축 중 어느 하나를 처리 방식으로 선택할 수 있다.
예를 들어, 압축 수행부(143)는 압축 방식으로 DPCM 엔트로피 코딩 방식과 같이, 무손실 가변 길이 압축 방식을 선택할 수 있다.
그러나, 압축 수행부(143)는 가변 길이 압축된 데이터와 무압축 데이터의 크기를 비교하여 가변 길이 압축된 데이터가 큰 경우에는 무압축 방식을 선택할 수 있다.
이와 같이, 압축 수행부(143)에서는 각각 블록 별 특성에 따라 서로 다른 압축 방식이 적용될 수 있으며, 경우에 따라서는 무압축 처리하는 경우도 발생할 수 있다.
또한, 압축 수행부(143)는 압축 또는 무압축 방식 중 최선의 대역폭 효율을 가져오는 방식을 선택할 수 있다. 특히, 압축 수행부(143)는 종래의 손실 압축 등으로 인한 퀄리티 감소와 연산량 증가로 인한 대역폭 효율 감소를 개선하기 위해, 압축 정도와 관계 없이 대역폭 감소량만을 최대화하는 방식을 선택할 수도 있다.
이에 따라 압축 수행부(143)에서는 현재 블록에 대한 압축 여부 정보를 압축 플래그 생성부(146)로 전달할 수 있다.
그러면, 압축 플래그 생성부(146)는 현재의 블록에 대해 압축 여부를 나타내는 압축 플래그를 생성할 수 있다. 압축 플래그는 예를 들어, 압축 여부를 나타내는 1 비트의 플래그 형태를 가질 수 있다. 압축 플래그는 각각의 블록에 대응될 수 있으며, 그룹 식별자 생성부로 전달될 수 있다.
한편, 패키징부(144)는 압축 수행부(143)에서 각 블록 별로 압축된 데이터를 그룹화하고, 패키징을 수행한다.
패키징부(144)는 압축된 블록들을 하나의 라인으로 배열하고, 프레임 버퍼 메모리(150)의 버스트 길이 기반 단위로 그룹화를 수행할 수 있다. 본 발명의 패키징부(144)에서 그룹화된 각각의 압축 블록 셋은 버스트 그룹(BURST GROUP, BG)이라고 칭할 수 있다.
예를 들어, 버스트 길이는 128byte 일 수 있다. 이 경우 패키징부(144)는 압축된 블록들이 버스트 길이의 128byte 단위 그룹에 포함되도록 그룹화하여 패키징을 수행할 수 있다.
그리고, 패키징부(144)는 패키징된 텍스처 데이터를 버스트 그룹 단위별로 압축 데이터 관리부(145)로 전달한다. 압축 데이터 관리부(145)는 버스트 그룹 단위별로 프레임 버퍼 메모리(150)에 대한 쓰기를 수행할 수 있다. 이에 따라 가변 길이 압축에 따른 대역폭 변화율이 줄어들 수 있다. 또한, 무손실 압축의 압축 효율은 유지되므로 패키징부(144)는 시스템 안정성을 유지하면서도 대역폭 효율이 향상된 상태(또는 소모되는 대역폭이 감소된 상태)로 유지시킬 수 있다.
또한, 패키징부(144)는 패키징 수행에 따라 각 블록이 속한 그룹 및 그 그룹 내 위치를 나타내는 패키징 정보를 생성하고, 그룹 식별자 생성부(147)로 전달할 수 있다.
그룹 식별자 생성부(147)는 패키징 정보로부터 현재 처리된 블록이 속한 그룹을 나타내는 그룹 식별자를 생성할 수 있다. 그룹 식별자는, 예를 들어 8비트의 버스트 그룹 식별자(burst group ID)를 포함할 수 있다.
그리고, 버스트 그룹 식별자는 프레임 버퍼 메모리(150)의 특정 베이스 어드레스에 대한 각 그룹의 상대적인 위치를 나타낼 수 있다.
한편, 시작 오프셋 생성부(148)는 패키징 정보에 기초하여 현재 블록의 그룹 내 시작 위치를 나타내는 시작 오프셋 정보를 생성할 수 있다. 오프셋 정보는, 예를 들어 7비트의 시작 바이트 오프셋(start byte offset) 정보를 포함할 수 있다. 시작 바이트 오프셋 정보는 각 블록의 상대적인 시작 위치를 나타낼 수 있다.
한편, 압축 플래그 생성부(146), 그룹 식별자 생성부(147) 및 시작 오프셋 생성부(148)는 각각 현재 블록에 대한 압축 플래그, 그룹 식별자 및 시작 오프셋 정보를 압축 데이터 관리부(145)로 전달할 수 있다.
그리고, 압축 데이터 관리부(145)는 압축 플래그, 그룹 식별자 및 오프셋 정보를 결합하여 룩업 테이블 정보를 생성하고, 룩업 테이블 정보를 프레임 버퍼 메모리(150)에 기록할 수 있다.
보다 구체적으로, 압축 데이터 관리부(145)는 각각의 블록에 대응되는 룩업 테이블 정보를 생성할 수 있다. 압축 데이터 관리부(145)는 1비트의 압축 플래그, 8비트의 그룹 식별자 및 7비트의 오프셋 정보를 이용하여 2byte의 룩업 테이블 정보를 생성할 수 있다.
이와 같이 생성된 룩업 테이블 정보 및 패키징된 데이터는 각각 프레임 버퍼 메모리(150)에 기록될 수 있다. 앞서 설명한 바와 같이, 패키징된 데이터는 버스트 길이 단위로 프레임 버퍼 메모리(150)에 기록될 수 있다.
그리고, 압축 데이터 관리부(145)는 2byte의 룩업 테이블 정보가 버스트 길이 단위로 누적될 때(예를 들어, 64개의 블록에 대한 128byte의 룩업 테이블 정보가 누적된 경우), 프레임 버퍼 메모리(150)에 기록할 수 있다. 따라서, 룩업 테이블 정보의 기록 단위가 메모리의 버스트 길이 단위로 유지될 수 있다. 이에 따라 향상된 대역폭이 변동 없이 유지될 수 있으며, 시스템 안정성을 가져올 수 있다.
즉, 본 발명의 실시 예에서, 패키징부(144)에서의 압축된 텍스처 블록의 패키징 단위와 룩업 테이블 정보의 기록 단위는 동일할 수 있다. 또한, 각 단위는 프레임 버퍼 메모리(150)의 버스트 길이에 해당할 수 있다. 이와 같은 구성에 의해 대역폭 효율의 향상을 가져올 수 있다.
또한, 압축 데이터 관리부(145)는 현재 블록에 대한 룩업 테이블 정보를 생성하기 위해 이전 블록에 대한 룩업 테이블 정보를 참조할 수 있다. 이 경우, 같은 그룹에 속한 블록의 경우 동일한 데이터는 반복 처리하지 않을 수 있으므로 데이터 처리량을 감소시킬 수 있다.
그리고, 프레임 버퍼 메모리(150)는 이와 같이 구성된 압축부(140)에서 출력되는 데이터를 기록한다. 특히, 압축 데이터 관리부(145)는 프레임 버퍼 메모리(150)에 기록되는 데이터를 제어 및 관리할 수 있다.
이에 따라, 프레임 버퍼 메모리(150)는 패키징된 압축 텍스처 블록들을 프레임별로 저장 및 유지할 수 있으며, 각 프레임에 대응되는 룩업 테이블 정보를 별도로 저장 및 유지할 수 있다.
또한, 룩업 테이블 정보는 16x4 블록당 2byte의 정보를 포함할 수 있다. 일 실시 예에서, 룩업 테이블 정보는 버스트 그룹 식별 정보와 시작 오프셋 정보를 포함할 수 있으며, 이는 프레임 버퍼 메모리(150)에서의 전체 어드레스 아닌 미리 설정된 각 버스트 그룹에 대응되는 베이스 어드레스에서부터의 오프셋을 나타낼 수 있다.
여기서, 각 버스트 그룹에 대응되는 베이스 어드레스에 대한 정보는 역압축부(160) 및 압축부(140)가 각각 따로 저장 및 관리할 수 있다. 따라서, 역압축부(160)에서 프레임 버퍼 메모리(150)에 엑세스하기 위해, 전체 메모리 어드레스를 필요로 하지 않게 된다.
이에 따라, 역압축부(160)는 프레임 버퍼 메모리(150)로부터 룩업 테이블 정보만 수신하여도 특정 블록에 빠르게 엑세스할 수 있다.
또한, 버스트 그룹 식별자와 이에 대응되는 베이스 어드레스들을 미리 설정해 놓고, 이와 연관된 룩업 테이블 정보만을 송수신함에 따라, 메모리 어드레스의 전체 값 송수신에 따른 오버헤드가 줄어들게 되므로, 데이터 처리 효율 향상 및 대역폭 감소 효과를 얻을 수 있다.
한편, 프레임 버퍼 메모리(150)에 포함된 룩업 테이블 정보는 역 압축부(160)로 전달될 수 있으며, 역 압축부(160)는 룩업 테이블 정보를 참조하여 프레임 버퍼 메모리(150)의 특정 위치에 엑세스함으로써, 움직임 보상부(170)의 요청에 따른 랜덤 액세스를 수행할 수 있다. 이를 위해, 역 압축부(160)는 룩업 테이블 정보를 프레임 버퍼 메모리(150)로 요청하고, 이를 저장 및 관리하는 제1 캐시를 포함할 수 있다.
보다 구체적으로, 역 압축부(160)는 움직임 보상부(170)의 요청에 따라 특정 프레임을 식별하면, 룩업 테이블 정보를 참조하여 그 프레임에 대응되는 블록들의 그룹 식별 정보, 시작 오프셋 정보 및 압축 플래그를 획득할 수 있다.
또한, 역 압축부(160)는 그룹 식별 정보 및 시작 오프셋 정보에 기초하여 각 블록들에 대응되는 프레임 버퍼 메모리(150)의 특정 어드레스에 바로 엑세스할 수 있다. 이에 따라, 본 발명의 실시 예에서는 종래의 압축 방식 등에서 특정 블록을 찾는 데 많은 시간을 소비하는 문제점을 극복하고, 대역폭 저감 효과를 유지하면서도 고속의 처리가 가능하게 된다.
그리고, 역 압축부(160)는 압축 플래그에 따라 텍스처 블록의 압축 해제 여부를 판단하고, 필요한 경우 압축 해제를 수행할 수 있다. 역 압축부(160)는 압축 해제된 블록들을 재구성하여 움직임 보상부(170)에서 요청한 프레임 데이터를 생성하고, 이를 움직임 보상부(170)로 전달할 수 있다.
이후, 움직임 보상부(170)는 앞서 설명한 바와 같은 움직임 벡터 정보에 기초하여 예측 블록을 생성하고, 가산부(180)로 전달하여 움직임 보상을 통한 영상의 복호화를 순차적으로 진행시킬 수 있다.
이하에서는 본 발명의 실시 예에 따른 동영상 처리 방법을 도 4 내지 도 8을 참조하여 설명한다.
도 4는 본 발명의 실시 예에 따른 동영상 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 4를 참조하면, 먼저 동영상 처리 장치(100)는 인코딩된 영상 데이터를 포함하는 비트스트림을 수신하고, 엔트로피 복호화를 수행한다(S100).
그리고, 동영상 처리 장치(100)는 엔트로피 복호화된 영상 데이터에 대해 역양자화 및 역변환을 수행한다(S110).
앞서 설명한 바와 같이, 엔트로피 복호화부(110)는, 동영상 부호화 장치로부터 전송되는 부호화 비트 스트림을 복호하여, 인트라 예측 모드 인덱스, 움직임 정보, 양자화 계수 시퀀스 등으로 분리할 수 있다. 엔트로피 복호화부(110)는 복호된 움직임 정보를 움직임 보상부(170)에 공급할 수 있으며, 또한, 엔트로피 복호화부(110)는 역양자화 계수 시퀀스를 역양자화/역변환부(120)로 공급할 수 있다.
역양자화/역변환부(120)는 양자화 계수 시퀀스를 2차원 배열의 역양자화 계수로 변환하고, 현재 블록의 예측모드(즉, 인트라 예측 및 인터 예측 중의 어느 하나)와 인트라 예측 모드 중 적어도 하나에 기초하여 복수개의 스캐닝 패턴 중 하나를 선택하고, 상기 2차원 배열의 역양자화 계수에 복수개의 양자화 매트릭스 중 선택된 양자화 매트릭스를 이용하여 양자화 계수를 복원한다. 그리고, 역양자화/역변환부(120)는 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원한다.
이후, 동영상 처리 장치(100)는 잔차 블록과 예측 블록을 이용하여 영상을 복원하고, 필터링을 수행한다(S120).
앞서 설명한 바와 같이, 가산기(180)는 역양자화/역변환부(120)에 의해 복원된 잔차 블록과 인트라 예측부 또는 움직임 보상부(170)에 의해 생성되는 예측 블록을 가산함으로써, 영상 블록을 복원할 수 있으며, 필터링부(130)는 가산기(180)에 의해 생성된 복원 영상에 필터 처리를 수행할 수 있다. 구체적인 필터링 방법은 앞서 설명한 바와 같다.
이후, 동영상 처리 장치(100)는 필터 처리된 프레임에 대해 블록별 분할을 수행한다(S130).
압축부(140)는 필터링부(130)에서 필터 처리된 영상 프레임 텍스처를 압축 및 패키징하여 프레임 버퍼 메모리(150)에 기록하기 위해, 영상 프레임의 블록별 분할을 수행할 수 있다.
그리고, 동영상 처리 장치(100)는 분할된 각 블록별 압축여부 및 압축 방식을 결정하고(S140), 결정된 방식에 따라 각 블록에 대한 압축을 수행하며(S150), 압축 수행된 텍스처 블록들에 대해 패키징을 수행한다(S160).
이후, 동영상 처리 장치(100)는 룩업 테이블 정보 및 패키징된 데이터를 프레임 메모리에 저장한다(S170).
이후, 동영상 처리 장치(100)는 움직임 보상부(170)의 참조 프레임 요청에 따라 룩업 테이블 정보 및 패키징된 데이터를 역압축부(160)로 전달한다(S180).
그리고, 동영상 처리 장치(100)는 역압축부(160)에서 룩업 테이블 정보를 이용하여 해당 프레임을 구성하는 블록들에 랜덤 엑세스하며, 역압축 수행 및 프레임 재구성을 거쳐 참조 프레임을 획득한다(S190).
그리고, 동영상 처리 장치(100)는 획득된 참조 프레임을 움직임 보상부(170)로 전달한다(S195).
도 5는 본 발명의 실시 예에 따른 블록 분할부를 보다 상세하게 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 블록 분할부(142)는 분할구조 결정부(1421), 바운더리 패딩부(1422), 블록분할 처리부(1423)를 포함한다.
분할구조 결정부(1421)는 픽쳐 버퍼부(141)로부터 출력되는 픽쳐(PICTURE) 의 데이터를 수신하고, 수신된 픽쳐의 데이터를 분석하여 분할 구조를 결정한다. 본 발명의 실시 예에서, 분석 대상 픽쳐는 하나의 비디오 프레임을 구성하는 하나의 이미지에 대응될 수 있다. 분석 대상 픽쳐는 이를 구성하는 각 픽셀의 Y 값, Cr 값 및 Cb 값 데이터를 포함할 수 있다.
분할구조 결정부(1421)는 픽쳐를 분석하고, 픽쳐의 가로 및 세로 길이를 식별할 수 있다. 그리고, 분할구조 결정부(1421)는 식별된 픽쳐의 가로 길이 및 세로 길이에 기초하여 분할구조를 결정할 수 있다. 특히, 분할구조 결정부(1421)는 미리 설정된 블록 단위를 이용하여, 픽쳐의 가로 길이와 세로 길이를 상기 블록 단위로 나눌 수 있는 분할구조를 결정할 수 있다.
예를 들어, 블록 단위는 16 x 4 픽셀 의 크기를 가질 수 있다. 분할구조 결정부(1421)는 전체 픽쳐의 가로 길이를 16 픽셀 단위로 구획하고, 세로 길이를 4 픽셀 단위로 구획하여 복수 개의 블록으로 분할되도록 분할 구조를 결정할 수 있다.
또한, 분할구조 결정부(1421)는 픽쳐 크기가 블록 단위 크기의 배수인지를 판단할 수 있다. 픽쳐 크기는 해상도에 따라 다양할 수 있으므로, 픽쳐의 크기는 블록 단위 크기의 배수가 아닐 수 있다.
여기서, 픽쳐의 크기가 블록 단위(16 x 4 픽셀) 크기의 배수가 아닌 경우에는 가장자리 분할 부분의 크기가 블록 단위의 크기보다 작을 수 있다. 따라서, 분할구조 결정부(1421)는 그 가장자리 부분을 포함한 블록 단위의 크기를 갖는 바운더리 블록을 결정할 수 있다. 분할구조 결정부(1421)는 바운더리 블록에 대한 정보를 바운더리 패딩부(1422)로 전달할 수 있다.
한편, 픽쳐 크기가 블록 단위 크기의 배수인 경우 분할구조 결정부(1421)가 분할 구조를 결정하면, 분할 구조 정보를 생성할 수 있다. 분할 구조 정보에 따라 블록분할 처리부(1423)는 픽쳐에 대한 분할을 수행하여 분할된 텍스쳐 블록들을 각각 압축 수행부(143)로 전달할 수 있다.
그러나, 픽쳐의 크기가 블록 단위 크기의 배수가 아닌 경우, 분할구조 결정부(1421)는 블록 단위 크기와 상이하게 분할되는 부분을 포함하는 바운더리 블록에 대한 정보를 바운더리 패딩부(1422)로 전달할 수 있다.
예를 들어, 픽쳐의 가로 크기가 1610 픽셀인 경우, 좌측 상단 픽셀을 기준으로 16x4 블록 단위로 분할하면, 가로측 가장자리 (가로 10픽셀 x 픽쳐의 세로 길이) 분할 부분은 블록 단위 크기에 맞지 않는다. 분할구조 결정부(1421)는 이 가장자리 부분을 포함하는 바운더리 블록들을 분할 구조로 결정하고, 이에 대한 정보를 바운더리 패딩부(1422)로 전달할 수 있다.
바운더리 패딩부(1422)는 바운더리 블록에 대한 정보를 수신하면, 블록 단위 별로 각 바운더리 블록에 대한 패딩을 수행한다.
여기서, 바운더리 패딩부(1422)는 분할구조 결정부에서 전달된 바운더리 블록에 대한 정보에 기초하여 패딩을 수행할 수 있다. 바운더리 블록은, 앞서 설명한 픽쳐의 가장자리 부분 및 비 픽쳐 영역을 포함할 수 있다. 그리고, 바운더리 패딩부(1422)는 비 픽쳐 영역에 미리 결정된 특정 픽셀들을 삽입함으로써 패딩을 수행할 수 있다.
특히, 바운더리 패딩부(1422)는 한 방향으로 패딩되는 픽셀들의 값을 바운더리 블록의 가로(또는 세로) 경계에 해당하는 픽셀 값과 동일한 값으로 설정할 수 있다. 이에 따라, 바운더리 블록의 비 픽쳐 영역에는 가로(또는 세로) 방향으로 바운더리 블록의 가로(또는 세로) 바운더리 픽셀 값과 동일한 값을 갖는 픽셀들이 패딩될 수 있다.
이와 같은 바운더리 패딩부(1422)의 동작에 따라, 바운더리 블록도 블록 유닛 크기의 텍스처 데이터를 가지게 됨으로써, 영상 처리 장치(100)는 동일한 크기의 블록 유닛을 지속적으로 압축 및 역압축 처리할 수 있다. 이는 텍스처 사이즈의 가변 폭을 줄어들게 하며, 이에 따라 대역폭 효율이 더 향상될 수 있다.
또한, 본 발명의 실시 예는 패딩되는 픽셀의 값을 픽쳐의 가로 또는 세로 경계 값으로 설정함에 따라, 가로 또는 세로 방향 잔차 신호가 0이 되도록 함으로써 DPCM 부호화를 이용한 압축 효율을 향상시킬 수 있게 된다.
그리고, 패딩이 완료되면, 바운더리 패딩부(1422)는 이를 블록 분할 처리부(1423)로 전달하거나, 분할구조 결정부(1421)로 전달할 수 있다.
한편, 블록분할 처리부(1423)는 분할구조 결정부(1421) 또는 바운더리 패딩부(1422)로부터 바운더리 패딩된 픽쳐 또는 원본 픽쳐를 복수의 블록 유닛으로 분할할 수 있다. 그리고, 복수의 블록 유닛들은 모두 동일한 크기를 가질 수 있다. 분할된 복수의 블록들은 순차적으로 압축 수행부(143)로 전달될 수 있다.
도 6은 본 발명의 실시 예에 따른 블록 분할부의 동작을 보다 구체적으로 설명하기 위한 흐름도이다.
먼저, 블록 분할부(142)는 분할 구조를 결정하고, 분할 구조 정보를 생성한다(S200).
그리고, 블록 분할부(142)는 픽쳐의 가로 또는 세로 크기가 미리 설정된 블록 단위 크기의 배수인지를 판단한다.
앞서 설명한 바와 같이, 분할구조 결정부(1421)는 픽쳐 버퍼로부터 수신되는 픽처에 기초하여 픽처의 가로 및 세로 크기를 판단할 수 있다. 그리고, 판단된 가로 또는 세로의 크기가 분할 블록 단위의 배수인지 판단할 수 있다.
분할 블록 단위의 배수가 아닌 경우, 블록 분할부(142)는 바운더리 블록을 결정한다(S203).
분할구조 결정부(1421)는 분할 블록 단위의 배수가 아닌 경우, 그 픽쳐를 분할 블록 단위로 분할할 때 남게 되는 분할 블록 단위 크기보다 작은 부분을 바운더리 영역으로 판단하고, 그 바운더리 영역을 포함하는 분할 블록 단위 영역을 바운더리 블록으로 결정할 수 있다. 따라서, 바운더리 블록에는 픽처의 바운더리 영역과 비 픽처 영역이 함께 포함될 수 있다.
그리고, 블록 분할부(142)는 바운더리 블록 내에서 픽쳐의 경계 픽셀을 검출한다(S205).
바운더리 패딩부(1422)는 분할구조 결정부(1421)으로부터 바운더리 블록 정보를 획득할 수 있다. 바운더리 블록 정보는 바운더리 블록의 위치 및 바운더리 영역과 비 픽쳐 영역에 대한 식별 정보를 포함할 수 있다.
그리고, 바운더리 패딩부(1422)는 바운더리 블록 정보에 기초하여 바운더리 블록 내에서 픽쳐의 경계에 해당하는 픽셀을 검출할 수 있다. 여기서, 경계 픽셀은 가로 또는 세로 길이에 따라 복수개의 픽셀들을 포함할 수 있다.
이후, 블록 분할부(142)는 블록 내 비 픽쳐 영역에 대해 상기 경계 픽셀에 기초한 패딩을 수행한다(S207).
앞서 설명한 바와 같이, 바운더리 패딩부(1422)는 바운더리 블록 내 비 픽쳐 영역에 대해 경계 픽셀과 동일한 값으로 패딩할 수 있다. 이와 같은 패딩을 통해 가로 또는 세로 방향 잔차 신호가 0이 되도록 함으로써 DPCM 부호화를 이용한 압축 효율을 향상시킬 수 있게 된다.
그리고, 블록 분할부(142)는 분할 구조 정보에 따라 픽쳐를 분할하여 블록 단위로 압축 수행부(143)로 출력한다.
도 7은 본 발명의 실시 예에 따라 분할된 블록의 압축 과정을 설명하기 위한 흐름도이다.
도 7을 참조하면, 압축 수행부(143)는 먼저 블록을 획득한다(S301).
블록 분할부(142)에서 분할된 각각의 텍스처 블록들은 순차적으로 압축 수행부(143)로 전달될 수 있다. 압축 수행부(143)는 수신된 각각의 블록들에 대해 서로 다른 방식으로 압축을 수행할 수 있다.
이를 위해, 압축 수행부(143)는 먼저 수평 스캔을 통해 제1 잔차 신호를 획득한다(S303).
예를 들어, 압축 수행부(143)는 수평 스캔을 위해, 픽쳐의 (y, x) 좌표의 픽셀 값을 버퍼에 할당하고, 수평 스캔 순서에 따라 다음 픽셀(y, x-1)과의 차이값을 연산하여 그 연산된 값으로 상기 버퍼를 갱신할 수 있다. 이를 블록의 각 픽셀에 따라 수행하면, 수평 스캔된 제1 잔차 신호가 생성될 수 있다.
이후, 압축 수행부(143)는 수직 스캔을 통해 제2 잔차 신호를 획득한다(S303).
예를 들어, 압축 수행부(143)는 수평 스캔된 제1 잔차 신호의 (y, x)좌표 픽셀 값을 버퍼에 할당하고, 수직 스캔 순서에 따라 다음 픽셀(y-1, x)과의 차이값을 연산하여 그 연산된 값으로 상기 버퍼를 갱신할 수 있다. 이에 따라 블록에 대응하여 수직 스캔된 제2 잔차 신호가 생성될 수 있다.
그리고, 압축 수행부(143)는 제2 잔차 신호에 대해 적용할 코드워드를 결정한다(S307).
압축 수행부(143)는 무손실 압축을 위해, 복수의 코드워드 중 어느 하나를 이용한 가변 길이 부호화를 수행할 수 있다. 복수의 코드워드는 차수가 서로 상이한 복수의 지수 골룸 코드(Exponential golomb code)를 포함할 수 있다. 압축 수행부(143)는 복수의 코드워드들 중 현재 블록에 대해 적용시 가장 대역폭 효율이 좋은 코드워드를 결정할 수 있다. 예를 들어, 압축 수행부(143)는 대역폭 효율에 기초하여 3차 지수 골룸 코드를 부호화 코드워드로 결정할 수 있다.
이후, 압축 수행부(143)는 결정된 코드워드에 기초하여 부호화를 수행한다(S309). 그리고, 압축 수행부(143)는 대역폭 효율이 비압축의 경우와 비교하여 증가하였는지 판단한다(S311).
가변 길이 부호화의 경우, 부호화를 수행하더라도, 데이터를 메모리에 읽고 쓰는데 필요한 대역폭이 증가될 수도 있다. 따라서, 본 발명의 실시 예에서는 현재 블록을 비압축한 경우와 비교하여 대역폭 효율 증가 여부를 판단할 수 있다.
대역폭 효율이 증가하는 경우 압축 수행부(143)는 압축된 블록을 출력한다(S313). 그리고, 대역폭 효율이 증가하지 않은 경우 압축 수행부(143)는 비압축된 블록을 출력한다(S315).
도 8은 본 발명의 실시 예에 따른 블록 패키징 과정을 설명하기 위한 흐름도이다.
패키징부(144)는 압축 또는 비압축된 블록들을 획득하고, 메모리의 버스트 길이에 맞추어 블록들을 패키징 할 수 있다. 또한, 패키징부(144)는 패키징에 따른 룩업 테이블 정보를 생성하고, 다른 모듈로 전달할 수 있다.
패키징부(144)는 먼저 압축 또는 비압축된 제1 블록을 획득한다(S400).
그리고, 패키징부(144)는 현재 블록 버퍼에 누적된 블록들의 데이터량과 제1 블록의 데이터량의 합이 메모리의 버스트 길이보다 큰지 판단한다(S401).
패키징부(144)는 현재 블록 버퍼에 누적된 블록들의 데이터량과 제1 블록의 데이터량의 합이 메모리의 버스트 길이보다 큰 경우, 현재 블록 버퍼에 누적된 데이터를 그룹화한다(S403).
그리고, 패키징부(144)는 그룹화된 데이터에 그룹 식별자를 할당하며, 그룹에 포함된 각 블록들에 대한 오프셋 정보를 생성한다(S405). 그룹 식별자는 메모리의 베이스 어드레스에 대응될 수 있으며, 오프셋 정보는 그룹 내 블록들의 상대적 어드레스를 나타낼 수 있다. 이와 같은 그룹 식별자와 오프셋 정보는 룩업 테이블 정보에 포함될 수 있으며, 패키징된 데이터와는 별도로 관리될 수 있다.
그리고, 패키징부(144)는 그룹화된 블록 데이터를 버스트 길이에 맞추어 패키징하고(S407), 이를 메모리로 출력하며 현재 블록 버퍼는 리셋한다(S409).
특히, 대역폭 효율 향상을 위해, 패키징부(144)는 그룹화된 블록 데이터가 버스트 길이보다 작은 경우 그룹화된 블록 데이터에 더미(DUMMY) 영역을 부가하여 버스트 길이가 되도록 패키징할 수 있다.
한편, 블록 버퍼가 리셋되거나 현재 누적된 블록 버퍼와 제1 블록의 데이터합이 버스트 길이보다 작은 경우에는 제1 블록을 블록 버퍼에 누적시킨다(S411).
도 9는 본 발명의 실시 예에 따른 역압축부(160)의 구성을 설명하기 위한 블록도이다.
도 9를 참조하면, 역압축부(160)는 픽쳐 식별부(1601), 룩업 테이블 관리부(1602), 압축 데이터 관리부(1603), 역압축 수행부(1604), 픽쳐 재구성부(1605) 및 데이터 입출력부(1606)를 포함할 수 있다.
역압축부(160)는 앞서 설명한 바와 같이, 움직임 보상부(170)의 요청에 따른 랜덤 엑세스(random access) 대상 픽쳐를 프레임 버퍼 메모리(150)로부터 획득하여 움직임 보상부(170)로 전달하는 역할을 수행할 수 있다. 따라서, 역압축부(160)는 압축 해제 모듈 또는 디컴프레서(decompressor)를 포함하는 움직임 보상를 위한 텍스처 데이터 처리부라고 할 수 있다.
픽쳐 식별부(1601)는 움직임 보상부(170)로부터 움직임 보상을 위한 데이터 요청을 수신하고, 요청에 따른 픽쳐 식별 정보를 생성하여 룩업 테이블 관리부(1602) 또는 데이터 입출력부(1606)로 전달할 수 있다.
움직임 보상을 위한 픽쳐는 예를 들어, 다음 프레임에 대한 움직임 보상을 수행하기 위한 랜덤 액세스 대상 픽쳐일 수 있으며, 움직임 보상부(170)는 랜덤 액세스 대상 픽쳐에 대한 식별 정보를 포함하는 데이터 요청을 데이터 입출력부(1606)로 전달할 수 있다. 예를 들어, 대상 픽쳐는 움직임 보상부(170)에서 처리할 현재 블록의 인터 예측에 이용 가능한 참조 픽쳐 일 수 있다. 이 때, 참조 픽쳐 리스트에 포함된 참조 픽쳐들 중에서 현재 블록의 인터 예측에 사용되는 참조 픽쳐는 참조 픽쳐 인덱스에 의해 지시될 수 있다. 즉, 참조 픽쳐 인덱스는 참조 픽쳐 리스트를 구성하는 참조 픽쳐들 중에서 현재 블록의 인터 예측에 사용되는 참조 픽쳐를 지시하는 인덱스를 의미할 수 있다.
참조 픽쳐는 단기 참조 픽쳐(Short Term Reference Picture: STRP, 이하 STRP라 함) 및 장기 참조 픽쳐(Long Term Reference Picture: LTRP, 이하 LTRP라 함)를 포함할 수 있다. 여기서, 단기 참조 픽쳐 및 장기 참조 픽쳐는 DPB(Decoded Picture Buffer)에 저장되어 있는 복원된 픽쳐일 수 있다. 단기 참조 픽쳐는 "단기 참조 픽쳐로 이용됨" 또는 "참조 픽쳐로 이용됨"으로 마킹될 수 있다(marked as "used for short-term reference" or "used for reference"). 또한, 장기 참조 픽쳐는 "장기 참조 픽쳐로 이용됨" 또는 "참조 픽쳐로 이용됨"으로 마킹될 수 있다(marked as "used for long-term reference" or "used for reference"). 일례로, 복호화 대상 픽쳐와 장기 참조 픽쳐 간의 POC 차이는 '1'부터 '224-1'까지의 범위에 해당되는 값을 가질 수 있다. 여기서, POC(Picture Order Count)는 픽쳐의 표시 순서를 나타낼 수 있다.
픽쳐 식별부(1601)는 이와 같은 참조 픽쳐 인덱스 등을 이용하여 대상 픽쳐를 식별할 수 있다.
룩업 테이블 관리부(1602)는 데이터 입출력부(1606)를 통해 룩업 테이블 정보를 프레임 메모리(150)로부터 수신 및 관리할 수 있다. 이를 위해, 룩업 테이블 관리부(1602)는 룩업 테이블을 위한 캐시(cash) 메모리를 포함할 수 있다. 또한, 캐시 메모리는 각 픽쳐 식별 정보에 대응되는 룩업 테이블 정보를 포함할 수 있다.
그리고, 룩업 테이블 관리부(1602)는 픽쳐 식별부(1601)로부터의 요청에 따라 픽쳐 식별 정보에 대응되는 특정 룩업 테이블 정보를 탐색하고, 탐색된 룩업 테이블 정보를 데이터 입출력부(1606)로 전달할 수 있다. 특정 룩업 테이블 정보는 하나의 픽쳐에 포함된 복수의 블록 유닛들에 대한 프레임 메모리(150)상 각각의 위치 정보를 포함할 수 있다. 이를 위해, 앞서 설명한 바와 같이, 룩업 테이블 정보는 그룹 식별 정보 및 오프셋 정보를 포함할 수 있다.
데이터 입출력부(1606)는 요청된 픽쳐에 대응되는 특정 룩업 테이블 정보에 기초하여 프레임 메모리(150)로부터 압축된 텍스쳐 데이터를 수신하고, 압축 데이터 관리부(1603)로 전달할 수 있다.
데이터 입출력부(1606)는 그룹 식별 정보 및 오프셋 정보에 따라 프레임 메모리(150)의 특정 위치에 직접 엑세스할 수 있어 처리 속도를 향상시킬 수 있다.
압축 데이터 관리부(1603)는 압축된 텍스처 데이터를 버퍼에 저장하고, 관리를 수행한다. 그리고, 역압축 수행부(1604)로 요청된 픽쳐에 대응되는 압축된 텍스처 데이터를 전달할 수 있다.
역압축 수행부(1604)는 룩업 테이블 정보를 이용하여 압축된 텍스처 데이터에 포함된 각 블록들의 압축여부를 판단하고, 압축된 블록들에 대한 역압축을 수행한다. 역압축 수행부(1604)는 비압축된 블록들을 픽쳐 재구성부(1605)로 바이패스 할 수 있다.
앞서 설명한 바와 같이, 룩업 테이블 정보는 압축 플래그를 포함할 수 있다. 따라서, 역압축 수행부(1604)는 룩업 테이블 정보 중 압축 플래그를 이용하여 각 블록들의 압축여부를 판단할 수 있다.
그리고, 역압축 수행부(1604)는 압축된 블록들 각각에 대해 역압축을 수행할 수 있다. 역압축 수행부(1604)는 먼저 압축된 블록에 적용된 압축 방식을 식별하고, 식별된 압축 방식을 이용하여 역압축을 수행할 수 있다. 압축 방식은 앞서 설명한 바와 같이, 복수의 코드워드 셋을 이용한 가변 길이 부호화 압축 방식들 중 어느 하나일 수 있다.
역압축 수행부(1604)가 압축된 블록의 압축 방식을 식별하기 위해, 다양한 방식의 시그널링이 이루어질 수 있다. 예를 들어, 룩업 테이블 정보가 압축에 사용된 코드워드에 대한 식별 정보를 포함할 수 있다. 또한, 압축된 블록의 데이터 특성에 따라 역압축 수행부(1604)가 압축에 사용된 코드워드를 식별할 수 있다. 그리고, 압축된 블록 데이터의 일부에 압축에 사용된 코드워드 식별 정보가 포함될 수도 있다.
그리고, 픽쳐 재구성부(1605)는 역압축 수행되거나 비압축된 블록들을 수집하고, 이를 이용하여 픽쳐를 재구성한다. 픽쳐 재구성부(1605)는 텍스처 블록 데이터를 연결하여 픽쳐에 대응되는 데이터를 생성할 수 있다. 또한, 픽쳐 재구성부(1605)는 원본 픽쳐의 사이즈를 식별하고, 패딩에 의해 부가된 텍스쳐를 제거하여 원본 픽쳐와 동일한 재구성된 픽쳐를 획득할 수 있다.
픽쳐 재구성부(1605)에서 재구성된 데이터는 움직임 보상부(170)로 전달될 수 있으며, 참조 픽쳐로 활용될 수 있다.
도 10은 본 발명의 실시 예에 따른 컨버터부(200)를 보다 상세하게 설명하기 위한 도면이다.
본 발명의 실시 예에 따르면, 도 1에 도시된 바와 같이 영상 처리 장치(100)는 컨버터부(200)를 포함할 수 있다. 프레임 메모리(150)에 압축되어 있던 텍스처는 컨버터부(200)를 통해 역압축부(160)와 상이한 방식으로 텍스처의 역압축을 수행하고, 리니어 방식으로 출력할 수 있다. 도 2의 경우에는 별도의 비압축 처리부(195)가 존재하여 텍스처를 그대로 전달할 수 있으나, 도 1과 같은 구성에서는 이와 같은 컨버터부(200)가 역압축 수행 및 출력부(190)로의 출력을 수행할 수 있다.
본 발명의 실시 예에서, 컨버터부(200)와 연결되는 출력부(190)는 디스플레이 인터페이스를 포함할 수 있으며, 출력부(190)가 디스플레이 기능을 포함하는 경우, 출력부(190)는 디스플레이부(190)라고도 할 수 있다. 디스플레이부(190)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
특히, 컨버터부(200)의 출력 시퀀스는 디스플레이부(190)의 인터페이스 포맷에 따른 래스터(raster) 순서를 가질 수 있다. 컨버터부(200)에서 출력되는 래스터 순서의 영상 신호는 출력부(190) 또는 이와 연결된 디스플레이를 통해 바로 표시될 수 있다. 이에 따라 본 발명은 프레임 버퍼 메모리(150)의 무손실 압축을 이용한 움직임 보상시 영상 처리의 대역폭 저감 효과는 유지하면서도, 프레임 버퍼 메모리(150)를 이용한 디스플레이의 경우에는 이와 상이한 컨버터부(200)를 통해 출력함으로써 영상 디스플레이 속도에 대한 영향은 최소화할 수 있게 되는 효과가 있다.
도 10에 도시된 바와 같이, 컨버터부(200)는 테이블 정보 획득부(201), 압축 데이터 획득부(203), 제2 역압축 수행부(205), 라인 버퍼부(207) 및 인터페이스 변환부(209)를 포함할 수 있으며, 본 발명의 실시 예에 따른 출력부(190)는 디스플레이 기능을 포함하는 디스플레이부(190)라고 할 수 있다.
테이블 정보 획득부(201)는 프레임 버퍼 메모리(150)로부터 룩업 테이블 정보를 획득한다.
룩업 테이블 정보는, 앞서 설명한 바와 같이 압축부(140)의 압축 및 패키징 과정에서 생성되는 압축 여부 정보, 그룹 식별 정보 및 오프셋 식별 정보를 포함할 수 있다. 테이블 정보 획득부(201)는 역압축부(160)의 경우와 달리, 최초 그룹 및 최초 오프셋으로부터 순차적으로 각 블록들에 대한 룩업 테이블 정보를 획득하고, 압축 데이터 획득부(203)로 전달할 수 있다.
그리고, 압축 데이터 획득부(203)는 획득된 테이블 정보에 기초하여, 프레임 버퍼 메모리(150)로부터 각각의 압축된 블록들을 획득한다.
압축 데이터 획득부(203)는 테이블 정보 획득부(201)에서 순차적으로 지시되는 각각의 압축 블록에 대한 테이블 정보에 기초하여 프레임 버퍼 메모리(150)에 접근할 수 있으며, 압축된 텍스쳐 블록들의 데이터를 획득할 수 있다.
제2 역압축 수행부(205)는 압축 데이터 획득부(203)에서 순차적으로 획득되는 블록들에 대한 역압축을 수행한다.
제2 역압축 수행부(205)는 룩업 테이블 정보에 기초하여 획득한 블록들의 압축 여부를 식별할 수 있으며, 압축된 블록들에 대한 역압축을 수행할 수 있다. 역압축 방식은 역압축부(160)와 동일한 방식이 사용될 수 있으며, 여러 코드워드들 중 어느 하나를 이용하는 가변 길이 역압축 방식이 사용될 수 있다.
라인 버퍼부(207)는 역압축된 데이터를 임시 저장하며, 라인별로 출력한다.
예를 들어, 라인 버퍼부(207)는 16x4 단위로 역압축된 데이터를 임시 저장할 수 있다. 라인 버퍼부(207)는 루마 및 크로마를 위한 각각의 4개 라인 버퍼를 포함할 수 있으며, 임시 저장된 데이터는 래스터(RASTER) 방향으로 인터페이스 변환부(209)로 출력할 수 있다.
도 11은 본 발명의 실시 예에 따른 라인 버퍼부(207)의 임시 저장 및 출력 방향을 설명하기 위한 도면이다.
도 11에 도시된 바와 같이, 라인 버퍼부(207)는 역압축된 블록 데이터의 순차적인 임시 저장(Buffer write) 및 래스터 방향으로의 출력(Buffer read)을 수행할 수 있다.
예를 들어, 라인 버퍼부(207)가 수평(horizontal) 4K 사이즈 포맷의 디스플레이 인터페이스를 지원할 경우, 라인 버퍼부(207)는 luma용 4Kx4 (=16K)와 chroma용 2Kx4(=8K)으로 총 24Kbyte 사이즈의 라인 버퍼를 포함할 수 있다.
본 발명의 실시 예에 따르면, 라인 버퍼부(207)는 도 11과 같이, 래스터(raster) 방향으로 buffer 데이터가 출력(read)됨과 동시에 블록들을 임시 저장(write)할 수 있다. 이와 같은 방식은 double buffer를 사용하지 않으면서도 원활한 출력을 가능하게 하여 라인 버퍼의 사이즈를 줄일 수 있게 된다.
다시 도 10을 설명한다.
인터페이스 변환부(209)는 라인 버퍼부(207)에서 래스터 방향으로 출력되는 데이터를 디스플레이부(190) 에 적합한 인터페이스 포맷으로 변환한다. 예를 들어, 역압축된 데이터가 420 포맷을 갖는 경우, 인터페이스 변환부(209)의 출력은 422 또는 444 포맷일 수 있다.
그리고, 디스플레이부(190)는 인터페이스 변환부(209)에서 출력되는 영상 신호에 기초하여 디스플레이를 수행한다.
도 12는 본 발명의 실시 예에 따른 컨버터부의 동작을 설명하기 위한 흐름도이다.
먼저, 컨버터부(200)는 프레임 버퍼 메모리(150)로부터 테이블 정보를 획득한다(S501).
앞서 설명한 바와 같이, 테이블 정보 획득부(201)는 프레임 버퍼 메모리(150)로부터 룩업 테이블 정보를 획득할 수 있다. 룩업 테이블 정보는, 앞서 설명한 바와 같이 압축부(140)의 압축 및 패키징 과정에서 생성되는 압축 여부 정보, 그룹 식별 정보 및 오프셋 식별 정보를 포함할 수 있다.
그리고, 컨버터부(200)는 테이블 정보에 기초하여 압축 데이터를 획득한다(S503).
앞서 설명한 바와 같이, 압축 데이터 획득부(203)는 획득된 테이블 정보에 기초하여, 프레임 버퍼 메모리(150)로부터 각각의 압축된 블록들을 획득할 수 있다. 압축 데이터 획득부(203)는 테이블 정보 획득부(201)에서 순차적으로 지시되는 각각의 압축 블록에 대한 테이블 정보에 기초하여 프레임 버퍼 메모리(150)에 접근할 수 있으며, 압축된 텍스쳐 블록들의 데이터를 획득할 수 있다.
이후, 컨버터부(200)는 압축 데이터에 대한 역압축을 수행한다(S505).
제2 역압축 수행부(205)는 압축 데이터 획득부(203)에서 순차적으로 획득되는 블록들에 대한 역압축을 수행할 수 있다. 제2 역압축 수행부(205)는 룩업 테이블 정보에 기초하여 획득한 블록들의 압축 여부를 식별할 수 있으며, 압축된 블록들에 대한 역압축을 수행할 수 있다. 역압축 과정은 앞서 설명한 바와 동일하므로 생략하도록 한다.
그리고, 컨버터부(200)는 역압축된 블록들을 라인 버퍼부에 순차적으로 임시 저장한다(S507).
라인 버퍼부(207)는 역압축된 데이터를 임시 저장할 수 있다.
예를 들어, 라인 버퍼부(207)는 16x4 단위로 역압축된 데이터를 임시 저장할 수 있다. 라인 버퍼부(207)는 루마 및 크로마를 위한 각각의 4개 라인 버퍼를 포함할 수 있다.
이후, 컨버터부(200)는 순차적으로 저장된 블록 데이터를 래스터 방향으로 출력한다(S509).
라인 버퍼부(207)는 라인 버퍼에 순차적으로 저장된 블록 데이터를 래스터 방향으로 출력할 수 있다. 이 때, 라인 버퍼부(207)는 라인 버퍼에 역압축된 블록 데이터가 임시 저장됨과 동시에 래스터 방향으로의 라인 출력을 수행할 수 있다. 이에 따라 작은 크기의 라인 버퍼로도 빠른 출력 속도를 유지할 수 있다.
그리고, 컨버터부(200)는 인터페이스 변환을 수행하고(S511), 디스플레이부(190)로 변환된 영상 신호를 출력한다.
인터페이스 변환부(209)는 라인 버퍼부(207)로부터 출력되는 텍스처 이미지를 디스플레이부(190)의 인터페이스 특성에 따라 영상 출력을 위한 포맷으로 변환할 수 있다.
그리고, 디스플레이부(190)는 변환된 영상 신호에 기초하여 디스플레이 제어를 수행할 수 있다.
도 13 내지 도 14는 이와 같이 분할 및 패키징되는 본 발명의 실시 예에 따른 블록 구성을 설명하기 위한 도면들이다.
도 13(A)는 블록별로 분할되는 전체 프레임을 나타낸다. 도 10(A)에 도시된 바와 같이, 각 프레임은 미리 설정된 크기의 블록들로 분할될 수 있다. 미리 설정된 크기는 가변될 수 있으며, 본 발명의 실시 예에서의 블록 크기는 16 x 4로 가정하고 설명하도록 한다. 픽처의 크기가 미리 설정된 크기의 배수가 아닌 경우에는, 가장자리에 해당하는 블록의 여분값은 가장자리 픽셀과 동일한 값으로 설정할 수 있다.
한편, 도 14에 도시된 바와 같이, 분할된 각 블록들은 선택적으로 압축될 수 있다. 여기서 압축 방식은 앞서 설명한 바와 같이, 대역폭 감소 여부를 기준으로 하여 무압축, DPCM을 이용한 가변 길이 코딩 압축 중 어느 하나의 방식으로 선택될 수 있다.
그리고, 각 압축된 블록들은 버스트 길이에 따라 각각의 그룹으로 패키징될 수 있다. 본 발명의 실시 예에서 패키징부(144)는 도 14 하단에 도시된 바와 같이 각각의 버스트 그룹(BURST GROUP) 을 지정하여 블록들을 패키징 할 수 있다. 각 버스트 그룹의 사이즈는 프레임 버퍼 메모리(150)의 버스트 길이에 대응될 수 있으며, 각 그룹에는 그룹 식별자가 할당될 수 있다.
또한, 패키징부(144)는 도 15에 도시된 바와 같이 각각의 블록에 대응되는 룩업 테이블 정보를 생성할 수 있다. 룩업 테이블 정보는 패키징된 데이터 로부터 분할된 각각의 블록 및 그 압축 여부를 식별할 수 있는 정보를 포함할 수 있다. 예를 들어, 룩업 테이블 정보는 8비트의 그룹 식별자 정보, 7비트의 시작 오프셋 정보 및 1비트의 압축 플래그를 포함하는 2byte의 데이터를 포함할 수 있다. 이와 같은 룩업 테이블 정보는 프레임 버퍼 메모리(150)에 별도 저장될 수 있다.
다시 도 13을 설명하면, 도 13(B)는 이와 같이 패키징된 데이터가 순차적으로 기록된 프레임 버퍼 메모리(150)의 저장 공간을 설명하고 있다. 전체 프레임 도 13(A)에 비해 압축된 텍스처 데이터가 블록별로 저장될 수 있다.
여기서, 좌측의 0, 1, 2, 3 등은 각 버스트 그룹에 대응되는 베이스 어드레스를 나타낼 수 있다. 각 블록들은 버스트 그룹 식별 정보 및 오프셋(OFFSET) 값에 따라 식별될 수 있다. 각각의 버스트 그룹 내에서 텍스처 데이터가 존재하지 않는 영역은 더미 데이터(Dummy Data)로 채워질 수 있다.
한편, 도 13(C)에서는 프레임 버퍼 메모리(150)에 별도 저장되는 룩업 테이블 정보를 나타낸다. 룩업 테이블 정보는 각각의 블록에 대응되는 2byte의 값으로 채워질 수 있으며, 전체 프레임을 구성하는 각각의 블록 순으로 배열될 수 있다.
따라서, 역압축부(160)는 도 13(C)와 같은 룩업 테이블 정보만을 수신하여 프레임 버퍼 메모리(150)로부터 텍스처 블록들을 식별할 수 있으며, 압축 해제 및 재구성을 수행하여 원래의 프레임을 복원할 수 있게 된다.
또한, 앞서 설명한 바와 같이, 룩업 테이블 정보만을 송수신함에 따라, 메모리 어드레스의 전체 값 송수신에 따른 오버헤드가 줄어들게 되므로, 데이터 처리 효율 향상 및 대역폭 감소 효과를 얻을 수 있다.
도 16은 본 발명의 실시 예에 따른 프레임 버퍼 메모리(150)의 사이즈 변화를 설명하기 위한 것으로, 대역폭 저감을 위한 프레임 버퍼 메모리(150)의 구성을 설명하기 위한 것이다.
좌측은 일반적인 프레임 버퍼를 나타내며, 우측은 본 발명의 실시 예에 따라 압축 및 패키징된 프레임 버퍼 메모리(150)를 나타낸다. 도 16에 도시된 바와 같이, 종래의 디코딩된 Y, Cb, Cr 값을 저장하는 프레임 버퍼와 달리, 본 발명의 실시 예에 따른 프레임 버퍼 메모리(150)는 압축된 Y텍스처 데이터, 압축된 C 텍스처 데이터, 압축된 Y에 대한 룩업 테이블 정보 및 압축된 C에 대한 룩업 테이블 정보를 포함할 수 있다.
이와 같이 본 발명의 실시 예에 따른 프레임 버퍼 메모리(150)는 룩업 테이블 정보를 저장하기 위한 버퍼를 포함할 수 있다. 이 버퍼의 사이즈는 영상 프레임 사이즈에 의해 결정될 수 있다. 예를 들어, 16X4 픽셀로 분할된 블록에 대해 2byte의 룩업 테이블 정보가 생성되는 경우, 룩업 테이블 정보를 위한 버퍼 사이즈는 한 프레임당 1/32*(frame size)로 결정될 수 있다. 따라서, 본 발명의 실시 예에 따른 프레임 버퍼 메모리(150)는 기존의 프레임 버퍼에 비해 추가적인 버퍼 영역을 더 포함할 수 있다.
또한, 16X4 픽셀로 분할된 블록에 대해 2byte의 룩업 테이블 정보가 생성되는 경우, 프레임 버퍼 메모리(150)의 영역별 버퍼 사이즈는 다음과 같은 공식들로 유도될 수 있다.
Compressed data for Luma: (PicX+15)/16*16 * PicY
Compressed data for Chroma: (PicX/2+15)/16*16 * PicY
Lookup table for Luma: (PicY+15)/16* (PicX+255)/256 * 128
Lookup table for Chroma: (PicY+15)/16* (PicX/2+255)/256 * 128
도 17 내지 도 24는 본 발명의 실시 예에 따른 동영상 처리 방법을 적용한 결과 나타나는 실험 데이터이다.
본 발명의 실시 예에 따른 동영상 처리 방법의 대역폭 저감 효과를 테스트 하기 위해, 다양한 HEVC 테스트 시퀀스가 사용되었으며, 이미지 사이즈에 따라 A 내지 F로 분류하였다. 대역폭은 복호화 프로세스(움직임 보상을 위한 참조 프레임의 읽기/쓰기가 수행되는)가 진행되는 동안 128bit 버스 인터페이스를 통해 메모리의 읽기/쓰기가 수행된 프레임 데이터의 총량으로 추정되었다. 또한, 각 시퀀스에 대해 서로 다른 4가지의 qp 값(22, 27, 32 and 37)이 사용되었다.
도 17 내지 도 24의 전체적인 결과로 볼 때, 본 발명의 실시 예에 따른 동영상 처리 방법은 루프 필터 모듈에서 쓰기 수행시 순수 대역폭에 비해 평균 56%의 대역폭을 세이브할 수 있는 것으로 나타났다. 또한, 움직임 보상부에서 읽기 수행시에도 순수 대역폭에 비해 평균 59%의 대역폭을 세이브 할 수 있는 것으로 나타났다.
도 17 및 도 18은 이와 같은 본 발명의 실시 예에 따른 동영상 처리 방법의 프레임 버퍼 압축으로 인한 평균 대역폭과, 압축이 사용되지 않은 순수 처리 대역폭을 비교 하여 분류별로 도시하고 있다.
도 17은 본 발명의 일 실시 예에 따른 도 1에 도시된 복호화 장치에 따른 동영상 처리시의 대역폭 저감율을 나타내며, 도 17은 다른 일 실시 예에 따른 도 2에 도시된 복호화 장치에 따른 동영상 처리시의 대역폭 저감율을 나타낸다.
한편, 도 19 내지 도 21은 도 17 내지 도 18의 각 조건에 따른 비교를 시각적으로 나타내기 위한 그래프들이다. 그래프들을 통해 알 수 있는 바와 같이, 본 발명의 실시 예에 따른 대역폭 저감 효과가 확연히 나타난다.
그리고, 도 23은 본 발명의 실시 예에 따른 동영상 처리 방법에 의해 대역폭 저감 효과뿐만 아니라, 대역폭 안정성이 유지되는 것을 나타낸다. 도 23에서 본 발명의 실시 예에 따른 프레임 버퍼 압축(FBC로 표기된 선) 결과를 보면, 무압축(Uncomp)에 비해 대역폭이 약 70%가 감소되면서, 무압축 영상 정보의 급격한 변동에도 불구하고 일정한 값을 거의 유지하는 것을 알 수 있다. 이에 따라, 본 발명은 대역폭 안정성을 유지할 수 있으며, 캐시 설계에 유리한 결과를 가져올 수 있다.
그리고, 도 24는 프레임 버퍼 압축시(FBC로 표기된 선)의 평균 대역폭이 무압축(Uncomp) 데이터에 비해 20%미만으로 절감되는 것을 나타낸다. 본 발명의 실시 예는 이와 같은 대역폭의 절감을 통해 이미지 퀄리티를 유지하면서도 고해상도 영상 처리를 가능하게 함을 알 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (19)

  1. 복수의 프레임 간 움직임 보상을 처리하는 동영상 처리 장치에 있어서,
    부호화된 영상을 수신하는 영상 수신부;
    상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 필터링부;
    상기 필터 처리된 영상 프레임으로부터, 복수의 프레임 간 움직임 보상을 처리하는 움직임 보상부로 제공될 참조 프레임을 미리 설정된 압축 유닛의 고정된 사이즈에 따라 복수 개의 블록들로 분할하는 블록 분할부;
    상기 분할된 복수의 블록들을 대역폭 효율에 따라 선택되는 압축 방식에 의해 각각 압축하고, 상기 압축된 복수의 블록들을 상기 참조 프레임이 저장될 프레임 버퍼 메모리의 버스트 길이에 대응하는 버스트 그룹 단위로 패키징하며, 상기 패키징된 복수의 블록들 각각에 대응하여 룩업 테이블 정보를 생성하는 압축부;
    상기 룩업 테이블 정보 및 상기 패키징된 데이터를 기록하여, 상기 움직임 보상을 위한 참조 프레임을 제공하는 상기 프레임 버퍼 메모리;
    상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들 중 특정 프레임에 대응되는 블록들에 대해, 움직임 보상을 위해 상기 참조 프레임을 재구성하는 역압축을 수행하는 제1 역압축부; 및
    상기 제1 역압축부와 독립적으로 상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들을 디스플레이 방향에 따라 순차적으로 역압축하여 디스플레이부로 변환 출력하는 컨버터부를 포함하고,
    상기 압축부는 상기 분할된 복수의 블록들 각각의 특성에 따라, 압축하지 않거나 복수의 서로 다른 코딩 방식을 이용하여 압축을 수행하는
    동영상 처리 장치.
  2. 제1항에 있어서,
    상기 컨버터부는
    상기 프레임 버퍼 메모리로부터 상기 룩업 테이블 정보를 획득하는 테이블 정보 획득부; 및
    상기 룩업 테이블 정보에 기초하여 상기 복수의 블록들을 순차적으로 획득하는 압축 데이터 획득부를 포함하고,
    상기 룩업 테이블 정보는 상기 각 블록에 대응되는 압축 여부 정보, 그룹 식별 정보 및 오프셋 정보를 포함하는
    동영상 처리 장치.
  3. 제1항에 있어서,
    상기 컨버터부는
    상기 블록들을 순차적으로 역압축하는 제2 역압축 수행부; 및
    상기 순차적으로 역압축된 블록들을 입력받아 임시 저장하고, 래스터 방향으로 출력하기 위한 라인 버퍼부를 포함하는 동영상 처리 장치.
  4. 제3항에 있어서,
    상기 라인 버퍼부는 입력되는 역압축된 블록들을 순차적으로 임시 저장함과 동시에, 기존에 임시 저장된 역압축된 블록들을 래스터 방향으로 출력하는 동영상 처리 장치.
  5. 제1항에 있어서,
    상기 컨버터부는
    상기 역압축하여 출력되는 데이터를 디스플레이용 인터페이스 포맷으로 변환하는 인터페이스 변환부를 포함하는 동영상 처리 장치.
  6. 제5항에 있어서,
    상기 인터페이스 변환부에서 출력되는 데이터에 기초하여 디스플레이 제어를 수행하는 디스플레이부를 더 포함하는
    동영상 처리 장치.
  7. 제1항에 있어서,
    상기 제1 역압축부는
    캐시 메모리를 이용하여 상기 룩업 테이블 정보를 관리하는 룩업 테이블 관리부를 포함하는 동영상 처리 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 버스트 그룹 단위는 상기 프레임 버퍼 메모리의 버스트 길이와 동일한 것을 특징으로 하는
    동영상 처리 장치.
  10. 복수의 프레임 간 움직임 보상을 처리하는 영상 처리 장치의 동영상 처리 방법에 있어서,
    부호화된 영상을 수신하는 단계;
    상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 단계;
    상기 필터 처리된 영상 프레임으로부터, 복수의 프레임 간 움직임 보상을 처리하는 움직임 보상부로 제공될 참조 프레임을 미리 설정된 압축 유닛의 고정된 사이즈에 따라 복수 개의 블록들로 분할하는 단계;
    상기 분할된 복수의 블록들을 대역폭 효율에 따라 선택되는 압축 방식에 의해 각각 압축하는 단계;
    상기 압축된 복수의 블록들을 상기 참조 프레임이 저장될 프레임 버퍼 메모리의 버스트 길이에 대응하는 버스트 그룹 단위로 패키징하며, 상기 패키징된 복수의 블록들 각각에 대응하여 룩업 테이블 정보를 생성하는 단계;
    상기 룩업 테이블 정보 및 상기 패키징된 데이터를 상기 움직임 보상을 위한 참조 프레임을 제공하는 상기 프레임 버퍼 메모리에 기록하는 단계;
    상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들 중 특정 프레임에 대응되는 블록들에 대해, 움직임 보상을 위해 상기 참조 프레임을 재구성하는 제1 역압축을 수행하는 단계; 및
    상기 제1 역압축과 독립적으로, 상기 룩업 테이블 정보를 이용하여 상기 복수의 블록들을 디스플레이 방향에 따라 순차적으로 역압축하여 디스플레이부로 변환 출력하기 위한 제2 역압축을 수행하는 단계를 포함하고,
    상기 압축하는 단계는, 상기 분할된 복수의 블록들 각각의 특성에 따라, 압축하지 않거나 복수의 서로 다른 코딩 방식을 이용하여 압축을 수행하는 단계를 포함하는
    동영상 처리 방법.
  11. 제10항에 있어서,
    상기 제2 역압축을 수행하는 단계는
    상기 프레임 버퍼 메모리로부터 상기 룩업 테이블 정보를 획득하는 단계; 및
    상기 룩업 테이블 정보에 기초하여 상기 복수의 블록들을 순차적으로 획득하는 단계를 포함하고,
    상기 룩업 테이블 정보는 상기 각 블록에 대응되는 압축 여부 정보, 그룹 식별 정보 및 오프셋 정보를 포함하는
    동영상 처리 방법.
  12. 제10항에 있어서,
    상기 제2 역압축을 수행하는 단계는,
    상기 블록들을 순차적으로 역압축하는 단계;
    상기 순차적으로 역압축된 블록들을 입력받아 임시 저장하는 단계; 및
    상기 임시 저장된 역압축된 블록들을 라인별로 래스터 방향으로 출력하는 단계를 포함하는
    동영상 처리 방법.
  13. 제12항에 있어서,
    상기 라인별로 래스터 방향으로 출력하는 단계는,
    입력되는 역압축된 블록들을 순차적으로 임시 저장함과 동시에, 기존에 저장된 역압축된 블록들을 래스터 방향으로 출력하는 단계를 포함하는
    동영상 처리 방법.
  14. 제10항에 있어서,
    상기 제2 역압축을 수행하는 단계는
    인터페이스 변환부가 상기 역압축하여 출력되는 데이터를 디스플레이용 인터페이스 포맷으로 변환하는 단계를 포함하는
    동영상 처리 방법.
  15. 제14항에 있어서,
    상기 인터페이스 변환부에서 출력되는 데이터에 기초하여, 디스플레이 제어를 수행하는 단계를 더 포함하는
    동영상 처리 방법.
  16. 제10항에 있어서,
    상기 제1 역압축을 수행하는 단계는
    캐시 메모리를 이용하여 상기 룩업 테이블 정보를 관리하는 단계를 포함하는 동영상 처리 방법.
  17. 삭제
  18. 제10항에 있어서,
    상기 버스트 그룹 단위는 상기 프레임 버퍼 메모리의 버스트 길이와 동일한 것을 특징으로 하는
    동영상 처리 방법.
  19. 제10항 내지 제16항 및 제18항 중 어느 한 항에 기재된 방법이 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 비 휘발성 기록 매체.
KR1020157034562A 2013-04-02 2013-08-06 동영상 처리 방법 및 장치 KR101835318B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361807663P 2013-04-02 2013-04-02
US61/807,663 2013-04-02
PCT/KR2013/007104 WO2014163249A1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160016838A KR20160016838A (ko) 2016-02-15
KR101835318B1 true KR101835318B1 (ko) 2018-03-08

Family

ID=51658512

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020157034559A KR101835316B1 (ko) 2013-04-02 2013-07-24 동영상 처리 방법 및 장치
KR1020157034558A KR101834236B1 (ko) 2013-04-02 2013-07-24 동영상 처리 방법 및 장치
KR1020157034560A KR101884719B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치
KR1020157034561A KR101835317B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치
KR1020157034562A KR101835318B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020157034559A KR101835316B1 (ko) 2013-04-02 2013-07-24 동영상 처리 방법 및 장치
KR1020157034558A KR101834236B1 (ko) 2013-04-02 2013-07-24 동영상 처리 방법 및 장치
KR1020157034560A KR101884719B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치
KR1020157034561A KR101835317B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치

Country Status (4)

Country Link
US (5) US10158870B2 (ko)
KR (5) KR101835316B1 (ko)
CN (5) CN105009584B (ko)
WO (5) WO2014163241A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922800B2 (en) 2018-04-27 2021-02-16 Samsung Display Co., Ltd. Image processing circuit, display device having the same, and method of driving the display device

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942473B2 (en) * 2012-07-25 2015-01-27 Ko Hung Lin Image processing method and display apparatus
CN104769950B (zh) 2012-09-28 2018-11-13 Vid拓展公司 用于视频编码中的色度信号增强的交叉平面滤波
FR3024933A1 (fr) * 2014-08-12 2016-02-19 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
CN113810691A (zh) * 2015-07-08 2021-12-17 交互数字麦迪逊专利控股公司 用于使用交叉平面滤波的增强色度编码的方法和装置
US10798396B2 (en) * 2015-12-08 2020-10-06 Samsung Display Co., Ltd. System and method for temporal differencing with variable complexity
MX2018006642A (es) * 2015-12-14 2018-08-01 Panasonic Ip Corp America Metodo de codificacion de datos tridimencionales, metodos de decodificacion de datos tridimensionales, dispositivo de codificacion de datos tridimensionales y dispositivo de decodificacion de datos tridimensionales.
US10218976B2 (en) 2016-03-02 2019-02-26 MatrixView, Inc. Quantization matrices for compression of video
CN106162192A (zh) * 2016-07-06 2016-11-23 华为技术有限公司 处理视频数据的方法和装置
EP3975559A1 (en) 2016-10-04 2022-03-30 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
KR20180048127A (ko) 2016-11-02 2018-05-10 삼성전자주식회사 전자 장치, 그의 영상 압축 방법 및 비일시적 컴퓨터 판독가능 기록매체
KR102581838B1 (ko) * 2016-11-25 2023-09-21 엘지디스플레이 주식회사 보상 데이터 처리 방법과 이를 이용한 유기 발광 다이오드 표시 장치
US10944974B2 (en) 2017-01-11 2021-03-09 Raytheon Company Method for encoding and processing raw UHD video via an existing HD video architecture
US10419771B2 (en) * 2017-02-08 2019-09-17 Zpeg, Inc. Method and system for improved image compression
US11190724B2 (en) * 2017-03-10 2021-11-30 Raytheon Company Adaptive bitrate streaming of UHD image data
CN107995494B (zh) * 2017-12-12 2019-11-22 珠海全志科技股份有限公司 视频图像数据的压缩方法与解压方法、计算机装置、计算机可读存储介质
WO2019191904A1 (zh) * 2018-04-03 2019-10-10 深圳市柔宇科技有限公司 一种数据处理方法及装置
US11178415B2 (en) * 2019-03-12 2021-11-16 Tencent America LLC Signaling of CU based interpolation filter selection
CN110581995A (zh) * 2019-09-12 2019-12-17 北京奇艺世纪科技有限公司 一种视频处理的方法及装置
CN110688385A (zh) * 2019-09-29 2020-01-14 联想(北京)有限公司 一种数据处理方法和电子设备
KR20210088304A (ko) 2020-01-06 2021-07-14 삼성전자주식회사 이미지 프로세서의 동작 방법, 이미지 처리 장치 및 이미지 처리 장치의 동작 방법

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940003388B1 (ko) 1991-12-31 1994-04-21 삼성전자 주식회사 비디오 카세트 레코더의 화질보상회로
KR0178711B1 (ko) * 1992-07-09 1999-05-01 강진구 적응적 후처리를 이용한 부호화 및 복호화시스템
JP2643769B2 (ja) * 1993-05-19 1997-08-20 日本電気株式会社 画像・音声編集装置
US5583562A (en) * 1993-12-03 1996-12-10 Scientific-Atlanta, Inc. System and method for transmitting a plurality of digital services including imaging services
US5740460A (en) 1994-07-29 1998-04-14 Discovision Associates Arrangement for processing packetized data
US6115496A (en) 1995-03-02 2000-09-05 Apple Computer, Inc. Method and apparatus for accelerating image data compression
JPH0993425A (ja) * 1995-09-25 1997-04-04 Ricoh Co Ltd 画像形成装置
JP3898782B2 (ja) 1996-08-23 2007-03-28 オリンパス株式会社 情報記録再生装置
KR100510208B1 (ko) * 1996-12-18 2005-08-26 톰슨 콘슈머 일렉트로닉스, 인코포레이티드 다중 포맷의 비디오 신호 처리 시스템 및 신호 처리 방법
US5973740A (en) * 1997-10-27 1999-10-26 International Business Machines Corporation Multi-format reduced memory video decoder with adjustable polyphase expansion filter
US6658056B1 (en) 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
US6684087B1 (en) * 1999-05-07 2004-01-27 Openwave Systems Inc. Method and apparatus for displaying images on mobile devices
JP3508630B2 (ja) * 1999-07-07 2004-03-22 日本電気株式会社 デジタル画像入出力を備えるフレームバッファ装置および画像表示装置
JP3833483B2 (ja) * 2001-03-06 2006-10-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像表示システム、画像データ送信装置、表示画像データ送信方法、差分転送方法、プログラム、および記憶媒体
US20030138045A1 (en) 2002-01-18 2003-07-24 International Business Machines Corporation Video decoder with scalable architecture
JP4209631B2 (ja) * 2002-05-23 2009-01-14 パナソニック株式会社 符号化装置、復号化装置、及び、圧縮伸長システム
US7403487B1 (en) 2003-04-10 2008-07-22 At&T Corporation Method and system for dynamically adjusting QOS
KR100501173B1 (ko) * 2003-08-07 2005-07-18 에스케이 텔레콤주식회사 이동 통신 단말기에서 고해상도 화상을 디스플레이하기위한 방법과 이를 위한 이동 통신 단말기 및 화상 포맷변환 시스템
US7689051B2 (en) * 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
JP4819517B2 (ja) * 2005-02-16 2011-11-24 オリンパス株式会社 画像処理方法及び画像処理装置
KR20080046345A (ko) * 2006-11-22 2008-05-27 삼성전자주식회사 휴대용 단말기의 메모리 절약 장치 및 방법
US20080285652A1 (en) 2007-05-14 2008-11-20 Horizon Semiconductors Ltd. Apparatus and methods for optimization of image and motion picture memory access
US8565310B2 (en) * 2008-01-08 2013-10-22 Broadcom Corporation Hybrid memory compression scheme for decoder bandwidth reduction
GB2457262A (en) * 2008-02-08 2009-08-12 Linear Algebra Technologies Compression / decompression of data blocks, applicable to video reference frames
US8194736B2 (en) * 2008-04-15 2012-06-05 Sony Corporation Video data compression with integrated lossy and lossless compression
KR101611408B1 (ko) * 2008-06-30 2016-04-12 삼성전자주식회사 점유 대역폭의 감소를 위한 영상 부호화 방법 및 장치, 그리고 영상 복호화 방법 및 장치
US8577165B2 (en) * 2008-06-30 2013-11-05 Samsung Electronics Co., Ltd. Method and apparatus for bandwidth-reduced image encoding and decoding
JP5210091B2 (ja) 2008-08-29 2013-06-12 キヤノン株式会社 画像処理装置及びその制御方法、撮像装置、プログラム
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
CN101777366B (zh) * 2010-01-07 2011-12-07 浙江大学 一种基于rle原理的行程压缩方法和装置
US8588536B2 (en) 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
US20120230423A1 (en) 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
JP5585885B2 (ja) * 2011-03-18 2014-09-10 株式会社リコー 画像処理装置及び画像処理方法
KR101215152B1 (ko) * 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
EP2533537A1 (en) 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding
US9378560B2 (en) 2011-06-17 2016-06-28 Advanced Micro Devices, Inc. Real time on-chip texture decompression using shader processors
US9277228B2 (en) 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922800B2 (en) 2018-04-27 2021-02-16 Samsung Display Co., Ltd. Image processing circuit, display device having the same, and method of driving the display device

Also Published As

Publication number Publication date
CN105191302B (zh) 2019-02-15
CN105009584A (zh) 2015-10-28
CN105027565B (zh) 2019-10-18
WO2014163240A1 (ko) 2014-10-09
WO2014163247A1 (ko) 2014-10-09
US10038910B2 (en) 2018-07-31
US20150373353A1 (en) 2015-12-24
KR20160016837A (ko) 2016-02-15
WO2014163248A1 (ko) 2014-10-09
US10158870B2 (en) 2018-12-18
CN105009585B (zh) 2018-09-25
US20150373330A1 (en) 2015-12-24
CN105027565A (zh) 2015-11-04
CN105027566A (zh) 2015-11-04
KR101835317B1 (ko) 2018-04-19
US20150373368A1 (en) 2015-12-24
US20160057440A1 (en) 2016-02-25
KR20160016838A (ko) 2016-02-15
KR20160013895A (ko) 2016-02-05
CN105009585A (zh) 2015-10-28
CN105027566B (zh) 2018-11-23
KR101834236B1 (ko) 2018-03-06
WO2014163241A1 (ko) 2014-10-09
KR20160016835A (ko) 2016-02-15
US10123029B2 (en) 2018-11-06
CN105009584B (zh) 2018-09-25
WO2014163249A1 (ko) 2014-10-09
US10165293B2 (en) 2018-12-25
US10129554B2 (en) 2018-11-13
KR101835316B1 (ko) 2018-03-08
KR101884719B1 (ko) 2018-08-02
CN105191302A (zh) 2015-12-23
US20150373352A1 (en) 2015-12-24
KR20160016836A (ko) 2016-02-15

Similar Documents

Publication Publication Date Title
KR101835318B1 (ko) 동영상 처리 방법 및 장치
CN107409215B (zh) 用于视频译码的调色板模式译码
KR101904625B1 (ko) 비디오 코딩에서 서브-디코딩된 픽처 버퍼 (서브-dpb) 기반의 dpb 동작들을 위한 시그널링
CN106105207B (zh) 用于编码/解码视频数据的方法和设备
EP3020198B1 (en) Palette prediction in palette-based video coding
KR102332492B1 (ko) 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
US20140301451A1 (en) Nal unit type restrictions
JP2017505025A (ja) ３ｄビデオコーディングにおける深度イントラ予測モードおよび深度インター予測モードのための簡易深度コーディング（ｓｄｃ）のシグナリング
KR20150065838A (ko) 비디오 특성들의 표시
US20150256838A1 (en) Signaling scalability information in a parameter set
KR20210105980A (ko) 비디오 인코더, 비디오 디코더 및 상응하는 방법들
KR20220113402A (ko) 다중 계층들에 대한 공유되는 디코더 픽처 버퍼
KR102279101B1 (ko) 이미지를 인코딩하고 디코딩하기 위한 방법, 이미지를 인코딩하고 디코딩하기 위한 디바이스 및 상응하는 컴퓨터 프로그램
US20140321528A1 (en) Video encoding and/or decoding method and video encoding and/or decoding apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right