KR20220015556A - 이미지 처리 장치 및 프레임 버퍼 컴프레서 - Google Patents

이미지 처리 장치 및 프레임 버퍼 컴프레서 Download PDF

Info

Publication number
KR20220015556A
KR20220015556A KR1020200095686A KR20200095686A KR20220015556A KR 20220015556 A KR20220015556 A KR 20220015556A KR 1020200095686 A KR1020200095686 A KR 1020200095686A KR 20200095686 A KR20200095686 A KR 20200095686A KR 20220015556 A KR20220015556 A KR 20220015556A
Authority
KR
South Korea
Prior art keywords
data
compressed data
module
mode
blocks
Prior art date
Application number
KR1020200095686A
Other languages
English (en)
Inventor
이경구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200095686A priority Critical patent/KR20220015556A/ko
Priority to DE102021110443.2A priority patent/DE102021110443A1/de
Priority to US17/375,666 priority patent/US11735222B2/en
Priority to CN202110837651.6A priority patent/CN114095775A/zh
Publication of KR20220015556A publication Critical patent/KR20220015556A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068—Precoding preceding compression, e.g. Burrows-Wheeler transformation
    • H03M7/3071—Prediction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6064—Selection of Compressor
    • H03M7/607—Selection between different types of compressors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

이미지 처리 장치는 압축 데이터를 저장하는 메모리, 및 소스 데이터의 적어도 일부를 압축하여 압축 데이터를 생성하고 메모리로 전송하는 인코더 및 메모리로부터 압축 데이터를 리드하여 압축해제 하는 디코더를 포함하는 프레임 버퍼 컴프레서를 포함하고, 압축데이터는 실제 압축된 데이터와 플래그를 포함하는 페이로드 및 헤더를 포함하고, 프레임 버퍼 컴프레서는 압축 데이터에 상응하는 누적 압축률을 기준 압축률과 비교한 결과를 플래그에 반영하고, 플래그에 따라 손실 모드 또는 무손실 모드로 압축 또는 압축해제를 수행한다.

Description

이미지 처리 장치 및 프레임 버퍼 컴프레서{FRAME BUFFER COMPRESSOR AND IMAGE PROCESSING APPARATUS}
본 발명은 이미지 처리 장치에 관한 것이다.
비디오 고해상도 영상 및 고프레임율(high-frame rate) 영상의 필요성이 대두되면서 이미지 처리 장치의 여러 멀티미디어 IP가 메모리에 액세스(access)되는 양 즉, 밴드위스(bandwidth, 대역폭)가 크게 증가하게 되었다.
밴드위스가 증가하게 되면 이미지 처리 장치의 처리 능력이 한계에 도달하여 비디오 영상의 녹화 및 재생 동작시에 속도가 저하되는 문제가 발생할 수 있다.
이에 따라서, 멀티미디어 IP가 메모리에 액세스할 때, 데이터의 크기를 압축하는 방식이 고려되고 있다. 예를 들어, 메모리에 데이터를 라이트(write)하기 전에 데이터를 압축(compress)하고, 메모리에서 데이터를 리드(read)하기 전에는 압축된 데이터를 압축해제(decompress)할 수 있다.
본 발명이 해결하려는 과제는 화질 및 해상도가 향상된 이미지 처리 장치와 이미지 처리 장치에서 사용되는 프레임 버퍼 컴프레서(frame buffer compressor)를 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위하여, 몇몇 실시예에 따른 이미지 처리 장치는 로우(raw) 데이터를 프로세싱하여 소스 데이터를 생성하고, 출력 데이터를 수신하여 사용하는 멀티미디어 아이피(IP), 손실 모드 또는 무손실 모드로 동작하여, 소스 데이터를 압축 데이터로 압축하거나 압축 데이터를 출력 데이터로 압축해제(decompress)하는 프레임 버퍼 컴프레서 및 압축 데이터를 저장하고, 멀티미디어 아이피에 의해서 액세스 되는 메모리를 포함하고, 프레임 버퍼 컴프레서는 압축 데이터의 누적 압축률에 기초하여 손실 모드 또는 무손실 모드를 선택하고 상기 압축 또는 상기 압축해제를 수행할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 몇몇 실시예에 따른 프레임 버퍼 컴프레서는 소스 데이터를 수신하여 압축 데이터를 생성하는 인코더 및 압축 데이터를 압축해제하여 출력 데이터를 출력하는 디코더를 포함하되,인코더는 압축 데이터의 누적 압축률이 기준 압축률을 초과하면 손실 모드로 압축을 수행하고, 그렇지 않으면 무손실 모드로 압축을 수행하며, 디코더는 압축 데이터에 상응하는 압축 모드에 따라 압축해제를 수행할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 몇몇 실시예에 따른 이미지 처리 장치는 압축 데이터를 저장하는 메모리 및 소스 데이터의 적어도 일부를 압축하여 압축 데이터를 생성하고 메모리로 전송하는 인코더 및 메모리로부터 압축 데이터를 리드하여 압축해제하는 디코더를 포함하는 프레임 버퍼 컴프레서를 포함하고, 압축 데이터는 실제 압축된 데이터와 플래그를 포함하는 페이로드 및 헤더를 포함하고, 프레임 버퍼 컴프레서는 압축 데이터에 상응하는 누적 압축률을 기준 압축률과 비교한 결과를 플래그에 반영하고, 플래그에 따라 손실 모드 또는 무손실 모드로 압축 또는 압축해제를 수행할 수 있다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 2는 도 1의 프레임 버퍼 컴프레서를 세부적으로 설명하기 위한 블록도이다.
도 3은 도 2의 인코더의 동작방법을 나타낸 흐름도이다.
도 4는 소스 데이터의 한 프레임에 포함되는 단위 블록을 나타낸 도면이다.
도 5는 도 4의 단위 블록을 나타낸 도면이다.
도 6은 도 4의 복수의 단위 블록을 나타낸 도면이다.
도 7은 몇몇 실시예에 따른 도 2의 인코더를 구체적으로 설명하기 위한 블록도이다.
도 8은 몇몇 실시예에 따른 도 2의 인코더를 구체적으로 설명하기 위한 블록도이다.
도 9는 도 2의 디코더의 동작방법을 나타내는 흐름도이다.
도 10은 몇몇 실시예에 따른 도 2의 디코더를 구체적으로 설명하기 위한 블록도이다.
도 111은 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 12는 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 13은 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
이하에서, 도 1 내지 도 13을 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치에 대해서 설명한다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이고, 도 2는 도 1의 프레임 버퍼 컴프레서를 세부적으로 설명하기 위한 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치는 멀티미디어 아이피(IP: Intellectual Property)(100), 프레임 버퍼 컴프레서(200), 메모리(300) 및 시스템 버스(400)를 포함한다.
멀티미디어 아이피(100)는 이미지 처리 장치의 이미지 처리를 직접적으로 수행하는 파트일 수 있다. 즉, 멀티미디어 아이피(100)는 비디오 영상의 캠코딩(camcoding), 플레이백(play back) 등 영상의 녹화와 재생을 수행하기 위한 여러 모듈을 의미할 수 있다.
멀티미디어 아이피(100)는 카메라 등 외부로부터 로우(raw) 데이터를 수신하여 소스 데이터(10)로 변환시킬 수 있다. 이 때, 상기 로우 데이터는 동영상 또는 이미지 로우 데이터일 수 있다. 소스 데이터(10)는 멀티미디어 아이피(100)에 의해서 생성된 데이터로서 멀티미디어 아이피(100)가 처리중인 데이터도 포함할 수 있다. 즉, 멀티미디어 아이피(100)는 여러 단계를 거쳐 상기 로우 데이터를 가공한 데이터를 메모리(300)에 저장하고, 다시 갱신하는 것을 반복할 수 있다. 소스 데이터(10)는 이러한 단계 중에 있는 모든 데이터를 포함할 수 있다. 다만, 소스 데이터(10)는 메모리(300)에 저장될 때 압축 데이터(20)의 형태로 저장될 수 있으므로, 메모리(300)에 소스 데이터(10)는 메모리(300)에 저장되기 전 또는 메모리(300)에서 리드된 이후의 데이터를 의미할 수 있다. 이에 대해서는 추후에 더 자세히 설명한다.
구체적으로, 멀티미디어 아이피(100)는 이미지 신호 프로세서(ISP)(110), 흔들림 보정 모듈(G2D)(120), 멀티 포맷 코덱(MFC)(130), GPU(140) 및 디스플레이(150)를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 즉, 멀티미디어 아이피(100)는 상술한 이미지 신호 프로세서 (110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150) 중 적어도 일부만을 포함할 수도 있다. 즉, 멀티미디어 아이피(100)는 동영상이나 이미지를 처리하기 위해서 메모리(300)에 액세스해야하는 처리 모듈을 의미할 수 있다.
이미지 신호 프로세서(110)는 상기 로우 데이터를 받아 이를 전처리하여 소스 데이터(10)로 변환시킬 수 있다. 이 때, 상기 로우 데이터는 RGB 방식의 이미지 로우 데이터일 수 있다. 예를 들어, 이미지 신호 프로세서(110)는 RGB 방식의 상기 로우 데이터를 YUV 방식의 소스 데이터(10)로 변환할 수 있다.
이 때, RGB 방식의 데이터란, 빛의 3원색을 기반으로 색을 표현한 데이터 포맷을 의미한다. 즉, 빨강(RED), 초록(GREEN), 파랑(BLUE) 세 종류의 색을 이용하여 이미지를 표현하는 방식이다. 이에 반해서, YUV 방식은 밝기 즉, 휘도(luma) 신호와 색차(chroma) 신호를 분리해서 표현하는 데이터 포맷을 의미한다. 즉, Y는 휘도 신호를 의미하고, U(Cb)와 V(Cr)는 각각 색차 신호를 의미한다. U는 휘도 신호와 청색 신호 성분의 차를 의미하고, V는 휘도 신호와 적색 신호 성분의 차를 의미한다.
이러한 YUV 방식의 데이터는 예를 들어, Y=0.3R+0.59G +0.11B, U=(B-Y)x0.493, V=(R-Y)x0.877와 같은 변환식을 이용하여 RGB 방식의 데이터로부터 변환되어 획득될 수 있다.
사람의 눈은 휘도 신호에는 민감하지만 색 신호에는 덜 민감하므로, YUV 방식의 데이터는 RGB 방식의 데이터에 비해서 압축이 더 용이할 수 있다. 이에 따라서, 이미지 신호 프로세서(110)는 RGB 방식의 상기 로우 데이터를 YUV 방식의 소스 데이터(10)로 변환할 수 있다.
이미지 신호 프로세서(110)는 상기 로우 데이터를 소스 데이터(10)로 변환한 뒤에 메모리(300)에 저장할 수 있다.
흔들림 보정 모듈(120)은 이미지 혹은 동영상 데이터의 흔들림 보정을 수행할 수 있다. 흔들림 보정 모듈(120)은 상기 로우 데이터 혹은 메모리(300)에 저장된 소스 데이터(10)를 리드(read)하여 흔들림 보정을 수행할 수 있다. 이 때, 흔들림 보정이란, 동영상 데이터에서 카메라의 흔들림을 감지하여 이를 제거하는 것을 의미한다.
흔들림 보정 모듈(120)은 상기 로우 데이터 또는 소스 데이터(10)의 흔들림을 보정하여 새로운 소스 데이터(10)를 생성 또는 갱신하고, 이를 메모리(300)에 저장할 수 있다.
멀티 포맷 코덱(130)은 동영상 데이터를 압축하는 코덱일 수 있다. 일반적으로, 동영상 데이터는 크기가 매우 크므로, 이의 크기를 줄이는 압축 모듈이 필요하다. 동영상 데이터는 복수의 프레임 간의 연관관계를 통해서 압축이 가능하고, 이를 수행하는 것이 멀티 포맷 코덱(130)일 수 있다. 멀티 포맷 코덱(130)은 로우 데이터 또는 메모리(300)에 저장된 소스 데이터(10)를 리드(read)하여 압축할 수 있다.
멀티 포맷 코덱(130)은 상기 로우 데이터 또는 소스 데이터(10)를 압축하여 새로운 소스 데이터(10)를 생성하거나 소스 데이터(10)를 갱신하고, 이를 메모리(300)에 저장할 수 있다.
GPU(Graphics Processing Unit)(140)는 이차원 혹은 3차원 그래픽의 연산 및 생성을 할 수 있다. GPU(140)는 상기 로우 데이터 혹은 메모리(300)에 저장된 소스 데이터(10)를 연산 처리할 수 있다. GPU(140) 그래픽 데이터의 처리에 특화되어 병렬적으로 그래픽 데이터를 처리할 수 있다.
GPU(140)는 상기 로우 데이터 또는 소스 데이터(10)를 압축하여 새로운 소스 데이터(10)를 생성하거나 소스 데이터(10)를 갱신하고, 이를 메모리(300)에 저장할 수 있다.
디스플레이(150)는 메모리(300)에 저장된 소스 데이터(10)를 화면에 표시할 수 있다. 디스플레이(150)는 다른 멀티미디어 아이피(100) 즉, 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130) 및 GPU(140)가 처리한 이미지 데이터 즉, 소스 데이터(10)를 화면에 표시할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
멀티미디어 아이피(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)는 각각 개별적으로 동작할 수 있다. 즉, 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)는 각각 메모리(300)에 개별적으로 액세스하여 데이터를 라이트 또는 리드할 수 있다.
프레임 버퍼 컴프레서(200)는 멀티미디어 아이피(100)가 메모리(300)에 개별적으로 액세스하기 전에 소스 데이터(10)를 압축하여 압축 데이터(20)로 변환시킨다. 프레임 버퍼 컴프레서(200)는 압축 데이터(20)를 메모리(300)로 전송할 수 있다.
이에 따라서, 메모리(300)에는 프레임 버퍼 컴프레서(200)에 의해서 압축된 압축 데이터(20)가 저장될 수 있다. 반대로, 메모리(300)에 저장된 압축 데이터(20)는 멀티미디어 아이피(100)에 의해서 로드될 때, 프레임 버퍼 컴프레서(200)로 전송될 수 있다. 프레임 버퍼 컴프레서(200)는 압축 데이터(20)를 압축해제(decompress)하여 출력 데이터(30)로 변환시킬 수 있다. 프레임 버퍼 컴프레서(200)는 출력 데이터(30)를 다시 멀티미디어 아이피(100)로 전송할 수 있다. 출력 데이터(30)는 소스 데이터(10)와 원칙적으로 동일해야하지만, 압축과 압축해제의 과정에서 달라질 수 있다.
멀티미디어 아이피(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)가 개별적으로 메모리(300)에 액세스할 때마다 프레임 버퍼 컴프레서(200)가 소스 데이터(10)를 압축 데이터(20)로 압축하여 메모리(300)에 전달할 수 있다. 반대로, 프레임 버퍼 컴프레서(200)는 메모리(300)에서 멀티미디어 아이피(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)로 로우 데이터 요청이 있을 때마다, 압축 데이터(20)를 출력 데이터(30)로 압축해제하여 상기 로우 데이터를 요청한 멀티미디어 아이피(100)의 구성요소로 각각 전송할 수 있다.
메모리(300)는 프레임 버퍼 컴프레서(200)가 생성한 압축 데이터(20)를 저장하고, 저장된 압축 데이터(20)를 프레임 버퍼 컴프레서(200)가 압축해제할 수 있도록 프레임 버퍼 컴프레서(200)에 제공할 수 있다.
시스템 버스(400)는 프레임 버퍼 컴프레서(200)와 메모리(300)가 각각 연결될 수 있다. 구체적으로, 멀티미디어 아이피(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)는 개별적으로 프레임 버퍼 컴프레서(200)를 통해서 시스템 버스(400)에 연결될 수 있다.
도 2를 참고하면, 프레임 버퍼 컴프레서(200)는 인코더(210) 및 디코더(220)를 포함할 수 있다.
인코더(210)는 멀티미디어 아이피(100)로부터 소스 데이터(10)를 받아 압축 데이터(20)를 생성할 수 있다. 이 때, 소스 데이터(10)는 멀티미디어 아이피(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)로부터 각각 전송될 수 있다. 압축 데이터(20)는 멀티미디어 아이피(100) 및 시스템 버스(400)를 통해서 메모리(300)로 전송될 수 있다.
반대로, 디코더(220)는 메모리(300)에 저장된 압축 데이터(20)를 출력 데이터(30)로 압축해제할 수 있다. 출력 데이터(30)는 멀티미디어 아이피(100)로 전달될 수 있다. 이 때, 출력 데이터(30)는 멀티미디어 아이피(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)로 각각 전달될 수 있다.
도 3은 도 2의 인코더의 동작방법을 나타낸 흐름도이고, 도 4는 소스 데이터의 한 프레임에 포함되는 단위 블록을 나타낸 도면이고, 도 5는 도 4의 단위 블록을 나타낸 도면이며, 도 6은 도 4의 복수의 단위 블록을 나타낸 도면이다. 이하의 설명에서 도 3 내지 도 6을 참고하여 설명한다.
프레임 버퍼 컴프레서(200)의 인코더(210)는 먼저 소스 데이터(10)를 프레임 단위로 수신한다(S10). 인코더(210)는 소스 데이터(10)를 손실 압축 모드로 압축하고(S21), 또한 무손실 압축 모드로 압축할 수 있다(S25). 소스 데이터(10)는 적어도 둘의 프레임을 포함하고, 각 프레임은 행과 열로 배치되는 적어도 둘의 블록을 포함할 수 있다.
인코더(21)는 적어도 둘 이상의 압축 데이터에 대한 누적 압축률과 기준 압축률을 비교할 수 있다(S30). 상기 압축 데이터는 무손실 압축 또는 손실 압축된 데이터일 수 있다. 무손실 압축이란, 데이터의 손실 없이 압축하는 것을 의미하고, 데이터에 따라서 압축률이 달라지는 방식을 의미한다. 이와 달리 손실 압축이란, 데이터가 일부 손실되는 압축으로서, 무손실 압축에 비해서 압축률이 더 높고, 미리 설정한 고정된 압축률을 가질 수 있다.
만약 손실 압축된 소스 데이터(S21, S30)의 누적 압축률이 기준 압축률보다 작은 경우, 인코더(210)는 손실 경로를 선택하여 손실 압축된 데이터를 출력할 수 있다(S40). 그러나 손실 압축된 소스 데이터(S21,S30)의 누적 압축률이 기준 압축률보다 큰 경우, 인코더(210)는 무손실 경로를 선택하여 무손실 압축된 데이터를 출력할 수 있다(S40).
이때 누적 압축률은 멀티미디어 아이피(100)에 의해 요청된 적어도 둘의 블록 각각의 압축률을 모두 더한 값일 수 있다. 또한 블록 각각의 압축률은, 소스 데이터 전체 중에서 해당 블록 압축 데이터가 차지하는 비율을 의미할 수 있다.
누적 압축률 산출의 기초가 되는 적어도 둘의 블록은 몇몇 실시예에 따라 하나의 행, 즉 라인 단위에 포함될 수도 있다. 또는 누적 압축률의 기초가 되는 적어도 둘의 블록은 몇몇 실시예에 따라 적어도 하나의 블록 단위일 수도 있다. 누적 압축률의 기초가 되는 적어도 둘의 블록은 몇몇 실시예에 따라 복수의 블록 중 연속적으로 배치되는 적어도 둘 이상의 블록일 수도 있고, 또는 랜덤하게 배치되는 적어도 둘 이상의 블록일 수도 있다.
만약 각 블록에서 무손실 압축을 한 압축데이터가 기준 압축률보다 작을 경우 무손실 경로를 선택하고, 기준 압축률보다 큰 경우 손실 경로를 선택한다고 가정하자. 이 경우 각 블록마다 독립적으로 압축률을 산정하므로, 전체 압축률은 높아질 수 있다. 그러나 특정 블록에서의 압축률이 낮아서 압축 데이터가 기준 압축률보다 큰 경우, 원래 규칙대로 손실 경로를 선택한다면, 해당 특정 블록으로 인한 화질 열화가 발생할 수 있다.
따라서, 각 블록의 압축률의 합계, 즉 누적 압축률을 기준 압축률과 비교한다면, 특정 블록만의 화질 열화도 방지할 수 있으며, 전체적으로 손실압축으로 처리되어 유실되는 블록의 수도 줄어들 수 있다.
구체적으로 설명하기 위해 도 4를 참고하면, 몇몇 실시예에 따라 하나의 프레임은 5x3인 15개의 블록을 포함한다고 가정하자.
도시된 예에서 첫번째 블록은 손실압축 또는 무손실 압축된 1st Block이다. 첫번째 블록과 두번째 블록의 누적 압축률은 두번째 블록의 손실압축 또는 무손실 압축된 2nd Block에 앞서 산출한 1st Block을 더한 값(= 1st + 2nd Block)이다. 첫번째 블록부터 세번째 블록까지의 누적 압축률은 세번째 블록의 손실압축 또는 무손실 압축된 3rd Block에 앞서 산출한 누적값(1st + 2nd Block)을 더한 값(=1st + 2nd + 3rd Block)이다. 같은 방식으로 네번째 블록, 다섯번째 블록 등 각 블록에서의 누적 압축률을 산출할 수 있고, N번째 블록의 경우 첫번째 블록부터 N번째 블록 각각의 압축률을 더한 값(=1st +2nd +3rd+....+Nth)이 N번째 블록의 누적 압축률이 될 수 있다.
이렇게 산출된 누적 압축률은 기준 압축률 K와 비교되고, 인코더(210)는 비교 결과에 따라 손실 경로를 선택할지 무손실 경로를 선택할지 결정할 수 있다.
기준 압축률 K는 프레임 버퍼 컴프레서(200)와 메모리(300)를 연결하는 시스템 버스(400)의 대역폭을 기준으로 정해지는 압축률로 설계에 따라 변경될 수 있는 값이다. 일 예로 기준 압축률 K는 멀티미디어 IP(100) 및 프레임 버퍼 컴프레서(200)의 배치에 따라 시스템 버스(400)의 대역폭 대비 50%로 정할 수도 있고, 다른 예로 40%로 정할 수도 있으며, 또다른 예로 60%로 정할 수도 있다.
도 5를 참고하면, 몇몇 실시예에 따라 프레임에 포함된 각각의 블록에 상응하는 압축 데이터(20)는 페이로드(payload)와 헤더(header)를 포함할 수 있다.
페이로드는 플래그, 실제 압축된 데이터 및 압축해제를 위해 필요한 값들을 포함한다. 헤더는 압축 데이터(10)의 압축률을 나타내는 부분으로 헤더 인덱스로 저장될 수 있다.
몇몇 실시예에 따라, 소스 데이터(10)가 버스트 랭스(BL)의 M 배(M은 자연수)인 경우일 수 있다. 이때 헤더 인덱스는 M/2개 비트를 포함할 수 있다. 몇몇 실시예에 따라 헤더 인덱스는 압축 데이터의 압축된 사이즈를 나타낼 수 있다. 인코더(210)는 헤더 인덱스에 기초하여 압축된 사이즈만 읽고, 실제 사용되는 대역폭은 줄일 수 있다.
압축 데이터(20)는 소스 데이터(10)보다 짧아질 수 있다. 이때 페이로드는 압축 데이터(20)가 손실 경로에 의한 것인지 또는 무손실 경로에 의한 것인지 나타내는 플래그(F)를 포함할 수 있다. 플래그는 1비트로, 압축데이터(20)에 포함될 수 있다. 예를 들면 0이면 손실 경로 1이면 무손실 경로를 나타낼 수 있고, 다른 예에 따라 그 반대의 경우도 가능하다고 할 것이다.
도 4 및 도 6을 참고하면, 한 프레임에 복수의 블록이 포함되고, 각 블록의 압축 데이터는 페이로드와 헤더를 포함한다. 누적 압축률은 요청된 적어도 한 블록의 압축 데이터(1st Bk Comp_data)의 압축률을 누적 합산한 값일 수 있다. 이 경우 헤더는 도시된 것처럼 압축 데이터와 별개로 존재하여, 헤더의 길이 등은 누적 압축률 산출에 영향을 주지 않는다.
인코더(210)는 요청된 블록 개수만큼 S20 내지 S40 단계를, 하나의 프레임이 끝나기 전까지 반복하여 수행할 수 있다(S50).
도 7은 몇몇 실시예에 따른 도 2의 인코더를 구체적으로 설명하기 위한 블록도이다.
도 7을 참고하면, 인코더(210)는 제1 모드 셀렉터(219), 양자화 모듈(211), 예측 모듈(213), 엔트로피 인코딩 모듈(215) 및 패딩 모듈(216), 및 압축 관리 모듈(218)을 포함한다.
제1 모드 셀렉터(219)는 엔트로피 인코딩 모듈(215)의 제어신호에 기초하여 인코더(210)가 무손실(Lossless) 모드로 동작할 지, 손실(Lossy) 모드로 동작할 지를 결정할 수 있다. 인코더(210)가 무손실 모드로 동작하는 경우에는, 소스 데이터(10)는 도 3의 무손실 경로(Lossless)를 따라서 압축될 수 있다. 인코더(210)가 손실 모드로 동작하는 경우에는, 소스 데이터(10)는 손실 경로(Lossy)를 따라서 압축될 수 있다.
제1 모드 셀렉터(219)는 멀티미디어 IP(100)로부터 무손실 압축을 할 것인지 손실 압축을 할 것인지를 결정하는 신호를 수신할 수 있다. 이 때, 무손실 압축이란, 데이터의 손실 없이 압축하는 것을 의미하고, 데이터에 따라서 압축률이 달라지는 방식을 의미한다. 이와 달리 손실 압축이란, 데이터가 일부 손실되는 압축으로서, 무손실 압축에 비해서 압축률이 더 높고, 미리 설정한 고정된 압축률을 가질 수 있다.
인코더(210)가 무손실 모드로 동작하는 경우, 제1 모드 셀렉터(219)는 무손실 경로(Lossless)를 따라서, 예측 모듈(213), 엔트로피 인코딩 모듈(215) 및 패딩 모듈(216)로, 데이터 흐름을 유도할 수 있다. 인코더(210)가 손실 모드로 동작하는 경우, 제1 모드 셀렉터(219)는 손실 경로(Lossy)를 따라서, 양자화 모듈(211), 예측 모듈(213) 및 엔트로피 인코딩 모듈(215)로 데이터 흐름을 유도할 수 있다.
일 예로, 인코더(210)가 무손실 모드로 동작하는 경우, 제1 모드 셀렉터(219)는 인코더(210)로 입력된 소스 데이터(10)를 예측 모듈(213)로 전달할 수 있다. 다른 예로, 인코더(210)가 손실 모드로 동작하는 경우, 제1 모드 셀렉터(219)는 인코더(210)로 입력된 소스 데이터(10)를 양자화 모듈(211)로 전달할 수 있다.
양자화 모듈(211)은, 미리 정의된 양자화 계수를 사용하여, 프레임 버퍼 컴프레서(200)로 입력된 소스 데이터(10)에 양자화를 수행하여 리콘 데이터(recon data)를 생성할 수 있다. 예를 들어, 양자화 모듈(211)은 상기 복수의 소스 픽셀 데이터 각각을 미리 정의된 양자화 계수로 양자화시켜, 리콘 데이터를 생성할 수 있다.
양자화를 수행하는 도중 제거된 데이터는 추후에 복원되지 않을 수 있다. 따라서, 양자화 모듈(211)은 손실 모드에서만 활용될 수 있다. 다만 손실 모드는 무손실 모드에 비해서 압축률이 상대적으로 높을 수 있고, 미리 설정된 고정 압축률을 가질 수 있다.
압축 데이터(20)는 양자화 모듈(211)에 의해 사용된 양자화 계수를 포함할 수 있다. 예를 들어, 인코더(210)는 양자화 모듈(211)에서 사용된 양자화 계수를 압축 데이터(20)에 추가할 수 있다.
예측 모듈(213)은 소스 데이터(10) 또는 상기 리콘 데이터에 대해 인트라-예측(intra-prediction)을 수행하여 예측 데이터를 생성할 수 있다. 몇몇 실시예에 따라 예측 데이터는 복수의 리콘 데이터의 크기를 감소시킨 별도의 데이터일 수 있다. 일 예로, 예측 모듈(213)은 복수의 리콘 픽셀 데이터의 일부를 잔차 픽셀 데이터로 표현함으로써, 데이터 크기를 감소시킬 수 있다.
예측 모듈(213)은 소스 데이터(10) 또는 리콘 데이터로부터 기준 픽셀 데이터와 잔차 픽셀 데이터를 포함하는 예측 데이터를 생성함으로써, 데이터의 크기를 압축할 수 있다. 또한, 예측 모듈(213)은 소스 데이터(10)의 복수의 소스 픽셀 데이터 또는 리콘 데이터의 복수의 리콘 픽셀 데이터에 대해, 픽셀 단위로, 인트라-예측을 수행하여 예측 데이터를 생성할 수 있다.
본원의 몇몇 실시예에 따른 양자화 모듈(211) 및 예측 모듈(213)은 복수의 소스 픽셀 데이터 각각에 대해 양자화 및 인트라-예측을 병렬적으로 수행할 수 있다. 예를 들어, 양자화 모듈(211)은 모든 소스 픽셀 데이터에 대한 양자화를 동시에 수행하여 리콘 데이터를 생성할 수 있다. 또한, 예측 모듈(213)은 소스 데이터 또는 리콘 데이터로부터 병렬적으로 기준 픽셀 데이터 및 예측 픽셀 데이터를 포함하는 예측 데이터를 생성할 수 있다. 이처럼, 본원의 몇몇 실시예에 따른, 양자화 모듈(211) 및 예측 모듈(213)은 각각 병렬적으로 양자화 및 인트라-예측을 수행할 수 있다.
엔트로피 인코딩 모듈(215)은 예측 모듈(213)에 의해서 압축된 예측 데이터에 엔트로피 인코딩을 수행하여 엔트로피 데이터를 생성할 수 있다. 엔트로피 인코딩 모듈(215)는 생성된 엔트로피 데이터의 압축률을 산출하고 기준 압축률과 비교하여 손실 경로 또는 무손실 경로를 선택의 기초가 되는 제어신호를 제1 모드 셀렉터(219)로 출력할 수 있다. 즉, 도 3의 S30 단계에 해당할 수 있다.
몇몇 실시예에 따라 엔트로피 인코딩 모듈(215)은 엔트로피 빈도수에 기초하여, 엔트로피 픽셀 데이터를 결정할 수 있다.
또한, 엔트로피 인코딩 모듈(215)은, 소스 데이터(10)로부터 생성된 예측 데이터에 엔트로피 인코딩을 수행하여 엔트로피 데이터를 생성할 수 있다.
몇몇 실시예에서, 엔트로피 인코딩 모듈(215)은 허프만 코딩(Huffman coding)을 사용하여 예측 데이터를 압축할 수 있다. 또한, 엔트로피 인코딩 모듈(215)은 익스포넨셜 골룸 코딩(exponential golomb coding) 또는 골룸 라이스 코딩(golomb rice coding)을 통해서 예측 데이터를 압축할 수 있다.
패딩 모듈(216)은 엔트로피 인코딩 모듈(215)에 의해서 생성된 엔트로피 데이터에 패딩(padding)을 수행하여, 패딩 데이터를 생성할 수 있다. 예를 들어, 패딩 모듈(216)은 엔트로피 데이터에 무의미한 데이터(예를 들어, 제로 데이터)를 추가하여, 미리 정의된 크기를 갖는 패딩 데이터(padding data)를 생성할 수 있다.
일 예로, 인코더(210)가 손실 모드로 작동되는 경우, 패딩 데이터의 크기는 소스 데이터의 크기와 고정된 압출률에 기초하여 정의될 수 있다. 구체적으로 예를 들어, 소스 데이터(10)의 크기가 100이고, 고정된 압축률이 50%인 경우, 패딩 데이터의 크기는 50으로 정의될 수 있다. 한편, 양자화 모듈(211), 예측 모듈(213), 및 엔트로피 인코딩 모듈(215)에 의해 압축된 엔트로피 데이터의 크기는 50보다 작을 수 있다. 이 경우, 패딩 모듈(216)은 엔트로피 데이터에 제로 데이터를 추가하여, 미리 정의된 50의 크기를 갖는 패딩 데이터를 생성할 수 있다.
다른 예로, 인코더(210)가 무손실 모드로 작동되는 경우, 패딩 데이터의 크기는 소스 데이터의 크기에 기초하여 정의될 수 있다. 구체적으로 예를 들어, 소스 데이터(10)의 크기가 100인 경우, 패딩 데이터의 크기는 100으로 정의될 수 있다. 한편, 예측 모듈(213), 및 엔트로피 인코딩 모듈(215)에 의해 압축된 엔트로피 데이터의 크기는 100보다 작을 수 있다. 이 경우, 패딩 모듈(216)은 엔트로피 데이터에 제로 데이터를 추가하여, 미리 정의된 100의 크기를 갖는 패딩 데이터를 생성할 수 있다.
이처럼, 패딩 모듈(216)은 인코더(210)의 다른 모듈들에 의해 압축된 엔트로피 데이터로부터 미리 정의된 크기를 갖는 패딩 데이터를 생성할 수 있다. 인코더(210)는 상기 패딩 데이터를 압축 데이터(20)로서 출력할 수 있다. 즉, 패딩 모듈(216)에 의해, 메모리(300)에 저장되는 압축 데이터(20)는 일정한 크기를 갖을 수 있다.
압축 관리 모듈(218)은 결정된 양자화 계수 및 엔트로피 테이블에 기초하여, 양자화 모듈(211) 및 엔트로피 인코딩 모듈(215)에서의 소스 데이터(10)에 대한 압축을 제어할 수 있다.
압축 관리 모듈(218)은 양자화 모듈(211)에서 사용되는 양자화 계수를 결정할 수 있다. 예를 들어, 인코더(210)가 손실 모드로 동작하는 경우, 소스 데이터(10)는 도 3의 손실 경로(Lossy)를 따라서 압축된다. 이때, 압축 관리 모듈(218)은 양자화 계수를 포함하는 QP 테이블을 포함할 수 있다. 예를 들어, QP 테이블은 하나 이상의 엔트리를 포함하고, 각각의 엔트리는 양자화 모듈(211)에서 사용되는 양자화 계수를 포함할 수 있다.
또한, 압축 관리 모듈(218)은 엔트로피 코딩에 각각 사용되는 엔트로피 빈도수에 대한 엔트로피 픽셀 데이터를 나타내는 엔트로피 테이블을 결정할 수 있다. 예를 들어, 압축 관리 모듈(218)은 엔트로피 테이블을 포함할 수 있다. 엔트로피 테이블은 엔트로피 코딩 알고리즘을 수행하기 위해 k값을 통해 식별되는 복수의 코드 테이블을 의미하며, 본 발명의 몇몇의 실시예에서 사용될 수 있는 엔트로피 테이블은 지수 골롬 코드(exponential golomb code) 및 골롬 라이스 코드(golomb rice code) 중 적어도 하나를 포함할 수 있다.
이후, 프레임 버퍼 컴프레서(200)는 인코더(210)로부터 생성된 압축 데이터(20)를 메모리(300)에 라이트(write)할 수 있다. 또한, 프레임 버퍼 컴프레서(200)는, 메모리(300)로부터 압축 데이터(20)를 리드(read)하고, 리드한 압축 데이터(20)를 압축해제하여 멀티미디어 IP(100)에 제공할 수 있다.
도 8은 몇몇 실시예에 따른 도 2의 인코더를 구체적으로 설명하기 위한 블록도이다. 설명의 편의를 위해 도 7과의 차이점을 위주로 설명한다.
도 8을 참고하면, 몇몇 실시예에 따라 인코더(210)는 CRC(cyclical redundancy check) 모듈(217)을 더 포함할 수 있다.
CRC 모듈(217)은 앞의 모듈들의 압축을 거치지 않은 소스 데이터(10)를 직접 수신할 수 있다. CRC 모듈(217)은 미리 저장된 다항식에 의해서 CRC 계산을 수행하고, 이를 통해서 CRC 비트를 생성할 수 있다. 상기 CRC 비트는 추후 압축 데이터(20)에 첨부되고, 이후에 압축 데이터(20)가 압축해제되어 출력 데이터(30)가 될 때 압축 및 압축해제 과정에서의 오류가 있는지를 확인하는 수단으로 사용될 수 있다.
도 9는 도 2의 디코더의 동작방법을 나타내는 흐름도이다.
도 9를 참고하면, 몇몇 실시예에 따라 디코더(220)는 누적된 압축 데이터를 수신할 수 있다(S110). 디코더(220)는 수신된 압축 데이터(20)에서 플래그(F)를 확인하여 손실 경로를 선택할지 무손실 경로를 선택할지 판단한다(S120).
디코더(220)는 손실 경로인 경우, 미리 정의된 크기를 갖는 패딩 데이터에서 손실 경로에 따른 제로 데이터를 언 패딩(Unpadding)할 수 있다(S130). 디코더(220)는 무손실 경로인 경우, 미리 정의된 크기를 갖는 패딩 데이터에서 무손실 경로에 따른 제로 데이터를 언 패딩(Unpadding)할 수 있다(S130).
디코더(220)는 언 패딩된 엔트로피 데이터를 엔트로피 디코딩할 수 있다(S140). 예를 들어 엔트로피 디코딩은 허프만 코딩(Huffman coding), 익스포넨셜 골룸 코딩(exponential golomb coding) 또는 골룸 라이스 코딩(golomb rice coding)을 통해서 엔트로피 데이터로부터 예측 데이터를 추출할 수 있다.
디코더(220)는 추출된 예측데이터에 대해 손실 경로 압축해제(S151) 또는 무손실 경로 압축해제(S152)를 수행할 수 있다. 손실 경로 압축해제(S151)는 역 예측데이터에 대해 예측 보상을 수행한 후 역양자화를 수행할 수 있다. 역양자화는 압축 데이터의 양자화 계수를 사용하여, 예측 보상된 데이터에 대해 역양자화를 수행하고, 그 결과를 출력 데이터를 출력하는 것일 수 있다.
도 10은 몇몇 실시예에 따른 도 2의 디코더를 구체적으로 설명하기 위한 블록도이다.
도 10을 참고하면, 디코더(220)는 제2 모드 셀렉터(229), 언패딩 모듈(226), 엔트로피 디코딩 모듈(225), 예측 보상 모듈(223), 및 역양자화 모듈(221)을 포함한다.
제2 모드 셀렉터(229)는 메모리(300)에 저장된 압축 데이터(20)가 무손실 압축되었는지, 또는 손실 압축되었는지를 선택할 수 있다. 일 예로, 도 5 및 도 6에 도시된 바와 같이 제2 모드 셀렉터(229)는 압축 데이터의 플래그(F)를 통해서 무손실 모드 및 손실 모드 중 어느 모드에 의해서 압축 데이터(20)가 압축되었는지를 판단할 수 있다.
제2 모드 셀렉터(229)는 무손실 모드인 경우에는 무손실 경로(Lossless)를 따라서, 언패딩 모듈(226), 엔트로피 디코딩 모듈(225) 및 예측 보상 모듈(223)로 압축 데이터(20)를 유도할 수 있다. 반대로, 제2 모드 셀렉터(229)는 손실 모드인 경우에는 손실 경로(Lossy)를 따라서, 언패딩 모듈(226), 엔트로피 디코딩 모듈(225), 예측 보상 모듈(223), 및 역양자화 모듈(221)로 압축 데이터(20)를 유도할 수 있다.
언패딩 모듈(226)은 인코더(210)의 패딩 모듈(216)에 의해서 추가된 무의미한 데이터(예를 들어, 제로 데이터)를 제거할 수 있다. 예를 들어, 언패딩 모듈(226)은 압축 데이터(20)로부터 제로 데이터를 제거하여, 엔트로피 데이터를 생성할 수 있다. 언패딩 모듈(226)에서 생성된 엔트로피 데이터는 엔트로피 디코딩 모듈(225)로 전달될 수 있다.
엔트로피 디코딩 모듈(225)은 인코더(210)의 엔트로피 인코딩 모듈(215)에 의해서 압축된 데이터를 압축해제할 수 있다. 즉, 엔트로피 디코딩 모듈(225)은 언패딩 모듈(266)로부터 전달된 엔트로피 데이터로부터 예측 데이터를 생성할 수 있다.
일 실시예에 따르면, 엔트로피 디코딩 모듈(225)은, 엔트로피 테이블을 사용하여, 엔트로피 픽셀 데이터 각각에 대응하는 잔차 픽셀 데이터 및 기준 픽셀 데이터를 생성할 수 있다. 즉, 엔트로피 디코딩 모듈(225)은 잔차 픽셀 데이터 및 기준 픽셀 데이터를 포함하는 예측 데이터를 생성할 수 있다. 엔트로피 디코딩 모듈(225)로부터 생성된 예측 데이터는 예측 보상 모듈(223)로 전달될 수 있다.
몇몇 실시예에서, 엔트로피 디코딩 모듈(225)은 허프만 코딩, 익스포넨셜 골룸 코딩 또는 골룸 라이스 코딩을 통해서 압축해제를 수행할 수 있다. 허프만 코딩, 익스포넨셜 골룸 코딩 또는 골룸 라이스 코딩은 통상적으로 사용되는 기술일 수 있으며, 이에 대한 자세한 설명은 생략한다.
몇몇 실시예에 따라 엔트로피 디코딩 모듈(225)은 엔트로피 데이터로부터 예측 데이터를 생성할 때, 압축된 데이터에 포함된 플래그(F)를 확인하여, 제2 모드 셀렉터(299)에 플래그를 알려줄 수 있다. 일 예에 따라 손실 모드에 따른 압축해제, 무손실 모드에 따른 압축해제 모두 수행 후 제2 모드 셀렉터(299)에 플래그를 알려주고 두 결과 중 하나를 선택하게 할 수도 있고, 다른 예에 따라 플래그로 제2 모드 셀렉터(299)가 손실 모드 또는 무손실 모드 중 하나를 선택한 후, 선택된 경로에 따른 압축해제를 수행할 수도 있다.
예측 보상 모듈(223)은 예측 데이터에 인트라-예측 보상을 수행하여 엔트로피 디코딩 모듈(225)로부터 전달된 예측 데이터를 압축해제할 수 있다. 즉, 예측 보상 모듈(223)은 예측 데이터에 인트라-예측 보상을 수행하여, 리콘 데이터 또는 출력 데이터(30)를 생성할 수 있다. 예를 들어, 압축 데이터(20)가 손실 모드로 압축된 경우, 예측 보상 모듈(223)은 리콘 데이터를 생성하여, 역양자화 모듈(221)로 전달할 수 있다. 또한, 압축 데이터(20)가 무손실 모드로 압축된 경우, 예측 보상 모듈(223)은 출력 데이터(30)를 생성할 수 있다. 이 경우, 디코더는 출력 데이터(30)를 멀티미디어 IP(100)로 전달할 수 있다.
예를 들어, 예측 보상 모듈(223)은, 예측 모듈(213)에 의한 인트라-예측을 역순으로 수행하여, 예측 데이터를 압축해제할 수 있다. 예측 데이터는 복수의 예측 픽셀 데이터를 포함할 수 있다. 복수의 예측 픽셀 데이터 각각은 기준 픽셀 데이터 또는 잔차 픽셀 데이터일 수 있다.
일 예로, 예측 보상 모듈(223)은 기준 픽셀 데이터 또는 잔차 픽셀 데이터를 이용하여, 복수의 리콘 픽셀 데이터를 생성할 수 있다. 예를 들어, 예측 보상 모듈(223)은 기준 픽셀 데이터를 이용하여, 기준 픽셀 데이터에 대응되는 리콘 픽셀 데이터를 생성할 수 있다. 또한, 예측 보상 모듈(223)은 기준 픽셀 데이터와 잔차 픽셀 데이터를 이용하여, 잔차 픽셀 데이터에 대응되는 리콘 픽셀 데이터를 생성할 수 있다. 앞서 설명한 것과 같이, 예측 보상 모듈(223)은 복수의 리콘 픽셀 데이터를 포함하는 리콘 데이터를 역양자화 모듈(221)로 전달할 수 있다.
다른 예로, 출력 데이터(30)는 복수의 예측 픽셀 데이터 각각에 대응하는 출력 픽셀 데이터를 포함할 수 있다. 예측 보상 모듈(223)은 기준 픽셀 데이터 또는 잔차 픽셀 데이터를 이용하여, 복수의 출력 픽셀 데이터를 생성할 수 있다. 예를 들어, 예측 보상 모듈(223)은 기준 픽셀 데이터를 이용하여, 기준 픽셀 데이터에 대응되는 출력 픽셀 데이터를 생성할 수 있다. 또한, 예측 보상 모듈(223)은 기준 픽셀 데이터와 잔차 픽셀 데이터를 이용하여, 잔차 픽셀 데이터에 대응되는 출력 픽셀 데이터를 생성할 수 있다. 앞서 설명한 것과 같이, 디코더(220)는 복수의 출력 픽셀 데이터를 포함하는 출력 데이터(30)를 멀티미디어 IP(100)로 전달할 수 있다.
이처럼, 예측 보상 모듈(223)은 예측 모듈(213)에 따라 픽셀 단위로 수행된 인트라-예측을 복원할 수 있다.
손실 모드의 경우, 역양자화 모듈(221)은 압축 데이터(20)로부터의 양자화 계수와 예측 보상 모듈(223)로부터 전달된 리콘 데이터로부터 출력 데이터(30)를 생성할 수 있다. 즉, 역양자화 모듈(221)은 양자화 계수를 사용하여, 리콘 데이터에 역양자화를 수행하고, 그 결과로 출력 데이터(30)를 생성할 수 있다. 예를 들어, 리콘 데이터는 인코더(210)의 압축 관리 모듈(218)에 의해 결정된 QP 테이블을 포함할 수 있다. 역양자화 모듈(221)은 QP 테이블로부터 양자화 계수를 결정할 수 있다.
예를 들어, 출력 데이터(30)는 복수의 리콘 픽셀 데이터 각각에 대응하는 복수의 출력 픽셀 데이터를 포함할 수 있다. 출력 픽셀 데이터는 대응하는 리콘 픽셀 데이터에 역양자화를 수행하여 생성될 수 있다. 예를 들어, 출력 픽셀 데이터는 대응하는 리콘 픽셀 데이터에 양자화 계수를 곱하여 생성될 수 있다.
이처럼, 역양자화 모듈(221)은 리콘 데이터로부터 출력 데이터(30)를 생성할 수 있다. 이때, 역양자화 모듈(221)에서 생성된 출력 데이터(30)는 인코더(210)에 입력된 소스 데이터(10)와는 상이할 수 있다. 인코더(210)의 양자화 모듈(211)에서 소스 데이터(10)에 양자화를 수행하는 경우, 양자화 계수보다 작은 데이터는 손실되어 복원되지 않을 수 있기 때문이다. 따라서, 역양자화 모듈(221)은 손실 모드에서만 활용될 수 있다.
압축 해제 관리 모듈(228)은 도 8과 관련하여 앞서 설명한 압축 관리 모듈(218)이 소스 데이터(10)의 압축을 수행하기 위해 결정했던 QP 테이블 및 엔트로피 테이블의 조합이, 압축 데이터(20)를 압축해제할 때에 적절하게 반영될 수 있는 작업을 수행할 수 있다.
한편, 도시하지는 않았으나, 디코더(220)는 역양자화 모듈(221) 뒤에 CRC 체크 모듈을 더 포함할 수 있다.
CRC 체크 모듈(미도시)은 제2 모드 셀렉터(229)로부터 CRC 비트(CRC BIT)를 수신할 수 있다. CRC 체크 모듈(미도시)은 앞의 모듈에 의해서 압축해제된 출력 데이터(30)에 대해서 미리 저장된 다항식에 의해서 CRC 계산을 수행하여 비교 CRC 비트를 생성할 수 있다.
CRC 체크 모듈(미도시)은 CRC 비트(CRC BIT)와 상기 비교 CRC 비트를 서로 비교할 수 있다. 만일, CRC 비트(CRC BIT)와 상기 비교 CRC 비트가 서로 동일한 경우 출력 데이터(30)는 소스 데이터(10)와 완전히 동일할 수 있다. 즉, 이러한 경우 압축과 압축해제 과정에서 에러가 전혀 없는 것이 확인될 수 있다.
반대로, 만일, CRC 비트(CRC BIT)와 상기 비교 CRC 비트가 서로 다른 경우 출력 데이터(30)는 소스 데이터(10)와 서로 다를 수 있다. 즉, 이러한 경우 압축과 압축해제 과정에서 에러가 발생한 것이 확인될 수 있다. CRC 체크 모듈(미도시)은 이러한 경우, 출력 데이터(30)에 에러 마킹을 할 수 있다. 상기 에러 마킹은 사용자가 압축 또는 압축해제 과정에서 에러가 발생한 것을 알 수 있게 하는 표시일 수 있다. 예를 들어, CRC 체크 모듈(미도시)은 출력 데이터(30)에 특정한 컬러를 할당하여 사용자가 특정 컬러 부분이 에러난 부분인 것을 인지하도록 할 수 있다.
이하, 도 11을 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치를 설명한다. 상술한 설명과 동일한 부분의 설명은 간략히 하거나 생략한다. 도 11은 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 11을 참조하면, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치의 프레임 버퍼 컴프레서(200), 멀티미디어 IP(100), 및 메모리(300)는 각각 시스템 버스(400)와 직접 연결될 수 있다.
프레임 버퍼 컴프레서(200)는 멀티미디어 IP(100)와는 직접적으로 연결되지는 않고, 시스템 버스(400)를 통해서 서로 연결될 수 있다. 예를 들어, 멀티미디어 IP(100)는 시스템 버스(400)를 통해서 프레임 버퍼 컴프레서(200)와 데이터를 서로 전송할 수 있다. 즉, 압축 과정에서는 멀티미디어 IP(100)는 시스템 버스(400)를 통해서 프레임 버퍼 컴프레서(200)로 소스 데이터(10)를 전송할 수 있다. 이어서, 프레임 버퍼 컴프레서(200) 소스 데이터(10)로부터 압축 데이터(20)를 생성하고, 이를 다시 메모리(300)에 시스템 버스(400)를 통해서 전송할 수 있다.
또한, 압축해제 과정에서 메모리(300)에 저장된 압축 데이터(20)를 시스템 버스(400)를 통해서 프레임 버퍼 컴프레서(200)가 전송받고, 이를 출력 데이터(30)로 압축해제할 수 있다. 이어서, 프레임 버퍼 컴프레서(200)가 시스템 버스(400)를 통해서, 출력 데이터(30)를 멀티미디어 IP(100)로 전송할 수 있다.
본 실시예의 경우, 프레임 버퍼 컴프레서가 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)와 개별적으로 연결되지 않아도 시스템 버스를 통해서 연결될 수 있어 하드웨어 구성이 단순해지고, 동작 속도가 향상될 수 있다.
이하, 도 12를 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치를 설명한다. 상술한 설명과 동일한 부분의 설명은 간략히 하거나 생략한다. 도 12는 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 12를 참조하면, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치에서 시스템 버스(400)는 멀티미디어 IP(100) 및 프레임 버퍼 컴프레서(200)와 직접 연결되고, 메모리(300)는 프레임 버퍼 컴프레서(200)를 통해서 시스템 버스(400)와 연결될 수 있다.
즉, 메모리(300)는 시스템 버스(400)에 직접적으로 연결되지 못하고, 프레임 버퍼 컴프레서(200)를 통해서만 시스템 버스(400)에 연결될 수 있다. 또한, 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)는 시스템 버스(400)와 직접 연결될 수 있다. 따라서, 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)는 프레임 버퍼 컴프레서(200)를 거쳐야만 메모리(300)에 액세스할 수 있다.
본 실시예는 메모리(300)에 대한 모든 접근을 어차피 프레임 버퍼 컴프레서(200)가 관여하므로 시스템 버스(400)에 프레임 버퍼 컴프레서(200)를 직접 연결하고, 메모리(300)는 시스템 버스(400)를 프레임 버퍼 컴프레서(200)를 통해서 연결되도록 하여 데이터의 전송의 오류를 줄이고, 속도를 향상시킬 수 있다.
이하, 도 14를 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치를 설명한다. 상술한 설명과 동일한 부분의 설명은 간략히 하거나 생략한다. 도 14는 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 14를 참조하면, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치에서 시스템 버스(400)는 멀티미디어 IP(100) 및 메모리(300)와 직접 연결될 수 있다. 프레임 버퍼 컴프레서(200)는 멀티미디어 IP(100)와 연결될 수 있다. 프레임 버퍼 컴프레서(200)는 멀티미디어 IP(100)로부터의 소스 데이터(10)를 수신할 수 있다. 프레임 버퍼 컴프레서(200)는 소스 데이터(10)를 압축하여 압축 데이터(20)를 생성하고, 이를 다시 멀티미디어 IP(100)로 전달할 수 있다. 멀티미디어 IP(100)는 시스템 버스(400)를 통해 압축 데이터(20)를 메모리(300)에 저장할 수 있다.
압축해제 과정에서, 멀티미디어 IP(100)는 메모리(300)로부터 시스템 버스(400)를 통해 압축 데이터(20)를 수신할 수 있다. 멀티미디어 IP(100)는 압축 데이터(20)를 프레임 버퍼 컴프레서(200)로 전달할 수 있다. 프레임 버퍼 컴프레서(200)는 압축 데이터(20)를 압축해제하여 출력 데이터(30)를 생성하고, 이를 다시 멀티미디어 IP(100)로 전달할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 멀티미디어 IP 200: 프레임 버퍼 컴프레서
210: 인코더 220: 디코더
300: 메모리 400 : 시스템 버스

Claims (20)

  1. 로우(raw) 데이터를 프로세싱하여 소스 데이터를 생성하고, 출력 데이터를 수신하여 사용하는 멀티미디어 아이피(IP);
    손실 모드 또는 무손실 모드로 동작하여, 상기 소스 데이터를 압축 데이터로 압축하거나 상기 압축 데이터를 상기 출력 데이터로 압축해제(decompress)하는 프레임 버퍼 컴프레서; 및
    상기 압축 데이터를 저장하고, 상기 멀티미디어 아이피에 의해서 액세스 되는 메모리를 포함하고,
    상기 프레임 버퍼 컴프레서는
    상기 압축 데이터의 누적 압축률에 기초하여 상기 손실 모드 또는 상기 무손실 모드를 선택하고 상기 압축 또는 상기 압축해제를 수행하는 이미지 처리 장치.
  2. 제1항에 있어서, 상기 소스 데이터는 복수의 블록을 포함하는 적어도 하나의 프레임을 포함하고,
    상기 프레임 버퍼 컴프레서는
    상기 복수의 블록 중 적어도 두 개 블록에 대한 상기 누적 압축률이 기준 압축률을 초과하면 상기 손실 모드로 동작하고, 그렇지 않으면 상기 무손실 모드로 동작하는, 이미지 처리 장치.
  3. 제2항에 있어서, 상기 누적 압축률의 기초가 되는 상기 적어도 두 개 블록은 상기 복수의 블록을 모두 포함하는 것인, 이미지 처리 장치.
  4. 제2항에 있어서, 상기 누적 압축률의 기초가 되는 상기 적어도 두 개 블록은 상기 복수의 블록 중 적어도 하나의 라인에 포함된 블록인, 이미지 처리 장치.
  5. 제2항에 있어서, 상기 누적 압축률의 기초가 되는 상기 적어도 두 개 블록은 상기 복수의 블록 중 연속적으로 배치되는 적어도 둘 이상의 블록인, 이미지 처리 장치.
  6. 제2항에 있어서, 상기 누적 압축률의 기초가 되는 상기 적어도 두 개 블록은
    상기 복수의 블록 중 랜덤하게 배치되는 적어도 둘 이상의 블록인, 이미지 처리 장치.
  7. 제1항에 있어서, 상기 압축 데이터는
    대역폭 내에 상기 압축 데이터가 차지하는 비율을 나타내는 헤더; 및
    상기 누적 압축률이 기준 압축률을 초과하는지 나타내는 플래그, 실제 압축된 데이터 및 상기 압축해제를 위해 필요한 값들을 포함하는 페이로드를 더 포함하는, 이미지 처리 장치.
  8. 소스 데이터를 수신하여 압축 데이터를 생성하는 인코더; 및
    상기 압축 데이터를 압축해제하여 출력 데이터를 출력하는 디코더를 포함하되,
    상기 인코더는
    상기 압축 데이터의 누적 압축률이 기준 압축률을 초과하면 손실 모드로 압축을 수행하고, 그렇지 않으면 무손실 모드로 압축을 수행하며,
    상기 디코더는 상기 압축 데이터에 상응하는 압축 모드에 따라 압축해제를 수행하는 것인, 프레임 버퍼 컴프레서.
  9. 제8항에 있어서, 상기 압축 데이터는
    대역폭 내에 상기 압축 데이터가 차지하는 비율을 나타내는 헤더; 및
    플래그, 실제 압축된 데이터 및 상기 압축해제를 위해 필요한 값들을 포함하는 페이로드를 포함하는, 프레임 버퍼 컴프레서.
  10. 제9항에 있어서, 상기 인코더는
    상기 소스 데이터를 양자화 계수에 따라 양자화 하는 양자화 모듈;
    상기 소스 데이터 또는 상기 양자화된 데이터를 예측 데이터로 생성하는 예측 모듈;
    상기 예측 데이터에 대해 엔트로피 인코딩을 수행하여 엔트로피 데이터를 생성하는 엔트로피 인코딩 모듈을 포함하고,
    상기 엔트로피 인코딩 모듈은
    상기 소스 데이터를 블록 단위로 압축률을 산출하고 누적하여,
    적어도 둘 이상의 블록에 대한 상기 누적 압축률을 상기 기준 압축률과 비교한 결과를 상기 플래그로 반영하는, 프레임 버퍼 컴프레서.
  11. 제10항에 있어서, 상기 인코더는
    상기 엔트로피 인코딩 모듈에 의해 제공되는 상기 플래그에 기초하여 상기 손실 모드 또는 상기 무손실 모드를 선택하는 제1 모드 셀렉터를 더 포함하고,
    상기 제1 모드 셀렉터는
    상기 양자화 모듈 앞에 배치되어, 상기 손실 모드가 선택된 경우 상기 소스 데이터를 상기 예측 모듈로 전송하고 상기 무손실 모드가 선택된 경우 상기 소스 데이터를 상기 양자화 모듈로 전송하는, 프레임 버퍼 컴프레서.
  12. 제10항에 있어서, 상기 인코더는
    상기 소스 데이터에 기초하여 생성되는 CRC비트를 상기 압축 데이터에 추가하는 CRC(cyclical redundancy check) 모듈을 더 포함하는, 프레임 버퍼 컴프레서.
  13. 제9항에 있어서, 상기 디코더는
    상기 플래그에 따라 상기 손실 모드 또는 상기 무손실 모드를 선택하는 제2 모드 셀렉터;
    상기 압축 데이터를 엔트로피 디코딩하는 엔트로피 디코딩 모듈;
    상기 엔트로피 디코딩된 데이터에 대해 예측 보상을 수행하는 예측 보상 모듈; 및
    상기 손실 모드인 경우 상기 예측 보상된 데이터를 역 양자화하여 상기 출력 데이터로 출력하는 역 양자화 모듈을 포함하고,
    상기 무손실 모드인 경우 상기 예측 보상된 데이터를 상기 출력 데이터로 출력하는, 프레임 버퍼 컴프레서.
  14. 압축 데이터를 저장하는 메모리; 및
    소스 데이터의 적어도 일부를 압축하여 상기 압축 데이터를 생성하고 상기 메모리로 전송하는 인코더 및 상기 메모리로부터 상기 압축 데이터를 리드하여 압축해제하는 디코더를 포함하는 프레임 버퍼 컴프레서;를 포함하고,
    상기 압축 데이터는
    실제 압축된 데이터와 플래그를 포함하는 페이로드 및 헤더를 포함하고,
    상기 프레임 버퍼 컴프레서는
    상기 압축 데이터에 상응하는 누적 압축률을 기준 압축률과 비교한 결과를 상기 플래그에 반영하고, 상기 플래그에 따라 손실 모드 또는 무손실 모드로 압축 또는 압축해제를 수행하는, 이미지 처리 장치.
  15. 제14항에 있어서, 상기 인코더는
    상기 소스 데이터를 양자화 계수에 따라 양자화 하는 양자화 모듈;
    상기 소스 데이터 또는 상기 양자화된 데이터를 예측 데이터로 생성하는 예측 모듈;
    상기 예측 데이터에 대해 엔트로피 인코딩을 수행하여 엔트로피 데이터를 생성하는 엔트로피 인코딩 모듈을 포함하고,
    상기 엔트로피 인코딩 모듈은
    상기 엔트로피 데이터를 블록 단위로 압축률을 산출하고 누적하여,
    적어도 둘 이상의 블록에 대한 상기 누적 압축률을 상기 기준 압축률과 비교한 결과를 상기 플래그로 생성하는, 이미지 처리 장치.
  16. 제15항에 있어서, 상기 인코더는
    상기 플래그에 따라 상기 손실 모드 또는 상기 무손실 모드로 동작하게 하는 제1 모드 셀렉터를 더 포함하는, 이미지 처리 장치.
  17. 제14항에 있어서, 상기 디코더는
    상기 리드된 압축데이터의 플래그에 따라 상기 손실 모드 또는 상기 무손실 모드를 선택하고,
    상기 압축 데이터의 제로 데이터를 언패딩하고,
    상기 언패딩된 압축 데이트를 엔트로피 디코딩하고,
    상기 손실 모드가 선택되면, 상기 디코딩된 데이터를 역 양자화 하여 출력 데이터로 출력하고,
    상기 무손실 모드가 선택되면 상기 디코딩된 데이터를 상기 출력 데이터로 출력하는, 이미지 처리 장치.
  18. 제17항에 있어서, 상기 헤더는
    상기 메모리와 상기 프레임 버퍼 컴프레서 간의 대역폭에서 상기 압축 데이터가 차지하는 비율을 나타내는, 이미지 처리 장치.
  19. 제15항에 있어서, 상기 누적 압축률의 기초가 되는 적어도 두 개 블록은
    상기 소스 데이터에 대한 복수의 블록 중 적어도 하나의 라인에 포함된 블록인, 이미지 처리 장치.
  20. 제15항에 있어서, 상기 누적 압축률의 기초가 되는 적어도 두 개 블록은
    상기 소스 데이터에 대한 복수의 블록 중 연속적으로 배치되는 적어도 둘 이상의 블록인, 이미지 처리 장치.
KR1020200095686A 2020-07-31 2020-07-31 이미지 처리 장치 및 프레임 버퍼 컴프레서 KR20220015556A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200095686A KR20220015556A (ko) 2020-07-31 2020-07-31 이미지 처리 장치 및 프레임 버퍼 컴프레서
DE102021110443.2A DE102021110443A1 (de) 2020-07-31 2021-04-23 Framebufferkomprimierschaltung und bildverarbeitungsgerät
US17/375,666 US11735222B2 (en) 2020-07-31 2021-07-14 Frame buffer compressing circuitry and image processing apparatus
CN202110837651.6A CN114095775A (zh) 2020-07-31 2021-07-23 帧缓冲压缩电路和图像处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200095686A KR20220015556A (ko) 2020-07-31 2020-07-31 이미지 처리 장치 및 프레임 버퍼 컴프레서

Publications (1)

Publication Number Publication Date
KR20220015556A true KR20220015556A (ko) 2022-02-08

Family

ID=79300590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200095686A KR20220015556A (ko) 2020-07-31 2020-07-31 이미지 처리 장치 및 프레임 버퍼 컴프레서

Country Status (4)

Country Link
US (1) US11735222B2 (ko)
KR (1) KR20220015556A (ko)
CN (1) CN114095775A (ko)
DE (1) DE102021110443A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117856794A (zh) * 2023-11-16 2024-04-09 智绘微电子科技(南京)有限公司 多压缩算法模式下的自适应选优的装置及方法
CN117411947B (zh) * 2023-12-15 2024-02-23 安徽中科大国祯信息科技有限责任公司 基于云边协同的水务数据快速传输方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248190B1 (ko) 1997-09-26 2000-03-15 윤종용 영상압축장치 및 방법
US8031937B2 (en) 2007-04-04 2011-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Frame buffer compression and decompression method for graphics rendering
US20100060629A1 (en) 2008-09-09 2010-03-11 Jim Rasmusson Graphics-Processing Architecture Based on Approximate Rendering
TW201034465A (en) * 2009-03-11 2010-09-16 Jmicron Technology Corp Image compression method and related apparatus thereof
JP5312108B2 (ja) * 2009-03-12 2013-10-09 キヤノン株式会社 通信装置及びその制御方法
US8572463B2 (en) * 2010-02-01 2013-10-29 Sk Hynix Memory Solutions Inc. Quasi-cyclic LDPC encoding and decoding for non-integer multiples of circulant size
US8949513B2 (en) * 2011-05-10 2015-02-03 Marvell World Trade Ltd. Data compression and compacting for memory devices
US9053121B2 (en) * 2013-01-10 2015-06-09 International Business Machines Corporation Real-time identification of data candidates for classification based compression
US9177393B2 (en) * 2013-02-04 2015-11-03 Qualcomm Incorporated Mixed mode for frame buffer compression
US10225569B2 (en) 2014-03-31 2019-03-05 Megachips Corporation Data storage control apparatus and data storage control method
US10798342B2 (en) * 2014-09-07 2020-10-06 Eagle Eye Networks, Inc. High definition surveillance image storage optimization and retention triggering apparatus
KR20240001326A (ko) 2015-05-21 2024-01-03 제로포인트 테크놀로지 에이비 시맨틱 값 데이터 압축 및 압축해제를 위한 방법, 장치 및 시스템
KR101829262B1 (ko) 2017-01-23 2018-02-14 (주)루먼텍 문자나 그래픽을 포함한 비디오에 대한 ip패킷 전송방법 및 그 장치
CN110012292B (zh) * 2018-01-05 2022-02-08 澜至电子科技（成都）有限公司 用于压缩视频数据的方法和装置
US11190810B2 (en) 2018-01-26 2021-11-30 Samsung Electronics Co., Ltd. Device and method for compressing image data using quantization parameter and entropy tables
US20210075440A1 (en) * 2019-09-11 2021-03-11 Agape-1 Technology Inc. System, Apparatus and Method for Data Compaction and Decompaction

Also Published As

Publication number Publication date
DE102021110443A1 (de) 2022-02-03
US20220036922A1 (en) 2022-02-03
CN114095775A (zh) 2022-02-25
US11735222B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
JP4491349B2 (ja) ビデオ・データのイントラ符号化方法及び装置
US8908982B2 (en) Image encoding device and image encoding method
US11445160B2 (en) Image processing device and method for operating image processing device
US10887616B2 (en) Image processing devices having enhanced frame buffer compressors therein
US11735222B2 (en) Frame buffer compressing circuitry and image processing apparatus
US11991347B2 (en) Image processing device
US20210250575A1 (en) Image processing device
US11153586B2 (en) Image processing device and frame buffer compressor
US11190810B2 (en) Device and method for compressing image data using quantization parameter and entropy tables
KR102543449B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
KR20220090850A (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
KR102523959B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
KR102465206B1 (ko) 이미지 처리 장치
TWI795480B (zh) 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置