KR101313952B1 - 부호화된 데이터의 압축 이득을 위한 피압축 도메인 시스템 및 방법 - Google Patents

부호화된 데이터의 압축 이득을 위한 피압축 도메인 시스템 및 방법 Download PDF

Info

Publication number
KR101313952B1
KR101313952B1 KR1020117001782A KR20117001782A KR101313952B1 KR 101313952 B1 KR101313952 B1 KR 101313952B1 KR 1020117001782 A KR1020117001782 A KR 1020117001782A KR 20117001782 A KR20117001782 A KR 20117001782A KR 101313952 B1 KR101313952 B1 KR 101313952B1
Authority
KR
South Korea
Prior art keywords
data
plane
compressed
image
significant bit
Prior art date
Application number
KR1020117001782A
Other languages
English (en)
Other versions
KR20110036914A (ko
Inventor
아사드 이슬램
Original Assignee
픽스센스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 픽스센스 인코포레이티드 filed Critical 픽스센스 인코포레이티드
Publication of KR20110036914A publication Critical patent/KR20110036914A/ko
Application granted granted Critical
Publication of KR101313952B1 publication Critical patent/KR101313952B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Abstract

JPEG(Joint Photographic Experts Group) 부호화된 이미지들과 같은 부호화된 이미지의 압축 이득들을, 이 압축 이미지들을 완전히 복호화 및 재-부호화하지 않고 개선하는 피압축 도메인 압축을 위한 시스템 및 방법이 제공된다.

Description

부호화된 데이터의 압축 이득을 위한 피압축 도메인 시스템 및 방법{COMPRESSED DOMAIN SYSTEM AND METHOD FOR COMPRESSION GAINS IN ENCODED DATA}
본 출원은 2006년 11월 28일 출원되고, 발명의 명칭이 "Efficient Content Compression and Decompression System and Method"인 미국 출원번호 제11/605,892호에 대한 미국 특허법 제120조에 따른 우선권을 주장하며, 이 미국출원은 또한 2006년 4월 28일 출원된 미국 가출원 번호 제60/795,822호 및 2006년 6월 22일 출원된 미국 가출원 번호 제60/816,115호에 대한 이익을 주장하며, 이들 출원들은 참조로서 본 출원에 포함된다.
부호화된 이미지들을 완전히(fully) 복호화 및 재부호화하지 않고, 그 부호화된 이미지들 내에서 압축 이득들을 개선하는 피압축 도메인 방법론들을 위한 시스템 및 방법이 개시된다.
디지털 데이터와 같은 컨텐츠는 여러 바이트의 정보로 이루어지고, 각각의 바이트는 어떤 의미에서(in some sense), 시간 및/또는 공간의 특정 점에서 소스 데이터의 샘플을 나타낸다. 그러한 데이터에는 일반적으로 일정 유형의 용장성(redundancy)이 있다. 잘 알려진 바와 같이, 이 사실은 데이터 송신 및 저장을 더욱 효율적으로 하기 위하여 데이터를 압축하는데 사용된다.
데이터 용장성에 더하여, 데이터 중요성(data importance)이 그러한 데이터에 존재하는 또 다른 인자이다. 즉, 데이터에 대한 인간의 인식 관점에서, 데이터의 어느 부분들은 다른 부분들보다 더욱 중요하다.
컨텐츠의 일 유형은 디지털 이미지들이다. 디지털 이미지들은 픽셀들로 이루어지고, 각 픽셀들은 하나 이상의 정보 바이트들로 표현된다. 전형적인 컬러 이미지들에 대하여, 3 컬러 성분들(일반적으로, 적, 녹 및 청)이 필요하고, 각 성분은 전형적으로는 일 바이트의 정보로 표현된다. 따라서 컬러 이미지들은 그 이미지들 내에 있는 모든 픽셀마다 3 바이트의 정보들에 의해 적절히 표현될 수 있다.
한 이미지 내에 있는 픽셀들의 수는 그 이미지의 해상도에 의해 결정된다. 1 메가픽셀 이미지는 100만개의 픽셀들을 포함한다. 따라서 1 메가픽셀 컬러 이미지가 보유하는 정보량은 3 메가바이트 정도이다. 오늘날, 디지털 카메라들은 매우 높은 해상도의 이미지를 생성한다. 6 메가픽셀 컬러 이미지는 대략 18 MB의 데이터로 변환된다. 디지털 이미지들이 매우 많은 정보를 보유하고 따라서 많은 공간을 차지하기 때문에, 대량의 이미지 데이터를 압축하는 기술들이 개발되는 것은 매우 자연스럽다.
JPEG(Joint Photographic Experts Group) 표준은 1992년 표준화된 이미지 압축 표준이고, 사진 이미지들을 압축하는데 매우 통상적으로 사용되는 방법이다. 이 표준은 디지털 카메라들 및 그 밖의 사진 이미지 획득 디바이스들(모바일 전화기들을 포함함)이 사용하는 가장 일반적인 이미지 포맷이고, 또한 월드 와이드 웹상에서 사진 이미지들을 저장하고 전송하기 위한 가장 일반적인 포맷이다. 세계 디지털 이미지들의 90% 이상이 JPEG 포맷으로 저장된다고 추정된다.
JPEG는 통상적으로 사진 이미지들에 대하여, 인식 가능한 이미지 품질의 손실이 거의 없이, 10:1 압축을 달성한다. JPEG에 비하여 추가적인 압축 이득을 제공하는 다른 이미지 압축 알고리즘들이 개발되어 왔다. 이러한 알고리즘들 중 주목할 만한 것은 JPEG 협회가 2000년에 표준화한 JPEG 2000 정지 이미지 압축 표준이다. 하지만 디지털 이미지들의 세상은 여전히 JPEG를 중심으로 돌아가며, 아직은 새로운 코덱들(codecs)로 이동하고 있지 않다. JPEG에 이렇게 애착하는 이유 중 일부는 JPEG가 제공하는 단순하고 빠르지만, 효율적인 알고리즘이다.
이미지 압축 연구에서 하나의 과제는 이미지 압축을 고속이지만 효율적으로 구현(JPEG 보다 높은 압축 이득들을, 단순한 JPEG 알고리즘의 속도와 복잡성으로 제공함)하는 단순한 이미지 코덱들을 제안하는 것이다.
따라서 JPEG의 압축 이득들을 시스템의 복잡성 비용을 많이 증가시키지 않고 향상시키는 방법을 제공하는 것이 소망되며, 이를 위하여 본 명세서는 아래에 설명하는 시스템 및 방법에 관련된다.
본 발명의 일 태양에 따르면 상기한 목적은, 부분적으로 복호화된 데이터(a partially decoded piece of data)를 생성하기 위하여 부호화된 데이터를 부분적으로 복호화하는 부분 복호화기; 피압축 도메인 피압축 데이터(compressed domain compressed data)를 생성하기 위하여 상기 부분적으로 복호화된 데이터에서 적어도 하나의 최하위 비트-평면을 제거하는 최하위 비트-평면 제거 유닛; 및 상기 피압축 도메인 피압축 데이터를 부호화하는 부분 부호화기를 포함하는 피압축 도메인 압축 장치에 의해 달성된다.
본 발명의 시스템 및 방법은 시스템의 복잡성 비용을 많이 증가시키지 않고 JPEG의 압축 이득들을 향상시키는 효과를 달성한다.
도1은 공간 도메인에서 JPEG 이미지에 '최하위 비트-평면 제거' 시스템 및 방법을 적용하는 프로세스를 도시한다.
도2a와 2b는 S(O(k))와 O(S(k)) 연산의 표현을 나타낸다.
도3은 피압축 도메인에서 JPEG 이미지에 '최하위 비트-평면 제거' 기법을 적용하는 부분 복호화/부호화 접근법을 예시한다.
하나 이상 실시예에 대한 상세한 설명
본 시스템 및 방법은 JPEG 이미지들 및 JPEG 이미지들을 압축하는 것에 대하여 특히 적용가능하며, 이러한 배경 하에서, 본 시스템 및 방법이 설명된다. 하지만 본 시스템과 방법은 다른 이미지 압축 알고리즘들, 비디오/동화(moving picture) 알고리즘들 등의 압축을 개선하는데 사용될 수 있고, 또한 본 시스템과 방법이 이하에 설명하는 JPEG 실시예에만 한정되는 것은 아니므로, 본 시스템과 방법은 큰 유용성을 가짐을 알 수 있다. 예를 들어, 이하에 설명되는 피압축 도메인 시스템과 방법은 모션 JPEG 비디오에 적용될 수 있다.
일 예시적 실시예에서, 본 시스템과 방법은 JPEG 이미지를 추가로 압축하기 위하여 사용될 수 있다. 본 시스템과 방법은, JPEG 이미지의 완전한 복호화와 재부호화가 요구되지 않도록, 피압축 도메인에서 구현될 수 있다. 복잡성의 관점에서, 본 발명의 시스템 및 방법을 구현하는데 JPEG 복호화 및 부호화 복잡성의 대략 20% 이하만이 필요하다.
이미지 압축은, 이산 코사인 변환, 이산 웨이브렛(wavelet) 변환, 이산 하르(haar) 변환과 같은 적절한 수학적 변환을 사용하여 이미지 데이터를 비-상관(de-correlating)시킴으로써 달성된다. 이미지 데이터의 특성은 이미지 데이터 압축에 사용되는 2개의 중요한 파라미터― 1) 데이터 레이트(rate) 및 2) 데이터 왜곡(distortion)―을 조사하여 분석할 수 있다. 이하의 설명에서, 이미지 데이터는 그 이미지를 구성 이미지 데이터 평면들(constituent image data planes)로 분해함으로써, 이들 두개의 파라미터에 대하여 분석된다.
1) 데이터 레이트
개별 이미지 비트-평면들을 통하여 이미지 데이터가 분석될 때, 분석이 하위의 이미지 비트-평면들로 이동함에 따라서 이미지 데이터 상관성은 감소한다. 따라서 최하위 이미지 비트-평면은 최소의 데이터 상관성을 가지며, 거동이 랜덤 노이즈와 매우 유사한 이미지 데이터를 갖는다. 더욱이, 랜덤 노이즈는 매우 비상관된 데이터를 가지고 또한 특정 소스 데이터 유형에 대하여 최고의 엔트로피 값을 가져서 그 데이터의 압축이 매우 어렵다는 것이 알려져 있다. 즉, 랜덤 데이터는 효과적으로 압축할 수 없다.
최하위 비트-평면은 랜덤 노이즈에 가까운 데이터 분포를 가지므로, 효율적으로 압축될 수 없다. 더 상위의 비트-평면들로 올라가면, 데이터는 더욱 상관되게 되고, 따라서 더 효과적으로 압축할 수 있다. 즉, 최하위 비트-평면은 압축 이미지 데이터에서, 개별 이미지 비트-평면들 중에서 최대의 기여를 보상한다.
2) 데이터 왜곡
분석에 있어서 다른 중요한 인자는 이미지의 왜곡(또는 반대로는 품질 레벨)에 대한 개별 이미지 비트-평면들의 기여이다. 개별 비트-평면들의 관점에서 이미지 데이터가 분석될 때, 이미지 비트-평면 각각은 자신과 연관되고 또한 전체 이미지 데이터 값에 집합적으로 영향을 미치는 소정 가중치를 갖는 것이 발견되었다. 예를 들어, 최하위 비트-평면은 1의 가중치를 갖고, 다음 비트-평면은 2의 가중치를 가지고, 다음 것은 4를 가지고, 다음은 8, 16 등을 갖는다. 즉, 한 비트-평면에서 한 비트가 1의 값을 가지면, 비트-평면들에서 전체 픽셀 데이터 값에 대한 이 값의 기여는, 최하위에서 최상위의 순으로, 1, 2, 4, 8, 16 등이다.
이 가중치 분포로부터, 전체 이미지 픽셀들에 대한 최하위 이미지 비트-평면의 기여가 최소인 것을 쉽게 알 수 있다. 따라서 최하위 비트-평면의 손실에 의해 야기되는 이미지 내의 모든 픽셀로부터 최대 픽셀 값 손실은 1이 된다. 대부분의 경우에, 이 손실은 시각적으로 인식할 수 없다. 따라서 최하위 이미지 비트-평면은 이미지 품질에 영향을 최소로 준다.
데이터의 제거
상기 분석으로부터 알 수 있듯이, 최하위 이미지 비트-평면은 2개의 중요한 특징을 갖는다. 1) 최하위 이미지 비트-평면은 효율적으로 압축될 수 없고; 및 2) 최하위 이미지 비트-평면은 전체 이미지 왜곡(역으로는, 품질)에 많은 값을 더하지 않는다. 따라서 최하위 이미지 비트-평면이 제거되면, 그 영향은 두 배가 된다. 즉, 1) 압축 데이터의 크기는 상당히 감소되고; 및 2) 그러한 데이터의 제거는 인식되는 이미지 품질에 악 영향을 주지 않는다. 최하위 이미지 비트-평면의 제거는 이미지 픽셀 값들을 오른쪽으로 일 비트 시프트하여 달성될 수 있다. 음이 아닌 정수 값을 오른쪽으로 일 비트 시프트하는 것은, 그 값을 2로 나누는 것과 등가라고 알려져 있다. 따라서 최하위 이미지 비트-평면을 제거하여 압축 효율을 증가시키는 상기 개념은 원래의 픽셀 값들을 2로 나누어서 달성할 수 있다.
본 명세서에 설명되는 시스템과 방법에서, 하나 이상 비트-평면의 제거는 피압축 도메인(즉, 이미 압축된 이미지 상)에서 구현된다. 이러한 방법론의 동기는 여러 컴퓨팅 디바이스들(휴대용 모바일 디바이스들을 포함함)의 컴퓨팅 능력이 제약된다는 사실이다. 비압축 도메인에서, JPEG와 같은 이미 저장된 이미지 상에서 최하위 이미지 비트-평면을 제거하기 위해서는, 그 이미지는 먼저 완전히 복호화되고, 그 다음, 상기한 바와 같이 처리되고, 마지막으로, JPEG로 완전히 부호화되어야 한다. 컴퓨팅 능력이 제약된 디바이스들에 대하여, 이러한 전 과정은 처리 능력과 시간의 관점에서 매우 고가이다. 피압축 도메인 접근법은 이미지의 완전 복호화 및 재-부호화를 요구하지 않으며, 따라서 처리 능력과 시간에 상당한 절약을 제공한다.
피압축 도메인 접근법( Compressed Domain Approach )
'최하위 비트-평면 제거'의 개념은 압축되지 않은 이미지 픽셀 데이터에도 적용될 수 있다. 즉, 이 개념은 부호화되기 전인 캡처 시점에서 압축되지 않은 이미지 데이터에 적용될 수 있다. 하지만 이 개념은 또한 이미 부호화된 JPEG(또는 임의의 다른 부호화) 이미지들 또는 비디오에 적용될 수 있다. 비압축 도메인에서, 이 프로세스는 이미지의 완전 복호화 및 재-부호화를 포함한다. 이 개념을 적용하는 매우 효율적인 방법은, 비압축 도메인 접근법이 요구하는 완전 복호화-부호화 사이클을 거치지 않고 피압축 도메인에서 처리를 하는 것이다.
도1은 공간 비압축 도메인에 있는 JPEG 이미지에 '최하위 비트-평면 제거' 시스템 및 방법을 작용하는 프로세스를 예시한다. JPEG 압축 표준을 사용하여 부호화가 이미 완료된 이미지를 가정한다. 도1은 '최하위 비트-평면 제거'의 개념이 JPEG 이미지의 압축 효율을 증가시키기 위하여 그 JPEG 이미지에 어떻게 적용되는지를 나타낸다. 기본적으로, 이미지는 완전히 복호화되고(예시된 바와 같이, 호프만 복호기(10), 역양자화기(12), 역 이산 코사인 변환기(14) 및 YUV 대 RGB 변환기(16)가 JPEG 부호화된 이미지를 복호화하는 동안 통상 수행된다), 비트-시프트 또는 나누기 연산(18)이 원(raw) 비압축 이미지 데이터에 적용되고, 마지막으로, 그 이미지는 완전히 재-부호화된다(RGB 대 YUV 변환기(20), 순방향 이산 코사인 변환기(22), 양자화기(24) 및 호프만 부호화기(26)를 사용함).
도1에 도시된 JPEG 코덱에서 있는 이미지 변환(DCT) 및 컬러 변환(RGB/YUV)의 모듈들은 선형 시스템들의 부류에 속한다. 후속하는 분석에서, 이들 두 모듈들은 '2에 의한 나누기' 연산에 불변(즉, 영향받지 않음)임이 증명된다. 즉, O(k)가 데이터 세트 k에 대한 '2에 의한 나누기' 연산을 나타내고, S가 선형 시스템을 나타내면,
Figure 112011005618017-pct00001
임이 증명된다.
즉, 도2a 와 2b에 도시된 바와 같이, '2로 나누기' 연산에 의해 데이터 세트를 처리한 후 그 데이터를 시스템을 통해 전달하는 것은, 시스템을 통해 데이터를 전달한 후 그 데이터를 '2로 나누기' 연산에 의해 처리하는 것과 등가이다.
컬러 변환( Color Transformation )
JPEG에서 컬러 변환은 RGB와 YUV 컬러 공간의 컬러 변환들 사이를 전환하기 위하여 이루어진다. RGB -> YUV 컬러 변환에는 많은 변형이 있지만, 그들은 모두 다음의 형태를 취한다.
Figure 112011005618017-pct00002
여기서,
Figure 112011005618017-pct00003
는 스칼라 상수이고, R,G,B는 R,G,B 컬러 공간의 적(R), 록(G), 청(B) 픽셀 값들을 나타내고, Y,U,V는 YUV 컬러 공간에서 하나의 휘도(Y)와 2개의 색차(U,V) 값들을 나타낸다.
유사하게, YUV->RGB 컬러 변환에는 많은 변형이 있지만, 그들은 모두 다음의 형태를 취한다.
Figure 112011005618017-pct00004
여기서, 여기서,
Figure 112011005618017-pct00005
는 스칼라 상수이고, R,G,B는 R,G,B 컬러 공간의 적(R), 록(G), 청(B) 픽셀 값들을 나타내고, Y,U,V는 YUV 컬러 공간에서 하나의 휘도(Y)와 2개의 색차(U,V) 값들을 나타낸다.
일반성을 잃지 않고, '2로 나누기' 연산의 선형성을 증명하기 위하여 상기 식들 중 하나를 고려한다. RGB 컬러 공간에서 표현된 원래의 데이터 세트(R,G,B)를 가지고 있다. Y 값으로의 변환은 다음 식에 의해 주어진다.
Figure 112011005618017-pct00006
'2로 나누기' 연산을 원래의 (R,G,B) 픽셀 값들에 적용하면, 데이터 세트는 각각 (R/2,G/2,B/2)로 표현된다. 이 수정된 데이터 세트의 Y값으로 변환은
Figure 112011005618017-pct00007
를 산출한다.
따라서 데이터 세트 (R/2,G/2,B/2)에 대한 YUV 값들은 (Y/2,U/2,V/2)로 주어진다. 즉, '2로 나누기' 연산을 RGB 값들에 수행한 후 RGB->YUV 컬러 변환을 수행하는 것은 '2로 나누기' 연산을 YUV 값들에 수행하는 것과 동일하다.
YUV->RGB 변환 모듈에 대하여 유사한 결과들이 적용될 수 있다.
이미지 변환
JPEG에서 이미지 변환은 YUV 이미지 값들을 DCT 변환된 계수들로 전환하거나 또는 그 역으로 전환하여 이루어진다. JPEG에서 사용된 2차원 DCT 변환은 다음 형태를 취한다.
Figure 112011005618017-pct00008
여기서, α(u), α(v)는 스칼라 상수이고, f(i,j)는 이미지(YUV) 값들을 나타내고, F(u,v)는 변환된 DCT 계수들을 나타낸다.
식(6)에 사용된 입력 이미지 값들 f(i,j)를 고려한다. '2로 나누기' 연산을 이 값들에 적용하면, 데이터 세트는 f(i,j)/2로 나타내진다. 이 데이터를 DCT 모듈을 통하여 전달하고, 식(6)을 사용하면, 출력을 얻는다.
Figure 112011005618017-pct00009
따라서 데이터 세트 f(i,j)/2에 대한 DCT 계수들은 F(u,v)/2로 주어진다. 즉, 이미지 값들에 '2로 나누기' 연산을 수행한 다음에 DCT 변환을 하는 것은 DCT 계수들에 '2로 나누기' 연산을 직접 수행하는 것과 동일하다.
유사한 결과들이 역 DCT 변환에 대하여 적용될 수 있다.
피압축 도메인 압축( Compressed Domain Compression )
상술한 분석으로부터 알 수 있듯이, 우측으로 '1 비트 시프트' 또는 '2로 나누기'의 효과는 컬러 변환 또는 이미지(DCT) 변환에 대하여 변화가 없다. 따라서 피압축 도메인 방법 및 시스템은 입력 RGB 픽셀값들에 이들 연산을 적용하여 얻는 것과 동일한 효과를 DCT 계수들에 적용하여 만들 수 있다.
도3은 피압축 도메인에서 JPEG 이미지에 '최하위 비트-평면 제거' 기법을 적용하는 부분 복호화/부호화 접근법을 예시한다. 상술한 분석은 비트-평면 제거 연산을 적용하기 위하여 JPEG 이미지를 완전히 복호화할 필요가 없음을 증명하고 있다. 오히려, 도3에 도시된 DCT 계수들을 얻을 수 있는 지점까지 JPEG 이미지를 복호할 수 있다(호프만 복호화(30) 및 역양자화(32)를 수행). 호프만 복호기와 역양자화기는 집합적으로 부분 복호화기(partial decoder)로 알려져 있다. 역양자화가 수행되면, 역 DCT 이전의 데이터는 주지의 DCT 계수들이고, 최하위 비트-평면 제거(2로 나누기 연산(18)을 사용함)가 DCT 계수들 대하여 수행될 수 있다. 하드웨어 또는 소프트웨어 코드로 구현될 수 있는 최하위 비트-평면 제거 유닛이 최하위 비트-평면 제거를 수행할 수 있다. 최하위 비트-평면 제거 유닛은 최하위 비트-평면을 제거하고, 우측으로 비트 시프트 또는 2로 나누기 연산을 사용하여 구현될 수 있다. 하나 이상의 비트-평면이 제거되면, JPEG 부호화기를 사용하여 데이터를 완전히 재-부호화할 필요없이, JPEG 비트스트림이 재생성될 수 있다. 특히, DCT 계수들을 이미 가지고 있으므로, 유효한 JPEG 비트스트림을 생성하기 위해서는, JPEG 부호화기 모듈의 나머지(양자화기(34) 및 호프만 부호화기(36))를 적용하기만 하면 된다. 양자화기와 호프만 부호화기는 집합적으로 부분 부호화기로 알려져 있다. 따라서 JPEG 이미지에 수행되는 '최하위 비트-평면 제거' 프로세스는 다음과 같이 수행될 수 있다.
1) JPEG 이미지를 호프만 복호기와 역양자화기를 통해 전달함으로써 그 이미지를 부분적으로 복호화한다. 이 복호화에 의해, JPEG 이미지에 대한 DCT 계수들에 접근할 수 있다.
2) DCT 계수들을 2로 나눔으로써 DCT 계수들을 수정한다. 이것은 이미지의 RGB 픽셀 값들의 최하위 비트-평면을 제거하는 것과 동일한 효과를 산출한다.
3) 수정된 DCT 계수들을 순방향 양자화기 및 호프만 부호화기를 통해 전달함으로써 JPEG 데이터를 부분적으로 재-부호화한다.
4) 필요하면, 순방향 양자화기에 사용되는 양자화 테이블들을 반영하기 위하여, JPEG 헤더에 있는 JPEG 양자화 테이블들을 수정한다.
상기한 피압축 도메인 시스템 및 방법은 JPEG 이미지들의 압축 효율을 향상시키기 위하여 '최하위 비트-평면 제거'의 기법을 적용하는 효과적인 방법을 제공하는데, 왜냐하면 이미지 및 컬러 변환 모듈들이 전체 JPEG 부호화 또는 복호화 프로세스의 계산 부하 중 80% 이상을 담당하는 것이 밝혀졌기 때문이다. 이 두 모듈을 우회하는 것은 상당히 높은 속도 향상을 제공한다. 휴대용 디바이스들과 같이 성능이 제한된 플랫폼들에서, 이득들이 더욱 높다. 휴대 모바일 디바이스들에서 실행된 실험은 본 시스템 및 방법을 사용함으로써 이미지 압축/압축 해제는 도1에 도시된 공간 도메인 접근법에 비하여 10배 만큼 속도가 향상됨을 보여준다.
본 발명의 특정 실시예를 참고하여 설명하였지만, 통상의 기술자는 이 실시예의 변경이 본 발명의 원리와 사상, 첨부 청구항들에 의해 규정된 범위를 이탈하지 않고 이루어질 수 있음을 이해할 수 있다.
10 : 호프만 복호화
12 : 역양자화
14: 역 DCT
16 : YUV에서 RGB로
18 : 우측으로 비트-시프트 또는 2로 나누기
20 : RGB에서 YUV로
22 : 순방향 DCT
24: 양자화
26 : 호프만 부호화

Claims (14)

  1. 피압축 도메인 압축 장치로서,
    부분적으로 복호화된 데이터(a partially decoded piece of data)를 생성하기 위하여, 부호화된 데이터를 부분적으로 복호화하는 부분 복호화기;
    피압축 도메인 피압축 데이터(compressed domain compressed data)를 생성하기 위하여 상기 부분적으로 복호화된 데이터에서 적어도 하나의 최하위 비트-평면을 제거하는 최하위 비트-평면 제거 유닛; 및
    상기 피압축 도메인 피압축 데이터를 부호화하는 부분 부호화기를 포함하고,
    상기 부분적으로 복호화된 데이터는 이미지 변환 및 컬러 변환의 적용 없이 호프만 복호화와 역양자화를 적용하여 획득된 데이터인 것을 특징으로 하는 피압축 도메인 압축 장치.
  2. 청구항1에 있어서, 상기 최하위 비트-평면 제거 유닛은 상기 최하위 비트-평면을 제거하기 위하여 상기 부분적으로 복호화된 데이터에 대하여 2로 나누기 연산을 수행하는 피압축 도메인 압축 장치.
  3. 청구항1에 있어서, 상기 최하위 비트-평면 제거 유닛은 상기 최하위 비트-평면을 제거하기 위하여 상기 부분적으로 복호화된 데이터에 대하여 우측으로 비트 시프트 연산을 수행하는 피압축 도메인 압축 장치.
  4. 청구항1에 있어서, 상기 부호화된 데이터는 이미지 데이터를 더 포함하는 피압축 도메인 압축 장치.
  5. 청구항4에 있어서, 상기 이미지 데이터는 JPEG(Joint Photographic Experts Group) 부호화된 화상(picture)을 더 포함하는 피압축 도메인 압축 장치.
  6. 청구항1에 있어서, 상기 부호화된 데이터는 비디오 데이터를 더 포함하는 피압축 도메인 압축 장치.
  7. 청구항6에 있어서, 상기 비디오 데이터는 모션(motion) JPEG 비디오를 더 포함하는 피압축 도메인 압축 장치.
  8. 피압축 도메인 압축 방법으로서,
    부분적으로 복호화된 데이터를 생성하기 위하여 부호화된 데이터를 부분적으로 복호화하는 단계;
    피압축 도메인 피압축 데이터를 생성하기 위하여, 상기 부분적으로 복호화된 데이터에서 적어도 하나의 최하위 비트-평면을, 최하위 비트-평면 제거 유닛을 사용하여 제거하는 단계; 및
    상기 피압축 도메인 피압축 데이터를 부호화하는 단계를 포함하고,
    상기 부분적으로 복호화된 데이터는 이미지 변환 및 컬러 변환의 적용 없이 호프만 복호화와 역양자화를 적용하여 획득된 데이터인 것을 특징으로 하는 피압축 도메인 압축 방법.
  9. 청구항8에 있어서, 상기 적어도 하나의 최하위 비트-평면을 제거하는 단계는 상기 최하위 비트-평면을 제거하기 위하여 상기 부분적으로 복호화된 데이터에 대하여 2로 나누기 연산을 수행하는 단계를 더 포함하는 피압축 도메인 압축 방법.
  10. 청구항8에 있어서, 상기 적어도 하나의 최하위 비트-평면을 제거하는 단계는 상기 최하위 비트-평면을 제거하기 위하여 상기 부분적으로 복호화된 데이터에 대하여 우측으로 비트 시프트 연산을 수행하는 단계를 더 포함하는 피압축 도메인 압축 방법.
  11. 청구항8에 있어서, 상기 부호화된 데이터는 이미지 데이터를 더 포함하는 피압축 도메인 압축 방법.
  12. 청구항11에 있어서, 상기 이미지 데이터는 JPEG 부호화된 화상을 더 포함하는 피압축 도메인 압축 방법.
  13. 청구항8에 있어서, 상기 부호화된 데이터는 비디오 데이터를 더 포함하는 피압축 도메인 압축 방법.
  14. 청구항13에 있어서, 상기 비디오 데이터는 모션 JPEG 비디오를 더 포함하는 피압축 도메인 압축 방법.
KR1020117001782A 2008-06-23 2009-06-22 부호화된 데이터의 압축 이득을 위한 피압축 도메인 시스템 및 방법 KR101313952B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US7482908P 2008-06-23 2008-06-23
US61/074,829 2008-06-23
PCT/US2009/048181 WO2010008808A2 (en) 2008-06-23 2009-06-22 Compressed domain system and method for compression gains in encoded data

Publications (2)

Publication Number Publication Date
KR20110036914A KR20110036914A (ko) 2011-04-12
KR101313952B1 true KR101313952B1 (ko) 2013-10-01

Family

ID=41550946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117001782A KR101313952B1 (ko) 2008-06-23 2009-06-22 부호화된 데이터의 압축 이득을 위한 피압축 도메인 시스템 및 방법

Country Status (5)

Country Link
US (1) US8422804B2 (ko)
EP (1) EP2304689A4 (ko)
KR (1) KR101313952B1 (ko)
CN (1) CN102378991B (ko)
WO (1) WO2010008808A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8077990B2 (en) 2006-04-28 2011-12-13 Pixsense Inc. Efficient content compression and decompression system and method
US8422804B2 (en) * 2008-06-23 2013-04-16 The Modern Video Company Compressed domain system and method for compression gains in encoded data
US8639057B1 (en) 2012-03-19 2014-01-28 The Modern Video Company Artifact removal method and system for contoured images and video
CN102761734A (zh) * 2012-07-05 2012-10-31 北京众博达石油科技有限公司 一种485远程通信图像采集传输监控终端及其图像处理方法
CN103237207B (zh) * 2013-03-28 2017-01-18 中科创达软件股份有限公司 一种修改jpeg图像局部图像的方法及装置
US10015506B2 (en) 2013-05-20 2018-07-03 Cinova Media Frequency reduction and restoration system and method in video and image compression
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
CN104469327B (zh) * 2014-12-23 2018-03-13 上海工程技术大学 一种康复护理机器人床的遥测遥控方法和设备
US10462477B2 (en) 2015-02-25 2019-10-29 Cinova Media Partial evaluator system and method
WO2016191366A1 (en) * 2015-05-28 2016-12-01 The Scripps Research Institute MODULATORS FOR NICOTINIC ACETYLCHOLINE RECEPTOR α2 AND α4 SUBUNITS
US10460700B1 (en) 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
US10944971B1 (en) 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104645A (ja) * 2005-09-06 2007-04-19 Megachips Lsi Solutions Inc 圧縮符号化装置、圧縮符号化方法およびプログラム
JP2007318711A (ja) 2006-04-28 2007-12-06 Ricoh Co Ltd 符号変換装置、符号変換方法、プログラム及び記録媒体
KR100918377B1 (ko) 2006-05-30 2009-09-22 주식회사 메디슨 영상압축 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2792153A (en) * 1956-03-01 1957-05-14 Jr Edward T Douglass Wood waste conveying and feeding apparatus
US5784631A (en) * 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
US5596659A (en) * 1992-09-01 1997-01-21 Apple Computer, Inc. Preprocessing and postprocessing for vector quantization
EP0845908B1 (en) * 1994-06-17 2003-02-05 Snell & Wilcox Limited Compressing a signal combined from compression encoded video signals after partial decoding thereof
US6016360A (en) * 1995-06-05 2000-01-18 Apple Computer, Inc. Method and apparatus for encoding color image data
US6208761B1 (en) * 1995-07-11 2001-03-27 Telefonaktiebolaget Lm Ericsson (Publ) Video coding
JP3778229B2 (ja) * 1996-05-13 2006-05-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、および画像処理システム
US6052205A (en) * 1997-02-14 2000-04-18 Ricoh Company, Ltd. Image data encoding/decoding method and apparatus configured to compress both natural gray scale images and binary images
WO1998058497A1 (en) * 1997-06-16 1998-12-23 Sony Corporation Image processing device and method, and transmission medium, transmission method and image format
US6792153B1 (en) 1999-11-11 2004-09-14 Canon Kabushiki Kaisha Image processing method and apparatus, and storage medium
JP2002064709A (ja) * 2000-06-06 2002-02-28 Canon Inc 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体
US6697521B2 (en) * 2001-06-15 2004-02-24 Nokia Mobile Phones Ltd. Method and system for achieving coding gains in wavelet-based image codecs
EP1349393A1 (en) * 2002-03-15 2003-10-01 Ricoh Company Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
CN1679340A (zh) * 2002-05-31 2005-10-05 皇家飞利浦电子股份有限公司 不可伸缩到可伸缩视频转换方法,可伸缩到不可伸缩视频转换方法
US20040179606A1 (en) * 2003-02-21 2004-09-16 Jian Zhou Method for transcoding fine-granular-scalability enhancement layer of video to minimized spatial variations
JP4443165B2 (ja) * 2003-08-20 2010-03-31 株式会社リコー 画像圧縮装置及び画像圧縮方法
US7466867B2 (en) * 2004-11-26 2008-12-16 Taiwan Imagingtek Corporation Method and apparatus for image compression and decompression
US8503806B2 (en) * 2005-09-06 2013-08-06 Megachips Corporation Compression encoder, compression encoding method and program
US20070223823A1 (en) * 2006-03-21 2007-09-27 Nokia Corporation Method, apparatus, system and computer program product for providing compression of image files
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US8422804B2 (en) * 2008-06-23 2013-04-16 The Modern Video Company Compressed domain system and method for compression gains in encoded data
EP2146343A1 (en) * 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104645A (ja) * 2005-09-06 2007-04-19 Megachips Lsi Solutions Inc 圧縮符号化装置、圧縮符号化方法およびプログラム
JP2007318711A (ja) 2006-04-28 2007-12-06 Ricoh Co Ltd 符号変換装置、符号変換方法、プログラム及び記録媒体
KR100918377B1 (ko) 2006-05-30 2009-09-22 주식회사 메디슨 영상압축 방법

Also Published As

Publication number Publication date
WO2010008808A2 (en) 2010-01-21
KR20110036914A (ko) 2011-04-12
EP2304689A2 (en) 2011-04-06
US20110206287A1 (en) 2011-08-25
US8422804B2 (en) 2013-04-16
CN102378991B (zh) 2014-12-17
EP2304689A4 (en) 2017-03-15
CN102378991A (zh) 2012-03-14
WO2010008808A3 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
KR101313952B1 (ko) 부호화된 데이터의 압축 이득을 위한 피압축 도메인 시스템 및 방법
US9230341B2 (en) Compressed domain system and method for compression gains in encoded data
US20090274381A1 (en) Scalable coding
US11006149B2 (en) Non-transform coding
CN104041035A (zh) 用于复合视频的无损编码及相关信号表示方法
US20140043347A1 (en) Methods for jpeg2000 encoding and decoding based on gpu
KR20140042778A (ko) 비디오 인코더 내에서 기준 이미지들의 압축 및 압축해제
JP2008501250A (ja) 第１の変換カーネルに基づく入力ビデオを第２の変換カーネルに基づく出力ビデオにトランスコードする方法、及び入力形式を有する入力ビデオを出力形式を有する出力ビデオに変換するトランスコーダ
Sathiyanathan Medical image compression using view compensated wavelet transform
Xing et al. Arbitrarily shaped video-object coding by wavelet
WO2023040600A1 (zh) 图像编码方法、图像解码方法、装置、电子设备及介质
Richter Backwards compatible coding of high dynamic range images with JPEG
JP4541896B2 (ja) 多重記述符合化のための装置及び方法
US6760479B1 (en) Super predictive-transform coding
KR20060037149A (ko) 3차원 웨이블릿 변환 기반의 동영상 코딩 방법
CN104581173A (zh) 软解码验证模型平台
JP4762445B2 (ja) ブロック変換ベースの復号化器で使用される方法と装置
US20100074326A1 (en) Transcoder unit and method
JP3853708B2 (ja) デジタル画像符号化装置および符号化方法ならびにプログラム
JP2018011159A (ja) 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
JPH08163561A (ja) 画像データ圧縮装置
Sebastian et al. Color image compression Using JPEG2000 with adaptive color space transform
JP2993212B2 (ja) 画像の合成方法
KR20040092522A (ko) 차영상을 사용한 동영상 압축 및 복원 시스템
JP2006191476A (ja) 符号化動画像変換装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160922

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170620

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee