KR100383684B1 - 지각적압축및견고한비트레이트제어시스템 - Google Patents

지각적압축및견고한비트레이트제어시스템 Download PDF

Info

Publication number
KR100383684B1
KR100383684B1 KR10-1998-0046021A KR19980046021A KR100383684B1 KR 100383684 B1 KR100383684 B1 KR 100383684B1 KR 19980046021 A KR19980046021 A KR 19980046021A KR 100383684 B1 KR100383684 B1 KR 100383684B1
Authority
KR
South Korea
Prior art keywords
coefficients
compressed
quantization
frame
block
Prior art date
Application number
KR10-1998-0046021A
Other languages
English (en)
Other versions
KR19990037507A (ko
Inventor
리처드 조지프 폴스
Original Assignee
루센트 테크놀러지스 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루센트 테크놀러지스 인크 filed Critical 루센트 테크놀러지스 인크
Publication of KR19990037507A publication Critical patent/KR19990037507A/ko
Application granted granted Critical
Publication of KR100383684B1 publication Critical patent/KR100383684B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer

Abstract

소스(예컨대, 비디오 신호, 정지 영상, 오디오 신호 등)를 구비하는 방법이 개시되며, 상기 방법은 양자화 스텝 사이즈에 있어서의 변경들의 전송을 요구하지 않으며, 압축 처리의 다양한 지점에서 양자화 스텝 사이즈를 변경하는 종래 기술들 보다 소스의 충실도에 더욱 고르게 영향을 미친다. 본 발명의 실시예는 주지된 방식으로 소스(예컨데, 비디오 프레임, 오디오 샘플 등)를 m 계수로 변환하는 것을 포함하며, 여기에서 각각의 m 계수는 공지된 비트수로 표시된다. 그때, m 개의 계수들 중 단지 n개의 계수들만이 적절하게 전송 또는 기억하는데 이용되며, n개 계수들은 이용되지 않는 m-n개 계수들 보다 더욱 지각적으로 중요하다.

Description

지각적 압축 및 견고한 비트 레이트 제어 시스템
본 발명은 일반적으로 데이터 압축과 관련하며, 특히, 지각(perception)에 기초하는 소스(예컨데, 비디오 신호, 정지 영상, 오디오 신호 등)의 압축에 대한기술에 관한 것이며, 그러한 압축된 소스는 전송 에러에 둔감한 수단으로 전송되거나 또는 기억될 수 있다.
종래 기술에서 널리 알려진 바와 같이, 동화상은 머리가 별개의 영상들을 인식하지 못하고 그들을 혼합하여 일관된 동영상으로 인식할 만큼 아주 빠르게 차례로 투영되는 일련의 정지 영상의 시간적 합성물이 된다. 이러한 것은 동화상이 비디오 신호로서 전기적으로 전송되어 기억되거나 아세테이트 필름의 릴상에 광학적으로 전송되어 기억되는 것이다.
동화상이 디지탈적으로 전송될 때, 각각의 정지 영상 또는 "프레임"은 통상 비디오 처리 시스템에 의해 개별적으로 처리되어 전송된다. 실례로, 도 1은 사람이 손을 흔드는 것을 묘사하는 보다 긴 시퀀스의 일련의 4 프레임을 도시한다.
각각의 프레임은 바둑판 모양으로된 화상 소자 또는 픽셀의 이차원 어레이를 포함하며, 사람은 개별적인 타일(tile)들로서가 아니라 모자이크로서 지각하게 된다. 일반적인 비디오 처리 시스템에 있어서, 도 1의 프레임(102)과 같은 프레임은 픽셀들의 512×512 어레이로 구성할 수 있다. 시스템의 상세한 사항에 따라서, 각각의 픽셀은 백섹 또는 흑색, 다수의 회색 명암들 중 하나, 또는 다수의 칼라들 중 하나가 될 수 있다. 일반적으로, 각각의 픽셀이 2n(여기서, n은 전체 수)칼라들 중 하나가 될 수 있을 경우, 각각의 픽셀의 칼라 n 비트로 표시된다. 따라서, 프레임당 262,144 픽셀을 포함하는 8비트 칼라 비디오 시스템은 명목상 프레임당 2,097,152 비트의 기억소자를 필요로 한다.
한 전체 프레임을 전체로서 처리하는 것이 번거롭거나 계산상으로 복잡한 경우, 프레임은 종종 독립적인 블록들의 어레이로서 처리되어, 독립적인 블록들 각각은 비디오 처리 시스템이 처리하기에 더욱 편리한 사이즈를 갖게 된다. 도 2는 주지된 방식으로 블록들의 32×32 어레이로서 취급되는 도 1의 프레임을 도시한 것이다. 따라서, 각각의 블록은 픽셀들의 16×16 어레이를 포함한다.
통상적인 비디오 처리 시스템은 초당 24 프레임을 투사하므로, 도 1의 비디오 영상은 일반적으로 초당 50,331,648 비트를 필요로한다. 따라서, 그러한 비디오 영상이 매체(예컨대, 디지탈 비디오 디스크, 반도체 램 등)상에 기억되거나, 또는 전기통신 채널(예컨대, Plain Old Telephone Service 전화 라인, IS-95A CDMA 무선 원격통신 채널 등)상으로 전송되는 경우, 그러한 영상은 오늘날의 표준들에 의해서도 상당한 대역폭을 요구할 수 있다.
비디오 영상을 전송하는데 요구되는 대역폭을 감소하기 위하여, 소위 비디오 압축이라는 기술이 개발되었다. 비디오 압축의 통상적인 형태는 모션 보상된 이산 코사인 변환("MCDCT") 프로세싱(예컨대, MPEG)를 포함한다. 이러한 형태의 프로세스 특징은 압축된 비디오 신호의 결과적인 비트-레이트가 비디오 영상 내용의 함수로서 시간에 따라 광범위하게 변화한다는 것이다. 실례로, 한 프레임이 2000 비트를 필요로하고, 다음에서는 200 비트만을 필요로 할 수도 있다. 압축된 비디오 비트-스트림이 CDMA 무선 전기통신 채널과 같은 대역폭-제한된 전기통신 채널상에서 실시간으로 보내질 경우, 비트-레이트 제어 메카니즘이 인코딩 시스템에 의해 발생된 가변 비트 레이트를 고정된 전기통신 채널 용량에 정합시키기 위해 사용되야 한다. 통상적으로, 이것은, 그 깊이가 주지된 대기행렬 이론(queueing theory) 기술에 따라 결정되는, FIFO로 원격통신 채널을 버퍼링함으로써 달성된다.
정의에 의하면, 과도한 버퍼링은 과도한 시간적 지연을 원격통신 채널에 도입하며, 이는 실시간 전송과는 정반대가 된다. 따라서, 과도한 버퍼링을 피하는 비트-레이트 제어를 위한 또다른 메카니즘이 개발되었다. 기본적으로, 이러한 메카니즘은 원격통신 채널상으로 전송될 각각의 압축된 프레임을 구성할 수 있는 비트수에 상한을 설정한다. "비트 버짓(bit budget)"으로 주지닌 이러한 상한은, 원격통신 채널의 대역폭, 비트 버짓에 의해 방해받지 않는 압축된 프레임 사이즈의 통계적 데이터, 원격통신 채널을 통한 지연의 수용가능량, 및 대기행렬의 이론에 기초하여 주지된 방식으로 결정된다. 이때 각각의 프레임은 압축되며, 필요하다면 압축된 프레임이 비트 버짓 보다 적은 비트를 포함할 때까지 재압축된다.
도 4는 비트 버짓에 기초한 레이트-제어 메카니즘을 결합한 종래 기술의 한 비디오 압축 방법의 특징적 단계를 개설한 것이다. 방법을 시작하기 이전에, 비트 버짓에 대한 값이 설정된다.
상술한 바와 같이, 동화상내의 각각의 프레임은 개별적으로 차례로 처리되며, 따라서 단계(401)에서, 상기 방법은 처리될 한 프레임을 얻게 된다.
딘계(403)에서, 각각의 프레임은 예컨대, 2차원 이산 코사인 변환("DFT")을 사용하는 주지된 방식으로, 계수들로 변환된다. 때때로, 프레임은 전체로서 변환된다. 하지만, 더욱 일반적으로는, 전체 프레임을 전체로 변환하는 것은 계산적으로 번거로우므로, 프레임은 개별적으로 변환되어 처리되는 블록들의 어레이로서 취급된다.
단계(405)에서, 각각의 변환 계수들은 유용한 범위에 걸쳐있는 값들의 이산세트(discrete set of values)로 분할된다. 이러한 범위에 걸쳐있게 하는데 이용되는 값 또는 레벨의 수는 양자화기의 정확성 또는 해상도를 결정하며, 개별 레벨들의 사이즈는 양자화 스텝 사이즈로 주지되어 있다. 변환 계수들을 양자화하는 목적은 보다 덜 지각적인 세부사항을 삭제함으로써 압축된 영상내의 비트수를 줄이자는 것이다. 양자화 스텝 사이즈는 원래의 것에 대한 압축된 영상의 충실도와 또한 압축된 영상의 비트수 모두에 대하여 영향을 미친다. 실제로, 양자화 스텝 사이즈는 레이트-제어의 수단으로서 충실도에 반하여 압축된 영상의 비트수를 트레이드 오프(trade-off)하는 파라미터로서 통상 이용된다. 양자화 스텝 사이즈가 적을 경우, 압축된 영상은 일반적으로, 더 많은 비트를 포함하며, 원래의 것에 대한 적절한 층실도를 갖는 영상을 나타낸다. 이에 반하여, 양자회 스텝 사이즈가 보다 큰 경우, 압축된 영상은 일반적으로 보다 적은 비트를 포함하지만, 원래의 것에 대한 미약한 충실도를 갖는 영상을 나타내게 된다. 초기에, 양자화 스텝 사이즈는 디폴트값으로 설정된다.
단계(407)에서, 각각의 양자화된 계수는 주지된 방식으로, 예컨대 허프만 코드와 같은 손실없는 가변 길이 코드로 압축된다.
단계(409)에서, 압축된 계수들 전부내의 총 비트수가 주지된 방식으로 결정된다.
단계(411)에서, 상기 방법은 압축된 양자화 계수들 전부내의 총 비트수가 비트 버짓내에 있는지를 결정한다.
단계(411)에서 비트 버짓이 정합되지 않는 경우, 제어는 단계(413)로 진행하고 양자화 스텝 사이즈는 증가된다. 양자화 스텝 사이즈가 증가된 경우, 압축된 영상의 충실도는 손상을 입지만, 재압축된 영상은 보다 적은 비트를 포함하게 될 것이다. 단계(413)로부터, 제어는 단계(403)로 진행하며, 변환 계수는 새로운 양자화 스텝 사이즈를 사용하여 재양자화된다. 일반적으로, 단계(411)를 통한 루프는 압축된 영상이 비트 버짓을 만족할 때까지 실행된다.
단계(411)에서 비트 버짓이 최종적으로 정합될 때, 제어는 단계(415)로 진행하고, 압축된 영상이 전송된다. 압축된 영상이 새로운 양자화 스텝 사이즈로 전송될 때마다, 비디오 디코더가 압축된 영상내의 양자화된 계수들을 적절히 해석하는 방법을 알 수 있도록 새로운 양자화 스텝 사이즈가 또한 전송되어야 한다.
압축된 영상 및 새로운 양자화 스텝 사이즈가 손실없는 통신 채널을 통해 전
송되는 경우, 도 4에 도시된 압축 기술은 일반적으로 수용될 수 있다. 반대로, 압축된 영상 및 양자화 스텝 사이즈가 무선 원격통신 채널과 같은 손실이 많은 통신 채널을 통해 전송되는 경우, 양자화 스텝 사이즈는 전송 동안 손상될 가능성이 있다. 이러한 상황이 발생하는 경우, 모든 후속으로 전송된 양자화 계수들은 새로운 양자화 스텝 사이즈가 바르게 전송되어 수신되기까지, 비디오 디코더에 의해 잘못 해석될 것이다. 이러한 결과 수 프레임 또는 수 초동안 손상된 채로 유지될 수 있는 손상된 비디오 신호가 될 수 있다.
따라서, 손실이 많은 통신 채널을 통한 전송에 대해 아주 적합한 비트-레이트 제어 시스템에 대한 필요성이 존재한다.
도 4에 도시된 방법에는 또다른 단점이 있다. 단계(405)를 통한 제어 루프의 반복적인 특징은 프레임들이 처리되는 레이트를 프레임 자체 내용에 종속하게 하며, 따라서, 주어진 시간에 주어진 프레임수를 압축하는데 얼마나 많은 계산 능력이 요구되는지 또는 얼마나 빠르게 다수의 프레임이 압축될 수 있는지에 대해 단지 교육된 추측만이 이루어질 수 있다. 따라서, 계산 조건이 더욱 예측가능한 비트-레이트 제어 시스템에 대한 필요성이 존재하게 된다.
도 1은 사람이 손을 흔드는 것을 묘사한 동화상에서 4 프레임의 그림을 도시한 도면.
도 2는 도 1의 한 프레임의 그림으로서, 이를 구성하는 블록들의 32×32 어레이의 블록을 도시한 도면.
도 3은 도 2 프레임의 한 블록의 그림으로서, 이를 구성하는 픽셀들이 16×16 어레이의 픽셀을 도시한 도면.
도 4는 종래 기술의 비디오 압축 기술의 특징적인 단계의 흐름도를 도시한 도면.
도 5는 본 발명의 실시예의 흐름도를 도시한 도면.
@ 도면의 주요 부분에 대한 부호의 설명 @
102 : 프레임
도 5는 비디오 처리 시스템에 의해 실행되는 것으로 본 발명의 실시예의 흐름도를 도시한다. 비록 상기 실시예가 레이트 제어 동화상들을 압축하지만, 다른 실시예들이 정지 화상들을 압축할 수 있으며 오디오 신호를 압축 및 레이트 제어할 수 있다는 것은 당 기술 분야에 숙련된 사람에게는 명백할 것이다.
상기 실시예는 압축된 비디오 비트 스트림의 비트-레이트를 제어하는데 특히 적합하다는 것이 당 기술 분야에 숙련된 사람에게는 명백할 것이다. 본 발명의 실시예가 MPEG, ITU H.261 및 H.263과 같은 다양한 비디오 압축 표준에 호환가능한 비트-스트림을 발생할 수 있다는 것은 당 기술 분야에 숙련된 사람에게는 명백할 것이다.
상기 실시예는 프레임을 블록들의 어레이로 취급하고 각각의 블록을 독립적으로 처리하므로, 단계(501)에서, 비트 버짓은 주지된 방식으로 각각의 블록에 대해 설정된다. 본 발명의 다른 실시예가 프레임들을 전체로서 또는 매크로-블록으로서 처리하는 경우, 프레임 또는 매크로-블록에 대해 비트 버짓을 설정하는 방법은 당 기술 분야에 숙련된 사람에게는 명백할 것이다.
본 발명의 실시예는 한 번에 동화상의 한 프레임을 처리하며, 따라서 단계(502)에서 상기 실시예는 처리를 위한 한 프레임을 얻게 된다. 상기 실시예에 따라, 각각의 프레임은 512×512 화상 소자 또는 "픽셀" 어레이를 포함하며, 이들 각각은 28또는 256 칼라 중 하나를 묘사할 수 있다. 또한, 각각의 프레임은 블록들의 128×128 어레이로 취급되며, 이들 각각은 픽셀들의 16×16 어레이를 포함한다. 각각의 프레임이 다른 수의 픽셀들 또는 블록들을 포함하거나, 각각의 픽셀이 다른 수의 칼라들을 나타내거나, 또는 두 가지 모두에 해당하는, 본 발명의 실시예를 만들어 사용하는 방법은 당 기술 분야에 숙련된 사람에게는 명백할 것이다.
단계(503)에서, 프레임내의 각각의 블록은 주지된 방식으로 m개의 계수들 어레이로 변환된다. 상기 실시예는 표 1에 도시된 바와 같이 m=16인 계수들의 4×4 어레이를 생성하기 위해서 4×4 픽셀들의 각각의 블록에 주지된 방식으로 이산 코사인 변환("DCT")을 실행한다. 다른 변환 기술이 활용되는 본 발명의 다른 실시예를 만들어 사용하는 방법은 당 기술 분야에 숙련된 사람에게는 명백할 것이다.
[표 1]
단계(505)에서, 16개 변환 계수들 각각은 16개 양자화 계수들을 생성하기 위해 주지된 방식으로 양자화 스텝 사이즈로 양자화된다. 초기에, 양자화 스텝 사이즈는 초기값으로 설정되며, 이것은 바람직하게 상기 실시예동안 일정하기 유지된다. 표 2는 주지된 방식으로 양자화 스텝 사이즈에 의해 양자차된 표 1의 변환 계수들을 도시한다.
[표 2]
단계(507)에서, m개 양자화 계수들 각각은 m=16인 압축된 양자화 계수들을 생성하기 위해 주지된 방식으로 호프만 코딩과 같은 손실이 없는 가변-길이 압축 코드를 사용하여 압축된다.
단계(509)에서, m=16인 압축된 양자화 계수들 각각을 나타내는데 필요한 비트수가 주지된 방식으로 결정된다. 표 3은 표 2의 16 양자화 계수들의 리스트와, 각각의 압축된 양자화 계수를 나타내는데 필요한 예시적 비트수를 도시한다.
[표 3]
단계(511)에서, 상기 실시예는 지각(perception) 모델에 따라 그 지각적 중 요성에 기초하여 16 압축된 양자화 계수들을 순위를 매긴다. 많은 모델의 오디오 및 시각적 지각이 있다는 것은 당 기술 분야에 숙련된 사람에게 주지된 바와 같다. 본 발명의 상기 실시예는 이산 코사인 변환의 하위 주파수 계수들이 상위 주파수 계수들에서 보다 더욱 지각적으로 중요하게 고려되는 한 주지된 모델을 활용한다. 실례로, 당 기술에서 주지된 바와 같이, 변환 계수 C1,1은 표 1에서 가장 지각적으로 중요한 계수이다. 다음으로, 변환 계수 C1,2및 C2,1은 서로 동일한 지각적 중요성을 갖고 있지만, 변환 계수 C1,1보다는 덜 중요하며, 남은 변환 계수들 보다 지각적으로 더 중요하다. 다시 말해서, 이산 코사인 변환 계수 Ci,j의 상대적인 지각적 중요성은 크기 i+j와 관련된다.
표 4는 표 2의 16 압축된 양자화 계수 각각의 상대적인 지각적 중요성을 도시한다.
[표 4]
본 실시예에 따라, 단계(511)에서 16 압축된 양자화 계수 각각은 표 4의 지각적 중도성의 상대적 랭크에 기초하여 동순위(tie)들 없이 이산적으로 순위가 매겨진다. 상기 랭크는 압축 처리의 진행 동안 변화될 필요가 없으므로, 단계(511)는 단계(513)이전에 언제든지 발생할 수 있으며 단지 한 차례 실행될 필요가 있을 뿐이다. 실례로, 단계(511)는 단계(502)이전에 발생할 수 있다.
실례로, 변환 계수들 C1,2및 C2,1이 리스트상의 제 2 및 제 3 위치를 차지하기는 하지만, 이들중 어느 쪽이든 제 2 및 제 3 위치로 선택될 수 있다. 표 5는 본 발명의 실시예에 따라, 동순위들 없이, 16 압축된 양자화 계수들의 랭크를 도시한다. 표 4의 상대적 랭크와 조화하는 다른 절대적 랭크들이 수용가능하다는 것은 당 기술 분야에 숙련된 사람에게는 명백할 것이다.
[표 5]
실례로, 표 6은 표 4의 상대적 랭크내에 있는 변환 계수의 대체 절대적 랭크가 된다.
[표 6]
표 3 및 표 5를 결합하면 표 7을 생성하며, 표 7은 표 5에서 지각적 중요성에 의해 순위매겨진, 16개 압축된 양자화 계수들 및 표 5의 상기 계수들의 코딩에서의 비트수이다.
[표 7]
단계(513)에서, 소스 대상에 대한 비트 버짓을 초과하지 않도록, m=16인 압축된 양자화 계수들 중 단지 n 개만이 이용(즉, 송신 또는 기억)된다. n개의 압축된 양자회 계수는 m개 압축된 양자화 계수들로부터 선택되어: (1) n개의 압축된 양자화 계수들이, 이용되지 않는 m-n개의 압축된 양자화 계수들 보다 전반적으로 더욱 지각적으로 중요하고, (2) n개의 압축된 양자화 계수들은 총계로 비트 버짓 보다 보다 적은 비트를 필요로 한다.
실례로, 비트 버짓이 45 비트일 경우, 41 비트를 사용하는 표 7의 제 1 의 12개의 압축된 양자화 계수들이 사용되는데, 이는 비트 버짓 보다 적은 비트를 사용하는 가장 중요한 계수들의 가장 큰 수가 되기 때문이다. 남아있는 4개의 압축된 앙자화 계수들은 버려진다.
단계(515)에서, n 개의 압축 양자화 계수는 적절하게 주지된 방식으로 전송 또는 기억된다. 실례로, n개의 압축 양자화 계수들은 비휘발성 메모리에 저장될 수있다.
단계(515)에서, 제어는 단계(501)로 진행하여, 처리를 반복한다. 양자화 스텝 사이즈가 본 실시예에 따라 변경되지 않으므로, 압축된 영상으로 전송되거나 기억될 필요가 없다. 그러므로, 레이트 제어 알고리즘은 프레임마다 n(인코드된 양자화 계수들의 수)을 변화할 수 있지만, 양자화기 스텝 사이즈는 일정하게 유지된다. 여기에서 중요한 차이는, 비트 스트림 형태 자체가 각 인코드된 블록의 끝을 나타내므로, n의 변경이 디코더로 명백하게 전달될 필요가 없으며, 양자화 스텝 사이즈의 변경은 디코더로 전달될 필요가 없다. 따라서, 본 발명은 실시예는 양자화기 스텝 사이즈의 전송이 손실될 수 있는 에러성 채널의 경우에 있어서 종래 기술보다 명백한 이점을 갖고 있다.
상술된 실시예는 단지 단지 본 발명의 실예에 불과하며, 다양한 변화가 본 발명의 범위를 벗어나지 않고서 당 기술 분야에 숙련된 사람에게 유도될 수 있을 것이다. 따라서, 그러한 범위는 다음의 청구범위 및 그 등가의 범위내에 포함된다.
본 발명의 실시예는 종래 기술에서의 기술적 단점들과 가격에서의 단점들을 해소하면서 에러성 통신 채널을 통한 전송을 위해 비디오 신호, 정지 영상 또는 오디오 신호를 압축할 수 있다. 실례로, 본 발명의 실시예의 일부는 양자화 스텝 사이즈의 변경 전송을 필요로 하지 않으며, 이것은 전송 동안 손상될 가능성과 후속으로 전송되는 변환 계수들이 수신기에 의해 잘못 해석될 가능성을 방지한다.
또한, 본 발명의 일부 실시예는 압축에 대한 비-반복적 접근을 사용하여, 그들 스스로에게 예측가능한 계산 조건들을 준다. 각각의 프레임은 반복적이 아니라 단지 한번 압축되기 때문에, 프레임을 전송하는데 있어서 종래기술 보다 적은 실시간 지연을 갖게 된다. 또한, 본 발명의 일부 실시예는 소스의 충실도가 압축 처리에서의 다양한 지점들에서 양자화 스텝 사이즈를 변경하는 기술들보다 더욱 고르게 압축되도록 영향을 미친다.
종래 기술에 있어서, 양자화 스텝 사이즈의 증가는 모든 변환 계수에 고르게 영향을 미친다. 그러나 변환 계수들의 지각적 중요도는 동일하지 않으며, 따라서 양자화 스텝 사이즈의 증가는 더욱 지각적으로 중요한 계수들을 보다 덜 지각적으로 중요한 계수와 동등하게 열악하게 한다. 본 발명의 대안적 실시예에 따라서, 보다 더 지각적으로 중요한 계수들은 적절하게 전송 또는 기억되고, 단지 그만큼의덜 지각적으로 중요한 계수들이 인코드된 계수가 비트 버짓을 만족하도록 보장하는데 필요한 만큼 버려진다.
또한, 본 발명의 일부 실시예는 MPEG, ITU H.261 및 H.263과 같은 기존 비디오 코딩 표준과 완전히 호환가능한 출력 비트 스트림을 생성할 수 있으며, 이는 실시예들의 유용성을 상당히 증가시키고, 기술적 개선을 이용하도록 표준 변경을 승인할 필요성을 피하게 된다.
이러한 이점들은 주지된 방식으로 소스(예컨대, 비디오 프레임, 오디오 샘플 등)를 m개 계수들로 변환하는 단계를 포함하는 본 발명의 실시예에서 얻어질 수 있으며, 여기에서 m개 계수들 각각은 주지된 비트수로 표시된다. 이때, m개 계수들 중 단지 n개 계수 만이 적절한 전송 또는 기억에 이용되며, 여기서 n 계수들은 이용되지 않는 m-n 계수들 보다 더욱 지각적으로 중요하다.

Claims (6)

  1. 프레임을 나타내는 전송된 신호의 비트 레이트를 제어하는 방법에 있어서:
    블록에 대한 비트 버짓(bit budget)을 설정하는 단계로서, 상기 블록은 적어도 상기 프레임의 부분이 되는 상기 설정 단계;
    상기 블록을 m개의 계수들로 변환하는 단계;
    m개의 양자화 계수들을 생성하기 위해 상기 m개 계수들을 양자화 스텝 사이즈로 양자화하는 단계;
    m개의 압축된 양자화 계수들을 생성하기 위해 상기 m개 양자화 계수들을 압축하는 단계; 및
    상기 m개의 압축된 양자화 계수들 중에서 n개를 전송하는 단계로서, 상기 n개의 압축된 양자화 계수들은 이용되지 않는 m-n개의 압축된 양자화 계수들 보다 전반적으로 더욱 지각적으로 중요하며, 상기 n개의 압축된 양자화 계수들은 합계가 상기 비트 버짓 보다 적은 비트를 필요로 하는, 상기 전송 단계를 포함하는, 비트 레이트 제어 방법.
  2. 제 1 항에 있어서, 상기 이용되지 않는 m-n개의 압축된 양자화 계수들을 버리는 단계를 더 포함하는, 비트 레이트 제어 방법.
  3. 제 1 항에 있어서, 상기 방법은 모션 보상된 이산 코사인 변환 비디오 처리시스템의 부분인, 비트 레이트 제어 방법.
  4. 압축된 동화상을 나타내는 전송된 신호의 비트 레이트를 제어하는 비디오 처리 시스템에 있어서:
    비트 버짓이, 적어도 프레임의 일부가 되는 블록에 대해 설정되며;
    싱기 블록은 m개 계수들로 변환되며;
    상기 m개 계수들은 m개 양자화 계수들을 생성하기 위해 양자화 스텝 사이즈로 양자화되며;
    상기 m개 양자화 계수들은 m개의 압축된 양자화 계수들을 생성하기 위해 압축되며;
    상기 m개의 압축된 양자화 계수들 중에서 n개가 전송되고, 상기 n개의 압축된 양자화 계수들은 이용되지 않는 m-n개의 압축된 양자화 계수들 보다 전반적으로 더욱 지각적으로 중요하며, 상기 n개의 압축된 양자화 계수들은 합계가 상기 비트 버짓 보다 적은 비트를 필요로 하는 것을 특징으로 하는, 비디오 처리 시스템.
  5. 제 4 항에 있어서, 상기 블록은 이산 코사인 변환으로 변환되는 것을 더 특징으로 하는, 비디오 처리 시스템.
  6. 제 4 항에 있어서, 상기 n개의 압축된 양자화 계수들은 비휘발성 매체에 기억되는 것을 더 특징으로 하는 비디오 처리 시스템.
KR10-1998-0046021A 1997-10-31 1998-10-30 지각적압축및견고한비트레이트제어시스템 KR100383684B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/961,624 US6185253B1 (en) 1997-10-31 1997-10-31 Perceptual compression and robust bit-rate control system
US08/961,624 1997-10-31
US8/961,624 1997-10-31

Publications (2)

Publication Number Publication Date
KR19990037507A KR19990037507A (ko) 1999-05-25
KR100383684B1 true KR100383684B1 (ko) 2003-08-02

Family

ID=25504764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1998-0046021A KR100383684B1 (ko) 1997-10-31 1998-10-30 지각적압축및견고한비트레이트제어시스템

Country Status (6)

Country Link
US (1) US6185253B1 (ko)
EP (1) EP0914006A3 (ko)
JP (1) JPH11289535A (ko)
KR (1) KR100383684B1 (ko)
CA (1) CA2250284C (ko)
TW (1) TW411714B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547434B1 (ko) * 2011-07-05 2015-08-25 퀄컴 인코포레이티드 비트 예산에 기초한 이미지 데이터의 선택적 무손실-손실 압축

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654417B1 (en) * 1998-01-26 2003-11-25 Stmicroelectronics Asia Pacific Pte. Ltd. One-pass variable bit rate moving pictures encoding
US6822978B2 (en) * 1999-05-27 2004-11-23 Spectra Physics, Inc. Remote UV laser system and methods of use
TW499672B (en) * 2000-02-18 2002-08-21 Intervideo Inc Fast convergence method for bit allocation stage of MPEG audio layer 3 encoders
US6832006B2 (en) * 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis
US6810083B2 (en) * 2001-11-16 2004-10-26 Koninklijke Philips Electronics N.V. Method and system for estimating objective quality of compressed video data
US7240001B2 (en) * 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US7418037B1 (en) * 2002-07-15 2008-08-26 Apple Inc. Method of performing rate control for a compression system
JP4676140B2 (ja) 2002-09-04 2011-04-27 マイクロソフト コーポレーション オーディオの量子化および逆量子化
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7299190B2 (en) * 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
US7564874B2 (en) 2004-09-17 2009-07-21 Uni-Pixel Displays, Inc. Enhanced bandwidth data encoding method
US7747095B2 (en) 2004-10-08 2010-06-29 Nvidia Corporation Methods and systems for rate control in image compression
US7974193B2 (en) 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US7831434B2 (en) 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
US20070201388A1 (en) * 2006-01-31 2007-08-30 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US8582905B2 (en) * 2006-01-31 2013-11-12 Qualcomm Incorporated Methods and systems for rate control within an encoding device
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
CN101340571B (zh) * 2008-08-15 2012-04-18 北京中星微电子有限公司 一种码率控制方法及控制装置
CN103947206B (zh) * 2011-10-14 2018-01-23 超威半导体公司 基于区域的图像压缩的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0535272A1 (en) * 1991-10-02 1993-04-07 Alcatel N.V. Hybrid encoder arrangement for an image processing system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2140678C (en) * 1989-01-27 2001-05-01 Louis Dunn Fielder Coder and decoder for high-quality audio
US5712955A (en) * 1993-06-30 1998-01-27 Sony Corporation Method and apparatus for encoding digital signal, method and apparatus for decoding digital signal, and recording medium for encoded signals
US5684920A (en) * 1994-03-17 1997-11-04 Nippon Telegraph And Telephone Acoustic signal transform coding method and decoding method having a high efficiency envelope flattening method therein
JPH07322252A (ja) * 1994-05-23 1995-12-08 Canon Inc 画像符号化装置
JP3307138B2 (ja) * 1995-02-27 2002-07-24 ソニー株式会社 信号符号化方法及び装置、並びに信号復号化方法及び装置
EP0756386B1 (en) * 1995-07-27 2003-09-17 Victor Company Of Japan, Limited Method and apparatus for coding a digital, acoustic signal
US5801779A (en) * 1995-12-26 1998-09-01 C-Cube Microsystems, Inc. Rate control with panic mode
US5929916A (en) * 1995-12-26 1999-07-27 Legall; Didier J. Variable bit rate encoding
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0535272A1 (en) * 1991-10-02 1993-04-07 Alcatel N.V. Hybrid encoder arrangement for an image processing system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547434B1 (ko) * 2011-07-05 2015-08-25 퀄컴 인코포레이티드 비트 예산에 기초한 이미지 데이터의 선택적 무손실-손실 압축
US9185424B2 (en) 2011-07-05 2015-11-10 Qualcomm Incorporated Image data compression

Also Published As

Publication number Publication date
EP0914006A3 (en) 1999-12-01
KR19990037507A (ko) 1999-05-25
EP0914006A2 (en) 1999-05-06
CA2250284C (en) 2002-03-05
JPH11289535A (ja) 1999-10-19
TW411714B (en) 2000-11-11
US6185253B1 (en) 2001-02-06
CA2250284A1 (en) 1999-04-30

Similar Documents

Publication Publication Date Title
KR100383684B1 (ko) 지각적압축및견고한비트레이트제어시스템
KR100303054B1 (ko) 정지영상과동영상부호화를위한양자화매트릭스
KR100969645B1 (ko) 적응 가변장 부호화
US9762917B2 (en) Quantization method and apparatus in encoding/decoding
US5638126A (en) Method and apparatus for deciding quantization parameter
US6847735B2 (en) Image processing system, image processing apparatus, image input apparatus, image output apparatus and method, and storage medium
US5517583A (en) Image encoding method and apparatus
EP1305953B1 (en) Signal compression and decompression
EP1107608B1 (en) Methods and apparatus for context selection of block transform coefficients
JP2008099322A (ja) ビデオ信号圧縮装置
JPH0686261A (ja) 多重チャネル画像圧縮システム用の統計的マルチプレクサ
JP2005524304A (ja) ビデオ符号化システムにおける量子化器パラメータを表示するための方法および装置
EP1097592A1 (en) Method and apparatus for limiting data rate and image quality loss in lossy compression of sequences of digital images
JPH09200758A (ja) 画像符号化装置
US7212680B2 (en) Method and apparatus for differentially compressing images
JP2003061093A (ja) 能動的テーブル生成による量子化／逆量子化方法および装置
EP1629675B1 (en) Fixed bit rate, intraframe compression and decompression of video
US5703647A (en) Apparatus for encoding/decoding a video signal
JP2000032458A (ja) 画像圧縮法
JP2007043495A (ja) 画像処理装置及び画像処理方法
KR0174443B1 (ko) 적응적인 벡터 양자화를 이용한 정지영상 부호화 방법 및 장치
KR0141192B1 (ko) 트릭플레이용 데이타 작성방법 및 장치
JPH0487470A (ja) 画像処理装置
Gonsalves et al. Bounded error data compression at constant rate
JPH0799577A (ja) 画像圧縮装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130419

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20140418

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20150422

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee