KR100312603B1 - 영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법 - Google Patents

영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법 Download PDF

Info

Publication number
KR100312603B1
KR100312603B1 KR1020010022965A KR20010022965A KR100312603B1 KR 100312603 B1 KR100312603 B1 KR 100312603B1 KR 1020010022965 A KR1020010022965 A KR 1020010022965A KR 20010022965 A KR20010022965 A KR 20010022965A KR 100312603 B1 KR100312603 B1 KR 100312603B1
Authority
KR
South Korea
Prior art keywords
block
decoder
image
complexity
transform coefficient
Prior art date
Application number
KR1020010022965A
Other languages
English (en)
Other versions
KR20010070539A (ko
Inventor
치오우켕 탄
Original Assignee
모리시타 요이찌
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1019980044562A external-priority patent/KR100312602B1/ko
Application filed by 모리시타 요이찌, 마쯔시다덴기산교 가부시키가이샤 filed Critical 모리시타 요이찌
Publication of KR20010070539A publication Critical patent/KR20010070539A/ko
Application granted granted Critical
Publication of KR100312603B1 publication Critical patent/KR100312603B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

개시된 본 발명은 디코더의 연산 능력에 대한 어떠한 사전지식없이 디코더에 전송을 위한 영상정보를 인코드하기 위한 인코더에 대한 방법이다. 디코딩처리의 복잡도를 추정하기 위해 사용될 수 있는 파라미터를 포함하는 디스크립터는 시스템 스트림에서 구체화된다. 인코더는, 디코더가 일부 정보의 무시를 선택할 수 있고, 연산의 요건을 감소시키도록 인코드된 정보의 서브세트를 디코드만 할 수 있는 방법으로 비디오 정보를 또한 인코드한다. 이 방법에 의해, 하나 이상의 디코더가 디코더의 연산 능력에 따른 다른 해결방법을 부여하는 동일 비트스트림을 디코드한다.

Description

영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법{A METHOD FOR COMPUTATIONAL GRACEFUL DEGRADATION IN AN AUDIOVISUAL COMPRESSION SYSTEM}
본 발명은 영상 압축 시스템에서 연산의 단계적 성능저하(graceful degradation)를 위한 인코딩/디코딩방법에 관한 것으로, 본 발명은 비트스트림을 디코딩하기 위한 연산요구가 잘 정의되지 않은 멀티미디어 인코딩 및 디코딩 환경에 유용하며, 또한, 채널용량이 제한되고, 일부 형태의 서비스 보증 품질이 필요한 경우에 유용하며, 다른 해상도를 가지는 두 가지의 비디오 서비스간의 상호작용에 유용하다.
모든 비디오 스트림을 완전하게 디코드하기에는 시스템 자원이 불충분한 경우, 몇가지 형태의 단계적 성능저하를 이용하는 것이 소프트웨어의 경우에 일반적이다. 이러한 능력축소는 화상요소의 부분 디코딩으로부터 완전 화상의 제거에까지 이른다. 이는 단일 비디오 스트림의 경우, 이용이 용이하다.
제안된 새로운 ISO/IEC SC29/WG11 MPEG-4 표준에 있어서, 다수의 영상 AV 오브젝트(object)를 전송할 수 있다. 따라서 전체적인 복잡도의 요건은 하나의 단일의 스트림에 따르지 않으며, 다중의 스트림에 따른다.
MPEG-1, MPEG-2 및 MPEG-4 등의 압축 시스템에 있어서, 일시적 중복성의 상당한 정도가 움직임 보상을 이용하여 제거된다. 비디오 시퀀스에 있어서 연속한 화상이 매우 유사한 정보를 포함한다는 것을 직관적으로 알 수 있다. 움직이는 화상영역은 화상마다(from picture to picture) 변화한다. 또한, 상기 영역은 통상 균일한 움직임을 가지고 한 단위로서 이동한다. 움직임 보상은 인코더 및 디코더가 인코드되거나 디코드되는 현재의 화상 예측을 위한 기준으로서 재구성된 화상을 유지시키는 기술이다. 인코더는 로컬 디코더 루프를 실행함으로써 디코더를 모방한다. 그러므로, 인코더 및 디코더 사이에 동기화된 재구성 화상을 유지한다.
인코더는 인코드되는 현재의 블록에 가장 큰 매치를 제공하는 재구성 화상내의 블록에 대한 서치를 실행한다. 이어서, 상기 인코더는 움직임 보상 블록과 인코드된 현재 블록 사이의 예측차를 연산한다. 움직임 보상된 블록이 상기 인코더 및 디코더에서 활용가능하므로, 상기 인코더는 상기 블록의 위치와 예측차를 상기 디코더로 전송하면 된다. 상기 블록의 위치는 움직임 벡터로서 공통적으로 참조된다. 예측차는 움직임 보상 예측 에러로서 공통적으로 참조된다. 상기 정보는 현재 블록 자체를 전송하는데 적은 비트를 필요로 한다.
인트라-화상(intra-picture) 코딩에 있어서, 공간적 중복성은 유사한 방식으로 제거될 수 있다. 상기 블록의 변환계수는 이미 디코드된 그 인접 블록의 변환예측으로부터 예측될 수 있다.
본 발명에서는 두 가지의 중요한 문제를 해결한다. 첫째는 현재의 AV 오브젝트의 디코딩 복잡도 요건을 어떻게 나타내는가인데, 다수의 AV 오브젝트가 있는 경우, 시스템 디코더는 얼마나 많은 자원이 특정 오브젝트에 제공되야 하며, 어느 오브젝트가 다른 것에 대해 우선 순위를 가져야 하는지를 결정해야 한다. 환언하면, 시스템의 복잡도 요건을 만드느냐 하는 것이다. 본원에서 지적하는 점은 디코더의 복잡도 요건이 디코더의 완성에 따른다는 것이다. 하나의 완성을 위해 복잡한 동작은 다른 실행을 위해 간단하게 될 수 있다. 따라서 몇가지 형태의 실행 독립의 복잡도 측도가 필요하다.
두번째 문제는 디코더에 있어서 복잡도 요건을 어떻게 감소시키는가이다. 그것은 가능한 한 많은 정보를 유지하면서 디코딩처리의 복잡도 요건을 감소시키는 방법으로 처리한다. 단계적 성능저하에 있어서의 하나의 가장 큰 문제는 움직임 보상에서 에러에 의한 드리프트(drift) 문제이다. 단계적 성능저하가 이용되는 경우, 재구성된 화상은 불완전하거나 잡음을 갖는다. 그 에러는 화상마다 전달되어 더욱더 큰 에러를 발생시킨다. 이러한 노이즈 전달을 드리프트라 한다.
이러한 문제를 해결하기 위해 본 발명에 있어서 이하의 단계가 실행된다.
AV 오브젝트 인코더는 상이한 단계적 성능저하량을 AV 오브젝트 디코더에서 사용하게 하는 방식으로 AV 오브젝트를 인코드한다. AV 오브젝트의 연산의 복잡도 요건에 관한 파리미터는 시스템 인코더에서 전송된다. 실행 독립의 복잡도 측도는 필요한 동작 표시를 부여하는 파라미터를 전송함으로써 얻어진다.
시스템 디코더에 있어서, 필요한 복잡도의 추정은 이용되는 실행방법뿐만 아니라 상기 파라미터를 토대로 행해진다. 그러면, 자원 스케줄러(scheduler)는 적합한 자원량을 다른 AV 오브젝트의 디코딩에 할당한다. AV 오브젝트 디코더에서, 자원이 AV 오브젝트를 완전히 디코드하기에 불충분한 경우에, 연산의 단계적 성능저하가 이용된다.
본 발명의 제1실시형태에 따르면, 영상 오브젝트를 인코딩함으로써 얻어진압축 코드화 데이터 및 연산의 복잡도와 관련된 정보를 인코딩함으로써 얻은 디스크립터를 포함하는 입력 비트스트림을 수신하는 단계를 포함하는데, 상기 연산의 복잡도는 압축 코드화 데이터를 디코딩하기 위한 복잡도를 나타내며;
상기 입력 비트스트림으로부터 디스크립터를 추출하는 단계; 및
압축 코드화 데이터를 디코드하는 단계를 포함하는 입력 비트스트림 디코딩방법이 제공된다.
본 발명의 제2실시형태에 따르면, 제1실시형태에 있어서, 상기 입력 비트스트림내의 압축 코드화 표시로부터 서브영역의 위치 및 치수를 엔트로피(entropy) 디코딩하는 단계;
디코드될 인터레스트(interest)의 서브영역내에 있는 블록만을 선택하는 단계;
양자화 변환계수를 얻도록 압축 코드화 표시를 엔트로피 디코딩하는 단계;
공간영역 움직임 압축 예측차를 얻도록 변환계수를 역변환하는 단계;
상기 입력 비트스트림내의 압축 코드화 표시로부터 움직임 벡터를 엔트로피 디코딩하는 단계;
적어도 임의 블록과 동일 수적인 순서를 갖는 서브영역에 속하는 재구성 화상으로부터 픽셀만을 이용하여 상기 블록에 대한 움직임 보상을 실행하는 단계; 및
화상을 재구성하고 프레임 메모리내에 상기 화상을 저장하여 다음 화상을 예측하는 단계를 추가로 포함하는 디코딩방법이 제공된다.
본 발명의 제3실시형태에 따르면, 제1실시형태에 있어서, 상기 입력 비트스트림내의 압축 코드화 표시로부터 서브영역의 위치 및 치수를 엔트로피 디코딩하는 단계;
디코드될 인터레스트의 서브영역내에 있는 블록만을 선택하는 단계;
양자화 변환계수를 얻도록 압축 코드화 표시를 엔트로피 디코딩하는 단계;
적어도 임의 블록과 동일 수적인 순서를 갖는 서브영역에 속하는 좌측 위의 블록으로부터 그에 대응하는 양자화 변환계수만을 이용하여 상기 블록에 대한 양자화 변환계수 예측을 실행하는 단계; 및
구한 변환계수에 대응하는 양자화 변환계수를 역양자화하는 단계;
공간영역 픽셀값을 얻도록 변환계수를 역변환하는 단계;
화상을 재구성하고 프레임 메모리내에 상기 화상을 저장하여 다음 화상을 예측하는 단계를 추가로 포함하는 디코딩방법이 제공된다.
도 1은 본 발명의 전체 블록도.
도 2는 본 발명의 인코더 및 디코더에 대한 블록도.
도 3은 본 발명의 움직임 벡터 및 서브영역(sub-region)의 실시예를 도시한 도면.
도 4는 본 발명의 팬 스캔(pan-scan) 벡터 및 서브영역 치수의 실시예를 보인 도면.
도 5는 서브영역의 경계에서 움직임 보상 예측의 패딩(padding)방법을 위한 제2실시예를 도시한 도면.
도 6은 복잡도 추정기(Complexity Estimator)에 대한 블록도이다.
*도면의 주요부분에 대한 부호의 설명*
110 : 인코더 120 : 인코딩버퍼
130 : 복잡도 파라미터 인코더 140 : 시스템 인코더 및 다중화 장치
150 : 전송매체 160 : 역다중화기 및 시스템 디코더장치
170 : 디코딩버퍼 180 : 스케줄러 및 복잡도 추정장치
190 : 디코더
도 1은 본 발명의 전체 시스템 블록도를 도시한다. 인코더(110)는 비디오 시퀀스를 인코드하여 연산의 단계적 성능저하 기술을 이용한다. 인코더(110)의 출력은 인코딩버퍼(120)에 인가되는 비디오 시퀀스의 코드화 표시이다. 비디오 시퀀스 및 코드화 표시는 디코딩을 위해 필요한 요구되는 동작과 관련된 파라미터가 연산 및 인코드되는 복잡도 파라미터 인코더(130)에 또한 인가된다. 인코딩버퍼(120)의 출력과 함께 상기 정보는 시스템-다중화된 스트림이 형성되는 시스템 인코더 및 다중화 장치(140)에 전송된다. 시스템-다중화된 스트림은 전송매체(150)를 통해 전송된다.
역다중화기 및 시스템 디코더장치(160)는 시스템-다중화된 스트림을 수신하며, 이때 비트스트림이 각각의 기본 스트림으로 역양자화된다. 기본 비디오 스트림은 디코딩버퍼(170)로 전달되며, 복잡도 파라미터는 스케줄러 및 복잡도 추정장치(180)로 전달된다. 디코딩버퍼(170)로부터, 기본 비디오 스트림은 디코더(190)로 전달된다. 디코더(190)는 디코딩전에 스케줄러장치/복잡도 추정기(180)로부터 들어오는 명령을 대기한다.
복잡도 추정기(180)는 사용되는 디코더의 연산의 단계적 성능저하량을 부여한다. 보다 중요한 정보를 포함하게 되는 완전한 화상의 서브영역만을 디코딩함으로써 연산의 단계적 성능저하가 디코더에서 얻어진다. 인코더에 의해 인코더와 디코더가 상기 조건하에서 드리프트하지 않게 된다. 디코딩후, 디코더(190)는 정보를 스케줄러장치 및 복잡도 추정기(180)에 또한 피드백하여 그 정보가 다음 화상의 복잡도를 추정하는데 이용될 수 있다.
다음은 도 1에 도시된 상기 발명에 예시된 각종 장치의 실시예이다.
도 2는 본 실시예에 따른 인코더 및 디코더의 블록도이다. 인코더(110)로의 입력화상이 처리를 위한 블록으로 분할된다. 일시적 중복성은 현재화상에서 이전화상의 움직임 보상화상을 차감함으로써 화상으로부터 제거된다. 예측차는 DCT장치(111)의 DCT영역으로 변환된다. 그러면, 최종의 DCT계수는 양자화 장치(112)에서 양자화된다. 양자화된 계수는 가변길이코딩(VLC)장치(113)에서 엔트로피 코드화되어, 압축된 출력 비트스트림을 형성한다. 인코더(110)는 또한 역양자화 장치(114), 역DCT장치(115), 프레임 저장부(116) 및 움직임 보상장치(117)를 갖는 로컬 디코더 루프를 구비한다. 로컬 디코더 루프는 역양자화 장치(114) 및 역DCT장치(115)에서 계수를 역양자화하고 이 계수를 상기 역양자화 장치(114)와 역DCT 치(115)의 공간영역으로 다시 변환함으로써 디코더 동작을 모방한다. 이어서 출력이 움직임 보상장치(117)의 출력에 가산되어 재구성 화상을 형성한다. 이 화상은 다음 화상의 보상을 위해 프레임 저장부(116)에 저장된다.
이 실시예에 있어서, 움직임 추정장치(118) 및 움직임 보상장치(117)의 인코더장치가 변경되어 연산의 단계적 성능저하가 드리프트를 일으키지 않고 움직임 보상과 결합해서 실행될 수 있다.
도 3은 본 발명에 따라 화상이 2개의 부분(220 및 210)으로 분할되는 것을 도시한다. 제1부분(220)은 연산의 단계적 성능저하가 이용되는 것과 무관하게 디코더에서 디코드되어야 하는 서브영역이다. 제2부분(210)은 연산의 단계적 성능저하가 이용되는 경우, 디코더에 의해 폐기될 수 있는 서브영역 외측의 영역이다.
도 3은 또한 움직임 보상에 이용되는 2개의 블록을 도시한다. 움직임 보상이 서브영역(220)에 있는 블록(250)위에서 실행될 때, 움직임 보상된 예측 블록이 기준화상의 서브영역(220) 내부로부터 도입되어야 한다. 환언하면, 상기 영역외를 가리키는 벡터(260)는 허용되지 않는데, 이것을 제한 움직임 벡터라 한다. 다른 한편으로, 블록(230)이 서브영역(220) 외부에 있을 때, 움직임 보상된 예측 블록은 기준화상내의 임의장소로부터 도입될 수 있는데, 이것은 서브영역이 없는 곳과 같다.
도 4는 서브영역(220)을 각 화상내에 어떻게 표시하는지의 방법을 도시한다. 각 화상에 대해 사각형 서브영역(220)을 지정하기 위해, 다음의 파라미터가 각 화상에 대해 지정되어야 하며, 압축 비트스트림의 화상 헤더에서 인코드되어야 한다. 도 4에, 화상(310) 및 서브영역(220)을 예시한다. 화상의 좌측 가장자리로부터의 서브영역(220)의 좌측 가장자리의 수평 오프셋(330) 및 화상의 상부 가장자리로부터의 서브영역(220)의 상부 가장자리의 수직 오프셋(340)을 도시한다. 팬 스캔 벡터라 하는 상기 2개의 파라미터는 서브영역의 위치를 표시하는데 사용된다. 서브영역(220)의 폭(350) 및 높이(360)는 서브영역(220)의 치수를 지정하는데 필요시 되는 제2세트의 파라미터이다.
본 발명의 제2실시예에서, 서브영역내의 블록에 대한 움직임 벡터는 제한될 필요가 없다. 기준화상의 서브영역외를 가리키는 것은 허용되지만, 패딩은 필요하다. 이는 화상(310) 및 서브영역(220)이 도시된 도 5에 예시된다. 움직임 보상된 예측부(430)는 서브영역(220)의 경계에서 스트래들링(straddling)하는 것으로 도시되어 있다. 서브영역(220) 외부에 있는 블록의 부분(431)은 예측을 위해 사용되지 않고, 서브영역(220)의 가장자리에서 구한 화소값을 반복함으로써 패드된다. 서브영역(220)에 있는 블록의 부분(432)은 어떠한 패딩도 없이 사용된다. 수직 가장자리 및 수평 가장자리 각각에 위치한 블록의 행 및 열에 대해 유사한 패딩이 사용된다.
제1실시예와 같이, 제2실시예에 따른 방법은 인코더와 디코더의 드리프트를 일으키지 않고, 연산의 단계적 성능저하 방법에 의해 서브영역(220)의 외부의 화상의 부분을 폐기할 수 있다.
인터(inter)블록에서 드리프트를 일으키는 움직임 보상과 별도로,서브영역(220)의 상부 및 좌측 경계에서 인트라(intra)블록 또한 예측을 위해 서브영역(220) 외부의 임의의 블록을 사용하는 것이 제한되는데, 이는, 연산의 단계적 성능저하 디코더에 있어서, 상기 블록이 디코드되지 않으므로 예측이 이중화 될 수 없기 때문이다. 이로써 공통으로 사용된 DC 및 AC 계수 예측이 인코더에서 사용되지 못한다.
도 2는 또한 디코더(190)의 블록도를 도시한다. 연산의 단계적 성능저하를 이용하는 디코더(190)의 실시예를 본 명세서에서 설명한다. 압축 비트스트림이 전송부로부터 수신되어 사용된 신택스(syntax) 및 엔트로피 방법에 따라 디코드된 가변길이 디코더장치(Variable Length Decoder unit;191)로 전달된다. 이어서 상기 디코드된 정보는 서브영역(220)에 속하는 디코드된 정보가 유지되고, 서브영역(220)의 외부에서 디코드된 정보가 폐기되는 연산의 단계적 성능저하 선택기(192)로 전송된다. 상기 유지된 정보는 DCT 계수가 복구되는 역양자화 장치(193)로 전달된다. 이어서 상기 복구된 계수는 계수가 공간 영역으로 다시 변환되는 역DCT장치(194)로 전달된다. 그러면, 움직임 보상된 예측이 재구성 화상을 형성하도록 부가된다. 상기 재구성 화상은 그것이 다음 화상의 예측용으로 사용되는 프레임 저장부(195)에 저장된다. 움직임 보상장치(196)가 인코더(110)에서 사용되는 것과 같은 방법에 따라 움직임 보상을 실행한다.
움직임 벡터가 제한되는 인코더의 제1실시예에 있어서, 디코더에서 추가적인 변형은 없다. 움직임 벡터가 제한되지 않는 인코더의 제2실시예에 있어서, 도 5와 관련하여 기술한 패딩에 의한 움직임 보상방법이 디코더에서 사용된다. 결국, 서브영역(220)의 상부 및 좌측 경계에서의 인트라블록은 예측용 서브영역(200)의 외부의 임의 블록을 사용하는 것을 제한 받는다. 이에 의해 공통으로 사용된 DC 및 AC 계수 예측의 사용이 배제된다.
본 실시예에 있어서, 복잡도 파라미터 인코더는 필요한 블록 디코딩 동작수를 카운트하는 카운팅장치로 구성된다. 블록 디코딩 동작은 기본적인 산술 동작이 아니라 블록상에서 실행되는 동작의 집합(collection)이다. 블록 디코딩 동작은 블록 역양자화 동작, 블록 역DCT 동작, 블록 기반으로 블록상에서 디코딩 태스크(task)를 실행하는 블록 메모리 액세스 또는 특정 다른 동작의 집합일 수 있다. 복잡도 파라미터 인코더는 각 세트의 동작을 필요로 하며, 파라미터에서 그것들을 표시하는 블록수를 카운트한다. 간단한 산술 동작을 대신해서 블록 디코딩 동작을 사용하는 이유는, 다른 실행이 다른 동작을 기타의 것 보다 더 효율적으로 실행할 수 있기 때문이다.
또한, 복잡도 요건을 표시하기 위해 신뢰할 수 없는 메모리 액세스 측도 및 원처리능력을 사용하는 다른 하드웨어 및 소프트웨어 솔루션량 및 디코더 구조에 차이가 있다. 그러나, 필요한 동작이 필요한 블록 디코딩 동작수를 카운트하는 파라미터에 의해 표시되는 경우, 디코더는 복잡도를 추정할 수 있다. 이는 디코더가 그 자신의 실행에 있어 블록 디코딩 동작 각각에 대해 필요한 동작량을 식별하기 때문이다.
시스템 인코더 및 다중화기의 실시예에 있어서, 기본 비트스트림은 전송을 위해 패키지화되고 다중화된다. 복잡도 파라미터와 관계된 정보가 비트스트림으로또한 다중화된다. 상기 정보는 페킷의 헤더에 삽입된다. 상기 정보를 필요로 하지 않는 디코더는 상기 정보에 대해 간단히 스킵한다. 그런 정보를 요구하는 디코더는 상기 정보를 디코드할 수 있고 이 정보를 해석하여 복잡도 요건을 추정한다.
본 실시예에서 인코더는 패킷 헤더에서 디스크립터(descriptor) 형태로 정보를 삽입한다. 디스크립터는 이 디스크립터에 포함된 총 바이트수에 의해 추종되는 디스크립터 형태를 표시하기 위한 ID를 포함한다. 디스크립터의 나머지는 각 블록 디코딩 동작을 위한 파라미터를 포함한다. 또한, 디스크립터는 사전에 정의되지 않은 사용자 정의의 파라미터를 전달한다.
도 1의 스케줄러 및 복잡도 추정기(180)에 있어서, 모든 영상 오브젝트를 디코딩하는데 걸리는 시간은 디코더로부터의 피드백 정보뿐만 아니라 디스크립터에서 구한 파라미터를 토대로 계산된다.
스케줄러 및 복잡도 추정기(180)의 실시예가 도 6에 도시된다. 블록 디코딩 동작 파라미터(181a, 181b 및 181c)는 가중치(182a, 182b 및 182c)에 의해 각각 사전 다중화된 후 복잡도 추정기(183)로 전달된다. 이어서 복잡도 추정기(183)는 디코딩될 화상의 복잡도를 추정하여 그 추정된 복잡도(184)를 디코더(190)로 전달한다. 화상을 디코딩한 후 디코더(190)는 화상의 실제적 복잡도(185)를 복원한다. 복잡도 추정에 있어서의 에러(186)는 화상의 추정 복잡도(184) 및 실제 복잡도(185)간의 차이를 취함으로써 얻어진다. 이어서 에러(186)는 가중치에 대한 정정치(188a, 188b 및 188c)가 구해진 피드백 이득장치(187)로 전달된다. 상기 가중치는 상기 정정치에 의해 변형되어 다음 화상의 복잡도를 추정하는 처리가 계속된다.
본 발명의 효과는 최악의 경우를 처리할 수 있는 실행의 필요성이 더 이상 필요하지 않다는데 있다. 연산의 복잡도 및 연산의 단계적 성능저하 방법의 표시를 사용하여 간단한 디코더를 실현할 수 있다. 디코더는 대부분의 시퀀스를 디코드하는 능력을 가지나, 디코더가 다소 많은 요구의 시퀀스를 수신하는 경우, 비트스트림을 디코드하기 위해 디코더 출력의 품질 및 해상도를 열화시킬 수 있다.
본 발명은 또한 다른 해상도 및/또는 다른 포맷을 갖는 서비스의 상호작용에 유용하다. 서브영역은 높은 해상도의 디코더로서 전체 화상을 디코드할 수 있는 낮은 해상도의 디코더에 의해 디코딩될 수 있다. 일례가 16:9 및 4:3 종횡비 디코더간의 상호작용이다.

Claims (3)

  1. 영상 오브젝트를 인코딩함으로써 얻어진 압축 코드화 데이터 및 연산의 복잡도와 관련된 정보를 인코딩함으로써 얻은 디스크립터를 포함하는 입력 비트스트림을 수신하는 단계를 포함하는데, 상기 연산의 복잡도는 압축 코드화 데이터를 디코딩하기 위한 복잡도를 나타내며;
    상기 입력 비트스트림으로부터 디스크립터를 추출하는 단계; 및
    압축 코드화 데이터를 디코드하는 단계를 포함하는 것을 특징으로 하는 입력 비트스트림 디코딩방법.
  2. 제1항에 있어서, 상기 입력 비트스트림내의 압축 코드화 표시로부터 서브영역의 위치 및 치수를 엔트로피 디코딩하는 단계;
    디코드될 인터레스트(interest)의 서브영역내에 있는 블록만을 선택하는 단계;
    양자화 변환계수를 얻도록 압축 코드화 표시를 엔트로피 디코딩하는 단계;
    공간영역 움직임 압축 예측차를 얻도록 변환계수를 역변환하는 단계;
    상기 입력 비트스트림내의 압축 코드화 표시로부터 움직임 벡터를 엔트로피 디코딩하는 단계;
    적어도 임의 블록과 동일 수적인 순서를 갖는 서브영역에 속하는 재구성 화상으로부터 픽셀만을 이용하여 상기 블록에 대한 움직임 보상을 실행하는 단계; 및
    화상을 재구성하고 프레임 메모리내에 상기 화상을 저장하여 다음 화상을 예측하는 단계를 추가로 포함하는 것을 특징으로 하는 디코딩방법.
  3. 제1항에 있어서, 상기 입력 비트스트림내의 압축 코드화 표시로부터 서브영역의 위치 및 치수를 엔트로피 디코딩하는 단계;
    디코드될 인터레스트의 서브영역내에 있는 블록만을 선택하는 단계;
    양자화 변환계수를 얻도록 압축 코드화 표시를 엔트로피 디코딩하는 단계;
    적어도 임의 블록과 동일 수적인 순서를 갖는 서브영역에 속하는 좌측 위의 블록으로부터 그에 대응하는 양자화 변환계수만을 이용하여 상기 블록에 대한 양자화 변환계수 예측을 실행하는 단계; 및
    구한 변환계수에 대응하는 양자화 변환계수를 역양자화하는 단계;
    공간영역 픽셀값을 얻도록 변환계수를 역변환하는 단계;
    화상을 재구성하고 프레임 메모리내에 상기 화상을 저장하여 다음 화상을 예측하는 단계를 추가로 포함하는 것을 특징으로 하는 디코딩방법.
KR1020010022965A 1997-10-24 2001-04-27 영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법 KR100312603B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG9703861-6 1997-10-24
SG1997003861A SG116400A1 (en) 1997-10-24 1997-10-24 A method for computational graceful degradation inan audiovisual compression system.
KR1019980044562A KR100312602B1 (ko) 1997-10-24 1998-10-23 영상압축시스템의연산의단계적성능저하를위한방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1019980044562A Division KR100312602B1 (ko) 1997-10-24 1998-10-23 영상압축시스템의연산의단계적성능저하를위한방법

Publications (2)

Publication Number Publication Date
KR20010070539A KR20010070539A (ko) 2001-07-25
KR100312603B1 true KR100312603B1 (ko) 2001-11-08

Family

ID=20429767

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020010022965A KR100312603B1 (ko) 1997-10-24 2001-04-27 영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법
KR1020010022966A KR100312604B1 (ko) 1997-10-24 2001-04-27 영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020010022966A KR100312604B1 (ko) 1997-10-24 2001-04-27 영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법

Country Status (7)

Country Link
US (5) US6408096B2 (ko)
EP (3) EP0912063B1 (ko)
JP (2) JP3425377B2 (ko)
KR (2) KR100312603B1 (ko)
CN (3) CN1155252C (ko)
DE (3) DE69803821T2 (ko)
SG (1) SG116400A1 (ko)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999060772A2 (en) * 1998-05-20 1999-11-25 Koninklijke Philips Electronics N.V. Encoding block-organized data
SE513353C2 (sv) * 1998-10-21 2000-08-28 Ericsson Telefon Ab L M Partiell hämtning av bilder i den komprimerade domänen
US7194032B1 (en) 1999-09-03 2007-03-20 Equator Technologies, Inc. Circuit and method for modifying a region of an encoded image
US6498816B1 (en) * 1999-09-03 2002-12-24 Equator Technologies, Inc. Circuit and method for formatting each of a series of encoded video images into respective regions
GB2356997A (en) 1999-12-02 2001-06-06 Sony Uk Ltd Video signal processing
US6674800B1 (en) * 2000-08-29 2004-01-06 Koninklijke Philips Electronics N.V. Method and system for utilizing a global optimal approach of scalable algorithms
US6904094B1 (en) * 2000-09-20 2005-06-07 General Instrument Corporation Processing mode selection for channels in a video multi-processor system
US6631163B1 (en) * 2000-11-14 2003-10-07 Koninklijke Philips Electronics N.V. Dynamic adaptation of complexity in an MPEG-2 scalable decoder
US6961383B1 (en) * 2000-11-22 2005-11-01 At&T Corp. Scalable video encoder/decoder with drift control
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US6925126B2 (en) * 2001-04-18 2005-08-02 Koninklijke Philips Electronics N.V. Dynamic complexity prediction and regulation of MPEG2 decoding in a media processor
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
US6947598B2 (en) 2001-04-20 2005-09-20 Front Porch Digital Inc. Methods and apparatus for generating, including and using information relating to archived audio/video data
US7110664B2 (en) 2001-04-20 2006-09-19 Front Porch Digital, Inc. Methods and apparatus for indexing and archiving encoded audio-video data
US7035468B2 (en) 2001-04-20 2006-04-25 Front Porch Digital Inc. Methods and apparatus for archiving, indexing and accessing audio and video data
JP4157686B2 (ja) * 2001-05-15 2008-10-01 株式会社モノリス 画像符号化および復号のための方法および装置
US6940904B2 (en) * 2001-05-29 2005-09-06 Broadcom Corporation Artifact-free displaying of MPEG-2 video in the progressive-refresh mode
US7483581B2 (en) 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
US6704362B2 (en) * 2001-07-06 2004-03-09 Koninklijke Philips Electronics N.V. Resource scalable decoding
KR100440953B1 (ko) * 2001-08-18 2004-07-21 삼성전자주식회사 영상 압축 비트 스트림의 트랜스코딩 방법
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
FR2832581A1 (fr) * 2001-11-21 2003-05-23 Canon Kk Procede et dispositif de determination d'au moins un parametre de codage de donnees multimedia
EP1446955A2 (en) * 2001-11-21 2004-08-18 Canon Kabushiki Kaisha Method and device for determining at least one multimedia data encoding parameter
US20050114887A1 (en) * 2002-03-08 2005-05-26 Gelissen Johan H.A. Quality of video
US7660356B2 (en) * 2002-10-02 2010-02-09 Lsi Corporation Compressed video format with partial picture representation
EP1414273A1 (en) * 2002-10-22 2004-04-28 Koninklijke Philips Electronics N.V. Embedded data signaling
JP2006511159A (ja) * 2002-12-20 2006-03-30 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ マルチメディアを安全に頒布するための階層スキーム
US7380028B2 (en) * 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data
US20040252762A1 (en) * 2003-06-16 2004-12-16 Pai R. Lakshmikanth System, method, and apparatus for reducing memory and bandwidth requirements in decoder system
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US8582659B2 (en) 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US7388620B2 (en) * 2003-10-23 2008-06-17 Sony Corporation Method and system for pan-scan using motion vectors presentation
WO2005041585A1 (en) * 2003-10-27 2005-05-06 Koninklijke Philips Electronics N.V. Power optimized collocated motion estimation method
US20060026217A1 (en) 2004-06-25 2006-02-02 Lindner James A Method and system for automated migration of media archives
JP2006014086A (ja) * 2004-06-28 2006-01-12 Canon Inc 動画像符号化装置及び動画像符号化方法
US20060104356A1 (en) * 2004-11-15 2006-05-18 Microsoft Corporation Timing for decoder buffer examination
US8363714B2 (en) * 2004-12-22 2013-01-29 Entropic Communications, Inc. Video stream modifier
US7924915B2 (en) * 2005-01-28 2011-04-12 Broadcom Corporation Method and system for encoding video data
CN1977538A (zh) * 2005-03-03 2007-06-06 皇家飞利浦电子股份有限公司 用于消费品中mpeg译码器的自适应后退系统
US8929464B2 (en) * 2005-03-25 2015-01-06 Sharp Laboratories Of America, Inc. Video entropy decoding with graceful degradation
US9560349B2 (en) 2005-04-19 2017-01-31 Koninklijke Philips N.V. Embedded data signaling
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US8069466B2 (en) 2005-08-04 2011-11-29 Nds Limited Advanced digital TV system
JP4415978B2 (ja) * 2006-08-02 2010-02-17 ソニー株式会社 画像信号処理装置、画像信号処理方法
US8515194B2 (en) * 2007-02-21 2013-08-20 Microsoft Corporation Signaling and uses of windowing information for images
FR2915342A1 (fr) * 2007-04-20 2008-10-24 Canon Kk Procede et dispositif de codage video
US8948822B2 (en) 2008-04-23 2015-02-03 Qualcomm Incorporated Coordinating power management functions in a multi-media device
US8908763B2 (en) 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
US8964828B2 (en) 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8948270B2 (en) * 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US9467690B2 (en) 2010-01-06 2016-10-11 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
US20110310956A1 (en) * 2010-06-22 2011-12-22 Jian-Liang Lin Methods for controlling video decoder to selectively skip one or more video frames and related signal processing apparatuses thereof
US20120163456A1 (en) * 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US9336225B2 (en) * 2011-02-24 2016-05-10 A9.Com, Inc. Encoding of variable-length data with unary formats
JP5717886B2 (ja) * 2011-03-09 2015-05-13 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ デジタル画像のシーケンスを符号化する方法
JP5711370B2 (ja) * 2011-06-30 2015-04-30 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
US10045089B2 (en) 2011-08-02 2018-08-07 Apple Inc. Selection of encoder and decoder for a video communications session
US8781238B2 (en) * 2011-09-08 2014-07-15 Dolby Laboratories Licensing Corporation Efficient decoding and post-processing of high dynamic range images
AR091515A1 (es) * 2012-06-29 2015-02-11 Sony Corp Dispositivo y metodo para el procesamiento de imagenes
JPWO2015034061A1 (ja) * 2013-09-06 2017-03-02 三菱電機株式会社 動画像符号化装置、動画像トランスコード装置、動画像符号化方法、動画像トランスコード方法及び動画像ストリーム伝送システム
US10264269B2 (en) 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
KR102543444B1 (ko) * 2017-08-29 2023-06-13 삼성전자주식회사 영상 부호화 장치
CN113542871B (zh) * 2021-07-06 2023-05-26 腾讯科技（深圳）有限公司 解码方法及装置、电子设备、计算机可读存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8828499D0 (en) * 1988-12-07 1989-01-11 British Telecomm Data compression
US5128756A (en) * 1990-12-11 1992-07-07 At&T Bell Laboratories High definition television coding arrangement with graceful degradation
US5212742A (en) * 1991-05-24 1993-05-18 Apple Computer, Inc. Method and apparatus for encoding/decoding image data
US5402146A (en) * 1992-10-23 1995-03-28 International Business Machines Corporation System and method for video compression with artifact dispersion control
US5537551A (en) * 1992-11-18 1996-07-16 Denenberg; Jeffrey N. Data compression method for use in a computerized informational and transactional network
EP0888012B1 (en) * 1993-03-25 2005-06-01 Sony Corporation Moving picture coding and decoding
US6026088A (en) * 1993-10-20 2000-02-15 Lsi Logic Corporation Network architecture
US5434913A (en) * 1993-11-24 1995-07-18 Intel Corporation Audio subsystem for computer-based conferencing system
US5512939A (en) 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
US5852669A (en) 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
JP2945842B2 (ja) * 1994-04-13 1999-09-06 株式会社東芝 データ記録方法、データ再生装置及びデータ再生方法
US5608458A (en) * 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
US5978514A (en) 1994-11-10 1999-11-02 Kabushiki Kaisha Toshiba Image data coding and decoding system for efficiently compressing information using the shape and position of the image content
JPH08294119A (ja) * 1995-04-21 1996-11-05 Toshiba Corp 画像符号化／復号化装置
US5757967A (en) * 1995-10-19 1998-05-26 Ibm Corporation Digital video decoder and deinterlacer, format/frame rate converter with common memory
US6002802A (en) * 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
US5832490A (en) * 1996-05-31 1998-11-03 Siemens Medical Systems, Inc. Lossless data compression technique that also facilitates signal analysis
US6072830A (en) * 1996-08-09 2000-06-06 U.S. Robotics Access Corp. Method for generating a compressed video signal
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US5990958A (en) * 1997-06-17 1999-11-23 National Semiconductor Corporation Apparatus and method for MPEG video decompression
KR100248404B1 (ko) * 1997-09-04 2000-03-15 정선종 다중 객체 환경에서 우선 순위 정보를 이용한 순화적 계산량 감소 방법
US6137837A (en) * 1998-01-23 2000-10-24 Motorola, Inc. Motion estimation for digital video with reduced number of search window pixels
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals

Also Published As

Publication number Publication date
EP0912063A3 (en) 2000-03-08
EP1154650A3 (en) 2002-04-17
US20020136461A1 (en) 2002-09-26
US20010001016A1 (en) 2001-05-10
US20020090136A1 (en) 2002-07-11
DE69810669T2 (de) 2003-10-16
DE69803821D1 (de) 2002-03-21
EP1187490A2 (en) 2002-03-13
KR100312604B1 (ko) 2001-11-08
CN1147152C (zh) 2004-04-21
EP1154650A2 (en) 2001-11-14
US6408096B2 (en) 2002-06-18
DE69810670T2 (de) 2003-10-23
EP1187490B1 (en) 2003-01-08
JP3425377B2 (ja) 2003-07-14
US6408099B2 (en) 2002-06-18
CN1146244C (zh) 2004-04-14
EP0912063A2 (en) 1999-04-28
JP3425435B2 (ja) 2003-07-14
US6421465B2 (en) 2002-07-16
EP1187490A3 (en) 2002-04-17
CN1342025A (zh) 2002-03-27
JP2002084545A (ja) 2002-03-22
DE69803821T2 (de) 2002-12-19
EP1154650B1 (en) 2003-01-08
EP0912063B1 (en) 2002-02-13
CN1252675A (zh) 2000-05-10
US6563954B2 (en) 2003-05-13
US20010001621A1 (en) 2001-05-24
KR20010070539A (ko) 2001-07-25
SG116400A1 (en) 2005-11-28
CN1342024A (zh) 2002-03-27
US6480628B2 (en) 2002-11-12
US20010048768A1 (en) 2001-12-06
KR20010070540A (ko) 2001-07-25
JPH11225339A (ja) 1999-08-17
DE69810669D1 (de) 2003-02-13
CN1155252C (zh) 2004-06-23
DE69810670D1 (de) 2003-02-13

Similar Documents

Publication Publication Date Title
KR100312603B1 (ko) 영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법
US6785331B1 (en) Predictive encoding and decoding methods of video data
JP4109113B2 (ja) ビデオ伝送におけるビットストリーム間の切換
US6687296B1 (en) Apparatus and method for transforming picture information
US20030095603A1 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
KR100680452B1 (ko) 움직임 벡터 메모리의 갱신방법 및 장치
JP2006521771A (ja) ハイブリッドレートコントローラーを備えるデジタルストリームトランスコーダー
KR20040047977A (ko) 공간적으로 스케일가능한 압축
JP2005510983A (ja) ビデオ画像のグローバル動き補償
KR20010021879A (ko) 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법
US6961377B2 (en) Transcoder system for compressed digital video bitstreams
KR100364748B1 (ko) 영상 변환 부호화 장치
KR100394014B1 (ko) 영상 변환 부호화 장치
KR100312602B1 (ko) 영상압축시스템의연산의단계적성능저하를위한방법
EP0892559A1 (en) Padding of object border blocks for motion estimation and transform coding in an object-oriented video coder
KR19980028347A (ko) 움직임예측 및 시차예측을 적용하는 경우의 화질열화억제를 위한 입체동영상의 압축방법
JP2004032300A (ja) 動画像圧縮符号化装置
Onishi MPEG-4 VIDEO ENCODER IMPLEMENTATION IN JAVA
JP2001145108A (ja) 画像情報変換装置及び方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120924

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20150917

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20160922

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20170920

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20180905

Year of fee payment: 18

EXPY Expiration of term