KR100880639B1 - Method and apparatus for encoding video signal, and transmitting and decoding the encoded data - Google Patents

Method and apparatus for encoding video signal, and transmitting and decoding the encoded data Download PDF

Info

Publication number
KR100880639B1
KR100880639B1 KR1020077012666A KR20077012666A KR100880639B1 KR 100880639 B1 KR100880639 B1 KR 100880639B1 KR 1020077012666 A KR1020077012666 A KR 1020077012666A KR 20077012666 A KR20077012666 A KR 20077012666A KR 100880639 B1 KR100880639 B1 KR 100880639B1
Authority
KR
South Korea
Prior art keywords
picture sequence
snr
sequence
layer
delete delete
Prior art date
Application number
KR1020077012666A
Other languages
Korean (ko)
Other versions
KR20070090179A (en
Inventor
박승욱
박지호
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020050049897A external-priority patent/KR20060063605A/en
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20070090179A publication Critical patent/KR20070090179A/en
Application granted granted Critical
Publication of KR100880639B1 publication Critical patent/KR100880639B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H04N21/234372—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests

Abstract

영상신호를 디코딩하는 방법의 일 실시예에서는, 상기 제 1 픽처 시퀀스의 SNR 베이스 레이어는, 시퀀스간 예측을 위하여 일부의 제 2 픽처 시퀀스를 이용하는지를 나타내는 레벨 정보가 획득되는 경우, 일부의 제 2픽처 시퀀스 레이어에 근거하여 디코딩된다.In an embodiment of the method of decoding a video signal, when the level information indicating whether the SNR base layer of the first picture sequence uses a part of a second picture sequence for inter-sequence prediction is obtained, part of the second picture It is decoded based on the sequence layer.

MCTF, 인핸스먼트, 전송, 예측, SNR, Scalability, FGS MCTF, Enhancement, Transmission, Prediction, SNR, Scalability, FGS

Description

영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법 및 장치 {Method and apparatus for encoding video signal, and transmitting and decoding the encoded data}Method and apparatus for encoding video signal, transmitting the same, and decoding the present invention {Method and apparatus for encoding video signal, and transmitting and decoding the encoded data}

본 발명은, 영상신호를 스케일러블(scalable)하게 엔코딩하여 전송하는 방법 및 장치, 그리고 엔코딩된 데이터 스트림을 디코딩하는 방법 및 장치, 그리고 엔코딩된 데이터 스트림에 관한 것이다. The present invention relates to a method and apparatus for scaling and transmitting a video signal in a scalable manner, a method and apparatus for decoding an encoded data stream, and an encoded data stream.

스케일러블 영상 코덱(SVC:Scalable Video Codec) 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다. MCTF (Motion Compensated Temporal Filter) 방식이 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안된 엔코딩 방식이다. The scalable video codec (SVC) method encodes a video signal at the highest quality, but decodes a partial sequence of the resulting picture sequence (a sequence of intermittently selected frames throughout the sequence). Even if it is used, it is a way to enable a low-quality video representation. The Motion Compensated Temporal Filter (MCTF) method is an encoding method proposed for use in the scalable image codec as described above.

그런데, 앞서 언급한 바와 같이 스케일러블 방식인 MCTF로 엔코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 저화질의 영상 표현이 가능하지만, 비트레이트(bit rate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위해서 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 소화면 및/또는 초당 프레임수 등이 낮은 픽처 시퀀스를 계층적으로 제공한다. 예를 들어, 도 1에 도시된 바와 같이, 4CIF의 픽처 시퀀스, CIF의 픽처 시퀀스 그리고 QCIF의 픽처 시퀀스를 각각 엔코딩하여 디코딩 장치에 전송할 수 있도록 한다.However, as mentioned above, a picture sequence encoded by the scalable MCTF can be obtained with low quality image only by receiving and processing only a partial sequence, but the image quality deteriorates greatly when the bit rate is low. . In order to solve this problem, a separate auxiliary picture sequence for low data rate, for example, a small picture and / or a low picture sequence such as frames per second are hierarchically provided. For example, as illustrated in FIG. 1, a picture sequence of 4CIF, a picture sequence of CIF, and a picture sequence of QCIF may be encoded and transmitted to a decoding apparatus.

그런데, 각 시퀀스는 동일한 영상신호원을 엔코딩하는 것이므로 각 시퀀스간에는 잉여정보( 리던던시(redundancy) )가 존재한다. 따라서 각 시퀀스의 코딩효율(coding efficiency)을 높이기 위해, 도 1에 도시된 바와 같이, 하위 시퀀스의 임의 영상 프레임으로부터 그와 동시간의 상위 시퀀스의 영상 프레임에 대한 시퀀스간(inter-sequence) 예측동작을 수행하여 상위 시퀀스의 코딩된 정보량을 줄이게 된다. 즉, 하위 시퀀스의 원래(original)의 또는 베이스 레이어는 상위 시퀀스의 원래의 또는 베이스 레이어를 예측적으로 엔코딩하는 데 사용될 수 있다.However, since each sequence encodes the same video signal source, there is redundant information (redundancy) between the sequences. Therefore, in order to increase the coding efficiency of each sequence, as shown in FIG. 1, an inter-sequence prediction operation on an image frame of a higher sequence from an arbitrary image frame of a lower sequence and the same sequence. This reduces the amount of coded information of the higher sequence. That is, the original or base layer of the lower sequence can be used to predictively encode the original or base layer of the higher sequence.

한편, 도 2에 도시된 엔코딩 장치의 각 시퀀스의 엔코딩부(20k, k=1 에서 3)는 모션추정 및 예측동작에 의해 엔코딩된 데이터에 대해 변환코딩, 예를 들어 DCT와 양자화(quantization)과정을 수행한다. 양자화결과의 엔코딩된 시퀀스는 베이스 또는 원래의 레이어라 호칭한다. 상기 양자화과정은 원래의 또는 베이스 레이어의 정보의 손실을 초래한다. 따라서, 각 시퀀스의 엔코딩부(20k)는 역양자화(201k)와 역변환(202k)을 수행하여 DCT와 양자화이전의 시퀀스로 재구성한다. 그리고 DCT와 양자화이전의 실제 시퀀스와 상기 재구성된 시퀀스간의 차이를 구한다. 이 차이는 상기 DCT와 양자화 과정동안의 데이터 손실을 나타낸다. 이 차이는 다시 DCT와 양자화와 같은 방법으로 변형 또는 코딩되어 레지듀얼(residual) 시퀀스 레 이어 데이터 또는 SNR 인핸스먼트(enhancement) 레이어 데이터로 만들어진다. 상기 레지듀얼 시퀀스 레이어 데이터는 더 상위레벨의 SNR 인핸스먼트 레이어 데이터를 만들기 위해 동일한 과정을 겪을 수 있으며, 더 상위 레벨의 SNR 인핸스먼트 레이어 데이터도 또한 그 보다 더 높은 레벨의 레지듀얼 시퀀스 레이어 데이터를 만들기 위해 동일한 과정을 겪을 수 있다. 설명의 단순화를 위해, 다양한 레벨의 SNR 인핸스먼트 데이터는 집합적으로 SNR 인핸스먼트 레이어 데이터 또는 레지듀얼 시퀀스 레이어 데이터로 호칭될 것이다. SNR 인핸스먼트 레이어의 데이터를 제공함으로써 SNR 인핸스먼트 레이어의 데이터의 디코딩 레벨을 증가시킴에 따라 화질이 점진적으로 좋아질 수 있게 하는 데, 이를 FGS(Fine Grained Scalability)라 한다. 즉, 관련된 베이스 레이어에 더 많은 레벨의 레지듀얼 시퀀스 레이어 데이터가 디코딩되고 추가될수록 결과 영상의 품질은 향상된다. SNR 인핸스먼트 레이어 데이터의 레벨의 수가 제어가능하고 선택가능하므로 이러한 품질에서의 FGS 개선은 스케일러블(scalable)하다. 따라서 그 명칭을 Fine Grained Scalability라 한다.On the other hand, also the encoding of the respective sequence of the encoding apparatus shown in Fig. 2 (20 k, k = 1 to 3) is a DCT and quantization for transformation coding, for example, for the data encoded by motion estimation and prediction operations (quantization) Perform the process. The encoded sequence of the quantization result is called the base or original layer. The quantization process results in loss of information of the original or base layer. Therefore, the encoding portion (20 k) of each sequence performs inverse quantization (201 k) and the inverse transformation (202 k) to be reconstructed to its original DCT and quantization sequence. The difference between the actual sequence before DCT and quantization and the reconstructed sequence is obtained. This difference represents the data loss during the DCT and quantization process. This difference is then transformed or coded in the same way as DCT and quantization to create residual sequence layer data or SNR enhancement layer data. The residual sequence layer data may undergo the same process to produce higher level SNR enhancement layer data, and the higher level SNR enhancement layer data may also produce higher level residual sequence layer data. May undergo the same process. For simplicity of explanation, the various levels of SNR enhancement data will be collectively referred to as SNR enhancement layer data or residual sequence layer data. By providing data of the SNR enhancement layer, the image quality may be gradually improved as the decoding level of the data of the SNR enhancement layer is increased. This is called fine grained scalability (GFS). That is, the quality of the resultant image is improved as more levels of residual sequence layer data are decoded and added to the associated base layer. FGS improvement in this quality is scalable because the number of levels of SNR enhancement layer data is controllable and selectable. Therefore, the name is called Fine Grained Scalability.

그런데, 도 1과 같이 엔코딩된 각 시퀀스는 모두 디코딩 장치에 전송되는 것이 아니고, 추출기(22)에 의해 현재 디코딩 장치가 요구한 시퀀스의 유형과 전송채널의 대역폭에 의존하여 선택된 스트림이 전송된다. 예를 들어, 현재 디코딩장치가 CIF 시퀀스를 요청하고 전송채널이 대역폭이 허용되는 경우에는 도 3에 도시된 바와 같이 QCIF의 SNR 베이스 레이어와 SNR 인핸스먼트 레이어, 그리고 CIF의 SNR 베이스 레이어와 SNR 인핸스먼트 레이어의 데이터를 저장수단(21)에서 순서대로 소정크기 단위로 추출(301,302,303,304)하여 전송하게 된다. 즉, 매 스트림 전송 세 그멘트(310)마다 각 시퀀스의 베이스 레이어들을 먼저 다 전송한 후 각 시퀀스의 인핸스먼트 레이어들을 전송하는데, 각 레이어 내에서는 낮은 전송레이트를 갖는 시퀀스의 순서로 전송하게 된다. 상기와 같은 전송도중 전송채널의 대역폭이 감소하게 되면, 상기 추출기(22)는 전송가능한 비트 스트림까지만 전송하게 되고, 이로써 각 전송 세그멘트(310)에서 후단의 비트 스트림부터 전송하지 않는 결과가 된다. 즉, 도 3의 예에서, CIF 시퀀스의 SNR 인핸스먼트 레이어의 고정밀 에러 보상 데이터 부분, 즉 에러 보상 데이터의 LSB 부터 전송하지 않게 된다.However, not all sequences encoded as shown in FIG. 1 are transmitted to the decoding apparatus, but the selected stream is transmitted by the extractor 22 depending on the type of the sequence currently requested by the decoding apparatus and the bandwidth of the transport channel. For example, when the current decoding apparatus requests a CIF sequence and the transport channel allows bandwidth, as shown in FIG. 3, the SNR base layer and the SNR enhancement layer of the QCIF, and the SNR base layer and the SNR enhancement of the CIF are shown. The data of the layer is extracted (301, 302, 303, 304) by the predetermined size unit in order from the storage means 21 and transmitted. That is, the base layers of each sequence are transmitted first for each stream transmission segment 310, and then enhancement layers of each sequence are transmitted. In each layer, the enhancement layers are transmitted in the order of a sequence having a low transmission rate. When the bandwidth of the transmission channel is reduced during the transmission, the extractor 22 transmits only the transmittable bit stream, which results in not transmitting from the bit stream of the next stage in each transmission segment 310. That is, in the example of FIG. 3, the high precision error compensation data portion of the SNR enhancement layer of the CIF sequence, that is, the LSB of the error compensation data is not transmitted.

그런데, 낮은 전송레이트를 갖는 시퀀스부터 차례대로 전송하는 상기의 방법은, 디코딩 장치가 사용하지 않는 불필요한 데이터를 전송함으로써 전송채널을 점유하는 경우가 생긴다. 예를 들어, 도 3의 경우에, 디코딩장치가 CIF 시퀀스만 디코딩하여 사용자에게 영상을 보여주는 경우에는, QCIF의 SNR 베이스 레이어의 데이터는 CIF의 SNR 베이스 레이어의 프레임에 대한 예측동작을 위해 사용되지만 SNR 인핸스먼트 레이어의 데이터는 사용되지 않음에도 불구하고 전송된다.However, in the above method of sequentially transmitting from a sequence having a low transmission rate, a transmission channel may be occupied by transmitting unnecessary data not used by the decoding apparatus. For example, in the case of FIG. 3, when the decoding apparatus decodes only the CIF sequence and shows an image to the user, the data of the SNR base layer of the QCIF is used for the prediction operation on the frame of the SNR base layer of the CIF, but the SNR is used. Although the data of the enhancement layer is not used, it is transmitted.

더욱이, 전송채널의 대역폭이 감소하는 경우에는 실제 화질 개선에 아무런 영향을 주지 않는 QCIF의 SNR 인핸스먼트 레이어의 데이터는 모두 전송되는 반면, 화질 개선에 직접적 영향을 미치는 CIF 시퀀스의 인핸스먼트 레이어의 데이터 전송량은 감소하게 된다.Furthermore, when the bandwidth of the transport channel is reduced, all data of the SNR enhancement layer of QCIF, which does not affect the actual image quality improvement, is transmitted, while the data transmission amount of the enhancement layer of the CIF sequence directly affects the image quality improvement. Will decrease.

본 발명은 영상 신호를 엔코딩하고, 전송하고 그리고 디코딩하는 방법과 장치에 관한 것이다.The present invention relates to a method and apparatus for encoding, transmitting and decoding video signals.

영상신호를 디코딩하는 방법의 일 실시예에서는, 영상신호내의 지시자가 레이어간 예측코딩을 지시하고 있으면, 제 1픽처 시퀀스 레이어내의 픽처의 적어도 일부분이 제 2픽처 시퀀스 레이어에 근거하여 디코딩된다.In an embodiment of the method of decoding a video signal, if an indicator in the video signal indicates inter-layer prediction coding, at least a portion of the picture in the first picture sequence layer is decoded based on the second picture sequence layer.

예를 들어, 상기 제 2픽처 시퀀스 레이어는 상기 제 1픽처 시퀀스 레이어보다 낮은 프레임 레이트(frame rate)를 가질 수 있고, 상기 제 1픽처 시퀀스 레이어의 비트 레이트보다 낮은 비트 레이트를 가질 수 있으며, 상기 제 1픽처 시퀀스 레이어보다 낮은 픽처 해상도(resolution)를 가질 수 있고, 그리고/또는 상기 제 1픽처 시퀀스보다 작은 픽처 크기를 가질 수 있다.For example, the second picture sequence layer may have a lower frame rate than the first picture sequence layer, and may have a bit rate lower than that of the first picture sequence layer. It may have a picture resolution lower than one picture sequence layer, and / or may have a picture size smaller than the first picture sequence.

일 실시예에서는, 상기 제 1픽처 시퀀스내의 상기 픽처는, 상기 제 1픽처 시퀀스 레이어를 위한 베이스 레벨의 품질을 갖는 베이스 픽처이다. 여기서, 디코딩 단계는, 상기 베이스 픽처와 연관된 인핸스먼트 레이어 픽처 정보를 사용하여 디코딩된 베이스 픽처의 품질 레벨을 향상시키는 과정을 포함할 수 있다.In one embodiment, the picture in the first picture sequence is a base picture having a base level quality for the first picture sequence layer. Here, the decoding may include improving a quality level of the decoded base picture using enhancement layer picture information associated with the base picture.

다른 일 실시예에서는, 0보다 큰 상기 지시자의 값은 상기 베이스 픽처의 레이어간 예측 코딩을 지시한다.In another embodiment, a value of the indicator greater than 0 indicates inter-layer prediction coding of the base picture.

영상신호를 디코딩하는 방법의 또 다른 일 실시예에서는, 제 1픽처 시퀀스 레이어의 적어도 일 부분은, 상기 영상신호내의 지시자가 나타내는 품질 레벨에 따라, 제 2픽처 시퀀스 레이어내의 제 2픽처 시퀀스 레이어 베이스 픽처의 적어도 일 부분과, 상기 제 2픽처 시퀀스 레이어 베이스 픽처와 연관된 인핸스먼트 레이어 픽처 정보에 근거하여 디코딩된다. 상기 제 2픽처 시퀀스 레이어 베이스 픽처는 상기 제 2픽처 시퀀스 레이어를 위한 베이스 레벨의 품질을 가지며, 상기 제 2픽처 시퀀스 레이어 베이스 픽처와 연관된 상기 인핸스먼트 레이어 픽처 정보는 상기 제 2픽처 시퀀스 레이어 베이스 픽처의 품질 레벨을 향상시키기 위한 정보를 제공한다.In another embodiment of the method of decoding a video signal, at least a portion of the first picture sequence layer is based on the quality level indicated by the indicator in the video signal, and according to the quality level indicated by the indicator in the video signal layer, the second picture sequence layer base picture in the second picture sequence layer. And is decoded based on at least a portion of and enhancement layer picture information associated with the second picture sequence layer base picture. The second picture sequence layer base picture has a base level quality for the second picture sequence layer, and the enhancement layer picture information associated with the second picture sequence layer base picture is the same as that of the second picture sequence layer base picture. Provides information to improve the quality level.

예를 들어, 상기 제 2픽처 시퀀스 레이어 베이스 픽처는, 향상된 픽처를 만들도록 지시하고 있는 지시자가 나타내는 품질 레벨에 따라 상기 인핸스먼트 레이어 픽처 정보에 근거하여 디코딩될 수 있고, 상기 제 1픽처 시퀀스 레이어내의 상기 픽처의 상기 부분은 상기 향상된 픽처에 근거하여 디코딩될 수 있다.For example, the second picture sequence layer base picture may be decoded based on the enhancement layer picture information according to a quality level indicated by an indicator instructing to create an enhanced picture, and may be decoded in the first picture sequence layer. The portion of the picture may be decoded based on the enhanced picture.

영상신호를 디코딩하기 위한 장치의 일 실시예에 따라, 디코더는 상기 영상신호내의 지시자가 레이어간 예측 코딩을 지시하고 있으면 제 2픽처 시퀀스 레이어에 근거하여 제 1픽처 시퀀스 레이어내의 픽처의 적어도 일 부분을 디코딩한다.According to an embodiment of the apparatus for decoding a video signal, the decoder may determine at least a portion of a picture in the first picture sequence layer based on the second picture sequence layer if the indicator in the video signal indicates inter-layer prediction coding. Decode

영상신호를 엔코딩하는 방법의 일 실시예에 따라, 제 1픽처 시퀀스 레이어내의 픽처의 적어도 일 부분은 제 2픽처 시퀀스 레이어에 근거하여 엔코딩되고, 상기 영상신호내의 지시자는 상기 제 1픽처 시퀀스 레이어내의 상기 픽처의 레이어간 예측 코딩을 지시하는 것으로 설정된다.According to an embodiment of a method of encoding a video signal, at least a portion of a picture in a first picture sequence layer is encoded based on a second picture sequence layer, and an indicator in the video signal is displayed in the first picture sequence layer. It is set to indicate inter-layer prediction coding of the picture.

영상신호를 엔코딩하기 위한 장치의 일 실시예에서는, 엔코더는, 제 2픽처 시퀀스 레이어에 근거하여 제 1픽처 시퀀스 레이어내의 픽처의 적어도 일 부분을 엔코딩하고, 상기 영상신호내의 지시자를 상기 픽처 시퀀스 레이어내의 상기 픽처의 레이어간 예측 코딩을 지시하는 것으로 설정한다.In an embodiment of the apparatus for encoding a video signal, the encoder encodes at least a portion of a picture in the first picture sequence layer based on a second picture sequence layer, and an indicator in the video signal in the picture sequence layer. It is set to indicate inter-layer prediction coding of the picture.

본 발명의 다른 실시예에서는, 영상신호를 나타내는 비트 스트림은, 제 2픽처 시퀀스 레이어에 근거하여 엔코딩된 제 1픽처 시퀀스 레이어내의 픽처의 적어도 일 부분을 나타내는 제 1 스트림 부분을 포함하고, 상기 제 1픽처 시퀀스 레이어내의 상기 픽처의 레이어간 예측 코딩을 지시하는 지시자를 포함한다. In another embodiment of the present invention, a bit stream representing a video signal includes a first stream portion representing at least a portion of a picture in a first picture sequence layer encoded based on a second picture sequence layer, wherein the first stream portion represents a first stream portion. And an indicator indicating inter-layer prediction coding of the picture in a picture sequence layer.

도 1은 영상신호에 대해 시퀀스간 예측동작을 사용하여 각기 다른 화면크기 및/또는 프레임 레이트를 갖는 시퀀스로 엔코딩된 예를 도시한 것이고,1 illustrates an example of encoding an image signal into a sequence having different screen sizes and / or frame rates by using an intersequence prediction operation.

도 2는 도 1과 같이 영상신호를 엔코딩하여 전송하는 엔코딩 장치의 구성을 도시한 것이고,FIG. 2 illustrates a configuration of an encoding apparatus for encoding and transmitting a video signal as shown in FIG. 1.

도 3은 CIF 시퀀스가 디코더에서 요청되었을 때 도 2의 엔코딩 장치가 데이터를 추출하여 전송하는 포맷을 예시한 것이고,3 illustrates a format in which the encoding apparatus of FIG. 2 extracts and transmits data when a CIF sequence is requested from a decoder.

도 4는, 본 발명의 일 실시예에 따라, 영상신호에 대해 시퀀스간 예측동작을 사용하여 각기 다른 화면크기 및/또는 프레임 레이트를 갖는 시퀀스로 엔코딩하는 장치의 구성을 도시한 것이고,4 illustrates a configuration of an apparatus for encoding a video signal into a sequence having different screen sizes and / or frame rates by using an intersequence prediction operation on a video signal.

도 5는, 도 4의 장치에 의해 엔코딩된 각 시퀀스와 본 발명의 일 실시예에 따라 해당 시퀀스에서 데이터가 추출되어 전송되는 포맷을 예시한 것이고,FIG. 5 illustrates each sequence encoded by the apparatus of FIG. 4 and a format in which data is extracted and transmitted from the sequence according to an embodiment of the present invention.

도 6은 본 발명의 다른 일 실시예에 따라 엔코딩된 시퀀스에서 데이터가 추출되어 전송되는 포맷을 예시한 것이고,6 illustrates a format in which data is extracted and transmitted from an encoded sequence according to another embodiment of the present invention.

도 7은 도 4의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 구성도이다.7 is a block diagram of an apparatus for decoding a data stream encoded by the apparatus of FIG. 4.

이하, 본 발명의 실시예들에 대해 첨부도면을 참조하여 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 4는 본 발명에 따른 엔코딩 및 전송 방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이다.4 is a block diagram of a video signal encoding apparatus to which an encoding and transmission method according to the present invention is applied.

도 4의 영상신호 엔코딩 장치는, 도 2의 장치와 구성은 동일하나, 각 시퀀스의 엔코딩부(40k)의 기능과 추출기(42)의 기능이 상이한 데, 이에 대해 상세히 설명한다.The video signal encoding unit 4, the configuration of the device and Fig. 2 will be described in detail for it the same one, having the function of the function and the extractor 42 of the encoding unit (40 k) for each different sequence.

픽처 또는 표시 크기( 예를 들어, 상이한 해상도 ) 및/또는 프레임 레이트가 상이한 각 픽처 시퀀스의 하위 엔코딩부(402,403)는 해당 상위 시퀀스의 엔코딩부(401,402)에 SNR 베이스 레이어( 또는 레지듀얼 시퀀스 레이어 )의 데이터외에 SNR 인핸스먼트 레이어의 데이터도 함께 제공하고, 상위 시퀀스의 엔코딩부(401,402)는 자신의 시퀀스에 해당하는 영상 프레임에 대한 시퀀스간(inter-sequence) 예측동작을 수행할 때, 도 5에 예시된 바와 같이, 하위 시퀀스의 SNR 베이스와 연관된 SNR 인핸스먼트 레이어의 데이터를 함께 사용하여 복원된(reconstructed) 영상 프레임을 이용한다(S500). 이 때, SNR 인핸스먼트 레이어의 데이터의 어디까지, 즉 각 데이터의 어떤 레벨까지 영상 복원에 사용할 것인지는 적당한 조건, 예를 들어 제공할 화질 및 기 확보된 전송채널의 용량 등에 따라 결정되어 각 엔코딩부(40k)에 설정되며, 상기 레벨은 필드 또는 플래그 'prediction_SNR_level'를 엔코딩된 SNR 베이스 레이어의 데이터 스트림의 헤더, 예를 들어 슬라이스 또는 픽처 헤더에 기록삽입함으로써 디코더에 전달된다. 상기 'prediction_SNR_level'의 값이 상기 레벨의 값을 지시한다.The lower encoding portions 40 2 , 40 3 of each picture sequence having a different picture or display size (eg, different resolution) and / or frame rate have an SNR base in the encoding portions 40 1 , 40 2 of the corresponding higher sequence. In addition to the data of the layer (or the residual sequence layer), the data of the SNR enhancement layer is also provided, and the encoding units 40 1 and 40 2 of the higher sequence are inter-sequenced for the video frame corresponding to their own sequence. When performing the prediction operation, as illustrated in FIG. 5, a reconstructed image frame is used using data of an SNR enhancement layer associated with an SNR base of a lower sequence together (S500). At this time, to what extent of the data of the SNR enhancement layer, that is, what level of each data is used for image reconstruction is determined according to suitable conditions, for example, the image quality to be provided and the capacity of a reserved transmission channel, and the like. 40 k ), the level is delivered to the decoder by writing and inserting the field or flag 'prediction_SNR_level' into the header of the data stream of the encoded SNR base layer, for example a slice or picture header. The value of 'prediction_SNR_level' indicates the value of the level.

또한, 상기 prediction_SNR_level은 도 4의 엔코딩 장치의 추출기(42)에도 설정되는 데, 상기 추출기(42)는 저장수단(41)에 저장되어 있는 엔코딩된 각 데이터 스트림(501)에 대해서 현재 디코딩 장치가 요구한 픽처 시퀀스를 위한 데이터를 추출하여 전송하게 된다. 도 5는, 디코딩 장치가 CIF 시퀀스를 요구하고 전송채널이 필요한 대역폭을 허용하는 경우에, 전송 되는 매 스트림 전송 세그멘트(502)의 데이터 배치구조를 보여주고 있다.In addition, the prediction_SNR_level is also set in the extractor 42 of the encoding apparatus of FIG. 4, which extractor 42 requests the current decoding apparatus for each encoded data stream 501 stored in the storage means 41. Data for one picture sequence is extracted and transmitted. Fig. 5 shows the data arrangement of every stream transmission segment 502 that is transmitted when the decoding device requires a CIF sequence and the transport channel allows the required bandwidth.

상기 추출기(42)는 CIF 시퀀스를 전송함에 있어서, 그 하위의 QCIF의 SNR 베이스 레이어의 데이터(aa)를 먼저 배치하고 그 다음에 QCIF의 SNR 인핸스먼트 레이어의 데이터를 배치하는데, 이 때, 설정된 prediction_SNR_level까지의 데이터(ab 부터 af)만 배치한다. 그 다음 상기 추출기(42)는 CIF 시퀀스의 SNR 베이스 레이어의 데이터(ba)와 SNR 인핸스먼트 레이어 데이터 중 prediction_SNR_level까지의 데이터(bb 부터 bf)까지 배치한다. 마지막으로 QCIF의 SNR 인핸스먼트 레이어의 잔여 데이터(ag,ah)를 배치하고, CIF의 SNR 인핸스먼트 레이어의 잔여 데이터(bg,bh)를 배치하여 전송한다.In extracting the CIF sequence, the extractor 42 first places data (aa) of the SNR base layer of the lower QCIF and then data of the SNR enhancement layer of the QCIF, wherein the set prediction_SNR_level is set. Only data from (ab to af) is placed. The extractor 42 then arranges data ba of the SNR base layer of the CIF sequence and data up to prediction_SNR_level of the SNR enhancement layer data (bb to bf). Finally, the residual data (ag, ah) of the SNR enhancement layer of the QCIF is arranged, and the residual data (bg, bh) of the SNR enhancement layer of the CIF is arranged and transmitted.

QCIF의 잔여 SNR 인핸스먼트 레이어의 데이터(ag,ah)는 CIF 시퀀스의 영상을 프리젠테이션함에 있어서 사용되지는 않으나, 사용자가 전송된 데이터를 저장한 후 휴대폰 등과 같이 디코딩 능력이 낮은 장치를 이용해 QCIF 시퀀스를 시청할 수도 있으므로, 전송채널의 대역폭이 허용하는 경우 예측동작에 이용되지 않은 QCIF의 SNR 인핸스먼트 레이어의 데이터(ag,ah)를 배치하여 전송하게 된다.The data (ag, ah) of the remaining SNR enhancement layer of the QCIF is not used in presenting the image of the CIF sequence, but after the user stores the transmitted data, the QCIF sequence is performed using a device having a low decoding capability such as a mobile phone. Since the transmission channel bandwidth allows, the data (ag, ah) of the SNR enhancement layer of the QCIF not used for the prediction operation is arranged and transmitted.

또는, CIF의 SNR 인핸스먼트 레이어의 잔여 데이터(bg,bh)를 CIF의 SNR 인 핸스먼트 레이어 데이터 중 prediction_SNR_level까지의 데이터(bb 부터 bf) 이후에 배치하고, QCIF의 SNR 인핸스먼트 레이어의 데이터(ag,ah)를 마지막에 배치하여 전송할 수도 있다.Alternatively, the residual data (bg, bh) of the SNR enhancement layer of the CIF is disposed after data (bb to bf) up to prediction_SNR_level of the SNR enhancement layer data of the CIF, and the data of the SNR enhancement layer of the QCIF (ag). You can also send, ah) at the end.

도 5에서와 같이 전송하게 되면, 전송채널의 특성이 나빠져 전송 레이트가 낮아지더라도 현재 디코딩되는 영상의 화질에 전혀 영향을 전혀 주지 않는 QCIF의 SNR 인핸스먼트 레이어의 데이터부터 전송되지 않게 되고 더 나빠지면 영상의 SNR을 미세하게 높이는 부분부터 시작하여 크게 개선하는 부분으로 차례대로 데이터가 전송되지 않게 된다. 즉, 종래의 전송방법에 비해 디코딩 영상의 화질이 채널의 영향에 둔감(robustness)해 진다.When transmitting as shown in FIG. 5, even if the transmission channel is deteriorated and the transmission rate is lowered, it is not transmitted from the data of the SNR enhancement layer of QCIF, which does not affect the quality of the currently decoded image at all. Starting from the minute increase of the SNR, the data is not transmitted one by one. That is, compared to the conventional transmission method, the image quality of the decoded image is less robust to the influence of the channel.

만약, prediction_SNR_level을 0으로 설정하면, SNR 인핸스먼트 레이어의 데이터는 상위 시퀀스 프레임에 대한 예측동작에 사용되지 않는다. 이 때에는 하위 시퀀스의 SNR 인핸스먼트 레이어의 데이터는 전송하지 않는다. 따라서, 상기 prediction_SNR_level의 비제로(non-zero) 값은 레이어간 예측이 있었음을 지시하고 0의 값은 레이어간 예측이 없었음을 지시한다. 전송채널의 대역폭이 여유가 있어서 전송하는 경우에도, 현재 선택된 시퀀스의 SNR 인핸스먼트 레이어의 데이터가 전송 세그멘트에서 먼저 배치되고, 그 다음으로 하위 시퀀스의 SNR 인핸스먼트 레이어의 데이터가 배치되어 전송된다.If prediction_SNR_level is set to 0, the data of the SNR enhancement layer is not used for the prediction operation for the higher sequence frame. In this case, data of the SNR enhancement layer of the lower sequence is not transmitted. Accordingly, a non-zero value of prediction_SNR_level indicates that there was inter-layer prediction and a value of 0 indicates that there was no inter-layer prediction. Even when the transmission channel has a sufficient bandwidth, the data of the SNR enhancement layer of the currently selected sequence is first disposed in the transmission segment, and then the data of the SNR enhancement layer of the lower sequence is disposed and transmitted.

도 6은 이에 대한 예시로서, CIF의 시퀀스가 선택된 경우, QCIF의 SNR 인핸스먼트 레이어의 데이터는 전송되지 않거나 전송되더라도 마지막에 배치(601)되어 전송된다.6 shows an example of this, when the sequence of the CIF is selected, the data of the SNR enhancement layer of the QCIF is arranged 601 at the end even though it is not transmitted or transmitted.

도 7은 도 2의 장치에 의해 엔코딩되어 전송된 데이터 스트림을 디코딩하는 장치의 일 실시예의 블록도이다. 도 7의 디코딩 장치는, 복수의 시퀀스를 수신하여 상위 시퀀스를 영상신호로 디코딩출력하기 위한 것으로서, 수신되는 데이터 스트림에서 주 시퀀스와 서브 시퀀스의 데이터 스트림으로 분리하는 디먹서(70), 분리된 주 시퀀스, 예를 들어 CIF 시퀀스의 데이터 스트림을 MCTF 방식에 따라 원래의 영상신호로 역변환하는 주 디코더(71), 그리고 분리된 서브 시퀀스, 예를 들어 QCIF 시퀀스의 데이터 스트림을 정해진 방식, 예를 들어 MPEG4 또는 H.264방식에 의해 디코딩하는 서브 디코더(72)를 포함하여 구성된다. 7 is a block diagram of one embodiment of an apparatus for decoding a data stream encoded and transmitted by the apparatus of FIG. The decoding apparatus of FIG. 7 is for receiving a plurality of sequences and decoding and outputting an upper sequence into a video signal, and includes a demux 70 for separating a main sequence and a subsequence data stream from a received data stream and a separated main stream. A main decoder 71 for inversely converting a data stream of a sequence, for example, a CIF sequence, into an original video signal according to the MCTF scheme, and a data stream of a separated subsequence, for example, a QCIF sequence, for example MPEG4. Or a sub decoder 72 for decoding by the H.264 method.

상기 주 디코더(71)는 입력되는 데이터 스트림의 헤더 정보에서 앞서 언급한 prediction_SNR_level을 확인하여 그 값을 상기 서브 시퀀스(72)에 통지한다. 만약, 각 시퀀스에 모두 prediction_SNR_level이 기록되어 전송되는 실시예의 경우에는 디코더간에 prediction_SNR_level의 값을 통지할 필요가 없다. The main decoder 71 checks the aforementioned prediction_SNR_level in the header information of the input data stream and notifies the subsequence 72 of the value. In the embodiment in which prediction_SNR_level is recorded and transmitted in each sequence, it is not necessary to notify the value of prediction_SNR_level between decoders.

상기 서브 디코더(72)는 수신되는 서브 시퀀스의 데이터 스트림을 디코딩할 때, SNR 베이스 레이어의 데이터를 디코딩한 후, 수신된 스트림에 함께 포함되어 있는 SNR 인핸스먼트 레이어의 데이터에서, 상기 통지된 prediction_SNR_level까지의 데이터를 사용하여 디코딩된 영상의 화질을 높인 프레임을 상기 주 디코더(71)에 제공한다. When decoding the data stream of the received subsequence, the sub decoder 72 decodes the data of the SNR base layer, and then, from the data of the SNR enhancement layer included in the received stream, up to the notified prediction_SNR_level. The main decoder 71 is provided with a frame having the improved image quality of the decoded image using the data of.

상기 주 디코더(71)는, 수신된 주 시퀀스에서, 서브 시퀀스의 프레임이 예측 이미지로 사용된 프레임에 대해서, 상기 서브 디코더(72)로부터 제공되는 프레임, 필요한 경우에는 그 프레임을 스케일링한 프레임으로부터 예측된 이미지에 근 거해서 원 영상신호로 복원하여 출력하게 된다.The main decoder 71 predicts, in the received main sequence, a frame provided from the sub decoder 72 for a frame in which a frame of the subsequence is used as a predictive image, if necessary, from a frame that scales the frame. Based on the captured image, the original image signal is restored and output.

전술한 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.The above-described decoding apparatus may be mounted in a mobile communication terminal or the like or in an apparatus for reproducing a recording medium.

상술한 바와 같이, 에러 보상 데이터( 예를 들어, SNR 인핸스먼트 레이어 데이터 또는 레지듀얼 시퀀스 레이어 데이터 )를 함께 사용하여 복원된 영상 프레임을 시퀀스간 예측에 사용함으로써 코딩량 대비 화질을 향상시키게 되고, 또한 본 장치와 방법은, 현재 디코딩되어야 하는 시퀀스의 영상화질에 영향을 크게 미치는 엔코딩 데이터부터 순차적으로 배치하여 전송 함으로써, 채널의 용량변화에 화질의 영향이 보다 덜 받을 수 있게 하고, 또한 전송률을 낮추어서 전송채널을 보다 효율적으로 할당하여 사용할 수 있게 하는 효과가 있다.As described above, an image frame reconstructed using error compensation data (for example, SNR enhancement layer data or residual sequence layer data) is used for inter-sequence prediction, thereby improving image quality compared to coding amount. The present apparatus and method sequentially arranges and transmits encoded data that greatly affects the image quality of a sequence to be decoded at present, so that the image quality is less affected by the capacity change of the channel, and the transmission rate is lowered. There is an effect that the channel can be allocated and used more efficiently.

본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다. It is to be understood that the present invention is not limited to the above-described exemplary preferred embodiments, but may be embodied in various ways without departing from the spirit and scope of the present invention. If you grow up, you can easily understand. If the implementation by such improvement, change, replacement or addition falls within the scope of the appended claims, the technical idea should also be regarded as belonging to the present invention.

Claims (34)

비디오 신호를 수신하는 단계;Receiving a video signal; 상기 비디오 신호로부터 시퀀스간 예측을 위하여 일부의 제 2 픽처 시퀀스를 이용하는지를 나타내는 레벨 정보를 획득하는 단계;Obtaining level information from the video signal indicating whether a portion of the second picture sequence is used for intersequence prediction; 상기 레벨 정보에 기초하여 상기 일부의 제 2 픽처 시퀀스를 디코딩하는 단계; 및Decoding the partial second picture sequence based on the level information; And 상기 일부의 제 2 픽처 시퀀스를 기초로 하여 제 1 픽처 시퀀스의 SNR 베이스 레이어를 디코딩하는 단계를 포함하고,Decoding an SNR base layer of a first picture sequence based on the second portion of the second picture sequence, 상기 일부의 제 2 픽처 시퀀스는 상기 제 2 픽처 시퀀스의 SNR 베이스 레이어를 포함하고, 상기 제 1 픽처 시퀀스의 SNR 베이스 레이어는 제 1 픽처 시퀀스에 포함되는 것을 특징으로 하는 비디오 신호 디코딩 방법.Wherein the portion of the second picture sequence comprises an SNR base layer of the second picture sequence, and wherein the SNR base layer of the first picture sequence is included in the first picture sequence. 제 1항에 있어서,The method of claim 1, 상기 제 2 픽처 시퀀스는 제 2 픽처 시퀀스의 SNR 인핸스먼트 레이어 및 상기 제 2 픽처 시퀀스의 SNR 베이스 레이어를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.And the second picture sequence comprises an SNR enhancement layer of a second picture sequence and an SNR base layer of the second picture sequence. 제 1항에 있어서,The method of claim 1, 상기 제 2 픽처 시퀀스의 SNR 베이스 레이어는 제 2 픽처 시퀀스에서 가장 낮은 SNR 레벨인 레이어인 것을 특징으로 하는 비디오 신호 디코딩 방법.And the SNR base layer of the second picture sequence is a layer having the lowest SNR level in the second picture sequence. 제 2 항에 있어서,The method of claim 2, 상기 제 2 픽처 시퀀스의 SNR 인핸스먼트 레이어는 상기 제 2 픽처 시퀀스의 SNR 베이스 레이어보다 높은 SNR 퀄리티를 갖는 것을 특징으로 하는 비디오 신호 디코딩 방법.And the SNR enhancement layer of the second picture sequence has a higher SNR quality than the SNR base layer of the second picture sequence. 제 1항에 있어서,The method of claim 1, 상기 제 2 픽처 시퀀스는 상기 제 2 픽처 시퀀스의 SNR 베이스 레이어인 것을 특징으로 하는 비디오 신호 디코딩 방법.And the second picture sequence is an SNR base layer of the second picture sequence. 제 1항에 있어서,The method of claim 1, 상기 레벨 정보는 비트스트림에서의 상기 제 2 픽처 시퀀스의 배열을 결정하는 것을 특징으로 하는 비디오 신호 디코딩 방법.And said level information determines the arrangement of said second picture sequence in a bitstream. 제 6항에 있어서,The method of claim 6, 상기 레벨 정보가 나타내는 상기 제 2 픽처 시퀀스는 상기 비트스트림에서 상기 제 1 픽처 시퀀스의 SNR 베이스 레이어보다 앞서 배치되는 것을 특징으로 하는 비디오 신호 디코딩 방법.And the second picture sequence indicated by the level information is disposed ahead of the SNR base layer of the first picture sequence in the bitstream. 제 1 항에 있어서,The method of claim 1, 상기 제 1 픽처 시퀀스의 SNR 베이스 레이어는 상기 제 1 픽처 시퀀스에서 가장 낮은 SNR 레벨의 레이어인 것을 특징으로 하는 비디오 신호 디코딩 방법.And the SNR base layer of the first picture sequence is a layer of the lowest SNR level in the first picture sequence. 제 1 항에 있어서,The method of claim 1, 상기 제 2 픽처 시퀀스는 상기 제 1 픽처 시퀀스보다 낮은 해상도를 갖는 것을 특징으로 하는 비디오 신호 디코딩 방법.And the second picture sequence has a lower resolution than the first picture sequence. 제 1항에 있어서,The method of claim 1, 상기 제 2 픽처 시퀀스의 비트율은 상기 제 1 픽처 시퀀스를 나타내는 비트율보다 낮은 비트율인 것을 특징으로 하는 비디오 신호 디코딩 방법.And a bit rate of the second picture sequence is lower than a bit rate representing the first picture sequence. 제 1항에 있어서,The method of claim 1, 상기 제 2 픽처 시퀀스의 프레임 크기는 상기 제 1 픽처 시퀀스의 프레임 크기보다 작은 것을 특징으로 하는 비디오 신호 디코딩 방법.The frame size of the second picture sequence is smaller than the frame size of the first picture sequence. 제 1항에 있어서,The method of claim 1, 상기 비디오 신호는 방송 신호로부터 수신된 것을 특징으로 하는 비디오 신호 디코딩 방법.And the video signal is received from a broadcast signal. 제 1항에 있어서,The method of claim 1, 상기 비디오 신호는 디지털 매체로부터 수신된 것을 특징으로 하는 비디오 신호 디코딩 방법.And the video signal is received from a digital medium. 제 1 항에 기재된 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for performing the method of claim 1. 수신된 데이터 스트림에서 제 1 픽처 시퀀스 및 제 2 픽처 시퀀스의 데이터 스트림을 분리하는 디먹서;A demux for separating the data streams of the first picture sequence and the second picture sequence from the received data stream; 상기 데이터 스트림의 헤더로부터 획득한 레벨 정보를 기초로 하여 일부의 제 2 픽처 시퀀스를 디코딩하는 서브 디코더; 및A sub decoder which decodes a part of a second picture sequence based on level information obtained from a header of the data stream; And 상기 디코딩된 일부의 제 2 픽처 시퀀스를 이용하여 상기 제 1 픽처 시퀀스의 SNR 베이스 레이어를 디코딩하는 주 디코더를 포함하며,A main decoder for decoding the SNR base layer of the first picture sequence using the decoded partial second picture sequence, 상기 데이터 스트림의 헤더는 시퀀스간 예측을 위하여 일부의 제 2 픽처 시퀀스가 이용되는지 여부를 나타내는 레벨 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.And the header of the data stream includes level information indicating whether some second picture sequence is used for intersequence prediction. 비디오 신호를 SNR 베이스 레이어 및 SNR 인핸스먼트 레이어를 포함하는 제 1 픽처 시퀀스 레이어로 인코딩하는 제 1 인코더; 및A first encoder for encoding the video signal into a first picture sequence layer comprising an SNR base layer and an SNR enhancement layer; And 상기 비디오 신호를 SNR 베이스 레이어 및 SNR 인핸스먼트 레이어를 포함하는 제 2 픽처 시퀀스 레이어로 인코딩하는 제 2 인코더를 포함하고,A second encoder for encoding the video signal into a second picture sequence layer comprising an SNR base layer and an SNR enhancement layer; 상기 제 1 인코더는 상기 제 2 픽처 시퀀스 레이어의 일부를 이용하는지 여부를 나타내는 레벨 정보를 비트스트림에 레벨 정보를 설정하는 것을 특징으로 하는 비디오 신호 인코딩 장치.And the first encoder sets level information in the bitstream to level information indicating whether a part of the second picture sequence layer is used. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020077012666A 2004-12-06 2005-12-06 Method and apparatus for encoding video signal, and transmitting and decoding the encoded data KR100880639B1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US63297304P 2004-12-06 2004-12-06
US60/632,973 2004-12-06
KR1020050049897 2005-06-10
KR1020050049897A KR20060063605A (en) 2004-12-06 2005-06-10 Method and apparatus for encoding video signal, and transmitting and decoding the encoded data

Publications (2)

Publication Number Publication Date
KR20070090179A KR20070090179A (en) 2007-09-05
KR100880639B1 true KR100880639B1 (en) 2009-01-30

Family

ID=36578119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077012666A KR100880639B1 (en) 2004-12-06 2005-12-06 Method and apparatus for encoding video signal, and transmitting and decoding the encoded data

Country Status (3)

Country Link
EP (1) EP1820352A4 (en)
KR (1) KR100880639B1 (en)
WO (1) WO2006062330A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243789B2 (en) 2007-01-25 2012-08-14 Sharp Laboratories Of America, Inc. Methods and systems for rate-adaptive transmission of video
FR2931025B1 (en) * 2008-05-07 2010-05-21 Canon Kk METHOD FOR DETERMINING PRIORITY ATTRIBUTES ASSOCIATED WITH DATA CONTAINERS, FOR EXAMPLE IN A VIDEO STREAM, CODING METHOD, COMPUTER PROGRAM AND ASSOCIATED DEVICES

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091775A (en) * 1997-04-17 2000-07-18 Sharp Kabushiki Kaisha Video-coding device and video-decoding device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818934A (en) * 1994-06-30 1996-01-19 Matsushita Electric Ind Co Ltd Image communication equipment
JPH0846928A (en) * 1994-07-27 1996-02-16 Matsushita Electric Ind Co Ltd Picture encoding pre-processor
JPH08289296A (en) * 1995-04-10 1996-11-01 Oki Electric Ind Co Ltd Image communication system and transmitting method therefor
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
JP2003125407A (en) * 2001-10-15 2003-04-25 Matsushita Electric Ind Co Ltd Image decoder, image decoding method, and image decoding program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091775A (en) * 1997-04-17 2000-07-18 Sharp Kabushiki Kaisha Video-coding device and video-decoding device

Also Published As

Publication number Publication date
EP1820352A4 (en) 2011-07-27
EP1820352A1 (en) 2007-08-22
WO2006062330A1 (en) 2006-06-15
KR20070090179A (en) 2007-09-05

Similar Documents

Publication Publication Date Title
KR100878812B1 (en) Method for providing and using information on interlayer prediction of a video signal
RU2384009C2 (en) Method and device for coding, transmitting and decoding video signals
KR100888963B1 (en) Method for scalably encoding and decoding video signal
KR100913088B1 (en) Method and apparatus for encoding/decoding video signal using prediction information of intra-mode macro blocks of base layer
KR100893868B1 (en) Method for encoding and decoding video signal
RU2409005C2 (en) Method of scalable coding and decoding of video signal
KR100878811B1 (en) Method of decoding for a video signal and apparatus thereof
US8532187B2 (en) Method and apparatus for scalably encoding/decoding video signal
US20070086516A1 (en) Method of encoding flags in layer using inter-layer correlation, method and apparatus for decoding coded flags
EP1836858A1 (en) Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding
KR101032243B1 (en) Method and system for scalable bitstream extraction
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
KR20060063608A (en) Method and apparatus for conducting residual prediction on a macro block when encoding/decoding video signal
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
EP1878248A1 (en) Method for scalably encoding and decoding video signal
US20060133483A1 (en) Method for encoding and decoding video signal
KR100883591B1 (en) Method and apparatus for encoding/decoding video signal using prediction information of intra-mode macro blocks of base layer
KR100880639B1 (en) Method and apparatus for encoding video signal, and transmitting and decoding the encoded data
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070280354A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR20060069227A (en) Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal
KR20060059770A (en) Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161214

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171214

Year of fee payment: 10