KR20060063605A - 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치 - Google Patents

영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치 Download PDF

Info

Publication number
KR20060063605A
KR20060063605A KR1020050049897A KR20050049897A KR20060063605A KR 20060063605 A KR20060063605 A KR 20060063605A KR 1020050049897 A KR1020050049897 A KR 1020050049897A KR 20050049897 A KR20050049897 A KR 20050049897A KR 20060063605 A KR20060063605 A KR 20060063605A
Authority
KR
South Korea
Prior art keywords
picture sequence
data
picture
sequence
frame
Prior art date
Application number
KR1020050049897A
Other languages
English (en)
Inventor
전병문
윤도현
박지호
박승욱
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US11/293,157 priority Critical patent/US20060233246A1/en
Priority to TW094143040A priority patent/TW200706005A/zh
Priority to CN200580041787.5A priority patent/CN101103633B/zh
Priority to EP05819115A priority patent/EP1820352A4/en
Priority to RU2007125472/09A priority patent/RU2384009C2/ru
Priority to PCT/KR2005/004147 priority patent/WO2006062330A1/en
Priority to KR1020077012666A priority patent/KR100880639B1/ko
Publication of KR20060063605A publication Critical patent/KR20060063605A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Abstract

본 발명은, 영상신호를 SNR 스케일러블(scalable)하게 엔코딩하여 전송하는 방법 및 장치에 관한 것으로서, 입력 영상신호를 엔코딩할 때, 엔코딩시의 에러를 보상하는 데이터를 각기 포함하는 복수의 픽처 시퀀스로 엔코딩하되, 상기 복수의 픽처 시퀀스중 제 1픽처 시퀀스는, 다른 제 2픽처 시퀀스의 에러 보상 데이터도 함께 사용하여 복원된 영상 프레임으로부터 예측동작이 행해진 프레임을 포함하도록 하며, 전송시에는, 상기 제 1픽처 시퀀스의 프레임에 대한 예측동작을 위해 제 2픽처 시퀀스의 프레임을 복원할 때 사용된 제 2픽처 시퀀스의 에러 보상 데이터를 상기 제 1픽처 시퀀스의 데이터보다 앞서 배치하여 전송한다.
MCTF, 인핸스먼트, 전송, 예측, SNR, Scalability, FGS

Description

영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법 및 장치 {Method and apparatus for encoding video signal, and transmitting and decoding the encoded data}
도 1은 영상신호에 대해 시퀀스간 예측동작을 사용하여 각기 다른 화면크기 및/또는 프레임 레이트를 갖는 시퀀스로 엔코딩된 예를 도시한 것이고,
도 2는 도 1과 같이 영상신호를 엔코딩하여 전송하는 엔코딩 장치의 구성을 도시한 것이고,
도 3은 CIF 시퀀스가 디코더에서 요청되었을 때 도 2의 엔코딩 장치가 QCIF와 CIF 시퀀스에서 데이터를 추출하여 전송하는 포맷을 예시한 것이고,
도 4는, 본 발명의 일 실시예에 따라, 영상신호에 대해 시퀀스간 예측동작을 사용하여 각기 다른 화면크기 및/또는 프레임 레이트를 갖는 시퀀스로 엔코딩하는 장치의 구성을 도시한 것이고,
도 5는, 도 4의 장치에 의해 엔코딩된 각 시퀀스와 본 발명의 일 실시예에 따라 해당 시퀀스에서 데이터가 추출되어 전송되는 포맷을 예시한 것이고,
도 6은 본 발명의 다른 일 실시예에 따라 엔코딩된 시퀀스에서 데이터가 추출되어 전송되는 포맷을 예시한 것이고,
도 7은 도 4의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 구성도이다.
<도면의 주요부분에 대한 부호의 설명>
20k,40k: 엔코딩부 21,41: 저장수단
22,42: 추출기 70: 디먹서
71: 주 디코더 72: 서브 디코더
201k,401k: 역양자화기 202k,402k: 역변환기
본 발명은, 영상신호를 SNR 스케일러블(scalable)하게 엔코딩하여 전송하는 방법 및 장치, 그리고 엔코딩된 데이터 스트림을 디코딩하는 방법 및 장치에 관한 것이다.
스케일러블 영상 코덱(SVC:Scalable Video Codec) 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다. MCTF (Motion Compensated Temporal Filter) 방식이 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안된 엔코딩 방식이다.
그런데, 앞서 언급한 바와 같이 스케일러블 방식인 MCTF로 엔코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 저화질의 영상 표현이 가능하지만, 비트레이트(bit rate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위해서 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 소화면 및/또는 초당 프레임수 등이 낮은 픽처 시퀀스를 계층적으로 제공한다. 예를 들어, 도 1에 도시된 바와 같이, 4CIF의 픽처 시퀀스, CIF의 픽처 시퀀스 그리고 QCIF의 픽처 시퀀스를 각각 엔코딩하여 디코딩 장치에 전송할 수 있도록 한다.
그런데, 각 시퀀스는 동일한 영상신호원을 엔코딩하는 것이므로 각 시퀀스간에는 잉여정보( 리던던시(redundancy) )가 존재한다. 따라서 각 시퀀스의 코딩효율(coding efficiency)을 높이기 위해, 도 1에 도시된 바와 같이, 하위 시퀀스의 임의 영상 프레임으로부터 그와 동시간의 상위 시퀀스의 영상 프레임에 대한 시퀀스간(inter-sequence) 예측동작을 수행하여 상위 시퀀스의 코딩된 정보량을 줄이게 된다.
한편, 도 2에 도시된 엔코딩 장치의 각 시퀀스의 엔코딩부(20k)는 모션추정 및 예측동작에 의해 엔코딩된 데이터에 대해 변환코딩, 예를 들어 DCT와 양자화(quantization)과정을 수행하는 데, 양자화과정에서 정보의 손실이 발생하게 된다. 따라서, 각 시퀀스의 엔코딩부(20k)는 역양자화(201k)와 역변환(202k)을 수행하여, 엔코딩된 데이터와의 차( 엔코딩시에 발생된 에러를 보상하는 데이터 )를 구하고 그 차를 레벨화하여 SNR 인핸스먼트 레이어 데이터(101)로서 생성한다. 이와 같이 SNR 인핸스먼트 레이어의 데이터를 제공함으로써 SNR 인핸스먼트 레이어의 데이터의 디코딩 레벨을 증가시킴에 따라 화질이 점진적으로 좋아질 수 있게 하는 데, 이를 FGS(Fine Grained Scalability)라 한다.
그런데, 도 1과 같이 엔코딩된 각 시퀀스는 모두 디코딩 장치에 전송되는 것이 아니고, 추출기(22)에 의해 현재 디코딩 장치가 요구한 시퀀스의 유형과 전송채널의 대역폭에 의존하여 선택된 스트림이 전송된다. 예를 들어, 현재 디코딩장치가 CIF 시퀀스를 요청하고 전송채널이 대역폭이 허용되는 경우에는 도 3에 도시된 바와 같이 QCIF의 SNR 베이스 레이어와 SNR 인핸스먼트 레이어, 그리고 CIF의 SNR 베이스 레이어와 SNR 인핸스먼트 레이어의 데이터를 저장수단(21)에서 순서대로 소정크기 단위로 추출(301,302,303,304)하여 전송하게 된다. 즉, 매 스트림 전송 세그멘트(310)마다 각 시퀀스의 베이스 레이어들을 먼저 다 전송한 후 각 시퀀스의 인핸스먼트 레이어들을 전송하는데, 각 레이어 내에서는 낮은 전송레이트를 갖는 시퀀스의 순서로 전송하게 된다. 상기와 같은 전송도중 전송채널의 대역폭이 감소하게 되면, 상기 추출기(22)는 전송가능한 비트 스트림까지만 전송하게 되고, 이로써 각 전송 세그멘트(310)에서 후단의 비트 스트림부터 전송하지 않는 결과가 된다. 즉, 도 3의 예에서, CIF 시퀀스의 SNR 인핸스먼트 레이어의 고정밀 에러 보상 데이터 부분, 즉 에러 보상 데이터의 LSB 부터 전송하지 않게 된다.
그런데, 낮은 전송레이트를 갖는 시퀀스부터 차례대로 전송하는 상기의 방법은, 디코딩 장치가 사용하지 않는 불필요한 데이터를 전송함으로써 전송채널을 점유하는 경우가 생긴다. 예를 들어, 도 3의 경우에, 디코딩장치가 CIF 시퀀스만 디코딩하여 사용자에게 영상을 보여주는 경우에는, QCIF의 SNR 베이스 레이어의 데이터는 CIF의 SNR 베이스 레이어의 프레임에 대한 예측동작을 위해 사용되지만 SNR 인핸스먼트 레이어의 데이터는 사용되지 않음에도 불구하고 전송된다.
더욱이, 전송채널의 대역폭이 감소하는 경우에는 실제 화질 개선에 아무런 영향을 주지 않는 QCIF의 SNR 인핸스먼트 레이어의 데이터는 모두 전송되는 반면, 화질 개선에 직접적 영향을 미치는 CIF 시퀀스의 인핸스먼트 레이어의 데이터 전송량은 감소하게 된다.
따라서, 본 발명은, 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 디코딩됨으로써 영상의 화질에 영향을 주는 데이터를 우선하여 전송하는 방법 및 장치를 제공하는 데 그 목적이 있다.
또한 본 발명은, 하위 시퀀스의 에러 보상 데이터를 이용하여 상위 시퀀스의 프레임의 코딩량 대비 화질을 보다 향상시키는 엔코딩을 하고 이를 디코딩하는 방법 및 장치를 제공하는 데 다른 목적이 있다.
상기한 목적을 달성하기 위해 본 발명은, 입력 영상신호를 엔코딩할 때, 상기 영상신호를, 엔코딩시의 에러를 보상하는 데이터를 각기 포함하는 복수의 픽처 시퀀스로 엔코딩하되, 상기 복수의 픽처 시퀀스중 제 1픽처 시퀀스가, 다른 제 2픽처 시퀀스의 에러 보상 데이터도 함께 사용하여 복원된 영상 프레임으로부터 예측동작이 행해진 프레임을 포함하도록 하는 데 특징이 있다.
또한 본 발명은, 제 1픽처 시퀀스의 프레임에 대한 예측동작을 위해 제 2픽처 시퀀스의 프레임을 복원할 때 사용된 제 2픽처 시퀀스의 에러 보상 데이터를 상기 제 1픽처 시퀀스의 데이터보다 앞서 배치하여 전송하는 데 특징이 있다.
본 발명에 따른 일 실시예에서는, 엔코딩된 각 시퀀스는 SNR 베이스 레이어의 데이터와, 엔코딩시의 에러를 보상하기 위한 SNR 인핸스먼트 레이어의 데이터 로서 구성된다.
본 발명에 따른 일 실시예에서는, 영상신호를 CIF 시퀀스의 프레임으로 엔코딩할 때, QCIF 시퀀스의 SNR 베이스 레이어의 데이터외에 SNR 인핸스먼트 레이어의 데이터에서 지정된 부분도 함께 사용하여 복원된 영상 프레임으로부터 예측된 이미지에 근거하여 CIF 시퀀스의 프레임으로 코딩한다.
본 발명에 따른 일 실시예에서는, QCIF 시퀀스의 SNR 인핸스먼트 레이어의 데이터에서 사용할 부분을 지정하는 정보는 CIF 및/또는 QCIF 시퀀스의 데이터 스트림에 기록되어 디코더에 전달된다.
본 발명에 따른 일 실시예에서는, CIF 시퀀스의 프레임에 대한 예측동작에 이용되지 않는 QCIF 시퀀스의 SNR 인핸스먼트 레이어의 데이터는 CIF 시퀀스의 SNR 인핸스먼트 레이어의 데이터보다 늦게 전송된다.
본 발명에 따른 다른 일 실시예에서는, CIF 시퀀스의 프레임에 대한 예측동작에 이용되지 않는 QCIF 시퀀스의 SNR 인핸스먼트 레이어의 데이터는 디코더에 전송되지 않는다.
이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하여 상세히 설명한다.
도 4는 본 발명에 따른 엔코딩 및 전송 방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이다.
도 4의 영상신호 엔코딩 장치는, 도 2의 장치와 구성은 동일하나, 각 시퀀 스의 엔코딩부(40k)의 기능과 추출기(42)의 기능이 상이한 데, 이에 대해 상세히 설명한다.
픽처크기( 즉 해상도 ) 및/또는 프레임 레이트가 상이한 각 픽처 시퀀스의 하위 엔코딩부(402,403)는 해당 상위 시퀀스의 엔코딩부(401,402)에 SNR 베이스 레이어의 데이터외에 SNR 인핸스먼트 레이어의 데이터도 함께 제공하고, 상위 시퀀스의 엔코딩부(401,402)는 자신의 시퀀스에 해당하는 영상 프레임에 대한 시퀀스간(inter-sequence) 예측동작을 수행할 때, 도 5에 예시된 바와 같이, 하위 시퀀스의 SNR 베이스와 SNR 인핸스먼트 레이어의 데이터를 함께 사용하여 복원된(reconstructed) 영상 프레임을 이용한다(S500). 이 때, SNR 인핸스먼트 레이어의 데이터의 어디까지, 즉 각 데이터의 어떤 레벨(prediction_SNR_level)까지 영상 복원에 사용할 것인지는 적당한 조건, 예를 들어 제공할 화질 및 기 확보된 전송채널의 용량 등에 따라 결정되어 각 엔코딩부(40k)에 설정되며, 상기 prediction_SNR_level에 대한 값은 엔코딩된 SNR 베이스 레이어의 데이터 스트림의 헤더, 예를 들어 슬라이스 또는 픽처 헤더에 기록삽입되어 디코더에 전달된다.
또한, 상기 prediction_SNR_level은 도 4의 엔코딩 장치의 추출기(42)에도 설정되는 데, 상기 추출기(42)는 저장수단(41)에 저장되어 있는 엔코딩된 각 데이터 스트림(501)에 대해서 현재 디코딩 장치가 요구한 픽처 시퀀스를 위한 데이터를 추출하여 전송하게 된다. 도 5는, 디코딩 장치가 CIF 시퀀스를 요구하고 전송채널이 필요한 대역폭을 허용하는 경우에, 전송 되는 매 스트림 전송 세그멘트(502)의 데이터 배치구조를 보여주고 있다.
상기 추출기(42)는 CIF 시퀀스를 전송함에 있어서, 그 하위의 QCIF의 SNR 베이스 레이어의 데이터(aa)를 먼저 배치하고 그 다음에 QCIF의 SNR 인핸스먼트 레이어의 데이터를 배치하는데, 이 때, 설정된 prediction_SNR_level까지의 데이터(ab 부터 af)만 배치한다. 그 다음 CIF 시퀀스의 SNR 베이스 레이어의 데이터(ba)와 SNR 인핸스먼트 레이어 데이터 중 prediction_SNR_level까지의 데이터(bb 부터 bf)까지 배치한다. 마지막으로 QCIF의 SNR 인핸스먼트 레이어의 잔여 데이터(ag,ah)를 배치하고, CIF의 SNR 인핸스먼트 레이어의 잔여 데이터(bg,bh)를 배치하여 전송한다.
QCIF의 잔여 SNR 인핸스먼트 레이어의 데이터(ag,ah)는 CIF 시퀀스의 영상을 프리젠테이션함에 있어서 사용되지는 않으나, 사용자가 전송된 데이터를 저장한 후 휴대폰 등과 같이 디코딩 능력이 낮은 장치를 이용해 QCIF 시퀀스를 시청할 수도 있으므로, 전송채널의 대역폭이 허용하는 경우 예측동작에 이용되지 않은 QCIF의 SNR 인핸스먼트 레이어의 데이터(ag,ah)를 배치하여 전송하게 된다.
또는, CIF의 SNR 인핸스먼트 레이어의 잔여 데이터(bg,bh)를 CIF의 SNR 인핸스먼트 레이어 데이터 중 prediction_SNR_level까지의 데이터(bb 부터 bf) 이후에 배치하고, QCIF의 SNR 인핸스먼트 레이어의 데이터(ag,ah)를 마지막에 배치하여 전송할 수도 있다.
도 5에서와 같이 전송하게 되면, 전송채널의 특성이 나빠져 전송 레이트가 낮아지더라도 현재 디코딩되는 영상의 화질에 전혀 영향을 전혀 주지 않는 QCIF의 SNR 인핸스먼트 레이어의 데이터부터 전송되지 않게 되고 더 나빠지면 영상의 SNR을 미세하게 높이는 부분부터 시작하여 크게 개선하는 부분으로 차례대로 데이터가 전송되지 않게 된다. 즉, 종래의 전송방법에 비해 디코딩 영상의 화질이 채널의 영향에 둔감(robustness)해 진다.
만약, prediction_SNR_level을 0으로 설정하면, 종래에서와 같이 SNR 인핸스먼트 레이어의 데이터는 상위 시퀀스 프레임에 대한 예측동작에 사용되지 않는다. 따라서, 이 때에는 하위 시퀀스의 SNR 인핸스먼트 레이어의 데이터는 전송하지 않는다. 전송채널의 대역폭이 여유가 있어서 전송하는 경우에도, 현재 선택된 시퀀스의 SNR 인핸스먼트 레이어의 데이터가 전송 세그멘트에서 먼저 배치되고, 그 다음으로 하위 시퀀스의 SNR 인핸스먼트 레이어의 데이터가 배치되어 전송된다.
도 6은 이에 대한 예시로서, CIF의 시퀀스가 선택된 경우, QCIF의 SNR 인핸스먼트 레이어의 데이터는 전송되지 않거나 전송되더라도 마지막에 배치(601)되어 전송된다.
도 7은 도 2의 장치에 의해 엔코딩되어 전송된 데이터 스트림을 디코딩하는 장치의 일 실시예의 블록도이다. 도 7의 디코딩 장치는, 복수의 시퀀스를 수신하여 상위 시퀀스를 영상신호로 디코딩출력하기 위한 것으로서, 수신되는 데이터 스트림에서 주 시퀀스와 서브 시퀀스의 데이터 스트림으로 분리하는 디먹서(70), 분리된 주 시퀀스, 예를 들어 CIF 시퀀스의 데이터 스트림을 MCTF 방식에 따라 원래의 영상신호로 역변환하는 주 디코더(71), 그리고 분리된 서브 시퀀스, 예를 들어 QCIF 시퀀스의 데이터 스트림을 정해진 방식, 예를 들어 MPEG4 또는 H.264방식 에 의해 디코딩하는 서브 디코더(72)를 포함하여 구성된다.
상기 주 디코더(71)는 입력되는 데이터 스트림의 헤더 정보에서 앞서 언급한 prediction_SNR_level을 확인하여 그 값을 상기 서브 시퀀스(72)에 통지한다. 만약, 각 시퀀스에 모두 prediction_SNR_level이 기록되어 전송되는 실시예의 경우에는 디코더간에 prediction_SNR_level의 값을 통지할 필요가 없다.
상기 서브 디코더(72)는 수신되는 서브 시퀀스의 데이터 스트림을 디코딩할 때, SNR 베이스 레이어의 스트림을 디코딩한 후, 수신된 스트림에 함께 포함되어 있는 SNR 인핸스먼트 레이어의 데이터에서, 상기 통지된 prediction_SNR_level까지의 데이터를 사용하여 디코딩된 영상의 화질을 높인 프레임을 상기 주 디코더(71)에 제공한다.
상기 주 디코더(71)는, 수신된 주 시퀀스에서, 서브 시퀀스의 프레임이 예측 이미지로 사용된 프레임에 대해서, 상기 서브 디코더(72)로부터 제공되는 프레임, 필요한 경우에는 그 프레임을 스케일링한 프레임으로부터 예측된 이미지에 근거해서 원 영상신호로 복원하여 출력하게 된다.
전술한 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.
본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하 게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
상술한 바와 같이, 에러 보상 데이터를 함께 사용하여 복원된 영상 프레임을 시퀀스간 예측에 사용함으로써 코딩량 대비 화질을 향상시키게 되고, 또한 현재 디코딩되어야 하는 시퀀스의 영상화질에 영향을 크게 미치는 엔코딩 데이터부터 순차적으로 배치하여 전송 함으로써, 채널의 용량변화에 화질의 영향이 보다 덜 받을 수 있게 하고, 또한 전송률을 낮추어서 전송채널을 보다 효율적으로 할당하여 사용할 수 있게 하는 효과가 있다.

Claims (20)

  1. 입력 영상신호를 엔코딩하는 장치에 있어서,
    상기 영상신호를 엔코딩시의 에러를 보상하는 데이터를 포함하는 제 1픽처 시퀀스로 엔코딩하는 제 1엔코더와,
    상기 영상신호를 엔코딩시의 에러를 보상하는 데이터를 포함하는 제 2픽처 시퀀스로 엔코딩하는 제 2엔코더를 포함하여 구성되되,
    상기 제 1엔코더는, 상기 제 2픽처 시퀀스의 에러 보상 데이터도 함께 사용하여 복원된 영상 프레임으로부터 상기 영상신호의 임의의 프레임에 대한 예측동작을 수행하는 것을 특징으로 하는 장치.
  2. 제 1항에 있어서,
    상기 제 1엔코더는, 상기 에러 보상 데이터 중 예측 SNR 레벨에 의해 지정된 부분을, 상기 영상 프레임 복원에 사용하는 것을 특징으로 하는 장치.
  3. 제 2항에 있어서,
    상기 예측 SNR 레벨은, 상기 제 1픽처 시퀀스 및/또는 상기 제 2픽처 시퀀스의 데이터 스트림내에 기록되는 것을 특징으로 하는 장치.
  4. 제 1항에 있어서,
    상기 제 2픽처 시퀀스는, 상기 제 1픽처 시퀀스보다 프레임 크기가 작거나 또는 프레임 레이트가 낮은 것을 특징으로 하는 장치.
  5. 제 1항에 있어서,
    상기 제 1픽처 시퀀스의 데이터와 상기 제 2픽처 시퀀스의 데이터를 추출하여 전송 세그멘트로 구성하여 전송하는 추출기를 더 포함하여 구성되되, 상기 추출기는 매 전송 세그멘트에서, 상기 제 1픽처 시퀀스의 프레임의 예측동작에 사용된 제 2픽처 시퀀스의 에러 보상 데이터를 상기 제 1픽처 시퀀스의 에러 보상 데이터보다 앞서 배치하여 전송하는 것을 특징으로 하는 장치.
  6. 제 1항에 있어서,
    상기 제 1픽처 시퀀스의 데이터와 상기 제 2픽처 시퀀스의 데이터를 추출하여 전송 세그멘트로 구성하여 전송하는 추출기를 더 포함하여 구성되되, 상기 추출기는 매 전송 세그멘트에서, 상기 제 1픽처 시퀀스의 에러 보상 데이터를, 상기 제 1픽처 시퀀스의 프레임의 예측동작에 사용되지 않은 상기 제 2픽처 시퀀스의 에러 보상 데이터보다 앞서 배치하여 전송하는 것을 특징으로 하는 장치.
  7. 제 1항에 있어서,
    상기 제 1픽처 시퀀스의 데이터와 상기 제 2픽처 시퀀스의 데이터를 추출하여 전송 세그멘트로 구성하여 전송하는 추출기를 더 포함하여 구성되되, 상기 추 출기는 매 전송 세그멘트에, 상기 제 2픽처 시퀀스의 에러 보상 데이터를 포함시키지 않는 것을 특징으로 하는 장치.
  8. 입력 영상신호를 엔코딩하는 방법에 있어서,
    상기 영상신호를, 각기 엔코딩시의 에러를 보상하는 데이터를 포함하는 복수의 픽처 시퀀스로 엔코딩하는 단계를 포함하여 이루어지되,
    상기 복수의 픽처 시퀀스중 제 1픽처 시퀀스는, 다른 제 2픽처 시퀀스의 에러 보상 데이터도 함께 사용하여 복원된 영상 프레임으로부터 예측동작이 행해진 프레임을 포함하고 있는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 영상 프레임 복원에는, 상기 에러 보상 데이터에서, 설정된 예측 SNR 레벨에 의해 지정된 부분이 사용하는 것을 특징으로 하는 방법.
  10. 제 9항에 있어서,
    상기 설정된 예측 SNR 레벨은, 상기 복수의 픽처 시퀀스 중 적어도 하나의 시퀀스의 데이터 스트림내에 기록되는 것을 특징으로 하는 방법.
  11. 제 8항에 있어서,
    상기 제 2픽처 시퀀스는, 상기 제 1픽처 시퀀스보다 프레임 크기가 작거나 또는 프레임 레이트가 낮은 것을 특징으로 하는 방법.
  12. 제 8항에 있어서,
    상기 복수의 픽처 시퀀스의 데이터를 추출하여 전송 세그멘트로 구성하여 전송하는 단계를 더 포함하여 이루어지되,
    상기 전송 단계는 매 전송 세그멘트에서, 상기 제 1픽처 시퀀스의 프레임의 예측동작에 사용된 제 2픽처 시퀀스의 에러 보상 데이터를 상기 제 1픽처 시퀀스의 데이터보다 앞서 배치하여 전송하는 것을 특징으로 하는 방법.
  13. 제 8항에 있어서,
    상기 복수의 픽처 시퀀스의 데이터를 추출하여 전송 세그멘트로 구성하여 전송하는 단계를 더 포함하여 이루어지되,
    상기 전송 단계는 매 전송 세그멘트에서, 상기 제 1픽처 시퀀스의 에러 보상 데이터를, 상기 제 1픽처 시퀀스의 프레임의 예측동작에 사용되지 않은 상기 제 2픽처 시퀀스의 에러 보상 데이터보다 앞서 배치하여 전송하는 것을 특징으로 하는 방법.
  14. 제 8항에 있어서,
    상기 복수의 픽처 시퀀스의 데이터를 추출하여 전송 세그멘트로 구성하여 전송하는 단계를 더 포함하여 이루어지되,
    상기 전송 단계는 매 전송 세그멘트에, 상기 제 2픽처 시퀀스의 에러 보상 데이터를 포함시키지 않는 것을 특징으로 하는 방법.
  15. 엔코딩된 복수의 픽처 시퀀스의 비트 스트림을 수신하여 영상신호로 디코딩하는 장치에 있어서,
    상기 복수의 픽처 시퀀스 중 제 1픽처 시퀀스를 디코딩하여 원래의 이미지를 갖는 영상 프레임들로 복원 출력하는 제 1디코더와,
    상기 복수의 픽처 시퀀스 중, 엔코딩시의 에러를 보상하는 데이터를 포함하고 있는 제 2픽처 시퀀스를 디코딩하여 원래의 이미지를 갖는 영상 프레임들로 복원하는 제 2디코더를 포함하여 구성되되,
    상기 제 1디코더는, 상기 제 2픽처 시퀀스의 에러 보상 데이터도 함께 사용하여 복원된 영상 프레임으로부터 예측된 이미지에 근거하여, 상기 제 1픽처 시퀀스에 포함되어 있는 임의의 엔코딩된 프레임을 원래의 이미지를 갖는 영상 프레임으로 복원하는 것을 특징으로 하는 장치.
  16. 제 15항에 있어서,
    상기 제 1디코더는, 상기 제 2픽처 시퀀스의 에러 보상 데이터를 사용함에 있어서, 상기 제 1픽처 시퀀스 및/또는 상기 제 2픽처 시퀀스의 데이터 스트림에 포함되어 있는 예측 SNR 레벨에 의해 지정된 부분만을 사용하는 것을 특징으로 하는 장치.
  17. 제 15항에 있어서,
    상기 제 2픽처 시퀀스는, 상기 제 1픽처 시퀀스보다 프레임 크기가 작거나 또는 프레임 레이트가 낮은 것을 특징으로 하는 장치.
  18. 엔코딩된 제 1및 제 2픽처 시퀀스의 비트 스트림을 수신하여 영상신호로 디코딩하는 방법에 있어서,
    상기 제 2픽처 시퀀스에 포함되어 있는 에러 보상 데이터도 함께 사용하여 복원된 영상 프레임으로부터 예측된 이미지에 근거하여, 상기 제 1픽처 시퀀스에 포함되어 있는 임의의 엔코딩된 프레임을 원래의 이미지를 갖는 영상 프레임으로 복원하는 단계를 포함하여 이루어지는 것을 특징으로 하는 방법.
  19. 제 18항에 있어서,
    상기 단계는, 상기 제 2픽처 시퀀스의 에러 보상 데이터를 사용함에 있어서, 상기 제 1픽처 시퀀스 및/또는 상기 제 2픽처 시퀀스의 데이터 스트림에 포함되어 있는 예측 SNR 레벨에 의해 지정된 부분만을 사용하는 것을 특징으로 하는 방법.
  20. 제 18항에 있어서,
    상기 제 2픽처 시퀀스는, 상기 제 1픽처 시퀀스보다 프레임 크기가 작거나 또는 프레임 레이트가 낮은 것을 특징으로 하는 방법.
KR1020050049897A 2004-12-06 2005-06-10 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치 KR20060063605A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US11/293,157 US20060233246A1 (en) 2004-12-06 2005-12-05 Method and apparatus for encoding, transmitting, and decoding a video signal
TW094143040A TW200706005A (en) 2004-12-06 2005-12-06 Method and apparatus for encoding, transmitting, and decoding a video signal
CN200580041787.5A CN101103633B (zh) 2004-12-06 2005-12-06 用于编码、传送及解码视频信号的方法和装置
EP05819115A EP1820352A4 (en) 2004-12-06 2005-12-06 METHOD AND APPARATUS FOR ENCODING, TRANSMITTING AND DECODING A VIDEO SIGNAL
RU2007125472/09A RU2384009C2 (ru) 2004-12-06 2005-12-06 Способ и устройство для кодирования, передачи и декодирования видеосигнала
PCT/KR2005/004147 WO2006062330A1 (en) 2004-12-06 2005-12-06 Method and apparatus for encoding, transmitting, and decoding a video signal
KR1020077012666A KR100880639B1 (ko) 2004-12-06 2005-12-06 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US63297304P 2004-12-06 2004-12-06
US60/632,973 2004-12-06

Publications (1)

Publication Number Publication Date
KR20060063605A true KR20060063605A (ko) 2006-06-12

Family

ID=37159575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050049897A KR20060063605A (ko) 2004-12-06 2005-06-10 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치

Country Status (5)

Country Link
US (1) US20060233246A1 (ko)
KR (1) KR20060063605A (ko)
CN (1) CN101103633B (ko)
RU (1) RU2384009C2 (ko)
TW (1) TW200706005A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772194B1 (ko) * 2006-07-26 2007-11-01 한국전자통신연구원 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8443398B2 (en) * 2006-11-01 2013-05-14 Skyfire Labs, Inc. Architecture for delivery of video content responsive to remote interaction
US9247260B1 (en) 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
US8375304B2 (en) * 2006-11-01 2013-02-12 Skyfire Labs, Inc. Maintaining state of a web page
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US8081680B2 (en) * 2006-11-28 2011-12-20 Microsoft Corporation Selective inter-layer prediction in layered video coding
US8243798B2 (en) * 2006-12-20 2012-08-14 Intel Corporation Methods and apparatus for scalable video bitstreams
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US8630512B2 (en) * 2007-01-25 2014-01-14 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10356450B2 (en) * 2013-09-12 2019-07-16 Sony Corporation Encoding device, transmission device, and reception device
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091775A (en) * 1997-04-17 2000-07-18 Sharp Kabushiki Kaisha Video-coding device and video-decoding device
FI113124B (fi) * 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
GB2364842A (en) * 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality
KR20020064932A (ko) * 2000-10-11 2002-08-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 미세 입상 비디오 인코딩을 위한 공간적 스케일러빌리티
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
US20020126759A1 (en) * 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
WO2002062074A1 (en) * 2001-01-22 2002-08-08 Webcast Technologies, Inc. Video encoding and decoding techniques and apparatus
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772194B1 (ko) * 2006-07-26 2007-11-01 한국전자통신연구원 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법

Also Published As

Publication number Publication date
TW200706005A (en) 2007-02-01
CN101103633A (zh) 2008-01-09
RU2007125472A (ru) 2009-01-27
US20060233246A1 (en) 2006-10-19
RU2384009C2 (ru) 2010-03-10
CN101103633B (zh) 2014-11-26

Similar Documents

Publication Publication Date Title
KR20060063605A (ko) 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치
JP6416992B2 (ja) ビデオビットストリームをトランスコーディングする方法及び構成
KR100913088B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100878812B1 (ko) 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
KR100888963B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100703724B1 (ko) 다 계층 기반으로 코딩된 스케일러블 비트스트림의비트율을 조절하는 장치 및 방법
US8532187B2 (en) Method and apparatus for scalably encoding/decoding video signal
KR101425602B1 (ko) 영상 부호화/복호화 장치 및 그 방법
EP1469681A1 (en) Image coding method and apparatus and image decoding method and apparatus
KR101032243B1 (ko) 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템
KR100880640B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100878824B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR20060063608A (ko) 영상신호의 엔코딩/디코딩시에 영상블록에 대한 레지듀얼예측을 수행하는 방법 및 장치
US20060133483A1 (en) Method for encoding and decoding video signal
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100880639B1 (ko) 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치
KR20060101847A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060059770A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US20060133499A1 (en) Method and apparatus for encoding video signal using previous picture already converted into H picture as reference picture of current picture and method and apparatus for decoding such encoded video signal
US20060133498A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal