KR20070039459A - 스케일러블 비디오 코딩 기술이 적용된 비트스트림적응변환 장치 및 방법 - Google Patents

스케일러블 비디오 코딩 기술이 적용된 비트스트림적응변환 장치 및 방법 Download PDF

Info

Publication number
KR20070039459A
KR20070039459A KR1020060097262A KR20060097262A KR20070039459A KR 20070039459 A KR20070039459 A KR 20070039459A KR 1020060097262 A KR1020060097262 A KR 1020060097262A KR 20060097262 A KR20060097262 A KR 20060097262A KR 20070039459 A KR20070039459 A KR 20070039459A
Authority
KR
South Korea
Prior art keywords
quality
bitstream
svc
adaptive
descriptor
Prior art date
Application number
KR1020060097262A
Other languages
English (en)
Other versions
KR100848310B1 (ko
Inventor
강정원
김재곤
홍진우
노용만
김영석
청꽁탕
Original Assignee
한국전자통신연구원
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국정보통신대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to PCT/KR2006/003989 priority Critical patent/WO2007043770A1/en
Priority to JP2008534439A priority patent/JP2009510966A/ja
Priority to US12/088,480 priority patent/US20080247460A1/en
Priority to EP06799070A priority patent/EP1932354A4/en
Priority to CN2006800370962A priority patent/CN101283596B/zh
Publication of KR20070039459A publication Critical patent/KR20070039459A/ko
Application granted granted Critical
Publication of KR100848310B1 publication Critical patent/KR100848310B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치 및 방법에 관한 것으로, 스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림에 대한 품질정보로부터 SVC 적응변환 연산자 및 상기 SVC 적응변환 연산자와 단말의 소비 환경정보의 상관관계를 추출하는 품질정보 추출부, 상기 SVC 적응변환 연산자들 중 상기 비트스트림을 전송받는 단말의 소비환경 정보에 해당하는 SVC 적응변환 연산자를 결정하는 품질 결정부 및 상기 결정된 SVC 적응변환 연산자를 기초로 상기 비트스트림을 추출하여 적응변환하는 비트스트림 추출부로 구성되어, Classification Scheme(AQoS_CS)에 제안된 적응변환 연산자를 이용한 스케일러블 비디오의 적응변환을 통하여 변화하는 네트워크 환경 및 멀티미디어의 소비환경에 맞게 스케일러블 비디오를 효율적으로 제공할 수 있다.
MPEG-21 프레임워크 기반 SVC 비디오 적응변환, 적응변환 QoS(AQoS) Description, SVC 적응변환 연산자

Description

스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치 및 방법{Method and apparatus for scalable video adaptation using adaptation operators for scalable video}
도 1은 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 장치의 구성도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 SVC 적응변환 연산자들을 설명한 구조도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 복합 적응변환(재 적응변환)의 일 실시예를 설명한 네트워크 구성도이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 SVC 비트스트림의 적응변환을 위한 품질 최고점과 품질 기저점들을 이용하여 품질정보 (AQoS)를 기술하는 방법을 나타내는 도면이다.
도 5는 SVC 비트스트림의 적응변환을 위한 SVC 적응변환 파라미터를 AQoSClassfication의 형태로 정의한 것이다.
도 6은 SVC 비트스트림의 적응변환을 위한 SVC 적응변환 파라미터를 Utilityfication의 형태로 정의한 것이다.
도 7은 SVC 비트스트림의 적응변환을 위한 SVC 적응변환 파라미터를 LookupTable의 형태로 정의한 것이다.
도 8은 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법의 흐름도이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법 중 디지털 아이템 입력단계의 상세 흐름도이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법 중 소비 환경정보 입력단계의 상세 흐름도이다.
도 11은 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법 중 적응변환 처리단계의 상세 흐름도이다.
도 12는 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법 중 디지털 아이디 출력단계의 상세 흐름도이다.
본 발명은 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치 및 방법에 관한 것으로, 보다 상세하게는 SVC 적응변환 연산자를 통하여 비트스트림의 적응변환을 수행하며 적응변환된 비트스트림에 대한 SVC 적응변환 연산자를 부기하여 차후 새로운 적응변환을 수행하도록 하는 장치 및 방법에 관한 것이다.
통신기술의 발달과 더불어, 네트워크 환경은 더욱 복잡해지고 있으며, 서로 다른 종류의 네트워크와 단말을 통하여 다양한 멀티미디어 콘텐츠가 소비되는 시대 가 도래하였다. 이러한 환경과 더불어, 집안에서는 고화질(HD)의 비디오를 소비할 수 있으며, 집 밖에서는 DMB 혹은 이동통신의 무선 네트워크를 통하여 움직이면서 혹은 차량에서 비디오를 즐길 수 있게 되었다. 이동통신 네트워크에서는 PDA, 핸드폰 그리고 노트북에 이르는 다양한 단말에 서비스가 지원되고 있으며, ASDL과 같은 유선 네트워크에서는 PC등이 서비스되고, 머지않아 IP TV와 같은 더욱더 다양한 형태의 단말이 통합되는 네트워크에서 서비스를 지원받게 된다. 멀티미디어 콘텐츠를 다양하고 효율적으로 서비스하기 위한 MPEG-21 프레임워크에서는 저작권보호와 관련된 DRM(Digital Right Management), 적응변환 DIA(Digital Item Adaptation), 디지털 아이템 기술자 DID(Digital Item Declaration)등의 많은 기능을 통합시켜서 다양한 기능을 지원할 수 있도록 하였다.
이러한 서로 다른 네트워크 환경에서 다양한 단말에 비디오 스트리밍 서비스를 제공하기 위해서는 소비 환경에 맞는 품질의 고려가 필수적이며, 네트워크 대역폭, 단말의 종류 및 소비자의 선호도에 맞는 품질의 콘텐츠를 제공해야만 한다. 보다 효율적으로 다양한 소비환경에 멀티미디어 콘텐츠를 적응시키기 위하여 스케일러블 비디오 코딩 기술이 현재 표준화가 진행 중이며, 비디오를 소비 환경에 적응시키기 위하여 다시 재생산을 수행할 필요 없이 비트스트림에서 직접 적응변환을 수행할 수 있도록 지원한다. 기존의 소비환경에 맞도록 재생산하는 방법에 비하여 더욱 효율적이고 빠르게 네트워크 및 컨텐츠 소비 환경에 맞게 적응변환을 수행할 수 있다.
MPEG-21 프레임워크에서 스케일러블 비디오의 적응변환을 지원하기 위해서는 스케일러블 비디오의 적응변환 연산자를 기술할 필요가 있으며, 현재는 스케일러블 비디오에 대한 적응변환 연산 기술자가 존재하지 않는다. 그러므로 MPEG-21 프레임워크에서 스케일러블 비디오에 대한 비트스트림 레벨에서의 적응변환이 효율적으로 기술되기 어렵다.
본 발명이 이루고자 하는 기술적 과제로, 본 발명은 상기한 스케일러블 비디오 코딩(SVC) 기술이 적용된 멀티미디어 콘텐츠의 적응 변환을 지원하는 장치 및 그 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 기술적 과제로, 스케일러블 비디오의 적응변환을 비트스트림 레벨에서 적절히 수행하기 위한 적응변환 기술자들을 정의하고, 해당 기술자들을 서술하기 위한 효과적인 의미 및 기술 예제를 제시함으로써, 기술된 품질 적응변환 정보를 이용하여 다양한 네트워크 및 사용자 환경에 맞는 효과적인 적응변환을 수행하는 장치 및 방법을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에서 제시하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치는, 스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림에 대한 품질정보로부터 SVC 적응변환 연산자 및 상기 SVC 적응변환 연산자와 단말의 소비 환경정보의 상관관계를 추출하는 품질정보 추출부, 상기 SVC 적응변환 연산자들 중 상기 비트스트림을 전송받는 단말의 소비환경 정보에 해당하는 SVC 적응변환 연산자를 결정하는 품질 결정부 및 상기 결정된 SVC 적응변환 연산자를 기초로 상기 비트스트림을 추출하여 적응변환하는 비트스트림 추출부를 포함하는 것을 특징으로 한다.
또한, 상기 품질정보는 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자 및 SNR 품질기술자로 구성된 SVC 적응변환 연산자를 포함하는 것을 특징으로 한다.
또한, 상기 품질정보는 상기 단말의 소비 환경정보, 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 및 PSNR 또는 utility rank를 포함하는 상기 비트스트림의 전체적인 품질을 나타내는 척도와의 상관관계가 기술되는 것을 특징으로 한다.
또한, 상기 품질정보는 임의의 차수로 구성된 상기 단말의 대역폭, 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 및 PSNR 벡터에서 동일한 차수끼리 하나의 쌍으로 묶인 SVC 적응변환 연산자를 포함하는 것을 특징으로 한다.
또한, 상기 품질정보는 임의의 차수로 구성된 상기 단말의 대역폭, 공간 품질기술자, 시간 품질기술자 벡터에서 동일한 차수끼리 하나의 쌍으로 묶이고, SNR 품질기술자는 행렬형식으로 표현한 SVC 적응변환 연산자를 포함하는 것을 특징으로 한다.
또한, 상기 소비환경 정보는 네트워크 환경정보와 사용자 환경정보로 이루어지며, 네트워크 환경정보는 대역폭을 포함되고 사용자 환경정보는 상기 단말의 성능 또는 사용자의 품질 선호도가 포함되는 것을 특징으로 한다.
또한, 상기 품질 결정부에서 결정된 SVC 적응변환 연산자는 SVC 표준화된 품 질기술자 중 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 각각의 정보를 포함하는 것을 특징으로 한다.
또한, 상기 비트스트림 추출부에서 추출된 비트스트림은 상기 SVC 적응변환 연산자에 포함된 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자, SNR 품질기술자를 만족하는 것을 특징으로 한다.
또한, 상기 품질정보 추출부는 상기 품질정보를 통하여 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자, SNR 품질기술자가 포함된 SVC 적응변환 연산자를 추출하는 것을 특징으로 한다.
또한, 상기 품질 결정부는 SVC 표준화된 품질기술자 중 상기 소비 환경정보를 만족하는 최적의 상기 SVC 적응변환 연산자에 포함된 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 각각을 결정하는 것을 특징으로 한다.
또한, 상기 품질 결정부는 원래의 비디오 품질을 표현한 품질 최고점과 상기 SVC 적응변환 연산자에 포함된 동일한 공간 품질기술자 및 시간 품질기술자를 가지는 구간에서의 SNR 품질기술자의 최저점을 표현한 품질 기저점을 기초로 상기 단말의 가용대역폭에 따라 증감시켜 SNR 품질기술자를 결정하는 것을 특징으로 한다.
또한, 상기 비트스트림 추출부는 SVC 표준화된 품질기술자 중 상기 적응변환 연산자에 포함된 공간 품질기술자, 시간 품질기술자, SNR 품질기술자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 것을 특징으로 한다.
또한, SVC 표준화된 품질기술자 중 공간 품질기술자를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 축출되 어야 할 공간적 품질 레이어의 갯수만큼 상기 공간 품질기술자를 수치화하고 상기 수치에 따라 상기 공간 품질기술자의 적응변환을 수행하지 않거나 상기 비트스트림의 공간적 품질 레이어 중 상기 수치에 따른 갯수만큼의 최상위 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 한다.
또한, SVC 표준화된 품질기술자 중 시간 품질기술자를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 코딩 값에 기초로 축출되어야 할 시간적 품질레벨을 수치화하고 상기 수치에 따라 상기 시간 품질기술자의 적응변환을 수행하지 않거나 상기 시간적 품질레벨 중 상기 수치에 따른 갯수만큼의 최상위 레벨을 축출하여 적응변환을 수행하는 것을 특징으로 한다.
또한, SVC 표준화된 품질기술자 중 SNR 품질기술자의 Fine Grain 품질기술자(FGS)를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 축출되어야 할 FGS 레이어와 FGS 파편의 합으로 이루어진 SNR비트율과 상기 비트스트림의 FGS 레이어들의 비트율의 총합과의 비율에 따라 상기 SNR 품질기술자의 적응변환을 수행하지 않거나 상기 비트스트림의 상기 비율에 따른 갯수만큼의 최상위 FGS 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 한다.
또한, SVC 표준화된 품질기술자 중 SNR 품질기술자의 Coarse Grain 품질기술자(CGS)를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 축출되어야 할 최상위 CGS 레이어의 비트율의 총합과 상기 비트스트림의 CGS 레이어들의 비트율의 총합과의 비율에 따라 CGS 품질 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 한다.
또한, SVC 표준화된 품질기술자 중 SNR 품질기술자의 FGS 및 CGS를 모두 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 축출되어야 할 CGS 레이어의 비트율과 상기 CGS 레이어에 포함된 FGS 헤이어의 비트율 및 추출되어야 할 FGS 파편의 비트율의 합과 전체 CGS 레이어 및 전체 FGS 레이어의 비트율의 합과의 비율을 만족하도록 적절한 갯수만큼의 상기 최상위 CGS 레이어 또는 상기 최상위 FGS 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 한다.
또한, 상기 SVC 기술이 적용된 비트스트림에 대한 품질정보는 XML 형식을 통하여 기록된 것을 특징으로 한다.
또한, 상기 비트스트림 추출부를 통하여 적응변환된 SVC 기술이 적용된 비트스트림에 대한 품질정보를 SVC 적응변환 연산자로 기술하는 품질정보 기술부;를 더 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에서 제시하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치는, 스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림과 상기 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 입력받는 디지털 아이템 입력부, 상기 비트스트림을 전송받는 단말의 네트워크 환경정보와 사용자 환경정보를 입력받는 소비 환경정보 입력부, 상기 네트워크 환경정보 및 사용자 환경정보에 기초하여 상기 비트스트림의 SVC 적응변 환 연산자를 결정하고 상기 결정된 SVC 적응변환 연산자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 적응변환 처리부 및 상기 적응변환 처리부에서 추출된 비트스트림을 상기 단말로 전송하고, 상기 적응변환 처리에서 추출된 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 생성하는 디지털 아이템 출력부를 포함하는 것을 특징으로 한다.
또한, 상기 디지털 아이템 입력부는 XML 형식을 통하여 기술된 상기 SVC 기술이 적용된 비트스트림의 품질정보를 입력받는 품질정보 입력부 및 상기 SVC 기술이 적용된 비트스트림을 입력받는 SVC 비디오 입력부로 이루어진 것을 특징으로 한다.
또한, 상기 소비 환경정보 입력부는 대역폭(Bandwidth)이 포함된 네트워크 환경정보를 획득하는 네트워크 환경정보 입력부 및 상기 단말의 성능 또는 사용자의 품질 선호도가 포함된 사용자 환경정보를 획득하는 사용자 환경정보 입력부로 이루어진 것을 특징으로 한다.
또한, 상기 적응변환 처리부는 상기 품질정보로부터 XML을 파싱하여 SVC 기술이 적용된 비트스트림의 적응변환을 위한 SVC 적응변환 연산자를 추출하는 품질정보 추출부, 상기 추출된 SVC 적응변환 연산자와 상기 네트워크 환경정보 및 사용자 환경정보를 기초로 사용자의 단말에 디스플레이하기 적절한 SVC 적응변환 연산자를 결정하는 SVC 적응변환 품질 결정부 및 상기 결정된 SVC 적응변환 연산자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 SVC 비트스트림 추출부로 이루어진 것을 특징으로 한다.
또한, 상기 디지털 아이템 출력부는 상기 추출된 SVC 기술이 적용된 비트스트림을 사용자 단말로 전송하는 적응변환 SVC 비트스트림 출력부 및 상기 SVC 기술이 적용된 비트스트림의 차후 적응변환에 이용되는 상기 SVC 기술이 적용된 비트스트림의 품질정보를 SVC 적응변환 연산자가 포함된 XML 형식으로 기술하는 품질정보 기술부로 이루어진 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에서 제시하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법은, 스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림에 대한 품질정보로부터 SVC 적응변환 연산자 및 상기 SVC 적응변환 연산자와 단말의 소비 환경정보의 상관관계를 추출하는 품질정보 추출단계, 상기 SVC 적응변환 연산자들 중 상기 비트스트림을 전송받는 단말의 소비환경 정보에 해당하는 SVC 적응변환 연산자를 결정하는 품질 결정단계 및 상기 결정된 SVC 적응변환 연산자를 기초로 상기 비트스트림을 적응변환하는 비트스트림 추출단계를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에서 제시하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법은, 스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림과 상기 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 입력받는 디지털 아이템 입력단계, 상기 비트스트림을 전송받는 단말의 네트워크 환경정보와 사용자 환경정보를 입력받는 소비 환경정보 입력단계, 상기 네트워크 환경정보 및 사용자 환경정보에 기초하여 상기 비트스트림의 SVC 적응변환 연산자를 결정하고 상기 결정된 SVC 적응변환 연산자를 만족하도록 상기 비 트스트림을 추출하여 적응변환하는 적응변환 처리단계 및 상기 적응변환 처리단계에서 추출된 비트스트림을 상기 단말로 전송하고, 상기 적응변환 처리부에서 추출된 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 생성하는 디지털 아이템 출력단계를 포함하는 것을 특징으로 한다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 장치의 구성도이다. 도 1을 참조하면, 비트스트림 적응변환 장치는 디지털 아이템 입력부(100), 소비환경정보 입력부(110), 적응변환 처리부(120) 및 디지털 아이템 출력부(130)로 구성된다.
디지털 아이템 입력부(100)는 품질정보(AQoS) 입력부(101)와 SVC 비디오 입력부(102)로 구성된다. 품질정보 입력부는 SVC 비디오 스트림의 품질정보를 XML의 형식을 통하여 기술한 정보가 입력되며, SVC 비디오 입력 부에는 SVC기술이 적용된 비디오 비트스트림이 입력된다. 디지털 아이템 입력 부에서는 개별 디지털 아이템을 수신하는 모든 기능을 포함한다.
품질정보(AQoS) 입력부(101)에서 입력된 품질정보(AQoS)는 품질 정보 추출 부(121)에서 XML을 파싱하여 획득된 SVC 비디오의 적응변환을 위한 품질정보를 추출하게 된다.
소비 환경정보 입력부는 디지털 아이템 입력 부에서 입력된 개별 디지털 아이템의 소비환경을 획득하는 기능을 포함한다. 소비환경 정보 입력부는 네트워크 환경정보 입력부(111)와 사용자 환경정보 입력부(112)로 구성된다.
네트워크 환경정보 입력부(111)에서는 SVC 비디오의 전송을 위한 네트워크 환경정보가 획득되는 기능을 포함하고, 사용자환경 정보 입력부(112)에서는 SVC 비디오를 소비하기 위한 사용자의 환경정보(디스플레이 사이즈와 같은 단말의 성능 혹은 사용자의 품질 선호도)를 획득하는 기능을 포함한다.
SVC 적응변환을 수행하기 위하여 디지털 아이템 입력부에서는 적응변환될 미디어 리소스(품질정보 포함)를 획득하게 되고, 소비환경정보 입력부에서는 전송과 단말에서 소비를 위한 환경정보들을 획득하게 된다. 개별 디지털 아이템 입력부와 소비환경정보 입력부에서 획득된 정보와 데이터들은 적응변환 처리부에서 SVC 비디오 적응변환 과정을 처리하게 된다.
네트워크 환경정보 입력부(111)에서 획득된 네트워크 정보와 사용자 환경정보 입력부(112)에서 획득된 사용자 환경정보 그리고, 품질정보 추출부(121)에서 추출된 SVC 비트스트림의 적응변환 품질정보들은 SVC 적응변환 품질 결정부('adaptation decision taking engine: ADTE', 123)에 입력된다.
SVC 적응변환 품질 결정부('adaptation decision taking engine: ADTE', 123)에서는 획득된 환경정보(네트워크 및 사용자 소비환경)에 맞는 적응변환 품질을 품질정보 추출 부에서 추출된 적응변환 품질정보에 따라서 결정하게 된다.
SVC 적응변환 품질 결정부('adaptation decision taking engine: ADTE', 123)에서 결정된 품질정보는 SVC 적응변환 파라미터의 형태로 결정되며, SVC 비트스트림 추출부(122)에 입력된다. SVC 비트스트림 추출부(122)에서는 실제적인 SVC 비트스트림 추출과정이 수행되며, SVC 적응변환 품질 결정부('adaptation decision taking engine: ADTE', 123)에서 결정된 SVC 적응변환 파라미터에 맞도록 SVC 비트스트림을 추출한다.
적응변환 처리부(120)에서 SVC 적응변환 파라미터에 맞게 적응 변환된(비트스트림 추출) SVC 비트스트림은 전송을 위해서 SVC 비트스트림 출력부(132)로 전송된다. 재적응변환을 위한 품질정보 (AQoS)를 기술하는 품질정보 기술부(131)를 통하여 적응 변환된 SVC 비트스트림의 품질정보를 다시 기술하여 디지털 아이템 출력부로 전송한다. 디지털 아이템 출력부를 통하여 SVC 비트스트림은 단말로 전송된다.
도 2는 본 발명의 바람직한 일 실시예에 따른 SVC 적응변환 연산자들을 설명한 구조도이다. 도 2를 참조하면, SVC 적응변환 파라미터(200)를 표현하며 SVC 적응변환을 지원하는 적응변환 품질 기술자로서, 공간 품질기술자-Spatial Layers(210), 시간 품질기술자-Temporal Levels(220), SNR(Signal to Noise Ratio) 품질기술자-Quality Reduction(230)를 포함한다.
SVC에서는 공간-시간-SNR 품질의 3가지 구성 요소로 비디오품질을 구성할 수 있으며, 이를 바탕으로 적응변환을 수행할 수 있다. SVC 적응변환 파라미터(200)는 위의 3가지 품질 구성요소에 상응하여 적응변환 품질을 지시하게 된다.
다양한 품질로 적응변환이 가능하도록 SVC 비트스트림은 기본계층과 향상계층들로 이루어진다. 향상계층은 기본계층에 있는 비트스트림의 해상도(공간적), 프레임율(시간적), SNR 품질을 개선하기 위하여 사용되는 비트스트림이다.
공간 품질기술자-Spatial Layers(210)는 해상도가 낮거나 높은 영상의 해상도를 높이거나 낮추기 위해 사용된다.
시간 품질기술자-Temporal Levels(220)는 시간적 해상도를 높이거나 낮추기 위한 방법으로 향상계층을 추가하여 시간 해상도를 높이거나 낮추는 것으로 초당 30프레임 영상을 초당 60프레임의 영상으로 만들어 준다.
SNR 품질기술자-Quality Reduction(230)는 SNR 품질(화질)을 높이거나 낮추기 위한 방법으로 향상계층을 추가하거나 제거하는 것에 의해 복호화된 영상의 SNR 품질을 향상시키거나 열화시키는데 사용된다.
도 3은 본 발명의 바람직한 일 실시예에 따른 복합 적응변환(재 적응변환)의 일 실시예를 설명한 네트워크 구성도이다. 도 3을 참조하면, SVC 스트리밍 서버(300), SVC 제1 적응변환 서버(310), SVC 제2 적응변환 서버(320)로 구성되어 있다.
서로 다른 네트워크 특징을 가진 네트워크가 혼합된 환경에서 적응 변환된 SVC 비트스트림의 재적응변환을 위한 품질정보(AQoS)의 기술이 필요한 이유를 설명한다. SVC 스트리밍 서버(300)에서 제공된 SVC 비트스트림과 적응변환 품질정보(AQoS)에 맞게 제1 적응변환 서버(310)에서 적응 변환된 SVC 비트스트림은 모바일 클라이언트를 위하여 제2 적응변환 서버(320)에서 적응변환을 수행하게 되며, 이때에 제1 적응변환 서버(310)에서 생성된 적응변환 품질 정보(AQoS)를 이용하여 과정을 수행하게 된다.
도 4는 본 발명의 바람직한 일 실시예에 따른 SVC 비트스트림의 적응변환을 위한 품질 최고점과 품질 기저점들을 이용하여 품질정보 (AQoS)를 기술하는 방법을 나타내는 도면으로서, 각 시-공간 품질구간의 SNR품질 최고점 (O)과 각 시-공간 품질구간의 SNR 품질 기저점들(P1, P2, P3, P4, P5)을 이용하여 전체 품질 정보를 대표하여 기술하는 것을 설명한다. 품질 최고점은 해당 품질 정보에서 적응변환이 수행되지 않은 원래의 비디오 품질을 표현하고, 각 품질 기저점들은 동일한 시-공간적 품질을 가지는 품질 구간에서의 SNR 품질의 최저점을 표현한다.
이러한 품질정보 기술방법의 특징은 이용가능한 네트워크 대역폭이 감소함에 따른 적응변환 품질 정보를 최소 개수의 대표값으로 품질을 지시함으로써, 효율적인 품질정보 계산을 수행하게 된다. 대표값들을 이용한 임의의 구간에서의 품질정보 결정은 다음의 예를 통하여 설명될 수 있다.
예를 들어, 첫 번째 품질 기저점(P1) 과 두 번째 품질 기저점(P2) 구간에서 품질정보 가운데 시-공간적 품질정보는 두 번째 품질 기저점(P2)의 시-공간적 품질정보와 동일하게 적용되며, SNR 품질정보(QualityReduction)는 두 번째 품질 기저점(P2)의 SNR 품질정보에서 현재 가용 대역폭까지 증대된 양만큼을 감소시켜 결정하게 된다. 품질결정의 자세한 내용은 수학식 6을 참조하여 품질결정 작업을 수행한다.
도 5는 SVC 비트스트림의 적응변환을 위한 SVC 적응변환 파라미터를 AQoSClassfication의 형태로 정의한 것이다. SVC 적응변환 파라미터의 효율적이고, 범용적인 사용을 위하여 AQoSClassification에서 SVC 적응변환 파라미터를 정의할 필요가 존재하게 된다.
도 5에서 Spatial Layers는 공간적 품질(spatial resolution)의 적응변환을 위해서 축출(truncation)되어야 할 공간적 품질 레이어(spatial enhancement layer)의 수를 나타내며, 해당 적응변환을 위한 비트스트림에서 최상위 공간적 품질 레이어(spatial enhancement layer)를 먼저 축출한다. 예를 들어, 2 레이어로 코딩 된 비트스트림은 Spatial Layers의 값으로 정수값 0, 1을 가지게 되며, "0" 는 공간적 품질의 적응변환을 수행하지 않으며, "1"은 기본 레이어(base layer)와 품질 향상 레이어(enhancement layer)중에서 최상위 레이어인 품질 향상 레이어(enhancement layer)를 축출(truncation)하고, 기본 레이어만 추출(extraction)하여 적응변환을 수행하게 된다.
Temporal Levels는 시간적 품질(temporal resolution)의 적응변환을 위해서 축출(truncation)되어야 할 시간적 품질 레벨(temporal level)의 수를 나타내며, 해당 적응변환을 위한 비트스트림에서 최상위 품질 레벨을 먼저 축출한다. 예를 들어, 30 frame/sec 로 코딩 된 비트스트림은 Temporal Levels 값으로 정수값 0, 1, 2, 3, 4을 가지게 되며, "0" 는 시간적 품질의 적응변환을 수행하지 않으며(30frame/sec 유지), "1"은 시간적 품질 레벨 중에서 최상위 레벨를 축출(truncation)하여 30frame/sec에서 15 frame/sec로 시간적 품질의 적응변환을 수행하며, "2"는 시간적 품질 레벨 중에서 최상위 두 개의 레벨을 축출(truncation)하여 7.5 frame/sec로 적응변환을 수행한다. "3"는 시간적 품질 레벨 중에서 최상위 세 개의 레벨을 축출(truncation)하여 3.75 frame/sec로 적응변환을 수행하고, "4"는 시간적 품질 레벨 중에서 최상위 네 개의 레벨을 축출(truncation)하여 1.875 frame/sec로 적응변환을 수행하게 된다.
Quality Reduction은 SNR 품질(SNR resolution)의 적응변환을 위해서 축출(truncation)되어야 할 SNR 품질의 양을 나타낸다. 예를 들어, Fine Grain Scalability(FGS) 가 사용된 경우에 코딩된 비트스트림은 Quality Reduction의 값으로 부동 소수점 값을 범위에서 가지게 되며, "0.00"는 SNR 품질의 적응변환을 수행하지 않으며, "1.00"은 모든 FGS 품질 향상 레이어(enhancement layer)를 축출(truncation)하고, 기본 레이어만 추출(extraction)하여 SNR 적응변환을 수행하게 된다. "0.50"를 값으로 가지는 경우에는 전체 FGS 품질 향상 레이어 중에서 50%의 최상위 품질 향상 레이어를 축출하여(truncation) SNR 품질을 적응변환 하게 된다.
Coarse Grain Scalability(CGS) 가 사용된 경우에 코딩된 비트스트림은 FGS 가 사용된 경우와 동일하게 Quality Fraction 값으로 부동 소수점 값을 범위에서 가지게 되며, "0.00"는 SNR 품질의 적응변환을 수행하지 않으며, "1.00"은 모든 CGS 품질 레이어를 축출(truncation)하여 SNR 적응변환을 수행하게 된다. 예를 들면, 2 레이어 CGS 레어어가 존재하는 경우, 1st CGS 레이어가 전체 SNR 품질 레이어의 60%, 2nd CGS 레이어가 전체 SNR 품질레이어의 40%를 각각 포함하고 있을 때, 품질정보(AQoS)에는 "1.00", "0.40", "0,00"의 3가지의 SNR 적응변환 품질을 기술할 수 있으며, "1.00"은 모든 CGS 품질레이어를 모두 축출하고, "0.40"는 전체 SNR 품질레이어의 40%에 해당하는 2nd CGS 레이어를 축출(truncation)하며, "0.00"은 SNR 품질의 적응변환을 수행하지 않는 SNR 품질의 적응변환을 각각 수행하게 된다.
FGS와 CGS가 동시에 사용된 경우, 예를 들면 2 레이어 CGS가 존재하고 FGS가 적용되면 CGS만 사용된 경우보다 세밀한 SNR 품질의 적용변환이 가능하게 된다. 1st CGS 레이어가 전체 SNR 품질의 40%와 1st CGS 레이어의 FGS 레이어가 전체 SNR 품질의 20%를, 2nd CGS 레이어가 전체 SNR 품질의 30%를, 2nd CGS 레이어의 FGS 레이어가 전체 SNR 품질의 10%를 각각 포함하고 있을 때, CGS만 사용된 경우에는 "1.00", "0.40", "0.00"의 3가지 종류의 SNR 품질의 적응변환을 제공할 수 있는데 반하여 "0.45"와 같은 보다 세밀한 SNR 품질 제어가 가능하며, Quality Reduction "0.45"를 적용하기 위하여 2nd CGS 레이어를 모두(FGS 레이어 포함) 축출(truncation)하고, 1st CGS 레이어의 FGS 레이어의 5%를 축출함으로써 SNR품질의 적응변환을 수행하게 된다.
SVC 비디오의 적응변환 품질정보(AQoS)를 도 6과 같은 UtilityFunction을 이용하여 기술함에 있어서, SVC 적응변환 파라미터(Spatial Layers, Temporal Levels, Quality Reduction)를 이용하여 기술할 수 있다.
또한, SVC 비디오의 적응변환 품질정보(AQoS)를 도 7과 같은 LookupTable을 이용하여 기술함에 있어서, SVC 적응변환 파라미터(Spatial Layers, Temporal Levels, Quality Reduction)를 이용하여 기술할 수 있다.
Figure 112006072280391-PAT00001
공간적 품질의 적응변환을 위한 적응변환 품질 기술자(Qfs)인 Spatial Layers는 위와 같은 수학식1에서와 같이 표현되며, "0"은 공간적 품질의 적응변환을 수행하지 않으며, "1"은 최상위 공간적 품질 향상 레이어를 축출(truncation)하여 공간적 품질의 적응변환을 수행하게 되고, "2"는 최상위 두 개의 공간적 품질 향상 레이어를 축출(truncation)하여 공간적 품질의 적응 변환을 수행한다.
Figure 112006072280391-PAT00002
시간적 품질의 적응변환을 위한 적응변환 품질 기술자(QFT)인 Temporal Levels는 위와 같은 수학식2에서와 같이 표현되며, "0"은 시간적 품질의 적응변환을 수행하지 않으며, "1" 은 최상위 시간적 품질 레벨을 축출(truncation)하여 공간적 품질의 적응변환을 수행하게 되고, "2"는 최상위 두 개의 시간적 품질 레벨을 축출(truncation)하여 시간적 품질의 적응 변환을 수행하게 된다.
Figure 112006072280391-PAT00003
여기서
Figure 112006072280391-PAT00004
와
Figure 112006072280391-PAT00005
는 해당 제약조건(constraints)들에 맞는 SNR 품 질의 적응변환을 위하여 축출될 비디오 품질의 SNR 비트율과 입력된 원본(original) 비디오의 SNR 비트율을,
Figure 112006072280391-PAT00006
는 i번째 최상위 FGS 레이어의 비트율을, n*는 축출되어야 할 FGS 레이어 수를,
Figure 112006072280391-PAT00007
는 축출되어야 할 FGS 파편(fraction)을, n은 원래 비디오의 FGS 레이어 수를 각각 표현한다. SNR 품질의 적응변환을 위한 적응변환 품질 기술자(QfSNR)인 Quality Reduction은 위와 같은 수학식에서와 같이 표현되며, "0.00"은 SNR 품질의 적응변환을 수행하지 않으며, "1.00"은 최상위 SNR 품질 향상 레이어를 축출(truncation)하여 SNR 품질의 적응변환을 수행하게 된다.
FGS인 경우에 "0.30"는 전체 FGS품질 향상 레이어의 30%를 축출하고, 전체 FGS품질 향상 레이어의 70%만 추출하여 SNR 품질 적응변환을 수행함을 나타낸다.
Figure 112006072280391-PAT00008
여기서,
Figure 112006072280391-PAT00009
는 원래의 입력된 비디오의 SNR 품질의 비트율을,
Figure 112006072280391-PAT00010
는 축출될 품질의 SNR 비트율을 각각 나타내며,
Figure 112006072280391-PAT00011
는 k번째 최상위 CGS 레이어의 비트율과 m은 입력된 비디오의 CGS 레이어의 수를, m*는 축출되어야 할 최상위 CGS 레이어 수를 각각 나타낸다. CGS인 경우에는 각 CGS 레이어가 포함하는 비트율에 맞는 단위로 SNR 적응변환 품질을 제공할 수 있다. 예를 들면, 2 레이어 CGS 레어어가 존재하는 경우, 1st CGS 레이어가 전체 SNR 품질 레이어의 70%, 2nd CGS 레이어가 전체 SNR 품질레이어의 30%를 각각 포함하고 있을 때, 품질정보(AQoS)에는 "1.00", "0.30", "0,00"의 3가지의 SNR 적응변환 품질을 기술할 수 있으며, "1.00"은 모든 CGS 품질레이어를 모두 축출하고, "0.30"는 전체 SNR 품질레이어의 30%에 해당하는 2nd CGS 레이어를 축출(truncation)하며, "0.00"은 모든 CGS 레이어를 모두 추출(extraction)하여 SNR 품질의 적응변환을 수행하게 된다.
Figure 112006072280391-PAT00012
여기서
Figure 112006072280391-PAT00013
는 축출될 SNR 비트율을,
Figure 112006072280391-PAT00014
는 원래의 입력된 비디오의 SNR 품질의 비트율을 나타내며,
Figure 112006072280391-PAT00015
는 i번째 최상위 CGS 레이어의 비트율을,
Figure 112006072280391-PAT00016
는 i번째 최상위 CGS 레이어의 j번째 최상위 FGS 레이어의 비트율을 나타내며,
Figure 112006072280391-PAT00017
는 축출되여야 할 m*번째 최상위 CGS레이어의 n*번째 최상위 FGS레이어의 FGS fraction의 비트율을, ni 는 i번째 최상위 CGS레이어의 FGS 레이어수를, 그리고 m은 원본 비디오의 CGS레이어의 수를, m*는 축출되어야 할 최상위 CGS 레이어 수를 각각 나타낸다. FGS와 CGS가 동시에 사용된 경우, 예를 들면 2 레이어 CGS가 존재하고 FGS가 적용되면 CGS만 사용된 경우보다 세밀한 SNR 품질의 적용변환이 가능하게 된다. 1st CGS 레이어와 FGS 레이어가 각각 전체 SNR 품질 레이어의 40%와 20%, 2nd CGS 레이어와 FGS 레이어가 전체 SNR 품질레이어의 30%와 10%를 각각 포함하고 있을 때, Quality Reduction "0.45"를 적용하기 위하여 2nd CGS 레이어와 2nd CGS 레이어의 FGS 레이어를 모두 축출(truncation)하고, 1st CGS 레이어의 FGS 레이어의 5%를 부분(fraction) 축출(truncation)함으로서 CGS만 사용된 경우보다 세밀한 SNR품질의 적응변환을 수행하게 된다.
Figure 112006072280391-PAT00018
Figure 112006072280391-PAT00019
Figure 112006072280391-PAT00020
여기서
Figure 112006072280391-PAT00021
,
Figure 112006072280391-PAT00022
그리고
Figure 112006072280391-PAT00023
는 품질 구간 {O, P}사이에 존재하는 임의의 점 x에서의 Quality Reduction, Spatial Layers 그리고 Temporal Levels 값을 나타내며
Figure 112006072280391-PAT00024
,
Figure 112006072280391-PAT00025
그리고
Figure 112006072280391-PAT00026
은 품질 구간 {O, P}중 품질 기저점(P)에서 Quality Reduction, Spatial Layers 그리고 Temporal Levels 값을 각각 표현한다.
Bx, BP는 임의의 점 x에서의 가용 전송 비트율과 품질 기저점(P)에서의 가용 전송 비트율을 각각 나타내며,
Figure 112006072280391-PAT00027
는 원래의 입력된 비디오의 SNR 품질의 비트율을 표현한다.
예를 들면, 원래의 입력된 비디오의 SNR 품질의 비트율이 1Mbps이고, 현재 가용 전송 비트율이 500kbps, 품질 기저점에서의 가용 전송 비트율이 400kbps 이고 Quality Ruduction이 "0.7", Spatial Layers "1", Temporal Levels "1"로 기술되어 있을때, 현재 가용 전송 비트율에서의 Quality Reduntion은 "0.6"(0.7-(500-400)/1000), Spatial Layers는 "1", Temporal Levels는 "1"로 결정하게 된다.
도 8은 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법의 흐름도이다.
스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림과 상기 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 입력받는 디지털 아이템 입력단계(S800)와 상기 비트스트림을 전송받는 단말의 네트워크 환경정보와 사용자 환경 정보를 입력받는 소비 환경정보 입력단계를 거친다(S810).
상기 네트워크 환경정보 및 사용자 환경정보에 기초하여 상기 비트스트림의 SVC 적응변환 연산자를 결정하고 상기 결정된 SVC 적응변환 연산자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 적응변환 처리단계(S820)를 밟아 상기 수신된 비트스트림을 상기 단말로 전송하고, 상기 적응변환 처리부를 통해 수신된 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 생성하는 디지털 아이템 출력단계(S830)를 통하여 상기 비트스트림을 사용자에게 전송하게 된다.
도 9는 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법 중 디지털 아이템 입력단계의 상세 흐름도이다.
상기 디지털 아이템 입력단계는 XML 형식을 통하여 기술된 상기 SVC 기술이 적용된 비트스트림의 품질정보를 입력받고(S901) 상기 SVC 기술이 적용된 비트스트림을 입력받는 단계(S902)를 밟아 품질정보와 비트스트림의 디지털 아이템을 입력받게 된다.
도 10는 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법 중 소비 환경정보 입력단계의 상세 흐름도이다.
대역폭(Bandwidth)이 포함된 네트워크 환경정보를 획득하는 네트워크 환경정보 입력받고(S1001) 및 상기 단말의 디스플레이 사이즈가 포함된 단말의 성능 또는 사용자의 품질 선호도가 포함된 사용자 환경정보를 획득하여(S1002) SVC 적응변환 연산자를 결정하는 기초정보로 이용하게 된다.
도 11은 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법 중 적응변환 처리단계의 상세 흐름도이다.
상기 적응변환 처리단계는 상기 품질정보로부터 XML을 파싱하여 SVC 기술이 적용된 비트스트림의 적응변환을 위한 SVC 적응변환 연산자를 추출한다(S1101).
상기 추출된 SVC 적응변환 연산자와 상기 네트워크 환경정보 및 사용자 환경정보를 기초로 사용자의 단말에 디스플레이하기 적절한 SVC 적응변환 연산자를 결정하고(S1102), 상기 결정된 SVC 적응변환 연산자를 만족하도록 상기 비트스트림을 적응변환하여 새로운 비트스트림을 추출하게 된다(S1102).
도 12는 본 발명의 바람직한 일 실시예에 따른 비트스트림 적응변환 방법 중 디지털 아이템 출력단계의 상세 흐름도이다.
상기 추출된 SVC 기술이 적용된 비트스트림을 사용자 단말로 전송하고(S1201), 상기 SVC 기술이 적용된 비트스트림의 차후 적응변환에 이용되는 상기 SVC 기술이 적용된 비트스트림의 품질정보를 SVC 적응변환 연산자가 포함된 XML 형식으로 기술하게 된다(S1202).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD_ROM, 자기테이프, 플로피디스크 및 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽 을 수 있는 코드로 저장되고 실행될 수 있다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
전술한 바와 같은 본 발명에 따라 스케일러블(SVC) 비디오의 적응변환을 위한 품질정보(AQoS)를 범용적으로 기술할 수 있고, 기술된 적응변환 품질정보(AQoS Description)를 이용하여 SVC 적응변환을 수행할 수 있다. SVC 적응변환을 지원할 수 있는 적응변환 기술자들이 아직까지 지원되지 않으므로, 본 발명에 기인하여 SVC 비디오의 적응변환을 위한 적응변환 품질정보(AQoS Description)를 범용적으로 기술하고, 이를 바탕으로 적응변환을 수행할 수 있는 방법 및 시스템을 제안함으로서 효과적인 SVC적응변환을 지원한다.

Claims (49)

  1. 스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림에 대한 품질정보로부터 SVC 적응변환 연산자 및 상기 SVC 적응변환 연산자와 단말의 소비 환경정보의 상관관계를 추출하는 품질정보 추출부;
    상기 SVC 적응변환 연산자들 중 상기 비트스트림을 전송받는 단말의 소비환경 정보에 해당하는 SVC 적응변환 연산자를 결정하는 품질 결정부; 및
    상기 결정된 SVC 적응변환 연산자를 기초로 상기 비트스트림을 추출하여 적응변환하는 비트스트림 추출부;를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  2. 제 1 항에 있어서,
    상기 품질정보는 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자 및 SNR 품질기술자로 구성된 SVC 적응변환 연산자를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  3. 제 1 항에 있어서,
    상기 품질정보는 상기 단말의 소비 환경정보, 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 및 PSNR 또는 utility rank를 포함하는 상기 비트스트림의 전체적인 품질을 나타내는 척도와의 상관관계가 기술되는 것을 특징으로 하는 스케 일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  4. 제 1 항에 있어서,
    상기 품질정보는 임의의 차수로 구성된 상기 단말의 대역폭, 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 및 PSNR 벡터에서 동일한 차수끼리 하나의 쌍으로 묶여진 SVC 적응변환 연산자를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  5. 제 1 항에 있어서,
    상기 품질정보는 임의의 차수로 구성된 상기 단말의 대역폭, 공간 품질기술자, 시간 품질기술자 벡터에서 동일한 차수끼리 하나의 쌍으로 묶여지고, SNR 품질기술자는 행렬형식으로 표현한 SVC 적응변환 연산자를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  6. 제 1 항에 있어서,
    상기 소비환경 정보는 네트워크 환경정보와 사용자 환경정보로 이루어지며, 네트워크 환경정보는 대역폭을 포함되고 사용자 환경정보는 상기 단말의 성능 또는 사용자의 품질 선호도가 포함되는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치
  7. 제 1 항에 있어서,
    상기 품질 결정부에서 결정된 SVC 적응변환 연산자는 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 각각의 정보를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  8. 제 1 항에 있어서,
    상기 비트스트림 추출부에서 추출된 비트스트림은 상기 SVC 적응변환 연산자에 포함된 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자, SNR 품질기술자를 만족하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  9. 제 1 항에 있어서,
    상기 품질정보 추출부는 상기 품질정보를 통하여 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자, SNR 품질기술자가 포함된 SVC 적응변환 연산자를 추출하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  10. 제 1 항에 있어서,
    상기 품질 결정부는 SVC 표준화된 품질기술자 중 상기 소비 환경정보를 만족 하는 최적의 상기 SVC 적응변환 연산자에 포함된 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 각각을 결정하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  11. 제 1 항에 있어서,
    상기 품질 결정부는 원래의 비디오 품질을 표현한 품질 최고점과 상기 SVC 적응변환 연산자에 포함된 동일한 공간 품질기술자 및 시간 품질기술자를 가지는 구간에서의 SNR 품질기술자의 최저점을 표현한 품질 기저점을 기초로 상기 단말의 가용대역폭에 따라 증감시켜 SNR 품질기술자를 결정하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  12. 제 1 항에 있어서,
    상기 비트스트림 추출부는 SVC 표준화된 품질기술자 중 상기 적응변환 연산자에 포함된 공간 품질기술자, 시간 품질기술자, SNR 품질기술자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  13. 제 1 항에 있어서,
    SVC 표준화된 품질기술자 중 공간 품질기술자를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 축출되어야 할 공간적 품질 레이어의 갯수만큼 상기 공간 품질기술자를 수치화하고 상기 수치에 따라 상기 공간 품질기술자의 적응변환을 수행하지 않거나 상기 비트스트림의 공간적 품질 레이어 중 상기 수치에 따른 갯수만큼의 최상위 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  14. 제 1 항에 있어서,
    SVC 표준화된 품질기술자 중 시간 품질기술자를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 코딩값에 기초로 축출되어야 할 시간적 품질레벨을 수치화하고 상기 수치에 따라 상기 시간 품질기술자의 적응변환을 수행하지 않거나 상기 시간적 품질레벨 중 상기 수치에 따른 갯수만큼의 최상위 레벨을 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  15. 제 1 항에 있어서,
    SVC 표준화된 품질기술자 중 SNR 품질기술자의 Fine Grain 품질기술자(FGS)를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 축출되어야 할 FGS 레이어와 FGS 파편의 합으로 이루어진 SNR비트율과 상기 비트스트림의 FGS 레이어들의 비트율의 총합과의 비율에 따라 상기 SNR 품질기술자의 적응변환을 수행하지 않거나 상기 비트스트림의 상기 비율에 따른 갯 수만큼의 최상위 FGS 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  16. 제 1 항에 있어서,
    SVC 표준화된 품질기술자 중 SNR 품질기술자의 Coarse Grain 품질기술자(CGS)를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 축출되어야 할 최상위 CGS 레이어의 비트율의 총합과 상기 비트스트림의 CGS 레이어들의 비트율의 총합과의 비율에 따라 CGS 품질 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  17. 제 1 항에 있어서,
    SVC 표준화된 품질기술자 중 SNR 품질기술자의 FGS 및 CGS를 모두 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출부는 상기 비트스트림의 축출되어야 할 CGS 레이어의 비트율과 상기 CGS 레이어에 포함된 FGS 헤이어의 비트율 및 추출되어야 할 FGS 파편의 비트율의 합과 전체 CGS 레이어 및 전체 FGS 레이어의 비트율의 합과의 비율을 만족하도록 적절한 갯수만큼의 상기 최상위 CGS 레이어 또는 상기 최상위 FGS 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  18. 제 1 항에 있어서,
    상기 SVC 기술이 적용된 비트스트림에 대한 품질정보는 XML 형식을 통하여 기록된 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  19. 제 1 항에 있어서,
    상기 비트스트림 추출부를 통하여 적응변환된 SVC 기술이 적용된 비트스트림에 대한 품질정보를 SVC 적응변환 연산자로 기술하는 품질정보 기술부;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  20. 스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림과 상기 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 입력받는 디지털 아이템 입력부;
    상기 비트스트림을 전송받는 단말의 네트워크 환경정보와 사용자 환경정보를 입력받는 소비 환경정보 입력부;
    상기 네트워크 환경정보 및 사용자 환경정보에 기초하여 상기 비트스트림의 SVC 적응변환 연산자를 결정하고 상기 결정된 SVC 적응변환 연산자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 적응변환 처리부; 및
    상기 적응변환 처리부에서 추출된 비트스트림을 상기 단말로 전송하고, 상기 적응변환 처리에서 추출된 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 생성하는 디지털 아이템 출력부;를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  21. 제 20 항에 있어서,
    상기 디지털 아이템 입력부는 XML 형식을 통하여 기술된 상기 SVC 기술이 적용된 비트스트림의 품질정보를 입력받는 품질정보 입력부; 및
    상기 SVC 기술이 적용된 비트스트림을 입력받는 SVC 비디오 입력부;로 이루어진 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  22. 제 20 항에 있어서,
    상기 소비 환경정보 입력부는 대역폭(Bandwidth)이 포함된 네트워크 환경정보를 획득하는 네트워크 환경정보 입력부; 및
    상기 단말의 성능 또는 사용자의 품질 선호도가 포함된 사용자 환경정보를 획득하는 사용자 환경정보 입력부;로 이루어진 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  23. 제 20 항에 있어서,
    상기 적응변환 처리부는 상기 품질정보로부터 XML을 파싱하여 SVC 기술이 적 용된 비트스트림의 적응변환을 위한 SVC 적응변환 연산자를 추출하는 품질정보 추출부;
    상기 추출된 SVC 적응변환 연산자와 상기 네트워크 환경정보 및 사용자 환경정보를 기초로 사용자의 단말에 디스플레이하기 적절한 SVC 적응변환 연산자를 결정하는 SVC 적응변환 품질 결정부; 및
    상기 결정된 SVC 적응변환 연산자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 SVC 비트스트림 추출부;로 이루어진 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  24. 제 20 항에 있어서,
    상기 디지털 아이템 출력부는 상기 추출된 SVC 기술이 적용된 비트스트림을 사용자 단말로 전송하는 적응변환 SVC 비트스트림 출력부; 및
    상기 SVC 기술이 적용된 비트스트림의 차후 적응변환에 이용되는 상기 SVC 기술이 적용된 비트스트림의 품질정보를 SVC 적응변환 연산자가 포함된 XML 형식으로 기술하는 품질정보 기술부;로 이루어진 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 장치.
  25. 스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림에 대한 품질정보로부터 SVC 적응변환 연산자 및 상기 SVC 적응변환 연산자와 단말의 소비 환경정보의 상관관계를 추출하는 품질정보 추출단계;
    상기 SVC 적응변환 연산자들 중 상기 비트스트림을 전송받는 단말의 소비환경 정보에 해당하는 SVC 적응변환 연산자를 결정하는 품질 결정단계; 및
    상기 결정된 SVC 적응변환 연산자를 기초로 상기 비트스트림을 적응변환하는 비트스트림 추출단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  26. 제 25 항에 있어서,
    상기 품질정보는 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자 및 SNR 품질기술자로 구성된 SVC 적응변환 연산자를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  27. 제 25 항에 있어서,
    상기 품질정보는 상기 단말의 소비 환경정보, 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 및 PSNR 또는 utility rank를 포함하는 상기 비트스트림의 전체적인 품질을 나타내는 척도와의 상관관계가 기술되는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  28. 제 25 항에 있어서,
    상기 품질정보는 임의의 차수로 구성된 상기 단말의 대역폭, 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 및 PSNR 벡터에서 동일한 차수끼리 하나의 쌍으로 묶여진 SVC 적응변환 연산자를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  29. 제 25 항에 있어서,
    상기 품질정보는 임의의 차수로 구성된 상기 단말의 대역폭, 공간 품질기술자, 시간 품질기술자 벡터에서 동일한 차수끼리 하나의 쌍으로 묶여지고, SNR 품질기술자는 행렬형식으로 표현한 SVC 적응변환 연산자를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  30. 제 25 항에 있어서,
    상기 소비환경 정보는 네트워크 환경정보와 사용자 환경정보로 이루어지며, 네트워크 환경정보는 대역폭을 포함되고 사용자 환경정보는 단말의 성능 또는 사용자의 품질 선호도가 포함되는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법
  31. 제 25 항에 있어서,
    상기 품질 결정단계에서 결정된 SVC 적응변환 연산자는 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 각각의 정보를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  32. 제 25 항에 있어서,
    상기 비트스트림 추출단계에서 추출된 비트스트림은 상기 SVC 적응변환 연산자에 포함된 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자, SNR 품질기술자를 만족하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  33. 제 25 항에 있어서,
    상기 품질정보 추출단계는 상기 품질정보를 통하여 SVC 표준화된 품질기술자 중 공간 품질기술자, 시간 품질기술자, SNR 품질기술자가 포함된 SVC 적응변환 연산자를 추출하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  34. 제 25 항에 있어서,
    상기 품질 결정단계는 SVC 표준화된 품질기술자 중 상기 소비 환경정보를 만족하는 최적의 상기 SVC 적응변환 연산자에 포함된 공간 품질기술자, 시간 품질기술자, SNR 품질기술자 각각을 결정하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  35. 제 25 항에 있어서,
    상기 품질 결정단계는 원래의 비디오 품질을 표현한 품질 최고점과 상기 SVC 적응변환 연산자에 포함된 동일한 공간 품질기술자 및 시간 품질기술자를 가지는 구간에서의 SNR 품질기술자의 최저점을 표현한 품질 기저점을 기초로 상기 단말의 가용대역폭에 따라 증감시켜 SNR 품질기술자를 결정하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  36. 제 25 항에 있어서,
    상기 비트스트림 추출단계는 SVC 표준화된 품질기술자 중 상기 적응변환 연산자에 포함된 공간 품질기술자, 시간 품질기술자, SNR 품질기술자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  37. 제 25 항에 있어서,
    SVC 표준화된 품질기술자 중 공간 품질기술자를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출단계는 상기 비트스트림의 축출되어야 할 공간적 품질 레이어의 갯수만큼 상기 공간 품질기술자를 수치화하고 상기 수치에 따라 상기 공간 품질기술자의 적응변환을 수행하지 않거나 상기 비트스트림의 공간적 품질 레이어 중 상기 수치에 따른 갯수만큼의 최상위 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  38. 제 25 항에 있어서,
    SVC 표준화된 품질기술자 중 시간 품질기술자를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출단계는 상기 비트스트림의 코딩값에 기초로 축출되어야 할 시간적 품질레벨을 수치화하고 상기 수치에 따라 상기 시간 품질기술자의 적응변환을 수행하지 않거나 상기 시간적 품질레벨 중 상기 수치에 따른 갯수만큼의 최상위 레벨을 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  39. 제 25 항에 있어서,
    SVC 표준화된 품질기술자 중 SNR 품질기술자의 Fine Grain 품질기술자(FGS)를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출단계는 상기 비트스트림의 축출되어야 할 FGS 레이어와 FGS 파편의 합으로 이루어진 SNR비트율과 상기 비트스트림의 FGS 레이어들의 비트율의 총합과의 비율에 따라 상기 SNR 품질기술자의 적응변환을 수행하지 않거나 상기 비트스트림의 상기 비율에 따른 갯수만큼의 최상위 FGS 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  40. 제 25 항에 있어서,
    SVC 표준화된 품질기술자 중 SNR 품질기술자의 Coarse Grain 품질기술 자(CGS)를 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출단계는 상기 비트스트림의 축출되어야 할 최상위 CGS 레이어의 비트율의 총합과 상기 비트스트림의 CGS 레이어들의 비트율의 총합과의 비율에 따라 CGS 품질 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  41. 제 25 항에 있어서,
    SVC 표준화된 품질기술자 중 SNR 품질기술자의 FGS 및 CGS를 모두 만족하도록 비트스트림의 적응변환을 하는 경우, 상기 비트스트림 추출단계는 상기 비트스트림의 축출되어야 할 CGS 레이어의 비트율과 상기 CGS 레이어에 포함된 FGS 헤이어의 비트율 및 추출되어야 할 FGS 파편의 비트율의 합과 전체 CGS 레이어 및 전체 FGS 레이어의 비트율의 합과의 비율을 만족하도록 적절한 갯수만큼의 상기 최상위 CGS 레이어 또는 상기 최상위 FGS 레이어를 축출하여 적응변환을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  42. 제 25 항에 있어서,
    상기 SVC 기술이 적용된 비트스트림에 대한 품질정보는 XML 형식을 통하여 기록된 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  43. 제 25 항에 있어서,
    상기 비트스트림 추출단계를 통하여 적응변환된 SVC 기술이 적용된 비트스트림에 대한 품질정보를 SVC 적응변환 연산자로 기술하는 품질정보 기술단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  44. 스케일러블 비디오 코딩(SVC) 기술이 적용된 비트스트림과 상기 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 입력받는 디지털 아이템 입력단계;
    상기 비트스트림을 전송받는 단말의 네트워크 환경정보와 사용자 환경정보를 입력받는 소비 환경정보 입력단계;
    상기 네트워크 환경정보 및 사용자 환경정보에 기초하여 상기 비트스트림의 SVC 적응변환 연산자를 결정하고 상기 결정된 SVC 적응변환 연산자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 적응변환 처리단계; 및
    상기 적응변환 처리단계에서 추출된 비트스트림을 상기 단말로 전송하고, 상기 적응변환 처리부에서 추출된 비트스트림에 대한 SVC 적응변환 연산자가 포함된 품질정보를 생성하는 디지털 아이템 출력단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  45. 제 44 항에 있어서,
    상기 디지털 아이템 입력단계는 XML 형식을 통하여 기술된 상기 SVC 기술이 적용된 비트스트림의 품질정보를 입력받는 품질정보 입력단계; 및
    상기 SVC 기술이 적용된 비트스트림을 입력받는 SVC 비디오 입력단계;로 이루어진 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  46. 제 44 항에 있어서,
    상기 소비 환경정보 입력단계는 대역폭(Bandwidth)이 포함된 네트워크 환경정보를 획득하는 네트워크 환경정보 입력단계; 및
    상기 단말의 성능 또는 사용자의 품질 선호도가 포함된 사용자 환경정보를 획득하는 사용자 환경정보 입력단계;로 이루어진 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  47. 제 44 항에 있어서,
    상기 적응변환 처리단계는 상기 품질정보로부터 XML을 파싱하여 SVC 기술이 적용된 비트스트림의 적응변환을 위한 SVC 적응변환 연산자를 추출하는 품질정보 추출단계;
    상기 추출된 SVC 적응변환 연산자와 상기 네트워크 환경정보 및 사용자 환경정보를 기초로 사용자의 단말에 디스플레이하기 적절한 SVC 적응변환 연산자를 결정하는 SVC 적응변환 품질 결정단계; 및
    상기 결정된 SVC 적응변환 연산자를 만족하도록 상기 비트스트림을 추출하여 적응변환하는 SVC 비트스트림 추출단계;로 이루어진 것을 특징으로 하는 블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  48. 제 44 항에 있어서,
    상기 디지털 아이템 출력단계는 상기 추출된 SVC 기술이 적용된 비트스트림을 사용자 단말로 전송하는 적응변환 SVC 비트스트림 출력단계; 및
    상기 SVC 기술이 적용된 비트스트림의 차후 적응변환에 이용되는 상기 SVC 기술이 적용된 비트스트림의 품질정보를 SVC 적응변환 연산자가 포함된 XML 형식으로 기술하는 품질정보 기술단계;로 이루어진 것을 특징으로 하는 스케일러블 비디오 코딩 기술이 적용된 비트스트림 적응변환 방법.
  49. 제 25 항 내지 제 48 항 중 어느 한 항의 방법을 수행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060097262A 2005-10-07 2006-10-02 스케일러블 비디오 코딩 기술이 적용된 비트스트림적응변환 장치 및 방법 KR100848310B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/KR2006/003989 WO2007043770A1 (en) 2005-10-07 2006-10-02 Method and apparatus for scalable video adaptation using adaptation operators for scalable video
JP2008534439A JP2009510966A (ja) 2005-10-07 2006-10-02 スケーラブルビデオコーディング技術が適用されたビットストリーム適応変換装置及び方法
US12/088,480 US20080247460A1 (en) 2005-10-07 2006-10-02 Method and Apparatus For Scalable Video Adaption Using Adaption Operators For Scalable Video
EP06799070A EP1932354A4 (en) 2005-10-07 2006-10-02 METHOD AND DEVICE FOR SCALABLE VIDEO ADJUSTMENT USING ADJUSTABLE OPERATORS FOR SCALABLE VIDEO
CN2006800370962A CN101283596B (zh) 2005-10-07 2006-10-02 使用分级视频的适配操作符的分级视频适配方法和装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20050094386 2005-10-07
KR1020050094386 2005-10-07
KR20050127710 2005-12-22
KR1020050127710 2005-12-22

Publications (2)

Publication Number Publication Date
KR20070039459A true KR20070039459A (ko) 2007-04-12
KR100848310B1 KR100848310B1 (ko) 2008-07-24

Family

ID=38160304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060097262A KR100848310B1 (ko) 2005-10-07 2006-10-02 스케일러블 비디오 코딩 기술이 적용된 비트스트림적응변환 장치 및 방법

Country Status (4)

Country Link
US (1) US20080247460A1 (ko)
JP (1) JP2009510966A (ko)
KR (1) KR100848310B1 (ko)
CN (1) CN101283596B (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078560A1 (en) * 2007-12-18 2009-06-25 Electronics And Telecommunications Research Institute Apparatus and method for generalized fgs truncation of svc video with user preference
KR100923855B1 (ko) * 2007-11-30 2009-10-27 한국전자통신연구원 Ａｖｃ 싱글레이어를 이용한 ｓｖｃ 멀티레이어 비트스트림변환 방법 및 장치
KR100939915B1 (ko) * 2007-12-18 2010-02-03 한국전자통신연구원 사용자 선호도를 이용한 ｓｖｃ 비디오의 일반화된 ｆｇｓ데이터 추출 장치 및 방법
KR100970388B1 (ko) * 2008-10-31 2010-07-15 한국전자통신연구원 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법
KR100978355B1 (ko) * 2008-11-06 2010-08-30 연세대학교 산학협력단 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법
WO2010120078A2 (en) * 2009-04-13 2010-10-21 Samsung Electronics Co., Ltd. Channel adaptive video transmission method, apparatus using the same, and system providing the same
KR20110125823A (ko) * 2010-05-14 2011-11-22 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
KR101105445B1 (ko) * 2009-11-16 2012-01-17 한국항공대학교산학협력단 스케일러블 비디오의 패킷 손실 오류를 축소하기 위한 적응 장치 및 그 방법
KR101144539B1 (ko) * 2008-06-05 2012-05-14 한국전자통신연구원 스케일러블 비디오 코딩 비트스트림의 적응 변환 장치 및 그 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100628655B1 (ko) * 2004-10-20 2006-09-26 한국전자통신연구원 상이한 디지털 저작권 관리 도메인간의 콘텐츠 교환을 위한방법 및 시스템
US9197677B2 (en) * 2009-03-09 2015-11-24 Arris Canada, Inc. Multi-tiered scalable media streaming systems and methods
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
KR101028956B1 (ko) * 2009-07-31 2011-04-12 포항공과대학교 산학협력단 모바일 ｉｐｔｖ 서비스를 제공하는 방법 및 이를 위한 시스템
US8566393B2 (en) * 2009-08-10 2013-10-22 Seawell Networks Inc. Methods and systems for scalable video chunking
DE102009050312B4 (de) * 2009-10-22 2015-01-22 Airbus Operations Gmbh Digitales Rundsendeverfahren
JP2011125009A (ja) * 2009-12-10 2011-06-23 Korea Electronics Telecommun サブフローを基盤でネットワークを管理するための装置
US8341284B2 (en) * 2009-12-18 2012-12-25 At&T Intellectual Property I, L.P. Method and system for selecting a delivery method for media on demand
US8908774B2 (en) * 2010-02-11 2014-12-09 Mediatek Inc. Method and video receiving system for adaptively decoding embedded video bitstream
US8190677B2 (en) 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
CN106330905B (zh) * 2010-09-01 2020-12-01 艾迪尔哈布股份有限公司 内容提供方法和接收提供的内容的方法
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) * 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
US9712887B2 (en) 2012-04-12 2017-07-18 Arris Canada, Inc. Methods and systems for real-time transmuxing of streaming media content
CN106604078B (zh) * 2015-10-14 2019-07-19 北京国双科技有限公司 一种网络视频推荐方法及装置
US10021402B2 (en) * 2015-12-16 2018-07-10 Dialogic Corporation Estimation of video quality of experience on media servers

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768537A (en) * 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
US6650783B2 (en) * 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6836512B2 (en) * 2000-10-11 2004-12-28 Koninklijke Philips Electronics N.V. Spatial scalability for fine granular video encoding
US20020136292A1 (en) * 2000-11-01 2002-09-26 Webcast Technologies, Inc. Encoding and decoding of video signals
US6580759B1 (en) * 2000-11-16 2003-06-17 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video system
JP4150951B2 (ja) 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
JP2004000917A (ja) * 2002-03-25 2004-01-08 Jfe Engineering Kk ガス化溶融炉での循環水の清浄化方法及び清浄化装置
US8244895B2 (en) * 2002-07-15 2012-08-14 Hewlett-Packard Development Company, L.P. Method and apparatus for applying receiving attributes using constraints
US7483631B2 (en) * 2002-12-24 2009-01-27 Intel Corporation Method and apparatus of data and control scheduling in wavelength-division-multiplexed photonic burst-switched networks
US20050094732A1 (en) * 2003-10-30 2005-05-05 Debargha Mukherjee Data communications methods, compressed media data decoding methods, compressed media data decoders, articles of manufacture, and data communications systems
KR20050077874A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치
US7617436B2 (en) * 2005-08-02 2009-11-10 Nokia Corporation Method, device, and system for forward channel error recovery in video sequence transmission over packet-based network

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100923855B1 (ko) * 2007-11-30 2009-10-27 한국전자통신연구원 Ａｖｃ 싱글레이어를 이용한 ｓｖｃ 멀티레이어 비트스트림변환 방법 및 장치
WO2009078560A1 (en) * 2007-12-18 2009-06-25 Electronics And Telecommunications Research Institute Apparatus and method for generalized fgs truncation of svc video with user preference
KR100939915B1 (ko) * 2007-12-18 2010-02-03 한국전자통신연구원 사용자 선호도를 이용한 ｓｖｃ 비디오의 일반화된 ｆｇｓ데이터 추출 장치 및 방법
KR101144539B1 (ko) * 2008-06-05 2012-05-14 한국전자통신연구원 스케일러블 비디오 코딩 비트스트림의 적응 변환 장치 및 그 방법
KR100970388B1 (ko) * 2008-10-31 2010-07-15 한국전자통신연구원 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법
KR100978355B1 (ko) * 2008-11-06 2010-08-30 연세대학교 산학협력단 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법
WO2010120078A2 (en) * 2009-04-13 2010-10-21 Samsung Electronics Co., Ltd. Channel adaptive video transmission method, apparatus using the same, and system providing the same
WO2010120078A3 (en) * 2009-04-13 2010-12-23 Samsung Electronics Co., Ltd. Channel adaptive video transmission method, apparatus using the same, and system providing the same
US8700794B2 (en) 2009-04-13 2014-04-15 Samsung Electronics Co., Ltd. Channel adaptive video transmission method, apparatus using the same, and system providing the same
KR101105445B1 (ko) * 2009-11-16 2012-01-17 한국항공대학교산학협력단 스케일러블 비디오의 패킷 손실 오류를 축소하기 위한 적응 장치 및 그 방법
KR20110125823A (ko) * 2010-05-14 2011-11-22 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법

Also Published As

Publication number Publication date
JP2009510966A (ja) 2009-03-12
US20080247460A1 (en) 2008-10-09
KR100848310B1 (ko) 2008-07-24
CN101283596B (zh) 2011-07-13
CN101283596A (zh) 2008-10-08

Similar Documents

Publication Publication Date Title
KR100848310B1 (ko) 스케일러블 비디오 코딩 기술이 적용된 비트스트림적응변환 장치 및 방법
US6574279B1 (en) Video transcoding using syntactic and semantic clues
US9749713B2 (en) Budget encoding
US6490320B1 (en) Adaptable bitstream video delivery system
US8218617B2 (en) Method and system for optimal video transcoding based on utility function descriptors
Kim et al. Content-adaptive utility-based video adaptation
EP3148200B1 (en) Information processing device and method selecting content files based on encoding parallelism type
MX2013008757A (es) Control de velocidad de bits adaptativa basado en escenas.
CN102450014A (zh) 用于质量感知视频优化的框架
GB2585030A (en) Method of signalling in a video codec
CA2843718C (en) Methods and systems for processing content
Su et al. A practical design of high-volume steganography in digital video files
Rusert et al. Guided just-in-time transcoding for cloud-based video platforms
Vetro et al. Media conversions to support mobile users
KR101124723B1 (ko) 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법
CN115396678A (zh) 多媒体资源中轨道数据的处理方法、装置、介质及设备
CN114641793A (zh) 图像提供设备及其图像提供方法和显示设备及其显示方法
KR100898769B1 (ko) 실시간 스트리밍 서비스를 위한 ｓｖｃ 비디오 데이터추출기 및 방법
KR101470404B1 (ko) N 스크린 서비스를 위한 트랜스코딩 방법 및 장치
WO2007043770A1 (en) Method and apparatus for scalable video adaptation using adaptation operators for scalable video
WO2023130893A1 (zh) 流媒体传输方法、装置、电子设备及计算机可读存储介质
CN100366077C (zh) 基于实用函数描述的最优视频解码的方法和系统
Cavallaro Universal multimedia access
Cha et al. Adaptive scheme for streaming MPEG-4 contents to various devices
Awaghad et al. Design of adaptable, optimal, and low complex JPEG2000 Transcoding of Images on OFDM Network Using DWT

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee