JP4447605B2 - メディア資源に応じてサービス品質をサポートするためのマルチメディア・コンテンツの様式変換方法および装置 - Google Patents

メディア資源に応じてサービス品質をサポートするためのマルチメディア・コンテンツの様式変換方法および装置 Download PDF

Info

Publication number
JP4447605B2
JP4447605B2 JP2006532097A JP2006532097A JP4447605B2 JP 4447605 B2 JP4447605 B2 JP 4447605B2 JP 2006532097 A JP2006532097 A JP 2006532097A JP 2006532097 A JP2006532097 A JP 2006532097A JP 4447605 B2 JP4447605 B2 JP 4447605B2
Authority
JP
Japan
Prior art keywords
content
format
multimedia content
format conversion
scale factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006532097A
Other languages
English (en)
Other versions
JP2007517270A (ja
JP4447605B6 (ja
Inventor
ロ、ヨン−マン
サン チュオン、コン
ホン、ジン−ウ
キム、ジェ−ゴン
ナム、ジェ−ホ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Curon Inc
Electronics and Telecommunications Research Institute ETRI
Research and Industrial Cooperation Group
Original Assignee
Curon Inc
Electronics and Telecommunications Research Institute ETRI
Research and Industrial Cooperation Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Curon Inc, Electronics and Telecommunications Research Institute ETRI, Research and Industrial Cooperation Group filed Critical Curon Inc
Publication of JP2007517270A publication Critical patent/JP2007517270A/ja
Application granted granted Critical
Publication of JP4447605B2 publication Critical patent/JP4447605B2/ja
Publication of JP4447605B6 publication Critical patent/JP4447605B6/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、メディア資源に応じてサービス品質をサポートするためのマルチメディア・コンテンツの様式(modality)変換方法および装置に関し、特にユビキタスコンピューティング環境で使用されるマルチメディア・コンテンツのサービス品質をサポートするためのマルチメディア・コンテンツの様式変換に関する。
ある端末機が同じ種類映像のコンテンツ資源をサポートするのではなく、汎用マルチメディアに接続してこれを使用することが、マルチメディア通信において新たな傾向となっている。汎用マルチメディア接続（ＵＭＡ:Universal Multimedia Access）のシステムにおいて、コンテンツの適合性変換は、利用者に対しサービス品質(ＱｏＳ)をサポートするための最も重要な手続きである。前記コンテンツ適合性変換には、二つの側面が考えられる。一つは、様式を変換しないで、コンテンツのビット率(または質)を変化させるコンテンツ・トランスコーディング(transcoding)であり、もう一つは、ある様式(例、映像)から別の様式(例、静止画像)へコンテンツを変換する様式変換である。
コンテンツ値(またはコンテンツ品質)と資源間の相対的な相関関係を表すコンテンツ値モデル(またはコンテンツ値曲線)は、最近いくつかの研究を通じて議論されてきた。１９９９年１０月に、S.Chandra, C.S.Ellisにより、2nd Symp.Internet Technologies and Systemsに発表された“JPEG compression metric as a quality aware image transcoding”という論文、また、S. Chandra, C. S. Ellisによる“JPEG compression metric as a quality aware image transcoding, 2nd Symp. Internet Technologies and Systems, Boulder, CO:USENIX, Oct. 1999”という論文で、ＪＰＥＧ画像に特定した品質測定に関する広範囲な研究が、資源の量と密接に関連する圧縮率に基づき行われている。1999年3月に、Rakesh Mohan, John R. Smith, Chung-Sheng LiによりIEEE Trans. Multimedia, Vol. 1、No. 1, pp. 104-114に発表された論文“Adapting Multimedia Internet Content for Universal Access, IEEE Trans. Multimedia, Vol. 1, No. 1, pp. 104-114, Mar. 1999”で、コンテンツ表現の設計が互いに異なる様式を持つコンテンツ・バージョンを含むとき、コンテンツ値と資源との相関関係が単調凹関数(single concave function)により表現されることが議論されている。しかし、前記凹関数では互いに異なる様式においてコンテンツ値の相関関係が適切に表現されない。
現在、ＱｏＳのための大部分のコンテンツ値は、特定の様式に対して各々計算しなければならない。これは各々の様式自体がその特性を持っており、互いに異なる様式の質が互いに異なる次元で測定されるかも知れないからである。しかし、様式変換とコンテンツ・スケーリング(contents scaling)を容易にするための体系的な方法で互いに異なる様式のコンテンツ値を組み合わせる必要がある。
直観的には、コンテンツのいくつかの資源に関する特性、すなわち制約条件が与えられれば、サービス提供者は利用者にできるだけ最良のサービス品質を提供するまで資源特性に合うようにコンテンツを(ダウン)スケーリングする。しかし、場合によってはスケールされたコンテンツの品質が利用者に適さないことがある。この場合、上記の問題を解決する策は、別の様式にコンテンツを変換することである。例えば、帯域幅が非常に狭い場合、一連の異なる画像を伝送する方が低画質のビデオをストリーミングして伝送するよりも適することがある。このような方法が、映像から画像への様式の変換の典型的な例である。
ＱｏＳの観点からみたとき、様式変換で最も重要な懸案は「どの資源特性が、現在の様式が別の様式へと変換されることを要求しているのか？」である。様式変換をサポートする現在のシステムの大部分は、単に端末機が特定の様式をサポートしない場合にだけ機能する。しかし、端末機が様式をサポートするが資源が制限されているときには、従来のいかなる発明も、最良のＱｏＳを保障する様式変換に対する体系的な解決策を提供してこなかった。本発明は、様式のＱｏＳに基づいた上記解決策のための、様式変換の境界を探す方法を提供する。
したがって、本発明の目的は、多様なコンテンツ環境およびデバイス環境において同じ様式のみならず異なる様式でも、ＱｏＳの観点から最良のＱｏＳを保障する様式変換の時点及び方法を提供することにある。
このような目的と関連して、本発明は(1)互いに異なるコンテンツ様式のスケール因子を使用して、ＱｏＳのための重畳コンテンツ値モデル(overlap content value model)を設計する方法と、(2)様式変換の自動化のための拡張されたマークアップ言語（ＸＭＬ)への様式変換のＱｏＳの記述と、を提案する。
本発明は、メディア資源に応じてマルチメディア・コンテンツのサービス品質をサポートするための様式変換方法であって、前記マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る段階と、該マルチメディア・コンテンツを受け取る段階と、メディア資源および前記様式変換記述子により定められた様式へ、前記マルチメディア・コンテンツの様式を変換する段階と、を具備する。
前記様式変換記述子は、マルチメディア・コンテンツの各様式に対するコンテンツ値曲線及びスケール因子を記述する。各コンテンツ値曲線は、２以上の相異なる品質タイプ(quality type)で測定されたコンテンツ値曲線との組み合わせにより得られる。
好ましくは、前記様式変換の段階は、各々の様式に対する前記コンテンツ値曲線及びスケール因子を用いて変換境界(conversion boundaries)を得る段階と、前記変換境界を利用して、前記メディア資源に対する最適の様式を判定する段階と、判定された最適の様式にマルチメディア・コンテンツを変換する段階と、を含む。
また、本発明は、メディア資源に応じてマルチメディア・コンテンツのＱｏＳをサポートするための、前記マルチメディア・コンテンツの様式変換装置であって、マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る手段と、前記マルチメディア・コンテンツの様式を、メディア資源および前記様式変換記述子により定められた様式に変換する手段と、を具備する。
本発明で提案されるアプローチは、ＱｏＳをサポートするためのコンテンツ値と資源と間の相関関係を表す重畳コンテンツ値モデルと、前記重畳コンテンツ値モデルの設計とによって構成される。本発明においてマルチメディア・コンテンツは、異質なネットワーク環境から送られ、多様な端末機で使用される。先にＱｏＳを保障するためのマルチメディア・コンテンツの様式変換特性が記述されたデータ記述構造が受け取られる。次に、前記マルチメディア・コンテンツの様式が、入力されたデータ記述構造に従って、ＱｏＳを提供するための様式に変換される。
好ましくは、前記マルチメディア・コンテンツの様式が前記入力されたデータ記述構造に従ってＱｏＳを提供するために変換されるとき、該マルチメディア・コンテンツの様式は異なるコンテンツ様式間の変換境界を利用して変換される。異なるコンテンツ様式間の変換境界を利用してコンテンツの様式を変換する段階は、(Ａ)コンテンツ値と資源との間の相関関係を表す各様式のコンテンツ値曲線(様式曲線)を探す段階と、(Ｂ)各様式の重要性を表す各様式のスケール因子(scale factor)を探す段階と、(Ｃ)前記スケール因子に従って、前記各様式曲線を一つの重畳コンテンツ値モデルに写像する段階と、(Ｄ)前記重畳コンテンツ値モデルにおける前記様式曲線の交点である変換境界を得る段階と、(Ｅ)前記得られた様式変換境界を利用して現在の様式を別の様式に変換して、制約条件下でＱｏＳをサポートする段階と、を含んでいる。
コンテンツ値と資源との間の相関関係を表す各様式のコンテンツ値曲線(様式曲線)を探す段階において、コンテンツ値は別の品質（ＰＳＮＲ、ＭＯＳ等）で測定され得る。コンテンツ値が多数の資源形態と関連があるとき、前記様式曲線は様式曲面に変更される。
各様式の重要性を表す各様式のスケール因子を探す段階において、該スケール因子はコンテンツ生成者又は提供者によって自動又は手動で提供される。スケール因子に従って各様式曲線を一つの重畳コンテンツ値モデルに写像する段階において、前記コンテンツ値は別の品質形態で測定された値との組み合わせから得られる。
以下、添付した図面を参照しながら、本発明の実施例を詳細に説明する。図面において、同一の参照符号は同一または類似の構成要素または信号を示すものとして用いられる。
図1は本発明の一実施例によるマルチメディア・コンテンツの様式変換装置のブロック図である。マルチメディア・コンテンツおよび様式変換記述子受信部１０２は、ネットワークを介してマルチメディア・コンテンツとこのマルチメディア・コンテンツの様式変換記述子とを受信して、その受信したマルチメディア・コンテンツ及び記述子を、様式変換記述子抽出部１０４及びマルチメディア・コンテンツ様式変換部１０８に提供する。前記様式変換記述子抽出部１０４は入力されるマルチメディア・コンテンツの様式変換記述子を抽出して、該様式変換記述子を前記マルチメディア・コンテンツ様式変換部１０８に提供する。メディア資源情報提供部１０６は、マルチメディア・コンテンツの提供と関連し且つネットワークまたは端末機により付与される制限条件を、前記マルチメディア・コンテンツ様式変換部１０８に提供する。該マルチメディア・コンテンツ様式変換部１０８は、様式変換記述子及びメディア資源情報によって提供されたメディア資源に対する最適の様式を判定し、前記マルチメディア・コンテンツの様式を前記最適の様式に変換する。新たな様式に変換されたマルチメディア・コンテンツは、出力部１１０を介してネットワークまたは端末機に提供される。
本発明により提案される重畳コンテンツ値モデルは、コンテンツ値、資源、及び様式間の相関関係を表すことができる。各コンテンツは、異なるコンテンツ様式に従ってコンテンツ値を表す前記重畳コンテンツ値モデルと共に表現されることができる。
図２は、映像様式を有するコンテンツについてのコンテンツ値モデルの例を示している。図２において、各様式のコンテンツ値曲線は、コンテンツ提供者や著作者によって、又は端末機での計算を通じて割り当てることができる。
図３は、本発明によるコンテンツ項目(content items)の最終的なコンテンツ値関数の概念図である。様式曲線の交点は、図３の点線によって示されるように様式間の変換境界を表す。この変換境界に基づいて、様式変換を、許される最大限のＱｏＳを維持するように定量的に決定することができる。本発明は多様なコンテンツ様式を図３に示す重畳モデルで表現して、ＱｏＳに基づく様式変換点を決定する方法を含んでいる。
単一の様式曲線はコンテンツ・スケーラー(content scaler)により導入されたコンテンツ・スケーリング演算(content scaling operation)により形成される。例えば、映像コンテンツは、空間解像度、時間解像度、及び一ピクセル毎の符号化ビット(coded bits per pixel)を考慮して、特定の資源特性に合わせるためにスケーリングされる。このような単一のコンテンツ・モデルから重畳コンテンツ・モデルを形成するために、各々の様式を含む一つの曲線を一つの重畳コンテンツ・モデル上で作らなければならない。
コンテンツiの様式jについてのコンテンツ値曲線をVMijとする。ここでj=1…Jiであり、Jiは前記コンテンツiが取れる様式の数を意味する。また、すべてのj=1…Jiに対してVMij≧０を満さなければならず、j=1はコンテンツのオリジナルの様式を表す指標(index)である。このとき、コンテンツiに対するコンテンツ値関数は次の数1のように表される。
Figure 0004447605
 数1でwijはコンテンツiの様式jのためのスケール因子を表す。数1で提示したように一つのモデルで異なる様式を組み合わせるためには、コンテンツ著作者や提供者が各様式に適切なスケール因子wijを自動または手動で割り当てることによって、異なる形式のコンテンツ値がそれらの相対的な重要度を反映して、共通したコンテンツ値に対する共通の尺度を有さなければならない。
更に、一つの様式のための前記コンテンツ値曲線は多様な品質に応じて測定されることもある。例えば、映像様式はＰＳＮＲ又はＭＯＳの計算により、コンテンツ値曲線を各々得ることができる。したがって、特定の品質で測定されたコンテンツ値曲線を表すために「品質曲線(quality curve)」という用語が使用される。その結果、一つの様式曲線(modality curve)は多様な品質曲線で構成されることができる。
Figure 0004447605
 数２でVMk ijはコンテンツの品質タイプkに応じて測定された品質曲線を意味する。また、zkはＱｏＳを保障するための、品質タイプkのスケール因子である。図４は様式曲線を求める例を示すグラフであって、異なる測定コンテンツ値（ＰＳＮＲ及びＭＯＳ）を各々有する二つの品質曲線から一つの様式曲線を形成する過程を表している。前記スケール因子zkは異なって測定されたコンテンツ値を一つの様式曲線に組み合わせるためのパラメーターであって、ＱｏＳスケジュールに従ってコンテンツ提供者によってあらかじめ提供されること、または自動的に計算されることが可能である。
一方、コンテンツが多様な資源と関連しているとき、様式曲線は多次元空間で「様式面」になる。更に、本発明で提示した上記方法は多くの資源に対する考慮に関係なく適用可能で、且つ有用である。まとめると、ＱｏＳのための様式変換において、重畳コンテンツ値モデルの分析的な特性は次のように要約される。
（１）モデルは多様な様式曲線を含んでいる。
（２）最終的なコンテンツ値関数は、重畳モデルの上位部分で構成される。
（３）各様式曲線は一つまたはそれ以上のコンテンツ・スケーリング操作で構成される。
（４）各様式曲線は減少しない特性を有し、資源の数が増大するとき増加しない。
全体の様式変換過程を要約すれば、図５のフロー図に示す通りである。ステップ１０及び１１において、多様な測定方法を用い、品質曲線がn個の様式について計算される。ステップ２０及び２１において、各様式について計算された品質曲線は、数２を利用して、品質タイプに依存するスケール因子に基づいて、一つの様式曲線に組み合わされる。この場合、結果としてn個の様式曲線がステップ３０及び３１で得られる。各様式についてのスケール因子を概算した後に、ステップ４０において、一つの重畳コンテンツ値モデルを形成するために、各様式曲線は求めたスケール因子に基づき一つのモデルに写像される。コンテンツに対する一つの重畳コンテンツ値モデル（ステップ５０）において、様式曲線の交点をステップ６０で探すことができる。最終的に得られた様式変換境界を用いることによって、現在の様式がどの様な制約条件下でＱｏＳをサポートした状態で別の様式に変換されるべきであるかについての答えを求めることができる（ステップ７０）。
このシステムにおいて前記重畳コンテンツ・モデルを作るにあたって、使用されるパラメーターを表現するメタデータ情報は、拡張されたマークアップ言語（ＸＭＬ）のような構造化された形態で表現される必要がある。表1は本発明で提案した様式変換のＱｏＳ技術をＸＭＬ形式で表現したものである。
Figure 0004447605
 表１で「Modality Curve Type」のセマンティックス(semantics)は次の表２のように定義される。
Figure 0004447605
 前述した実施例は、本発明を当業者が容易に理解できるようにするためのもので、本発明の権利範囲を限定するものではない。当業者は前述した実施例に対して多様な変形や変更が可能であることに注目しなければならない。本発明の権利範囲は原則的に後述する請求の範囲によって定められる。
本発明の構成によれば、様式間の変換境界が定量的に計算されるように、重畳コンテンツ値モデルを設計するための体系的なアプローチが提供される。その結果、一つのモデルで多様な様式間の相関関係を確立することができ、最適のＱｏＳをサポートする様式変換を可能とする。さらに、本発明は、様式変換及びコンテンツ・スケーリングに対する正確な決定のための基礎として用いられることによって、ＵＭＡを効果的に達成できるようにする。
本発明の一実施例に従ったマルチメディア・コンテンツの様式変換装置のブロック図。 本発明に従ったコンテンツ項目の重畳コンテンツ値モデルの概念図。 本発明に従ったコンテンツ項目の最終コンテンツ値関数の概念図。 映像コンテンツ様式についての二つの品質曲線から一つの最終様式曲線への構成(写像)を示す概念図であり、（ａ）は、極大Ｓ／Ｎ比(ＰＳＮＲ: Peak Signal to Noise Ratio)で測定された品質曲線を示すグラフであり、（ｂ）は、平均見解得点(ＭＯＳ: Mean Opinion Score)で測定された品質曲線を示すグラフであり、（ｃ）は、各スケール因子が1である場合の重ね合わされた１つの最終モダリティ曲線を示すグラフ。 ＱｏＳをサポートするコンテンツ様式の変換処理を説明するフロー図。

Claims (7)

  1. メディア資源に応じてマルチメディア・コンテンツのサービス品質（ＱｏＳ）をサポートするための前記マルチメディア・コンテンツの様式変換方法であって、
    前記マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る段階と、
    前記マルチメディア・コンテンツを受け取る段階と、
    前記マルチメディア・コンテンツを、メディア資源および前記様式変換記述子により定められる様式に変換する段階と、
    を具備することを特徴とし、
    前記様式変換記述子は、資源の様式と、資源の様式のスケール因子と、資源の様式に対する品質曲線と、品質曲線のスケール因子とを記述し、
    コンテンツ値曲線は、前記マルチメディア・コンテンツの品質を表すコンテンツ値とメディア資源との間の相関関係を表し、資源の様式の前記スケール因子は、異なる形式のコンテンツ値曲線に対して形式毎の相対的な重要度を反映し、品質曲線の前記スケール因子はＱｏＳスケジュールを反映する、マルチメディア・コンテンツの様式変換方法。
  2. 前記メディア資源は、前記マルチメディア・コンテンツが提供される端末機又は前記端末機が接続されるネットワークであることを特徴とする請求項１に記載の方法。
  3. 前記様式変換の段階は、
    各々の様式に対する前記コンテンツ値曲線及びスケール因子を用いて変換境界を得る段階と、
    前記変換境界を利用して前記メディア資源に対する最適の様式を判定する段階と、
    判定された最適の様式に前記マルチメディア・コンテンツを変換する段階と、
    を含むことを特徴とする請求項１に記載の方法。
  4. 前記変換境界は、各々の様式に対する前記コンテンツ値曲線が前記スケール因子に従って互いに重畳するときに、コンテンツ値曲線が互いに交差する交点に対応するメディア資源の値であることを特徴とする請求項３に記載の方法。
  5. メディア資源に応じてマルチメディア・コンテンツのＱｏＳをサポートするための、前記マルチメディア・コンテンツの様式変換装置であって、
    前記マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る手段と、
    前記マルチメディア・コンテンツの様式を、メディア資源および前記様式変換記述子により定められる様式に変換する手段と、
    を具備し、
    前記様式変換記述子は、資源の様式と、資源の様式のスケール因子と、資源の様式に対する品質曲線と、品質曲線のスケール因子とを記述し、
    コンテンツ値曲線は、前記マルチメディア・コンテンツの品質を表すコンテンツ値とメディア資源との間の相関関係を表し、資源の様式の前記スケール因子は、異なる形式のコンテンツ値曲線に対して形式毎の相対的な重要度を反映し、品質曲線の前記スケール因子はＱｏＳスケジュールを反映することを特徴とする、マルチメディア・コンテンツの様式変換装置。
  6. 前記様式変換手段は、
    各々の様式に対する前記コンテンツ値曲線と前記スケール因子とを利用して変換境界を得る手段と、
    前記マルチメディア・コンテンツの様式を、判定された最適の様式に変換する手段と、を含むことを特徴とする請求項５に記載の装置。
  7. 前記変換境界は、各々の様式に対する前記コンテンツ値曲線が前記スケール因子に従って互いに重畳するときに、コンテンツ値曲線が互いに交差する交点に対応するメディア資源の値であることを特徴とする請求項６に記載の装置。
JP2006532097A 2003-10-10 2004-10-08 メディア資源に応じてサービス品質をサポートするためのマルチメディア・コンテンツの様式変換方法および装置 Expired - Fee Related JP4447605B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2003-0070499 2003-10-10
KR1020030070499A KR20050034811A (ko) 2003-10-10 2003-10-10 이질적 환경 하에서 멀티미디어 서비스의 서비스질 지원을위한 시스템적인 형식 변환 방법 및 시스템
PCT/KR2004/002569 WO2005036893A2 (en) 2003-10-10 2004-10-08 Method and apparatus for converting the modality of multimedia contents to support the quality of service according to media resource

Publications (3)

Publication Number Publication Date
JP2007517270A JP2007517270A (ja) 2007-06-28
JP4447605B2 true JP4447605B2 (ja) 2010-04-07
JP4447605B6 JP4447605B6 (ja) 2010-08-11

Family

ID=

Also Published As

Publication number Publication date
EP1671495A2 (en) 2006-06-21
JP2007517270A (ja) 2007-06-28
CN101124570A (zh) 2008-02-13
KR20050034811A (ko) 2005-04-15
WO2005036893A2 (en) 2005-04-21
US20070214410A1 (en) 2007-09-13
WO2005036893A3 (en) 2007-01-25
US7925721B2 (en) 2011-04-12
EP1671495A4 (en) 2008-12-31
KR20060095902A (ko) 2006-09-04
KR100839582B1 (ko) 2008-06-19

Similar Documents

Publication Publication Date Title
JP6469788B2 (ja) メディアコンテンツの適応型ストリーミングのための品質情報の使用
US10171541B2 (en) Methods, devices, and computer programs for improving coding of media presentation description data
KR20090110202A (ko) 개인화된 사용자 인터페이스를 디스플레이하는 방법 및 장치
CN108965430A (zh) 图片获取方法、装置、计算机设备及存储介质
KR100839582B1 (ko) 미디어 자원에 따라 멀티미디어 컨텐츠의 서비스 품질을 지원하기 위한 형식 변환 방법 및 장치
JP5000138B2 (ja) マルチメディア・コンテンツを適合性変換する装置および方法
US20040015535A1 (en) Object transfer method with format adaptation
US20120259974A1 (en) System and method for dynamic modification of web page content to ensure consistent response time
CN112581568A (zh) 动态海报的生成方法、装置、服务器及存储介质
JP4447605B6 (ja) メディア資源に応じてサービス品質をサポートするためのマルチメディア・コンテンツの様式変換方法および装置
US9559929B2 (en) Network bandwidth measurement
CN111753228A (zh) 数据请求方法、装置、计算机可读介质及电子设备
KR100494845B1 (ko) 확장성 생성 언어 기반의 메타데이터 부호화 장치 및 그방법
CN114827113B (zh) 一种网页访问方法及装置
CN113849255B (zh) 一种数据处理方法、设备以及存储介质
JP2005190079A (ja) 情報処理装置および情報処理方法
Thang et al. Modality conversion: Toward the semantic frontier of UMA
JP5408486B2 (ja) コンテンツ送信装置及びデータ変換装置
JP2002232863A (ja) 映像配信方法及び装置
JP5613644B2 (ja) 映像情報処理ファイルシステム
RU2575684C2 (ru) Частичная загрузка и редактирование документов с сервера
JP2006173987A (ja) 画像変換サーバおよびその制御方法
JP2005143021A (ja) コンテンツ配信システム、コンテンツ中継装置、およびコンテンツ中継プログラム
JP2006126890A (ja) コンテンツ提供システム及びその方法並びにブラウザプログラム
JP2002342149A (ja) 所定のオブジェクト記述形式を転送する方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4447605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100118

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees