JP5000138B2 - マルチメディア・コンテンツを適合性変換する装置および方法 - Google Patents

マルチメディア・コンテンツを適合性変換する装置および方法 Download PDF

Info

Publication number
JP5000138B2
JP5000138B2 JP2005518754A JP2005518754A JP5000138B2 JP 5000138 B2 JP5000138 B2 JP 5000138B2 JP 2005518754 A JP2005518754 A JP 2005518754A JP 2005518754 A JP2005518754 A JP 2005518754A JP 5000138 B2 JP5000138 B2 JP 5000138B2
Authority
JP
Japan
Prior art keywords
conversion
content
preference
style
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005518754A
Other languages
English (en)
Other versions
JP2006517698A (ja
Inventor
ロ、ヨン−マン
ジュン、ヨン−ジュ
ホン、ジン−ウ
ナム、ジェ−ホ
キム、ジン−ウン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI, Korea Advanced Institute of Science and Technology KAIST filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2006517698A publication Critical patent/JP2006517698A/ja
Application granted granted Critical
Publication of JP5000138B2 publication Critical patent/JP5000138B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/003—Machine valves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17336—Handling of requests in head-ends
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S251/00—Valves and valve actuation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、マルチメディア・コンテンツを適合性変換する装置および方法に関し、特に、汎用のマルチメディアへの接続システムの、コンテンツ適合性変換処理過程において重要な部分である、系統的かつ合成的に接続する適合性変換の方法に関する。
汎用マルチメディアを使用するシステムにおいて、コンテンツの適合性変換は、多様な種類の端末および多様なネットワーク接続に対応する必要があるので、最良のコンテンツ表現方法を提供するための重要な処理過程である。コンテンツ適合性変換には、二つの側面が考えられる。一つは、ある様式(例、ビデオ)から別の様式(例、イメージ)へコンテンツを変換する様式変換であり、もう一つは、様式を変換しないで、コンテンツのビット率(すなわち質)を変化させるコンテンツ・トランスコーディング(transcoding)である。数々の論文でトランスコーディングという用語は、様式変換の意味としてもしばしば使われるが、本発明では明確化するために、前記のように2つの用語を区別して使用する。ここでの様式(modality)は、ビデオ、イメージ、グラフィック、オーディオ、テキストのようなモードだけでなく、MPEG、JPEG、GIFのようなコーディング様式(format)なども含む。
多重コンテンツ項目から構成されたマルチメディア文書が使用者に伝達され、端末で使用されると仮定する。この文書を、与えられた資源制約条件(例えば、総ビット率または総データの大きさ)に適合させるために、判断エンジン(図1の104)における様式変換に対するQoS(Quality of Service)関連の判断は、すべてのコンテンツ項目に対する2つの基本的質問、すなわち、様式変換はいつなされるのか、出力コンテンツ項目の様式はどんな様式なのかについての答えを反映しなければならない。特に、使用者の立場からの使用者嗜好度を反映し、前記2つの基本的な質問に対する答えが必要である。
このような二つの質問への答えが無ければ、コンテンツを適応させるための適切な様式変換およびコンテンツ・トランスコーディング技術を適用することができない。今までは、同時にこのような二つの質問に答えられるようなシステム的な研究がなされてなかった。このような質問を扱うための判断エンジン(104)の判断過程としては、まずRakesh Mohan,John R.Smith, Chung-Sheng Liが書いた論文“Adapting Multimedia Internet Content
for Universal Access, IEEE Trans.Multimedia, Vol.1, No.1, pp.104-114, Mar.1999’に記述さている通り、従来の資源割当問題として表現されよう。
ＲｉとＶｉとを、それぞれ文書にあるコンテンツ項目iの資源とコンテンツ値(Content Value)とする。ここで、コンテンツの資源はデータの大きさ、またはビット率でもよく、コンテンツ値はコンテンツにより伝達された情報の量を意味する。普遍的には、Ｖｉは、Ｒｉに対して減少しない関数であり、人それぞれ異なる主観的評価に依存する。コンテンツ値は次のような式で示す。
Figure 0005000138
式(１)において、コンテンツ値Ｖｉは、資源Ｒｉ、様式支援能力Ｍ、および使用者嗜好Ｐｉの関数で示される。ここで、コンテンツ項目iに対する資源割当は、次の式２のように示される。
Figure 0005000138
ここで、∧ は論理積を示す。式(２)は、使用者嗜好についての条件は使用者が特に所望する様式が最優先的に資源割当に反映されなければならないことを意味する。
例えば、視覚情報表現に弱い視覚障害者がマルチメディアを使用する時、ビデオ、イメージ、文字の様式よりはオーディオ様式の方が最優先され、資源割当に反映されなければならない。
式（２）において、与えられた資源制約条件Ｒ Ｃ および使用者嗜好条件に対して式（２）を満す｛Ｒｉ｝ 集合を探す問題が発生する。本発明は、基本的に使用者嗜好度が介入した様式変換の観点から、この問題への解決策に取り組んでいる。
既存の接続方式では、コンテンツ値はたった一つの分析関数(例、log関数)または生産者や提供者により指定された任意の曲線により資源と関連を持つ。しかし、一つの分析関数で表現されるコンテンツ値モデルは、他の様式が持つコンテンツ値間の相互連関性を示すことができない。特に、使用者嗜好条件をコンテンツ・モデリングに反映することができない。
また、コンテンツ様式変換において、使用者嗜好度を考慮する従来の接続方式では現実的状況を具体的に反映できない。例えば、あるサーバーの特定ビデオ・クリップを変換し、それを端末へ伝送しなければならないと仮定する。また、端末がビデオを除いたイメージ、オーディオ、テキスト様式を全部支援すると仮定する。初期伝送時のネットワーク帯域幅は、ビデオから変換されたイメージを端末へ伝送するのに充分である。しかし、時間が経過したある時点においてネットワーク帯域幅が狭くなり過ぎて、変換されたイメージを伝送することができないとすれば、ビデオはより小さい帯域幅で足りるオーディオ様式に変換される必要があり、場合によってはビデオからテキストへの変換が要求される。前記の例によって、本発明で取り扱うネットワーク帯域幅の可変特性に応じた変換順位を有する様式変換が必要であることを明確に知ることができる。
他の例として、あるネットワークがビデオ、イメージ、オーディオ、テキストなどの全部の様式を伝送できると仮定する。コンテンツを利用する際、使用者はしばしば端末を変えて使用することがある。先に使用者がＰＤＡを使用する場合、ＰＤＡの特性上、ビデオ様式よりはイメージ様式を処理するのに適しており、ほとんど全部のイメージが見られるため、ビデオからイメージへの変換が選択される。ところが、使用者が端末をＰＤＡから移動電話に切り換えると、ビデオからオーディオへの様式変換が要求される。このような例は、セッション(session)移動において、互いに異なる端末能力により発生し得る様式変換の必要性を示す。
実際、使用者が短い時間に一時的なネットワーク特性を予測したり、新しい端末の処理能力を検査するのは極めて困難である。また、重要な変化が起きる瞬間ごとに、その都度様式変換を選択して入力することは、使用者にとってかなり不便なことでもある。従来の方法では、前記様式変換のための使用者嗜好度の柔軟な明示に対する問題を解決するための方法を提示できない。また、従来の研究は、資源割当方式がコンテンツ・トランスコーディングに焦点を合わすことに止まっており、全部のコンテンツ項目に対する2つの質問、いわゆる、いつ、どのよう様式変換が決定されるかについて説明されておらず、様式変換に対する使用者嗜好度がこれら研究では適切に取り扱われていなかった。
したがって、本発明は使用者嗜好度を反映して、資源制約条件に応じてマルチメディア様式を自動変換する装置および方法を提供することをその目的とする。
また、本発明は、コンテンツ値と資源間の関係をモデル化することと、このようなモデル化に関連し、使用者嗜好度を表示することを別の目的とする。
本発明はコンテンツ値と資源間の関係を示すコンテンツ値モデルと、使用者に様式変換に対する選択の機会を与える柔軟な方式を提供する使用者嗜好の明示方法と、多重コンテンツ間に総資源を配分する資源割当方法を含む。合わせて使用者嗜好度でもってコンテンツ値モデルを変更するため、指定変換順序と重要度または加重値情報を使用する。このような接続方法は、複合文書の多重コンテンツを扱うことができ、使用者嗜好度だけでなく端末とネットワークから生じ得る別の制約条件を受け入れることができる。
本発明は、マルチメディア様式を適合変換する装置において、マルチメディア・コンテンツ、前記マルチメディア・コンテンツのメタデータ(または記述子)、様式変換使用者嗜好度、資源制約条件が入力され、様式変換時点と様式変換方法を判断する判断エンジンと、前記判断エンジンにより判断された様式変換時点と様式変換方法により前記入力されたマルチメディア・コンテンツ様式を変換し、出力する出力エンジンを含むことを一つの特徴とする。好ましくは、前記判断エンジンは前記入力されたマルチメディア・コンテンツとコンテンツのメタデータを利用して、重畳コンテンツ・モデルを予測する予測手段と、前記様式変換使用者嗜好度を利用して、前記重畳コンテンツ・モデルを修正する修正手段と、前記資源制約条件により前記修正された重畳コンテンツ・モデルにおいて最大コンテンツ値に該当する前記マルチメディア・コンテンツが表現されるように前記マルチメディア・コンテンツ様式を変換する時点と方法を判断する判断手段と、を含む。前記重畳コンテンツ・モデルを修正する修正手段は、使用者の端末の様式によってさらに前記重畳コンテンツ・モデルを修正することができる。前記判断エンジンは、前記資源制約条件に応じて前記マルチメディア・コンテンツのビット率をさらに判断し、前記判断エンジンにより判断されたビット率によって前記入力されたマルチメディア・コンテンツのビット率を変換し、出力するコンテンツ・トランスコーディングエンジンをさらに含む。
好ましくは、前記様式変換使用者嗜好度はXMLを利用した標準化した形態として、様式変
換の順序と加重値で表現される。前記様式変換使用者嗜好度は、一般のコンテンツ様式変換使用者嗜好度と特定のコンテンツ様式変換使用者嗜好度とを含む。
また、本発明は、マルチメディア・コンテンツ様式を適合変換する方法において、外部からマルチメディア・コンテンツと、前記マルチメディア・コンテンツのメタデータが入力される段階と、様式変換使用者嗜好度が入力される段階と、前記コンテンツのメタデータと様式変換使用者嗜好度によって前記入力されたマルチメディア・コンテンツ様式を適合変換する段階と、前記変換されたマルチメディア・コンテンツを出力する段階と、を具備することをもう一つの特徴とする。好ましくは、資源制約条件が追加で入力され、前記適合変換段階は前記資源制約条件も追加で考慮して行う。
好ましくは、前記適合変換段階は前記入力されたマルチメディア・コンテンツとコンテンツのメタデータを利用して、重畳コンテンツ・モデルを予測する過程と、前記様式変換使用者嗜好度を利用して、前記重畳コンテンツ・モデルを修正する過程と、前記資源制約条件によって前記修正された重畳コンテンツ・モデルにおいて、最大コンテンツ値に該当する様式で前記マルチメディア・コンテンツが表現されるように前記マルチメディア・コンテンツ様式を変換する過程とを含む。
また、本発明はマルチメディア・コンテンツ様式を適合変換する装置において、外部からマルチメディア・コンテンツと、前記マルチメディア・コンテンツのメタデータが入力される手段と、様式変換の順序と加重値で表現される様式変換使用者嗜好度が入力される手段と、前記コンテンツのメタデータと様式変換使用者嗜好度によって前記入力されたマルチメディア・コンテンツ様式を適合変換する手段と、前記変換されたマルチメディア・コ
ンテンツを出力する手段と、を備える。
本発明をよりよく理解するためには、用いられている基本的ないくつかの用語を明確にしておく必要がある。マルチメディア文書とは、多重コンテンツ項目の集合体であり、コンテンツ項目はビデオ、イメージ、テキストなどのような手段により表現されるニュース、サッカー競技のような完全な情報を伝達する実体である。すなわち、コンテンツ項目という用語は、情報の物理的運搬者でなく情報それ自体をいう。各コンテンツ項目は、異なる質と様式に対する多くのコンテンツ・バージョンを持つ。コンテンツ・バージョンは、コンテンツ項目の物理的個体であり、これは例えば、サッカー競技の情報を表す連続したイメージ、オーディオ・ファイルまたはテキストの短絡でもよい 。
接続過程は次の通りである。先ず、各コンテンツ項目にそれのコンテンツ値と資源とを繋げる特定のコンテンツ値モデルが与えられる。この時、コンテンツ値モデルは、使用者嗜好度と端末能力により変形される。その後、多重コンテンツ項目間の資源を配分するのに資源割当方法が用いられる。割り当てられた資源をコンテンツ値モデルにマッピングする時、適応したコンテンツの適切な品質と様式を得ることができる。
コンテンツ値モデルは、コンテンツにより伝達される情報の量であるコンテンツ値と資源間の関係を示す。本発明では、様式変換に対するQoS(Quality of Service)関連決定を支
援するため、使用者嗜好条件が反映された重畳コンテンツ・モデル(overlapped content model)という新しいコンテンツ・モデルを提示する。
以下、添付図面を参照して、本発明の実施例を詳細に説明する。図面において同一の参照符号は同一または類似の構成要素または信号を示すものとして用いる。
図１は、本発明による適合変換装置の構成図である。図に示すように、判断エンジン(104)、コンテンツ様式変換エンジン(106)、トランスコーディング・エンジン(108)の３つ主
要部分を含む。
まず、判断エンジン(104)は、マルチメディア・コンテンツと、このマルチメディア・コ
ンテンツの記述子(メタデータ)と、が入力され、様式変換使用者嗜好度と資源制約条件(
ネットワーク、端末等)に対する他の情報もまた判断エンジン( 104)へ入力される。適合
したコンテンツを使用者に示す時、最上の値または質を有するよう、判断エンジン(104)
はコンテンツ記述子、使用者嗜好度、制約条件を分析して様式変換と、コンテンツ・トランスコーディングに対する最適の決定をする。
コンテンツ様式変換エンジン(106)とトランスコーディング・エンジン(108)は、判断エンジン(104)の指示によりコンテンツを適合変換するための具体的記述子(descriptor)を含
む。コンテンツが様式の変換なしで適合変換される必要がある場合は、コンテンツはトランスコーディング・エンジン(108)に直接連結される。もし、コンテンツ様式を変換する
必要がある場合、コンテンツは様式変換エンジン(106)に連結され、再び要求される出力
ビット率に適応させるため、トランスコーディング・エンジン(108)を通過する。
コンテンツ様式変換エンジン(106)とトランスコーディング・エンジン(108)は、オフラインまたはオンラインでもよい。オフラインの場合、適合変換以前に様式変換エンジン(106)は、各コンテンツを他の様式に変換し、トランスコーディング・エンジン(108)は、各様式を他の質(またはビット率)のバージョン(version)に変換する。適合変換過程において
判断エンジン(104)は、適合変換された出力コンテンツを得るために各入力コンテンツに
対し、ただ単に特定様式や質の適切なバージョンのみを選択するだけである。オンラインの場合、判断エンジン(104)は、入力コンテンツに対する適切な様式が分からなければな
らず、その時、入力コンテンツに対するトランスコーディング形態と水準もまた分からなければならない。この場合、様式変換エンジン(106)とトランスコーディング・エンジン(108)は、リアルタイム変換要求を満すため、高い計算効率性を持たなければならない。
このシステムにおいて、使用者嗜好度の明示と適用には、嗜好度情報はXML(eXtended Markup Language)のような構造化された形態で表現される必要がある。表1は、本発明で提案した様式変換使用者嗜好度記述子をXML様式で示したものである。
Figure 0005000138
Figure 0005000138
図２は、図１の判断エンジンの一例の構成図である。図に示すように、判断エンジン(104)は、重畳コンテンツ・モデル予測部(202)、重畳コンテンツ・モデル修正部(204)、様式
変換判断部(206)を含む。
まず、重畳コンテンツ・モデル予測部(202)は、ネットワークなどを介して、外部からマルチメディア・コンテンツと、このマルチメディア・コンテンツに対する記述子(またはメタデータ)が入力され、これを利用して重畳コンテンツ・モデルを予測する。重畳コンテンツ・モデル修正部(204)は、様式変換に対する使用者嗜好度を利用して、重畳コンテンツ・モデル予測部(202)で生成された重畳コンテンツ・モデルを修正する。様式変換判断部(206)は、資源制約条件により修正された重畳コンテンツ・モデルにおいて最大コンテンツ値に該当する様式で前記マルチメディア・コンテンツが示されるようマルチメディア・コンテンツ様式を変換する時点と方法を判断し、これを示すデータを出力する。重畳コンテンツ・モデル修正部(204)は使用者の端末の形式により追加で重畳コンテンツ・モデルを修正できる。
図３は、それぞれのコンテンツ項目に対して資源と各様式のコンテンツ値の関係を示す重畳コンテンツ値モデルを示す。それぞれの様式に対する曲線は、コンテンツ提供者により指定される、あるいはある分析関数によって与えられる。様式曲線に対する各点は、その様式のバージョンと一致する。このモデルにおいて曲線の数は、コンテンツ項目が有する様式の数である。
図４に示すように、最終コンテンツ値関数は、重畳したモデルの上側輪郭部分であり、交差点は様式間の境界を示す。コンテンツ項目の割り当てられた資源が与えられれば、コンテンツ項目の適切な様式とコンテンツ値は簡単に探すことができる。
コンテンツ値は確かに主観的である。これは資源量に依存するだけでなく、それぞれ他の使用者によって異なり得る。本発明では、コンテンツ値と資源の相関的傾向を先に考慮し、併せて使用者によるコンテンツ値の依存性を考慮する。後者では、上側輪郭部分が使用者嗜好度と端末で支援される様式により変形される。
Vi = max{VMij}, j = 1…K (３)
式（３）において、Viはコンテンツ項目のコンテンツ値であり、VMijはコンテンツ項目iの様式jに対するコンテンツ値曲線である。ここで、j = 1…Kであり、Kはコンテンツ項目iに対する様式の数であり、また VMij >= 0を満さなければならない。
もちろん、各様式の曲線はどんなものでもよい。しかし、もし各様式においてコンテンツ値をモデル化する、受け入れるに適する分析関数を探すことができれば、それがより効果的である。Rakesh Mohan、John R. Smith、Chung-Sheng Liの“Adapting Multimedia Internet Content for Universal Access、IEEE Trans. Multimedia、Vol. 1、No. 1、pp.
104-114、Mar. 1999”という論文で、コンテンツ様式によらず下記のように自然ログ関数(ln)は、コンテンツ値と資源を関連づけるのに用いられる。
V = a*ln(R) (４)
式(４)において、Vはコンテンツ値、Rは資源、そしてaは比例因子である。
しかし、資源が無限大に増加する特別な場合を考慮してみよう。使用者にとって認知情報が無限でないことは、実際、明らかである。それにもかかわらず、このログ関数は性質上、無限のコンテンツ値を有する。
本発明では、式5のように各様式の曲線に対する簡単な分析関数を提案する。
Figure 0005000138
図４は、式(５)において aij = 1、bij = ５０、 cij = １００の場合の分析関数を示す
。図４より、aは関数の上位限界、bは関数のスタート点、そしてcは関数の傾きを調節す
ることがわかる。このような分析関数を利用する場合、パラメータa、b、cを調整するこ
とによって他のコンテンツをモデル化できる。この分析関数は、特定コンテンツ形態の複雑なコンテンツ値モデルを受け入れるための色々な方式での拡張が可能である。
重畳コンテンツ・モデルに合わせて本発明では、使用者の立場で色々な様式変換を調節できる機能を提供する。本発明は、使用者の多様な様式変換嗜好度を明示する次のような具体的な方法を提供する。
使用者嗜好度を明示するのに２つの状況を考慮する。一つは、使用者が特定様式の一般コンテンツを適合変換することを望む場合であり、もう一つは、使用者が特定コンテンツのみを様式変換することを望む場合である。したがって、本発明では一般コンテンツと特定コンテンツの２つの場合に分けて考慮する。
一般コンテンツに対する様式変換の場合、使用者はコンテンツの内容に関する情報を持っていない。したがって、使用者は一般的にコンテンツの内容によりそれぞれ異なる様式変換を指定することができず、ただ単に一律的な様式変換が可能である。一つの特定様式に属するすべてのコンテンツは、指定された様式に変換される可能性を同じように持つようになる。例えば、イメージ様式はオーディオ様式に変換することが一般的な選択であるが
、聴覚障害のある使用者は、コンテンツの内容によらずイメージからオーディオよりはテキストへの様式変換を選択するはずである。
第二に、特定コンテンツに対する様式変換の場合、使用者はコンテンツに対する情報をすでに持っている。したがって、この場合、使用者は同じ様式の特定コンテンツ客体に対してそれぞれ異なる選択的変換ができる。例えば、特定コンテンツがビデオ様式で形成されたという情報が分かる状況の下、コンサート・ビデオを変換する場合、一般的にオーディオに変換し、残りの他のビデオ様式のコンテンツは、イメージまたはテキストへの、それぞれ他の選択的な変換ができる。
このような２つの状況を遂行するための、使用者嗜好度の指定は、二段階に分かれる。第一に、使用者はある様式から変換可能なそれぞれの様式に対して相対的な順序を指定する。第二に、使用者はそれぞれの様式変換に対して使用者嗜好を示す重要度または加重値を数値的に指定する。注意すべきことは、コンテンツ項目に対する重要度や加重値でなく、一つのコンテンツ項目でもその様式変換に対する重要度や加重値をいう。
すなわち、第一段階は、嗜好度を質的に明示することに該当し、二段階は定量的に明示することに該当する。もちろん、使用者は第一段階で順序のみを指定し、第二段階での重要度の指定では基本値を暗黙的に使用することができる。このように指定された変換順序は、様式変換をする必要がある時、判断エンジン(104)でどんな様式に変換しなければなら
ないのかを決定するのに役に立つ。また、指定された変換に対する重要度情報はいつ様式変換を行わなければならないのかを判断エンジン(104)が決定するのに役に立つ。すなわ
ち、この重要度情報は、各様式のコンテンツ値曲線を比率に応じて調整するのに使われる。
例えば、ビデオ様式変換において様式変換の順序と関連し、ビデオからビデオへの変換、すなわち、ビデオ無変換を一番目、ビデオからイメージへの変換を二番目、ビデオからオーディオへの変換を三番目、ビデオからテキストへの変換を四番目のように指定できる。次に、様式変換の加重値と関連し、ビデオ無変換を“1.5”、ビデオからイメージへの変
換を“1.0”、ビデオからオーディオへの変換を“1.0”、ビデオからテキストへの変換を“1.0”と指定できる。この例でのように、ビデオ無変換の加重値が相対的に高い場合に
はビデオ無変換に長く止まるようになるため、様式変換の次の順序であるビデオからイメージへの変換が相対的に遅くなる。
コンテンツ項目のコンテンツ値モデルは、適合変換過程において重要な付加情報入力値である。コンテンツ値モデルの変化は、適合変換過程において出力を変化させる結果をもたらす。
適合変換過程において、端末を支援する様式と使用者嗜好度を考慮する必要があり、本発明ではこのような制約条件はコンテンツ値モデルを変更するのに使われ、これらによって出力も適切に変化させることができる。また、資源割当アルゴリズムをできる限り、入力情報に依存しないように維持する必要がある。このような分離は適合変換過程をモジュール化できるようにする。明確性のために端末特性と使用者嗜好度によるコンテンツ値モデル変化過程の順序を察しみる。
第一に、端末の様式支援特性を考慮する。ある端末がある特定様式を支援しない場合、支援されない様式のコンテンツは端末で処理されない。このようなコンテンツのコンテンツ値は零(zero)となる。すなわち、支援されない様式のコンテンツ値曲線は、適合変換過程から除去されなければならない。式6はこのような内容を含む。
Vi = max{VMij}、jは支援される様式 (６)
図６は、オーディオ様式が支援されない場合の例を示す。オーディオ様式の曲線は除去され、結果的にテキスト様式とイメージ様式曲線により、オーディオの部分が代替されて使われる。
第二に、様式変換において変換順序に対する使用者嗜好度を考慮する。事実上、事前に定義されたコンテンツ値モデルにてすでに変換の順序が決められているが、この場合、定義された順序はコンテンツの使用者にではなく、コンテンツの提供者により割り当てられたといえる。例えば、図４のように、元来の様式であるビデオは、一番目にビデオからビデ
オへの変換、すなわち、ビデオ無変換、二番目にビデオからイメージへの変換、三番目にビデオからオーディオへの変換、四番目にビデオからテキストへの変換の順序を持つことができる。
コンテンツの提供者による従前の情報より、使用者は変換順序を変更でき、コンテンツ値モデルの修正は、従前の変換順序情報と共に使用者嗜好度による新たな変換情報を検査した後、従前の変換順序が使用者嗜好度による変換順序より優先する様式変換があるならば、その変換様式に該当する曲線を除去する。
例えば、図４においてコンテンツ項目のための使用者嗜好度は、一番目にビデオ無変換、二番目にビデオからオーディオへの変換、三番目にビデオからイメージへの変換、四番目にビデオからテキストへの変換の順に与えられる。この時、従前の一般の変換順序と比較し、ビデオ無変換は維持、ビデオからイメージへの変換は除去、ビデオからオーディオへの変換は維持、ビデオからテキストへの変換は維持のような様式変換が作られる。結果的に図７のような新たなコンテンツ値モデルが構成される。
第三に、様式変換における重要度情報を考慮する。重要度情報は図８に示すように、各様式間のコンテンツ値曲線間の距離(dij)を調整するのに用いられる。コンテンツ値曲線間
の距離調整は、各曲線の交差点または境界の変化に影響を及ぼす。ある様式の重要度が増加すれば、交差点の変更により変換を行う領域が広くなる。ここで、注目すべき点は、距離(dij)の和は固定しており、これはコンテンツ項目iの最大コンテンツ値と一致する。
wij をコンテンツ項目iの変換、jに対する重要度情報とすれば、調整された距離は式(７)により、計算される。
Figure 0005000138
このように改めて計算された距離(d’ij)の相対的な長さは、使用者の嗜好度を反映す
る。しかし、この長さは距離の総合が変化しないように再調整される必要があり、式(８)により得られる。
Figure 0005000138
式(８)において、dsは最終調整された距離を意味する。すなわち、結果的に
Figure 0005000138
となることが分かる。
図９は、本発明によるマルチメディア・コンテンツ様式を適合変換する方法を説明するフロー図である。まず、入力されたマルチメディア・コンテンツとコンテンツ記述子を利用
して、コンテンツ項目に対する重畳コンテンツ値モデルを予測する(901)。このように予
測された重畳コンテンツ値モデル(902)は端末により支援される様式能力(904)を参照して、支援されない様式のコンテンツ値曲線を除去することによって、重畳コンテンツ値モデルが一次的に修正される(906)。次に、コンテンツの提供者の様式変換に対する使用者嗜
好度(908)を参照して、従前の変換順序と使用者嗜好度による変換順序情報を検査する。
検査の結果、従前の変換順序が使用者嗜好度によって与えられた順序より優先するならば、その変換に該当する様式曲線は除去し、使用者嗜好度による変換の重要度情報により残っている曲線の距離値を調整することによって(910)、最終変形されたコンテンツ値モデ
ル(912)を生成する。
このような過程は、コンテンツ適合性変換において、端末特性情報と使用者嗜好度を使用する一例題として考慮することができるばかりでなく、コンテンツの提供者は、特定応用に適合する適当な方法を探して適用することもできる。
本発明は、また、重畳コンテンツ値モデルと資源制約条件(914)が与えられた状態で、す
べてのコンテンツ項目に対する資源割当が行われる(916)。これは適合変換された文書が
使用者に最適の値を割り当てる。割り当てられたコンテンツ項目の資源(918)により最終
変形されたコンテンツ値モデルに資源がマッピング(mapping)され(920)、これに伴い最適の様式と質によりコンテンツが変換される(922)。
資源割当の問題は、去る数十年間、議論されてきており、概して2つの基本的な方法によ
り解決が可能である。その中の一つは、ラグラジアン(Lagrangian)方法であって、もう一つは、動的プログラミング(Dynamic programming)方法である。Rakesh Mohan、John R. Smith、Chung-Sheng Liの論文“Adapting Multimedia Internet Content for Universal Access、IEEE Trans. Multimedia、Vol. 1、No. 1、pp. 104-114、Mar. 1999”で、ラグラジアン方法は適切な量の資源を割り当てるコンテンツ・バージョンを探すのに用いられる。しかし、この方法は、自然ログ関数のようなsingle concave curveによりコンテンツ値をモデル化するため、凹コンテンツ値モデル(concave content value model)のみに適用
が可能である。もし、コンテンツ値モデルがconvex curveを有するとすれば、このモデルは concave curve に代替される。
様式変換を支援するコンテンツ適合性変換応用において、動的プログラミング方法にいくつかの制約条件を追加する必要がある。第一に、使用者がいくつかの変換様式を選択する時(例えば、ビデオからオーディオへの様式変換)、一般に動的プログラミング方法は資源のすべての範囲を検索する。さらにはコンテンツ値が零の場合にも資源検索をする。この場合、検索の結果、コンテンツ値が零であるいくつかのコンテンツ項目が抽出されることもある。これはコンテンツ項目が削除されたことを意味し、結果的に使用者が期待した結果とは異なったものであることを意味する。このような状況を避けるため、コンテンツ値が零でない場合にのみ検索をするように検索範囲を制限する。
第二に、動的プログラミングの検索の結果が唯一の解決策でないこともある。その他の別の解決策がコンテンツ項目の様式を互いに異なるように変換することもできる。例えば、二つの項目があった場合、最初の解決方法では、一つのコンテンツ項目がビデオ様式を有し、残りのコンテンツ項目は低質のイメージ様式を持つと仮定しよう。また、二番目の解決策では、二つのコンテンツ項目いずれも高質のイメージ様式を持つと仮定しよう。この2つの解決策では、たとえ使用者が初期にビデオを好んだとしても、すなわち、最初の解
決方法を好んだとしても、二つの方法はいずれも同一のコンテンツ値を持つため、どれを選択すべきか判断することができない。したがって、検索後、使用者の嗜好度を検査しなければならない制約条件を動的プログラミング方法に置く。そうであれば、使用者の嗜好に合った、より高い様式変換順位のコンテンツ項目を多く持つ解決策が最終的な解決策として選択される。
本発明は、使用者の嗜好度をコンテンツ様式変換過程に適用することによって、端末およびネットワークの特性ばかりでなく、使用者の個人的様式変換の嗜好の特性により、該コンテンツの最適化された様式変換を可能とすることによって、汎用的マルチメディアへの接近を効果的に達成できるようにする。
これにより、特定コンテンツ様式を好む使用者が一般の資源割当では消費できなかったコンテンツ様式を使用者嗜好通りに使用することが可能となった。その一例として、本発明は、特定様式を使用できない視覚または聴覚障害者に様式的な選択権を付与することにより有用に利用できる。また、本発明は、メディア国際標準であるMPEG-7およびMPEG-21の
デジタル・アイテムの適合変換部分の原理にも符合するため、今後このようなシステムとの互換性も提供できる。
本発明による適合変換装置の構成図。 図1の判断エンジンの一例を示す構成図。 本発明におけるコンテンツ項目の重畳コンテンツ値モデルの説明図。 本発明におけるコンテンツ項目の最終コンテンツ値関数の概念の説明図。 本発明における様式曲線の分析関数の例の説明図。 本発明における様式能力により変形するコンテンツ値モデルの例の説明図。 本発明における使用者による変換順序変形に応じたコンテンツ値モデルの例の説明図。 本発明における加重値による曲線間の距離関係の説明図。 本発明におけるコンテンツ適合性変換処理方法を説明するフロー図。

Claims (17)

  1. マルチメディア・コンテンツの様式を適合変換する装置であって、
    マルチメディア・コンテンツと、同マルチメディア・コンテンツのメタデータと、様式変換の種類及び加重値によって表現される様式変換の使用者嗜好度と、を受信する手段と、
    マルチメディア・コンテンツのメタデータと様式変換の使用者嗜好度とに基づいて、入力マルチメデイア・コンテンツの様式を変換する手段と、からなり、
    前記種類は、マルチメディア・コンテンツの様式をどの様式からどの様式に変換するかに関する使用者の嗜好を表現し、前記加重値は、マルチメディア・コンテンツのために割り当てられた資源量に対する、マルチメディア・コンテンツの各様式での情報量を示す関数曲線を変化させて、同関数曲線に使用者の嗜好を反映させるためのものである、適合変換装置。
  2. 前記変換する手段は、
    前記入力されたマルチメディア・コンテンツとコンテンツ・メタデータを利用して、前記関数曲線によって表される重畳コンテンツ・モデルを予測する手段と、
    前記様式変換の使用者嗜好度を利用して前記重畳コンテンツ・モデルを修正する手段と、
    を含む請求項1記載の装置。
  3. 前記重畳コンテンツ・モデルを修正する手段は更に、ユーザ端末に拠って、前記重畳コンテンツ・モデルを修正する請求項２記載の装置。
  4. 前記変換する手段は更に、資源制約条件により前記マルチメディア・コンテンツのビット率を判断し、
    前記変換する手段により判断されたビット率により、入力されたマルチメディア・コンテンツのビット率を変換して、同変換されたビット率でコンテンツ出力するコンテンツ・トランスコーディング・エンジンをさらに含む請求項1記載の装置。
  5. 前記様式変換の使用者嗜好度は拡張マークアップ言語（XML）様式で記述される請求項1記載の装置。
  6. 前記様式変換使用者嗜好度は、一般コンテンツ様式変換使用者嗜好度と特定コンテンツ様式変換使用者嗜好度とを含む請求項1記載の装置。
  7. 前記様式変換の使用者嗜好度は、ビデオ様式変換嗜好度と、イメージ様式変換嗜好度と、オーディオ様式変換嗜好度と、テキスト様式変換嗜好度と、を含む請求項1記載の装置。
  8. マルチメディア・コンテンツの様式を適合変換する方法であって、同方法は、適合変換装置が、
    マルチメディア・コンテンツと、同マルチメディア・コンテンツのメタデータと、様式変換の種類及び加重値によって表現される様式変換の使用者嗜好度と、を受信する段階と、
    マルチメディア・コンテンツのメタデータと様式変換の使用者嗜好度とに基づいて、入力マルチメディア・コンテンツの様式を適合変換する段階と、
    該適合変換された様式でマルチメディア・コンテンツを出力する段階と、からなり、
    前記種類は、マルチメディア・コンテンツの様式をどの様式からどの様式に変換するかに関する使用者の嗜好を表現し、前記加重値は、マルチメディア・コンテンツのために割り当てられた資源量に対する、マルチメディア・コンテンツの各様式での情報量を示す関数曲線を変化させて、同関数曲線に使用者の嗜好を反映させるためのものである、方法。
  9. 前記様式変換の使用者嗜好度はXML様式で記述される請求項８記載の方法。
  10. 前記様式変換使用者嗜好度は、一般コンテンツ様式変換使用者嗜好度と特定コンテンツ様式変換使用者嗜好度とを含む請求項８記載の方法。
  11. 前記様式変換の使用者嗜好度は、ビデオ様式変換嗜好度と、イメージ様式変換嗜好度と、オーディオ様式変換嗜好度と、テキスト様式変換嗜好度と、を含む請求項８記載の方法。
  12. 前記ビデオ様式変換嗜好度は、ビデオからイメージへの様式変換嗜好度と、ビデオからオーディオへの様式変換嗜好度と、ビデオからテキストへの様式変換嗜好度と、無変換嗜好度と、を含む請求項１１記載の方法。
  13. 前記イメージ様式変換嗜好度は、イメージからオーディオへの様式変換嗜好度と、イメージからテキストへの様式変換嗜好度と、無変換嗜好度と、を含む請求項１１記載の方法。
  14. 前記オーディオ様式変換嗜好度は、オーディオからテキストへの様式変換嗜好度と、無変換嗜好度と、を含む請求項１１記載の方法。
  15. 前記テキスト様式変換嗜好度は、テキストからオーディオへの様式変換嗜好度、無変換嗜好度と、を含む請求項１１記載の方法。
  16. 更に資源制約条件を受信して、前記適合変換段階は前記資源制約条件も考慮する請求項８記載の方法。
  17. 前記適合変換段階は、
    前記入力されたマルチメディア・コンテンツと、コンテンツ・メタデータを利用して、前記関数曲線によって表される重畳コンテンツ・モデルを予測する過程と、
    前記様式変換の使用者嗜好度を利用して前記重畳コンテンツ・モデルを修正する過程と、
    を含む請求項１６記載の方法。
JP2005518754A 2003-02-13 2004-02-13 マルチメディア・コンテンツを適合性変換する装置および方法 Expired - Fee Related JP5000138B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020030009069A KR20040073102A (ko) 2003-02-13 2003-02-13 컨텐츠 적응변환에 있어 사용자 선호기반 형식 변환을위한 시스템적 접근방법
KR10-2003-0009069 2003-02-13
PCT/KR2004/000287 WO2004072861A1 (en) 2003-02-13 2004-02-13 Device and method for modality conversion of multimedia contents

Publications (2)

Publication Number Publication Date
JP2006517698A JP2006517698A (ja) 2006-07-27
JP5000138B2 true JP5000138B2 (ja) 2012-08-15

Family

ID=36166996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005518754A Expired - Fee Related JP5000138B2 (ja) 2003-02-13 2004-02-13 マルチメディア・コンテンツを適合性変換する装置および方法

Country Status (6)

Country Link
US (1) US7853864B2 (ja)
EP (1) EP1593048A4 (ja)
JP (1) JP5000138B2 (ja)
KR (2) KR20040073102A (ja)
CN (1) CN1748210B (ja)
WO (1) WO2004072861A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100638739B1 (ko) * 2003-12-26 2006-10-25 한국전자통신연구원 실시간 멀티미디어 컨텐츠 적응을 위한 유틸리티 함수예측 장치 및 그를 이용한 멀티미디어 컨텐츠 적응 접근시스템
KR100744532B1 (ko) * 2004-12-13 2007-08-02 한국전자통신연구원 프리퍼런스 정보를 이용한 웹서비스 제공방법 및 장치
KR100770009B1 (ko) * 2005-12-08 2007-10-25 한국전자통신연구원 사용자 히스토리 정보 및 사용자 환경 정보에 따른트랜스코딩 장치 및 그 방법
KR100789380B1 (ko) * 2005-12-08 2007-12-28 한국전자통신연구원 객체 치환이 가능한 대화형 컨텐츠 재생 장치 및 그 방법
KR20080046801A (ko) * 2006-11-23 2008-05-28 (주)인트로모바일 모바일 컴포넌트 제공 시스템 및 모바일 컴포넌트 제공방법
EP2176796A2 (en) * 2007-07-10 2010-04-21 Bytemobile, Inc. Method for media discovery
KR100940212B1 (ko) 2008-01-30 2010-02-10 단국대학교 산학협력단 적응화된 콘텐츠 제공방법 및 적응화된 콘텐츠 제공 시스템
EP2104352B1 (de) * 2008-03-18 2018-08-29 Deutsche Telekom AG Verfahren und System zur Optimierung des Informationsgehaltes bei Multimedia-Übertragungen basierend auf dynamischer komplementärer Quellenauswahl
US20100017516A1 (en) * 2008-07-16 2010-01-21 General Instrument Corporation Demand-driven optimization and balancing of transcoding resources
EP2375344B1 (en) 2010-04-08 2020-02-12 Accenture Global Services Limited Digital content supply system
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US10963273B2 (en) 2018-04-20 2021-03-30 Facebook, Inc. Generating personalized content summaries for users
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11106952B2 (en) 2019-10-29 2021-08-31 International Business Machines Corporation Alternative modalities generation for digital content based on presentation context

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2308526B (en) 1994-12-30 1998-01-28 Visionary Corporate Technologi Methods and systems for multimedia communications via public telephone networks
US6006242A (en) * 1996-04-05 1999-12-21 Bankers Systems, Inc. Apparatus and method for dynamically creating a document
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
JPH11288403A (ja) 1998-04-03 1999-10-19 Toshiba Corp 分散ネットワークコンピューティングシステム、同システムに用いられる情報交換装置、情報交換方法、及び記憶媒体
US6012030A (en) * 1998-04-21 2000-01-04 Nortel Networks Corporation Management of speech and audio prompts in multimodal interfaces
US6970602B1 (en) * 1998-10-06 2005-11-29 International Business Machines Corporation Method and apparatus for transcoding multimedia using content analysis
US6345279B1 (en) * 1999-04-23 2002-02-05 International Business Machines Corporation Methods and apparatus for adapting multimedia content for client devices
US6810429B1 (en) * 2000-02-03 2004-10-26 Mitsubishi Electric Research Laboratories, Inc. Enterprise integration system
EP1146702A3 (de) 2000-04-10 2006-03-01 Siemens Aktiengesellschaft Kommunikationsvorrichtung und Kommunikationssystem zum integrierten Übertragen von ersten Daten mit Echtzeitanforderung und zweiten Daten ohne Echtzeitanforderung
KR100398711B1 (ko) 2000-11-08 2003-09-19 주식회사 와이즈엔진 동적 데이터를 포함한 멀티미디어 콘텐츠의 실시간 통합및 처리 기능을 갖는 콘텐츠 출판 시스템 및 그 방법
KR100398610B1 (ko) 2001-01-30 2003-09-19 한국전자통신연구원 멀티미디어 컨텐츠에 동기화된 메타데이터 전송 장치 및방법
US7162526B2 (en) 2001-01-31 2007-01-09 International Business Machines Corporation Apparatus and methods for filtering content based on accessibility to a user
KR20010068006A (ko) 2001-04-13 2001-07-13 김남중 멀티미디어 통신 단말기와 컴퓨터간의 데이터(엑스엠엘형식) 호환방법
KR20030000504A (ko) 2001-06-25 2003-01-06 에스케이 텔레콤주식회사 휴대 통신 단말기용 웹페이지 변환 시스템 및 그 서비스방법
US7136909B2 (en) * 2001-12-28 2006-11-14 Motorola, Inc. Multimodal communication method and apparatus with multimodal profile
US20030236904A1 (en) * 2002-06-19 2003-12-25 Jonathan Walpole Priority progress multicast streaming for quality-adaptive transmission of data

Also Published As

Publication number Publication date
EP1593048A1 (en) 2005-11-09
CN1748210A (zh) 2006-03-15
CN1748210B (zh) 2011-05-18
KR20040073102A (ko) 2004-08-19
KR100721523B1 (ko) 2007-05-23
US20060294546A1 (en) 2006-12-28
EP1593048A4 (en) 2007-05-09
US7853864B2 (en) 2010-12-14
WO2004072861A1 (en) 2004-08-26
KR20050109474A (ko) 2005-11-21
JP2006517698A (ja) 2006-07-27

Similar Documents

Publication Publication Date Title
JP5000138B2 (ja) マルチメディア・コンテンツを適合性変換する装置および方法
JP6928041B2 (ja) 動画を処理するための方法および装置
Lei et al. Context-based media adaptation in pervasive computing
US6345279B1 (en) Methods and apparatus for adapting multimedia content for client devices
US20080082684A1 (en) computer implemented method and apparatus for content conversion, routing and execution
KR100922263B1 (ko) 인텔리전트 멀티미디어 서비스
US7636363B2 (en) Adaptive QoS system and method
US20060218480A1 (en) Data output method and system
WO2002097677A2 (en) Information retrieval center
US20060039478A1 (en) Image decoding and reducing apparatus and method
KR100839582B1 (ko) 미디어 자원에 따라 멀티미디어 컨텐츠의 서비스 품질을 지원하기 위한 형식 변환 방법 및 장치
CN112052377B (zh) 资源推荐方法、装置、服务器和存储介质
JPH10171822A (ja) メディア適応型情報共有装置
Thang et al. Modality Conversion in Content Adaptation for Universal Multimedia Access.
Thang et al. On some QoS aspects of user profile in universal multimedia access
Thang et al. Effective adaptation of multimedia documents with modality conversion
JP4447605B6 (ja) メディア資源に応じてサービス品質をサポートするためのマルチメディア・コンテンツの様式変換方法および装置
JP4071504B2 (ja) 文書管理装置
KR100638739B1 (ko) 실시간 멀티미디어 컨텐츠 적응을 위한 유틸리티 함수예측 장치 및 그를 이용한 멀티미디어 컨텐츠 적응 접근시스템
Helal et al. Adaptive delivery of video data over wireless and mobile environments
CN116366881A (zh) 一种在cdn中应用的ai视频压缩方法
Suchomski et al. Multimedia conversion with the focus on continuous media
Thang et al. Presentation Priority and Modality Conversion in MPEG-21 DIA
Louafi et al. A TOPSIS-based QoE model for adapted content selection of slide documents
US20150143434A1 (en) Multimedia content self-adaptive method and multimedia playing system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080220

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081021

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100118

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111207

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120113

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120516

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5000138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees