JPH10164535A - エージェントによるａｖメディアの実時間ｑｏｓ制御方法 - Google Patents

エージェントによるａｖメディアの実時間ｑｏｓ制御方法

Info

Publication number
JPH10164535A
JPH10164535A JP8316124A JP31612496A JPH10164535A JP H10164535 A JPH10164535 A JP H10164535A JP 8316124 A JP8316124 A JP 8316124A JP 31612496 A JP31612496 A JP 31612496A JP H10164535 A JPH10164535 A JP H10164535A
Authority
JP
Japan
Prior art keywords
user
moving image
agent
quality
terminal computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8316124A
Other languages
English (en)
Inventor
Fad Islam Falhad
ファルハド・フアド・イスラム
Junichi Yamazaki
準一 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Priority to JP8316124A priority Critical patent/JPH10164535A/ja
Publication of JPH10164535A publication Critical patent/JPH10164535A/ja
Priority to US09/892,289 priority patent/US20020059627A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/241—Operating system [OS] processes, e.g. server setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

(57)【要約】 （修正有） 【課題】マルチメディア・ネットワーク・システムにお
いて、システム全体の負荷が重くなっても特別なハード
ウェアを投入することなく、システム全体の品質向上を
計り、さらにユーザの希望動画像において、希望する品
質の向上を効率よく実現する。 【解決手段】ローカル・メディア・エージェントは、ユ
ーザの希望する動画像及び音声メディア処理プロセスの
CPU占有時間あるいは優先順位を変更し、希望動画像の
希望する品質の維持を計る。さらに、リモート・メディ
ア・エージェントは、ユーザの希望をもとにリモート端
末コンピュータへフローコントロールの指示を出し、リ
モート端末コンピュータをコントロールしながら、ユー
ザの要求を満たす動画像品質を実現する。これらをハー
ドウェアの投入なしに実現する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ネットワークに接続さ
れた端末コンピュータ、あるいは、スタンド・アローン
の端末コンピュータにおいて、動画像品質及びあるいは
音質向上のためのローカル端末コンピュータのエージェ
ントによる制御方法に関し、より詳細にはユーザの動画
像品質及びあるいは音質に対する希望を考慮し、ビデオ
会議あるいは動画像の再生時等において動画像品質及び
あるいは音質の向上を計るエージェントによる制御方法
に関する。
【０００２】
【従来の技術】マルチメディア・ネットワーク・システ
ムの応用範囲としては様々な形態が考えられるが、ビデ
オ会議、双方向コミュニケーション・システム等は有効
な応用分野の一つである。ネットワークに接続されてい
る端末コンピュータ同士で相互に情報の交換を行うが、
通常これらの端末コンピュータ間では性能の差があり、
必ずしも希望する品質の動画像が送られてくるとは限ら
ない。またビデオ会議を例に取ると、会議の参加者が増
えてくると相互に情報交換する端末コンピュータの数が
増加して来ると、ネットワークの負荷が重くなり、送ら
れてくる動画像情報の品質はさらに悪くなる。外乱要因
として、ネットワーク自身の負荷が重くなることも発生
する。そのような状態が発生すると、参加者に会議の進
行状況がスムーズに伝わらず、参加者のフラストレーシ
ョンが高まってしまう。
【０００３】ここで動画像の品質について説明すると、
リモート端末コンピュータから送られてくる動画像の品
質を決めるものには、画像量子化数、フレームレート、
画面のサイズ（ピクセル数）等がある。 画像量子化数
は画像の細かさ・粗さを決める。フレームレートは動画
像の動きの滑らかさを決める。ユーザはネットワーク使
用の目的によって、あるいはユーザ自信の好みによっ
て、これらのパラメータを変更したい場合がある。特に
マルチ・スクリーンで多数の画面をモニターしている時
には、注目している特定の動画像を特定の条件でモニタ
ーしたいことがある。例えば、ビデオ会議において、議
長の動画像はフレームレートは遅くしても、大きく鮮明
な動画像でモニターしたり、あるいは発言者の表情の変
化を見たいときに、動画像は小さくしても、フレームレ
ートを速くしたいなどの要求が考えられる。また、多く
の状態を監視しているモニターシステムにおいて、ある
動画像はフレームレートを遅くしても動画像を大きくは
っきりみたい、あるいは逆に状況の変化を的確に監視し
たいときに、動画像は小さくしてもフレームレートは速
くしたい等状況に応じて様々な要求が考えられる。
【０００４】現在までこれらの問題に対しては、プロセ
ッサー処理速度の高速化、メモリーの増設、データ圧縮
・伸張ボードの改善、コプロセッサの増設等、主にハー
ドウェアでの改善が提案されてきた。これらは有効な手
段ではあるが費用がかる。プロセッサーの交換はコンピ
ュータ本体の交換を意味することもある。また時間的に
も問題があり、これらのハードウェアでの解決方法は必
要な時にすぐに増設、交換出来るとは限らない。通常は
低速動作で充分であるが、会議を行う時のみ、高速動作
が必要な場合には、その会議のためだけにハードウェア
を投資することは投資効率が悪い。
【０００５】
【発明が解決しようとする課題】スタンド・アローンの
端末コンピュータにおいて動画像を再生させる場合、あ
るいはビデオ会議、双方向コミュニケーション・システ
ム等のマルチメディア・ネットワーク・システムにおい
て、システム全体の負荷が重くなると、ユーザの希望す
る動画像あるいは音声に関して希望する品質が得られな
くなる。これはビデオ会議を例に取ると、参加者が増え
表示画像が増えて多数のメディア処理により端末コンピ
ュータが過負荷となると、全部の動画像品質が一様に落
ちてしまうことが起こる。このような時に全部の動画像
品質を向上させたい、あるいはそれが出来ないときに
は、特定の発言者すなわち議長等の動画像の品質だけで
も維持させたいときに有効な対応方法がない。
【０００６】
【課題を解決するための手段】ビデオ会議を例にとって
説明する。ローカル・メディア・エージェント、および
リモート・メディア・エージェントを含むエージェント
を所望のローカル端末コンピュータ及びリモート端末コ
ンピュータにインストールする。これはネットワークを
通じてのインストールも可能である。ローカル・メディ
ア・エージェントは、ユーザからユーザの希望する動画
像品質に関するパラメータを受け取り、OS上での動画像
及び音声メディア処理プロセスの動作状態のパラメータ
と比較する。ユーザの要求を満足していない時には、ロ
ーカル・メディア・エージェントは、ユーザの希望する
動画像を生成するプロセスのCPU占有時間あるいは優先
順位を変更し、希望動画像の希望する品質の維持を計
る。OSの動的リソースの余裕がない時には、さらに、リ
モート・メディア・エージェントにパラメータを渡す。
リモート・メディア・エージェントは、受取ったパラメ
ータをもとに、本発明のエージェントがインストールさ
れているリモート端末コンピュータへフローコントロー
ルの指示を出し、ローカル端末コンピュータ及びリモー
ト端末コンピュータをコントロールしながら、ユーザの
要求を満たす動画像及び音声品質を実現する。スタンド
アローンの端末コンピュータの場合も同様の処理を行
い、ユーザの要求を満たす動画像及び音声品質を実現す
る。
【０００７】
【実施例】図１は、ネットワークに接続した本発明の概
要を示す図である。システムの主な構成要素としては、
ネットワーク、リモート端末コンピュータ（１２０）、
ローカル端末コンピュータ（１１０）、およびローカル
端末コンピュータにインストールされるエージェント、
すなわち主にユーザのサポートを行うローカル・メディ
ア・エージェント（１０１）、主としてリモート端末コ
ンピュータのサポートを行うリモート・メディア・エー
ジェント（１０２）、および動画像・音声データ処理を
行うメディア・マニピュレータ（１０５）である。リモ
ート端末コンピュータ（１２０）にも本発明によるエー
ジェントがインストールされているが、図１では割愛さ
れている。スタンド・アローン端末コンピュータにおい
て動作させるときの必要な構成要素としては、ローカル
端末コンピュータ及びそこにインストールされるエージ
ェントである。
【０００８】図2は、ローカル端末コンピュータにイン
ストールされたエージェントの構成部品及びデータの流
れを示す図である。図３はこの動作を示すフローチャー
トである。なおコンピュータシステムは、ＨＰ社ベクト
ラシステムを使い、ＯＳはウィンドウ９５を使って行っ
た。
【０００９】以下、図３のフローチャートに従ってビデ
オ会議システムを例にとって全体の動作について説明す
る。ローカル端末コンピュータのスクリーンに一つ以上
のリモートユーザの動画像ウィンドウが表示されている
ものとする。 （１）ユーザによるＱＯＳパラメータの入力 ユーザーは希望する動画像品質に関するパラメータ、す
なわちＱＯＳ（サービス品質、以下ＱＯＳ）パラメータ
をLMA(ローカル・メディア・エージェント、以下ＬＭ
Ａ）へ入力する。これらのパラメータはローカル端末コ
ンピュータのスクリーン上に表示されるエージェント・
コントロール・パネル（１１４）から入力される。これ
は具体的にはフレームレート、画像サイズ、量子化ビッ
ト数等のパラメータである。入力されたパラメータをＰ
１とする。その後、ユーザはビデオ会議に必要なシステ
ムの設定を行う。 （２）ＬＭＡ（１０１）による動画像品質のモニター LMA（１０１）は現在動作中の動画像のフレームレー
ト、画像サイズ、量子化ビット数等のパラメータをメデ
ィア・デコーダを通して入手する。これらの情報をP2と
する。
【００１０】（３）現在の画像品質の確認（Ｐ１とP２
の比較） ＬＭＡはＰ１およびＰ２を比較することにより、現在動
作している動画像の品質がユーザの希望を満足している
かどうか調べる。満足していれば、一定時間の待ち時間
後、（２）へ戻り再度動画像品質をモニターする。これ
は、一旦、ユーザの希望する品質の動画像あるいは音声
が得られても、使用中にその負荷状況が変わりユーザの
希望する品質が得られないことが発生する。この状態を
避けるために、ユーザの希望する品質の動画像あるいは
音声が得られても、ある一定周期で動画像あるいは音声
の品質をモニターする必要がある。このモニター周期は
ユーザが指定できるので、システムの状況に応じて有効
に対応できる。満足していなければ、（４）へ行く。 （４）ＬＭＡによるＯＳ動的リソースの余裕確認 現在動作している動画像の品質がユーザの希望を満足し
ていなければ、LMAはローカル端末コンピュータのCPU割
り当て時間、優先度等のOS動的リソースに余裕があるか
調べる。余裕があれば（５）へ行く。余裕がなければ
（６）へ行く。 （５）ＬＭＡによるＯＳ動的リソースの割り当て OS動的リソースに余裕があれが、ユーザが希望している
動画像及び音声メディア処理プロセス（以下メディア・
マニピュレータと呼ぶ）に対してCPUの割り当て時間を
増やすあるいは優先度を上げる等の処置を行う。これは
ＯＳに固有のプロセデュア・コールを使って、必要なパ
ラメータを送る。その後（２）へ行き、ユーザの希望す
る品質の動画像及び音声を実現しているかモニターす
る。
【００１１】（６）ＬＭＡによるユーザの動画ウィンド
ウ優先度の問い合わせ OSリソースに余裕がなければ、あるいはOSの動的リソー
スを割り当てても、ユーザの希望する品質の動画像ある
いは音声が実現できなければ、ユーザに対して、複数動
画ウィンドウの中での優先度を問い合せる。この時のユ
ーザとのインターフェースはスクリーン上のエージェン
ト・コントロール・パネル（１１４）を通して行われ
る。LMAはユーザから動画ウィンドウ優先度の情報を受
取るとRMA(リモート・メディア・エージェント、以下RM
A（１０２））にコンタクトし、上記情報およびユーザ
の要求する最低限の必要情報量（メディア・ストリー
ム）のパラメータを渡す。LMAがRMAに制御を移す時間は
ユーザが指定できる。この機能は、システムが一時的に
過負荷となりその状態が長く続かないことが分かってい
るとき、敢えてRMAに制御を移す必要がない時には有効
である。 （７）ＲＭＡによるフロー・コントロール ＲＭＡ（１０２）はＬＭＡ（１０１）から受取ったパラ
メータをもとに、最も優先度の低い動画像ウィンドウか
ら順に対応するリモート端末コンピュータ（１２０）に
指示を出し、決められたアルゴリズムに従ってフロー・
コントロールを行う。このアルゴリズムを図４に示す。
フローコントロール後の動画像品質に関するＱＯＳ パ
ラメータをP3とする。 （８）フローコントロールの結果確認（Ｐ３とＰ１の比
較） LMAはＰ３がユーザの希望（Ｐ１）を満足しているか確
認する。ユーザが、ＲＭＡの変更した結果に満足出来な
ければ、（９）へ行く。満足していれば（１０）へ行
く。 （９）他のフローコントロールの可能性 ユーザが、ＲＭＡの変更した結果に満足出来なければ、
さらに別のアルゴリズムが残っているかチェックする。
残っていれば（７）へ行く。全てのアルゴリズムを実行
済みならば、そのことをLMAに知らせる。ＬＭＡはユー
ザにそのことをスクリーンを通して伝える。 （１０）待ち時間後、（２）へ戻る 満足していれば一定時間の待ち時間後、（２）へ戻り再
度動画像品質をモニターする。待ち時間の理由は（３）
と同様である。
【００１２】以上、ローカル端末コンピュータの受信端
末コンピュータとしての動作について説明したが、双方
向コミュニケーションであるので、送信端末コンピュー
タの機能も備わっている。図３の中でカメラ（１１
１）、マイク（１１２）が示されている。これらの装置
で取り込まれた情報はメデイア・エンコーダ（１０４）
でデータ処理されリモート端末コンピュータへ送られ
る。さらにリモート端末コンピュータからの要求に応じ
て、リモート端末コンピュータに対してフロー・コント
ロールを行うことは同様である。
【００１３】図4にはメディア・スケーリングのための
フロー・コントロールのアルゴリズムが示されている。
これについて説明する。実際の使用状況ではこれらの順
序にとらわれることなく、他の順序あるいはユーザが自
由に変更できる。また、ここに示す５つ以外の方法であ
り当業者には周知の他の方法が使えることは明らかであ
る。 ステップ１：画像は粗くなるけれども、ＤＣＴ（Discre
te Cosine Transform）の量子化ビット数を少なくする
ことにより、必要情報量を少なくする。 ステップ２：音声品質あるいは音声帯域幅は狭くなる
が、音声データのビットレートと圧縮率を変えることに
より、必要情報量を少なくする。 ステップ３：動画像の動きの滑らかさを落とすが、フレ
ームレートを落とすことにより、必要情報量を少なくす
る。 ステップ４：画像サイズ（ピクセル数）を縮小する。例
えば、CIF(Common Intermediate Format）からQCIFへ縮
小して画像のサイズを１／４にすることにより、必要情
報量を少なくする。 ステップ５：ＭＣＵ(Media Controling Unit)機能を使
って複数の動画像の合成を行うことにより必要情報量を
少なくする。例えば、 ＭＣＵは、背景および人物を含
んでいる複数の動画像がスクリーン上に表示されている
場合、これを共通の背景を持った一つの動画像に複数の
人物を同時に表示させる機能である。図５Ａには画像合
成前、図５Bは ＭＣＵ による画像合成後の例を示して
いる。
【００１４】
【発明の効果】本発明を実施することにより、以下に示
す効果が得られる。 （１）動画像及び音声品質の向上 従来は、ローカル端末コンピュータのCPUの動的リソー
スに余裕があっても活用されなかったが、本発明により
余裕があるときには、これが活用され、動画像及び音声
品質の向上が計られる。さらに、ローカル端末コンピュ
ータに動的なリソースの余裕がないときでも、ユーザの
希望に従って動画像及び音声品質の最適化が実現でき
る。 （２）ローカル端末コンピュータCPUの動的リソースの
最適活用 ビデオ会議中に同時に、ローカル端末コンピュータでジ
ョブを実行中に、 会議に必要な最小限のリソースを配
分し、残りをローカルでのジョブの実行に割り当てるこ
とが出来るのでローカル端末コンピュータの動的なリソ
ースの最適活用を計ることが出来る。さらにこれらの配
分がユーザからビジブルである。 （３）スタンドアローン端末コンピュータに対しても、
同様の効果が得られる。一旦、ローカル端末コンピュー
タに記憶された情報を再現させるときにも、上記（１）
及び（２）の効果が得られる。 （４）特別なハードウェアが必要ではない。本発明はロ
ーカル端末コンピュータへのエージェントのインストー
ルによって実現されるので、特別なハードウェアは必要
なく、ネットワークを通じて、必要なリモート端末コン
ピュータにもインストールすることが出来る。
【図面の簡単な説明】
【図１】本発明のネットワークと接続された時の１実施
例を示す図である。
【図２】本発明のエージェント構造及びデータの流れを
示す図である。
【図３】本発明の動作のフローチャートを示す図であ
る。
【図４】RMAで実行されるフローコントロールの各ステ
ップを示す図である。
【図５Ａ】ＭＣＵによる画像合成前の一例を示す図であ
る。
【図５Ｂ】ＭＣＵによる画像合成後の一例を示す図であ
る。
【符号の説明】
100: ローカル端末コンピュータのOS 101: ローカル・メディア・エージェント 102: リモート・メディア・エージェント 103: メディア・デコーダ 104: メディア・エンコーダ 105: メディア・マニピュレータ 110: ローカル端末コンピュータ 111: カメラ 112: マイク 113: スピーカ 114: エージェント・コントロール・パネル 120: リモート端末コンピュータ

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】少なくともローカル端末コンピュータおよ
    びリモート端末コンピュータを含む複数の端末コンピュ
    ータが接続されているネットワークシステムにおける前
    記ローカル端末コンピュータ内において、 ユーザの要求に従って、動画像及び音声メディア処理プ
    ロセスに対して、OSが提供している動的プロセスコント
    ロールを行うこと、あるいは、 前記ユーザの要求に従って、前記リモート端末コンピュ
    ータへ指示を出し、該リモート端末コンピュータと前記
    ローカル端末コンピュータとを連動させながら前記ユー
    ザの希望する動画像、及び又は音声の特定の品質を向上
    させること、により前記ユーザの希望する品質で動画像
    及び音声を提供する、エージェントによる制御方法
  2. 【請求項２】ローカル端末コンピュータにおいて、 ユーザの要求に従って、動画像及び音声メディア処理プ
    ロセスに対して、OSが提供している動的プロセスコント
    ロールを行うこと、あるいは、 ユーザの要求に従って、前記ローカル端末コンピュータ
    へ指示をだし、ユーザの希望する動画像、及び又は音声
    の特定の品質を向上させること、によりユーザの希望す
    る品質の動画像及び音声を提供するエージェントによる
    制御方法
  3. 【請求項３】前記エージェントはローカル・メディア・
    エージェントとリモート・メディア・エージェントを含
    み、前記ローカル・メディア・エージェントは、前記ユ
    ーザから前記ユーザの希望する動画像の希望の品質に関
    するパラメータを受け取り、前記動画像及び音質メディ
    ア処理プロセスの動作状態に関するパラメータと比較
    し、必要に応じて前記動画像及び音質メディア処理プロ
    セスに対して、 優先度の変更CPUの割り当て時間の変更の少なくとも一
    つを実行することにより、OSが提供している動的プロセ
    スコントロールを行う、ことを特徴とする請求項１及び
    請求項２に記載のエージェントによる制御方法
  4. 【請求項４】前記エージェントはローカル・メディア・
    エージェントとリモート・メディア・エージェントを含
    み、 前記ローカル・メディア・エージェントは、前記ユーザ
    から前記ユーザの希望する動画像及び音質の品質に関す
    るパラメータを受け取り、前記リモート・メディア・エ
    ージェントに前記パラメータを渡し、 前記リモート・メディア・エージェントは、前記ローカ
    ル・メディア・エージェントから受取った前記パラメー
    タをもとに、前記リモート端末コンピュータへフローコ
    ントロールの指示を出し、前記ユーザの要求を満たす品
    質の動画像及び音質を実現する、ことを特徴とする請求
    項１に記載のエージェントによる制御方法
  5. 【請求項５】前記リモート・メディア・エージェント
    は、前記動画像及び音声メディア処理プロセスおよび前
    記リモート端末コンピュータに対して画像の量子化ビッ
    ト数を変えること音声データのビットレートと圧縮率を
    変えることフレームレートを変えること画像サイズ（ピ
    クセル数）を変えること動画像合成を行うことの少なく
    とも一つを指示することによってユーザの要求を満たす
    動画像品質及び音質を実現する、ことを特徴とする請求
    項４に記載のエージェントによる制御方法
  6. 【請求項６】請求項1ないし請求項５に記載の前記エー
    ジェントによる制御プログラムがを記憶した記憶媒体
JP8316124A 1996-11-27 1996-11-27 エージェントによるａｖメディアの実時間ｑｏｓ制御方法 Pending JPH10164535A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP8316124A JPH10164535A (ja) 1996-11-27 1996-11-27 エージェントによるａｖメディアの実時間ｑｏｓ制御方法
US09/892,289 US20020059627A1 (en) 1996-11-27 2001-06-26 Agent-enabled real-time quality of service system for audio-video media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8316124A JPH10164535A (ja) 1996-11-27 1996-11-27 エージェントによるａｖメディアの実時間ｑｏｓ制御方法

Publications (1)

Publication Number Publication Date
JPH10164535A true JPH10164535A (ja) 1998-06-19

Family

ID=18073523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8316124A Pending JPH10164535A (ja) 1996-11-27 1996-11-27 エージェントによるａｖメディアの実時間ｑｏｓ制御方法

Country Status (2)

Country Link
US (1) US20020059627A1 (ja)
JP (1) JPH10164535A (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1011788C2 (nl) * 1999-04-14 2000-10-17 Koninkl Kpn Nv Besturingssysteem voor een IC-netwerk.
US8352372B1 (en) 2001-04-02 2013-01-08 At&T Intellectual Property I, L.P. Software conditional access system for a media delivery network
US20030174243A1 (en) * 2002-03-13 2003-09-18 Arbeiter James Henry Network streaming system for providing a user with data defining imagecontent at a resolution that may be determined by the user
FR2853786B1 (fr) * 2003-04-11 2005-08-05 Medialive Procede et equipement de distribution de produits videos numeriques avec une restriction de certains au moins des droits de representation et de reproduction
WO2005069896A2 (en) * 2004-01-16 2005-08-04 Clique Communications Llc System and method for dynamically configured, asymmetric endpoint video exchange
US20050204345A1 (en) * 2004-02-25 2005-09-15 Rivera Jose G. Method and apparatus for monitoring computer software
WO2006019380A1 (en) * 2004-07-19 2006-02-23 Thomson Licensing S.A. Non-similar video codecs in video conferencing system
US20060029051A1 (en) * 2004-07-30 2006-02-09 Harris John C System for providing IP video telephony
US8090810B1 (en) * 2005-03-04 2012-01-03 Netapp, Inc. Configuring a remote management module in a processing system
US8291063B2 (en) * 2005-03-04 2012-10-16 Netapp, Inc. Method and apparatus for communicating between an agent and a remote management module in a processing system
US7805629B2 (en) * 2005-03-04 2010-09-28 Netapp, Inc. Protecting data transactions on an integrated circuit bus
US7899680B2 (en) * 2005-03-04 2011-03-01 Netapp, Inc. Storage of administrative data on a remote management device
US20070133413A1 (en) * 2005-12-09 2007-06-14 Andrew Pepperell Flow control in a video conference
US8326927B2 (en) 2006-05-23 2012-12-04 Cisco Technology, Inc. Method and apparatus for inviting non-rich media endpoints to join a conference sidebar session
US20080028431A1 (en) * 2006-07-28 2008-01-31 Samsung Electronics Co., Ltd Image processing apparatus, display apparatus and image processing method
US8526336B2 (en) * 2006-08-09 2013-09-03 Cisco Technology, Inc. Conference resource allocation and dynamic reallocation
US20080091838A1 (en) * 2006-10-12 2008-04-17 Sean Miceli Multi-level congestion control for large scale video conferences
US20080232763A1 (en) * 2007-03-15 2008-09-25 Colin Brady System and method for adjustment of video playback resolution
WO2008132414A1 (fr) * 2007-03-30 2008-11-06 France Telecom Procede de gestion d'une pluralite de sessions audiovisuelles dans un reseau ip et systeme de commande associe
WO2012072276A1 (en) * 2010-11-30 2012-06-07 Telefonaktiebolaget L M Ericsson (Publ) Transport bit-rate adaptation in a multi-user multi-media conference system
US9948786B2 (en) * 2015-04-17 2018-04-17 Cisco Technology, Inc. Handling conferences using highly-distributed agents
US10200914B2 (en) 2017-01-20 2019-02-05 Microsoft Technology Licensing, Llc Responsive quality of service management
US11102492B2 (en) 2018-02-20 2021-08-24 Arlo Technologies, Inc. Multi-sensor motion detection
US11076161B2 (en) * 2018-02-20 2021-07-27 Arlo Technologies, Inc. Notification priority sequencing for video security
US11756390B2 (en) 2018-02-20 2023-09-12 Arlo Technologies, Inc. Notification priority sequencing for video security
US11558626B2 (en) 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
US10805613B2 (en) 2018-02-20 2020-10-13 Netgear, Inc. Systems and methods for optimization and testing of wireless devices
US10742998B2 (en) 2018-02-20 2020-08-11 Netgear, Inc. Transmission rate control of data communications in a wireless camera system
US11272189B2 (en) 2018-02-20 2022-03-08 Netgear, Inc. Adaptive encoding in security camera applications
US11064208B2 (en) 2018-02-20 2021-07-13 Arlo Technologies, Inc. Transcoding in security camera applications

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708473A (en) * 1994-08-30 1998-01-13 Hughes Aircraft Company Two stage video film compression method and system
JPH08205105A (ja) * 1995-01-26 1996-08-09 Hitachi Denshi Ltd ディジタル信号伝送システム
US5689800A (en) * 1995-06-23 1997-11-18 Intel Corporation Video feedback for reducing data rate or increasing quality in a video processing system
US5673253A (en) * 1996-02-29 1997-09-30 Siemens Business Communication Systems Dynamic allocation of telecommunications resources
US5963884A (en) * 1996-09-23 1999-10-05 Machine Xpert, Llc Predictive maintenance system

Also Published As

Publication number Publication date
US20020059627A1 (en) 2002-05-16

Similar Documents

Publication Publication Date Title
JPH10164535A (ja) エージェントによるａｖメディアの実時間ｑｏｓ制御方法
EP3926947B1 (en) Dynamic video resolution and quality for improved video conferencing
CN110769278B (zh) 一种分布式视频转码方法及系统
US10051202B2 (en) Method and apparatus for adaptively mixing video source signals
US6014712A (en) Network system
JP3658087B2 (ja) 端末装置及び端末装置の制御方法
US6084911A (en) Transmission of coded and compressed voice and image data in fixed bit length data packets
US20100085419A1 (en) Systems and Methods for Selecting Videoconferencing Endpoints for Display in a Composite Video Image
JP5772059B2 (ja) テレビ会議システムの処理方法、テレビ会議システム、プログラム及び記録媒体
JP2000197043A (ja) デ―タ通信制御装置及びその制御方法、画像処理装置及びその方法、及びデ―タ通信システム
JPH10164533A (ja) 画像通信方法及び装置
WO2006008961A1 (ja) 情報処理システム及び情報処理方法、並びにコンピュータプログラム
US6249324B1 (en) Transmission processing apparatus, television conference system, transmission processing method and memory medium
JP2005045357A (ja) リモートディスプレイプロトコル、映像表示システム及び端末装置
JPH08317384A (ja) 情報処理システム
US20220255981A1 (en) Method and Apparatus for Adjusting Attribute of Video Stream
US7751687B2 (en) Data processing apparatus, data processing method, data processing system, program, and storage medium
JP2004507957A (ja) アルゴリズムを実行する方法と、拡張性のあるプログラマブル処理装置
JP2002351438A (ja) 映像監視システム
CN111385515A (zh) 视频会议数据的传输方法和视频会议数据的传输系统
US20030058942A1 (en) Method of running an algorithm and a scalable programmable processing device
WO2021036784A1 (zh) 一种媒体数据处理方法、装置、媒体服务器及计算机可读存储介质
JP5273959B2 (ja) 映像処理装置及び映像処理方法
JPH07303252A (ja) 画像符号化復号化方法
KR102324609B1 (ko) 다지점 영상회의 장치 및 그 제어 방법