JP3216978B2 - マルチメディア・ストリーム転送方法 - Google Patents
マルチメディア・ストリーム転送方法Info
- Publication number
- JP3216978B2 JP3216978B2 JP34042095A JP34042095A JP3216978B2 JP 3216978 B2 JP3216978 B2 JP 3216978B2 JP 34042095 A JP34042095 A JP 34042095A JP 34042095 A JP34042095 A JP 34042095A JP 3216978 B2 JP3216978 B2 JP 3216978B2
- Authority
- JP
- Japan
- Prior art keywords
- stream
- audio
- transfer
- voice
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
- Computer And Data Communications (AREA)
- Time-Division Multiplex Systems (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
グやデジタルの電話回線、衛星リンク、通信ネットワー
ク等、ある帯域幅の通信回線を通したマルチメディア・
ストリームの転送方法に関する。マルチメディア・スト
リームはそれぞれビデオ、オーディオ、データのストリ
ーム等、少なくとも2つのサブストリームからなる。本
発明は更に上記の方法と、1つの通信回線の帯域幅を音
声とデータのストリームに共通に使用できる音声制御デ
ータ転送装置とを採用した音声制御ビデオ会議装置に関
する。
ーディオ会議では、こうしたユーザは会議の相手側から
送られるビデオ、オーディオ、データ、すなわちマルチ
メディア情報の洪水を受けることになる。
につれて指数関数的に増加する。その訳は、これらマル
チメディア・ストリームを処理し、これらストリームを
管理するために必要なシステム・リソースが増えるから
である。コストの他に現在のワークステーションのほと
んどは、MPEGやDVI等の圧縮フォーマットであっ
ても、ある程度(3つか4つ)以上のビデオ・ストリー
ムやオーディオ・ストリームを処理する能力に欠けてい
る。
加者と通信しているときに本当に興味のある情報を見つ
けるのは非常に困難である。従来の会議装置の場合、参
加者は、会議の主スピーカが変わる度に関連のビデオ情
報を得るために装置を操作しなければならない。通信し
ているn人の参加者は、各参加者にビデオ・ウィンドウ
1つ等、n個のビデオ・ストリームを得る。
るこれまでのソリューションは、会議当たり少人数の参
加者を扱うように設計されている。またこうした装置の
制御にはかなり人手がかかる。最新の会議装置に用いら
れるソリューションはユーザが直接にか、担当者がマス
タ・ステーションを使って明示的に選択できるようにす
るメカニズムである。このような装置はユーザ・フレン
ドリネスに欠け、システム・リソースの使用効率が悪
い。受信側のユーザは関連情報を選択するために、目的
のビデオ・ウィンドウ、共有アプリケーション等を見つ
けなければならない。
データを送れないようにするトークン・プロトコルであ
る。会議に参加している相手と話したいユーザはトーク
ンを要求する必要がある。このような装置の欠点は、ユ
ーザがいつトークンを得るかの制御と、それ以上の人数
の参加者間で会話があっても1人しか送れないという制
限である。
リューションがあるが、これは無音検出メカニズムを使
用する。この方式はユーザが話をしていないならオーデ
ィオ・データの転送を停止することで、オーディオ信号
の場合にはデータ転送速度を落とすために用いられる。
このメカニズムでは、オーディオ情報はオーディオ信号
に振幅がある場合にのみ生成/転送される。オーディオ
信号や「フロア・ノイズ」に近い信号のない時間にはデ
ータは転送されない。
の通信回線でシグナリング・メッセージと非シグナリン
グ・メッセージをコンセントレートする方法及び装置を
開示している。各ユーザからの情報はまずバッファリン
グされ、バッファリングされた情報は所定の一定の優先
方式に従って優先度がつけられ、その後、バッファリン
グされた情報は優先方式内の情報の分類をもとに共通の
通信回線に転送される。従って優先度が最高の情報は最
初に共通ラインを転送され、これに優先度が低い情報が
続く。キューに入るメッセージは全て5つの優先度クラ
スのいずれかに割当てられる。この方法では、通常のメ
ッセージ・トラフィックで監視シグナリング機能を統合
でき、よって通常のメッセージ・トラフィックに用いら
れる残存シグナリング容量を空けることができる。この
方式は、通信回線の有効容量を増加させることになる。
ィオ会議装置を開示している。会議参加者全員の音声の
強度が検出される。強度があるしきい値を超える参加者
は、音声を転送するアクティブ状態にセットされる。ア
クティブ状態を決定するためには絶対信号振幅だけでは
なく、他の参加者の強度も考慮される。ここから会議の
ノイズ・レベルが低い状態では、音声信号振幅が低い参
加者もアクティブにセットされるという利点が得られ
る。
ある問題は、会議においてユーザが会議装置を操作する
必要なく関連情報を見つけられる限りはコストの削減を
可能にし、よってユーザ・フレンドリネスを実現する、
マルチメディア・ストリームを転送する一般的方法、特
に会議装置を得ることである。
記載の特徴に従った本発明の方法により解決される。つ
まりこの方法により、マルチメディア・ストリームのサ
ブストリームのうち少なくとも1種類は、あるストリー
ムの他のストリームに対するアクティブ転送に関する優
先度を制御する属性からなり、これらサブストリームの
属性の変化が連続的に検出され、ストリームのアクティ
ブ転送に関する優先度のスケールが設定され、少なくと
も1つの属性の変化に従って各ストリームの優先度状態
が動的に変更され、また優先度が最高のストリームだけ
がアクティブに転送される。
は、ビデオ会議の参加者は通常、現在のスピーカからの
ビデオ、データ情報にしか興味がなく、他の参加者から
のものにはまずほとんど興味がないという観察結果があ
る。この新しい方式では、競争関係にある単方向マルチ
メディア・ストリームが少なくとも2つ転送される。マ
ルチメディア・ストリームはそれぞれ、会議アプリケー
ションの送信側から会議の相手に送られるオーディオ、
ビデオ、マウス・ポインタ、現在使用されているアプリ
ケーション・ウィンドウ等、デジタル、アナログの信号
であるパラレル・サブストリーム群からなる。オーディ
オ信号の振幅等の属性により、これらのサブストリーム
の1つは全てのマルチメディア・ストリームの転送状態
(アクティブかパッシブ)を決定することになる。
とは、この信号がアクティブなときだけ会議場所全てに
表示されるか、モノクロではなくカラーで表示されると
いう意味である。また転送の品質をストリームの重みに
直接結びつけるというソリューションも考えられる。ビ
デオ信号の場合、不良品質は転送信号の分解能の低さで
よく、オーディオ信号の場合、低品質は小さい信号振幅
によって実現できる。しかしこうした実現例は、本発明
の実施例に過ぎずアクティブ転送に関して他のソリュー
ションも考えられるということを強調しておきたい。本
発明に従って、優先度が最高のストリームは他のストリ
ームを制御することになる。ある時間には、最も重要な
ストリーム群しか転送されない。
入る場合は、各スピーカ用のマイクと一緒にリモート制
御のビデオ・カメラを1台しか使用しないことで、シス
テム・コストの削減も可能である。カメラは対応する場
所すなわちマイクから入るオーディオ信号の重みGをも
とに所定のビューに移動させることができる。カメラが
1台しかない場合、これは常に最も大きいオーディオ信
号のあるところか、オーディオ信号が最後に入ったとこ
ろに移動される。
重要度すなわちストリームの優先度は、次の重み付け関
数によって決定される。
の振幅loud(si、t)と、ストリームがアクティブであ
った最後の時間を記述するパラメータA(Si)からな
る。ここで重み付け関数は対応するオーディオ・サブス
トリームと時間にのみ依存する。
リームよりも常に重みが大きいので、重み付け関数Gは
G(si、t)=A(si)×loudmax+A(si)×loud
(si、A(Si))と定義できる。ここでloud(s、
t)は時間tにおけるストリームsのオーディオ・サブ
ストリームのラウドネス、loudmaxはオーディオ信号の
最大振幅である。A(si)はストリームsiが最後にア
クティブだった時間を示す。正規化の後、この式を最大
ラウドネスで割ることによって式(1)が得られる。
オ情報に関する次の3つの状態を定義できる。 1.対応するオーディオ信号が検出されている、すなわ
ちその振幅が0付近のあるしきい値より大きい場合に、
マルチメディア・ストリームは現在アクティブである。
この場合、式(1)ではA(si)=tである。 2.オーディオ信号が検出されていない、すなわちオー
ディオ信号の振幅が0付近のあるしきい値より小さい場
合に、マルチメディア・ストリームはパッシブである。
この場合、式(1)ではA(si)=tkである。 3.マルチメディア・ストリームはアクティブになって
いない。その場合A(si)=0が有効である。
リームは、オーディオ・サブストリームの振幅をもとに
重みが付けられるが、これはつまり、ある会議の現在の
スピーカはそのオーディオ信号のラウドネスをもとに重
みが付けられることを意味する。本発明はこの種の重み
付けメカニズムに制限されないことを強調しておきた
い。例えば重み付け関数はビデオやマウス・ポインタの
信号をもとにすることもでき、その場合は参加者の動き
や、ポインタの位置により優先度のスケールが設定され
る。
た時間をもとに重みが付けられる。
に参加したり会場を去ったりができる一般的な場合で
は、全てのマルチメディア・ストリームのセットは時間
に依存する。しかしそれでも本発明に従った方法は、こ
のような会議参加者グループに適用できる。
て並列にアクティブであり得るストリームの最大数n
maxを指定できる。優先度状態がアクティブにセットさ
れている実際のm人のスピーカのビデオ、オーディオ、
マウス・ポインタ等の情報と、最後のnmax−m(nmax
>=m)人のスピーカだけが示される。例えば2人以上
の参加者が平行して話している場合、最も声の大きいス
ピーカが選ばれる。パラメータn、mの選択基準はシス
テムや通信回線の容量、及びユーザの要求に置くことが
できる。
送り側にか、受け側だけに或いは中間の制御装置に適用
することができる。
オ信号が検出された場合にのみ送られる。これにより受
け側でユーザ・フレンドリネスが改良され、通信回線の
所要帯域幅を小さくでき、通信装置のコストが削減され
る。この改良はビデオ会議等の参加者数にほぼ比例す
る。ほとんどのビデオ会議で参加者数に関わらず話をす
る人数は1人だけ(或いは2人)だからである。
ば、ユーザ・フレンドリネスが改良され、受信側の装置
の所要システム・リソースが減少する。
員がビデオ情報、オーディオ情報を中間の制御装置に送
ることになる。この装置は受信された情報を管理し配布
する。どのストリームをどの品質で転送するかの決定
は、例えばストリームの重みをもとに行なわれる。
通信回線を通してビデオ/オーディオ/データのマルチ
メディア・ストリームを転送するための音声制御ビデオ
会議装置である。これはオーディオ・サブストリームの
振幅を検出し、どのマルチメディア・ストリームをアク
ティブ状態にセットするかパッシブ状態にセットするか
を決定する音声検出手段、各マルチメディア・ストリー
ムにアクティブ転送の優先度を割当て、マルチメディア
・ストリームの優先度に関して優先度のスケールを設定
する手段、オーディオ・サブストリームの振幅の変化に
応じて優先度のスケールを動的に変更する手段、及び少
なくとも1つのマルチメディア・ストリームを転送に関
してアクティブ状態にセットする手段からなる。この装
置に関しても上記の側面は有効である。
ある。ビデオ、マウス・ポインタ等の情報は優先度の高
いストリームについてのみ表示される。他の方式では、
最も優先度の高いストリームに対応したウィンドウやマ
ウス・ポインタに印が付けられ、或いはアクティブにさ
れる。これはユーザ・インタフェースのこれらの部分に
ユーザが集中しやすくするためである。ユーザの画面が
小さくビデオとアプリケーションのウィンドウが多けれ
ば、アクティブ・ストリームのビデオ情報はカラーで、
パッシブ・ストリームのビデオ情報はモノクロで表示す
るのが便利である。
施例では、上述のような重み付け関数を作成する手段か
らなる。ラウドネス測定関数loud(s、t)が使用でき
ない装置の場合は、ここに示した重み付け関数を簡素化
したものを音声検出メカニズムだけを基準にして使用で
きる。アクティブ・ストリーム間の重み付けはラウドネ
ス測定関数がなければサポートされないので、loud(s
i、A(si))はloudmaxに等しくセットされる。新し
い重み付け関数はGnorm(si、t)=2×A(si)で
ある。
ストリームの振幅を検出し、オーディオ・サブストリー
ムが所定時間の間はあるしきい値を超えたマルチメディ
ア・ストリームをアクティブ状態にセットする手段と、
無音オーディオ・サブストリームの期間を検出し、オー
ディオ・サブストリームがあるしきい値よりも長い期間
は無音であったマルチメディア・ストリームをパッシブ
状態にセットする手段からなる。音声検出メカニズムは
ビデオ/オーディオ/データのストリームをアクティブ
かパッシブの状態にいつセットするかを決定する。
あるしきい値を超えた場合には、ユーザは話をしている
か、自身の方に注意を引こうとしているとみなされ、こ
のストリームはアクティブにセットされる。このメカニ
ズムは典型的なミーティングや会議上の観測可能な人間
の挙動を反映する。あるしきい値よりも長い期間オーデ
ィオ情報が途切れた場合、装置はストリームをパッシブ
にセットできるとみなす。
域幅を音声とデータのストリームで共通に使用する音声
制御データ転送装置である。
N、GSM)のデータ転送は益々、重要になっている
が、これは特に共同作業のアプリケーションやモビール
・オフィスのソリューションすなわちパーソナル・アシ
スタントに関して顕著である。このような分野ではしば
しば関係参加者が、音声通信とデータ転送の2つのレイ
ヤで同時に直接やりとりする必要がある。
形である「会話」は、アイデアや意見を非常に素早く伝
える極めて効率のいい、また絶対に必要なツールであ
る。しかし一方、ある種の情報は補助的な発言やグラフ
ィクスによりはるかに明瞭に伝えることができる。更に
普通の会話が中心になるような電話会議で伝えられる事
業統計等の特殊なデータは、2進フォーマットによりは
るかに正確、高速に転送できる。
等のデータ・オブジェクトについて話し合い、それを変
更するか、仮想ポインタを使って一部を示したいといっ
た共同作業アプリケーションの場合は、音声とデータを
平行に転送する必要がある。
失われる他に無音期間にはかなりの帯域幅が無駄にな
る。電話交換網は全2重通信だけなので、無音期間は実
際に頻繁に生じる。通常は一方のチャネルが使われない
ままだからである。そのため、理論的にはデータ接続を
追加して並列に維持することもできる。
は、そうした音声とデータの同時転送を許容しない特殊
なモデム或いはインタフェースを使用している。データ
を転送するか、或いは音声中心の接続を維持するかをユ
ーザ自身が決定する必要がある。これは共同作業アプリ
ケーションによる新しい可能性から見れば極めて非効率
である。
うな自動交換方式は、維持接続数よりも落ちる現実の複
数の物理接続を使用した数本の電気通信接続のデジタル
時分割多重化を行なう交換ノードでしか用いられていな
い。ここでいう無音抑制は、ある接続で無音期間が検出
され、無音が検出された場合には、その回線は網の別の
接続に与えられることを意味する。切られた接続で通信
が再開された場合は、未使用回線や、既に無音抑制モー
ドに入っている回線等、別の空き回線を見つける必要が
ある。
ータの転送の同時性の問題に対するこれまでのソリュー
ションは、2つの別々の電話回線を通して2つの接続を
平行に手動で確立するものであるか、またはデータ・モ
デムと音声の時分割多重交換である。最初の方式は、2
つの電話回線が平行に使用できることを前提にしてい
る。これはしかし、ユーザには2回線分の費用がかかる
のでかなり非経済的である。しかしほとんどのオフィ
ス、特にモビール・オフィスでは普通は1回線しか使用
できない。2番目の方式では、電話回線は1本でいいが
快適には程遠い。会議参加者は双方とも交換のタイミン
グを合わせ、音声が中断された後は常にデータ・リンク
を確立し直す必要がある。特に音声とデータの情報を同
時に効率よく使用することはできない。
に帯域幅の共有を最適化するために、音声とデータの同
時転送を可能にする転送モデムを提供することである。
本発明の他の目的は、既存のハードウェア/ソフトウェ
アに追加できるように、現在用いられているモデム及び
転送プロトコルとの互換性を維持することである。
間を認識する検出手段と、無音期間に関してデータと音
声をタイムリに多重化するマルチプレクサ手段とからな
る。この方法の基本的な考え方は、現在の一般的な電話
交換網を使ってデータと音声を自動的に時分割多重化す
ることであり、これは適正コストで実現可能である。こ
の多重化のタイムスロットは自動無音期間認識により生
成される。本発明はISDNやGSMのDTE(データ
回線終端装置)にも適用できる。
的に、1つのリンクを音声とデータの転送に共通に使用
するためにエンド・ノードで用いられる。音声通信の場
合、従来の電話回線が用いられる。しかし無音期間が検
出されたとき、回線はデータ接続に自動的に切り替えら
れる。
や転送プロトコルとの互換性が得られる。無音期間認識
手段と多重化手段は送信元/受信元に置ける。
は、電話入力とモデム入力で2線/4線変換を行なう手
段、無音認識手段と制御信号生成手段(PSR)、入力
トラフィックの音声/データ認識手段(SDR)、及び
電話入力/出力とモデム入力/出力を高速に切り替える
手段からなる。この方式の利点は、アナログ信号転送な
ので音声転送にロスがないことである。従ってユーザは
普通、バックグラウンドのデータ転送を意識することも
ない。
ディア・ストリームの転送方法の原理面を示している。
例として、それぞれ4つのサブストリームからなる3つ
のマルチメディア・ストリーム4a乃至4cを示す。本
発明のこの好適実施例で、サブストリーム信号はユニッ
ト1に送られ、これらの信号のうち1種類の属性(オー
ディオ信号の振幅等)に関して重み付け関数を実行す
る。重み付け関数は信号をユニット2に送り、そこで優
先度が計算される。ユニット2はストリーム4a乃至4
cのアクティブ転送に関する優先度のスケールを提供す
る。オン/オフ・スイッチが優先度が最高のストリーム
をアクティブ状態に、他のストリームは全てパッシブ状
態にセットする。優先度のグローバル・スケールを設定
するには、優先度計算を受持つユニット2間で他のメッ
セージを転送する必要がある。
時間との関係から示す。帯域幅全体は音声とデータの排
他的転送に共通に用いられ、音声とデータの切り替えは
無音検出メカニズムによって行なわれる。無音期間6の
始めが検出されると音声転送は中断され、通信回線は第
2転送モードに切り替わり、バイナリ・データだけが転
送される。音声転送はオーディオ(音声)信号7が再び
検出された時に再開される。
は、基盤になる通信網の転送上の性質に依存する。音声
とデータの帯域幅共有はアナログとデジタルの音声転
送、この2つの条件下で実現できる。
の方式を示す。音声制御データ転送モデム10は、電話
11とパーソナル・コンピュータ12をアナログ電話回
線13で相互接続する。既存モデム14の機能は新しい
ハードウェア要素15、無音期間認識装置とマルチプレ
クサ(PRSandMUX)、を追加することで拡張される。実
際に用いられる通信プロトコルは僅かに変更するだけで
よい。PSRandMUX15は、音声期間には電話11を電話
回線13に接続し、無音期間にはモデム12を回線13
に接続する自動スイッチのように働く。
ト22を通してモデムに、またポート23を通して電話
回線に接続されるPSRandMUX20の好適な実施例を比較
的詳しく示す。PSRandMUX20は、両方の通信方向を別
々に処理するため両方の入力ポート21、22にある2
/4線コンバータ24からなる。従ってPSRandMUXは出
力ポート23に4/2線コンバータ25を持つ。電話1
1から入力ポート21とコンバータ24を通して受信さ
れたオーディオ信号は無音期間認識装置26に送られ、
認識装置26は制御信号27を出力する。この信号27
は高速入力スイッチ28に送られる。スイッチ28はポ
ート21を通して受信された音声とポート22を通して
受信されたデータをコンバータ25を介して電話回線2
3に接続する。
トラフィックに対しては音声/データ認識装置29があ
り、これは制御信号30を高速出力スイッチ31に送
る。スイッチ31は入力音声をコンバータ24を通して
ポート21へ、入力データを第2コンバータ24を通し
てポート22に接続する。
MUX26によって出力される制御信号を処理し、指定の
瞬間にデータフローを中断する必要がある。しかし次の
無音期間の始めに再同期化を高速に行なえるようにする
ためには、データの接続を終局的に終了するわけにはい
かない。音声モードとデータ・モードの切り替えは、シ
グナリング音を追加することで都合よく制御されるの
で、プロトコルはキャリア損失を多重化から区別するこ
とができる。
送による損失のない音声転送である。従ってユーザは普
通、バックグラウンドのデータ転送を意識しない。
もとづく。デジタル化音声は既存のPCサウンド・カー
ドやAD/DAコンバータにより簡単に得られる。これ
によりソフトウェア或いは拡張PCカード50が送信側
40と受信側50に備えられる。図5にまず送信側の実
施例を示す。これはデジタル音声の入力ポート41、デ
ータの入力ポート42、及びデジタル・リンクに接続さ
れた出力ポート43からなる。入力デジタル音声はユニ
ット44で圧縮されて無音期間認識(PSR)装置45
と、マルチプレクサ(MUX)46に送られる。ポート
42を介して入力されるデータ・トラフィックはマルチ
プレクサ46に直接送られる。好適な実施例では、デジ
タル化音声の圧縮及び音声とデータのPSRとデジタル
MUXの実行はコンピュータ装置上で実現される。標準
のモデムとプロトコルにより一貫したデータ・ストリー
ム43が転送される。
ータの多重化解除を行なう必要がある。受信側にはソフ
トウェア或いは拡張PCカード50も置かれる。図6に
示したこのカード50の実施例は、モデムによって受信
される転送信号の入力ポート51と、再変換されたデジ
タル音声と再変換されたデータを転送する2つの出力ポ
ート52、53からなる。入力信号51は音声データ認
識(SDR)装置54とデマルチプレクサ(DEMUX)5
5に平行に送られる。SDR54はDEMUX55の制御信
号57を出力する。DEMUX57は入力信号を出力ポート
52または出力ポート53に接続する。また抽出された
音声は、圧縮解除装置56で圧縮解除され目的のアナロ
グ音声信号に再変換される。
GSM標準ネットワーク、ISDN等、他のネットワー
クについても一般化できる。本発明をGSMネットワー
クで使用することは、帯域幅のコストが比較的大きいこ
とを考えると非常に効率的である。このようなネットワ
ークの場合、音声はデジタル・コード・フォーマットで
転送されるので、本発明に従った転送モデムの実現は比
較的容易である。
合、圧縮方式により空いた帯域幅は他のデータ転送に使
用できる。これは図1に従った図によって図7に示して
ある。それぞれ時間60から始まる無音期間では帯域幅
全体をデータ転送に使用することもできる。時間61か
ら始まる音声転送期間には帯域幅の共有が実現される。
の事項を開示する。
マルチメディア・ストリームを転送する方法であって、
上記マルチメディア・ストリームは少なくとも2つのサ
ブストリームからなり、1種類のサブストリームは、ス
トリームの、他のストリームに対するアクティブ転送に
関する優先度を制御する属性からなり、上記サブストリ
ームの属性の変化が連続的に検出され、ストリームのア
クティブ転送に関する優先度のスケールが与えられ、少
なくとも1つの属性の変化に応じて各ストリームの優先
度状態が動的に変更され、優先度が最高のストリームだ
けがアクティブに転送される、転送方法。 (2)ストリームの優先度は重み付け関数
(si、A(si))}/loudmax} により決定され、上記重み付け関数はオーディオ・サブ
ストリームの振幅loud(si、t)と、ストリームが最
後にアクティブだった時間を記述するパラメータA(s
i)とからなる、上記(1)記載の転送方法。(3)並
列にアクティブであり得る最大ストリーム数をユーザが
指定する、上記(1)または(2)に記載の転送方法。 (4)送信側にか、受信側だけにか、或いは中間制御装
置に適用される、上記(1)乃至(3)に記載の転送方
法。 (5)上記(1)乃至(4)のいずれかに従って、通信
回線を通してビデオ/オーディオ/データのマルチメデ
ィア・ストリームを転送する音声制御ビデオ会議装置で
あって、オーディオ・サブストリームの振幅を検出し、
どのマルチメディア・ストリームをアクティブ状態或い
はパッシブ状態にセットするかを決定する音声を検出す
る手段と、各マルチメディア・ストリームにアクティブ
転送に関する優先度を割当て、マルチメディア・ストリ
ームの優先度について優先度のスケールを設定する手段
と、オーディオ・サブストリームの振幅の変化に応じて
優先度のスケールを動的に変更する手段と、少なくとも
1つのマルチメディア・ストリームを転送に関するアク
ティブ状態にセットする手段と、を含む、音声制御ビデ
オ会議装置。 (6)上記(2)に記載の重み付け関数を出力する手段
を含む、上記(5)記載の音声制御ビデオ会議装置。 (7)オーディオ・サブストリームの振幅を検出し、オ
ーディオ・サブストリームが所定時間の間はあるしきい
値を超えるマルチメディア・ストリームをアクティブ状
態にセットする検出手段と、無音オーディオ・サブスト
リームの期間を検出し、オーディオ・サブストリームが
あるしきい値よりも長い時間間隔、無音であったマルチ
メディア・ストリームをパッシブ状態にセットする検出
手段と、を含む、上記(5)または(6)に記載の音声
制御ビデオ会議装置。 (8)単一通信回線の帯域幅を音声とデータのストリー
ムで共有する音声制御データ転送装置であって、無音期
間を認識する検出手段と、無音期間に応じてデータと音
声とをタイムリに多重化するマルチプレクサ手段を含
む、音声制御データ転送装置。 (9)上記無音認識手段と多重化手段は、音声期間には
電話を通信回線に接続し、無音期間にはモデムを上記回
線に接続する、上記(8)記載の音声制御データ転送装
置。 (10)上記無音認識手段と多重化手段は送信側や受信
側に置かれる、上記(8)または(9)に記載の音声制
御データ転送装置。 (11)電話入力とモデム入力の側の2線/4線変換手
段と、無音期間認識手段及び制御信号出力手段(PS
R)と、入力トラフィックの音声/データ認識手段(S
DR)と、電話入力/出力及びモデム入力/出力の高速
切り替え手段と、を含む、上記(8)乃至(10)のい
ずれかに記載の音声制御データ転送装置。
図である。
ある。
の概要を示す図である。
期間認識装置とマルチプレクサのブロック図である。
元の無音期間認識装置とマルチプレクサのブロック図で
ある。
元の無音期間認識装置とマルチプレクサのブロック図で
ある。
図である。
Claims (3)
- 【請求項1】各々が少なくとも2つのサブストリームを
含む複数のマルチメディア・ストリームであって、前記
サブストリームのうちの少なくとも1つが前記マルチメ
ディア・ストリームのアクティブ転送に関する優先度を
制御するための属性を有するマルチメディア・ストリー
ムを通信回線を通して転送する方法であって、 前記サブストリームの属性の変化を連続的に検出し、 前記属性の変化に応じて各前記マルチメディア・ストリ
ームのアクティブ転送に関する優先度を動的に決定し、 優先度が最高のマルチメディア・ストリームのみを前記
通信回線を通してアクティブ転送することを含む、転送
方法。 - 【請求項2】マルチメディア・ストリームの優先度は、
重み付け関数 【数1】 Gnorm(si、t)=A(si){1+{loud(si、A(si))}/loudmax } により決定され、上記重み付け関数はオーディオ・サブ
ストリームの振幅loud(si、t)と、ストリームが最
後にアクティブだった時間を記述するパラメータA(s
i)と、前記オーディオ・サブストリームの最大振幅lou
dmaxとからなる、 請求項1記載の転送方法。 - 【請求項3】並列にアクティブであり得る最大マルチメ
ディア・ストリーム数をユーザが指定する、請求項1ま
たは請求項2に記載の転送方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP95101214A EP0724362B1 (en) | 1995-01-30 | 1995-01-30 | Priority controlled transmission of multimedia streams via a telecommunication line |
DE95101214.5 | 1995-01-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08279835A JPH08279835A (ja) | 1996-10-22 |
JP3216978B2 true JP3216978B2 (ja) | 2001-10-09 |
Family
ID=8218943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34042095A Expired - Lifetime JP3216978B2 (ja) | 1995-01-30 | 1995-12-27 | マルチメディア・ストリーム転送方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5745380A (ja) |
EP (1) | EP0724362B1 (ja) |
JP (1) | JP3216978B2 (ja) |
DE (1) | DE69515838T2 (ja) |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3918951B2 (ja) * | 1995-10-18 | 2007-05-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 種々の異なる資源レベルを持つハードウェアプラットフォーム上でマルチメディア・アプリケーションを実行可能とする方法、そのようなアプリケーションを含む物理的記録媒体、及びそのようなアプリケーションを実行するプラットフォームシステム |
US6646677B2 (en) * | 1996-10-25 | 2003-11-11 | Canon Kabushiki Kaisha | Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method |
GB9705719D0 (en) * | 1997-03-20 | 1997-05-07 | Two Way Tv Ltd | Method and apparatus for transmitting data |
US6128649A (en) * | 1997-06-02 | 2000-10-03 | Nortel Networks Limited | Dynamic selection of media streams for display |
US5897613A (en) * | 1997-10-08 | 1999-04-27 | Lucent Technologies Inc. | Efficient transmission of voice silence intervals |
US7177323B2 (en) * | 1998-03-13 | 2007-02-13 | Intel Corporation | Ensuring quality of service (QOS) for a multi-media calls through call associated individual media stream bandwidth control |
FI108192B (fi) * | 1998-03-19 | 2001-11-30 | Nokia Networks Oy | Menetelmä ja laitteisto palvelun laadun kontrolloimiseksi matkaviestinjärjestelmässä |
US6570606B1 (en) * | 1998-05-29 | 2003-05-27 | 3Com Corporation | Method and apparatus for controlling transmission of media signals over a data network in response to triggering events at participating stations |
US6311221B1 (en) | 1998-07-22 | 2001-10-30 | Appstream Inc. | Streaming modules |
US7197570B2 (en) * | 1998-07-22 | 2007-03-27 | Appstream Inc. | System and method to send predicted application streamlets to a client device |
US6574618B2 (en) | 1998-07-22 | 2003-06-03 | Appstream, Inc. | Method and system for executing network streamed application |
US20010044850A1 (en) | 1998-07-22 | 2001-11-22 | Uri Raz | Method and apparatus for determining the order of streaming modules |
US6317776B1 (en) * | 1998-12-17 | 2001-11-13 | International Business Machines Corporation | Method and apparatus for automatic chat room source selection based on filtered audio input amplitude of associated data streams |
US6983315B1 (en) | 2000-01-18 | 2006-01-03 | Wrq, Inc. | Applet embedded cross-platform caching |
US6757894B2 (en) | 2000-09-26 | 2004-06-29 | Appstream, Inc. | Preprocessed applications suitable for network streaming applications and method for producing same |
US7051315B2 (en) | 2000-09-26 | 2006-05-23 | Appstream, Inc. | Network streaming of multi-application program code |
DE10063845A1 (de) * | 2000-12-21 | 2002-06-27 | Paraworld Ag | Verfahren und Vorrichtung zur prioritätsgesteuerten Übertragung digitaler Informationen für audiovisuelle Wiedergabegeräte |
US7668907B1 (en) * | 2001-08-16 | 2010-02-23 | Microsoft Corporation | Method and system for selectively viewing participants of a multimedia network conference |
GB2384932B (en) * | 2002-01-30 | 2004-02-25 | Motorola Inc | Video conferencing system and method of operation |
AU2003214244A1 (en) * | 2002-03-20 | 2003-10-08 | Jens Cahnbley | Videoconference system architecture |
US7404001B2 (en) * | 2002-03-27 | 2008-07-22 | Ericsson Ab | Videophone and method for a video call |
US7596149B2 (en) * | 2004-12-09 | 2009-09-29 | Omnivision Technologies, Inc. | Low bit rate video transmission over GSM network |
WO2006077621A1 (ja) | 2005-01-18 | 2006-07-27 | Mitsubishi Denki Kabushiki Kaisha | 多重化装置及び受信装置 |
JP4604877B2 (ja) * | 2005-06-24 | 2011-01-05 | 富士ゼロックス株式会社 | 表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法 |
EP1841172B1 (en) * | 2006-03-31 | 2018-03-14 | Google Technology Holdings LLC | Re-direction of streaming multimedia in wireless communication devices |
EP2151122B1 (en) * | 2007-02-14 | 2014-01-22 | Teliris, Inc. | Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method |
US8269817B2 (en) * | 2008-07-16 | 2012-09-18 | Cisco Technology, Inc. | Floor control in multi-point conference systems |
US8355040B2 (en) | 2008-10-16 | 2013-01-15 | Teliris, Inc. | Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method |
US8369506B2 (en) * | 2009-03-06 | 2013-02-05 | International Business Machines Corporation | Informing a teleconference participant that a person-of-interest has become active within the teleconference |
US8330794B2 (en) * | 2009-06-10 | 2012-12-11 | Microsoft Corporation | Implementing multiple dominant speaker video streams with manual override |
US8925034B1 (en) | 2009-06-30 | 2014-12-30 | Symantec Corporation | Data protection requirements specification and migration |
US8387047B1 (en) | 2009-08-03 | 2013-02-26 | Symantec Corporation | Method of virtualizing file extensions in a computer system by determining an association between applications in virtual environment and a file extension |
US8352937B2 (en) * | 2009-08-03 | 2013-01-08 | Symantec Corporation | Streaming an application install package into a virtual environment |
US8090744B1 (en) | 2009-08-26 | 2012-01-03 | Symantec Operating Corporation | Method and apparatus for determining compatibility between a virtualized application and a base environment |
US8473444B1 (en) | 2009-08-28 | 2013-06-25 | Symantec Corporation | Management of actions in multiple virtual and non-virtual environments |
US8438555B1 (en) | 2009-08-31 | 2013-05-07 | Symantec Corporation | Method of using an encapsulated data signature for virtualization layer activation |
US8458310B1 (en) | 2009-09-14 | 2013-06-04 | Symantec Corporation | Low bandwidth streaming of application upgrades |
US8566297B1 (en) | 2010-01-14 | 2013-10-22 | Symantec Corporation | Method to spoof data formats from image backups |
US8290912B1 (en) | 2010-01-29 | 2012-10-16 | Symantec Corporation | Endpoint virtualization aware backup |
US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
US8472120B2 (en) | 2010-02-28 | 2013-06-25 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
US8488246B2 (en) | 2010-02-28 | 2013-07-16 | Osterhout Group, Inc. | See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film |
US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US8477425B2 (en) | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
CN102906623A (zh) | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
US8495625B1 (en) | 2010-07-27 | 2013-07-23 | Symantec Corporation | Method and system for creation of streamed files on-demand |
JP5041089B2 (ja) * | 2011-05-06 | 2012-10-03 | 株式会社日立製作所 | 通信装置 |
US8184069B1 (en) | 2011-06-20 | 2012-05-22 | Google Inc. | Systems and methods for adaptive transmission of data |
US9077848B2 (en) * | 2011-07-15 | 2015-07-07 | Google Technology Holdings LLC | Side channel for employing descriptive audio commentary about a video conference |
US9880776B1 (en) | 2013-02-22 | 2018-01-30 | Veritas Technologies Llc | Content-driven data protection method for multiple storage devices |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4449238A (en) * | 1982-03-25 | 1984-05-15 | Bell Telephone Laboratories, Incorporated | Voice-actuated switching system |
JPH01106559A (ja) * | 1987-10-19 | 1989-04-24 | Tokyo Electric Co Ltd | ファクシミリ装置 |
JPH0744511B2 (ja) * | 1988-09-14 | 1995-05-15 | 富士通株式会社 | 高郊率多重化方式 |
US5434920A (en) * | 1991-12-09 | 1995-07-18 | At&T Corp. | Secure telecommunications |
US5375068A (en) * | 1992-06-03 | 1994-12-20 | Digital Equipment Corporation | Video teleconferencing for networked workstations |
AU4538093A (en) * | 1992-06-15 | 1994-01-04 | Bunn, Daniel W. | Audio communication system for a computer network |
US5392223A (en) * | 1992-07-29 | 1995-02-21 | International Business Machines Corp. | Audio/video communications processor |
-
1995
- 1995-01-30 DE DE69515838T patent/DE69515838T2/de not_active Expired - Lifetime
- 1995-01-30 EP EP95101214A patent/EP0724362B1/en not_active Expired - Lifetime
- 1995-06-06 US US08/468,175 patent/US5745380A/en not_active Expired - Lifetime
- 1995-12-27 JP JP34042095A patent/JP3216978B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE69515838T2 (de) | 2000-10-12 |
DE69515838D1 (de) | 2000-04-27 |
JPH08279835A (ja) | 1996-10-22 |
US5745380A (en) | 1998-04-28 |
EP0724362A1 (en) | 1996-07-31 |
EP0724362B1 (en) | 2000-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3216978B2 (ja) | マルチメディア・ストリーム転送方法 | |
US5555017A (en) | Seamless multimedia conferencing system using an enhanced multipoint control unit | |
US5604738A (en) | Multipoint teleconference system employing H. 221 frames | |
US5020098A (en) | Telephone conferencing arrangement | |
EP0523626B1 (en) | Multipoint teleconference system employing communication channels set in ring configuration | |
EP0691778B1 (en) | Multimedia conferencing system | |
EP0680190A2 (en) | A teleconferencing audio bridge | |
JPH03155257A (ja) | 分散制御通信会議装置 | |
KR20050094229A (ko) | 멀티미디어 채팅 시스템 및 그 운용방법 | |
JPS5875350A (ja) | デイジタル信号伝送方式 | |
JPH06261316A (ja) | 多地点間通信会議システム | |
JP2549098B2 (ja) | 電子会議システムの伝送制御装置 | |
JP2902220B2 (ja) | 通信会議システム | |
JP2823571B2 (ja) | 分散多地点通信会議装置 | |
KR100239345B1 (ko) | 다자간 화상회의 제어장치 | |
Wakahara et al. | Panel-discussion multimedia conferencing over ATM network | |
JP3030019B2 (ja) | 通信会議システム | |
JPH09149395A (ja) | 通信装置 | |
JPH09270791A (ja) | 多地点テレビ会議システム | |
KR100565185B1 (ko) | 화상회의 시스템 | |
JPH06217303A (ja) | 多地点間通信会議方式における発言制御装置 | |
KR19990064542A (ko) | 다자간 컴퓨터 음성통신 방법 | |
JPH06121059A (ja) | 会議電話用トランク装置 | |
KR20040052172A (ko) | 인터넷 전화 교환 시스템의 동적 회의 통화 관리 방법 | |
JPH09270792A (ja) | 多地点テレビ会議システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080803 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080803 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090803 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 12 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |