JP3216978B2 - マルチメディア・ストリーム転送方法 - Google Patents

マルチメディア・ストリーム転送方法

Info

Publication number
JP3216978B2
JP3216978B2 JP34042095A JP34042095A JP3216978B2 JP 3216978 B2 JP3216978 B2 JP 3216978B2 JP 34042095 A JP34042095 A JP 34042095A JP 34042095 A JP34042095 A JP 34042095A JP 3216978 B2 JP3216978 B2 JP 3216978B2
Authority
JP
Japan
Prior art keywords
stream
audio
transfer
voice
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP34042095A
Other languages
English (en)
Other versions
JPH08279835A (ja
Inventor
ボリス・コウナツキー
ヨハン・サンドボス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH08279835A publication Critical patent/JPH08279835A/ja
Application granted granted Critical
Publication of JP3216978B2 publication Critical patent/JP3216978B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)
  • Computer And Data Communications (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一般的にはアナロ
グやデジタルの電話回線、衛星リンク、通信ネットワー
ク等、ある帯域幅の通信回線を通したマルチメディア・
ストリームの転送方法に関する。マルチメディア・スト
リームはそれぞれビデオ、オーディオ、データのストリ
ーム等、少なくとも2つのサブストリームからなる。本
発明は更に上記の方法と、1つの通信回線の帯域幅を音
声とデータのストリームに共通に使用できる音声制御デ
ータ転送装置とを採用した音声制御ビデオ会議装置に関
する。
【0002】
【従来の技術】参加者が同時に参加するビデオ会議やオ
ーディオ会議では、こうしたユーザは会議の相手側から
送られるビデオ、オーディオ、データ、すなわちマルチ
メディア情報の洪水を受けることになる。
【0003】また会議装置のコストは、参加者が増える
につれて指数関数的に増加する。その訳は、これらマル
チメディア・ストリームを処理し、これらストリームを
管理するために必要なシステム・リソースが増えるから
である。コストの他に現在のワークステーションのほと
んどは、MPEGやDVI等の圧縮フォーマットであっ
ても、ある程度(3つか4つ)以上のビデオ・ストリー
ムやオーディオ・ストリームを処理する能力に欠けてい
る。
【0004】そのためユーザから見ると、数人以上の参
加者と通信しているときに本当に興味のある情報を見つ
けるのは非常に困難である。従来の会議装置の場合、参
加者は、会議の主スピーカが変わる度に関連のビデオ情
報を得るために装置を操作しなければならない。通信し
ているn人の参加者は、各参加者にビデオ・ウィンドウ
1つ等、n個のビデオ・ストリームを得る。
【0005】その結果、一般的な会議をコントロールす
るこれまでのソリューションは、会議当たり少人数の参
加者を扱うように設計されている。またこうした装置の
制御にはかなり人手がかかる。最新の会議装置に用いら
れるソリューションはユーザが直接にか、担当者がマス
タ・ステーションを使って明示的に選択できるようにす
るメカニズムである。このような装置はユーザ・フレン
ドリネスに欠け、システム・リソースの使用効率が悪
い。受信側のユーザは関連情報を選択するために、目的
のビデオ・ウィンドウ、共有アプリケーション等を見つ
けなければならない。
【0006】より進んだ方式は、会議の参加者1人しか
データを送れないようにするトークン・プロトコルであ
る。会議に参加している相手と話したいユーザはトーク
ンを要求する必要がある。このような装置の欠点は、ユ
ーザがいつトークンを得るかの制御と、それ以上の人数
の参加者間で会話があっても1人しか送れないという制
限である。
【0007】純粋なオーディオ情報の転送を制御するソ
リューションがあるが、これは無音検出メカニズムを使
用する。この方式はユーザが話をしていないならオーデ
ィオ・データの転送を停止することで、オーディオ信号
の場合にはデータ転送速度を落とすために用いられる。
このメカニズムでは、オーディオ情報はオーディオ信号
に振幅がある場合にのみ生成/転送される。オーディオ
信号や「フロア・ノイズ」に近い信号のない時間にはデ
ータは転送されない。
【0008】欧州特許出願第0171596号は、単一
の通信回線でシグナリング・メッセージと非シグナリン
グ・メッセージをコンセントレートする方法及び装置を
開示している。各ユーザからの情報はまずバッファリン
グされ、バッファリングされた情報は所定の一定の優先
方式に従って優先度がつけられ、その後、バッファリン
グされた情報は優先方式内の情報の分類をもとに共通の
通信回線に転送される。従って優先度が最高の情報は最
初に共通ラインを転送され、これに優先度が低い情報が
続く。キューに入るメッセージは全て5つの優先度クラ
スのいずれかに割当てられる。この方法では、通常のメ
ッセージ・トラフィックで監視シグナリング機能を統合
でき、よって通常のメッセージ・トラフィックに用いら
れる残存シグナリング容量を空けることができる。この
方式は、通信回線の有効容量を増加させることになる。
【0009】欧州特許出願第0459563号はオーデ
ィオ会議装置を開示している。会議参加者全員の音声の
強度が検出される。強度があるしきい値を超える参加者
は、音声を転送するアクティブ状態にセットされる。ア
クティブ状態を決定するためには絶対信号振幅だけでは
なく、他の参加者の強度も考慮される。ここから会議の
ノイズ・レベルが低い状態では、音声信号振幅が低い参
加者もアクティブにセットされるという利点が得られ
る。
【0010】
【発明が解決しようとする課題】従って本発明の背景に
ある問題は、会議においてユーザが会議装置を操作する
必要なく関連情報を見つけられる限りはコストの削減を
可能にし、よってユーザ・フレンドリネスを実現する、
マルチメディア・ストリームを転送する一般的方法、特
に会議装置を得ることである。
【0011】
【課題を解決するための手段】この問題は、請求項1に
記載の特徴に従った本発明の方法により解決される。つ
まりこの方法により、マルチメディア・ストリームのサ
ブストリームのうち少なくとも1種類は、あるストリー
ムの他のストリームに対するアクティブ転送に関する優
先度を制御する属性からなり、これらサブストリームの
属性の変化が連続的に検出され、ストリームのアクティ
ブ転送に関する優先度のスケールが設定され、少なくと
も1つの属性の変化に従って各ストリームの優先度状態
が動的に変更され、また優先度が最高のストリームだけ
がアクティブに転送される。
【0012】ここに提示したソリューションの背景に
は、ビデオ会議の参加者は通常、現在のスピーカからの
ビデオ、データ情報にしか興味がなく、他の参加者から
のものにはまずほとんど興味がないという観察結果があ
る。この新しい方式では、競争関係にある単方向マルチ
メディア・ストリームが少なくとも2つ転送される。マ
ルチメディア・ストリームはそれぞれ、会議アプリケー
ションの送信側から会議の相手に送られるオーディオ、
ビデオ、マウス・ポインタ、現在使用されているアプリ
ケーション・ウィンドウ等、デジタル、アナログの信号
であるパラレル・サブストリーム群からなる。オーディ
オ信号の振幅等の属性により、これらのサブストリーム
の1つは全てのマルチメディア・ストリームの転送状態
(アクティブかパッシブ)を決定することになる。
【0013】例えばビデオ信号の場合のアクティブ転送
とは、この信号がアクティブなときだけ会議場所全てに
表示されるか、モノクロではなくカラーで表示されると
いう意味である。また転送の品質をストリームの重みに
直接結びつけるというソリューションも考えられる。ビ
デオ信号の場合、不良品質は転送信号の分解能の低さで
よく、オーディオ信号の場合、低品質は小さい信号振幅
によって実現できる。しかしこうした実現例は、本発明
の実施例に過ぎずアクティブ転送に関して他のソリュー
ションも考えられるということを強調しておきたい。本
発明に従って、優先度が最高のストリームは他のストリ
ームを制御することになる。ある時間には、最も重要な
ストリーム群しか転送されない。
【0014】ある会議場所のスピーカ2人以上が1室に
入る場合は、各スピーカ用のマイクと一緒にリモート制
御のビデオ・カメラを1台しか使用しないことで、シス
テム・コストの削減も可能である。カメラは対応する場
所すなわちマイクから入るオーディオ信号の重みGをも
とに所定のビューに移動させることができる。カメラが
1台しかない場合、これは常に最も大きいオーディオ信
号のあるところか、オーディオ信号が最後に入ったとこ
ろに移動される。
【0015】本発明の好適な実施例では、ストリームの
重要度すなわちストリームの優先度は、次の重み付け関
数によって決定される。
【数2】 Gnorm(si、t)=A(si){1+{loud(si、A(si))}/loudmax }(1)
【0016】この関数は、オーディオ・サブストリーム
の振幅loud(si、t)と、ストリームがアクティブであ
った最後の時間を記述するパラメータA(Si)からな
る。ここで重み付け関数は対応するオーディオ・サブス
トリームと時間にのみ依存する。
【0017】アクティブ・ストリームはパッシブ・スト
リームよりも常に重みが大きいので、重み付け関数Gは
G(si、t)=A(si)×loudmax+A(si)×loud
(si、A(Si))と定義できる。ここでloud(s、
t)は時間tにおけるストリームsのオーディオ・サブ
ストリームのラウドネス、loudmaxはオーディオ信号の
最大振幅である。A(si)はストリームsiが最後にア
クティブだった時間を示す。正規化の後、この式を最大
ラウドネスで割ることによって式(1)が得られる。
【0018】各ストリームについて、対応するオーディ
オ情報に関する次の3つの状態を定義できる。 1.対応するオーディオ信号が検出されている、すなわ
ちその振幅が0付近のあるしきい値より大きい場合に、
マルチメディア・ストリームは現在アクティブである。
この場合、式(1)ではA(si)=tである。 2.オーディオ信号が検出されていない、すなわちオー
ディオ信号の振幅が0付近のあるしきい値より小さい場
合に、マルチメディア・ストリームはパッシブである。
この場合、式(1)ではA(si)=tkである。 3.マルチメディア・ストリームはアクティブになって
いない。その場合A(si)=0が有効である。
【0019】この好適な実施例でマルチメディア・スト
リームは、オーディオ・サブストリームの振幅をもとに
重みが付けられるが、これはつまり、ある会議の現在の
スピーカはそのオーディオ信号のラウドネスをもとに重
みが付けられることを意味する。本発明はこの種の重み
付けメカニズムに制限されないことを強調しておきた
い。例えば重み付け関数はビデオやマウス・ポインタの
信号をもとにすることもでき、その場合は参加者の動き
や、ポインタの位置により優先度のスケールが設定され
る。
【0020】話し終えた参加者は、その最後の話を終え
た時間をもとに重みが付けられる。
【0021】そのグループが動的であり、参加者が会議
に参加したり会場を去ったりができる一般的な場合で
は、全てのマルチメディア・ストリームのセットは時間
に依存する。しかしそれでも本発明に従った方法は、こ
のような会議参加者グループに適用できる。
【0022】本発明の他の実施例では、ユーザは前もっ
て並列にアクティブであり得るストリームの最大数n
maxを指定できる。優先度状態がアクティブにセットさ
れている実際のm人のスピーカのビデオ、オーディオ、
マウス・ポインタ等の情報と、最後のnmax−m(nmax
>=m)人のスピーカだけが示される。例えば2人以上
の参加者が平行して話している場合、最も声の大きいス
ピーカが選ばれる。パラメータn、mの選択基準はシス
テムや通信回線の容量、及びユーザの要求に置くことが
できる。
【0023】他の実施例として、本発明に従った方法は
送り側にか、受け側だけに或いは中間の制御装置に適用
することができる。
【0024】送り側に適用された場合、情報はオーディ
オ信号が検出された場合にのみ送られる。これにより受
け側でユーザ・フレンドリネスが改良され、通信回線の
所要帯域幅を小さくでき、通信装置のコストが削減され
る。この改良はビデオ会議等の参加者数にほぼ比例す
る。ほとんどのビデオ会議で参加者数に関わらず話をす
る人数は1人だけ(或いは2人)だからである。
【0025】受け側だけに当該メカニズムを適用すれ
ば、ユーザ・フレンドリネスが改良され、受信側の装置
の所要システム・リソースが減少する。
【0026】会議専用制御装置を使用すれば、参加者全
員がビデオ情報、オーディオ情報を中間の制御装置に送
ることになる。この装置は受信された情報を管理し配布
する。どのストリームをどの品質で転送するかの決定
は、例えばストリームの重みをもとに行なわれる。
【0027】本発明の他の主題は、所定の方法をもとに
通信回線を通してビデオ/オーディオ/データのマルチ
メディア・ストリームを転送するための音声制御ビデオ
会議装置である。これはオーディオ・サブストリームの
振幅を検出し、どのマルチメディア・ストリームをアク
ティブ状態にセットするかパッシブ状態にセットするか
を決定する音声検出手段、各マルチメディア・ストリー
ムにアクティブ転送の優先度を割当て、マルチメディア
・ストリームの優先度に関して優先度のスケールを設定
する手段、オーディオ・サブストリームの振幅の変化に
応じて優先度のスケールを動的に変更する手段、及び少
なくとも1つのマルチメディア・ストリームを転送に関
してアクティブ状態にセットする手段からなる。この装
置に関しても上記の側面は有効である。
【0028】音声制御会議についてはいろいろな方式が
ある。ビデオ、マウス・ポインタ等の情報は優先度の高
いストリームについてのみ表示される。他の方式では、
最も優先度の高いストリームに対応したウィンドウやマ
ウス・ポインタに印が付けられ、或いはアクティブにさ
れる。これはユーザ・インタフェースのこれらの部分に
ユーザが集中しやすくするためである。ユーザの画面が
小さくビデオとアプリケーションのウィンドウが多けれ
ば、アクティブ・ストリームのビデオ情報はカラーで、
パッシブ・ストリームのビデオ情報はモノクロで表示す
るのが便利である。
【0029】本発明に従った会議装置は、ある好適な実
施例では、上述のような重み付け関数を作成する手段か
らなる。ラウドネス測定関数loud(s、t)が使用でき
ない装置の場合は、ここに示した重み付け関数を簡素化
したものを音声検出メカニズムだけを基準にして使用で
きる。アクティブ・ストリーム間の重み付けはラウドネ
ス測定関数がなければサポートされないので、loud(s
i、A(si))はloudmaxに等しくセットされる。新し
い重み付け関数はGnorm(si、t)=2×A(si)で
ある。
【0030】他の実施例では、装置はオーディオ・サブ
ストリームの振幅を検出し、オーディオ・サブストリー
ムが所定時間の間はあるしきい値を超えたマルチメディ
ア・ストリームをアクティブ状態にセットする手段と、
無音オーディオ・サブストリームの期間を検出し、オー
ディオ・サブストリームがあるしきい値よりも長い期間
は無音であったマルチメディア・ストリームをパッシブ
状態にセットする手段からなる。音声検出メカニズムは
ビデオ/オーディオ/データのストリームをアクティブ
かパッシブの状態にいつセットするかを決定する。
【0031】オーディオ信号の振幅が、所定時間の間は
あるしきい値を超えた場合には、ユーザは話をしている
か、自身の方に注意を引こうとしているとみなされ、こ
のストリームはアクティブにセットされる。このメカニ
ズムは典型的なミーティングや会議上の観測可能な人間
の挙動を反映する。あるしきい値よりも長い期間オーデ
ィオ情報が途切れた場合、装置はストリームをパッシブ
にセットできるとみなす。
【0032】本発明の他の主題は、1つの通信回線の帯
域幅を音声とデータのストリームで共通に使用する音声
制御データ転送装置である。
【0033】一般的な電話交換網(アナログ、ISD
N、GSM)のデータ転送は益々、重要になっている
が、これは特に共同作業のアプリケーションやモビール
・オフィスのソリューションすなわちパーソナル・アシ
スタントに関して顕著である。このような分野ではしば
しば関係参加者が、音声通信とデータ転送の2つのレイ
ヤで同時に直接やりとりする必要がある。
【0034】ヒューマン・コミュニケーションの自然な
形である「会話」は、アイデアや意見を非常に素早く伝
える極めて効率のいい、また絶対に必要なツールであ
る。しかし一方、ある種の情報は補助的な発言やグラフ
ィクスによりはるかに明瞭に伝えることができる。更に
普通の会話が中心になるような電話会議で伝えられる事
業統計等の特殊なデータは、2進フォーマットによりは
るかに正確、高速に転送できる。
【0035】遠隔地間会議の参加者双方が、建設計画書
等のデータ・オブジェクトについて話し合い、それを変
更するか、仮想ポインタを使って一部を示したいといっ
た共同作業アプリケーションの場合は、音声とデータを
平行に転送する必要がある。
【0036】音声データだけを転送する際には、効率が
失われる他に無音期間にはかなりの帯域幅が無駄にな
る。電話交換網は全2重通信だけなので、無音期間は実
際に頻繁に生じる。通常は一方のチャネルが使われない
ままだからである。そのため、理論的にはデータ接続を
追加して並列に維持することもできる。
【0037】この技術分野のこれまでのソリューション
は、そうした音声とデータの同時転送を許容しない特殊
なモデム或いはインタフェースを使用している。データ
を転送するか、或いは音声中心の接続を維持するかをユ
ーザ自身が決定する必要がある。これは共同作業アプリ
ケーションによる新しい可能性から見れば極めて非効率
である。
【0038】特に、これまでの無音抑制メカニズムのよ
うな自動交換方式は、維持接続数よりも落ちる現実の複
数の物理接続を使用した数本の電気通信接続のデジタル
時分割多重化を行なう交換ノードでしか用いられていな
い。ここでいう無音抑制は、ある接続で無音期間が検出
され、無音が検出された場合には、その回線は網の別の
接続に与えられることを意味する。切られた接続で通信
が再開された場合は、未使用回線や、既に無音抑制モー
ドに入っている回線等、別の空き回線を見つける必要が
ある。
【0039】更に、通信の簡素化を目的にした音声とデ
ータの転送の同時性の問題に対するこれまでのソリュー
ションは、2つの別々の電話回線を通して2つの接続を
平行に手動で確立するものであるか、またはデータ・モ
デムと音声の時分割多重交換である。最初の方式は、2
つの電話回線が平行に使用できることを前提にしてい
る。これはしかし、ユーザには2回線分の費用がかかる
のでかなり非経済的である。しかしほとんどのオフィ
ス、特にモビール・オフィスでは普通は1回線しか使用
できない。2番目の方式では、電話回線は1本でいいが
快適には程遠い。会議参加者は双方とも交換のタイミン
グを合わせ、音声が中断された後は常にデータ・リンク
を確立し直す必要がある。特に音声とデータの情報を同
時に効率よく使用することはできない。
【0040】本発明の他の主題は、ユーザの手を介さず
に帯域幅の共有を最適化するために、音声とデータの同
時転送を可能にする転送モデムを提供することである。
本発明の他の目的は、既存のハードウェア/ソフトウェ
アに追加できるように、現在用いられているモデム及び
転送プロトコルとの互換性を維持することである。
【0041】本発明に従ったデータ転送装置は、無音期
間を認識する検出手段と、無音期間に関してデータと音
声をタイムリに多重化するマルチプレクサ手段とからな
る。この方法の基本的な考え方は、現在の一般的な電話
交換網を使ってデータと音声を自動的に時分割多重化す
ることであり、これは適正コストで実現可能である。こ
の多重化のタイムスロットは自動無音期間認識により生
成される。本発明はISDNやGSMのDTE(データ
回線終端装置)にも適用できる。
【0042】無音抑制は従来のソリューションとは対照
的に、1つのリンクを音声とデータの転送に共通に使用
するためにエンド・ノードで用いられる。音声通信の場
合、従来の電話回線が用いられる。しかし無音期間が検
出されたとき、回線はデータ接続に自動的に切り替えら
れる。
【0043】この方式では、現在用いられているモデム
や転送プロトコルとの互換性が得られる。無音期間認識
手段と多重化手段は送信元/受信元に置ける。
【0044】音声制御データ転送装置は、好適実施例で
は、電話入力とモデム入力で2線/4線変換を行なう手
段、無音認識手段と制御信号生成手段(PSR)、入力
トラフィックの音声/データ認識手段(SDR)、及び
電話入力/出力とモデム入力/出力を高速に切り替える
手段からなる。この方式の利点は、アナログ信号転送な
ので音声転送にロスがないことである。従ってユーザは
普通、バックグラウンドのデータ転送を意識することも
ない。
【0045】
【発明の実施の形態】図1は、本発明に従ったマルチメ
ディア・ストリームの転送方法の原理面を示している。
例として、それぞれ4つのサブストリームからなる3つ
のマルチメディア・ストリーム4a乃至4cを示す。本
発明のこの好適実施例で、サブストリーム信号はユニッ
ト1に送られ、これらの信号のうち1種類の属性(オー
ディオ信号の振幅等)に関して重み付け関数を実行す
る。重み付け関数は信号をユニット2に送り、そこで優
先度が計算される。ユニット2はストリーム4a乃至4
cのアクティブ転送に関する優先度のスケールを提供す
る。オン/オフ・スイッチが優先度が最高のストリーム
をアクティブ状態に、他のストリームは全てパッシブ状
態にセットする。優先度のグローバル・スケールを設定
するには、優先度計算を受持つユニット2間で他のメッ
セージを転送する必要がある。
【0046】図2の略図は、通信回線の転送の帯域幅を
時間との関係から示す。帯域幅全体は音声とデータの排
他的転送に共通に用いられ、音声とデータの切り替えは
無音検出メカニズムによって行なわれる。無音期間6の
始めが検出されると音声転送は中断され、通信回線は第
2転送モードに切り替わり、バイナリ・データだけが転
送される。音声転送はオーディオ(音声)信号7が再び
検出された時に再開される。
【0047】本発明に従ったデータ転送モデムの実現
は、基盤になる通信網の転送上の性質に依存する。音声
とデータの帯域幅共有はアナログとデジタルの音声転
送、この2つの条件下で実現できる。
【0048】図3は、アナログ音声転送に対応する最初
の方式を示す。音声制御データ転送モデム10は、電話
11とパーソナル・コンピュータ12をアナログ電話回
線13で相互接続する。既存モデム14の機能は新しい
ハードウェア要素15、無音期間認識装置とマルチプレ
クサ(PRSandMUX)、を追加することで拡張される。実
際に用いられる通信プロトコルは僅かに変更するだけで
よい。PSRandMUX15は、音声期間には電話11を電話
回線13に接続し、無音期間にはモデム12を回線13
に接続する自動スイッチのように働く。
【0049】図4は、ポート21を通して電話に、ポー
ト22を通してモデムに、またポート23を通して電話
回線に接続されるPSRandMUX20の好適な実施例を比較
的詳しく示す。PSRandMUX20は、両方の通信方向を別
々に処理するため両方の入力ポート21、22にある2
/4線コンバータ24からなる。従ってPSRandMUXは出
力ポート23に4/2線コンバータ25を持つ。電話1
1から入力ポート21とコンバータ24を通して受信さ
れたオーディオ信号は無音期間認識装置26に送られ、
認識装置26は制御信号27を出力する。この信号27
は高速入力スイッチ28に送られる。スイッチ28はポ
ート21を通して受信された音声とポート22を通して
受信されたデータをコンバータ25を介して電話回線2
3に接続する。
【0050】ポート23とコンバータ25を介した入力
トラフィックに対しては音声/データ認識装置29があ
り、これは制御信号30を高速出力スイッチ31に送
る。スイッチ31は入力音声をコンバータ24を通して
ポート21へ、入力データを第2コンバータ24を通し
てポート22に接続する。
【0051】変更されるモデム・プロトコルは、PSRand
MUX26によって出力される制御信号を処理し、指定の
瞬間にデータフローを中断する必要がある。しかし次の
無音期間の始めに再同期化を高速に行なえるようにする
ためには、データの接続を終局的に終了するわけにはい
かない。音声モードとデータ・モードの切り替えは、シ
グナリング音を追加することで都合よく制御されるの
で、プロトコルはキャリア損失を多重化から区別するこ
とができる。
【0052】上記の方式の大きな利点はアナログ信号転
送による損失のない音声転送である。従ってユーザは普
通、バックグラウンドのデータ転送を意識しない。
【0053】本発明の他の方式はデジタル化音声転送に
もとづく。デジタル化音声は既存のPCサウンド・カー
ドやAD/DAコンバータにより簡単に得られる。これ
によりソフトウェア或いは拡張PCカード50が送信側
40と受信側50に備えられる。図5にまず送信側の実
施例を示す。これはデジタル音声の入力ポート41、デ
ータの入力ポート42、及びデジタル・リンクに接続さ
れた出力ポート43からなる。入力デジタル音声はユニ
ット44で圧縮されて無音期間認識(PSR)装置45
と、マルチプレクサ(MUX)46に送られる。ポート
42を介して入力されるデータ・トラフィックはマルチ
プレクサ46に直接送られる。好適な実施例では、デジ
タル化音声の圧縮及び音声とデータのPSRとデジタル
MUXの実行はコンピュータ装置上で実現される。標準
のモデムとプロトコルにより一貫したデータ・ストリー
ム43が転送される。
【0054】受信側ではコンピュータ・ベースの受信デ
ータの多重化解除を行なう必要がある。受信側にはソフ
トウェア或いは拡張PCカード50も置かれる。図6に
示したこのカード50の実施例は、モデムによって受信
される転送信号の入力ポート51と、再変換されたデジ
タル音声と再変換されたデータを転送する2つの出力ポ
ート52、53からなる。入力信号51は音声データ認
識(SDR)装置54とデマルチプレクサ(DEMUX)5
5に平行に送られる。SDR54はDEMUX55の制御信
号57を出力する。DEMUX57は入力信号を出力ポート
52または出力ポート53に接続する。また抽出された
音声は、圧縮解除装置56で圧縮解除され目的のアナロ
グ音声信号に再変換される。
【0055】音声制御データ転送モデムの基本方式は、
GSM標準ネットワーク、ISDN等、他のネットワー
クについても一般化できる。本発明をGSMネットワー
クで使用することは、帯域幅のコストが比較的大きいこ
とを考えると非常に効率的である。このようなネットワ
ークの場合、音声はデジタル・コード・フォーマットで
転送されるので、本発明に従った転送モデムの実現は比
較的容易である。
【0056】データ転送が比較的高速なISDNの場
合、圧縮方式により空いた帯域幅は他のデータ転送に使
用できる。これは図1に従った図によって図7に示して
ある。それぞれ時間60から始まる無音期間では帯域幅
全体をデータ転送に使用することもできる。時間61か
ら始まる音声転送期間には帯域幅の共有が実現される。
【0057】まとめとして、本発明の構成に関して以下
の事項を開示する。
【0058】(1)少なくとも1つの通信回線を通して
マルチメディア・ストリームを転送する方法であって、
上記マルチメディア・ストリームは少なくとも2つのサ
ブストリームからなり、1種類のサブストリームは、ス
トリームの、他のストリームに対するアクティブ転送に
関する優先度を制御する属性からなり、上記サブストリ
ームの属性の変化が連続的に検出され、ストリームのア
クティブ転送に関する優先度のスケールが与えられ、少
なくとも1つの属性の変化に応じて各ストリームの優先
度状態が動的に変更され、優先度が最高のストリームだ
けがアクティブに転送される、転送方法。 (2)ストリームの優先度は重み付け関数
【数1】Gnorm(si、t)=A(si){1+{loud
(si、A(si))}/loudmax} により決定され、上記重み付け関数はオーディオ・サブ
ストリームの振幅loud(si、t)と、ストリームが最
後にアクティブだった時間を記述するパラメータA(s
i)とからなる、上記(1)記載の転送方法。(3)並
列にアクティブであり得る最大ストリーム数をユーザが
指定する、上記(1)または(2)に記載の転送方法。 (4)送信側にか、受信側だけにか、或いは中間制御装
置に適用される、上記(1)乃至(3)に記載の転送方
法。 (5)上記(1)乃至(4)のいずれかに従って、通信
回線を通してビデオ/オーディオ/データのマルチメデ
ィア・ストリームを転送する音声制御ビデオ会議装置で
あって、オーディオ・サブストリームの振幅を検出し、
どのマルチメディア・ストリームをアクティブ状態或い
はパッシブ状態にセットするかを決定する音声を検出す
る手段と、各マルチメディア・ストリームにアクティブ
転送に関する優先度を割当て、マルチメディア・ストリ
ームの優先度について優先度のスケールを設定する手段
と、オーディオ・サブストリームの振幅の変化に応じて
優先度のスケールを動的に変更する手段と、少なくとも
1つのマルチメディア・ストリームを転送に関するアク
ティブ状態にセットする手段と、を含む、音声制御ビデ
オ会議装置。 (6)上記(2)に記載の重み付け関数を出力する手段
を含む、上記(5)記載の音声制御ビデオ会議装置。 (7)オーディオ・サブストリームの振幅を検出し、オ
ーディオ・サブストリームが所定時間の間はあるしきい
値を超えるマルチメディア・ストリームをアクティブ状
態にセットする検出手段と、無音オーディオ・サブスト
リームの期間を検出し、オーディオ・サブストリームが
あるしきい値よりも長い時間間隔、無音であったマルチ
メディア・ストリームをパッシブ状態にセットする検出
手段と、を含む、上記(5)または(6)に記載の音声
制御ビデオ会議装置。 (8)単一通信回線の帯域幅を音声とデータのストリー
ムで共有する音声制御データ転送装置であって、無音期
間を認識する検出手段と、無音期間に応じてデータと音
声とをタイムリに多重化するマルチプレクサ手段を含
む、音声制御データ転送装置。 (9)上記無音認識手段と多重化手段は、音声期間には
電話を通信回線に接続し、無音期間にはモデムを上記回
線に接続する、上記(8)記載の音声制御データ転送装
置。 (10)上記無音認識手段と多重化手段は送信側や受信
側に置かれる、上記(8)または(9)に記載の音声制
御データ転送装置。 (11)電話入力とモデム入力の側の2線/4線変換手
段と、無音期間認識手段及び制御信号出力手段(PS
R)と、入力トラフィックの音声/データ認識手段(S
DR)と、電話入力/出力及びモデム入力/出力の高速
切り替え手段と、を含む、上記(8)乃至(10)のい
ずれかに記載の音声制御データ転送装置。
【図面の簡単な説明】
【図1】本発明に従った方法の実施例の機能要素を示す
図である。
【図2】帯域幅共有の原理面を示す通信回線の概略図で
ある。
【図3】本発明に従ったアナログ音声転送の場合の装置
の概要を示す図である。
【図4】アナログ音声転送の場合の本発明に従った無音
期間認識装置とマルチプレクサのブロック図である。
【図5】デジタル音声転送の場合の本発明に従った送信
元の無音期間認識装置とマルチプレクサのブロック図で
ある。
【図6】デジタル音声転送の場合の本発明に従った受信
元の無音期間認識装置とマルチプレクサのブロック図で
ある。
【図7】帯域幅共有の原理面を示すISDN回線の概略
図である。
【符号の説明】
1、2、44 ユニット 6 無音期間 7 オーディオ(音声)信号 10 音声制御データ転送モデム 11 電話 12 パーソナル・コンピュータ 13 アナログ電話回線 14 既存モデム 15 ハードウェア要素、PSRandMUX 20 PSRandMUX 21、22、23 ポート 24 2/4線コンバータ 25 4/2線コンバータ25 26 無音期間認識装置、 27、30、57 制御信号 28 高速入力スイッチ 29 音声/データ認識装置 31 高速出力スイッチ 40 送信側 41 デジタル音声の入力ポート 42 データの入力ポート 43 出力ポート 45 無音期間認識(PSR)装置 46 マルチプレクサ(MUX) 50 拡張PCカード 51 転送信号の入力ポート 52、53 出力ポート 54 音声データ認識(SDR)装置 55 デマルチプレクサ(DEMUX) 56 圧縮解除装置 60、61 時間
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヨハン・サンドボス ドイツ68159、マンハイム、ジェイ1、 12 (56)参考文献 特開 平4−40790(JP,A) 特開 平2−4095(JP,A) 特開 平4−35447(JP,A) 特開 昭61−224647(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04L 12/18 H04M 3/56 H04N 7/15

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】各々が少なくとも2つのサブストリームを
    含む複数のマルチメディア・ストリームであって、前記
    サブストリームのうちの少なくとも1つが前記マルチメ
    ディア・ストリームのアクティブ転送に関する優先度を
    制御するための属性を有するマルチメディア・ストリー
    ムを通信回線を通して転送する方法であって、 前記サブストリームの属性の変化を連続的に検出し、 前記属性の変化に応じて各前記マルチメディア・ストリ
    ームのアクティブ転送に関する優先度を動的に決定し、 優先度が最高のマルチメディア・ストリームのみを前記
    通信回線を通してアクティブ転送することを含む、転送
    方法。
  2. 【請求項2】マルチメディア・ストリームの優先度は、
    重み付け関数 【数1】 Gnorm(si、t)=A(si){1+{loud(si、A(si))}/loudmax } により決定され、上記重み付け関数はオーディオ・サブ
    ストリームの振幅loud(si、t)と、ストリームが最
    後にアクティブだった時間を記述するパラメータA(s
    i)と、前記オーディオ・サブストリームの最大振幅lou
    dmaxとからなる、 請求項1記載の転送方法。
  3. 【請求項3】並列にアクティブであり得る最大マルチメ
    ディア・ストリーム数をユーザが指定する、請求項1ま
    たは請求項2に記載の転送方法。
JP34042095A 1995-01-30 1995-12-27 マルチメディア・ストリーム転送方法 Expired - Lifetime JP3216978B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP95101214A EP0724362B1 (en) 1995-01-30 1995-01-30 Priority controlled transmission of multimedia streams via a telecommunication line
DE95101214.5 1995-01-30

Publications (2)

Publication Number Publication Date
JPH08279835A JPH08279835A (ja) 1996-10-22
JP3216978B2 true JP3216978B2 (ja) 2001-10-09

Family

ID=8218943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34042095A Expired - Lifetime JP3216978B2 (ja) 1995-01-30 1995-12-27 マルチメディア・ストリーム転送方法

Country Status (4)

Country Link
US (1) US5745380A (ja)
EP (1) EP0724362B1 (ja)
JP (1) JP3216978B2 (ja)
DE (1) DE69515838T2 (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3918951B2 (ja) * 1995-10-18 2007-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 種々の異なる資源レベルを持つハードウェアプラットフォーム上でマルチメディア・アプリケーションを実行可能とする方法、そのようなアプリケーションを含む物理的記録媒体、及びそのようなアプリケーションを実行するプラットフォームシステム
US6646677B2 (en) * 1996-10-25 2003-11-11 Canon Kabushiki Kaisha Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method
GB9705719D0 (en) * 1997-03-20 1997-05-07 Two Way Tv Ltd Method and apparatus for transmitting data
US6128649A (en) * 1997-06-02 2000-10-03 Nortel Networks Limited Dynamic selection of media streams for display
US5897613A (en) * 1997-10-08 1999-04-27 Lucent Technologies Inc. Efficient transmission of voice silence intervals
US7177323B2 (en) * 1998-03-13 2007-02-13 Intel Corporation Ensuring quality of service (QOS) for a multi-media calls through call associated individual media stream bandwidth control
FI108192B (fi) * 1998-03-19 2001-11-30 Nokia Networks Oy Menetelmä ja laitteisto palvelun laadun kontrolloimiseksi matkaviestinjärjestelmässä
US6570606B1 (en) * 1998-05-29 2003-05-27 3Com Corporation Method and apparatus for controlling transmission of media signals over a data network in response to triggering events at participating stations
US6311221B1 (en) 1998-07-22 2001-10-30 Appstream Inc. Streaming modules
US7197570B2 (en) * 1998-07-22 2007-03-27 Appstream Inc. System and method to send predicted application streamlets to a client device
US6574618B2 (en) 1998-07-22 2003-06-03 Appstream, Inc. Method and system for executing network streamed application
US20010044850A1 (en) 1998-07-22 2001-11-22 Uri Raz Method and apparatus for determining the order of streaming modules
US6317776B1 (en) * 1998-12-17 2001-11-13 International Business Machines Corporation Method and apparatus for automatic chat room source selection based on filtered audio input amplitude of associated data streams
US6983315B1 (en) 2000-01-18 2006-01-03 Wrq, Inc. Applet embedded cross-platform caching
US6757894B2 (en) 2000-09-26 2004-06-29 Appstream, Inc. Preprocessed applications suitable for network streaming applications and method for producing same
US7051315B2 (en) 2000-09-26 2006-05-23 Appstream, Inc. Network streaming of multi-application program code
DE10063845A1 (de) * 2000-12-21 2002-06-27 Paraworld Ag Verfahren und Vorrichtung zur prioritätsgesteuerten Übertragung digitaler Informationen für audiovisuelle Wiedergabegeräte
US7668907B1 (en) * 2001-08-16 2010-02-23 Microsoft Corporation Method and system for selectively viewing participants of a multimedia network conference
GB2384932B (en) * 2002-01-30 2004-02-25 Motorola Inc Video conferencing system and method of operation
AU2003214244A1 (en) * 2002-03-20 2003-10-08 Jens Cahnbley Videoconference system architecture
US7404001B2 (en) * 2002-03-27 2008-07-22 Ericsson Ab Videophone and method for a video call
US7596149B2 (en) * 2004-12-09 2009-09-29 Omnivision Technologies, Inc. Low bit rate video transmission over GSM network
WO2006077621A1 (ja) 2005-01-18 2006-07-27 Mitsubishi Denki Kabushiki Kaisha 多重化装置及び受信装置
JP4604877B2 (ja) * 2005-06-24 2011-01-05 富士ゼロックス株式会社 表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法
EP1841172B1 (en) * 2006-03-31 2018-03-14 Google Technology Holdings LLC Re-direction of streaming multimedia in wireless communication devices
EP2151122B1 (en) * 2007-02-14 2014-01-22 Teliris, Inc. Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method
US8269817B2 (en) * 2008-07-16 2012-09-18 Cisco Technology, Inc. Floor control in multi-point conference systems
US8355040B2 (en) 2008-10-16 2013-01-15 Teliris, Inc. Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method
US8369506B2 (en) * 2009-03-06 2013-02-05 International Business Machines Corporation Informing a teleconference participant that a person-of-interest has become active within the teleconference
US8330794B2 (en) * 2009-06-10 2012-12-11 Microsoft Corporation Implementing multiple dominant speaker video streams with manual override
US8925034B1 (en) 2009-06-30 2014-12-30 Symantec Corporation Data protection requirements specification and migration
US8387047B1 (en) 2009-08-03 2013-02-26 Symantec Corporation Method of virtualizing file extensions in a computer system by determining an association between applications in virtual environment and a file extension
US8352937B2 (en) * 2009-08-03 2013-01-08 Symantec Corporation Streaming an application install package into a virtual environment
US8090744B1 (en) 2009-08-26 2012-01-03 Symantec Operating Corporation Method and apparatus for determining compatibility between a virtualized application and a base environment
US8473444B1 (en) 2009-08-28 2013-06-25 Symantec Corporation Management of actions in multiple virtual and non-virtual environments
US8438555B1 (en) 2009-08-31 2013-05-07 Symantec Corporation Method of using an encapsulated data signature for virtualization layer activation
US8458310B1 (en) 2009-09-14 2013-06-04 Symantec Corporation Low bandwidth streaming of application upgrades
US8566297B1 (en) 2010-01-14 2013-10-22 Symantec Corporation Method to spoof data formats from image backups
US8290912B1 (en) 2010-01-29 2012-10-16 Symantec Corporation Endpoint virtualization aware backup
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8495625B1 (en) 2010-07-27 2013-07-23 Symantec Corporation Method and system for creation of streamed files on-demand
JP5041089B2 (ja) * 2011-05-06 2012-10-03 株式会社日立製作所 通信装置
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US9077848B2 (en) * 2011-07-15 2015-07-07 Google Technology Holdings LLC Side channel for employing descriptive audio commentary about a video conference
US9880776B1 (en) 2013-02-22 2018-01-30 Veritas Technologies Llc Content-driven data protection method for multiple storage devices

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4449238A (en) * 1982-03-25 1984-05-15 Bell Telephone Laboratories, Incorporated Voice-actuated switching system
JPH01106559A (ja) * 1987-10-19 1989-04-24 Tokyo Electric Co Ltd ファクシミリ装置
JPH0744511B2 (ja) * 1988-09-14 1995-05-15 富士通株式会社 高郊率多重化方式
US5434920A (en) * 1991-12-09 1995-07-18 At&T Corp. Secure telecommunications
US5375068A (en) * 1992-06-03 1994-12-20 Digital Equipment Corporation Video teleconferencing for networked workstations
AU4538093A (en) * 1992-06-15 1994-01-04 Bunn, Daniel W. Audio communication system for a computer network
US5392223A (en) * 1992-07-29 1995-02-21 International Business Machines Corp. Audio/video communications processor

Also Published As

Publication number Publication date
DE69515838T2 (de) 2000-10-12
DE69515838D1 (de) 2000-04-27
JPH08279835A (ja) 1996-10-22
US5745380A (en) 1998-04-28
EP0724362A1 (en) 1996-07-31
EP0724362B1 (en) 2000-03-22

Similar Documents

Publication Publication Date Title
JP3216978B2 (ja) マルチメディア・ストリーム転送方法
US5555017A (en) Seamless multimedia conferencing system using an enhanced multipoint control unit
US5604738A (en) Multipoint teleconference system employing H. 221 frames
US5020098A (en) Telephone conferencing arrangement
EP0523626B1 (en) Multipoint teleconference system employing communication channels set in ring configuration
EP0691778B1 (en) Multimedia conferencing system
EP0680190A2 (en) A teleconferencing audio bridge
JPH03155257A (ja) 分散制御通信会議装置
KR20050094229A (ko) 멀티미디어 채팅 시스템 및 그 운용방법
JPS5875350A (ja) デイジタル信号伝送方式
JPH06261316A (ja) 多地点間通信会議システム
JP2549098B2 (ja) 電子会議システムの伝送制御装置
JP2902220B2 (ja) 通信会議システム
JP2823571B2 (ja) 分散多地点通信会議装置
KR100239345B1 (ko) 다자간 화상회의 제어장치
Wakahara et al. Panel-discussion multimedia conferencing over ATM network
JP3030019B2 (ja) 通信会議システム
JPH09149395A (ja) 通信装置
JPH09270791A (ja) 多地点テレビ会議システム
KR100565185B1 (ko) 화상회의 시스템
JPH06217303A (ja) 多地点間通信会議方式における発言制御装置
KR19990064542A (ko) 다자간 컴퓨터 음성통신 방법
JPH06121059A (ja) 会議電話用トランク装置
KR20040052172A (ko) 인터넷 전화 교환 시스템의 동적 회의 통화 관리 방법
JPH09270792A (ja) 多地点テレビ会議システム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090803

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130803

Year of fee payment: 12

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term