JPH0974548A - 端末装置、テレビ会議システム及び動画像伝送方法 - Google Patents

端末装置、テレビ会議システム及び動画像伝送方法

Info

Publication number
JPH0974548A
JPH0974548A JP8145735A JP14573596A JPH0974548A JP H0974548 A JPH0974548 A JP H0974548A JP 8145735 A JP8145735 A JP 8145735A JP 14573596 A JP14573596 A JP 14573596A JP H0974548 A JPH0974548 A JP H0974548A
Authority
JP
Japan
Prior art keywords
moving image
data
rate
transmitting
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8145735A
Other languages
English (en)
Other versions
JP3658087B2 (ja
Inventor
Hiroshi Okazaki
洋 岡崎
Hiroaki Sato
宏明 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP14573596A priority Critical patent/JP3658087B2/ja
Priority to US08/674,742 priority patent/US5819048A/en
Publication of JPH0974548A publication Critical patent/JPH0974548A/ja
Application granted granted Critical
Publication of JP3658087B2 publication Critical patent/JP3658087B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/0262—Arrangements for detecting the data rate of an incoming signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/42—Arrangements for resource management

Abstract

(57)【要約】 【課題】 ＣＰＵ等の処理能力の無駄使いとなる動画像
データの伝送を防止し、状況に応じた適切な動画フレー
ムレートにより動画像データを伝送可能にする動画像伝
送方法を提供することである。 【解決手段】 動画像データを複数の端末装置に伝送す
る際の前記動画像データのフレームレートを、前記複数
の端末装置の動画像受信率に応じて（ステップＳ１２、
１４）伝送する動画像データのフレームレートを制御す
る（ステップＳ１３、１５）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はテレビ会議システム
等に適用可能な端末装置及び動画像伝送方法に係り、特
に動画像を伝送する際のフレームレート制御に関する。
【０００２】
【従来の技術】従来のビデオ会議システムでは、予めノ
ード（端末）数や通信回線速度などの状況により初期フ
レームレートを設定するものの通信中にそのフレームレ
ートを変更しないのが一般的であった。
【０００３】特に、ワークステーションやパソコンなど
の計算機を用いてビデオ会議を行った場合、ＣＰＵ（Ｃ
ｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の負
荷状況などの受信側の状況変化により送信側のフレーム
レートを自動調整することはできなかった。
【０００４】このため、送信側は必要以上の送信レート
で送信するため、送信処理に必要以上の負荷がかかり、
ますます同時に行う受信処理における受信能力低下を招
くことがあったため、手動で利用者が送信レートを適切
な値に調整することは行っていたが、自動調整機能は実
現されていなかった。
【０００５】
【発明が解決しようとする課題】しかしながら、ある送
信ノードに対応する複数の受信ノードが全てフレーム落
ちを発生するような送信フレームレートで動画送信を行
うことは、ＣＰＵ等処理能力リソースの無駄使いとな
る。
【０００６】受信側ではフレーム落ちが発生すると、１
フレームおきの受信になり易く受信側の表示レートが半
分に落ちるなど、能力低下が徐々にゆるやかに行われず
急激に低下する傾向となる。
【０００７】ビデオ会議等では同じノードが送信及び受
信の両方を同時に行っており、受信レートの低下は逆に
処理能力に余裕をもたせ更に意味のない送信レートの上
昇を招く。
【０００８】このために、手動で利用者が送信レートを
適切な値に調整することが考えられるが、利用者にとっ
てその調整は煩わしく適切なフレームレートは参加・退
席などの状況変化により刻々と変化するので自動的な調
整方式が求められる状況であった。
【０００９】また、テレビ会議等では音切れのない安定
した音声送受信処理や、他の共同作業用のツールの立ち
上げ処理や対話操作での反応の早さなどは、会議をスム
ーズに進行するには、動画像の送受信処理より、優先度
が高いと考えられる。そのような場合、動画フレームレ
ートを低下させ動画送受信の処理負荷を一時的に下げる
ことによってＣＰＵ処理能力を他の処理のために確保す
ることが必要であると考えられる。
【００１０】上述したような背景から本願発明の一つの
目的は、ＣＰＵ等の処理能力の無駄使いとなる動画像デ
ータの伝送を防止し、状況に応じた適切な動画フレーム
レートにより動画像データを伝送可能にする端末装置、
テレビ会議システム及び動画像方法を提供することであ
る。
【００１１】尚、本発明の他の目的は以下の明細書の記
載から明らかとなるであろう。
【００１２】
【課題を解決するための手段】本願は斯かる目的下にそ
の一つの発明として端末装置は、動画像データを伝送す
る伝送手段と、受信側の動画像受信率に応じて前記伝送
手段により伝送される動画像のフレームレートを制御す
る制御手段とを有することを特徴とするものである。
【００１３】また、その一つの発明として端末装置は、
動画像データを送受信する複数の動画像送受信端末装置
と接続されている端末装置であって、前記各動画像送受
信端末からの動画像データの動画像受信率を示す動画像
受信率データを入力する入力手段と、前記入力手段によ
って入力された前記各動画像送受信端末の動画像受信率
データに応じて動画像データを伝送する際のフレームレ
ートを制御する制御信号を前記各動画像送受信端末に伝
送する伝送手段とを有することを特徴とするものであ
る。
【００１４】また、その一つの発明として端末装置は、
伝送された動画像データを入力する入力手段と、前記入
力された動画像データの動画像受信率を計算する動画像
受信率計算手段と、前記動画像受信率計算手段により計
算された動画像受信率を示す動画像受信率データを伝送
する伝送手段とを有することを特徴とするものである。
【００１５】また、その一つの発明としてテレビ会議シ
ステムは、複数の端末装置と接続されるテレビ会議シス
テムであって、前記各端末装置は、動画像データを伝送
する伝送手段と、受信側の動画像受信率に応じて前記伝
送手段により伝送される動画像のフレームレートを制御
する制御手段とを有することを特徴とするものである。
【００１６】また、その一つの発明として動画像伝送方
法は、動画像データを複数の端末装置に伝送する動画像
伝送方法であって、前記複数の端末装置の動画像受信率
に応じて伝送する動画像データのフレームレートを制御
することを特徴とするものである。
【００１７】また、その一つの発明として動画像伝送方
法は、動画像データと音声データとを複数の端末装置に
伝送する動画像伝送方法であって、前記複数の端末装置
の動画像受信率及び音声受信率に応じて伝送する動画像
データのフレームレートを制御することを特徴とするも
のである。
【００１８】
【発明の実施の形態】
〔第１の実施例〕図１は本実施例を実現するための機能
モジュールの構成図である。
【００１９】図１において、１０１は動画送信モジュー
ル、１０２は動画受信モジュール、１０３は実レート情
報管理モジュールである。
【００２０】図２は本実施例を実現するワークステーシ
ョンのハードウエア構成図である。
【００２１】図２において、２０１はワークステーショ
ン、２０２はワークステーション２０１に接続されてい
るカメラ、２０３はワークステーション２０１に接続さ
れているディスプレイである。
【００２２】また、ワークステーション２０１はカメラ
動画像の圧縮・伸長用にParallax社製のPowerVideoを備
えているビデオボード２１０、ワークステーション２０
１に接続されているカメラ２０２、ディスプレイ２０３
やワークステーション内の各ボードを制御するための中
央処理部（ＣＰＵ）２１１、制御データ及びネットワー
クを介して送られてきたデータを記憶するハードディス
ク或はメモリ等の主記憶部２１２、ネットワークにデー
タを送信或はネットワークからのデータを受信するため
のネットワークボード２１３、ワークステーション２０
１内のデータ伝送用のデータバス２１４とにより構成さ
れている。尚、図１の１０１〜１０３はソフトウエアと
して実現される。
【００２３】以下、動画送信モジュール、動画受信モジ
ュール及び実レート情報管理モジュールの処理の説明を
する。
【００２４】〈動画送信モジュールの処理〉動画送信モ
ジュールはPowerVideoを用いて現在の動画フレームのJP
EG(Joint Photographic Coding Experts Group) 圧縮さ
れたデータを得た後、そのデータをUDP/IPネットワーク
プロトコルを用いて複数の動画受信モジュールにパケッ
ト送信する。この動画フレームキャプチャー及び動画送
信を繰り返すことで送信モジュールは動画送信を行う。
【００２５】動画送信モジュールは上記繰り返しのルー
プ毎にUNIXのシステムコールusleep()などでウエイトを
挿入し実送信フレームレートを調整する機能が実現され
ている。
【００２６】〈動画受信モジュールの処理〉動画受信モ
ジュールでは送信モジュールからのパケットの到着を待
ち、１動画フレームを得たらそれをPowerVideoを用いて
伸長表示する。UDP/IPプロトコルではエラーによる再送
を行わないので、ネットワークの混雑や受信側ワークス
テーションのCPU 負荷などによりパケットを損失する。
【００２７】送信側から送出されるパケットにはシリア
ル番号情報をそのパケットデータ内に配置してあり、シ
リアル番号の抜けを調べることで損失量が受信側で計測
できるようになっている。
【００２８】受信モジュールはある一定時間間隔ごとに
（１秒程度）、その受信率（受信したフレーム／（受信
したフレーム＋損失したフレーム））を計算し、実レー
ト情報管理モジュールへ報告する。
【００２９】〈実レート情報管理モジュールの処理〉本
実施例の実レート情報管理モジュールの処理を図３を参
照しながら説明する。
【００３０】図３は実レート情報管理モジュールのフレ
ームレート制御処理を示すフローチャートである。尚、
フレームレート制御はＣＰＵ２１１によって行われてい
る。
【００３１】実レート情報管理モジュールはある送信モ
ジュールが送出する動画像を受信している複数の受信モ
ジュールからの受信率をもとに送信側のフレームレート
を制御する。
【００３２】図３において、ステップＳ１１では受信モ
ジュール全てからの受信率データを受け取ったか判断す
る。受け取っていなければ全ての受信モジュールの受信
率データを受け取るまで待機する。受け取っているなら
ばステップＳ１２へ進む。
【００３３】ステップＳ１２では報告された受信率が全
て１００％かどうか判断する。全て１００％ならステッ
プＳ１３へ進み、送信側のフレームレートをある割合
（本実施例では１０％程度）で増加させる制御信号を送
信モジュール側へ送信する（図４参照）。
【００３４】ステップＳ１２で受信率が全て１００％で
はないときステップＳ１４へ進み、、報告された受信率
が全てある閾値以下（本実施例では９０％程度）かどう
かを判断する。
【００３５】報告された受信率が全てある閾値以下なら
ステップＳ１５へ進み、、フレームレートをある割合
（本実施例では１０％程度）で低下させる制御信号を送
信モジュール側へ送信する（図５参照）。
【００３６】ステップＳ１４で報告された受信率が全て
ある閾値以下でない場合は、現状のフレームレートを維
持する（図６参照）。
【００３７】つまり、フレームレートの増加または低下
の変更判断が行われると、直ちに実レート情報管理モジ
ュールは動画送信モジュールにその要求を出し、動画送
信モジュールが送信レートを調整する。
【００３８】〔第２の実施例〕ビデオ会議に参加するユ
ーザ全てが動画送信を行う状況で、第１の実施例を用い
て送信レートの自動調整をそれぞれ独立して行うと、参
加者間の送信レートにバラツキが出てくることがある。
【００３９】ビデオ会議では参加者同士でのバランスも
重要であるので、第１の実施例を修正してビデオ会議の
単位で送信レートの変更判断を行い、その会議に参加し
ている全ての参加者の動画送信モジュールの送信レート
を同時に連動させて制御する方法に関して説明する。
【００４０】本実施例では各送信モジュールに対して送
信フレームレートの変更判断が増加／低下／維持の何れ
かに決まる。
【００４１】次に、会議参加者全員の前記変更判断が全
て増加（１人以上）または維持立ったら会議としての変
更判断を増加とし、会議参加者全員の前記変更判断が全
て低下（１人以上）または維持だったら会議としての変
更判断を低下とし、そのほかの場合は会議としての変更
判断を維持とする。
【００４２】会議としての判断が増加または低下と決ま
れば、その時点で会議参加者の全ての動画送信モジュー
ルにその要求を出し、送信レートを調整する（図７参
照）。
【００４３】〔第３の実施例〕図８は本実施例を実現す
るための機能モジュールの構成図である。尚、図８中で
図１と同一部分には同一符号を付し、その説明を省略す
る。
【００４４】図８において、１０４は音声送信モジュー
ル、１０５は音声受信モジュールである。尚、図８の１
０１〜１０５はソフトウエアとして実現される。
【００４５】図９は本実施例を実現するワークステーシ
ョンのハードウエア構成図である。尚、図９中で図２と
同一部分には同一符号を付し、その説明を省略する。
【００４６】図９において、２１５は音声を入力するた
めのマイク、２１６は音声を出力するためのスピーカ
ー、２１７は音声データを圧縮伸長回路を備えたオーデ
ィオボードである。
【００４７】以下、音声送信モジュール、音声受信モジ
ュール及び実レート情報管理モジュールの処理の説明を
する。尚、動画送信モジュール及び動画受信モジュール
の処理は第１の実施例と同様であるので説明を省略す
る。
【００４８】〈音声送信モジュールの処理〉音声送信モ
ジュールはオーディオデバイスをオープンした後、read
システムコールにより音声データを得た後、そのデー
タをUDP/IPネットワークプロトコルを用いて複数の音声
受信モジュールに送信する。この音声獲得及び音声送信
を繰り返すことで送信モジュールは音声送信を行う。
【００４９】音声の場合は動画フレームのような送信の
基準単位となる概念はなく、切れ目のない連続メディア
なので、ある単位時間分(0.01 〜0.2 秒程度）の音声デ
ータを単位としてパケットに分割しながら繰り返し送信
を行う。
【００５０】〈音声受信モジュールの処理〉音声受信モ
ジュールでは送信モジュールからのパケットの到着を待
ち、１パケットの音声データを得たらそれをオーディオ
デバイスにwrite システムコールにより書き込み、音声
を再生する。
【００５１】複数の音声を同時に受信する場合は、受信
した音声データを図１０に示すリングバッファに順に値
を加える。ここで、それぞれの受信モジュールがバッフ
ァに値を加えることで、複数の音声はミキシングされ
る。このミキシングされたバッファ上のデータを一定時
間間隔ごとに、ミキサーモジュールが順にwrite システ
ムコールによりオーディオデバイスに書き込み音声を再
生し、その後、再生区間のバッファをゼロクリアしてお
く。
【００５２】動画像と同様に音声にもUDP/IPプロトコル
を用いており、ネットワークの混雑や受信側のCPU 負荷
によりパケットを損失し、音切れ等の原因になる。送信
側からのパケットにはシリアル番号情報が付けられてお
り、シリアル番号の抜けを調べることで損失量が計測で
きる。
【００５３】音声受信モジュールはある一定間隔毎に
（１秒程度）、その受信率（受信したパケット数／（受
信したパケット数＋損失したパケット数））を計算し、
実レート情報管理モジュールへ報告する。
【００５４】〈実レート情報管理モジュールの処理〉本
実施例の実レート情報管理モジュールの処理を図１１を
参照しながら説明する。
【００５５】図１１は実レート情報管理モジュールのフ
レームレート制御処理を示すフローチャートである。
尚、フレームレート制御はＣＰＵ２１１’によって行わ
れている。
【００５６】実レート情報管理モジュールはある送信モ
ジュールが送出する動画像及び音声を受信している複数
の受信モジュールからの動画受信率と音声受信率とをも
とに、送信側の動画の送信フレームレートを制御する。
【００５７】ここでは音声の安定した受信処理が、動画
像のフレームレートを向上させるよりも優先度が高く、
安定した受信処理を回復させるためには、フレームレー
トを低下させることで音声送受信処理を安定させる考え
方に基づいている。
【００５８】図１１において、ステップＳ２１では音声
受信モジュール全てからの受信率を受け取ったか判断す
る。受け取っていなければ全ての音声受信モジュールの
受信率データを受け取るまで待機する。受け取っている
ならばステップＳ２２へ進む。
【００５９】ステップＳ２２では報告された音声受信率
が全て所定閾値（本実施例では９０％）以上ならステッ
プＳ２３へ進み、そうでなければステップＳ２８へ進
む。
【００６０】ステップＳ２８では、送信側のフレームレ
ートをある割合（本実施例では２０％程度）で減少させ
る制御信号を送信モジュール側へ送信する。
【００６１】ステップＳ２３では動画受信モジュール全
てからの受信率データを受け取ったかを判断する。受け
取っていなければ全ての動画受信モジュールの受信率デ
ータを受け取るまで待機する。受け取っているならばス
テップＳ２４へ進む。
【００６２】ステップＳ２４では報告された動画受信率
が全て１００％かどうかを判断する。全て１００％なら
ステップＳ２５へ進み、送信側のフレームレートをある
割合（本実施例では１０％程度）で増加させる制御信号
を送信モジュール側へ送信する。
【００６３】一方、ステップＳ２４で動画受信率が全て
１００％ではないときステップＳ２６へ進み、報告され
た動画受信率が全て所定閾値以下（本実施例では９０％
程度）かどうかを判断する。
【００６４】ステップＳ２４で報告された受信率が全て
所定閾値以下ならステップＳ２７へ進み、フレームレー
トを所定の割合（本実施例では１０％程度）で低下させ
る制御信号を送信モジュール側へ送信する。
【００６５】ステップＳ２６で報告された動画受信率が
全て所定閾値以下でない場合には、現状のフレームレー
トを維持する。
【００６６】つまり、フレームレートの増加または低下
の変更判断が行われると、直ちに実レート情報管理モジ
ュールは動画送信モジュールにその要求を出し、動画送
信モジュールが送信レートを調整する。
【００６７】〔第４の実施例〕第４の実施例は上記第３
の実施例にフレームレート手動調整機能を付加したこと
である。
【００６８】まず、ユーザーインタフェースモジュール
によるフレームレート手動調整機能を説明する。
【００６９】各端末に動画像の送信モジュールの現在の
要求フレームレート及び実フレームレート（実際には要
求フレームで遅れない場合もあるので）と、それに対応
する複数の受信モジュールの動画及び音声の受信率を例
えばディスプレイ２０３にウインドウとして一覧表示す
るためのユーザーインタフェースモジュールを備える
（図１２参照）。尚、図１２に示したデータは、実レー
ト情報管理モジュールが管理し、各送受信モジュールに
そのデータを送信している。
【００７０】図１２において、３０１が要求フレームレ
ート、３０２が実フレームレート、３０３が受信モジュ
ールの動画受信率、３０４が受信モジュールの音声受信
率を表す。これらのデータは自動調整及び手動調整時に
かかわらず、常に値が更新され各端末使用者は、現在の
状況を把握することができる。
【００７１】３０５はモード変更キー、３０６、３０７
はフレームレート変更キーである。
【００７２】モード変更キー３０５、フレームレート変
更キー３０６、３０７のキー操作はマウスで指示し、ク
リックすることによって行われる。
【００７３】モード変更キー３０５は、キー操作毎に自
動調整モードと手動調整モードが切り替わる。自動調整
モードから手動調整モードに切り替えた場合、初期要求
フレームレートは自動調整モードでの直前の要求フレー
ムレートの値に設定される。
【００７４】３０６、３０７はフレームレート変更キー
で、要求フレームレート変更することが可能です。フレ
ームレート変更キー３０６はこのキー操作によりフレー
ムレートを1 fps 単位で増加させ、フレームレート変更
キー３０７はこのキー操作によりフレームレートを1 fp
s 単位で減少させることができる。ただし、フレームレ
ート自体が 1 fpsを切る場合には、0.1 fps 単位とな
り、またその値は0.1 より小さくはならない。ここで f
psはframes per second （フレーム／秒）を表す。
【００７５】尚、自動調整モードにおいて、フレームレ
ート変更キー３０６、３０７を直接操作すると、手動調
整モードに自動的に切り替わる。
【００７６】このユーザーインタフェースモジュールは
上記のような操作に対して、実レート情報管理モジュー
ルに以下のような制御信号を送ることになる。
【００７７】モード変更キー３０５を操作するごとに、
自動調整モードを設定する制御信号あるいは手動調整モ
ードに設定する制御信号を実レート情報管理モジュール
に送信する。
【００７８】フレームレート変更キーを操作すると、要
求フレームレートを指定値に設定する制御信号を実レー
ト情報管理モジュールに送信する。
【００７９】また、一覧表示のために要求送信レート、
実送信レート、動画受信率、音声受信率などの値は、共
有メモリ上に置かれ、常に任意のモジュールから参照可
能な実現形態を採る。
【００８０】次に、アプリケーションインターフェース
によるフレームレート制御を説明する。アプリケーショ
ンインターフェースは、他の共同作業プログラムの中か
ら上記制御信号に対応する動作を要求する関数ライブラ
リを提供する。実際には、前記ユーザーインタフェース
モジュールが実レート情報管理モジュールに送信してい
た制御信号を送るような関数が対応して用意される。
【００８１】ここで提供される関数は以下のようにな
る。
【００８２】 ReturnCode SetRateControlMode (SendHost,ModeType); ReturnCode SetRateValue (SendHost,RateValue); 尚、SendHost は会議参加している端末ノードを指定す
るもので、ModeTypeは手動／自動モードの種類を指定す
るもので、RateValue は指定レート値を指定するための
ものである。
【００８３】ここでの関数を用いることで、アプリケー
ションの中で自らの処理に影響を与える端末ノードの動
画送信フレームレートを一旦下げておいて、負荷の重い
早く終了したい自らの処理を行い、さらにフレームレー
トを復帰させると共に自動調整モードに戻すことで、よ
りスムーズな会議進行が可能となる。
【００８４】尚、本発明はその精神又は主要な特徴から
逸脱することなく、他のいろいろな形で実施することが
できる。そのため前述の実施例はあらゆる点で単なる例
示に過ぎず、限定的に解釈してはならない。
【００８５】特許請求の範囲の均等範囲に属する変形や
変更はすべて本発明の範囲内のものである。
【００８６】
【発明の効果】以上説明したように本願の発明によれ
ば、動画像データを受信する受信側の動画像受信率に応
じて動画像データのフレームレートを制御して伝送する
ので、ＣＰＵ等の処理能力の無駄使いとなるような動画
像データの伝送を防止でき、状況に応じた適切な動画フ
レームレートで動画像データを伝送することができる。
【図面の簡単な説明】
【図１】第１の実施例を実現するための機能モジュール
の構成図である。
【図２】第１の実施例を実現するワークステーションの
ハードウエアの構成図である。
【図３】第１の実施例の実レート管理モジュールのフレ
ームレート制御処理を示すフローチャートである。
【図４】フレームレート更新判断（増加）を模式的に示
した図である。
【図５】フレームレート更新判断（低下）を模式的に示
した図である。
【図６】フレームレート更新判断（維持）を模式的に示
した図である。
【図７】第２の実施例の複数の動画送信モジュールの送
信フレームレートの同時制御を模式的に示した図であ
る。
【図８】第３の実施例を実現するための機能モジュール
の構成図である。
【図９】第３の実施例を実現するワークステーションの
ハードウエアの構成図である。
【図１０】複数音声の受信と音声再生を模式的に示した
図である。
【図１１】第３の実施例の実レート管理モジュールのフ
レームレート制御処理を示すフローチャートである。
【図１２】フレームレート調整ユーザインタフェースに
よるフレームレート調整用の表示画面を表した図であ
る。

Claims (24)

    【特許請求の範囲】
  1. 【請求項１】 動画像データを伝送する伝送手段と、 受信側の動画像受信率に応じて前記伝送手段により伝送
    される動画像のフレームレートを制御する制御手段とを
    有することを特徴とする端末装置。
  2. 【請求項２】 請求項１において、前記動画像受信率と
    は（受信したフレーム数／送信したフレーム数）である
    ことを特徴とする端末装置。
  3. 【請求項３】 請求項１において、前記伝送手段は動画
    像データを圧縮する圧縮手段を有し、前記圧縮手段によ
    って圧縮された動画像データを伝送することを特徴とす
    る端末装置。
  4. 【請求項４】 請求項１において、前記伝送手段は前記
    動画像データを複数の端末に伝送し、前記制御手段は前
    記複数の端末の動画像受信率に応じて動画像のフレーム
    レートを制御することを特徴とする端末装置。
  5. 【請求項５】 請求項４において、前記端末装置は更に
    各端末の動画像受信率を一覧表示する表示手段を有する
    ことを特徴とする端末装置。
  6. 【請求項６】 請求項１において、前記伝送手段は更に
    音声データを伝送でき、前記制御手段は更に受信側の音
    声受信率に応じて前記伝送手段により伝送される動画像
    のフレームレートを制御することを特徴とする端末装
    置。
  7. 【請求項７】 請求項６において、前記伝送手段は前記
    音声データをパケット化して伝送し、前記音声受信率と
    は（受信したパケット数／送信したパケット数）である
    ことを特徴とする端末装置。
  8. 【請求項８】 請求項６において、前記制御手段は前記
    音声データを前記動画像データより優先させるように動
    画像のフレームレートを制御することを特徴とする端末
    装置。
  9. 【請求項９】 請求項１乃至８において、前記端末装置
    は動画像の送信フレームレートを直接設定可能な手動調
    整手段を有することを特徴とする端末装置。
  10. 【請求項１０】 請求項９において、前記手動調整手段
    はソフトウエアモジュールからの関数呼び出しにより行
    うことを特徴とする端末装置。
  11. 【請求項１１】 動画像データを送受信する複数の動画
    像送受信端末装置と接続されている端末装置であって、 前記各動画像送受信端末からの動画像データの動画像受
    信率を示す動画像受信率データを入力する入力手段と、 前記入力手段によって入力された前記各動画像送受信端
    末の動画像受信率データに応じて設定された、動画像デ
    ータを伝送する際のフレームレートを制御する制御信号
    を前記各動画像送受信端末に伝送する伝送手段とを有す
    ることを特徴とする端末装置。
  12. 【請求項１２】 請求項４又は１１において、前記制御
    手段は前記複数の端末の前記動画像受信率が全て所定値
    以下ならば、フレームレートを低下させることを特徴と
    する端末装置。
  13. 【請求項１３】 請求項４又は１１において、前記制御
    手段は前記複数の端末の前記動画像受信率が全て１００
    ％ならば、フレームレートを増加させることを特徴とす
    る端末装置。
  14. 【請求項１４】 請求項１１において、前記動画像送受
    信端末装置は更に音声データを送受信することができ、
    前記入力手段は更に前記各動画像受信端末から音声デー
    タの音声受信率を示す音声受信率データを入力し、前記
    制御信号は前記動画像受信率データと前記音声受信率デ
    ータとに応じて設定されることを特徴とする端末装置。
  15. 【請求項１５】 請求項１４において、前記制御信号は
    前記音声データを前記動画像データより優先させるよう
    に設定されることを特徴とする端末装置。
  16. 【請求項１６】 伝送された動画像データを入力する入
    力手段と、 前記入力された動画像データの動画像受信率を計算する
    動画像受信率計算手段と、 前記動画像受信率計算手段により計算された動画像受信
    率を示す動画像受信率データを伝送する伝送手段とを有
    することを特徴とする端末装置。
  17. 【請求項１７】 請求項１６において、前記入力手段は
    更に音声データを入力でき、前記端末装置は更に前記入
    力された音声データの受信率を計算する音声受信率計算
    手段を融資、前記音声受信率計算手段により計算された
    音声受信率を示す音声受信率データを前記伝送手段によ
    り伝送することを特徴とする端末装置。
  18. 【請求項１８】 複数の端末装置と接続されるテレビ会
    議システムであって、 前記各端末装置は、 動画像データを伝送する伝送手段と、 受信側の動画像受信率に応じて前記伝送手段により伝送
    される動画像のフレームレートを制御する制御手段とを
    有することを特徴とするテレビ会議システム。
  19. 【請求項１９】 請求項１８において、前記伝送手段は
    更に音声データを伝送でき、前記制御手段は更に受信側
    の音声受信率に応じて前記伝送手段により伝送される動
    画像のフレームレートを制御することを特徴とするテレ
    ビ会議システム。
  20. 【請求項２０】 請求項１９において、前記各端末装置
    は各端末装置の動画像受信率と音声受信率を示すデータ
    を一覧表示する表示手段を有する事を特徴とするテレビ
    会議システム。
  21. 【請求項２１】 第１の情報データを伝送する伝送手段
    と、 受信側の前記第１の情報データの受信率に応じて前記伝
    送手段により伝送される前記第１の情報データの伝送デ
    ータ量を制御する制御手段とを有することを特徴とする
    端末装置。
  22. 【請求項２２】 請求項２１において、前記伝送手段は
    更に第２の情報データを伝送でき、前記制御手段は更に
    受信側の前記第２の情報データの受信率に応じて前記伝
    送手段により伝送される前記第１の情報データの伝送デ
    ータ量を制御することを特徴とする端末装置。
  23. 【請求項２３】 動画像データを複数の端末装置に伝送
    する動画像伝送方法であって、 前記複数の端末装置の動画像受信率に応じて伝送する動
    画像データのフレームレートを制御することを特徴とす
    る動画像伝送方法。
  24. 【請求項２４】 動画像データと音声データとを複数の
    端末装置に伝送する動画像伝送方法であって、 前記複数の端末装置の動画像受信率及び音声受信率に応
    じて伝送する動画像データのフレームレートを制御する
    ことを特徴とする動画像伝送方法。
JP14573596A 1995-07-04 1996-06-07 端末装置及び端末装置の制御方法 Expired - Fee Related JP3658087B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP14573596A JP3658087B2 (ja) 1995-07-04 1996-06-07 端末装置及び端末装置の制御方法
US08/674,742 US5819048A (en) 1995-07-04 1996-07-02 Image data processing apparatus transmitting data in accordance with a reception rate

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-168705 1995-07-04
JP16870595 1995-07-04
JP14573596A JP3658087B2 (ja) 1995-07-04 1996-06-07 端末装置及び端末装置の制御方法

Publications (2)

Publication Number Publication Date
JPH0974548A true JPH0974548A (ja) 1997-03-18
JP3658087B2 JP3658087B2 (ja) 2005-06-08

Family

ID=26476790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14573596A Expired - Fee Related JP3658087B2 (ja) 1995-07-04 1996-06-07 端末装置及び端末装置の制御方法

Country Status (2)

Country Link
US (1) US5819048A (ja)
JP (1) JP3658087B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11215481A (ja) * 1998-01-22 1999-08-06 Fujitsu Ltd 画像データ送受信システムおよびその送信側装置およびその受信側装置並びにそのプログラムを記憶した記憶媒体
JP2003009118A (ja) * 2001-06-22 2003-01-10 Yuji Tamura コンテンツ提供システム及びその享受システムならびにそれらの方法
JP2007089132A (ja) * 2005-08-25 2007-04-05 Canon Inc 遠隔表示システム、及び、方法
JP2010521856A (ja) * 2007-03-13 2010-06-24 スカイプ・リミテッド 通信システムにおけるデータ伝送方法
US8005348B2 (en) 2008-01-18 2011-08-23 Kabushiki Kaisha Toshiba Information processing apparatus
US8731069B2 (en) 2005-08-25 2014-05-20 Canon Kabushiki Kaisha Remote display system and method

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69726110T2 (de) * 1996-08-30 2004-08-26 Koninklijke Philips Electronics N.V. Videoübertragungssystem
US6047113A (en) * 1996-12-10 2000-04-04 International Business Machines Corporation Network adapters for multi-speed transmissions
US6065059A (en) * 1996-12-10 2000-05-16 International Business Machines Corporation Filtered utilization of internet data transfers to reduce delay and increase user control
US6172672B1 (en) * 1996-12-18 2001-01-09 Seeltfirst.Com Method and system for providing snapshots from a compressed digital video stream
US6275224B1 (en) * 1997-02-18 2001-08-14 Electronic Data Systems Corporation Group situation board system and method of operation
US5938731A (en) * 1997-06-23 1999-08-17 International Business Machines Corporation Exchanging synchronous data link control (SDLC) frames to adjust speed of data transfer between a client and server
US7058720B1 (en) * 1997-06-30 2006-06-06 Microsoft Corporation Geographical client distribution methods, systems and computer program products
JP3512988B2 (ja) * 1997-08-12 2004-03-31 株式会社東芝 画像処理装置
US6701372B2 (en) * 1997-08-22 2004-03-02 Canon Kabushiki Kaisha Data communication apparatus and method
US6850564B1 (en) * 1998-06-26 2005-02-01 Sarnoff Corporation Apparatus and method for dynamically controlling the frame rate of video streams
JP4124892B2 (ja) * 1998-07-24 2008-07-23 キヤノン株式会社 通信装置及び通信方法及び記憶媒体
JP2000184351A (ja) * 1998-12-11 2000-06-30 Office Noa:Kk 動画像配信方法およびそのシステム
US6754894B1 (en) * 1999-12-03 2004-06-22 Command Audio Corporation Wireless software and configuration parameter modification for mobile electronic devices
JP2001186460A (ja) * 1999-12-22 2001-07-06 Matsushita Electric Ind Co Ltd データ記録装置
US6965914B2 (en) 2000-10-27 2005-11-15 Eric Morgan Dowling Negotiated wireless peripheral systems
US6738916B1 (en) * 2000-11-02 2004-05-18 Efficient Networks, Inc. Network clock emulation in a multiple channel environment
WO2004004139A2 (en) * 2002-06-26 2004-01-08 Yahoo Inc. System and method for communicating images between intercommunicating users
US7043559B2 (en) * 2002-06-27 2006-05-09 Seiko Epson Corporation System for distributing objects to multiple clients
JP3733943B2 (ja) * 2002-10-16 2006-01-11 日本電気株式会社 データ転送速度調停システム及びそれに用いるデータ転送速度調停方法
US20040257434A1 (en) * 2003-06-23 2004-12-23 Robert Davis Personal multimedia device video format conversion across multiple video formats
KR101079599B1 (ko) * 2004-08-06 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9621473B2 (en) 2004-08-18 2017-04-11 Open Text Sa Ulc Method and system for sending data
GB2417391B (en) * 2004-08-18 2007-04-18 Wecomm Ltd Transmitting data over a network
KR100575994B1 (ko) * 2004-10-08 2006-05-02 삼성전자주식회사 휴대용 단말기에서 ｖｏｄ데이터 처리방법
US20070120969A1 (en) * 2005-09-15 2007-05-31 Alpha Omega International Audio visual communication system and method
DE102006048379B4 (de) * 2006-10-12 2008-11-06 Infineon Technologies Ag Verfahren zur Durchsatzsteuerung einer elektronischen Schaltung sowie entsprechende Durchsatzsteuerung und zugehörige Halbleiterschaltung
US20080094500A1 (en) * 2006-10-20 2008-04-24 Hewlett-Packard Development Company Lp Frame filter
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5385759B2 (ja) * 2009-10-30 2014-01-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
GB0921831D0 (en) * 2009-12-14 2010-01-27 British Telecomm Graphical data delivery
GB201000738D0 (en) 2010-01-18 2010-03-03 British Telecomm Graphical data processing
US9386127B2 (en) 2011-09-28 2016-07-05 Open Text S.A. System and method for data transfer, including protocols for use in data transfer
US9806967B2 (en) * 2014-05-30 2017-10-31 Sony Corporation Communication device and data processing method
CN104270649B (zh) * 2014-10-28 2019-01-22 中磊电子（苏州）有限公司 影像编码装置及影像编码方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289582A (en) * 1986-12-27 1994-02-22 Canon Kabushiki Kaisha Communication control unit
EP0418396B1 (en) * 1989-03-16 1998-06-03 Fujitsu Limited Video/audio multiplex transmission system
US5367522A (en) * 1991-02-21 1994-11-22 Canon Kabushiki Kaisha Multimedia communicating apparatus
JPH04287458A (ja) * 1991-03-18 1992-10-13 Fujitsu Ltd シリアルインターフェースの伝送速度制御方式およびデータ伝送を行う装置
US5537150A (en) * 1992-05-01 1996-07-16 Canon Kabushiki Kaisha Image processing apparatus and image communicating apparatus
US5375068A (en) * 1992-06-03 1994-12-20 Digital Equipment Corporation Video teleconferencing for networked workstations
JPH0730589A (ja) * 1993-07-06 1995-01-31 Canon Inc データ送信装置
JP3260950B2 (ja) * 1994-02-18 2002-02-25 松下電器産業株式会社 データ通信装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11215481A (ja) * 1998-01-22 1999-08-06 Fujitsu Ltd 画像データ送受信システムおよびその送信側装置およびその受信側装置並びにそのプログラムを記憶した記憶媒体
JP2003009118A (ja) * 2001-06-22 2003-01-10 Yuji Tamura コンテンツ提供システム及びその享受システムならびにそれらの方法
JP2007089132A (ja) * 2005-08-25 2007-04-05 Canon Inc 遠隔表示システム、及び、方法
US8731069B2 (en) 2005-08-25 2014-05-20 Canon Kabushiki Kaisha Remote display system and method
JP2010521856A (ja) * 2007-03-13 2010-06-24 スカイプ・リミテッド 通信システムにおけるデータ伝送方法
US8005348B2 (en) 2008-01-18 2011-08-23 Kabushiki Kaisha Toshiba Information processing apparatus

Also Published As

Publication number Publication date
US5819048A (en) 1998-10-06
JP3658087B2 (ja) 2005-06-08

Similar Documents

Publication Publication Date Title
JP3658087B2 (ja) 端末装置及び端末装置の制御方法
US6453336B1 (en) Video conferencing with adaptive client-controlled resource utilization
US8441517B2 (en) Data processing apparatus and method, and network system
US6646677B2 (en) Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method
US7535484B2 (en) Communication terminals that vary a video stream based on how it is displayed
JP5043132B2 (ja) 通信システムにおけるデータ伝送方法
CN106488265A (zh) 一种发送媒体流的方法和装置
US5898457A (en) TV conference communication device and method of controlling the same
JPH06284148A (ja) 動画通信制御方法及び通信制御装置
CN101433086A (zh) 动态控制视频会议系统中的图像捕获的系统和方法
JP2005137007A (ja) 映像送受信帯域幅及び画質制御機能を持つｉｐ映像端末装置及びその制御方法
JPH09252462A (ja) 送信処理装置、テレビ会議システム、送信処理方法及び記憶媒体
CN106973253A (zh) 一种调整媒体流传输的方法及装置
CN101656864A (zh) 视频选看的实现方法及视频会议系统
JPH04207343A (ja) 端末接続方式
JP2002199019A (ja) 通信制御装置、通信制御方法、及び通信制御プログラムが記録された記録媒体
JP2001352326A (ja) 通信装置、通信制御装置および通信方法
JP3588570B2 (ja) 通信フロー制御方法、通信端末、そのプログラム記録媒体
JPH10322673A (ja) 通信装置及び方法及び記憶媒体
JP2005260384A (ja) テレビ会議システム
JP2006074359A (ja) 遠隔会議システムにおける音声データの送受信システム及び制御方法
JP2002290940A (ja) テレビ会議システム
JPH11163934A (ja) 伝送システム及び伝送装置及び受信装置及び実時間動画像及び音声送信システム及び装置及びその制御方法及び記憶媒体
JPS6354859A (ja) 電子会議システムのデ−タ伝送方式
JP2002044144A (ja) 連続ａ／ｖデータの転送システム及び転送方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050311

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080318

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090318

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100318

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100318

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110318

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120318

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130318

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140318

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees