JP6547349B2 - データ伝送システム、端末装置、プログラムおよび方法 - Google Patents

データ伝送システム、端末装置、プログラムおよび方法 Download PDF

Info

Publication number
JP6547349B2
JP6547349B2 JP2015054646A JP2015054646A JP6547349B2 JP 6547349 B2 JP6547349 B2 JP 6547349B2 JP 2015054646 A JP2015054646 A JP 2015054646A JP 2015054646 A JP2015054646 A JP 2015054646A JP 6547349 B2 JP6547349 B2 JP 6547349B2
Authority
JP
Japan
Prior art keywords
code amount
change request
amount change
content data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015054646A
Other languages
English (en)
Other versions
JP2016174342A (ja
Inventor
健一郎 森田
健一郎 森田
拓也 今井
拓也 今井
翔 永峯
翔 永峯
英樹 城
英樹 城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015054646A priority Critical patent/JP6547349B2/ja
Priority to US15/040,485 priority patent/US10079867B2/en
Priority to EP16158621.9A priority patent/EP3070935B1/en
Publication of JP2016174342A publication Critical patent/JP2016174342A/ja
Application granted granted Critical
Publication of JP6547349B2 publication Critical patent/JP6547349B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038Arrangements for multi-party communication, e.g. for conferences with floor control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567Multimedia conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/562Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities where the conference facilities are distributed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Description

本発明は、データ伝送システム、端末装置、プログラムおよび方法に関する。
従来、通信ネットワークを介して接続された複数の拠点間で映像や音声を共有するためのシステムの一例として遠隔会議システムが提供されているが、従来のシステムには、通信ネットワークの通信状態の悪化によってデータの出力遅延が頻繁に発生するという問題があった。データの出力遅延が頻繁に発生すると、音声や画像が途切れ途切れになってしまい、会議の参加者は必要な情報を正しく取得することが難しくなる。
この点につき、特許第5000141号公報(特許文献1)は、受信端末におけるパケットの遅延発生を送信端末に通知し、送信端末において音声データ以外の送信パケットのデータ量を減少させることで音声の途切れを防止する方法を開示する。
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、優先度の高い情報の出力状態を良好に維持することを可能にする新規なデータ伝送システムを提供することを目的とする。
本発明者は、優先度の高い情報の出力状態を良好に維持することを可能にするデータ伝送システムの構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。
すなわち、本発明によれば、通信ネットワークに接続された複数の端末装置が各端末装置間でデータを送受信するデータ伝送システムであって、各前記端末装置は、所定のコンテンツデータに対応する出力信号の出力時間間隔に基づいて、該コンテンツデータの符号量を変更する要求であって、符号量の削減量を決定するための削減係数を指定した符号量変更要求を生成し、該符号量変更要求を該コンテンツデータの送信元を宛先に指定して送信する符号量変更要求部と、他の前記端末装置を送信元とする前記符号量変更要求に応答して対応するコンテンツデータの符号量を削減する符号量変更部と、を含むデータ伝送システムが提供される。
上述したように、本発明によれば、優先度の高い情報の出力状態を良好に維持することを可能にする新規なデータ伝送システムが提供される。
本実施形態の遠隔会議システムの通信ネットワーク構成図。 本実施形態の遠隔会議システムにおけるデータ伝送の態様を概念的に示した図。 本実施形態の端末装置のハードウェア構成図。 本実施形態の情報処理装置(中継装置、伝送管理装置)のハードウェア構成図。 本実施形態の伝送管理装置の機能ブロック図。 本実施形態における端末認証管理テーブルを示す図。 本実施形態における端末管理テーブルを示す図。 本実施形態における宛先リスト管理テーブルを示す図。 本実施形態で実施される相互認証処理を示すシーケンス図。 本実施形態における宛先リストを示す図。 本実施形態の端末装置および中継装置の機能ブロック図。 本実施形態の遠隔会議システムにおいて実施される処理を示すシーケンス図。 本実施形態における符号量変更要求履歴管理テーブルを示す図。 本実施形態における出力状態管理テーブルを示す図。 本実施形態における符号量変更要求部が実行する処理を示すフローチャート。 本実施形態における符号量変更要求部が実行する処理を示すフローチャート。 本実施形態の遠隔会議システムにおいて実施される処理を示すシーケンス図。 本実施形態の遠隔会議システムにおいて実施される処理を示すシーケンス図。
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
以下においては、本発明のデータ伝送システムを、その好適な適用例である“遠隔会議システム”に基づいて説明する。
図1は、本発明の実施形態である遠隔会議システム1の通信ネットワーク構成を示す。図1に示すように、本実施形態の遠隔会議システム1は、複数の端末装置10(10a,10b,10c…)と、少なくとも1つの中継装置30と、伝送管理装置50とを含んで構成されており、各装置は、インターネット、LANなどとして参照されるネットワーク80上に配置され、相互通信可能に接続されている。
各端末装置10は、設置された拠点の映像や音声を取得して他の拠点の端末装置10に送信し、また、他の拠点に設置された端末装置10から映像や音声を受け取って出力する情報処理装置である。また、中継装置30は、複数の端末装置10の間に介在してコンテンツデータの中継を行う情報処理装置である。一方、伝送管理装置50は、システムの運行に必要な処理(端末装置のログイン認証や通信ネットワークの通信状態の監視など)を実施するとともに、各種の管理情報を一元的に管理する情報処理装置である。
図2は、本実施形態の遠隔会議システム1におけるデータ伝送の態様を概念的に示した図である。本実施形態においては、各端末装置10と伝送管理装置50の間には各種管理情報を送受信するために固有の管理情報用セッションSが確立され、各端末装置10と伝送管理装置50は、当該セッションSを使用して各種管理情報を送受信する。また、本実施形態においては、各端末装置10と中継装置30の間にコンテンツデータを送受信するためのデータ用セッションSが確立され、各端末装置10と伝送管理装置50は、当該セッションSを使用してコンテンツデータを送受信する。
各端末装置10は、複数のコンテンツデータを同時に伝送することができ、各データを個別に確立した固有のセッションSで伝送するように構成されている。ここでいうコンテンツデータとしては、例えば、画像データ(動画・静止画)や音声データを挙げることができ、テキストデータを含んでいてもよい。
以上、本実施形態の遠隔会議システム1のシステム構成について概説したが、続いて、遠隔会議システム1を構成する各装置について説明する。
最初に、本実施形態の端末装置10のハードウェア構成について説明する。図3は、本実施形態の端末装置10のハードウェア構成図である。図3に示すように、端末装置10は、装置全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、端末用プログラム、画像データおよび音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し/書き込みを制御するSSD105、フラッシュメモリ等の記録メディア106に対するデータの読み出し/書き込みを制御するメディアドライブ107、端末装置10の宛先を選択する場合などに操作される操作ボタン108、端末装置10の電源のON/OFFを切り換えるための電源スイッチ109、通信ネットワークを利用してデータ伝送をするための通信ネットワークI/F111、および各構成要素を接続するアドレスバスやデータバス等のバスライン110を備えている。
また、端末装置10は、会議の様子を撮像して画像データを取得するための画像入力装置として、レンズ光学系および固体撮像素子(CMOSやCCD等)を含む内蔵型のカメラ112を備えており、撮像素子I/F113がカメラ112の駆動を制御する。
また、端末装置10には、画像出力装置として、外付けのディスプレイ120が接続されており、ディスプレイ120は、ディスプレイI/F118が出力する画像信号(VGA信号、HDMI(登録商標)信号、DVI信号など)に基づいて、他の拠点の会議の様子や操作入力画面などを表示する。なお、ディスプレイは内蔵されていてもよい。
さらに、端末装置10は、音声入力装置として、内蔵型のマイク114を備えており、音声入力I/F116がマイク114からの音声信号の入力を制御する。また、端末装置10は、音声出力装置として、内蔵型のスピーカー115を備えており、スピーカー115は、音声出力I/F117が出力する音声信号に基づいて、他の拠点の会議の音声などを出力する。
各種の外部機器を接続するための外部機器接続I/F119には、USBケーブル等によって、外付けカメラ、外付けマイク、および外付けスピーカー等の外部機器が接続可能に構成されており、本実施形態においては、外付けカメラが接続された場合には、内蔵型のカメラ112に優先して外付けカメラが駆動し、外付けマイクや外付けスピーカーが接続された場合には、内蔵型のマイク114や内蔵型のスピーカー115に優先して、外付けマイクや外付けスピーカーが駆動するように構成することができる。もしくは、カメラ、スピーカーおよびマイクの全てを外付けのみにしてもよい。
以上、本実施形態の端末装置10のハードウェア構成について説明したが、続いて、本実施形態における中継装置30および伝送管理装置50のハードウェア構成について説明する。なお、中継装置30および伝送管理装置50は、いずれも、Webサーバとして参照される汎用の情報処理装置であるので、以下においては、これらのハードウェア構成をまとめて説明する。
図4は、本実施形態の情報処理装置(中継装置30、伝送管理装置50)のハードウェア構成図である。図4に示すように、本実施形態の情報処理装置30,50は、装置全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、各種データ(データ中継用プログラムや伝送管理用プログラム等)を記憶するHD204、CPU201の制御にしたがってHD204に対する各種データの読み出し/書き込みを制御するHDD205、フラッシュメモリ等の記録メディア206に対するデータの読み出し/書き込みを制御するメディアドライブ207、各種情報を表示するディスプレイ208、LANやインターネットなどの通信ネットワークを介してデータ伝送をするための通信ネットワークI/F209、入力装置としてのキーボード211およびマウス212、CD−ROM213に対する各種データの読み出し/書き込みを制御するCD−ROMドライブ214、および、上記各構成要素を接続するためのアドレスバスやデータバス等のバスライン210を備えている。
以上、本実施形態の端末装置10、中継装置30および伝送管理装置50のハードウェア構成について説明してきたが、続いて、伝送管理装置50の機能ブロックについて説明する。
図5は、本実施形態の伝送管理装置50の機能ブロックを示す。図5に示すように、本実施形態の伝送管理装置50は、送受信部51、端末認証部52、端末管理部53、抽出部54、端末状態確認部56、宛先リスト管理部57、記憶・読出処理部59および記憶装置58を含んで構成される。
送受信部51は、ネットワーク80を介して端末装置10および中継装置30と各種データの送受信を行う。端末認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている端末IDおよびパスワードを検索キーとし、記憶装置58に格納された端末認証管理テーブル500(図6参照)を検索し、端末認証管理テーブル500に同一の組の端末IDおよびパスワードが管理されているかを判断することによって端末認証を行う。
端末管理部53は、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理テーブル502(図7参照)に、この要求元端末の端末ID、要求元端末の稼動状態、伝送管理装置50でログイン要求情報が受信された受信日時、および要求元端末のIPアドレスを関連付けて記憶して管理する。また、端末管理部53は、利用者が端末装置10の電源スイッチ109(図3参照)をONの状態からOFFにすることで、端末装置10から送られてきた、電源をOFFする旨の稼動状態情報に基づいて、端末管理テーブル502のオンラインを示す稼動状態をオフラインに変更する。
抽出部54は、ログイン要求した要求元端末の端末IDをキーとして、図8に示す宛先リスト管理テーブル504を検索し、要求元端末と通話することができる宛先端末の候補の端末IDを読み出すことで端末IDを抽出する。ここで宛先リスト管理テーブル504は、遠隔会議システム1にアカウントを有する各端末装置10間で事前に実施される相互認証処理に基づいて生成されるテーブルであり、送信元の端末装置10の端末IDと当該送信元の端末装置10が承認を受けた宛先の端末装置10の端末IDを対応付けて管理する。
また、抽出部54は、ログイン要求してきた要求元端末の端末IDをキーとして、宛先リスト管理テーブル504を検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。また、抽出部54は、この抽出部54によって抽出された宛先端末の候補の端末IDを検索キーとして、端末管理テーブル502を検索し、上記抽出部54によって抽出された端末ID毎に稼動状態を読み出す。これにより、抽出部54は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、抽出部54は、この抽出部54によって抽出された端末IDを検索キーとして、端末管理テーブル502を検索し、ログイン要求してきた要求元端末の稼動状態も抽出する。
端末状態確認部56は、端末ID又は宛先名を検索キーとして端末管理テーブル502を検索することにより、対応する稼動状態を確認する。
宛先リスト管理部57は、宛先リスト管理テーブル504の各要求元端末の端末ID毎に、宛先端末の端末IDを追加又は削除する。
記憶・読出処理部59は、記憶装置58に各種データを記憶し、記憶装置58に記憶された各種データを読み出す処理を行う。
以上、伝送管理装置50の機能ブロックについて説明してきたが、続いて、端末装置10が遠隔会議システム1にログインして会議に参加する際に実行される処理を図9に示すシーケンス図に基づいて説明する。
まず、利用者が電源スイッチ109(図3参照)をONにする(ステップS1)。これに応答して、端末装置10は、伝送管理装置50に対して、端末IDとパスワードを含むログイン要求を発行する(ステップS2)。
伝送管理装置50の端末認証部52は、送受信部51を介して受信したログイン要求に含まれている端末IDおよびパスワードを検索キーとして、記憶装置58の端末認証管理テーブル500(図6参照)を検索し、端末認証管理テーブル500に同一の端末IDおよび同一のパスワードが管理されているかを判断することによって端末認証を行う(ステップS3)。認証に成功した場合、端末管理部53は、端末管理テーブル502(図8参照)に、ログイン要求元の端末装置10の端末IDおよび宛先名で示されるレコード毎に、稼動状態、上記ログイン要求が受信された受信日時、および端末装置10のIPアドレスを関連付けて記憶する(ステップS4)。その後、端末認証部52は、送受信部51を介して認証結果(認証成功)をログイン要求元の端末装置10に送信する(ステップS5)。
端末装置10は、認証結果(認証成功)を受信すると、伝送管理装置50に対して宛先リスト要求を発行する(ステップS6)。これを受けて、伝送管理装置50の抽出部54は、宛先リスト要求元の端末装置10の端末IDを検索キーとして、宛先リスト管理テーブル504(図8参照)を検索し、宛先リスト要求元の端末装置10と通話することができる宛先端末の候補の端末IDを抽出すると共に、この端末IDに対応する宛先名を端末管理テーブル502(図7参照)から読み出す(ステップS7)。
次に、伝送管理装置50の記憶・読出処理部59は、記憶装置58から宛先リスト枠のデータを読み出す(ステップS8)と共に、この宛先リスト枠並びに抽出部54が抽出した端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、端末ID、宛先名)」を、宛先リスト要求元の端末装置10に送信する(ステップS9)。これを受けて、要求元の端末装置10は、受信した宛先リスト情報を管理情報記憶部に記憶する(ステップS10)。
さらに、伝送管理装置50の抽出部54は、先に抽出した宛先端末の候補の端末IDを検索キーとして、端末管理テーブル502(図7参照)を検索し、宛先端末の候補の端末ID毎に、対応する稼動状態を読み出す(ステップS11)。
次に、伝送管理装置50の送受信部51は、上記S7で検索キーに使用した端末IDと、対応する宛先端末の稼動状態を含む「端末の稼動状態情報」を要求元の端末装置10に送信する(ステップS12)。
これを受けて、要求元の端末装置10は、受信した「端末の稼動状態情報」を管理情報記憶部に記憶する(ステップS13)。このようにして、要求元の端末装置10は、通話することができる宛先端末の候補の現時点における稼動状態を取得することができる。
次に、要求元の端末装置10は、管理情報記憶部に記憶されている宛先リスト情報および端末の稼働状態情報に基づいて、宛先候補としての端末装置10の状態を反映させた宛先リストを作成・表示する。図10は、端末装置10に接続されたディスプレイ120に表示された宛先リストを例示的に示す。
以上、端末装置10が遠隔会議システム1にログインする際に実行される処理について説明してきたが、本実施形態では、利用者が表示された宛先リスト(図10参照)から所望の端末装置10を選択したこと応答して、その選択先との間でコンテンツデータの送受信がスタンバイされるように構成されている。利用者が選択した端末装置10が既に他の端末装置10と会議中であった場合には、当該利用者(の端末装置10)は、その会議に参加している全ての端末装置10との間でコンテンツデータの送受信がスタンバイされる。
以上、端末装置10が遠隔会議システム1にログインして会議に参加する際に実行される処理について説明してきたが、続いて、本実施形態の端末装置10および中継装置30機能ブロックについて説明する。
図11は、本実施形態の端末装置10および中継装置30の機能ブロックを示す。図11に示すように、本実施形態の端末装置10は、符号量変更要求部12、符号量変更部13、最終出力時刻更新部14、および送受信部15を含んで構成されている。
符号量変更要求部12は、利用者が選択した所定のコンテンツデータに係る出力遅延を検知したことに応答して、当該コンテンツデータの符号量の削減を要求する旨(以下、符号量変更要求という)を当該コンテンツデータの送信元宛に送信するための機能部である。また、符号量変更部13は、他の端末装置10を送信元とする符号量変更要求に応答して、送信データの符号量を削減する処理を実行するための機能部である。
最終出力時刻更新部14は、利用者が選択した所定のコンテンツデータに係る最終出力時刻(後述する)を更新するため機能部である。また、送受信部15は、中継装置30を介して他の端末装置10との間で各種データを送受信するための機能部である。
一方、本実施形態の中継装置30は、中継制御部32と符号量変更要求履歴管理部34を含んで構成されている。
中継制御部32は、端末装置10から受信した各種データを指定された宛先に転送するための機能部である。また、符号量変更要求履歴管理部34は、各端末装置10から受信した符号量変更要求の履歴を管理するための機能部である。
以上、端末装置10および中継装置30の機能ブロックについて概説したが、続いて、図11に示した各機能部が実行する具体的な処理の内容を図12に示すシーケンス図に基づいて説明する。なお、以下の説明においては、適宜、図11を参照するものとする。
利用者は、端末装置10aのディスプレイ120に表示された宛先リスト(図10参照)から所望の宛先を選択することによって会議に参加する。このとき、端末装置10aは、送信を希望するコンテンツデータの登録・解除を受け付けるための入力画面をディスプレイ120に表示する。
利用者が入力画面を介して送信を希望するコンテンツデータを選択すると、端末装置10aは、選択されたコンテンツデータの登録要求を中継装置30に送信する(S1)。
これを受けて中継装置30は、端末装置10aから登録を要求された各コンテンツデータに対して、端末装置10が現在参加する会議内でユニークなデータIDを付与するとともに、当該会議に参加する全ての端末装置10(端末装置10aを含む)が登録したコンテンツデータのデータ名とデータIDの一覧であるコンテンツデータ登録情報を生成し(S2)、これを端末装置10aに送信する(S3)。
併せて、中継装置30は、図13(a)に示す符号量変更要求履歴管理テーブル600を生成(既に生成済みの場合は内容を更新)する(S4)。図13(a)に示すように、符号量変更要求履歴管理テーブル600は、中継装置30が中継するコンテンツデータに関して、セッションIDを格納するためのフィールド601、データIDを格納するためのフィールド602、および、そのコンテンツデータの符号量変更要求の内容を格納するためのフィールド603を備えている。
一方、端末装置10aの符号量変更要求部12は、中継装置30からコンテンツデータ登録情報を受領したことに応答して、図14(a)に示す出力状態管理テーブル700を生成する(S5)。図14(a)に示すように、出力状態管理テーブル700は、他の端末装置10(10b、10c、10d…)から受信するコンテンツデータに関して、優先度を格納するためのフィールド701、データIDを格納するためのフィールド702、最終出力時刻(後述する)を格納するためのフィールド703、および、符号量変更要求に係る状態を格納するためのフィールド704を備えている。
続いて、端末装置10aは、中継装置30から受信したコンテンツデータ登録情報に基づいて、端末装置10aがその会議において受信する予定のコンテンツデータの一覧を含む設定画面をディスプレイ120に表示する(S6)。利用者は、当該設定画面を介して、利用者が遅延なく出力したいと考える少なくとも1つのコンテンツデータを選択するとともに、選択したコンテンツデータの優先度を設定する。具体的には、会議において参加者の発言内容を最重要視する場合に、音声データの優先度を高く設定するといったケースが考えられる。
端末装置10aが利用者の選択入力を受けたことに応答して、符号量変更要求部12は、出力状態管理テーブル700のフィールド702に対して、選択されたコンテンツデータのデータIDをセットする(S7)。図14(b)は、データIDがセットされた出力状態管理テーブル700を示す。
上述した手順が済んだ時点で、端末装置10aは、他の端末装置10(10b、10c、10d…)を宛先に指定した自身のコンテンツデータを中継装置30に対して送信するとともに、自身が宛先として指定された他の端末装置10(10b、10c、10d…)のコンテンツデータを中継装置30から受信する。このとき、中継装置30を介して送受信されるコンテンツデータのパケットにはデータIDが格納される。
このようにして会議が進行する中で、他の端末装置10(10b、10c、10d…)がコンテンツデータを発送してから端末装置10aが当該データに対応する出力信号を自身の出力装置に出力するまでの時間が許容範囲を超えて長くなると、端末装置10aの利用者は、画像や音声の遅延を感知するようになり、その内容を正しく理解することが難しくなる。
この点につき、本実施形態では、利用者が事前に選択したコンテンツデータ(画像や音声)の出力遅延が利用者に感知されるレベルに達する前にその出力遅延を解消するための手当を施す。
この点につき、まず最初に、端末装置10aの最終出力時刻更新部14が実行する処理について説明する。コンテンツデータの出力遅延の原因は、専ら、通信ネットワークの通信状態に起因する“伝送遅延”と、データを受信してから出力信号を生成するまでの処理時間に起因する“内部処理遅延”に求められるが、その原因の如何にかかわらず、出力遅延の兆候は、出力信号を出力する時間間隔の増大化として現れる。この点に関して、最終出力時刻更新部14は、受信したコンテンツデータの最終出力時刻を出力状態管理テーブル700のフィールド703に格納し、新たな出力信号が出力される度にその値を更新するように構成されている。
ここで、最終出力時刻とは、映像データの場合は、デコーダにより復号化されレンダリング可能な状態になった映像フレームを画面にレンダリングする処理を指示した時刻を意味し、音声データの場合は、デコーダにより復号化され出力可能な状態になった音声フレームをスピーカーデバイスに出力するように指示した時刻を意味する。この他にも本発明の主旨を逸脱しない範囲で他の適切なタイミングを最終出力時刻としてもよいが、極力利用者への提示に近い処理を正常に実行したタイミングを最終出力時刻とすることが望ましい。
具体的には、最終出力時刻更新部14は、音声出力I/F117(図3参照)が、他の端末装置10を送信元とする音声データに基づいて生成した音声信号をスピーカー115(図3参照)に出力した最終出力時刻を、当該音声データに対応するフィールド703に格納し、新たに音声信号が出力される度にその値を更新する。また、最終出力時刻更新部14は、ディスプレイI/F118が、他の端末装置10を送信元とする画像データに基づいて生成した画像信号をディスプレイ120(図3参照)に出力した最終出力時刻を、当該画像データに対応するフィールド703に格納し、新たに出力信号が出力される度にその値を更新する。
図14(c)は、端末装置10aがコンテンツデータの受信を開始した後の出力状態管理テーブル700を示す。端末装置10aがデータの受信を開始すると、図14(c)に示すように、各データのデータIDに対応するフィールド703に最新の最終出力時刻がセットされる。
再び、図12に戻って説明を続ける。符号量変更要求部12は、最終出力時刻更新部14によって更新される最終出力時刻を常時監視し、出力遅延の程度に応じた符号量変更要求を生成する(S8)。
本実施形態において、符号量変更要求部12は、自身の端末IDと、対象となるコンテンツデータのデータIDと、出力遅延要因と、削減係数とを指定した符号量変更要求を生成する。
ここで、「出力遅延要因」とは、“伝送遅延”および“内部処理遅延”を意味する。符号量変更要求部12は、符号量変更要求の生成時に、通信速度計測部17が計測するネットワーク通信速度が所定の閾値を超えているか否かを判定し、計測値が所定の閾値を下回っている場合には、出力遅延要因として、“伝送遅延”を指定して符号量変更要求を生成する。併せて、符号量変更要求部12は、符号量変更要求を生成時に、CPU使用率計測部18が計測するCPU使用率が所定の閾値を超えているか否かを判定し、計測値が所定の閾値を超えている場合には、出力遅延要因として“内部処理遅延”を指定して符号量変更要求を生成する。なお、以下においては、符号量変更要求に指定する“伝送遅延”および“内部処理遅延”の値を、それぞれ、“Network”および“CPU”として参照する。
一方、「削減係数」とは、符号量の削減量を決定するパラメータであり、1.0を上限とする正の実数である。符号量変更要求部12は、符号量変更要求の生成時に、最適な削減係数を算出し、算出した削減係数を指定して符号量変更要求を生成する。なお、削減係数の算出方法の詳細については後述する。
その後、符号量変更要求部12は、生成した符号量変更要求をコンテンツデータの送信元である他の端末装置10を宛先に指定して中継装置30に送信し(S9)、これに伴って出力状態管理テーブル700を更新する(S10)。一方、中継装置30が端末装置10aから符号量変更要求を受信したことを受けて、符号量変更要求履歴管理部34は、符号量変更要求履歴管理テーブル600を更新する(S11)。
ここで、例えば、端末装置10aの符号量変更要求部12が、データID“dat003”、端末ID“aaa”、出力遅延要因“Network”、削減係数“0.9”を含む符号量変更要求を中継装置30に送信したとする。この場合、端末装置10aの符号量変更要求部12は、出力状態管理テーブル700を、図14(d)に示すように更新する。この場合、データID“dat003”のフィールド704にステート値として“要求中”が格納されるとともに、送信した符号量変更要求に指定した出力遅延要因“Network”と削減係数“0.9”が格納される。
一方、中継装置30の符号量変更要求履歴管理部34は、符号量変更要求履歴管理テーブル600を、図13(b)に示すように変更する。この場合、データID“dat003”のフィールド603に、受信した符号量変更要求に指定された値(データID“dat003”、端末ID“aaa”、出力遅延要因“Network”、削減係数“0.9”)が格納される。
一方、中継制御部32は、更新された符号量変更要求履歴管理テーブル600の内容に基づいて端末装置10aから受信した符号量変更要求をデータID“dat003”に係るコンテンツデータの送信元である他の端末装置10に転送する(S12)。なお、中継制御部32が実行する処理の詳細については後述する。
中継装置30から符号量変更要求を受信した他の端末装置10の符号量変更部13は、当該符号量変更要求に指定された値に基づいて、対象となるコンテンツデータの符号量を変更する処理を実行する(S13)。なお、符号量変更部13が実行する処理の詳細については後述する。
以上、図11に示した各機能部が協働して実行する処理の内容を図12に示すシーケンス図に基づいて説明してきたが、続いて、符号量変更要求部12が実行する処理の詳細な内容を説明する。
符号量変更要求部12が実行する処理は、2つのメインルーチンと各メインルーチンから呼び出されるサブルーチンで構成される。
まず、符号量変更要求部12が実行するサブルーチンを図15に示すフローチャートに基づいて説明する。なお、図15に示すサブルーチンは、2つのメインルーチンから呼び出される際に実行モード(定期実行モードまたは受信時実行モード)を指定されるものとする。
ステップ101では、対象となるコンテンツデータ(以下、データAという)に関して、最終出力時刻から現在時刻までの経過時間Tを算出する。
ステップ102では、下記式(1)により最新の削減係数Rnewを算出する。
上記式(1)において、Tは、S101で算出した経過時間を示し、Rは、対象となるコンテンツデータに係る直近の符号量変更要求において指定した削減係数(現在値)を示し、Tは標準出力時間間隔を示す。
ここで、標準出力時間間隔Tは、データの種別毎に予め定められるパラメータであり、各データの正常時における理論的な出力時間間隔に所定のマージンを追加した値をTとして設定することができる。例えば、60fpsの映像データの理論的な出力時間間隔は、1/60秒=16.6msであるので、これに20%のマージンを追加した20msをTとして設定することができる。
なお、ステップ102においては、算出結果が1.0を超える場合はRnew=1.0とし、算出結果が所定の閾値Rthを下回る場合は、Rnew=Rthとする。ここでRthは、システムにおいて許容されるデータの限界削減率に照らして決定する。例えば、最高で1/10までの削減が許容される場合は、Rth=0.1とする。
ステップ103では、ステップ102で算出したRnewの値とRの値が異なり、かつ、RnewもしくはRの少なくとも一方の値が1.0ではない、という条件を満たすか否かを判定する。判定の結果、条件を満たさない場合は(S103、No)、そのまま処理を終了する。一方、条件を満たす場合は(S103、Yes)、処理はステップ104に進む。
ステップ104では、メインルーチンから指定された実行モードが「受信時実行モード」である、または、ステップ102で算出した(T/T)の値が1.0より小さい、という条件を満たすか否かを判定する。判定の結果、条件を満たさない場合は(S104、No)、そのまま処理を終了する。一方、条件を満たす場合は(S104、Yes)、処理はステップ105に進む。
メインルーチンから指定された実行モードが「定期実行モード」である場合、処理の実行タイミングによりTの値が小さくなる結果、Rnewの算出結果が1.0を超えることがあるが、これは出力状態の改善によるものではない。このような場合、ステップ104においてNo判定がなされ処理が終了する。一方、(T/T)の値が1.0以上になっている場合(すなわち、出力遅延が生じている場合)には、遅延状態から復旧するためにステップ105以降の処理を実行する。
ステップ105では、符号量変更要求部12は、自身の端末IDと、データAのデータIDと、出力遅延要因と、ステップ102で算出した最新の削減係数Rnewとを指定した符号量変更要求を生成して中継装置30に送信する。なお、(T/T)の値が1.0より小さい場合には、符号量変更要求に出力遅延要因を指定しない。
最後のステップ106では、出力状態管理テーブル700(図14参照)におけるデータAのフィールド704に格納されている現在の削減係数Rの値を最新の削減係数Rnewの値に更新し、処理を終了する。
続いて、符号量変更要求部12が実行する2つのメインルーチンを図16に基づいて説明する。
符号量変更要求部12は、端末装置10と中継装置30の間でセッションが確立している間、図16(a)に示すフローチャートの処理を定期的に実行する(定期実行モード)。符号量変更要求部12は、出力状態管理テーブル700(図14参照)において、所定の閾値以上の優先度に設定されている全てのコンテンツデータについて、所定の間隔で定期的に前述のサブルーチン(図15参照)を呼び出し、定期実行モードを指定して処理を実行する(S201)。なお、優先度の閾値は利用者が変更できるようにしてもよい。
一方、符号量変更要求部12は、コンテンツデータの出力期間において、図16(b)に示すフローチャートの処理を逐次的に実行する(受信時実行モード)。符号量変更要求部12は、出力状態管理テーブル700(図14参照)において、所定の閾値以上の優先度に設定されているコンテンツデータの出力に同期して前述のサブルーチン(図15参照)を呼び出し、受信時実行モードを指定して処理を実行する(S301)。具体的には、符号量変更要求部12は、映像データの場合、デコーダにより復号化されレンダリング可能な状態になったフレームをレンダリング処理したタイミングで処理を実行し、音声データの場合、デコーダにより復号化され出力可能な状態になったフレームをスピーカーデバイスに出力するように処理したタイミングで処理を実行する。
以上、符号量変更要求部12が実行する処理について説明してきたが、続いて、中継装置30の中継制御部32が実行する処理について説明する。なお、以下においては、コンテンツデータを単に「データ」という場合がある。また、コンテンツデータの送信元の端末装置10を「送信端末」といい、コンテンツデータを受信する端末装置10を「受信端末」という場合がある。
例えば、中継装置30が、受信端末10aから符号量変更要求(データID“dat003”、端末ID“aaa”、出力遅延要因“Network”、削減係数“0.9”)を受信した場合、中継装置30の符号量変更要求履歴管理部34は、符号量変更要求履歴管理テーブル600(図13参照)のデータID“dat003”のレコードのフィールド603に、受信した符号量変更要求の内容(aaa、Network、0.9)を格納する。
符号量変更要求履歴管理テーブル600が更新されたことを受けて、中継制御部32は、更新されたレコードのフィールド603に格納されている符号量変更要求の内容(aaa、Network、0.9)を読み出し、その内容に合った符号量変更要求を“dat003”に係るデータの送信端末に転送する。
ここで、図13(b)の符号量変更要求履歴管理テーブル600において☆で示すように、1つのデータに対して同時期に2以上の受信端末から符号量変更要求がなされる場合がある。さらに、このとき、それぞれの符号量変更要求に指定された内容(出力遅延要因、削減係数)が異なる場合がある。このような場合、中継制御部32は、以下の手順で符号量変更要求を生成する。
まず、1つのデータに対して“Network”を指定した符号量変更要求と“CPU”を指定した符号量変更要求が同時になされている場合、中継制御部32は、“CPU”を指定した符号量変更要求を優先的に選択する。これは、1つのデータに関して、伝送遅延を生じている受信端末と内部処理遅延を生じている受信端末が同時に存在する場合、内部処理遅延を生じている受信端末側の問題を解消することによって、伝送遅延を生じている他の受信端末の出力状態が改善する場合があることによる。
さらに、出力遅延要因を共通する複数の符号量変更要求が存在する場合には、以下の手順で符号量変更要求を生成する。
まず、複数の符号量変更要求において、それぞれに指定される削減係数が完全に一致する場合は、指定された削減係数を指定して符号量変更要求を生成する。一方、複数の符号量変更要求において、それぞれに指定される削減係数が異なる場合は、削減係数の代表値を決定し、決定した代表値を削減係数として指定して符号量変更要求を再生成する。本実施形態においては、2以上の削減係数の最大値を新たな削減係数として指定することができ、また、2以上の削減係数の平均値を新たな削減係数として指定することができる。前者の方法によれば、出力状態が最も深刻な端末装置10の状況が速やかに改善されることが期待できる。一方、後者の方法によれば、各受信端末における改善効果が平準化されるので、利用者に違和感を覚えさせることのない、緩慢な回復が期待できる。
以上、中継装置30の中継制御部32が実行する処理について説明してきたが、続いて、中継装置30から符号量変更要求を受信した受信端末の符号量変更部13が実行する処理について説明する。
中継装置30から符号量変更要求を受信した受信端末の符号量変更部13は、当該符号量変更要求が指定するデータIDに係るデータの符号量を、当該符号量変更要求が指定する出力遅延要因および削減係数に応じて変更する処理を実行する。
符号量変更要求が指定するデータが映像データである場合、符号量変更部13は、以下の処理を実行することができる。
例えば、符号量変更部13は、カメラデバイスがキャプチャする解像度を指定された削減係数に見合った解像度に変更する。具体的には、カメラデバイスの動作を一旦停止し、指定された削減係数Rから割り出される最も近い解像度を動作モードの中から選択してから再度デバイス動作を開始する。
例えば、符号量変更要求に削減係数として“0.25”が指定されている場合、現在動作している解像度から、幅、及び、高さが半分に近い解像度を新たに設定し(この場合、ピクセル数が1/4になる。)、カメラデバイスから取得された映像フレームデータをエンコーダに入力する前に逐次リサイズ(縮小)する。
例えば、符号量変更要求に削減係数として“0.1”が指定されている場合、現在のフレームサイズの幅、及び、高さに対して0.316(0.1のルート)を掛けたサイズを新たに設定する。
例えば、符号量変更要求に削減係数として“0.3”が指定されている場合、現在設定されているエンコーダの圧縮率を3/10に低減する。
一方、符号量変更要求が指定するデータが音声データである場合、符号量変更部13は、オリジナルの音声データのサンプリングレートを指定された削減係数に見合ったレートに下げることができる。例えば、符号量変更要求に削減係数として“0.5”が指定されている場合、現在設定されているサンプリングレートを1/2に低減する。
なお、符号量変更要求に出力遅延要因として“CPU”が指定されている場合、符号量変更部13は、デコードの際の計算負荷をより増大させる可能性があるエンコーダ設定の変更よりも、解像度を下げる処理を優先的に実行することが好ましい。
以上、端末装置10の符号量変更部13が実行する処理について説明してきたが、続いて、これまで説明した内容を図17および図18に示すシーケンス図に基づいて振り返る。
端末装置10aは、端末装置10bおよび端末装置10cを宛先に指定してコンテンツデータ(画像および音声)を中継装置30に送信する(S1)。中継装置30は、端末装置10aから受信したデータを端末装置10bおよび端末装置10cに転送する(S1、S2)。
これを受けて、端末装置10bは、端末装置10aが送信する映像データに係る符号量変更要求(データID“dat003”、端末ID“bbb”、出力遅延要因“Network”、削減係数“0.9”)を中継装置30に送信する(S4)。
これを受けて、中継装置30は、符号量変更要求生成処理を実施する(S5)。この場合、データID“dat003”のセッションにおいて要求されている符号量変更要求は1つなので、中継装置30は、符号量変更要求(dat003、bbb、Network、0.9)を端末装置10aに転送する(S6)。
中継装置30から符号量変更要求を受信した端末装置10aは、当該要求に指定された内容に基づいて、データID“dat003”に係る映像データのエンコーダの圧縮率を現在の設定値の9/10に低減する処理を実行する(S7)。これ以降、端末装置10aからは、以前の9/10の圧縮率で圧縮した映像データが中継装置30に送信され(S8)、中継装置30は、これを端末装置10b、10cに転送する(S9、S10)。
その後、端末装置10cが、端末装置10aが送信する同じ映像データに係る符号量変更要求(データID“dat003”、端末ID“ccc”出力遅延要因“CPU”、削減係数“0.7”)を中継装置30に送信する(S11)。
これを受けて、中継装置30は、符号量変更要求生成処理を実施する(S12)。この場合、符号量変更要求履歴管理テーブル600(図13参照)において、S4とS12で受信した2つの符号量変更要求が併存するので、中継装置30は、前述の通り、端末装置10cから受信した“CPU”を指定した符号量変更要求の方を優先的に選択して端末装置10aに転送する(S13)。
中継装置30から符号量変更要求(dat003、ccc、CPU、0.7)を受信した端末装置10aは、先に受信した要求と異なる内容の符号量変更要求を受信したことを検知して、エンコーダの圧縮率を通常の設定値に復旧すると共に、エンコーダに入力する映像解像度を縮小する処理を実施する(S14)。これ以降、端末装置10aからは、解像度を縮小した映像データが中継装置30に送信され(S15)、中継装置30は、これを端末装置10b、10cに転送する(S16、S17)。
図18に基づいて説明を続ける。
上述したように、端末装置10aが符号量変更処理が実行したことを受けて、端末装置10bにおいて映像データ“dat003”の出力状況が改善した結果、Rの値が1.0に復旧する。これを受けて、端末装置10bは、符号量変更要求(dat003、bbb、1.0)を中継装置30に送信する(S18)。
これを受けて、中継装置30は、符号量変更要求生成処理を実施する(S19)。この場合、中継装置30は、端末装置10bから受信したデータID“dat003”に係る符号量変更要求に指定された削減係数が“1.0”であることを受けて、端末装置10bの当該要求が解除されたと判断し、符号量変更要求履歴管理テーブル600(図13参照)において、これと併存するもう一方の符号量変更要求(dat003、ccc、CPU、0.7)を端末装置10aに転送する(S20)。
中継装置30から符号量変更要求(dat003、ccc、CPU、0.7)を受信した端末装置10aは、その内容が現在適用中の符号量変更要求と同一であることを検知し、これを受けて符号量変更を実行しない(S21)。その結果、端末装置10aから送信される映像データの品質がそのまま維持される(S22、S23、S24)。
その後、端末装置10cにおいて映像データ“dat003”の出力状況が改善た結果、Rの値が1.0に復旧する。これを受けて、端末装置10cは、符号量変更要求(dat003、ccc、1.0)を中継装置30に送信する(S25)。
これを受けて、中継装置30は、符号量変更要求生成処理を実施する(S26)。この場合、中継装置30は、端末装置10cから受信したデータID“dat003”に係る符号量変更要求に指定された削減係数が“1.0”であることを受けて、端末装置10cの当該要求が解除されたと判断する。このとき、符号量変更要求履歴管理テーブル600(図13参照)において、データID“dat003”に係る要求が他に存在しないので、中継装置30は、端末装置10cから受信した符号量変更要求(dat003、ccc、1.0)を端末装置10aに転送する(S27)。
中継装置30から符号量変更要求(dat003、ccc、1.0)を受信した端末装置10aは、データID“dat003”に係る映像データの解像度設定を復旧する処理を行う(S28)。これ以降、端末装置10aからは、通常の解像度の映像データが中継装置30に送信され(S29)、中継装置30は、これを端末装置10b、10cに転送する(S30、S31)。
以上、説明したように、本実施形態によれば、受信端末側が出力遅延の程度に応じた適切なデータ削減率を動的に計算し、送信端末側がそれに従ってコンテンツデータの符号量を削減するので、利用者が必要とする情報の出力状態を常に良好に維持することができる。
なお、上述した実施形態の各機能は、C、C++、C#、Java(登録商標)などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、CD−ROM、MO、DVD、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式で通信ネットワークを介して伝送することができる。
以上、本発明について、遠隔会議システムの実施形態に基づいて説明してきたが、本発明は上述した実施形態に限定されるものではなく、本発明は、通信ネットワークを介して端末装置間でコンテンツデータを相互に伝送することを内容とするデータ伝送システムであれば、その用途を問わず、どのようなシステムにも適用することができる。また、その場合、端末装置は、その用途に応じて、スマートフォン、汎用PC、タブレット型端末、携帯電話、電子黒板、プロジェクタ等の投影装置、自動車に搭載されるカーナビゲーション端末などで構成することができる。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1…遠隔会議システム
10…端末装置
12…符号量変更要求部
13…符号量変更部
14…最終出力時刻更新部
15…送受信部
17…通信速度計測部
18…CPU使用率計測部
30…中継装置
32…中継制御部
34…符号量変更要求履歴管理部
50…伝送管理装置
51…送受信部
52…端末認証部
53…端末管理部
54…抽出部
56…端末状態確認部
57…宛先リスト管理部
58…記憶装置
59…記憶・読出処理部
80…ネットワーク
101…CPU
102…ROM
103…RAM
104…フラッシュメモリ
105…SSD
106…記録メディア
107…メディアドライブ
108…操作ボタン
109…電源スイッチ
110…バスライン
112…カメラ
114…マイク
115…スピーカー
119…外部機器接続I/F
120…ディスプレイ
120c…ケーブル
201…CPU
202…ROM
203…RAM
205…HDD
206…記録メディア
207…メディアドライブ
208…ディスプレイ
210…バスライン
211…キーボード
212…マウス
213…CD−ROM
214…CD−ROMドライブ
500…端末認証管理テーブル
502…端末管理テーブル
504…宛先リスト管理テーブル
600…符号量変更要求履歴管理テーブル
601,602,603…フィールド
700…出力状態管理テーブル
701,702,703,704…フィールド
特許第5000141号公報

Claims (12)

  1. 通信ネットワークに接続された複数の端末装置と、該通信ネットワーク上に配置され各前記端末装置間で送受信されるデータを中継するための中継装置とを含むデータ伝送システムであって、
    各前記端末装置は、
    所定のコンテンツデータに対応する出力信号の出力時間間隔に基づいて、該コンテンツデータの符号量を変更する要求であって、符号量の削減量を決定するための削減係数を指定した符号量変更要求を生成し、該符号量変更要求を該コンテンツデータの送信元を宛先に指定して送信する符号量変更要求部と、
    他の前記端末装置を送信元とする前記符号量変更要求に応答して対応するコンテンツデータの符号量を削減する符号量変更部と、
    を含
    前記符号量変更要求部は、
    前記端末装置と前記中継装置の間でセッションが確立している間、前記符号量変更要求を定期的に前記中継装置に送信し、
    前記所定のコンテンツデータの出力期間においては、該コンテンツデータの出力に同期して前記符号量変更要求を逐次的に前記中継装置に送信する、
    データ伝送システム。
  2. 前記符号量変更要求部は、
    前記所定のコンテンツデータに対応する出力信号の出力時間間隔に対する該コンテンツデータの標準出力時間間隔の比に基づいて前記削減係数を算出する、請求項1に記載のデータ伝送システム。
  3. 前記中継装置は、
    各前記端末装置から送信された前記符号量変更要求の要求履歴をコンテンツデータ毎に保持する符号量変更要求履歴管理部を含む、
    請求項またはに記載のデータ伝送システム。
  4. 前記符号量変更部は、
    前記符号量変更要求に指定される前記削減係数に基づいて前記所定のコンテンツデータの符号量を削減する、
    請求項1〜のいずれか一項に記載のデータ伝送システム。
  5. 前記符号量変更要求部は、
    前記所定のコンテンツデータに対応する出力信号の出力時間間隔が所定の閾値を超えた時点のネットワーク通信速度とCPU使用率から出力遅延の要因を推定し、該コンテンツデータの前記符号量変更要求に推定した要因を指定し、
    前記符号量変更部は、
    前記符号量変更要求に含まれる前記要因に応じた方法でコンテンツデータの符号量を削減する、
    請求項1〜のいずれか一項に記載のデータ伝送システム。
  6. 通信ネットワークを介して他の端末装置との間でデータを送受信する端末装置あって、
    所定のコンテンツデータに対応する出力信号の出力時間間隔に基づいて、該コンテンツデータの符号量を変更する要求であって、符号量の削減量を決定するための削減係数を指定した符号量変更要求を生成し、該符号量変更要求を該コンテンツデータの送信元を宛先に指定して送信する符号量変更要求部と、
    他の前記端末装置を送信元とする前記符号量変更要求に応答して対応するコンテンツデータの符号量を削減する符号量変更部と、
    を含
    前記符号量変更要求部は、
    前記通信ネットワーク上に各前記端末装置間で送受信されるデータを中継するために配置される中継装置と前記端末装置との間でセッションが確立している間、前記符号量変更要求を定期的に前記中継装置に送信し、
    前記所定のコンテンツデータの出力期間においては、該コンテンツデータの出力に同期して前記符号量変更要求を逐次的に前記中継装置に送信する、
    端末装置。
  7. 通信ネットワークを介して他の端末装置との間でデータを送受信する端末装置を制御するためのコンピュータ実行可能なプログラムであって、
    コンピュータを、
    所定のコンテンツデータに対応する出力信号の出力時間間隔に基づいて、該コンテンツデータの符号量を変更する要求であって、符号量の削減量を決定するための削減係数を指定した符号量変更要求を生成し、該符号量変更要求を該コンテンツデータの送信元を宛先に指定して送信する符号量変更要求手段、
    他の前記端末装置を送信元とする前記符号量変更要求に応答して対応するコンテンツデータの符号量を削減する符号量変更手段であって、前記通信ネットワーク上に各前記端末装置間で送受信されるデータを中継するために配置される中継装置と前記端末装置との間でセッションが確立している間、前記符号量変更要求を定期的に前記中継装置に送信し、前記所定のコンテンツデータの出力期間においては、該コンテンツデータの出力に同期して前記符号量変更要求を逐次的に前記中継装置に送信する符号量変更要求手段
    として機能させるためのプログラム。
  8. 前記符号量変更要求手段は、
    前記所定のコンテンツデータに対応する出力信号の出力時間間隔に対する該コンテンツデータの標準出力時間間隔の比に基づいて前記削減係数を算出する、
    請求項に記載のプログラム。
  9. 前記符号量変更手段は、
    前記符号量変更要求に指定される前記削減係数に基づいて前記所定のコンテンツデータの符号量を削減する、
    請求項7または8に記載のプログラム。
  10. 前記符号量変更要求手段は、
    前記所定のコンテンツデータに対応する出力信号の出力時間間隔が所定の閾値を超えた時点のネットワーク通信速度とCPU使用率から出力遅延の要因を推定し、該コンテンツデータの前記符号量変更要求に推定した要因を指定し、
    前記符号量変更手段は、
    前記符号量変更要求に含まれる前記要因に応じた方法でコンテンツデータの符号量を削減する、
    請求項のいずれか一項に記載のプログラム。
  11. 第1の端末装置と第2の端末装置の間で通信ネットワークを介してデータを送受信する方法であって、
    第1の端末装置が所定のコンテンツデータに対応する出力信号の出力時間間隔に基づいて、該コンテンツデータの符号量を変更する要求であって、符号量の削減量を決定するための削減係数を指定した符号量変更要求を生成し、該符号量変更要求を該コンテンツデータの送信元である第2の端末装置に宛てて送信する第1のステップと、
    前記第2の端末装置が前記符号量変更要求に応答して対応するコンテンツデータの符号量を削減する第2のステップと、
    を含み、
    前記第1のステップは、
    前記通信ネットワーク上に各前記端末装置間で送受信されるデータを中継するために配置される中継装置と前記第1の端末装置との間でセッションが確立している間、前記符号量変更要求を定期的に前記中継装置に送信し、前記所定のコンテンツデータの出力期間においては、該コンテンツデータの出力に同期して前記符号量変更要求を逐次的に前記中継装置に送信するステップを含む、
    方法。
  12. 前記第1のステップは、
    前記所定のコンテンツデータに対応する出力信号の出力時間間隔に対する該コンテンツデータの標準出力時間間隔の比に基づいて前記削減係数を算出するステップを含む、
    請求項11に記載の方法。
JP2015054646A 2015-03-18 2015-03-18 データ伝送システム、端末装置、プログラムおよび方法 Active JP6547349B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015054646A JP6547349B2 (ja) 2015-03-18 2015-03-18 データ伝送システム、端末装置、プログラムおよび方法
US15/040,485 US10079867B2 (en) 2015-03-18 2016-02-10 Apparatus, system, and method of controlling output of content data, and recording medium
EP16158621.9A EP3070935B1 (en) 2015-03-18 2016-03-04 Apparatus, system, and method of controlling output of content data, and carrier means

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015054646A JP6547349B2 (ja) 2015-03-18 2015-03-18 データ伝送システム、端末装置、プログラムおよび方法

Publications (2)

Publication Number Publication Date
JP2016174342A JP2016174342A (ja) 2016-09-29
JP6547349B2 true JP6547349B2 (ja) 2019-07-24

Family

ID=55661113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015054646A Active JP6547349B2 (ja) 2015-03-18 2015-03-18 データ伝送システム、端末装置、プログラムおよび方法

Country Status (3)

Country Link
US (1) US10079867B2 (ja)
EP (1) EP3070935B1 (ja)
JP (1) JP6547349B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017092648A (ja) 2015-11-06 2017-05-25 株式会社リコー 管理システム、通信開始方法、及びプログラム
JP2017092647A (ja) 2015-11-06 2017-05-25 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及びプログラム
US10327121B2 (en) 2015-12-22 2019-06-18 Ricoh Company, Ltd. Instrument and system
EP3407586A4 (en) 2016-03-18 2019-03-06 Ricoh Company, Ltd. COMMUNICATION SYSTEM, INFORMATION PROCESSING DEVICE, COMMUNICATION DEVICE AND PROGRAM
JP6677061B2 (ja) 2016-04-22 2020-04-08 株式会社リコー 通信装置、通信システム、及びプログラム
JP6634965B2 (ja) 2016-06-20 2020-01-22 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
JP2018116411A (ja) * 2017-01-17 2018-07-26 株式会社リコー 表示制御システム、表示制御方法、表示装置、プログラムおよび情報処理装置
JP6801539B2 (ja) 2017-03-17 2020-12-16 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4559623B2 (ja) * 1998-06-04 2010-10-13 株式会社バンダイナムコゲームス セキュリティ装置、キー装置、プログラム・プロテクション・システムおよび方法
JP2000332829A (ja) * 1999-05-25 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 電話システムでの受信データ量制御方法、装置、及び、その方法を記録した記憶媒体
JP4099741B2 (ja) * 1999-06-18 2008-06-11 ソニー株式会社 データ通信装置および方法、並びに記録媒体
US20040022322A1 (en) 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects
JP4444709B2 (ja) * 2004-03-26 2010-03-31 富士通株式会社 動画像補正係数算出装置、動画像補正装置、動画像補正係数算出方法および動画像補正係数算出プログラム
US8842555B2 (en) 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
JP5000141B2 (ja) * 2006-01-26 2012-08-15 三菱電機株式会社 エレベータ遠隔監視システム
JP2009044651A (ja) * 2007-08-10 2009-02-26 Mitsubishi Electric Corp コンテンツ配信方法、コンテンツ配信システム、無線端末及びコンテンツ配信サーバ
JP2010258850A (ja) 2009-04-27 2010-11-11 Panasonic Corp 映像伝送システム及び映像伝送方法
JP5573167B2 (ja) * 2010-01-06 2014-08-20 日本電気株式会社 コンテンツ共有システム,コンテンツ共有方法及びプログラム
WO2015031780A1 (en) * 2013-08-29 2015-03-05 Vid Scale, Inc. User-adaptive video telephony
CA2941555A1 (en) 2014-03-05 2015-09-11 Ricoh Company, Limited Data transmission system, terminal device, program, and method

Also Published As

Publication number Publication date
EP3070935A1 (en) 2016-09-21
JP2016174342A (ja) 2016-09-29
EP3070935B1 (en) 2020-07-08
US20160277462A1 (en) 2016-09-22
US10079867B2 (en) 2018-09-18

Similar Documents

Publication Publication Date Title
JP6547349B2 (ja) データ伝送システム、端末装置、プログラムおよび方法
JP6269610B2 (ja) 情報処理装置、画像表示方法、通信システム、プログラム
US9722808B2 (en) Data transmission system, a terminal device, and a recording medium
JP6172610B2 (ja) テレビ会議用システム
JP6399204B2 (ja) 情報処理装置、画面切り替え方法、プログラム、伝送システム
JP6179179B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6269609B2 (ja) 情報処理装置、画像表示方法、通信システム、プログラム
JP2017228843A (ja) 通信端末、通信システム、通信制御方法、及びプログラム
JP6354834B2 (ja) データ伝送システム、端末装置、プログラムおよび方法
JP6661915B2 (ja) 通信管理システム、通信システム、中継装置制御方法、及びプログラム
US9277261B2 (en) Information processing apparatus and control method thereof
JP2017028660A (ja) 情報処理装置、画像表示方法、通信システム、プログラム
JP6524732B2 (ja) 通信装置、通信システム、通信装置の制御方法およびプログラム
JP2010087950A (ja) シンクライアントシステム、シンクライアント端末、シンクライアントサーバ、プログラム
JP2017092647A (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP6481937B2 (ja) テレビ会議用通信装置
JP6492460B2 (ja) 伝送端末、伝送方法、及びプログラム
JP5025813B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2016067003A (ja) 伝送端末、伝送システム、表示方法、及びプログラム
JP6439325B2 (ja) 利用管理システム、料金提供方法、及びプログラム
JP2020005107A (ja) 通信端末、データ送信方法、プログラム
JP2018007086A (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2008289094A (ja) ビデオ会議システム、ビデオ会議装置、コンテンツ送信プログラム及びコンテンツ受信プログラム
JP2017212610A (ja) 端末、通信システム、及びプログラム
JP2016071880A (ja) 伝送管理システム、伝送システム、伝送管理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190610

R151 Written notification of patent or utility model registration

Ref document number: 6547349

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151