JPWO2015129319A1 - 通信装置、通信システム、通信制御方法およびプログラム - Google Patents

通信装置、通信システム、通信制御方法およびプログラム Download PDF

Info

Publication number
JPWO2015129319A1
JPWO2015129319A1 JP2016505092A JP2016505092A JPWO2015129319A1 JP WO2015129319 A1 JPWO2015129319 A1 JP WO2015129319A1 JP 2016505092 A JP2016505092 A JP 2016505092A JP 2016505092 A JP2016505092 A JP 2016505092A JP WO2015129319 A1 JPWO2015129319 A1 JP WO2015129319A1
Authority
JP
Japan
Prior art keywords
video
terminal
data
encoded data
site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016505092A
Other languages
English (en)
Other versions
JP6432595B2 (ja
Inventor
翔 永峯
翔 永峯
拓也 今井
拓也 今井
健一郎 森田
健一郎 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPWO2015129319A1 publication Critical patent/JPWO2015129319A1/ja
Application granted granted Critical
Publication of JP6432595B2 publication Critical patent/JP6432595B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1836Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with heterogeneous network architecture
    • H04L12/184Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with heterogeneous network architecture with heterogeneous receivers, e.g. layered multicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1863Arrangements for providing special services to substations for broadcast or conference, e.g. multicast comprising mechanisms for improved reliability, e.g. status reports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567Multimedia conference systems

Abstract

端末10は、スケーラブルに符号化された符号化データを他の端末10との間で送受信し、他の端末10から受信した前記符号化データを復号して再生出力する。端末10は、再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の端末に通知する通知部26と、他の端末10から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の端末10に送信する前記符号化データの符号化の設定を制御する符号化設定制御部27と、を備える。

Description

本発明は、通信装置、通信システム、通信制御方法およびプログラムに関する。
通信ネットワークを利用して遠隔会議を実現するテレビ会議システムなどの通信システムにおいて、スケーラブルな符号化フォーマットで符号化した符号化データを、端末となる通信装置間で送受信する技術がある。例えば、特許文献1には、H.264/SVCフォーマットでスケーラブルに符号化した符号化データを送信する送信側端末と、この符号化データを受信して復号する受信側端末と、送信側端末と受信側端末とを繋ぐ会議ブリッジとを備えたテレビ会議システムが開示されている。この特許文献1に記載のテレビ会議システムでは、会議ブリッジが、送信側端末からの符号化データを中継して受信側端末に送信する際に、受信側端末のネットワーク状況などを判断する。そして、会議ブリッジは、送信側端末でスケーラブルに符号化されて送信された符号化データの中から、受信側端末の状況に適合した品質のビデオストリームの符号化データを選択して受信側端末に送信する。
しかし、従来の技術では、送信側でスケーラブルに符号化された符号化データに対して、受信側の状況を判断して実際に受信側に送信する符号化データを選択する権限は、特許文献1に記載の会議ブリッジなどの中継装置に存在していた。このため、送信側では、受信側の状況に関わらず、所定の設定でスケーラブルに符号化した符号化データのすべてを中継装置に送信しており、本来必要のない品質のデータも中継装置に送信することがある。その場合、送信側のネットワーク帯域幅を必要以上に使用してしまうことになる。
上述した課題を解決するために、本発明は、スケーラブルに符号化された符号化データを他の通信装置との間で送受信し、受信した前記符号化データを復号して再生出力する通信装置であって、再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の通信装置に通知する通知部と、他の通信装置から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の通信装置に送信する前記符号化データの符号化の設定を制御する符号化設定制御部と、を備える。
本発明によれば、受信側の状況に合わせて送信側のスケーラブルな符号化の設定を制御し、送信側のネットワーク帯域幅を必要以上に使用することを抑制できるという効果を奏する。
図1は、実施形態のテレビ会議システムの概略構成図である。 図2は、実施形態のテレビ会議システムにおける通信の概要を示す概念図である。 図3は、映像データの符号化の方式を説明する概念図である。 図4は、中継サーバが映像データおよび音声データを中継する様子を模式的に示す概念図である。 図5は、端末のハードウェア構成の一例を示すブロック図である。 図6は、中継サーバのハードウェア構成の一例を示すブロック図である。 図7は、端末の機能的な構成の一例を示すブロック図である。 図8は、端末が備える品質制御モジュールの詳細を示すブロック図である。 図9は、通知部が生成する再生品質情報の具体例を示す概念図である。 図10は、複数の拠点の端末間における再生品質情報の通知の具体例を示す概念図である。 図11は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図12は、符号化設定制御部による処理手順の具体例を示すフローチャートである。 図13は、送信側の端末と受信側の端末との間で映像を送受信する処理の概要を示すシーケンス図である。 図14は、通知部が生成する再生品質情報の具体例を示す概念図である。 図15は、複数の拠点の端末間における再生品質情報の通知の具体例を示す概念図である。 図16は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図17は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図18は、符号化設定制御部による処理手順の具体例を示すフローチャートである。 図19は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図20は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図21は、符号化設定制御部による処理手順の具体例を示すフローチャートである。
以下に添付図面を参照して、この発明に係る通信装置、通信システム、通信制御方法およびプログラムの実施形態を詳細に説明する。以下では、本発明を適用した通信システムの一例として、複数のテレビ会議端末(「通信装置」に相当)間で映像データおよび音声データを送受信して複数拠点での遠隔会議を実現するテレビ会議システム(「ビデオ会議システム」ともいう。)を例示する。このテレビ会議システムでは、一のテレビ会議端末で撮像された映像データをスケーラブルに符号化して他のテレビ会議端末に送信し、他のテレビ会議端末にてこの符号化データを復号して再生出力する。ただし、本発明が適用可能な通信システムはこの例に限らない。本発明は、複数の通信装置の間でスケーラブルに符号化された符号化データを送受信する各種の通信システム、および、この通信システムで用いられる各種の通信端末に対して、広く適用可能である。
(第1の実施形態)
図1は、本実施形態のテレビ会議システム1の概略構成図であり、図2は、本実施形態のテレビ会議システム1における通信の概要を示す概念図である。また、図3は、本実施形態における映像データの符号化の方式を説明する概念図である。
本実施形態のテレビ会議システム1は、図1に示すように、各拠点に設置された複数のテレビ会議端末(以下、単に「端末」という。)10およびディスプレイ11と、複数の中継サーバ30と、管理サーバ40と、プログラム提供サーバ50と、メンテナンスサーバ60と、を備える。
ディスプレイ11は、有線または無線により端末10に接続されている。なお、ディスプレイ11は、端末10と一体化された構成であってもよい。
端末10および中継サーバ30は、例えば、LAN(Local Area Network)のノードとしてルータに接続される。ルータは、データ伝送の経路選択を行うネットワーク機器であり、図1に示す例では、LAN2a内のルータ70aと、LAN2b内のルータ70bと、LAN2c内のルータ70cと、LAN2d内のルータ70dと、ルータ70aおよびルータ70bと専用回線2eで接続されてインターネット2iに繋がるルータ70eと、ルータ70cおよびルータ70dと専用回線2fで接続されてインターネット2iに繋がるルータ70fとを例示している。
なお、LAN2aおよびLAN2bは地域X内の別の場所に構築され、LAN2cおよびLAN2dは地域Y内の別の場所に構築されていることを想定している。例えば、地域Xは日本、地域Yはアメリカ合衆国であり、LAN2aは東京の事業所内で構築され、LAN2bは大阪の事業所内で構築され、LAN2cはニューヨークの事業所内で構築され、LAN2dはワシントンD.C.の事業所内で構築されている。本実施形態では、LAN2a、LAN2b、専用回線2e、インターネット2i、専用回線2f、LAN2c、およびLAN2dによって、通信ネットワーク2が構築されている。この通信ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)やBluetooth(登録商標)などの無線による通信が行われる箇所が含まれていてもよい。
本実施形態のテレビ会議システム1では、複数の端末10間で中継サーバ30を介した映像データおよび音声データの送受信を行う。この際、図2に示すように、複数の端末10間には、管理サーバ40を介して、各種の管理情報を送受信するための管理情報用セッションSeiが確立される。また、複数の端末10間には、中継サーバ30を介して、映像データおよび音声データの送受信を行うためのデータ用セッションSedが確立される。ここで、特に、データ用セッションSedで送受信される映像データは、スケーラブルに符号化された符号化データであり、例えば、高品質映像の符号化データ、中品質映像の符号化データ、低品質映像の符号化データが、それぞれ別々のチャンネルで送受信される。なお、複数の端末10間で管理情報用セッションSeiやデータ用セッションSedを確立する処理は、例えば特開2012−138893号公報に記載の技術を利用することができるため、ここでは詳細な説明を省略する。
映像データをスケーラブルに符号化する標準の符号化フォーマットとして、H.264/SVC(H.264/AVC Annex G)符号化フォーマットが知られている。H.264/SVC符号化フォーマットでは、映像データを階層構造のデータに変換し、品質が異なる複数の映像データの集合として符号化して、それぞれの品質の映像データに対応する符号化データを複数のチャンネルで送受信することができる。本実施形態では、このH.264/SVC符号化フォーマットを利用して映像データを符号化した符号化データを、複数の端末10間で送受信するものとする。
具体的には、例えば図3に示すように、映像データをベースレイヤと拡張レイヤ(下層/上層)を持つ階層構造のデータに変換する。そして、ベースレイヤのみの映像データを低品質の映像データとし、ベースレイヤと下層の拡張レイヤとからなる映像データを中品質の映像データとし、ベースレイヤと下層の拡張レイヤと上層の拡張レイヤとからなる映像データを高品質の映像データとする。そして、それぞれの品質の映像データを符号化して3つのチャンネルで伝送する。
映像データの品質としては、例えば、空間スケーラビリティである解像度と、時間スケーラビリティであるフレームレートがある。ここで解像度とは、映像の横方向および縦方向の画素数で表される画面解像度(画面モードともいう。)である。本実施形態では、映像データの品質としてこれら解像度とフレームレートの双方を扱う。中品質の映像データは、解像度とフレームレートの少なくとも一方が、低品質の映像データよりも高い。高品質の映像データは、解像度とフレームレートの少なくとも一方が、中品質の映像データよりも高い。なお、本実施形態では、映像データの品質を低・中・高の3段階に分けているが、2段階に分けるようにしてもよいし、4段階以上のさらに細かい品質に分けるようにしてもよい。また、本実施形態では、解像度とフレームレートとを含めた映像データの品質を扱うが、解像度とフレームレートとを独立して扱ってもよい。また、映像データの品質としては、解像度とフレームレートとの一方のみを扱うようにしてもよいし、解像度とフレームレート以外の品質に関わる他のパラメータ(例えばS/N比など)を加えるようにしてもよい。
中継サーバ30は、複数の端末10間における映像データおよび音声データの伝送を中継するコンピュータである。中継サーバ30が中継する映像データは、上述したように、例えば上述のH.264/SVC符号化フォーマットでスケーラブルに符号化された符号化データである。ここで、仮にこの中継サーバ30に従来技術を適用すると、中継サーバ30は、映像データの送信側の端末10から、スケーラブルに符号化されたすべての品質の符号化データを複数チャンネルで受信し、受信側の端末10のネットワーク状況や映像の表示解像度などに応じて、必要な品質に対応するチャンネルを選択してそのチャンネルの符号化データのみを受信側の端末10に送信することになる。しかし、このような従来技術では、送信側の端末10は受信側の端末10の状況に関わらず、スケーラブルに符号化されたすべての品質の符号化データを中継サーバ30に送信するため、送信側の端末10と中継サーバ30との間のネットワーク帯域幅を必要以上に使用してしまう。
そこで、本実施形態では、受信側の端末10で実際に再生出力している(つまり、ディスプレイ11に表示されている)映像の品質を送信側の端末10が把握できるようにし、送信側の端末10が、受信側の端末10で実際に再生出力している映像の品質に応じて、受信側の端末10に送信する符号化データの符号化の設定を制御する。これにより、受信側の端末10で必要とされる品質の符号化データのみを送信側の端末10から中継サーバ30を介して受信側の端末10に送信することが可能となり、送信側の端末10と中継サーバ30との間のネットワーク帯域幅を必要以上に使用してしまう不都合を有効に抑制することができる。
図4は、中継サーバ30が映像データおよび音声データを中継する様子を模式的に示す概念図であり、図4(a)は従来技術を適用した場合の例を示し、図4(b)は本実施形態の例を示している。図4(a),(b)の例では、拠点Aの端末10(図示は省略)から中継サーバ30を介して拠点Bの端末10(図示は省略)に映像データおよび音声データを送信しており、拠点Bでは低品質の映像を再生出力している(ディスプレイ11に表示されている)ものとする。
従来技術では、図4(a)に示すように、送信側となる拠点Aの端末10(図示は省略)から中継サーバ30に対して、高品質映像、中品質映像、および低品質映像の3つのチャンネルの映像および音声の符号化データが送信される。中継サーバ30は、受信側となる拠点Bの状況に応じて、高品質映像、中品質映像、および低品質映像の3つのチャンネルから低品質映像のチャンネルを選択し、この低品質映像のチャンネルと音声のチャンネルの符号化データを拠点Bの端末10(図示は省略)に送信する。このように、従来技術では、拠点Bで再生出力している映像が低品質であるにも関わらず、拠点Aから中継サーバ30に対しては高品質映像のデータおよび中品質映像のデータが送信されており、拠点Aと中継サーバ30との間のネットワークの帯域幅が必要以上に使用されている。
これに対し本実施形態では、図4(b)に示すように、受信側となる拠点Bの端末10(図示は省略)が、再生出力している拠点Aからの映像の品質を表す再生品質情報(ここでは低品質)を、送信側となる拠点Aの端末10に通知する。そして、送信側となる拠点Aの端末10(図示は省略)は、拠点Bの端末10から通知された再生品質情報に基づき、映像データをスケーラブルに符号化する際の符号化の設定を、高品質映像と中品質映像とが含まれないように変更する。その結果、拠点Aの端末10から中継サーバ30に対して、低品質映像のチャンネルと音声のチャンネルの符号化データのみが送信されることになり、拠点Aと中継サーバ30との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。
なお、拠点Bの端末10から拠点Aの端末10への再生品質情報の通知は、例えば、上述した管理情報セッションSeiを利用して行うことができる。また、拠点Bの端末10から拠点Aの端末10への再生品質情報の通知を、中継サーバ30を介して(データ用セッションSedとは別のセッションで)行うようにしてもよい。
以上のような本実施形態の特徴的な処理は、例えば、上述した再生品質情報を他の端末10に通知する機能や他の端末10から通知された再生品質情報に基づいて符号化の設定を制御する機能などの新たな機能を端末10に付加することによって実現することができる。なお、このような機能も含めた端末10の具体的な構成例については、詳細を後述する。
管理サーバ40は、本実施形態のテレビ会議システム1の全体を管理するコンピュータである。例えば、管理サーバ40は、登録された各端末10の状態管理、中継装置30の状態管理、端末10を使用するユーザのログイン管理、複数の端末10間で確立されたデータ用セッションSedの管理などを行う。
また、本実施形態では、上述したように、受信側の端末10でどのような品質の映像が再生出力されているかに応じて、必要以上の品質の映像データが送信されないように、送信側の端末10で映像データの符号化の設定を制御する。このため、受信側の端末10では、送信側の端末10で符号化された映像データの品質を超える品質で映像データを再生出力することができない。しかし、例えば受信側の端末10のネットワーク状況が改善された場合や、表示のレイアウト変更があった場合などには、現在再生出力している映像データよりも高い品質の映像データを再生出力することが望ましい場合もある。このような場合は、管理サーバ40が、上述した管理情報セッションSeiを利用して受信側の端末10から映像データの品質向上の要求を受け付け、その要求を送信側の端末10に通知し、送信側の端末10が受信側の端末10の要求に応じて、より高品位の映像データも符号化するように、符号化の設定を変更することが望ましい。
プログラム提供サーバ50は、各種のプログラムを端末10、中継サーバ30、管理サーバ40、メンテナンスサーバ60などに提供するコンピュータである。例えば、プログラム提供サーバ50は、端末10に各種機能を実現させるための端末用プログラムを格納しており、この端末用プログラムを端末10に送信することができる。また、プログラム提供サーバ50は、中継サーバ30に各種機能を実現させるための中継サーバ用プログラムを格納しており、この中継サーバ用プログラムを中継サーバ30に送信することができる。また、プログラム提供サーバ50は、管理サーバ40に各種機能を実現させるための管理サーバ用プログラムを格納しており、この管理サーバ用プログラムを管理サーバ40に送信することができる。また、プログラム提供サーバ50は、メンテナンスサーバ60に各種機能を実現させるためのメンテナンスサーバ用プログラムを格納しており、このメンテナンスサーバ用プログラムをメンテナンスサーバ60に送信することができる。
メンテナンスサーバ60は、端末10、中継サーバ30、管理サーバ40、およびプログラム提供サーバ50のうちの少なくとも1つの維持、管理、または保守を行うためのコンピュータである。例えば、メンテナンスサーバ60が国内に設置され、端末10、中継サーバ30、管理サーバ40、またはプログラム提供サーバ60が国外に設置されている場合、メンテナンスサーバ60は、通信ネットワーク2を介して遠隔的に、端末10、中継サーバ30、管理サーバ40、およびプログラム提供サーバ50のうちの少なくとも1つの維持、管理、保守等のメンテナンスを行う。
次に、本実施形態のテレビ会議システム1における端末10、中継サーバ30、管理サーバ40、プログラム提供サーバ50、およびメンテナンスサーバ60のハードウェア構成について説明する。図5は、端末10のハードウェア構成の一例を示し、図6は、中継サーバ30のハードウェア構成の一例を示している。なお、管理サーバ40、プログラム提供サーバ50、およびメンテナンスサーバ60は、中継サーバ30と同様のハードウェア構成を採用できるため、図示を省略する。
端末10は、図5に示すように、端末10全体の動作を制御するCPU(Central Processing Unit)101、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出しや書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出しや書き込み(記憶)を制御するメディアドライブ107、通信相手となる他の端末10を選択する場合などに操作される操作ボタン108、端末10の電源のオン/オフを切り換えるための電源スイッチ109、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、音声を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従ってディスプレイ11に表示映像のデータを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、端末10の各種機能の異常を知らせるアラームランプ119、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
なお、カメラ112、マイク114、スピーカ115は、必ずしも端末10に内蔵されている必要はなく、外付けされる構成であってもよい。また、ディスプレイ11は、端末10に内蔵された構成であってもよい。また、ディスプレイ11は、液晶パネル等の表示装置を想定するが、これに限らず、プロジェクタ等の投影装置であってもよい。図5に示す端末10のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。
上述したプログラム提供サーバ50から提供される端末用プログラムは、例えばフラッシュメモリ104に格納され、CPU101の制御によりRAM103上に読み出されて実行される。なお、端末用プログラムを格納するメモリは不揮発性メモリであればよく、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。また、端末用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディア106等の記録媒体に記録されて提供されるようにしてもよい。また、端末用プログラムは、ROM102等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
中継サーバ30は、図6に示すように、中継サーバ30全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、中継サーバ用プログラム等の各種データを記憶するHD(Hard Disk)204、CPU201の制御に従ってHD204に対する各種データの読み出しまたは書き込みを制御するHDD(HD Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出しや書き込み(記憶)を制御するメディアドライブ207、各種情報を表示するディスプレイ208、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、キーボード211、マウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対する各種データの読み出しまたは書き込みを制御するCD−ROMドライブ214、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
上述したプログラム提供サーバ50から提供される中継サーバ用プログラムは、例えばHD204に格納され、CPU201の制御によりRAM203上に読み出されて実行される。また、中継サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、中継サーバ用プログラムは、ROM202等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
管理サーバ40は、図6に示した中継サーバ30と同様のハードウェア構成を採用できる。ただし、HD204には、プログラム提供サーバ50から提供される管理サーバ用プログラムが記録されている。この場合も、管理サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、管理サーバ用プログラムは、ROM202等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
プログラム提供サーバ50は、図6に示した中継サーバ30と同様のハードウェア構成を採用できる。ただし、HD204には、プログラム提供サーバ50にプログラム提供機能を実現させるためのプログラムのほか、端末10に提供する端末用プログラム、中継サーバ30に提供する中継サーバ用プログラム、および管理サーバ40に提供する管理サーバ用プログラムが記録されている。
メンテナンスサーバ60は、図6に示した中継サーバ30と同様のハードウェア構成を採用できる。ただし、HD204には、プログラム提供サーバ50から提供されるメンテナンスサーバ用プログラムが記録されている。この場合も、メンテナンスサーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、メンテナンスサーバ用プログラムは、ROM202等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
なお、着脱可能な記録媒体の他の例としては、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体が挙げられる。上述した各種のプログラムは、これらの記録媒体に記録されて提供されるようにしてもよい。
次に、端末10の機能構成について説明する。図7は、端末10の機能的な構成の一例を示すブロック図であり、図8は、端末10が備える品質制御モジュール25の詳細を示すブロック図である。端末10は、図7に示すように、送受信部12、操作入力受付部13、撮像部14、音声入力部15、音声出力部16、符号化部17、復号化部18、表示映像生成部19、表示制御部20、記憶・読出処理部21、揮発性記憶部22、不揮発性記憶部23、および品質制御モジュール25を備える。
送受信部12は、通信ネットワーク2を介して、他の端末10、中継サーバ30、管理サーバ40等との間で各種データ(または情報)の送受信を行う。送受信部12は、例えば、図5に示したネットワークI/F111およびCPU101によって実現される。
操作入力受付部13は、端末10を使用するユーザによる各種の入力操作を受け付ける。操作入力受付部13は、例えば、図5に示した操作ボタン108、電源スイッチ109、およびCPU101によって実現される。
撮像部14は、端末10が設置されている拠点の映像を撮影して映像データを出力する。撮像部14は、例えば、図5に示したカメラ112、撮像素子I/F113、およびCPU101によって実現される。
音声入力部15は、端末10が設置されている拠点の音声を入力して音声データを出力する。音声入力部15は、例えば、図5に示したマイク114、音声入出力I/F116、およびCPU101によって実現される。
音声出力部16は、音声データを再生出力する。音声出力部16は、例えば、図5に示したスピーカ115、音声入出力I/F116、およびCPU101によって実現される。
符号化部17は、撮像部14から出力される映像データや、音声入力部15から出力される音声データを符号化して、符号化データを生成する。符号化部17は、特に映像データの符号化については、H.264/SVC符号化フォーマットに従って映像データをスケーラブルに符号化する。また、符号化部17は、映像データをスケーラブルに符号化する際の設定(例えば、符号化するデータのレイヤ構成の設定)を、後述の品質制御モジュール25からの設定信号に応じて変更可能に構成されている。符号化部17は、例えば、図5に示したCPU101が、上述した端末用プログラムに含まれる符号化/復号化プログラム(映像・音声コーデック)を実行することにより実現される。
復号化部18は、他の端末10から中継サーバ30を介して送信された符号化データを復号し、符号化前の映像データや音声データを出力する。復号化部18は、例えば、図5に示したCPU101が上述した端末用プログラムに含まれる符号化/復号化プログラム(映像・音声コーデック)を実行することにより実現される。
表示映像生成部19は、復号化部18で復号された映像データを用いて、ディスプレイ11に表示させる(再生出力する)表示映像を生成する。例えば、表示映像生成部19は、復号化部18で復号された映像データが複数の拠点の複数の端末10から送信された映像データを含む場合、予め定められたレイアウトの設定、あるいはユーザにより指定されたレイアウトの設定に従って、それぞれの映像データを1画面内に含む表示映像を生成する。また、表示映像生成部19は、生成した表示映像のレイアウトに関する情報、具体的には、どの拠点からの映像がどのようなサイズ(解像度)およびフレームレートで表示映像に含まれるかを示すレイアウト情報を、後述の品質制御モジュール25に渡す機能を持つ。表示映像生成部19は、例えば、図5に示したCPU101が、上述した端末用プログラムに含まれる表示映像生成プログラムを実行することにより実現される。
表示制御部20は、表示映像生成部19によって生成された表示映像をディスプレイ11に表示させる(再生出力する)ための制御を行う。表示制御部20は、例えば、図5に示したディスプレイI/F117およびCPU101によって実現される。
記憶・読出処理部21は、揮発性記憶部22や不揮発性記憶部23に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部21は、例えば、図5に示したSSD105およびCPU101によって実現される。揮発性記憶部22は、例えば、図5に示したRAM103によって実現される。不揮発性記憶部23は、例えば、図5に示したフラッシュメモリ104によって実現される。
品質制御モジュール25は、本実施形態の端末10に特徴的な処理を行うモジュールであり、例えば、図5に示したCPU101が、上述した端末用プログラムに含まれる品質制御プログラムを実行することにより実現される。この品質制御モジュール25は、図8に示すように、通知部26と符号化設定制御部27とを有している。
通知部26は、表示映像生成部19から渡された上述のレイアウト情報に基づいて、ディスプレイ11が表示映像として表示している他拠点からの映像の品質を表す再生品質情報を生成する。そして、通知部26は、生成した再生品質情報を送受信部12から映像の送信元の他の端末10に通知する。
図9は、通知部26が生成する再生品質情報の具体例を示す概念図である。図9では、拠点A、拠点B、および拠点Cの3つの拠点の端末10間で映像を送受信するケースにおいて、拠点Cの端末10において生成される再生品質情報の具体例を示している。
図9(a)の例では、拠点Cのディスプレイ11に表示される表示映像は、拠点Aからの映像のみを含み、拠点Aからの映像が640×360(横×縦の画素数)の解像度および30fpsのフレームレートで表示されている。この場合、拠点Cの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:640×360、フレームレート:30fpsの各項目を含む再生品質情報を生成する。
図9(b)の例では、拠点Cのディスプレイ11に表示される表示映像は、拠点Aからの映像と、拠点Bからの映像とを含み、拠点Aからの映像が320×180の解像度および30fpsのフレームレートで表示され、拠点Bからの映像が320×180の解像度および15fpsのフレームレートで表示されている。この場合、拠点Cの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:320×180、フレームレート:30fpsの各項目を含む再生品質情報と、送信元:拠点B、表示タイプ:映像、解像度:320×180、フレームレート:15fpsの各項目を含む再生品質情報とを生成する。
図9(c)の例では、拠点Cのディスプレイ11に表示される表示映像は、拠点Aからの映像と、拠点Bからの映像と、拠点Bとの間で共有されるデータとを含み、拠点Aからの映像が320×180の解像度および15fpsのフレームレートで表示され、拠点Bからの映像が320×180の解像度および15fpsのフレームレートで表示され、拠点Bとの間で共有されるデータが640×360の解像度および5fpsのフレームレートで表示されている。この場合、拠点Cの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:320×180、フレームレート:15fpsの各項目を含む再生品質情報と、送信元:拠点B、表示タイプ:映像、解像度:320×180、フレームレート:15fpsの各項目を含む再生品質情報と、送信元:拠点B、表示タイプ:データ、解像度:640×360、フレームレート:5fpsの各項目を含む再生品質情報とを生成する。なお、拠点Bとの間で共有されるデータとは、例えば拠点Bの端末10に接続されたPC(Personal Computer)などの外部機器から入力したデータを想定している。本実施形態のテレビ会議システム1では、このような外部機器から端末10に入力したデータを、映像データと同様に扱うものとする。
端末10の通知部26は、以上のような再生品質情報を、例えばXML(Extensible Markup Language)形式のような汎用的な形式で生成してもよいし、端末10が解釈可能な独自の形式で生成してもよい。
図10は、複数の拠点の端末10間における再生品質情報の通知の具体例を示す概念図である。図10では、拠点A、拠点B、および拠点Cの3つの拠点の端末10間で映像を送受信するケースにおいて、各拠点の端末10が他の拠点の端末10にどの再生品質情報を通知するかを示している。
図10の例では、拠点Aのディスプレイ11に表示される表示映像は、拠点Bからの映像と、拠点Cからの映像とを含み、拠点Bからの映像が320×180の解像度および30fpsのフレームレートで表示され、拠点Cからの映像が320×180の解像度および15fpsのフレームレートで表示されている。この場合、拠点Aの端末10の通知部26は、例えば、送信元:拠点B、表示タイプ:映像、解像度:320×180、フレームレート:30fpsの各項目を含む再生品質情報を生成して、この再生品質情報を拠点Bの端末10に通知する。また、拠点Aの端末10の通知部26は、例えば、送信元:拠点C、表示タイプ:映像、解像度:320×180、フレームレート:15fpsの各項目を含む再生品質情報を生成して、この再生品質情報を拠点Cの端末10に通知する。
また、図10の例では、拠点Bのディスプレイ11に表示される表示映像は、拠点Aからの映像のみを含み、拠点Aからの映像が640×360の解像度および30fpsのフレームレートで表示されている。この場合、拠点Bの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:640×360、フレームレート:30fpsの各項目を含む再生品質情報を生成して、この再生品質情報を拠点Aの端末10に通知する。
また、図10の例では、拠点Cのディスプレイ11に表示される表示映像は、拠点Aからの映像と、拠点Bからの映像と、拠点Bとの間で共有されるデータとを含み、拠点Aからの映像が320×180の解像度および15fpsのフレームレートで表示され、拠点Bからの映像が320×180の解像度および15fpsのフレームレートで表示され、拠点Bとの間で共有されるデータが640×360の解像度および5fpsのフレームレートで表示されている。この場合、拠点Cの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:320×180、フレームレート:15fpsの各項目を含む再生品質情報を生成して、この再生品質情報を拠点Aの端末10に通知する。また、拠点Cの端末10の通知部26は、例えば、送信元:拠点B、表示タイプ:映像、解像度:320×180、フレームレート:15fpsの各項目を含む再生品質情報と、送信元:拠点B、表示タイプ:データ、解像度:640×360、フレームレート:5fpsの各項目を含む再生品質情報とを生成し、これらの再生品質情報を拠点Bの端末10に通知する。
これにより、各拠点の端末10は、他の拠点の端末10に送信した映像が他の拠点でどのような品質で再生出力されているかを知ることができる。なお、再生品質情報の通知は、上述したように、例えば図2に示した管理情報セッションSeiを利用して行うようにしてもよいし、中継サーバ30を介して(データ用セッションSedとは別のセッションで)行うようにしてもよい。
符号化設定制御部27は、他の拠点の端末10から通知された再生品質情報に基づき、符号化部17による符号化の設定を制御する。例えば、符号化設定制御部27は、他の拠点の端末10から通知された再生品質情報が表す品質(つまり、他の拠点で表示されている自拠点からの映像の品質)が、中継サーバ30を介して他の拠点の端末10に送信した符号化データの品質(つまり、符号化部17による符号化の現在の設定によって生成される符号化データの最大の品質)よりも低い場合に、他の拠点の端末10から通知された再生品質情報が表す品質を超える品質を含まないように、符号化部17による符号化の設定(例えば、レイヤ構成の設定等)を変更する。また、映像を送信している他の拠点が複数あり、これら複数の拠点の各端末10に対して共通の符号化データを送信している場合は、符号化設定制御部27は、各拠点の端末10から各々通知された複数の再生品質情報が表す品質のうち最も高い品質が、中継サーバ30を介して各拠点の端末10に送信した共通の符号化データの品質よりも低い場合に、複数の再生品質情報が表す品質のうち最も高い品質を超える品質を含まないように、符号化部17による符号化の設定を変更する。
図11は、符号化設定制御部27が符号化部17による符号化の設定を制御する具体例を示す概念図である。図11では、拠点A、拠点B、および拠点Cの3つの拠点の端末10間で映像を送受信するケースにおいて、拠点Aの端末10の符号化設定制御部27が、拠点Bの端末10から通知された再生品質情報と、拠点Cの端末10から通知された再生品質情報とに基づいて、符号化部17による符号化の設定をどのように制御するかを示している。
図11の例では、拠点Aの端末10の符号化部17の設定が、320×180の解像度および30fpsのフレームレートの低品質映像と、640×360の解像度および30fpsのフレームレートの中品質映像と、1280×720の解像度および30fpsのフレームレートの高品質映像とを含むように、映像データを符号化する設定となっている。そして、拠点Aの端末10は、このような設定の符号化部17により映像データをスケーラブルに符号化して、符号化データを送受信部12から中継サーバ30に送信している。
その後、拠点Bの端末10から解像度:640×360、フレームレート:30fpsの項目を含む再生品質情報が拠点Aの端末10に通知され、拠点Cの端末10から解像度:320×180、フレームレート:15fpsの項目を含む再生品質情報が拠点Aの端末10に通知される。拠点Aの端末10の符号化設定制御部27は、これら拠点Bの端末10から通知された再生品質情報と、拠点Cの端末10から通知された再生品質情報とを取得し、これらの再生品質情報から、1280×720の解像度および30fpsのフレームレートの高品質映像を表示している拠点がないと判断する。そして、拠点Aの端末10の符号化設定制御部27は、1280×720の解像度および30fpsのフレームレートの高品質映像に対応するレイヤを含まないように、符号化部17による符号化のレイヤ構成の設定変更等を行う。
これにより、その後は拠点Aの端末10から中継サーバ30に対して、低品質映像と中品質映像のみを含む符号化データが送信されることになり、拠点Aと中継サーバ30との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。なお、図11の例では、高品質映像に対応するレイヤを含まないように、符号化部17による符号化のレイヤ構成の設定変更を行うようにしているが、高品質映像に対応するレイヤの解像度やフレームレートを下げるように、符号化の設定変更を行うようにしてもよい。また、高品質映像に対応するレイヤをより下層のレイヤに統合するように、符号化の設定変更を行うようにしてもよい。
図12は、符号化設定制御部27による処理手順の具体例を示すフローチャートである。図12のフローチャートで示す処理が開始されると、符号化設定制御部27は、まずステップS101において、自拠点の映像を表示している他のすべての拠点から、再生品質情報を取得する。そして、符号化設定制御部27は、ステップS102において、ステップS101で取得した再生品質情報から、他拠点で表示されている自拠点の映像の最大の解像度および最大のフレームレートを検知する。
次に、符号化設定制御部27は、ステップS103において、ステップS102で検知した最大の解像度を超える映像の符号化データを中継サーバ30に送信しているか否かを判定する。例えば、符号化設定制御部27は、映像データをスケーラブルに符号化する符号化部17の現在のレイヤ構成の設定が、ステップS102で検知した最大の解像度を超える映像のレイヤを含む設定となっているか否かを確認することにより、この判定を行う。そして、最大の解像度を超える映像の符号化データを中継サーバ30に送信している場合は(ステップS103:Yes)ステップS104に進み、最大の解像度を超える映像の符号化データを中継サーバ30に送信していない場合は(ステップS103:No)ステップS106に進む。
ステップS104では、符号化設定制御部27は、ステップS102で検知した最大の解像度を超える映像に対応するレイヤが削除可能か否かを判定する。そして、最大の解像度を超える映像に対応するレイヤを削除できる場合は(ステップS104:Yes)ステップS105に進み、最大の解像度を超える映像に対応するレイヤを削除できない場合は(ステップS104:No)ステップS106に進む。なお、最大の解像度を超える映像に対応するレイヤを削除できない場合とは、例えば、最大の解像度を超える映像に対応するレイヤが、最大の解像度以下の解像度、つまり他の拠点で表示されている自拠点の映像の解像度を含むレイヤとなっている場合などである。
ステップS105では、符号化設定制御部27は、ステップS102で検知した最大の解像度を超えるレイヤを含まないように、符号化部17のレイヤ構成の設定を変更して、ステップS106に進む。
ステップS106では、符号化設定制御部27は、ステップS102で検知した最大のフレームレートを超える映像の符号化データを中継サーバ30に送信しているか否かを判定する。例えば、符号化設定制御部27は、映像データをスケーラブルに符号化する符号化部17の現在のレイヤ構成の設定が、ステップS102で検知した最大のフレームレートを超える映像のレイヤを含む設定となっているか否かを確認することにより、この判定を行う。そして、最大のフレームレートを超える映像の符号化データを中継サーバ30に送信している場合は(ステップS106:Yes)ステップS107に進み、最大のフレームレートを超える映像の符号化データを中継サーバ30に送信していない場合は(ステップS106:No)、図12のフローチャートで示す処理を終了する。
ステップS107では、符号化設定制御部27は、ステップS102で検知した最大のフレームレートを超えるレイヤを含まないように、符号化部17のレイヤ構成の設定を変更して、図12のフローチャートで示す処理を終了する。
図13は、送信側の端末10から受信側の端末10に映像を送信する処理の概要を示すシーケンス図である。図13では、送信側の端末10が低品質映像、中品質映像、および高品質映像を送信したが、受信側の端末10で表示されている映像が中品質であるため、高品質映像を送信しないように符号化の設定を変更する例を示している。
まず、送信側の端末10から中継サーバ30を介して受信側の端末10に低品質映像、中品質映像、および高品質映像の符号化データが送信される(ステップS201)。受信側の端末10では、受信した符号化データを復号化部18が復号し、表示映像生成部19がディスプレイ11に表示させる表示映像を生成する(ステップS202)。このとき、表示映像生成部19は、生成した表示映像に関するレイアウト情報を通知部26に渡す。
受信側の端末10の通知部26は、表示映像生成部19から渡されたレイアウト情報に基づいて再生品質情報を生成し(ステップS203)、生成した再生品質情報を送信側の端末10に通知する(ステップS204)。本例の場合、送信側の端末10に通知する再生品質情報は、受信側の端末10がディスプレイ11に表示させている映像の品質が中品質であることを表すものとなっている。
送信側の端末10では、受信側の端末10から再生品質情報が通知されると、符号化設定制御部27が、この再生品質情報に基づいて符号化部17による符号化の設定を変更する必要があるか否かを判断する(ステップS205)。本例の場合、受信側の端末10に高品質映像を送信する必要がないため、符号化設定制御部27は、符号化部17による符号化の設定を変更する必要があると判断する。そして、符号化設定制御部27は、高品質映像に対応するレイヤを含まないように、符号化部17による符号化のレイヤ構成の設定変更を行う(ステップS206)。
その後は、設定変更された符号化部17により符号化された低品質映像および中品質映像の符号化データが、送信側の端末10から中継サーバ30を介して受信側の端末10に送信される(ステップS207)。これにより、送信側の端末10と中継サーバ30との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。
以上、具体的な例を挙げながら詳細に説明したように、本実施形態のテレビ会議システム1によれば、受信側の端末10が、実際に再生出力している映像の品質を表す再生品質情報を、映像の送信元である送信側の端末10に通知する。そして、送信側の端末10は、受信側の端末10から通知された再生品質情報に基づいて、受信側の端末10に対して送信する映像の符号化の設定を制御する。したがって、送信側の端末10は、受信側の端末10が必要とする品質の映像のみを符号化して中継サーバ30に送信することができ、送信側の端末10と中継サーバ30との間のネットワーク帯域幅を必要以上に使用してしまう不都合を有効に抑制することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。本実施形態は、端末10の通知部26が、表示映像の圧縮率を含む再生品質情報を生成して、映像の送信元の他の端末10に通知するものである。本実施形態では、表示映像生成部19が復号化部18で復号された映像データを用いてディスプレイ11に表示させる表示映像を生成する際に、生成した表示映像のレイアウトに関する情報として、各拠点からの映像のサイズ(解像度)およびフレームレートに加えて圧縮率を含む情報を生成し、品質制御モジュール25に渡す。品質制御モジュール25の通知部26は、表示映像生成部19から渡されたレイアウト情報に基づいて、ディスプレイ11が表示映像として表示している他拠点からの映像の品質を表す再生品質情報として、解像度とフレームレートに加えて圧縮率を含む再生品質情報を生成し、この再生品質情報を送受信部12から映像の送信元の他の端末10に通知する。ここで再生品質情報における圧縮率とは、表示映像に含まれる各拠点からの映像の映像データがどのくらいの割合で圧縮されて送信されているかを表し、データ量が半分になるように圧縮された映像を表示映像に含ませる場合の圧縮率は50%、圧縮されていない映像を表示映像に含ませる場合の圧縮率は100%である。
図14は、本実施形態の通知部26が生成する再生品質情報の具体例を示す概念図である。図14では、図9に示した例と同様に、拠点A、拠点B、および拠点Cの3つの拠点の端末10間で映像を送受信するケースにおいて、拠点Cの端末10において生成される再生品質情報の具体例を示している。
図14(a)の例では、拠点Cのディスプレイ11に表示される表示映像は、拠点Aからの映像のみを含み、拠点Aからの圧縮率100%(圧縮なし)の映像が、640×360(横×縦の画素数)の解像度および30fpsのフレームレートで表示されている。この場合、拠点Cの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:640×360、フレームレート:30fps、圧縮率:100%の各項目を含む再生品質情報を生成する。
図14(b)の例では、拠点Cのディスプレイ11に表示される表示映像は、拠点Aからの映像と、拠点Bからの映像とを含み、拠点Aからの圧縮率80%(20%圧縮)の映像が、320×180の解像度および30fpsのフレームレートで表示され、拠点Bからの圧縮率80%の映像が、320×180の解像度および15fpsのフレームレートで表示されている。この場合、拠点Cの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:320×180、フレームレート:30fps、圧縮率:80%の各項目を含む再生品質情報と、送信元:拠点B、表示タイプ:映像、解像度:320×180、フレームレート:15fps、圧縮率:80%の各項目を含む再生品質情報とを生成する。
図14(c)の例では、拠点Cのディスプレイ11に表示される表示映像は、拠点Aからの映像と、拠点Bからの映像と、拠点Bとの間で共有されるデータとを含み、拠点Aからの圧縮率50%(50%圧縮)の映像が、320×180の解像度および15fpsのフレームレートで表示され、拠点Bからの圧縮率50%の映像が、320×180の解像度および15fpsのフレームレートで表示され、拠点Bとの間で共有される圧縮率100%のデータが、640×360の解像度および5fpsのフレームレートで表示されている。この場合、拠点Cの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:320×180、フレームレート:15fps、圧縮率:50%の各項目を含む再生品質情報と、送信元:拠点B、表示タイプ:映像、解像度:320×180、フレームレート:15fps、圧縮率:50%の各項目を含む再生品質情報と、送信元:拠点B、表示タイプ:データ、解像度:640×360、フレームレート:5fps、圧縮率:100%の各項目を含む再生品質情報とを生成する。
図15は、複数の拠点の端末10間における再生品質情報の通知の具体例を示す概念図である。図15では、図10に示した例と同様に、拠点A、拠点B、および拠点Cの3つの拠点の端末10間で映像を送受信するケースにおいて、各拠点の端末10が他の拠点の端末10にどの再生品質情報を通知するかを示している。
図15の例では、拠点Aのディスプレイ11に表示される表示映像は、拠点Bからの映像と、拠点Cからの映像とを含み、拠点Bからの圧縮率80%の映像が、320×180の解像度および30fpsのフレームレートで表示され、拠点Cからの圧縮率80%の映像が、320×180の解像度および15fpsのフレームレートで表示されている。この場合、拠点Aの端末10の通知部26は、例えば、送信元:拠点B、表示タイプ:映像、解像度:320×180、フレームレート:30fps、圧縮率:80%の各項目を含む再生品質情報を生成して、この再生品質情報を拠点Bの端末10に通知する。また、拠点Aの端末10の通知部26は、例えば、送信元:拠点C、表示タイプ:映像、解像度:320×180、フレームレート:15fps、圧縮率:80%の各項目を含む再生品質情報を生成して、この再生品質情報を拠点Cの端末10に通知する。
また、図15の例では、拠点Bのディスプレイ11に表示される表示映像は、拠点Aからの映像のみを含み、拠点Aからの圧縮率100%の映像が、640×360の解像度および30fpsのフレームレートで表示されている。この場合、拠点Bの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:640×360、フレームレート:30fps、圧縮率:100%の各項目を含む再生品質情報を生成して、この再生品質情報を拠点Aの端末10に通知する。
また、図15の例では、拠点Cのディスプレイ11に表示される表示映像は、拠点Aからの映像と、拠点Bからの映像と、拠点Bとの間で共有されるデータとを含み、拠点Aからの圧縮率50%の映像が、320×180の解像度および15fpsのフレームレートで表示され、拠点Bからの圧縮率50%の映像が、320×180の解像度および15fpsのフレームレートで表示され、拠点Bとの間で共有される圧縮率100%のデータが、640×360の解像度および5fpsのフレームレートで表示されている。この場合、拠点Cの端末10の通知部26は、例えば、送信元:拠点A、表示タイプ:映像、解像度:320×180、フレームレート:15fps、圧縮率:50%の各項目を含む再生品質情報を生成して、この再生品質情報を拠点Aの端末10に通知する。また、拠点Cの端末10の通知部26は、例えば、送信元:拠点B、表示タイプ:映像、解像度:320×180、フレームレート:15fps、圧縮率:50%の各項目を含む再生品質情報と、送信元:拠点B、表示タイプ:データ、解像度:640×360、フレームレート:5fps、圧縮率:100%の各項目を含む再生品質情報とを生成し、これらの再生品質情報を拠点Bの端末10に通知する。
図16は、本実施形態の符号化設定制御部27が符号化部17による符号化の設定を制御する具体例を示す概念図である。図16では、図11に示した例と同様に、拠点A、拠点B、および拠点Cの3つの拠点の端末10間で映像を送受信するケースにおいて、拠点Aの端末10の符号化設定制御部27が、拠点Bの端末10から通知された再生品質情報と、拠点Cの端末10から通知された再生品質情報とに基づいて、符号化部17による符号化の設定をどのように制御するかを示している。
図16の例では、拠点Aの端末10の符号化部17の設定が、320×180の解像度および30fpsのフレームレートで圧縮率が100%の低品質映像と、640×360の解像度および30fpsのフレームレートで圧縮率が100%の中品質映像と、1280×720の解像度および30fpsのフレームレートで圧縮率が100%の高品質映像とを含むように、映像データを符号化する設定となっている。そして、拠点Aの端末10は、このような設定の符号化部17により映像データをスケーラブルに符号化して、符号化データを送受信部12から中継サーバ30に送信している。
その後、拠点Bの端末10から解像度:640×360、フレームレート:30fps、圧縮率:100%の各項目を含む再生品質情報が拠点Aの端末10に通知され、拠点Cの端末10から解像度:320×180、フレームレート:15fps、圧縮率:50%の各項目を含む再生品質情報が拠点Aの端末10に通知される。拠点Aの端末10の符号化設定制御部27は、これら拠点Bの端末10から通知された再生品質情報と、拠点Cの端末10から通知された再生品質情報とを取得し、これらの再生品質情報から、1280×720の解像度および30fpsのフレームレートで圧縮率が100%の高品質映像を表示している拠点がないと判断する。そして、拠点Aの端末10の符号化設定制御部27は、1280×720の解像度および30fpsのフレームレートで圧縮率100%の高品質映像に対応するレイヤを含まないように、符号化部17による符号化のレイヤ構成の設定変更等を行う。
これにより、その後は拠点Aの端末10から中継サーバ30に対して、低品質映像と中品質映像のみを含む符号化データが送信されることになり、拠点Aと中継サーバ30との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。
なお、図16の例では、高品質映像に対応するレイヤを含まないように、符号化部17による符号化のレイヤ構成の設定変更を行うようにしているが、高品質映像に対応するレイヤの解像度やフレームレートを下げるように、符号化の設定変更を行うようにしてもよい。図17は、符号化データのレイヤ数を変更せずに最大解像度を下げるように符号化の設定変更を行う例を示している。
図17の例では、拠点Aの端末10の符号化設定制御部27は、図16の例と同様に、拠点Bの端末10から通知された再生品質情報と、拠点Cの端末10から通知された再生品質情報とを取得し、これらの再生品質情報から、1280×720の解像度および30fpsのフレームレートで圧縮率が100%の高品質映像を表示している拠点がないと判断する。このため、拠点Aの端末10の符号化設定制御部27は、例えば、高品質映像の解像度を640×360、中品質映像の解像度を320×180、低品質映像の解像度を160×90に変更し、符号化データのレイヤ数を変更せずに最大解像度を下げるように符号化の設定変更を行う。これにより、拠点Aと中継サーバ30との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。
図18は、本実施形態の符号化設定制御部27による処理手順の具体例を示すフローチャートである。図18のフローチャートにおけるステップS301からステップS307までの処理は、図12のフローチャートにおけるステップS101からステップS107までの処理と同様であるため、説明を省略する。なお、図12のステップS102では、他拠点からの再生品質情報をもとに、他拠点で表示されている自拠点の映像の最大の解像度および最大のフレームレートを検知していたのに対し、図18のステップS302では、他拠点からの再生品質情報をもとに、他拠点で表示されている自拠点の映像の最大の解像度および最大のフレームレートに加えて、最大の圧縮率を検出している。
本実施形態では、図18のステップS306の判定結果がNoであった場合、あるいはステップS306の判定結果がYesでありステップS307の処理が行われた後、ステップS308に進む。
ステップS308では、符号化設定制御部27は、ステップS302で検知した最大の圧縮率を超える映像の符号化データを中継サーバ30に送信しているか否かを判定する。例えば、符号化設定制御部27は、映像データをスケーラブルに符号化する符号化部17の現在のレイヤ構成の設定が、ステップS302で検知した最大の圧縮率を超える映像のレイヤを含む設定となっているか否かを確認することにより、この判定を行う。そして、最大の圧縮率を超える映像の符号化データを中継サーバ30に送信している場合は(ステップS308:Yes)ステップS309に進み、最大の圧縮率を超える映像の符号化データを中継サーバ30に送信していない場合は(ステップS308:No)、図18のフローチャートで示す処理を終了する。
ステップS309では、符号化設定制御部27は、ステップS302で検知した最大の圧縮率を超える映像に対応するレイヤを含まないように、符号化部17のレイヤ構成の設定を変更して、図18のフローチャートで示す処理を終了する。
なお、以上説明した例では、実際にディスプレイ11に表示されている映像や外部機器からの入力データの解像度、フレームレートおよび圧縮率を再生品質情報として扱っている。しかし、実際にディスプレイ11に表示される表示映像に含まれる映像やデータの品質とは異なるが、表示映像上で表示させる映像の品質として例えばユーザが要求する再生品質に応じた解像度、フレームレート、圧縮率などを再生品質情報として扱うようにしてもよい。この場合、端末10の通知部26は、例えば、表示映像上で表示させたい映像やデータの解像度、フレームレート、圧縮率などを指定するユーザの操作を受け付けて、ユーザにより指定された品質に応じた再生品質情報を生成して、映像やデータの送信元の端末10に通知する。
この例の場合、映像やデータの送信元の端末10には、当該端末10が送信している符号化データに含まれる高品質映像を超える品質が指定された再生品質情報が通知されることがある。この場合、当該端末10の符号化設定制御部27は、当該端末10から他の端末10に送信する符号化データに、他の端末10から通知された再生品質情報で指定される品質が含まれるように、符号化部17による符号化の設定変更を行う。
図19は、符号化設定制御部27が符号化部17による符号化の設定を制御する具体例を示す概念図である。図19の例では、拠点Aの端末10の符号化部17の設定が、320×180の解像度および30fpsのフレームレートで圧縮率が100%の低品質映像と、640×360の解像度および30fpsのフレームレートで圧縮率が100%の中品質映像とを含むように、映像データを符号化する設定となっている。そして、拠点Aの端末10は、このような設定の符号化部17により映像データをスケーラブルに符号化して、符号化データを送受信部12から中継サーバ30に送信している。
その後、拠点Bの端末10から解像度:1280×720、フレームレート:30fps、圧縮率:100%の各項目を含む再生品質情報が拠点Aの端末10に通知され、拠点Cの端末10から解像度:320×180、フレームレート:15fps、圧縮率:50%の各項目を含む再生品質情報が拠点Aの端末10に通知される。拠点Aの端末10の符号化設定制御部27は、これら拠点Bの端末10から通知された再生品質情報と、拠点Cの端末10から通知された再生品質情報とを取得し、これらの再生品質情報から、拠点Bにおいて、1280×720の解像度および30fpsのフレームレートで圧縮率が100%の高品質映像の表示が要求されていると判断する。この場合、拠点Aの端末10の符号化設定制御部27は、1280×720の解像度および30fpsのフレームレートで圧縮率100%の高品質映像に対応するレイヤを追加するように、符号化部17による符号化のレイヤ構成の設定変更等を行う。
なお、以上の例のように、ユーザが要求する再生品質に応じた解像度、フレームレート、圧縮率などを再生品質情報として扱う場合には、要求される解像度、フレームレート、圧縮率などを範囲で指定してもよい。この場合、端末10の通知部26は、例えば、表示映像上で表示させたい映像やデータの解像度、フレームレート、圧縮率などの範囲を指定するユーザの操作を受け付けて、ユーザにより指定された品質の範囲を含む再生品質情報を生成して、映像やデータの送信元の端末10に通知する。
図20は、符号化設定制御部27が符号化部17による符号化の設定を制御する具体例を示す概念図である。図20の例では、拠点Bの端末10から拠点Aの端末に通知される再生品質情報の解像度の項目が、1280×720〜640×360というように範囲で指定されている。この場合、拠点Aの端末10の符号化設定制御部27は、拠点Bから通知された再生品質情報をもとに、拠点Bにおいて、解像度が1280×720〜640×360の範囲で映像を表示することが要求されていると判断する。そして、拠点Aの端末10の符号化設定制御部27は、各拠点の再生品質情報をできるだけ包含するレイヤ構成となるように、符号化部17による符号化のレイヤ構成の設定変更等を行う。
図21は、符号化設定制御部27による処理手順の具体例を示すフローチャートである。図21のフローチャートで示す処理が開始されると、符号化設定制御部27は、まずステップS401において、自拠点の映像を表示している他のすべての拠点から、再生品質情報を取得する。そして、符号化設定制御部27は、ステップS402において、ステップS401で取得した再生品質情報から、他拠点で要求されている自拠点の映像の最大の解像度、最大のフレームレート、および最大の圧縮率を検知する。
次に、符号化設定制御部27は、ステップS403において、ステップS402で検知した最大の解像度を包含する符号化データを中継サーバ30に送信しているか否かを判定する。そして、中継サーバ30に送信している符号化データが、ステップS402で検知した最大の解像度を包含していない場合は(ステップS403:No)ステップS404に進み、最大の解像度を包含している場合は(ステップS403:Yes)ステップS406に進む。
ステップS404では、符号化設定制御部27は、ステップS402で検知した最大の解像度に対応するレイヤを追加可能か否かを判定する。そして、最大の解像度に対応するレイヤを追加できる場合は(ステップS404:Yes)ステップS405に進み、最大の解像度に対応するレイヤを追加できない場合は(ステップS404:No)ステップS406に進む。
ステップS405では、符号化設定制御部27は、ステップS402で検知した最大の解像度に対応するレイヤを追加するように、符号化部17のレイヤ構成の設定を変更して、ステップS406に進む。
ステップS406では、符号化設定制御部27は、ステップS402で検知した最大のフレームレートを包含する符号化データを中継サーバ30に送信しているか否かを判定する。そして、中継サーバ30に送信している符号化データが、ステップS402で検知した最大のフレームレートを包含していない場合は(ステップS406:No)ステップS407に進み、最大のフレームレートを包含している場合は(ステップS406:Yes)ステップS409に進む。
ステップS407では、符号化設定制御部27は、ステップS402で検知した最大のフレームレートに対応するレイヤを追加可能か否かを判定する。そして、最大のフレームレートに対応するレイヤを追加できる場合は(ステップS407:Yes)ステップS408に進み、最大のフレームレートに対応するレイヤを追加できない場合は(ステップS407:No)ステップS409に進む。
ステップS408では、符号化設定制御部27は、ステップS402で検知した最大のフレームレートに対応するレイヤを追加するように、符号化部17のレイヤ構成の設定を変更して、ステップS409に進む。
ステップS409では、符号化設定制御部27は、ステップS402で検知した最大の圧縮率を包含する符号化データを中継サーバ30に送信しているか否かを判定する。そして、中継サーバ30に送信している符号化データが、ステップS402で検知した最大の圧縮率を包含していない場合は(ステップS409:No)ステップS410に進み、最大の圧縮率を包含している場合は(ステップS409:Yes)、図21のフローチャートで示す処理を終了する。
ステップS410では、符号化設定制御部27は、ステップS402で検知した最大の圧縮率に対応するレイヤを追加可能か否かを判定する。そして、最大の圧縮率に対応するレイヤを追加できる場合は(ステップS410:Yes)ステップS411に進み、最大の圧縮率に対応するレイヤを追加できない場合は(ステップS410:No)、図21のフローチャートで示す処理を終了する。
ステップS411では、符号化設定制御部27は、ステップS402で検知した最大の圧縮率に対応するレイヤを追加するように、符号化部17のレイヤ構成の設定を変更して、図21のフローチャートで示す処理を終了する。
以上、本発明の具体的な実施形態について説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。つまり、上述した実施形態で説明したテレビ会議システム1や端末10などの具体的な構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。
例えば、上述した実施形態では、通知部26と符号化設定制御部27とを含む品質制御モジュール25を端末10が備えているが、この品質制御モジュール25の機能の一部または全部を、例えば管理サーバ40などの他の装置が備えるように構成してもよい。例えば、管理サーバ40が通知部26を備える構成の場合、管理サーバ40は、受信側の端末10からレイアウト情報を取得し、このレイアウト情報をもとに再生品質情報を生成して送信側の端末10に通知する。また、管理サーバ40が符号化設定制御部27を備える構成の場合、管理サーバ40は、受信側の端末10から通知される再生品質情報を取得し、この再生品質情報に基づいて、送信側の端末10の符号化部17の設定を制御する制御信号を生成して、送信側の端末10に送信する。
また、上述した実施形態では、映像データをスケーラブルに符号化して端末10間で送受信するものとしているが、映像データとともに、あるいは映像データに代えて、音声データをスケーラブルに符号化して端末10間で送受信するようにしてもよい。この場合、音声データの品質としては、例えば、音声におけるサンプリング周波数や、音声におけるビット長などが挙げられる。
また、上述した実施形態では、本発明を適用した通信システムの一例としてテレビ会議システム1を例示したが、これに限られるものではない。本発明は、例えば、端末間で双方向に音声データを送受信するIP(Internet Protocol)電話等の電話システムや、管理センタの端末から自動車に搭載されたカーナビゲーション装置に対して地図データやルート情報などを配信するカーナビゲーションシステム等、各種の通信システムに対して有効に適用可能である。
また、上述した実施形態では、本発明を適用した通信装置の一例としてテレビ会議端末(端末)10を例示したが、これに限られるものではない。本発明は、各種データをスケーラブルに符号化して送信する機能と、スケーラブルに符号化された符号化データを復号して再生する機能とを有する通信装置であれば、例えばPCやタブレット端末、スマートフォン、電子黒板、自動車に搭載されるカーナビゲーション装置等の各種の通信装置に対して有効に適用可能である。
特許第4921488号公報

Claims (8)

  1. スケーラブルに符号化された符号化データを他の通信装置との間で送受信し、受信した前記符号化データを復号して再生出力する通信装置であって、
    再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の通信装置に通知する通知部と、
    他の通信装置から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の通信装置に送信する前記符号化データの符号化の設定を制御する符号化設定制御部と、を備える通信装置。
  2. 前記符号化設定制御部は、他の通信装置から通知された前記再生品質情報が表す品質が、他の通信装置に送信した前記符号化データの品質よりも低い場合に、他の通信装置から通知された前記再生品質情報が表す品質を超える品質を含まないように、他の通信装置に送信する前記符号化データの符号化の設定を変更する、請求項1に記載の通信装置。
  3. 他の通信装置が複数存在し、これら複数存在する他の通信装置に対して共通の前記符号化データを送信する場合において、
    前記符号化設定制御部は、複数存在する他の通信装置から各々通知された複数の前記再生品質情報が表す品質のうち最も高い品質が、複数存在する他の通信装置に送信した共通の前記符号化データの品質よりも低い場合に、前記最も高い品質を超える品質を含まないように、複数存在する他の通信装置に送信する共通の前記符号化データの符号化の設定を変更する、請求項1に記載の通信装置。
  4. 前記データは映像データであり、前記データの品質は映像データの解像度とフレームレートの少なくとも一方を含む、請求項1〜3のいずれか一項に記載の通信装置。
  5. 前記符号化データは、H.264/SVC符号化フォーマットで符号化されたデータである、請求項4に記載の通信装置。
  6. スケーラブルに符号化された符号化データを複数の通信装置の間で送受信し、少なくとも1つの通信装置が他の通信装置で符号化された前記符号化データを復号して再生出力する通信システムであって、
    前記通信装置で再生出力しているデータの品質を表す再生品質情報を、他の通信装置に通知する通知部と、
    他の通信装置から前記通信装置に通知された前記再生品質情報に基づき、前記通信装置から他の通信装置に送信する前記符号化データの符号化の設定を制御する符号化設定制御部と、を備える通信システム。
  7. スケーラブルに符号化された符号化データを他の通信装置との間で送受信し、受信した前記符号化データを復号して再生出力する通信装置において実行される通信制御方法であって、
    再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の通信装置に通知する工程と、
    他の通信装置から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の通信装置に送信する前記符号化データの符号化の設定を制御する工程と、を含む通信制御方法。
  8. スケーラブルに符号化された符号化データを他の通信装置との間で送受信し、受信した前記符号化データを復号して再生出力する通信装置において実行されるプログラムであって、
    再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の通信装置に通知する機能と、
    他の通信装置から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の通信装置に送信する前記符号化データの符号化の設定を制御する機能と、を前記通信装置に実現させるためのプログラム。
JP2016505092A 2014-02-26 2015-01-15 通信装置、通信システム、通信制御方法およびプログラム Active JP6432595B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014035833 2014-02-26
JP2014035833 2014-02-26
PCT/JP2015/050969 WO2015129319A1 (ja) 2014-02-26 2015-01-15 通信装置、通信システム、通信制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2015129319A1 true JPWO2015129319A1 (ja) 2017-03-30
JP6432595B2 JP6432595B2 (ja) 2018-12-05

Family

ID=54008648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016505092A Active JP6432595B2 (ja) 2014-02-26 2015-01-15 通信装置、通信システム、通信制御方法およびプログラム

Country Status (5)

Country Link
US (1) US20160366425A1 (ja)
EP (1) EP3113490B1 (ja)
JP (1) JP6432595B2 (ja)
CN (1) CN106031164A (ja)
WO (1) WO2015129319A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6349997B2 (ja) 2014-06-17 2018-07-04 株式会社リコー 通信装置、通信システム、通信制御方法およびプログラム
JP6677061B2 (ja) 2016-04-22 2020-04-08 株式会社リコー 通信装置、通信システム、及びプログラム
JP6634965B2 (ja) 2016-06-20 2020-01-22 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
JP2018011169A (ja) * 2016-07-13 2018-01-18 株式会社リコー 通信装置、通信システム、通信方法およびプログラム
US11418565B2 (en) 2018-04-13 2022-08-16 Sony Corporation Space information sharing apparatus, space information sharing method, and program
KR102611331B1 (ko) * 2018-10-02 2023-12-08 삼성전자주식회사 디스플레이 장치 및 상기 디스플레이 장치와 통신하는 서버
US11587321B2 (en) * 2020-04-13 2023-02-21 Plantronics, Inc. Enhanced person detection using face recognition and reinforced, segmented field inferencing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08274961A (ja) * 1995-04-04 1996-10-18 Canon Inc 画像伝送方法及び装置並びに解像度制御装置
JP2007150916A (ja) * 2005-11-29 2007-06-14 Sony Corp コミュニケーションシステム、端末装置及びコンピュータプログラム
US20090033739A1 (en) * 2007-07-31 2009-02-05 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints
JP2009284259A (ja) * 2008-05-22 2009-12-03 Kddi R & D Laboratories Inc メディアストリームの品質イベントを特定する方法、端末、通信ノード装置及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003808A1 (ja) * 2004-07-06 2006-01-12 Matsushita Electric Industrial Co., Ltd. 符号化または復号化装置、および記録再生端末
WO2007076486A2 (en) * 2005-12-22 2007-07-05 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
US7701851B2 (en) * 2005-07-20 2010-04-20 Vidyo, Inc. System and method for the control of the transmission rate in packet-based digital communications
JP4769513B2 (ja) * 2005-08-15 2011-09-07 キヤノン株式会社 再生制御方法及び再生制御装置
JP5999873B2 (ja) * 2010-02-24 2016-09-28 株式会社リコー 伝送システム、伝送方法、及びプログラム
US9143729B2 (en) * 2010-05-12 2015-09-22 Blue Jeans Networks, Inc. Systems and methods for real-time virtual-reality immersive multimedia communications
JP5938658B2 (ja) * 2011-07-29 2016-06-22 パナソニックIpマネジメント株式会社 無線通信端末及び通信制御方法
WO2013106521A2 (en) * 2012-01-10 2013-07-18 Vidyo, Inc. Techniques for layered video encoding and decoding
CN102724474A (zh) * 2012-05-17 2012-10-10 中南民族大学 自适应网络编码的便携式视频会议终端及实现方法
WO2014057555A1 (ja) * 2012-10-10 2014-04-17 富士通株式会社 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法
JP6183003B2 (ja) * 2012-11-15 2017-08-23 株式会社リコー 伝送システム
US10595031B2 (en) * 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08274961A (ja) * 1995-04-04 1996-10-18 Canon Inc 画像伝送方法及び装置並びに解像度制御装置
JP2007150916A (ja) * 2005-11-29 2007-06-14 Sony Corp コミュニケーションシステム、端末装置及びコンピュータプログラム
US20090033739A1 (en) * 2007-07-31 2009-02-05 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints
JP2009284259A (ja) * 2008-05-22 2009-12-03 Kddi R & D Laboratories Inc メディアストリームの品質イベントを特定する方法、端末、通信ノード装置及びプログラム

Also Published As

Publication number Publication date
CN106031164A (zh) 2016-10-12
JP6432595B2 (ja) 2018-12-05
EP3113490B1 (en) 2019-07-24
EP3113490A4 (en) 2017-03-08
US20160366425A1 (en) 2016-12-15
WO2015129319A1 (ja) 2015-09-03
EP3113490A1 (en) 2017-01-04

Similar Documents

Publication Publication Date Title
JP6432595B2 (ja) 通信装置、通信システム、通信制御方法およびプログラム
JP6349997B2 (ja) 通信装置、通信システム、通信制御方法およびプログラム
JP5999873B2 (ja) 伝送システム、伝送方法、及びプログラム
EP2798827B1 (en) Communication management system, communication system, communication management method and computer-readable recording medium
US10547652B2 (en) Communication control device, communication system, and communication control method
US20150058735A1 (en) Relay device, display data sharing system, data control method, and computer-readable storage medium
JP6111753B2 (ja) 情報処理装置、伝送システム、プログラム
JP2011254442A (ja) 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
JP2017041831A (ja) 通信システム、通信管理システム、通信管理方法、及びプログラム
JP2016178356A (ja) 通信装置、通信システム、受信制御方法およびプログラム
JP6347115B2 (ja) 通信管理システム、通信管理方法、及びプログラム
EP3068132A1 (en) Information processing apparatus, information processing system, and information processing method
JP2014086850A (ja) 映像コンテンツ配信装置
JP5899710B2 (ja) 伝送システム
JP6903964B2 (ja) 端末、プログラム、データ送信方法
JP2018011169A (ja) 通信装置、通信システム、通信方法およびプログラム
JP7124483B2 (ja) 通信端末、データ送信方法、プログラム
JP6922267B2 (ja) 端末、プログラム、データ送信方法
JP6213420B2 (ja) 通信装置、通信システム、通信方法およびプログラム
JP2021153284A (ja) 伝送システム、伝送端末およびプログラム
JP6103003B2 (ja) 伝送端末、伝送方法、及びプログラム
JP2015073154A (ja) データ伝送システム、データ伝送プログラム及びデータ伝送方法
JP2012178672A (ja) 中継装置、多拠点テレビ会議システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181022

R151 Written notification of patent or utility model registration

Ref document number: 6432595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151