JP6269610B2 - 情報処理装置、画像表示方法、通信システム、プログラム - Google Patents

情報処理装置、画像表示方法、通信システム、プログラム Download PDF

Info

Publication number
JP6269610B2
JP6269610B2 JP2015148656A JP2015148656A JP6269610B2 JP 6269610 B2 JP6269610 B2 JP 6269610B2 JP 2015148656 A JP2015148656 A JP 2015148656A JP 2015148656 A JP2015148656 A JP 2015148656A JP 6269610 B2 JP6269610 B2 JP 6269610B2
Authority
JP
Japan
Prior art keywords
screen
display
transmission
terminal
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015148656A
Other languages
English (en)
Other versions
JP2017028659A5 (ja
JP2017028659A (ja
Inventor
拓也 今井
拓也 今井
健一郎 森田
健一郎 森田
翔 永峯
翔 永峯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015148656A priority Critical patent/JP6269610B2/ja
Priority to US15/219,854 priority patent/US9864563B2/en
Priority to EP16181258.1A priority patent/EP3125539A1/en
Publication of JP2017028659A publication Critical patent/JP2017028659A/ja
Publication of JP2017028659A5 publication Critical patent/JP2017028659A5/ja
Application granted granted Critical
Publication of JP6269610B2 publication Critical patent/JP6269610B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Description

本発明は、情報処理装置、画像表示方法、通信システム及びプログラムに関する。
インターネット等の通信ネットワークを介して複数の端末装置間でテレビ会議を行う伝送システムの一例としてテレビ会議システムが知られている。このようなテレビ会議システムでは、一方の端末装置でテレビ会議中に収集された画像データ及び音声データを他方の端末装置に送信する。他方の端末装置はこの画像データ及び音声データを受信し、ディスプレイ等に画像を表示したり、スピーカから音声を出力したりすることで、これらの端末装置間でテレビ会議を行うことができる。
しかし、インターネットを通過するデータの遅延は必ずしも一定でないことから分かるように、常に安定した受信帯域が確保される保証はない。このため、テレビ会議で送受信される画像データや音声データの通信のために使用可能な帯域も常に変動している。不安定な受信帯域でも会話し易さを担保するために、端末装置にはメディア制御技術が導入されている。メディア制御技術では会話のしやすさを優先して、受信帯域が低下した場合、解像度が小さい画像データを端末装置が受信する。また、さらに受信帯域が低下した場合、音声データを優先して端末装置は画像データを受信しないように制御する。
メディア制御技術により端末装置が画像データを受信しなくなった場合、送信端末側で画像データの送信を中断したために画像データを受信しなくなった場合とユーザが区別できないおそれがある。このような不都合に対し、画像データが受信されていない理由を受信端末側のユーザに知らせる技術が考案されている(例えば、特許文献1参照。)。特許文献1には、受信帯域の低下により画像データの中継が中断された受信端末が、画像データを受信しない旨又は音声データのみを受信する旨のメッセージを表示する伝送システムが開示されている。
しかしながら、従来のテレビ会議システムでは、メディア制御技術等により端末装置が画像データを受信しなくなった場合に、画面遷移が頻繁に生じるという問題がある。図1を用いて説明する。
図1は、画面遷移の例を説明する図の一例である。図1(a)の会議画面500を起点にして説明する。図1(a)の会議画面500は4つの領域501〜504を表示している。領域502には拠点Aの画像データが、領域503には拠点Bの画像データが、領域504には拠点C(自拠点)の画像データが、それぞれ表示されている。また、領域501には、拠点A〜Cいずれかが送信する表示データ(文書など資料の画像)が表示されている。
図1(a)の状態から受信帯域が低下すると、端末装置は図1(b)の会議画面500を表示する。図1(b)では図1(a)の領域503で表示されていた画像データが表示されなくなり、領域501,505、506が表示されている。あるいは、図1(a)の状態から受信帯域が大きく低下すると、端末装置は図1(c)の会議画面500を表示する。図1(c)では図1(a)の領域502,503で表示されていた画像データが表示されなくなり、領域507,508が表示されている。
このように、受信帯域が低下した際、端末装置が表示する拠点表示数を少なくすると、会議画面500のレイアウト(各拠点の画像データや表示データのサイズ及び場所)が変化する。受信帯域が良化した場合は逆のことが起こる。このため、会議画面500を注視しているユーザにとっては、画面遷移が頻繁に生じることで煩わしく感じるおそれがある。
本発明は、上記課題に鑑み、頻繁な画面遷移が抑制された情報処理装置を提供することを目的とする。
上記課題に鑑み、本発明は、ネットワークを介して他の情報処理装置から受信した画像を表示装置の画面に表示する情報処理装置であって、前記他の情報処理装置から画像を受信する受信手段と、前記表示装置に表示される前記画像の数を通信状況に基づき決定する第一の決定手段と、前記第一の決定手段により決定された前記画像の数に応じて前記画像が表示される前記表示装置の画面のレイアウトを決定する第二の決定手段と、前記第一の決定手段が、前記表示装置の画面に表示されている前記画像の数と異なる数の前記画像の表示を決定する場合、前回決定されたレイアウトから所定時間が経過しているか否かを判断する判断手段と、前記第一の決定手段が、前記画面に表示されている前記画像の数よりも少ない数の前記画像を前記画面に表示すると決定した場合、前記判断手段が前回のレイアウトの変更から所定時間が経過していると判断するまで、前回、変更されたレイアウトのまま前記画面を前記表示装置に表示し、前記第一の決定手段が、前記画面に表示されている前記画像の数よりも多い数の前記画像を前記画面に表示すると決定した場合、前記判断手段が前回のレイアウトの変更から所定時間が経過していないと判断しても、前記第二の決定手段が決定したレイアウトで前記画面を前記表示装置に表示する表示処理手段と、を有する。
頻繁な画面遷移が抑制された情報処理装置を提供することができる。
画面遷移の例を説明する図の一例である。 伝送端末が表示する会議画面の画面遷移の一例を示す図である。 伝送システムによる画像及び音声の送受信を模式的に説明する図の一例である。 伝送システムの概略図の一例である。 伝送システムが制御するいくつかのセッションについて説明する図の一例である。 伝送端末のハードウェア構成図の一例である。 伝送管理システムのハードウェア構成図の一例である。 伝送システムに含まれる伝送管理システム、伝送端末、及び、中継装置の機能ブロック図の一例である。 複数の伝送端末の間で通信を開始する準備段階の処理を示したシーケンス図の一例である。 本実施形態に係る複数の伝送端末の間でセッションを確立する処理の一例のシーケンス図である。 参加者情報テーブルの作成手順を示すフローチャート図の一例である。 代替イメージの一例を示す図である。 伝送端末が参加端末の変更に基づきレイアウトを変更するか否かを判断する手順を示すフローチャート図の一例である。 伝送端末が画像受信、及び、表示データ受信の変動に基づきレイアウトを変更するか否かを判断する手順を示すフローチャート図の一例である。 レイアウト判断の詳細を説明する図の一例である。 レイアウト判断の詳細を説明する図の一例である。 表示制御部が会議画面を作成する手順を示すフローチャート図の一例である。 伝送端末が表示する会議画面の一例を示す図である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
図2は、本実施形態の伝送端末が表示する会議画面500の画面遷移の一例を示す図である。図2(a)の会議画面500では、領域501に拠点A〜Cいずれかが送信する表示データが表示され、領域502には拠点Aの画像データが表示され、領域503には拠点Bの画像データが表示され、領域504には拠点C(自拠点)の画像データが表示されている。図2(a)を起点とする画面遷移を説明する。
(1)表示拠点数が減る場合、伝送端末は前回の(最後の)レイアウト変更から所定時間が経過したか否かを判断する。すなわち、図2(c)から図2(a)又は図2(b)から図2(a)にレイアウト変更されてから、所定時間が経過したか否かを判断する。
(2)所定時間が経過していない場合、伝送端末は図2(b)の会議画面500に遷移する。すなわち、受信帯域が低下した等のため表示拠点数が減る場合、会議画面500のレイアウトを変化させずに、レイアウトは同じまま領域503に表示されていた画像データを表示しなくなる。なお、伝送端末は予め定められた優先順位にしたがって表示しない画像データを決定する。図2(b)では領域503に代替イメージが表示されている。代替イメージについては後述されるが、図2(b)では均一な色(例えば黒)の矩形画像である。
(3)前回のレイアウト変更から所定時間が経過した場合、伝送端末は図2(c)の会議画面500に遷移する。すなわち、代替イメージを表示することなく、レイアウトが変更された会議画面500を表示する。
(4)図2(b)のレイアウトで受信帯域が良化した場合、伝送端末は図2(a)の会議画面500に遷移する。この場合、図2(b)と図2(a)のレイアウトには変更がないので、ユーザが違和感を感じることは少ない。
(5)図2(b)のレイアウトで、図2(a)のレイアウトへの変更から所定時間が経過した場合、伝送端末は表示拠点数に応じたレイアウトに変更する。したがって、受信帯域が低下した等のため表示拠点数が減る場合、所定時間が経過しなければレイアウトが変更されないように画面遷移を制御できる。
(6)図2(c)のレイアウトにおいて受信帯域が良化した場合、伝送端末は図2(a)の会議画面500に遷移する。受信帯域が良化した場合、すぐに図2(a)に画面遷移してもよいし、図2(c)のレイアウトに変更されてから所定時間、経過してから図2(a)に画面遷移してもよい。
このように本実施形態の伝送端末及び画像表示方法は、表示拠点数が減る場合、会議画面500のレイアウトをすぐには変更せず、所定時間が経過してから変更するので頻繁な画面遷移を抑制できる。レイアウトが頻繁に変更されにくいため、ユーザが煩わしく感じることを抑制できる。
<伝送システム1による画像及び音声の送受信>
図3は、伝送システム1による画像及び音声の送受信を模式的に説明する図の一例である。伝送端末Aは拠点1〜Nの伝送端末1〜Nとテレビ会議を行っている。拠点とは伝送端末がある場所をいうが、同じ場所(例えば、会議室)に複数の伝送端末があってもよい。本実施形態では説明の便宜上、拠点数と伝送端末の数と同じであるとして説明する。
伝送端末A、1〜Nにそれぞれディスプレイ120が接続されているが、伝送端末Aがディスプレイ120に表示する会議画面500について説明する。また、伝送端末A、1〜Nの中には情報表示装置40が接続される場合があり、図2では説明の便宜上、伝送端末1に情報表示装置40が接続されている。情報表示装置40が表示するデータを表示データ510という。
伝送端末A、1〜Nはそれぞれネットワーク上の中継装置30と接続されている。中継装置30は画像データ、音声データ及び表示データの少なくとも一つ(以下、画像データ、音声データ及び表示データの少なくとも一方をコンテンツデータという。)を中継する。したがって、図3のように拠点数が1+N個の場合、中継装置30は最大でN個のコンテンツデータを伝送端末Aに送信する。
図3の会議画面500Aでは、伝送端末Aが2つ(<N)の画像(伝送端末1、2の画像とするが1〜Nのどの伝送端末でもよい。また自機である伝送端末Aは数に入れない)をディスプレイ120に同時に表示しているものとする。この数(2)を表示拠点数と称する。伝送端末Aは受信帯域に応じてディスプレイ120に同時に表示する画像データ及び表示データの数を決定できる。この場合、中継装置30は、伝送端末Aが表示している画像データのみを伝送端末Aに送信する。伝送端末Aがコンテンツデータを受信する拠点数を受信拠点数と称する。したがって、
表示拠点数=受信拠点数
である。
また、会議画面500Bのように、伝送端末Aが表示データ510の表示を開始した場合、中継装置30は伝送端末1、2のコンテンツデータに加え表示データを伝送端末Aに送信する。
このように、伝送端末Aはディスプレイ120に表示する画像データ又は表示データのみを受信するので、受信帯域を無駄に消費することを抑制できるようになる。
<システム構成例>
図4は、本実施形態に係る伝送システム1の一例の概略図である。伝送システム1(通信システムの一例)は、伝送管理システム50を介して複数の伝送端末間で情報や感情等を相互に伝達するためのコミュニケーションシステムである。伝送システム1には、テレビ会議システム、テレビ電話システム、音声会議システム、音声電話システム、PC(Personal Computer)画面共有システム、テキストチャットシステム等が例として挙げられる。また、伝送システム1には、伝送管理システム50を介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムが含まれる。
本実施形態では、コミュニケーションシステムの一例としてのテレビ会議を行うことができるシステムを想定して説明する。
図4に示されている伝送システム1は、複数の伝送端末(10aa,10ab,・・・)、複数の携帯端末(20aa,20ab,・・・)、各伝送端末(10aa,10ab,・・・)用のディスプレイ(120aa,120ab,・・・)、複数の中継装置(30a,30b,・・・)、伝送管理システム50、及び、プログラム提供システム90によって構築されている。
複数の伝送端末10は、コンテンツデータの一例としての画像データ及び音声データの送受信を行う。情報表示装置40は省略されている。すなわち、複数の伝送端末10は、テレビ会議サービスを利用することができるテレビ会議端末である。本実施形態では、伝送端末10はテレビ会議に専用の端末であるとする。
他方、複数の携帯端末20は、コンテンツデータの一例としての画像データ及び音声データの送受信を行う。携帯端末20はテキストデータを送受信可能であってもよい。すなわち、複数の携帯端末20は、テレビ会議だけでなく、テキストチャットを利用できてもよい。本実施形態では、携帯端末20は、特に断らない限り、タブレット型端末、携帯電話、スマートフォン、PDA(Personal Digital Assistant)、ウェアラブルPC、ゲーム機器、汎用PC端末、カーナビゲーション端末、電子ホワイトボード、プロジェクタ、監視カメラ、通信機能を備えた産業用機器などであってもよい。また、産業用機器には、MFP(Multifunction Peripheral/Printer/Product)等のオフィス機器、内視鏡等の医療用機器、耕耘機等の農業用機器などが含まれる。ウェアラブルPCには腕時計やヘッドマウントディスプレイ等が含まれる。なお、携帯端末20は、例えば携帯電話通信網やWiFi(Wireless Fidelity)などを介して通信ネットワーク2に無線で接続されている。
後述するハードウェア構成から明らかなように伝送端末10及び携帯端末20は情報処理装置と称される。
伝送端末10及び携帯端末20は、伝送システム1の呼制御を管理する伝送管理システム50により管理される。
なお、以下では、複数の伝送端末(10aa,10ab,・・・)のうちの任意の伝送端末は「伝送端末10」と表され、複数の携帯端末(20aa,20ab,・・・)のうちの任意の携帯端末は「携帯端末20」と表されている。ディスプレイ120、中継装置30、ルータ70についても同様とする。
また、一方の伝送端末10又は携帯端末20から他方の伝送端末10又は携帯端末20へテレビ会議の開始を要求する伝送端末は「要求元端末」と表され、要求先である宛先としての端末は「宛先端末」と表されている。
また、伝送システム1において、要求元端末と宛先端末との間では、伝送管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションが確立される。また、要求元端末と宛先端末との間では、中継装置30を介して、コンテンツデータを送受信するためのセッションが確立される。なお、コンテンツデータのセッションでは、必ず中継装置30を介する必要はなく、伝送管理システム50を介して通信してもよいし、要求元端末と宛先端末とが直接、通信してもよい。
中継装置30は、上記のように、複数の伝送端末10と携帯端末20との間で、コンテンツデータの中継を行う。
伝送管理システム50は、伝送端末10又は携帯端末20の間で呼制御を行う。その他、伝送端末10及び携帯端末20のログイン認証、通話状況の管理、宛先リストの管理、及び、中継装置30に対しコンテンツデータの送信先を通知したり通話状況を管理させる等を行う。
伝送管理システム50は情報処理装置であるが、又は、監視カメラ、通信機能を備えた産業用機器、ウェアラブルPC等であってもよい。また、産業用機器には、MFP等のオフィス機器、内視鏡等の医療用機器、耕耘機等の農業用機器などが含まれる。ウェアラブルPCには腕時計やヘッドマウントディスプレイ等が含まれる。
プログラム提供システム90は、後述のHD(Hard Disk)204に、伝送端末10や携帯端末20に各種機能を実現させるための端末用プログラムを記憶しており、伝送端末10や携帯端末20に端末用プログラムを送信することができる。プログラム提供システム90は後述するHD304に、伝送管理システム50に各種機能を実現させるための管理装置用プログラムをも記憶しており、伝送管理システム50に管理装置用プログラムを送信することができる。
伝送端末(10aa,10ab,10ac,・・・)、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。伝送端末(10ad,10bb,10bc,・・・)、携帯端末(20aa、20ab、…)、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。また、携帯端末(20aa,20ab,・・・)は、地域Aで利用されている。
一方、伝送端末(10ca,10cb,10cc,・・・)、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。伝送端末(10da,10db,10dc,・・・)、携帯端末(20ac、20ad、…)、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカ合衆国であり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。また、携帯端末(20ac,20ad,・・・)は、地域Bで利用されている。
また、伝送管理システム50及びプログラム提供システム90は、インターネット2iを介して、伝送端末10、携帯端末20及び中継装置30と通信可能に接続されている。伝送管理システム50又はプログラム提供システム90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
また、図4において、各伝送端末10、各携帯端末20、各中継装置30、伝送管理システム50、各ルータ70、及び、プログラム提供システム90の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。
<システムの通信状況>
図5は、伝送システム1が制御するいくつかのセッションについて説明する図の一例である。図5に示されているように、伝送システム1において、要求元端末91と宛先端末92との間では、伝送管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、要求元端末91と宛先端末92との間では、中継装置30を介して、高解像度の画像データsed1、中解像度の画像データsed2、低解像度の画像データsed3、及び音声データsed4の4つの各データを送受信するための4つのセッションが確立される。ここでは、これら4つのセッションをまとめて、画像・音声データ用セッションsedとして示している。また、要求元端末と宛先端末との間では、中継装置30を介して、表示データを送受信するためのストリーミング送信sepが行われる。表示データ用のセッションが確立されてもよい。
<ハードウェア構成>
<<伝送端末>>
次に、図6を用いて、伝送端末10のハードウェア構成について説明する。図6は、本実施形態に係る伝送端末のハードウェア構成図の一例である。図6に示されているように、本実施形態の伝送端末10は、伝送端末10全体の動作を制御するCPU(Central Processing Unit)101を有する。また、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、及び、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103を有する。また、端末用プログラム1010、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104を有する。また、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105を有する。また、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、及び、伝送端末10の宛先を選択する場合などに操作される操作ボタン108を有する。また、伝送端末10の電源のON/OFFを切り換えるための電源スイッチ109、及び、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、伝送端末10は、CPU101の制御にしたがって被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、及び、音声を入力する内蔵型のマイク114を有する。また、音声を出力する内蔵型のスピーカ115、及び、CPU101の制御にしたがってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116を有する。また、CPU101の制御にしたがって外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、及び、各種の外部機器を接続するための外部機器接続I/F118を有する。また、認証受付I/F119、及び、上記各構成要素を図6に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示装置である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。伝送端末10のディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続されているが、これに限られず、ディスプレイ120は、伝送端末10に内蔵されていてもよい。
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。
認証受付I/F119は、ユーザから認証情報の入力を受け付けるインタフェースであり、具体的には、ICカードリーダや(例えばNFC(Near field communication))、SDカードやSIMカード等の読み取り器が該当する。
さらに、端末用プログラム1010は、インストール可能な形式又は実行可能な形式のファイルで、記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、端末用プログラム1010は、フラッシュメモリ104ではなくROM102に記憶させるようにしてもよい。
携帯端末20のハードウェア構成については伝送端末10のハードウェア構成と重複している部分が多く、また、その相違があるとしても伝送システム1を構築する上で支障がないものとする。
≪伝送管理システム、中継装置、プログラム提供システム≫
次に、図7を用いて、伝送管理システム50のハードウェア構成について説明する。図7は、本実施形態に係る伝送管理システム50のハードウェア構成図の一例である。
なお、図示する伝送管理システム50等のハードウェア構成は、1つの筐体に収納されていたり一まとまりの装置として備えられていたりする必要はなく、伝送管理システム50等が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応するため、本実施形態の伝送管理システム50等の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。
伝送管理システム50は、伝送管理システム50全体の動作を制御するCPU301、IPL等のCPU301の駆動に用いられるプログラムを記憶したROM302、及び、CPU301のワークエリアとして使用されるRAM303を有する。また、管理装置用プログラム等の各種データを記憶するHD304、及び、CPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)305を有する。また、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ307、及び、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ308を有する。また、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F309、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード311、及び、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス312を有する。また、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)313に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ314を有する。さらに、上記各構成要素を図7に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン310を備えている。
なお、管理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア306やCD−ROM313等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、管理装置用プログラムは、HD304ではなくROM302に記憶されるようにしてもよい。
また、中継装置30及びプログラム提供システム90は、上記の伝送管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。
<伝送システムの機能構成>
次に、図8を用いて本実施形態の伝送システム1の機能構成について説明する。図8は、本実施形態の伝送システム1に含まれる伝送管理システム50、伝送端末10、及び、中継装置30の機能ブロック図である。図8では、伝送端末10、中継装置30、及び伝送管理システム50が通信ネットワーク2を介してデータ通信することができるように接続されている。また、図4に示されているプログラム提供システム90は、テレビ会議の通信において直接関係ないため、図8では省略されている。
<<伝送端末の各機能構成>>
伝送端末10は、送受信部11、ログイン要求部12、音声入力部13、音声出力部14、画像処理部15、映像符号化部16、映像復号部17、帯域情報取得部18、参加者情報取得部19、操作入力受付部21、撮像部22、表示制御部23、宛先リスト作成部24、表示拠点数決定部25、及び、記憶・読出処理部29を有している。これら各部は、図6に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された端末用プログラム1010に従ったCPU101からの命令によって動作することで実現される機能、又は提供される手段である。
また、伝送端末10は、図6に示されているRAM103、ROM102及びフラッシュメモリ104によって構築される記憶部1000を有している。記憶部1000には、表示拠点数管理DB(Data Base)1001、レイアウト管理DB1002、参加者情報DB1003、帯域情報DB1004、優先順位管理DB1005、領域管理DB1006、直前参加端末1030、直前参加者情報1020、代替イメージ1040、及び、端末用プログラム1010が記憶されている。記憶部1000は記憶手段の一例である。
直前参加端末1030はレイアウトを変更するか否かを判断する際に参照される情報であり、参加端末の変更の有無を監視する繰り返し周期における前回の参加端末数である(参加端末については後述される)。直前参加者情報1020はレイアウトを変更するか否かを判断する際に参照される情報であり、参加者情報の変更の有無を監視する繰り返し周期における前回の参加者情報テーブル又はこれと同等の情報である。代替イメージ1040は、伝送端末10が表示していた画像データ又は表示データが受信されなくなった場合に、画像データ又は表示データが表示されていた領域に表示されるイメージ(静止画又は動画)である。
以下、各データベースについて説明する。
Figure 0006269610
記憶部1000には、表示拠点数管理テーブルによって構成されている表示拠点数管理DB1001が構築される。表示拠点数管理テーブルでは、受信帯域に対し、表示拠点数が対応づけて管理される。受信帯域が大きいほど表示拠点数(同時に表示される拠点数)が大きくなっている。例えば、受信帯域が「0〜200kbps」では表示拠点数は1であるが、受信帯域が「200〜400kbps」では表示拠点数は2である。
Figure 0006269610
記憶部1000には、レイアウト管理テーブルによって構成されているレイアウト管理DB1002が構築される。レイアウト管理テーブルでは、表示拠点数に対し、表示拠点、水平方向開始点、水平方向終点、垂直方向始点及び垂直方向終点が対応付けられて管理される。例えば、表示拠点数が1拠点の場合、該拠点の画像データは、ディスプレイ120の水平方向と垂直方向の0%を始点とし、水平方向と垂直方向の100%を終点として表示される。つまり、ディスプレイの全体を1つの画像データで使用する。
Figure 0006269610
記憶部1000には、参加者情報テーブルによって構成されている参加者情報DB1003が構築される。参加者情報テーブルには、各参加端末ごとに画像受信、音声受信、及び、表示データ受信の識別情報とそれぞれの有無が対応づけられている。参加端末とは、セッションが確立している伝送端末である。参加端末は、コンテンツデータの受信又は送信の少なくとも一方が可能な状態であるが、受信又は送信しているとは限らない。
伝送端末10ab(通信IDは01ab)を例にすると、Bpは伝送端末10abの画像データID、Bvは伝送端末10abの音声データID、Bdは伝送端末10abの表示データID、をそれぞれ意味する。つまり、Bpは伝送端末10abが送信する画像データを他の伝送端末10や中継装置30が一意に識別する識別情報であり、Bvは伝送端末10abが送信する音声データを一意に識別する識別情報であり、Bdは伝送端末10abが送信する表示データを一意に識別する識別情報である。以下では、画像受信、音声受信、及び、表示データ受信の識別情報を区別しない場合、「データID」と称することにする。参加者情報テーブルの作成方法は図11にて説明される。
なお、本実施形態で用いられるIDは、識別される対象を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、通信ID及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。
Figure 0006269610
記憶部1000には、帯域情報テーブルによって構成されている帯域情報DB1004が構築される。帯域情報テーブルは、送信と受信のそれぞれについて、画像、音声、表示データ、及び、合計の帯域が登録されている。画像の受信帯域を例に取ると、200kbpsが確保されており、現在の拠点数の画像の受信を適切に行えている。帯域情報テーブルは周期的に更新されることが好ましい。あるいは最大の更新期間を超えないように適宜、更新される。
Figure 0006269610
記憶部1000には、優先順位テーブルによって構成されている優先順位管理DB1005が構築される。優先順位テーブルには、優先順位に対応づけて伝送端末10ab〜10ad等(自機以外の参加端末の通信ID)が登録される。この優先順位は数値が小さいほどディスプレイ120に優先して表示されることを示す。中継装置30は音声データを送信した他の拠点の伝送端末10の優先順位が高くなるように優先順位テーブルを更新している。したがって、優先順位テーブルでは、最近、音声を発した拠点ほど優先順位が高くなる傾向になる。これにより、伝送端末10は音声を発する頻度が多い拠点(伝送端末10)の画像データをディスプレイ120に表示しやすくなる。
中継装置30は音声データを受信することで優先順位テーブルを作成する。中継装置30は優先順位テーブルを伝送端末10に直接、又は、伝送管理システム50を介して伝送端末10に送信する。これにより、伝送端末10は優先順位テーブルに基づいて会議画面500のどの領域にどの画像を配置するかを決定できる。なお、参加端末でなくなった伝送端末10(例えばログアウトした伝送端末10)は優先順位テーブルから削除される。
また、通信IDでなく表示データIDが優先順位テーブルに登録されてもよい。表示データを画像データと同様に扱うことができる。
Figure 0006269610
記憶部1000には、領域管理テーブルによって構成されている領域管理DB1006が構築される。領域管理テーブルには、会議画面500の領域I〜IVに対応づけてデータIDが登録される。領域I〜IVのかっこ内の数字は符号である。領域管理テーブルには、現在の会議画面500の各領域に表示されている画像データの画像データID又は表示データの表示データIDが登録されている。したがって、画像データ又は表示データを送信している伝送端末10も特定される。
なお、以上でDBやテーブルと称したのは説明の便宜のためであって、記憶部1000に記憶されている情報がDBやテーブルの形態で記憶されている必要はない。これは以降の説明でも同様である。
(伝送端末の各機能構成)
次に、図6及び図8を用いて、伝送端末10の各機能構成について詳細に説明する。伝送端末10の送受信部11は、図6に示されているCPU101からの命令、及び図6に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して中継装置30及び伝送管理システム50と各種データの送受信を行う。送受信部11は、所望の宛先端末と通信を開始する前から、伝送管理システム50と宛先候補としての各端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各伝送端末10の稼動状態(オンラインかオフラインかの状態)だけでなく、オンラインであってもさらに通信中であるか、離籍中であるか等の詳細な状態を示す。送受信部11は受信手段の一例である。
ログイン要求部12は、図6に示されているCPU101からの命令によって実現され、電源ONの受け付けを契機として、送受信部11から通信ネットワーク2を介して伝送管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、ユーザが電源スイッチ109をONの状態からOFFにすると、送受信部11が伝送管理システム50へ電源をOFFする旨の状態情報を送信した後に、操作入力受付部21が電源を完全にOFFにする。これにより、伝送管理システム50側では、伝送端末10が電源ONから電源OFFになったことを把握することができる。
音声入力部13は、図6に示されているCPU101からの命令、及び図6に示されている音声入出力I/F116によって実現され、マイク114によってユーザの音声が音声信号に変換された後、この音声信号に係る音声データを入力する。
音声出力部14は、図6に示されているCPU101からの命令、及び図6に示されている音声入出力I/F116によって実現され、音声データに係る音声信号をスピーカに出力し、スピーカ115から音声を出力させる。
画像処理部15は、図6に示されているCPU101からの命令等により実現され、伝送端末10が送信する画像及び表示データ(表示データを送信する場合)の画像処理を行う。例えば、ノイズ処理、鮮明化、縦横比の調整などを行う。
映像符号化部16は、図6に示されているCPU101からの命令及びディスプレイI/F等により実現され、伝送端末10が送信する画像及び表示データを符号化する(圧縮や暗号化を含む)。なお、映像符号化部16は音声の符号化も行う。
映像復号部17は、図6に示されているCPU101からの命令及びディスプレイI/F等により実現され、伝送端末10が受信した画像データ及び表示データを復号する(解凍や暗号の復号を含む)。なお、映像復号部17は音声の復号も行う。
帯域情報取得部18は、図6に示されているCPU101からの命令及びネットワークI/F111等により実現され、通信ネットワーク2の現在の受信帯域及び送信帯域を取得する。受信帯域及び送信帯域は帯域情報テーブルに登録される。例えば、伝送管理システム50や中継装置30との平均的な通信速度を測定したり、伝送管理システム50や中継装置30から帯域情報を取得する。実際の通信速度をそのまま利用できる帯域として扱うのでなく、例えばある一定期間内の最大の通信速度を求め、その値を利用できる帯域として扱ってもよい。
参加者情報取得部19は、図6に示されているCPU101からの命令等により実現され、現在の会議の参加端末に関する情報を取得し参加者情報DB1003の参加者情報テーブルに登録する。参加者情報テーブルに登録される情報は、伝送管理システム50及び中継装置30から取得される。
操作入力受付部21は、図6に示されているCPU101からの命令、並びに図6に示されている操作ボタン108及び電源スイッチ109によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、図6に示されている電源スイッチ109をONにすると、図6に示されている操作入力受付部21が電源ONを受け付けて、電源をONにする。
撮像部22は、図6に示されているCPU101からの命令、並びに図6に示されているカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。
表示制御部23は、図6に示されているCPU101からの命令、及び図6に示されているディスプレイI/F117によって実現され、会議画面500を生成し、ディスプレイ120に対して画像データを送信するための制御を行う。表示制御部23は表示処理手段の一例である。さらに、表示制御部23はレイアウト判断部23a及び時間判断部23bを有している。レイアウト判断部23aは、表示拠点数に基づいて会議画面500のレイアウトを判断する。レイアウト判断部23aはレイアウト決定手段の一例である。時間判断部23bは、レイアウトが最後に変更されてから所定時間が経過したか否かを判断する。時間判断部23bは判断手段の一例である。表示制御部23は、レイアウト判断部23aが判断したレイアウトで会議画面500を作成する。
宛先リスト作成部24は、図6に示されているCPU101からの命令等により実現され、伝送管理システム50から受信した、各宛先候補としての伝送端末10の状態情報に基づいて、宛先候補の伝送端末10の状態がアイコンで示された宛先リストの作成及び更新を行う。
表示拠点数決定部25は、図6に示されているCPU101からの命令等により実現され、現在の通信状況(主に受信帯域)に基づき表示拠点数管理テーブルを参照し、表示拠点数を決定する。表示拠点数決定部25は表示数決定手段の一例である。
また、記憶・読出処理部29は、図6に示されているCPU101からの命令、及び図6に示すSSD105によって実行され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。なお、記憶部1000には、図示されるものの他、宛先端末との通話を行う際に受信される画像データ、音声データ及び表示データが受信される度に上書き記憶される。
<<伝送管理システムの機能構成>>
伝送管理システム50は、送受信部51、端末認証部52、状態管理部53、端末状態取得部54、セッション管理部55、端末抽出部56、及び、記憶・読出処理部59を有している。これら各部は、図7に示されている各構成要素のいずれかが、HD305からRAM303上に展開された管理装置用プログラム5010に従ったCPU301からの命令によって動作することで実現される機能又は提供される手段である。
また、伝送管理システム50は、図7に示されているHDD305、RAM303、ROM302等により構築される記憶部5000を有している。以下、記憶部5000に記憶されている各種データベースについて説明する。
Figure 0006269610
記憶部5000には、中継装置管理テーブルによって構成されている中継装置管理DB5001が構築されている。この中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、各中継装置30の稼動状態、稼動状態が示される状態情報が伝送管理システム50で受信された受信日時、中継装置30のIPアドレス、及び中継装置30における最大データ伝送速度(Mbps)が関連付けられて管理される。
Figure 0006269610
また、記憶部5000には、端末認証管理テーブルによって構成されている端末認証管理DB5002が構築されている。この端末認証管理テーブルでは、伝送管理システム50によって管理される全ての伝送端末10の通信IDに対して、各パスワードが関連付けられて管理される。
Figure 0006269610
また、記憶部5000には、端末管理テーブルによって構成されている端末管理DB5003が構築されている。この端末管理テーブルでは、各伝送端末10の通信ID毎に、各伝送端末10を宛先とした場合の名称(宛先名)、各伝送端末10の稼動状態、後述のログイン要求情報が伝送管理システム50で受信された受信日時、及び伝送端末10のIPアドレスが関連付けられて管理される。
Figure 0006269610
また、記憶部5000には、宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、テレビ会議における通話の開始を要求する要求元端末の通信IDに対して、宛先端末の候補として登録されている宛先端末の通信IDが全て関連付けられて管理される。例えば、表10に示されている宛先リスト管理テーブルにおいて、通信IDが「01aa」である要求元端末(伝送端末10aa)からテレビ会議における通話の開始を要求することができる宛先端末の候補は、通信IDが「01ab」の伝送端末10ab、通信IDが「01ac」の伝送端末10ac、通信IDが「01ad」の伝送端末10ad、及び通信IDが「01bb」の伝送端末10bb等であることが示されている。
Figure 0006269610
また、記憶部5000には、セッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、中継装置30を選択するためのセッションの実行に用いられるセッションID毎に、画像データ及び音声データの中継に使用される中継装置30の中継装置ID、要求元端末の通信ID、宛先端末の通信ID、及び、会議ID、が関連付けられて管理される。セッションIDはセッションを識別するためのIDであり同じ会議に参加する伝送端末10が同じセッションに含まれるとは限らない。これに対し会議IDは同じ会議に参加する伝送端末10に同じものが付与される。
(伝送管理システムの各機能構成)
次に、伝送管理システム50の各機能構成について詳細に説明する。送受信部51は、図7に示されているCPU301からの命令及びネットワークI/F309によって実行され、通信ネットワーク2を介して伝送端末10又は中継装置30と各種データの送受信を行う。
端末認証部52は、図7に示されているCPU301からの命令によって実現され、送受信部51を介して受信されたログイン要求情報に含まれている通信ID及びパスワードを検索キーとし伝送端末10を認証する。すなわち、端末認証管理DB5002を検索し、端末認証管理DB5002に同一の通信ID及びパスワードが管理されているかを判断することによって端末認証を行う。なお、認証方法はこれに限られず、クライアント証明書(公開鍵と秘密鍵を用いた認証方法)を用いてもよい。
状態管理部53は、図7に示されているCPU301からの命令によって実現され、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理DB5003にこの要求元端末の通信ID、要求元端末の稼動状態、伝送管理システム50でログイン要求情報が受信された受信日時、及び要求元端末のIPアドレスを関連付けて記憶して管理する。
また、状態管理部53は、ユーザが伝送端末10の電源スイッチ109をONの状態からOFFにすることで、伝送端末10から送られてきた、電源をOFFする旨の状態情報に基づいて、端末管理DB5003のオンラインを示す稼動状態をオフラインに変更する。
端末抽出部56は、図7に示されているCPU301からの命令によって実現され、ログイン要求した要求元端末の通信IDをキーとして宛先リスト管理DB5004を検索し、要求元端末と通話することができる宛先端末の候補の通信IDを読み出す。また、端末抽出部56は、ログイン要求してきた要求元端末の通信IDをキーとして、宛先リスト管理DB5004を検索し、要求元端末の通信IDを宛先端末の候補として登録している他の要求元端末の通信IDも抽出する。
端末状態取得部54は、図7に示されているCPU301からの命令によって実現され、端末抽出部56によって抽出された宛先端末の候補の通信IDを検索キーとして、端末管理DB5003を検索し、端末抽出部56によって抽出された通信ID毎に稼動状態を読み出す。これにより、端末状態取得部54は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。
セッション管理部55は、図7に示されているCPU301からの命令によって実現され、セッション管理DB5005に、セッションID、要求元端末の通信ID、宛先端末の通信ID、及び、会議IDを関連付けて記憶して管理する。
記憶・読出処理部59は、図7に示されているCPU301からの命令及びHDD305によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。
<<中継装置の機能構成>>
中継装置30は、送受信部31、状態検知部32、及び記憶・読出処理部39を有している。これら各部は、図7に示されている各構成要素のいずれかが、HD304からRAM303上に展開された中継装置用プログラム3010に従ったCPU301からの命令によって動作することで実現される機能又は提供される手段である。
また、中継装置30は記憶部3000を有しており、この記憶部3000は図7に示されているHD304により構築されている。記憶部3000には中継管理DB3001、中継装置用プログラム3010が記憶されている。
Figure 0006269610
記憶部3000には、表12に示されているような中継管理テーブルによって構成されている中継管理DB3001が構築されている。この中継管理テーブルでは、会議IDに対応づけて、この会議に参加している伝送端末10の通信ID、IPアドレス、及びデータIDが登録されている。
中継装置30の送受信部31は、図7に示されているCPU301からの命令及び図7に示されているネットワークI/F309によって実現され、通信ネットワーク2を介して伝送端末10又は伝送管理システム50と各種データの送受信を行う。
状態検知部32は、図7に示されているCPU301からの命令によって実現され、この状態検知部32を有する中継装置30の稼動状態を検知する。稼動状態としては、「オンライン」、「オフライン」、「通話中」又は「一時中断」等の状態がある。
記憶・読出処理部39は、図7に示されているCPU301からの命令及びHDD305によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出す処理を行う。
<通信の開始からセッションの確立まで>
図9は、複数の伝送端末10の間で通信を開始する準備段階の処理を示したシーケンス図の一例である。図9では伝送端末10aaが伝送端末10ac、10ab,10adと通信を開始する準備の処理を説明する。
まず、ユーザが電源スイッチ109をONにすると伝送端末10aaの操作入力受付部21が電源ONを受け付けて、電源をONにする(ステップS21)。そして、伝送端末10aaのログイン要求部12は電源ONの受信を契機とし、送受信部11から通信ネットワーク2を介して伝送管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。ログイン要求は電源ON時だけでなくユーザ操作によって任意のタイミングで送信されることができる。このログイン要求情報には、要求元である伝送端末10aaを識別するための通信ID、及びパスワードが含まれている。なお、伝送端末10aaから伝送管理システム50へログイン要求情報が送信される際は、受信側である伝送管理システム50は、伝送端末10aaの「IPアドレス」を把握することができる。なお、携帯端末20が要求元端末の場合、操作入力受付部21がユーザのログイン操作を受け付けて、通信ID及びパスワードを伝送管理システム50に送信する。
次に、伝送管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている通信ID及びパスワードと同一の通信ID及びパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。本実施形態では、認証が成立したものとして説明する。
端末認証部52によって、伝送端末10の認証が成立した場合、状態管理部53は端末管理テーブルに、伝送端末10aaの通信ID、「稼動状態」、「通信状態」、上記ログイン要求情報が受信された「受信時間」、及び伝送端末10aaの「IPアドレス」を関連付けて記憶する(ステップS24)。なお、この時の「稼動状態」は"オンライン"である。
伝送管理システム50の送受信部51は、端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介してログイン要求してきた伝送端末10aaに送信する(ステップS25)。
伝送管理システム50の端末抽出部56は、ログイン要求した伝送端末10aaの通信IDである"01aa"を検索キーとして、宛先リスト管理テーブルを検索し、伝送端末10aaと通信することができる伝送端末の候補の通信IDを読み出すことによって抽出する(ステップS26)。ここでは、伝送端末10aaの通信IDである"01aa"に対応する宛先端末(10ab,10ac、10ad、10bb)のそれぞれの通信IDである"01ab"、"01ac"、"01ad"、"01bb"が抽出されることになる。
次に、端末状態取得部54は、端末抽出部56によって抽出された伝送端末10ab、10ac、10ad、10bbの通信ID("01ab"、"01ac"、"01ad"、"01bb")を検索キーとして端末管理テーブルを検索し、通信ID毎に「稼動状態」を読み出す(S27)。ここでは説明のため、伝送端末10ab、10ac、10adが"オンライン"、伝送端末10bbが"オフライン"であるとする。
次に、送受信部51は、端末抽出部56が抽出した通信ID("01ab"、"01ac"、"01ad"、"01bb")と「稼動状態」とが含まれた宛先状態情報を、通信ネットワーク2を介して伝送端末10aaに送信する(ステップS28)。これにより、伝送端末10aaは、伝送端末10aaと通信することができる伝送端末(10ab,10ac、10ad、10bb)の現時点のそれぞれの「稼動状態」を把握することができる。
さらに、伝送管理システム50の端末抽出部56は、ログイン要求してきた伝送端末10aaの通信IDである"01aa"を検索キーとして、宛先リスト管理テーブルを検索し、通信IDである"01aa"を宛先端末の候補として登録している伝送端末10の通信IDを抽出する(ステップS29)。上記の宛先リスト管理テーブルでは、抽出される他の伝送端末10の通信IDは"01ab""01ac""01ad""01bb"である。
次に、伝送管理システム50の端末状態取得部54は、ログイン要求して来た伝送端末10aaの通信IDである"01aa"を検索キーとして、端末管理テーブルを検索し伝送端末10aaの「稼動状態」を取得する(ステップS30)。
そして、送受信部51は、上記ステップS29で抽出された通信ID("01ab"、"01ac""01ad""01bb")に係る伝送端末10のうち、端末管理テーブルで「稼動状態」が"オンライン"となっている伝送端末10に、上記ステップS30で取得された伝送端末10aaの通信IDである"01aa"と「稼動状態」として"オンライン"が含まれる宛先状態情報を送信する(ステップS31、S32、S33)。したがって、伝送端末10ab、10ac、10adに宛先状態情報が送信される。なお、送受信部51が伝送端末10ab、10ac、10adに宛先状態情報を送信する際に、通信ID("01ab"、"01ac"、"01ad")に基づいて、端末管理テーブルで管理されている伝送端末10の「IPアドレス」を参照する。
伝送端末10aaの宛先リスト作成部24は、宛先リストの情報と宛先端末の候補の「稼動状態」とを受け取ると、宛先リスト画面を作成し、表示装置203に表示させる(ステップS34)。この場合の宛先リスト画面には、伝送端末10ab、10ac、10adの名称と「稼動状態」として"オンライン"が表示され、伝送端末10bbの名称と「稼動状態」として"オフライン"が表示される。
一方、他の伝送端末10ab、10ac、10adでも、図9と同様の処理を行うことで、各伝送端末10ab、10ac、10adが宛先候補の伝送端末10のディスプレイ120に宛先リスト画面が表示される。
図10は、本実施形態に係る複数の伝送端末10の間でセッションを確立する処理の一例のシーケンス図である。
ユーザが伝送端末10aaの操作ボタン108から宛先リスト画面に表示された通信IDとして例えば"01ac"の宛先端末を選択すると、操作入力受付部21は、接続を開始する要求を受け付ける(ステップS41)。
伝送端末10aaの送受信部11は、伝送端末10aaの通信IDである"01aa"と、「宛先端末の通信ID」である"01ac"とが含まれ、接続を開始したい旨を示す開始要求情報を伝送管理システム50に送信する(ステップS42)。これにより、伝送管理システム50は要求元端末(伝送端末10aa)の「IPアドレス」を把握する。
次に、伝送管理システム50のセッション管理部55は「セッションID」を生成する(ステップS43)。「セッションID」としては重複しないIDが生成される。
そして、この生成した「セッションID」と、要求元端末(伝送端末10aa)の通信IDである"01aa"と、宛先端末(伝送端末10ac)の通信IDである"01ac"とをセッション管理DB5005に関連付けて記憶して管理する(ステップS44)。また、会議IDを付与する。
さらに、伝送管理システム50のセッション管理部55は、要求元端末と宛先端末とが通信するのに適切な中継装置30を決定する(ステップS45)。中継装置30を決定するための方法は、例えば受信と送信の帯域が最も広いネットワーク上にある中継装置30を選択する等の方法が考えられる。
なお、中継装置30を選択せずに、要求元端末及び宛先端末間で直接セッションを確立してもよいし、伝送管理システム50を介したセッションを確立してもよい。
そして、伝送管理システム50の送受信部51は、ステップS43で生成した「セッションID」と、ステップS45で決定した中継装置30の「IPアドレス」とを要求元端末(伝送端末10aa)及び宛先端末(伝送端末10ac)に送信する(ステップS46,47)。
伝送端末10acの表示制御部23は要求元端末(伝送端末10aa)の通信IDをディスプレイ120(携帯端末20の場合は表示装置203)に表示するなどして、操作入力受付部21がユーザによるテレビ会議の許可を受け付ける。そして、伝送端末10acの送受信部11は開始許可を伝送管理システム50に送信する(ステップS47−1)。
次に、伝送管理システム50の状態管理部53は、中継開始要求情報として、要求元端末(伝送端末10aa)の「IPアドレス」と通信ID、宛先端末(伝送端末10ac)の「IPアドレス」と通信ID、及び、会議IDを中継装置30に送信する(ステップS48)。中継装置30は中継管理テーブルにおいて会議IDに通信IDを対応づけて管理する。また、中継装置30は通信IDに重複しないデータIDを付与する。データIDは各伝送端末10に通知されてもよいし、されなくてもよい。通知される場合、伝送端末10はコンテンツデータにデータIDを付与して中継装置30に送信する。通知されない場合、中継装置30がIPアドレス等に基づき伝送端末10を識別しコンテンツデータにデータIDを付与して伝送端末10に送信する。
中継装置30の送受信部31は伝送管理システム50から通信IDを受信すると、伝送端末10aaと10acが送信する通信IDを元にこれらがコンテンツデータの送信先であることを検出する。これにより、要求元端末(伝送端末10aa)と宛先端末(伝送端末10ac)との間でセッションが確立される(ステップS49)。セッションが確立することで、伝送端末10aaは中継装置30を介してコンテンツデータを伝送端末10acに送信し、伝送端末10acは中継装置30を介してコンテンツデータを伝送端末10aaに送信する。
次に、伝送端末10aaのユーザが招待通知を伝送管理システム50に送信する(ステップS50)。招待通知とは、すでにセッションが確立されているテレビ会議に別の伝送端末10を参加させるための通知である。招待通知には招待通知を送信した伝送端末10aaの通信IDである"01aa"、招待される伝送端末10ab、10adの通信IDである"01ab" "01ad"が含まれる。また、伝送管理システム50は招待通知を送信した伝送端末10aaの「IPアドレス」を取得する。
伝送管理システム50の送受信部51が招待通知を受信すると、伝送管理システム50の端末状態取得部54は端末管理テーブルから招待される伝送端末10ab、10adの「IPアドレス」を取得する。これにより、伝送管理システム50の送受信部51は伝送端末10ab、10adに招待通知を送信する(ステップS51)。
伝送端末10ab、10adの表示制御部23は要求元端末(伝送端末10aa)の通信IDをディスプレイ120(携帯端末20の場合は表示装置203)に表示するなどして、操作入力受付部21がユーザによるテレビ会議への招待に対する応答を受け付ける。ここではユーザは招待を受諾したものとする。そして、伝送端末10ab、10adの送受信部11は招待受諾を伝送管理システム50に送信する(ステップS52)。
伝送管理システム50のセッション管理部55は伝送端末10ab、10adに伝送端末10aa、10acと同じ会議IDを付与する。
伝送管理システム50の送受信部51は招待通知を送信した伝送端末10aaに招待受諾を送信する(ステップS53)。
この後、伝送管理システム50の送受信部51は招待された伝送端末10ab、10adに関し、ステップS47、S48の処理を行うことで、伝送端末10aaと10acのセッションに伝送端末10ab、10adが参加することができる。すなわち、中継装置30は同じ会議IDの伝送端末10aa、10ac、10ab、10adの間でコンテンツデータを送信(転送)する。
以降は、要求元端末(伝送端末10aa)、宛先端末(伝送端末10ac)、及び、招待された伝送端末10ab、10adとの間で、中継装置30を介してコンテンツデータが送受信される。
<参加者情報テーブルの作成>
次に、図11を用いて参加者情報テーブルの作成について説明する。図11は、参加者情報テーブルの作成手順を示すフローチャート図の一例である。図11の手順はコンテンツデータの送受信の間、繰り返し実行される。繰り返しの周期は、会議画面500のレイアウトを更新する周期である。この周期は、例えば、受信帯域が安定しているか否かが監視される期間に基づき決定される。固定値として数十ミリ秒から数十秒としてもよい。あるいは、受信帯域の変動の傾向を数値化して図11の繰り返しの周期を決定してもよい。例えば、受信帯域が頻繁に変動する場合は周期を短くし、受信帯域が変動しにくい場合は周期を長くする。
会議画面500のレイアウトを判断するタイミングになると、参加者情報取得部19は直前の参加端末数を直前参加端末1030として記憶部1000に記憶しておく(S10)。これは、参加端末数の増減を把握するためである。
また、参加者情報取得部19は直前の参加者情報を直前参加者情報1020として記憶部1000に記憶しておく(S20)。これは、受信している画像データ又は表示データに変更があるか否かを把握するためである。
次に、参加者情報取得部19は、伝送管理システム50から参加端末の通信IDを取得する(S30)。参加端末の通信IDはセッション管理テーブルに登録されている。
次に、参加者情報取得部19は、中継装置30から同じ会議IDに紐付けられている伝送端末10の通信IDとデータIDを取得する(S40)。中継装置30はコンテンツデータを送信していない伝送端末10についても通信IDとデータIDを送信する。
また、伝送端末10aaは中継装置30介してコンテンツデータを送信する伝送端末10からコンテンツデータと共にデータIDを受信している(S50)。なお、伝送端末10aaは受信するコンテンツデータを決定するメディア制御を行う。簡単に説明する。
a)受信帯域から表示拠点数を決定する。
b)ステップS30の結果から参加端末数を決定する。
c)表示拠点数と参加端末数の少ない方を最終的に表示拠点数に決定する
d)受信拠点数を表示拠点数と同じに決定する。
e)優先順位テーブルの上位から受信拠点数の伝送端末10を特定する。
伝送端末10aaはこのようにして決定した伝送端末10のコンテンツデータを中継装置30に要求する。
なお、すでにコンテンツデータが受信されている場合(すでに参加者情報テーブルが作成されている場合)、伝送端末10は以下のように制御する。
(i) 優先順位テーブルで決定された伝送端末10のうちすでにコンテンツデータが受信されている伝送端末10については何もしない。
(ii) 優先順位テーブルで決定された伝送端末10のうちまだコンテンツデータが受信されていない伝送端末10について、コンテンツデータの送信を中継装置30に要求する。
(iii) 優先順位テーブルで決定された伝送端末10でないがコンテンツデータが受信されている伝送端末10について、コンテンツデータの停止を中継装置30に要求する。
参加者情報取得部19は、伝送端末10のデータIDごとに(つまり、画像データ、音声データ、表示データごとに)中継装置30からコンテンツデータが実際に送信されるか否かを判断し、通信IDに対応づけて画像、音声、表示データの有無を登録する(S60)。これにより、参加者情報テーブルが得られる。
<代替イメージについて>
図1にて説明したように、領域503で表示されていた画像データが受信されなくなると、伝送端末10は領域503に代替イメージを表示した。
図12(a)は図1にて表示された代替イメージを示す。上記のように、図1の代替イメージ(代替画像の一例)は均一色の矩形画像である。ただし、代替イメージは現在のレイアウトを維持するためのものなので、均一色である必要はなく。どのような画像でもよい。例えば、グラデーションが施されていてもよいし、市松模様や格子のような幾何学画像でもよい。図12(a)の代替イメージは記憶部1000に代替イメージ1040として記憶されている。
図12(b)は代替イメージの別の例を示す。代替イメージとして拠点や参加端末の情報を表示してもよい。図12(b)の拠点の名称は、伝送管理システム50の端末管理テーブルに登録されている。参加者氏名や連絡先は、通信相手のユーザが携帯端末20を使用している場合は、携帯端末20が保持しているプロフィール情報が利用される。プロフィール情報は、携帯端末20で動作するアプリ(APP)にユーザが登録している。また、通信相手のユーザが伝送端末10を使用している場合、ユーザが携帯するICカードや携帯端末20から伝送端末10の認証受付I/F119がプロフィール情報を読み出す。表示制御部23はこれらから代替イメージを作成する。図12(b)の代替イメージが表示されることで、代替イメージを表示した伝送端末10のユーザはどの拠点の画像データ又は表示データが表示されなくなったかを把握できる。
図12(c)は代替イメージの別の例を示す。代替イメージとして、画像データを表示してもよい。この画像データは、伝送端末10が画像データを受信しなくなるまでに受信した画像データの一フレームである。好ましくは、最後に受信したフレーム又は画像データを受信しなくなる直前に受信したフレームである。このような代替イメージは静止画であるが、代替イメージを見ているユーザは、画像データが受信されていないことに気づきにくいため、違和感を感じにくい。
なお、伝送端末10が受信した画像データは次々と上書きされながら記憶部1000に記憶される。したがって、表示制御部23は記憶部1000から画像データを読み出すことで最後に受信した画像データを用いて代替イメージを作成することができる。
図12(d)は代替イメージの別の例を示す。代替イメージとして、画像データが表示されない理由を表示してもよい。図12(d)では「AC会議室の画像データを受信できなくなりました」と表示されている。また、「AC会議室がログアウトしました」と表示される場合もある。参加者情報テーブルには参加端末が登録され、直前参加端末1030には直前の参加端末が登録されているので、比較することで画像データが表示されなくなった理由がログアウトしたことだと分かる。また、参加者情報テーブルに参加端末として登録されているが、画像受信が「なし」になっている場合、画像データを受信しなくなったことが分かる。表示制御部23は参加者情報テーブルを参照して、画像データが表示されない理由が記載された代替イメージを作成する。図12(d)の代替イメージが表示された場合、ユーザは画像データが表示されない理由を把握できる。
なお、図12(a)〜(d)の2つ以上を組み合わせて代替イメージが作成されてもよい。また、伝送端末10の使用方法や広告などの動画を表示してもよい。
<レイアウトの判断>
図13、14を用いて、コンテンツデータを送受信している伝送端末10aaがレイアウトを変更する契機について説明する。図13は、伝送端末10aaが参加端末の変更に基づきレイアウトを変更するか否かを判断する手順を示すフローチャート図の一例である。図13の手順は繰り返し実行される。
レイアウト判断部23aは参加者情報テーブルから参加者情報を取得する(S10)。
次に、レイアウト判断部23aは直前参加者情報1020を参照して参加端末が変更になったか否かを判断する(S20)。参加端末が変更になったか否かの判断では、主に参加端末数(拠点の数)が変更されたか否かが判断される。しかし、同じ参加端末数のまま、参加端末が変更される(拠点の数が同じまま拠点が入れ替わる)ことも検出可能である。
ステップS20の判断がYesの場合、レイアウト判断部23aは参加端末が変更されることでレイアウトを変更する可能性があるため、レイアウト判断処理を行う(S30)。レイアウト判断処理については図15にて説明される。
図14は、伝送端末10aaが画像受信、及び、表示データ受信の変動に基づきレイアウトを変更するか否かを判断する手順を示すフローチャート図の一例である。図14の手順は繰り返し実行される。
レイアウト判断部23aは参加者情報テーブルと直前参加者情報1020を読み出す(S10)。
次に、レイアウト判断部23aは受信メディアに変更があるか否かを判断する(S20)。受信メディアとは、画像データ又は表示データをいう。画像受信、及び、表示データ受信の有無に1つでも変更がある場合、ステップS20の判断はYesとなる。なお、音声受信の有無についてはレイアウトに与える影響が少ないので音声受信の有無の変更は判断しなくてもよいが、判断してもよい。
ステップS20の判断がYesの場合、レイアウト判断部23aは画像受信や表示データ受信の有無が変わることでレイアウトを変更する可能性があるため、レイアウト判断処理を行う(S30)。レイアウト判断処理については図15にて説明される。
図15は、レイアウト判断の詳細を説明する図の一例である。図15は、図13又は図14でレイアウト判断を行うと判断されるとスタートする。
まず、レイアウト判断部23aは、現在の表示拠点数と新たな表示拠点数を取得する(S10)。現在の表示拠点数は、現在、会議画面500に表示されている拠点数である。新たな表示拠点数は、図13にて説明したc)の「受信帯域から決定された表示拠点数と参加端末数の少ない方」である。
レイアウト判断部23aは、表示拠点数が減るか否かを判断する(S20)。ステップS20の判断がNoの場合、処理はステップS60に進み、表示制御部23が会議画面500を出力する。ステップS60の詳細は図17にて説明される。
ステップS20の判断がYesの場合、伝送端末10の時間判断部23bは前回のレイアウト変更から30秒以上経過しているか否かを判断する(S30)。
ステップS30の判断がNoの場合、レイアウト判断部23aは表示拠点数決定部25が決定した表示拠点数を現在の表示拠点数で置き換える(S40)。すなわち、前回のレイアウトの変更から30秒が経過していないので、現在の表示拠点数を維持する。これにより、頻繁な画面遷移を抑制できる。
次に、レイアウト判断部23aは代替イメージを作成する(S50)。つまり、画像受信(又は表示データ受信)がなくなるので、その分の領域に表示するための代替イメージを作成する。
表示制御部23は、代替イメージを含む又は含まない会議画面500を作成しディスプレイ120に出力する(S60)。
ステップS30の判断がYesの場合、レイアウト変更から30秒間が経過しているので処理はステップS60に進む。したがって、表示拠点数決定部25が決定した表示拠点数で代替イメージを含まない会議画面500を作成する(S60)。
以上のような処理により、表示拠点数が減る場合は、最後のレイアウトの変更から次のレイアウトの変更までに必ず30秒の間隔が必要になるので、頻繁な画面遷移を抑制できる。
なお、30秒としたのは、30秒程度の間隔でレイアウト変更すると煩わしさは大幅に軽減できることが実験的に確かめられているためである。しかし、30秒は一例に過ぎず、例えば30秒未満、又は30秒以上としてもよい。
また、表示拠点数が増える場合も、最後のレイアウトの変更から次のレイアウトの変更までに30秒の間隔を設けてよい。
図16は図15の変形例を示すフローチャート図の一例である。図16ではステップ20で表示拠点数が一定か否か判断されている(S20)。ステップS20の判断がNoの場合、ステップS30が処理されるので、最後のレイアウトの変更から次のレイアウトの変更までに30秒の間隔を設けることができる。
また、表示拠点数が減る場合と増える場合で、最後のレイアウトの変更から次のレイアウトの変更までの時間を異ならせてもよい。
<会議画面の出力>
図17は、表示制御部23が会議画面500を作成する手順を示すフローチャート図の一例である。図17の手順は、例えば図15、16のステップS60で実行される。
まず、レイアウト判断部23aは優先順位テーブルの上位から図15のステップS10又はS40で決定した表示拠点数の伝送端末10を特定する(S10)。これにより、話者の画像データは表示されやすくなる。
次に、レイアウト判断部23aは図15のステップS10又はS40で決定した表示拠点数に基づきレイアウト管理テーブルを参照してレイアウトを決定する(S20)。
表示制御部23は、レイアウトが決定された会議画面500の各領域に画像データ又は表示データを配置する(S30)。
次に、レイアウト判断部23aは画像データが表示されなくなった伝送端末10があるか否かを判断する(S40)。ステップS40の判断は、図13にて説明した(iii)と同様に行われる。
ステップS40の判断がYesの場合、レイアウト判断部23aは画像データが表示されなくなった伝送端末10の画像データが表示されていた領域を領域管理テーブルから特定する(S50)。
表示制御部23はステップS50で特定された領域に代替イメージを配置する(S60)。
以上のようにして、受信帯域の減少や参加端末の減少により受信されなくなったコンテンツデータを送信していた領域に代替イメージが配置された会議画面500を表示できる。
<<会議画面の遷移例>>
図18(a)は、伝送端末10aaが表示する会議画面500の一例を示す。領域501に伝送端末10adが送信する表示データが表示され、領域502に伝送端末10acが送信する画像データが表示され、領域503に伝送端末10acが送信する画像データが表示され、領域504に自端末である伝送端末10aaの画像データが表示されている。
伝送端末10aaが伝送端末10abの画像データを受信しなくなった場合、図18(b)に示すように、伝送端末10aaは領域502に代替イメージを表示する。
また、図18(c)の状態から(図18(a)と同様)、受信帯域が急に悪化したため、伝送端末10aaが伝送端末10ab、10acの表示データを受信しなくなった場合、図18(d)に示すように、伝送端末10aaは領域502,503に代替イメージを表示する。
図18では表示データが優先されているが、表示データが優先されずに代替イメージに置き換わってもよい。また、表示データが表示されていない場合、領域501の画像データが代替イメージに置き換わる場合もある。図18(e)では領域501に伝送端末10adが送信する画像データが表示されている。図18(e)の状態から、伝送端末10adが送信する画像データが受信されなくなると、図18(f)に示すように、伝送端末10aaは領域501に代替イメージを表示する。
以上のように本実施形態の伝送端末10は、表示拠点数が減る場合、最後のレイアウトの変更から所定時間が経過するまでレイアウトを変更しない。これにより、頻繁な画面遷移を抑制でき、ユーザが煩わしく感じることを抑制できる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態では、中継装置30を介して伝送端末10が通信しているが、伝送端末10は中継装置を介さずに通信してもよい。このような通信の通信プロトコルとして例えばWebRTC(Web Real-Time Communication)が知られている。この場合も、受信帯域に応じて表示拠点数を決定できる。
また、図8などの構成例は、伝送管理システム50及び伝送端末10による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。伝送管理システム50及び伝送端末10の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
また、本実施形態では説明の都合上、伝送管理システム50と中継装置30を別々の装置として説明したが、両者の機能が統合された装置が伝送管理システム50と中継装置30の機能を提供してもよい。
また、伝送システム1が複数の伝送管理システム50を有していてもよく、伝送管理システム50の機能が複数のサーバに分散して配置されていてもよい。
また、伝送管理システム50が記憶部5000に有する各データベースの1つ以上は通信ネットワーク上に存在していてもよい。伝送端末10が記憶部1000に有するデータベースについても同様である。
表示装置としてディスプレイ120を例にしたが、プロジェクタ、HUD(Head Up Display)、テレビ受像器、カーナビゲーション端末、など画像を表示できるものであればよい。
1 伝送システム
2 通信ネットワーク
10 伝送端末
18 帯域情報取得部
19 参加者情報取得部
23 表示制御部
23a レイアウト判断部
23b 時間判断部
25 拠点数決定部
特開2013-55403号公報

Claims (8)

  1. ネットワークを介して他の情報処理装置から受信した画像を表示装置の画面に表示する情報処理装置であって、
    前記他の情報処理装置から画像を受信する受信手段と、
    前記表示装置に表示される前記画像の数を通信状況に基づき決定する第一の決定手段と、
    前記第一の決定手段により決定された前記画像の数に応じて前記画像が表示される前記表示装置の画面のレイアウトを決定する第二の決定手段と、
    前記第一の決定手段が、前記表示装置の画面に表示されている前記画像の数と異なる数の前記画像の表示を決定する場合、前回決定されたレイアウトから所定時間が経過しているか否かを判断する判断手段と、
    前記第一の決定手段が、前記画面に表示されている前記画像の数よりも少ない数の前記画像を前記画面に表示すると決定した場合、
    前記判断手段が前回のレイアウトの変更から所定時間が経過していると判断するまで、前回、変更されたレイアウトのまま前記画面を前記表示装置に表示し、
    前記第一の決定手段が、前記画面に表示されている前記画像の数よりも多い数の前記画像を前記画面に表示すると決定した場合、
    前記判断手段が前回のレイアウトの変更から所定時間が経過していないと判断しても、前記第二の決定手段が決定したレイアウトで前記画面を前記表示装置に表示する表示処理手段と、を有する情報処理装置。
  2. 前記第一の決定手段が、前記表示装置の画面に表示されている前記画像の数よりも少ない数の前記画像を前記表示装置の画面に表示すると決定した場合、
    前記表示処理手段は、前回のレイアウトで前記表示装置の画面に表示されている前記画像の1つ以上を代替画像に置き換えて前記表示装置の画面に表示する請求項1に記載の情報処理装置。
  3. 前記表示処理手段は、前回、決定されたレイアウトの前記表示装置の画面に表示されていた前記画像のうち、前記受信手段が受信しなくなった前記画像を前記代替画像に置き換えて前記画面に表示する請求項2に記載の情報処理装置。
  4. 前記代替画像は、均一色の画像である請求項2又は3に記載された情報処理装置。
  5. 前記表示処理手段は、前記受信手段が受信しなくなった前記画像を送信していた前記他の情報処理装置の情報を前記代替画像として表示するか、又は
    前記受信手段が前記画像を受信しなくなった理由を前記代替画像として表示する請求項2又は3に記載された情報処理装置。
  6. ネットワークを介して他の情報処理装置から受信した画像を表示装置の画面に表示する情報処理装置が行う画像表示方法であって、
    受信手段が、前記他の情報処理装置から画像を受信するステップと、
    第一の決定手段が、前記表示装置に表示される前記画像の数を通信状況に基づき決定するステップと、
    第二の決定手段が、前記第一の決定手段により決定された前記画像の数に応じて前記表示装置の画面のレイアウトを決定するステップと、
    前記第一の決定手段が前記表示装置の画面に表示されている前記画像の数と異なる数の前記画像の表示を決定する場合、判断手段が、前回決定されたレイアウトから所定時間が経過しているか否かを判断するステップと、
    前記第一の決定手段が、前記画面に表示されている前記画像の数よりも少ない数の前記画像を前記画面に表示すると決定した場合、
    前記判断手段が前回のレイアウトの変更から所定時間が経過していると判断するまで、前回、変更されたレイアウトのまま前記画面を前記表示装置に表示するステップと、
    前記第一の決定手段が、前記画面に表示されている前記画像の数よりも多い数の前記画像を前記画面に表示すると決定した場合、
    前記判断手段が前回のレイアウトの変更から所定時間が経過していないと判断しても、前記第二の決定手段が決定したレイアウトで前記画面を前記表示装置に表示するステップと、を有する画像表示方法。
  7. ネットワークを介して他の情報処理装置から受信した画像を表示装置の画面に表示する情報処理装置を、
    前記他の情報処理装置から画像を受信する受信手段と、
    前記表示装置に表示される前記画像の数を通信状況に基づき決定する第一の決定手段と、
    前記第一の決定手段により決定された前記画像の数に応じて前記画像が表示される前記表示装置の画面のレイアウトを決定する第二の決定手段と、
    前記第一の決定手段が、前記表示装置の画面に表示されている前記画像の数と異なる数の前記画像の表示を決定する場合、前回決定されたレイアウトから所定時間が経過しているか否かを判断する判断手段と、
    前記第一の決定手段が、前記画面に表示されている前記画像の数よりも少ない数の前記画像を前記画面に表示すると決定した場合、
    前記判断手段が前回のレイアウトの変更から所定時間が経過していると判断するまで、前回、変更されたレイアウトのまま前記画面を前記表示装置に表示し、
    前記第一の決定手段が、前記画面に表示されている前記画像の数よりも多い数の前記画像を前記画面に表示すると決定した場合、
    前記判断手段が前回のレイアウトの変更から所定時間が経過していないと判断しても、前記第二の決定手段が決定したレイアウトで前記画面を前記表示装置に表示する表示処理手段、として機能させるためのプログラム。
  8. ネットワークを介して他の情報処理装置から受信した画像を情報処理装置が表示装置の画面に表示する通信システムであって、
    前記他の情報処理装置から画像を受信する受信手段と、
    前記表示装置に表示される前記画像の数を通信状況に基づき決定する第一の決定手段と、
    前記第一の決定手段により決定された前記画像の数に応じて前記画像が表示される前記表示装置の画面のレイアウトを決定する第二の決定手段と、
    前記第一の決定手段が、前記表示装置の画面に表示されている前記画像の数と異なる数の前記画像の表示を決定する場合、前回決定されたレイアウトから所定時間が経過しているか否かを判断する判断手段と、
    前記第一の決定手段が、前記画面に表示されている前記画像の数よりも少ない数の前記画像を前記画面に表示すると決定した場合、
    前記判断手段が前回のレイアウトの変更から所定時間が経過していると判断するまで、前回、変更されたレイアウトのまま前記画面を前記表示装置に表示し、
    前記第一の決定手段が、前記画面に表示されている前記画像の数よりも多い数の前記画像を前記画面に表示すると決定した場合、
    前記判断手段が前回のレイアウトの変更から所定時間が経過していないと判断しても、前記第二の決定手段が決定したレイアウトで前記画面を前記表示装置に表示する表示処理手段と、を有する通信システム。
JP2015148656A 2015-07-28 2015-07-28 情報処理装置、画像表示方法、通信システム、プログラム Active JP6269610B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015148656A JP6269610B2 (ja) 2015-07-28 2015-07-28 情報処理装置、画像表示方法、通信システム、プログラム
US15/219,854 US9864563B2 (en) 2015-07-28 2016-07-26 Information processing apparatus, image display method, and communication system
EP16181258.1A EP3125539A1 (en) 2015-07-28 2016-07-26 Information processing apparatus, image display method, and communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015148656A JP6269610B2 (ja) 2015-07-28 2015-07-28 情報処理装置、画像表示方法、通信システム、プログラム

Publications (3)

Publication Number Publication Date
JP2017028659A JP2017028659A (ja) 2017-02-02
JP2017028659A5 JP2017028659A5 (ja) 2017-04-27
JP6269610B2 true JP6269610B2 (ja) 2018-01-31

Family

ID=56939855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015148656A Active JP6269610B2 (ja) 2015-07-28 2015-07-28 情報処理装置、画像表示方法、通信システム、プログラム

Country Status (3)

Country Link
US (1) US9864563B2 (ja)
EP (1) EP3125539A1 (ja)
JP (1) JP6269610B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6747025B2 (ja) * 2016-04-13 2020-08-26 セイコーエプソン株式会社 表示システム、表示装置、及び、表示システムの制御方法
JP6677061B2 (ja) 2016-04-22 2020-04-08 株式会社リコー 通信装置、通信システム、及びプログラム
JP6634965B2 (ja) 2016-06-20 2020-01-22 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
US11323684B2 (en) * 2018-11-30 2022-05-03 Ricoh Company, Ltd. Apparatus, system, and method of processing image data to be relayed
JP7400316B2 (ja) 2019-10-04 2023-12-19 株式会社リコー 通信システム、データ共有方法、プログラム、通信端末
CN110996037A (zh) * 2019-11-14 2020-04-10 苏州中车建设工程有限公司 一种多点视频会议画面显示系统及其控制方法
CN112135244A (zh) * 2020-09-22 2020-12-25 广东新华乐育科技有限公司 终端的管控方法、装置、计算机设备以及可读存储介质
KR20230023397A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466946B2 (ja) * 1999-01-29 2003-11-17 キヤノン株式会社 マルチ画像表示システムおよびマルチ画像表示方法
US20050099492A1 (en) * 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
US8856371B2 (en) * 2006-08-07 2014-10-07 Oovoo Llc Video conferencing over IP networks
JP5049908B2 (ja) * 2008-07-30 2012-10-17 富士フイルム株式会社 コンテンツ文書再生データ作成装置、方法およびプログラム
US8405702B1 (en) 2008-11-24 2013-03-26 Shindig, Inc. Multiparty communications systems and methods that utilize multiple modes of communication
JP4987946B2 (ja) * 2009-11-17 2012-08-01 パイオニア株式会社 通信装置
CN102934127B (zh) * 2010-04-28 2016-11-16 基文影像公司 用于显示体内图像部分的系统和方法
KR101683291B1 (ko) * 2010-05-14 2016-12-06 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
JP5811334B2 (ja) 2011-09-01 2015-11-11 株式会社リコー 伝送管理システム、伝送管理方法、プログラム、及び伝送システム
US8817065B1 (en) * 2012-08-20 2014-08-26 Google Inc. Live videocast to social network
JP6099912B2 (ja) * 2012-09-14 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法及びそのプログラム
JP6171303B2 (ja) 2012-10-15 2017-08-02 株式会社リコー 伝送端末、伝送方法、及びプログラム
JP6369101B2 (ja) 2013-06-28 2018-08-08 株式会社リコー 伝送端末、プログラム、画像表示方法、伝送システム
JP6610103B2 (ja) 2014-09-29 2019-11-27 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
US9954912B2 (en) 2014-09-29 2018-04-24 Ricoh Company, Ltd. Apparatus, system, and method of controlling transmission of data
US9800629B2 (en) 2014-09-29 2017-10-24 Ricoh Company, Ltd. Apparatus, system, and method of controlling transmission of data
JP2016072970A (ja) 2014-09-29 2016-05-09 株式会社リコー 伝送管理装置、通信端末、通信システム、伝送方法、及びプログラム
JP6565557B2 (ja) 2014-11-26 2019-08-28 株式会社リコー 通信端末、通信システム、出力制御方法、及びプログラム
US9374556B2 (en) 2014-11-26 2016-06-21 Ricoh Company, Ltd. Apparatus, system, and method of controlling output of content data, and recording medium

Also Published As

Publication number Publication date
US9864563B2 (en) 2018-01-09
US20170031646A1 (en) 2017-02-02
EP3125539A1 (en) 2017-02-01
JP2017028659A (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6269610B2 (ja) 情報処理装置、画像表示方法、通信システム、プログラム
JP6269609B2 (ja) 情報処理装置、画像表示方法、通信システム、プログラム
JP5953689B2 (ja) 伝送管理システム、伝送システム、及び伝送管理システム用プログラム
CA2876918C (en) Transmission system, external input device, and program for converting display resolution
JP6111753B2 (ja) 情報処理装置、伝送システム、プログラム
JP5811334B2 (ja) 伝送管理システム、伝送管理方法、プログラム、及び伝送システム
US10079867B2 (en) Apparatus, system, and method of controlling output of content data, and recording medium
JP6399204B2 (ja) 情報処理装置、画面切り替え方法、プログラム、伝送システム
JP6634686B2 (ja) 情報処理装置、プログラム、通信プラットフォーム決定方法、伝送システム
JP2016082455A (ja) 伝送システム、伝送端末、伝送方法及び伝送プログラム
JP2017016328A (ja) コード構造および情報処理プログラム
EP3065373A1 (en) Communication system, communication method, relay device, and computer program product
JP6531443B2 (ja) 伝送システム、方法、および、プログラム
US9955118B2 (en) Information processing apparatus, communication system, and recording medium
JP2017028660A (ja) 情報処理装置、画像表示方法、通信システム、プログラム
JP6531391B2 (ja) 伝送管理システム、伝送システム、中継装置制御方法、及びプログラム
JP7318461B2 (ja) 通信システム、通信端末、通信方法、通信端末のプログラムおよびアプリケーションプログラム
JP2017092646A (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2017034374A (ja) 伝送管理システム、伝送システム、情報処理装置、伝送管理方法、及びプログラム
JP6451253B2 (ja) 伝送管理システム、伝送システム、中継装置制御方法、及びプログラム
JP6593392B2 (ja) 伝送方法、中継装置、及びプログラム
JP6269781B2 (ja) 伝送システム
JP6582559B2 (ja) 状態情報管理装置、状態情報処理方法、プログラム、及び、伝送システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170321

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170321

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170706

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171218

R151 Written notification of patent or utility model registration

Ref document number: 6269610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151