以下に、本発明の実施の形態について、添付の図面を参照して説明する。
<システムの構成>
図1は、一実施形態に係る会議システムのシステム構成の例を示す図である。会議システム100は、例えば、インターネットやLAN(Local Area Network)等のネットワーク160を介して通信可能に接続される複数の会議端末110a、110b、110c、・・・、呼制御サーバ130、及び画像配信サーバ140等を有する。なお、以下の説明の中で、複数の会議端末110a、110b、110c、・・・のうち、任意の会議端末を示す場合、「会議端末110」を用いる。
会議端末110は、コンピュータの構成を有する端末装置であり、会議システム100用の専用端末であっても良いし、会議システム100のアプリケーションプログラム(以下、アプリと呼ぶ)を実行する汎用の情報端末であっても良い。ここでは、会議端末110が、会議システム100用の専用端末であるものとして、以下の説明を行う。
会議端末110は、例えば、呼制御サーバ130の制御により、画像配信サーバ140を介して他の会議端末110と通信を行い、会議の映像(動画像、音声等)を送受信することができる。これにより、例えば、会議端末110aの利用者は、他の会議端末110b、110cの利用者と、リアルタイムに送受信される会議の画像や音声を介してビデオ会議を行うことができる。なお、ビデオ会議は、テレビ会議、又は遠隔会議等と呼ばれる場合もある。
呼制御サーバ130は、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムであり、複数の会議端末110間で行われる会議の通信を制御する。
画像配信サーバ140は、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムであり、会議に参加している会議端末110間の音声や画像等のコンテンツデータの配信(中継)を行う。
例えば、会議端末110a、110b、110cが同じ会議に参加している場合、画像配信サーバ140は、会議端末110aから送信されたコンテンツデータを受信し、受信したコンテンツデータを会議端末110b、110cに配信する。また、画像配信サーバ140は、会議端末110bから送信されたコンテンツデータを受信し、受信したコンテンツデータを会議端末110a、110cに配信する。同様に、画像配信サーバ140は、会議端末110cから送信されたコンテンツデータを受信し、受信したコンテンツデータを会議端末110a、110bに配信する。
このように、画像配信サーバ140は、会議に参加している一の会議端末110から送信されたコンテンツデータを受信し、受信したコンテンツデータを会議に参加している他の会議端末110に配信する。これにより、会議端末110は、会議に参加する会議端末110の数が増えた場合でも、コンテンツデータを画像配信サーバ140に送信するだけで良いので、会議端末110の負荷を低減させることができる。
また、本実施形態に係る会議システム100では、例えば、会議端末110aの外部I/F(Interface)111に接続された情報端末120等に表示している表示画面を、共有画面として他の会議端末110b、110cと共有することができる。なお、情報端末120は、外部I/F111に接続される外部機器の一例である。外部I/F111に接続される外部機器は、例えば、電子ホワイトボード等の電子機器であっても良い。
図2は、一実施形態に係る会議端末が表示する表示画面のイメージを示す図である。図1に示す会議システム100において、会議端末110aと会議端末110bとの間で会議が行われている場合、会議端末110bの表示部には、例えば、図2に示すような表示画面200が表示される。
図2の例では、表示画面200には、会議端末110aが撮影した会議画像210、会議端末110bが撮影した会議画像220、及び共有画像230が表示されている。共有画像230は、例えば、会議端末110aの外部I/F111に接続された情報端末120や電子ホワイトボード等が表示している表示画面や、表示画面をキャプチャした静止画像等である。
例えば、会議端末110aの利用者は、情報端末120に表示されている表示画面を、会議端末110bの利用者と共有したい場合、情報端末120が表示している表示画面を動画像として共有する。この場合、図2の共有画像230に表示されている画像は、情報端末120への操作に応じて、経時的に変化する。例えば、会議端末110aの利用者が、情報端末120が表示しているウィンドウのサイズを変えると、共有画像230に表示されているウィンドウ231のサイズも変化する。
一方、会議端末110aの利用者は、例えば、会議資料等の説明を行うときに、説明の対象となる表示画面をキャプチャして、静止画像として共有することもできる。これにより、会議端末110aの利用者は、説明の対象となる表示画面を、共有画像230に表示したまま、情報端末120の表示画面を自由に利用することができるようになる。
ただし、共有画像230として静止画像を共有している場合、会議に新たな会議端末110cが参加すると、会議端末110cは、共有画像230が配信されていないので、共有画像230を表示することができない。また、共有画像230が動画像の場合であっても、フレーム間の差分のみを配信している場合、会議に新たな会議端末110cが参加すると、会議端末110cは、元となる画像が配信されていないので、フレーム間の差分にみでは動画像を表示することができない。
このように、会議に新たに参加した会議端末110cが共有画像230を表示できない場合、会議端末110cは、例えば、画像配信サーバ140を介して、配信元の会議端末110aに共有画像の更新を要求する更新要求を送信する。
しかし、共有画像230として静止画像を共有している場合、会議端末110aが共有画像を更新してしまうと、情報端末120が表示している表示画面が共有画像としてキャプチャされてしまうので、利用者が意図しない表示画面が共有されてしまう場合がある。
そこで、本実施形態に係る会議システム100では、静止画像を共有画像として共有している会議端末110aは、共有画像の更新要求を受け付けると、更新要求が、会議に新たな会議端末110が参加したことによる更新要求であるか否かを判断する。
また、会議端末110aは、受付した共有画像の更新要求が、会議に新たな会議端末110が参加したことによる更新要求でない場合、共有画像を更新し、他の会議端末110に更新した共有画像を配信する。
なお、既に会議に参加している会議端末110bが、共有画像の更新要求するケースとしては、例えば、ネットワーク160に起因する通信エラー等により、共有画像が正しく表示できない場合等が考えられる。しかし、このようなケースは、発生頻度が低く、また、共有画像を送信した直後(例えば、数秒以内等)に行われることが多いので、共有画像を更新しても問題にならない場合が多い。
一方、会議端末110aは、受付した共有画像の更新要求が、会議に新たな会議端末110cが参加したことによる更新要求である場合、共有画像の更新を中止する。これは、会議に新たな会議端末110が参加する場合には、共有画像を送信してから時間が経っていることが多く、共有画像を更新してしまうと、利用者が意図していない表示画面によって共有画像が更新されてしまうためである。
このように、本実施形態に係る会議端末110は、共有画像の更新要求が、会議を開始した後に、会議に新たな会議端末110cが参加したことによる更新要求であるとき、共有画像の更新を中止する。これにより、会議端末110は、意図していない表示画面によって共有画像230が更新されてしまうことを低減することができる。
以上、本実施形態によれば、複数の会議端末110の間で画像を共有する会議システム100において、利用者が意図していない表示画面に共有画像が更新されてしまうことを低減させることができる。
<ハードウェア構成>
(会議端末のハードウェア構成)
図3は、一実施形態に係る会議端末のハードウェア構成の例を示す図である。会議端末110は、例えば、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、ストレージ304、入力装置305、ネットワークI/F306、カメラ307、撮像素子I/F308、スピーカ309、マイク310、音声I/F311、ディスプレイ312、表示I/F313、外部I/F111、及びシステムバス314等を有する。なお、入力装置305、カメラ307、スピーカ309、マイク310、及びディスプレイ312のうち、少なくとも一部は、会議端末110の外部に接続されているものであっても良い。
CPU301は、ストレージ304、ROM302等に記憶されたプログラムを実行することにより、会議端末110の全体の動作を制御する演算装置である。ROM302は、例えば、IPL(Initial Program Loader)等のCPU301の起動に用いられるプログラムを記憶した不揮発性のメモリである。RAM303は、CPU301のワークエリア等として用いられる揮発性のメモリである。ストレージ304は、OS(Operating System)、アプリ、データ等を記憶する大容量の記憶装置であり、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等によって実現される。
入力装置305は、利用者による操作を受け付ける入力デバイスであり、例えば、操作ボタン、キーボード、タッチパネル等によって実現される。ネットワークI/F306は、会議端末110をネットワーク160に接続して、他の装置の通信を行うための通信インタフェースである。
カメラ307は、被写体を撮像して画像データを取得する撮像デバイスである。撮像素子I/F308は、カメラ307を会議端末110に接続するためのインタフェースである。スピーカ309は、音声I/F311から出力される音声信号を音声に変換して出力する。マイク310は、周辺の音声を取得して、音声信号に変換し、音声I/F311に出力する。音声I/F311は、スピーカ309、及びマイク310を会議端末110に接続するためのインタフェースであり、例えば、増幅回路、音量調整回路等が含まれる。
ディスプレイ312は、会議端末110の表示画面を表示する表示装置である。表示I/F313は、ディスプレイ312を会議端末110に接続するためのインタフェースである。
外部I/F111は、例えば、情報端末120等の外部機器を会議端末110に接続するためのインタフェースである。なお、外部I/F111は、有線接続に限られず、無線通信を用いて、外部機器を会議端末110に接続するものであっても良い。
システムバス314は、上記の各構成要素を、例えば、図2に示すように接続し、アドレス信号、データ信号、及び各種の制御信号を伝送する。
(呼制御サーバ、及び画像配信サーバのハードウェア構成)
呼制御サーバ130、及び画像配信サーバ140は、一般的なコンピュータのハードウェア構成を有している。ここでは、一般的なコンピュータのハードウェア構成について説明する。
図4は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ400は、例えば、CPU401、RAM402、ROM403、ストレージ404、ネットワークI/F405、入力装置406、表示装置407、外部接続I/F408、及びバス409等を有する。
CPU401は、ROM403やストレージ404等に格納されたプログラムやデータをRAM402上に読み出し、処理を実行することで、コンピュータ400の各機能を実現する演算装置である。RAM402は、CPU401のワークエリア等として用いられる揮発性のメモリである。ROM403は、電源を切ってもプログラムやデータを保持する不揮発性のメモリである。
ストレージ404は、例えば、HDDやSSD等の大容量の記憶装置であり、OS、アプリ、各種のデータ等を記憶する。ネットワークI/F405は、コンピュータ400をネットワーク160等に接続するための通信インタフェースである。
入力装置406は、例えば、マウス等のポインティングデバイスや、キーボード等の入力デバイスであり、コンピュータ400に各操作信号を入力するために用いられる。表示装置407はディスプレイ等の表示デバイスであり、コンピュータ400による処理結果等を表示する。
外部接続I/F408は、コンピュータ400に外部装置を接続するためのインタフェースである。外部装置には、例えば、記憶媒体410等が含まれる。バス409は、上記の各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。
[第1の実施形態]
続いて、第1の実施形態に係る会議システムの機能構成について説明する。
<機能構成>
図5は、第1の実施形態に係る会議システムの機能構成の例を示す図である。なお、図5において、会議端末110b、110cは、会議端末110aと同様の機能構成を有しているものとする。
(会議端末の機能構成)
会議端末(端末装置)110は、例えば、送受信部511、操作受付部512、表示制御部513、音声入出力部514、撮像部515、端末情報管理部516、共有画像送信部517、更新判断部518、更新要求部519、及び記憶部520等を有する。
会議端末110は、例えば、図3のCPU301で所定のプログラムを実行することにより、上記の各機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
送受信部511は、例えば、図3のCPU301で実行されるプログラム、及びネットワークI/F306等によって実現され、ネットワーク160を介して、他の会議端末110、呼制御サーバ130、画像配信サーバ140と通信を行う。
例えば、送受信部511は、呼制御サーバ130と制御用のセッションを確立し、呼制御サーバ130へのログイン処理、及び会議の開始、終了、参加等の通信制御を行う。また、送受信部511は、呼制御サーバ130の制御に従って、画像配信サーバ140と通信用のセッションを確立し、同じセッションに参加している他の会議端末110との間で、会議映像(動画像、音声等)、及び共有画像等の送受信を行う。
操作受付部512は、例えば、図3のCPU301で実行されるプログラムによって実現され、図3の入力装置305等を用いて、利用者による入力操作(例えば、発信、応答、宛先指定の操作等)を受け付ける。
表示制御部513は、例えば、図3のCPU301で実行されるプログラムによって実現され、図3のディスプレイ312等の表示部に会議の表示画面200を表示させる。なお、会議の表示画面200には、例えば、図2に示すように、他の会議端末110が撮影した1つ以上の会議画像210、自端末が撮影した会議画像220、及び共有画像230等が含まれる。
音声入出力部514は、例えば、図3のCPU301で実行されるプログラムによって実現される。音声入出力部514は、例えば、図3のマイク310と音声I/F311とを用いて、会議の音声を取得する。また、音声入出力部514は、例えば、図3のスピーカ309と音声I/F311とを用いて、他の会議端末110から送信される会議音声を出力する。
撮像部515は、例えば、図3のCPU301で実行されるプログラムによって実現され、図3のカメラ307、撮像素子I/F308等を用いて、図2の表示画面200に含まれるような会議画像210を撮像する。
端末情報管理部516は、例えば、図3のCPU301で実行されるプログラムによって実現され、会議に参加している他の会議端末110の情報を、図6(a)に示すような端末情報601に記憶して管理する。
図6(a)は、会議端末110の記憶部520に記憶される端末情報601の一例のイメージを示している。図6(a)の例では、端末情報601には、「端末ID」、「通信開始時間」、「通信終了時間」等の情報が含まれる。
「端末ID」は、会議端末110と同じ会議に参加している他の会議端末110を識別する識別情報である端末IDが記憶される。「通信開始時間」は、会議端末110と同じ会議に参加している他の会議端末110が、通信を開始した時刻(会議に参加した時刻)が記憶される。「通信終了時間」は、会議端末110と同じ会議に参加していた他の会議端末110が、通信を終了した時刻(会議を退出した時刻)が記憶される。
端末情報管理部516は、例えば、会議を開始するとき、会議を退出するとき、会議に参加するとき等に、呼制御サーバ130から通知される制御情報に基づいて、上記の端末ID、通信開始時間、及び通信終了時間等の情報を管理する。
共有画像送信部517は、例えば、図3のCPU301で実行されるプログラムによって実現される。共有画像送信部517は、外部I/F111等によって接続された外部装置から共有画像を取得し、取得した共有画像を会議に参加している他の会議端末110に送信する。例えば、共有画像送信部517は、外部I/F111に接続された情報端末120が表示している表示画面(表示画像)をキャプチャした静止画像を取得する。また、共有画像送信部517は、取得した静止画像を共有画像として、会議に参加している他の会議端末110に送信する。
更新判断部518は、例えば、図3のCPU301で実行されるプログラムによって実現される。更新判断部518は、共有画像の更新を要求する更新要求を受け付けたとき、端末情報管理部516が管理する端末情報601を用いて、更新要求が、会議を開始した後に会議に新たな端末装置が参加したことによる更新要求であるか否かを判断する。なお、更新判断部518による更新処理の例については、図10を用いて後述する。
更新要求部519は、例えば、図3のCPU301で実行されるプログラムによって実現され、表示制御部513が画像配信サーバ140からされる共有画像を表示部に表示できない場合、画像配信サーバ140に共有画像の更新を要求する更新要求を送信する。
例えば、図1において、会議端末110aと会議端末110bとの間で会議が行われているものとする。また、会議端末110aと会議端末110bとの間で、情報端末120から取得した共有画像(静止画像)が共有され、会議端末110bの表示部には、例えば、図2に示すように共有画像230を含む表示画面200が表示されているものとする。
この会議に、会議端末110cが参加すると、会議端末110cは、会議端末110aが配信した共有画像(静止画像)を表示することができないので、共有画像の更新を要求する更新要求を、画像配信サーバ140(又は呼制御サーバ130)に送信する。
記憶部520は、例えば、図3のCPU301で実行されるプログラム、及びストレージ304、RAM303等によって実現され、図6(a)に示すような端末情報601や端末ID等の様々な情報を記憶する。
(呼制御サーバの機能構成)
呼制御サーバ130は、例えば、送受信部531、通信制御部532、会議管理部533、及び記憶部534等を有する。
呼制御サーバ130は、例えば、図4のCPU401で所定のプログラムを実行することにより、上記の各機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
送受信部531は、例えば、図4のCPU401で実行されるプログラム、及びネットワークI/F405等によって実現され、ネットワーク160を介して、会議端末110、画像配信サーバ140と通信を行う。
通信制御部532は、例えば、図4のCPU401で実行されるプログラムによって実現され、会議端末110の間で会議を行うための通信を制御する。例えば、通信制御部532は、会議端末110の間における、発信、呼出、応答、参加、切断等の制御を行う。
会議管理部533は、例えば、図4のCPU401で実行されるプログラムによって実現され、会議システム100で開催されている会議の情報を、例えば、図6(b)に示すような会議情報602に記憶して管理する。
図6(b)は、第1の実施形態に係る会議情報602の一例のイメージを示している。図6(b)の例では、会議情報602には、「会議ID」、「開始日時」、「通信時間」、「要求元端末ID」、「宛先端末ID」、「参加端末ID」、「参加時刻」、及び「参加時刻」等の情報が含まれる。
「会議ID」は、会議を識別する識別情報であり、新たな会議が開始されるとき、会議管理部533によって生成される。「開始日時」は、会議を開始した日時を示す情報である。「通信時間」は、会議を開始してから現在までの時間を示す情報である。
「要求元端末ID」は、会議の開始を要求した会議端末110(以下、要求元端末と呼ぶ)を識別する端末IDである。「宛先端末ID」は、要求元端末によって、宛先として指定された会議端末110(以下、宛先端末と呼ぶ)を識別する端末IDである。
「参加端末ID」は、要求元端末と宛先端末との間で開催されている会議に参加する1つ以上の会議端末110(以下、参加端末と呼ぶ)を識別する端末IDである。「参加時刻」は、各参加端末が会議に参加した時刻を示す情報である。
記憶部534は、例えば、図4のCPU401で実行されるプログラム、及びストレージ404、RAM402等によって実現され、会議情報602等の様々な情報を記憶する。
(画像配信サーバの機能構成)
画像配信サーバ140は、例えば、送受信部541、会議映像配信部542、共有画像配信部543、及び記憶部544等を有する。
画像配信サーバ140は、例えば、図4のCPU401で所定のプログラムを実行することにより、上記の各機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
送受信部541は、例えば、図4のCPU401で実行されるプログラム、及びネットワークI/F405等によって実現され、ネットワーク160を介して、会議端末110、呼制御サーバ130と通信を行う。
会議映像配信部542は、例えば、図4のCPU401で実行されるプログラムによって実現され、同じ会議(セッション)に参加している会議端末110の間で送受信される会議映像(動画像、音声等)を中継する。
例えば、図5の会議端末110a、110b、110cが、同じ会議IDの会議に参加している場合、会議映像配信部542は、会議端末110aから送信される会議映像を受信し、受信した会議映像を会議端末110b、110cに配信する。同様にして、会議映像配信部542は、会議端末110bから送信される会議映像を受信して、会議端末110a、110cに配信し、会議端末110cから送信される会議映像を受信して、会議端末110a、110bに配信する。
共有画像配信部543は、例えば、図4のCPU401で実行されるプログラムによって実現され、共有画像を送信する会議端末110から受信した共有画像を、同じ会議に参加している他の会議端末110に配信する。
例えば、共有画像配信部543は、図1の会議端末110a、110b、110cが、同じ会議IDの会議に参加している場合、会議端末110aから受信した共有画像を、会議端末110b、110cに配信する。
記憶部534は、例えば、図4のCPU401で実行されるプログラム、及びストレージ404、RAM402等によって実現され、例えば、呼制御サーバ130から通知される会議情報、会議参加情報等の様々な情報を記憶する。
<処理の流れ>
続いて、第1の実施形態に係る会議システム100、及び会議端末(端末装置)110における制御方法の処理の流れについて説明する。
(会議の開始処理)
図7は、第1の実施形態に係る会議の開始処理の例を示すシーケンス図である。この処理は、要求元端末である会議端末110aと、宛先端末である会議端末110bとの間で会議を開始する処理の一例を示している。なお、図7の処理の開始時点において、会議端末110a、110bは電源が投入されており、前述した制御用のセッションを用いて、呼制御サーバ130と制御情報の送受信が可能であるものとする。
ステップS701において、会議端末110aの操作受付部512が、利用者による会議の開始操作を受け付けると、ステップS702以降の処理が実行される。
ステップS702において、会議端末110aの送受信部511は、会議の開始を要求する制御情報である会議開始要求を、呼制御サーバ130に送信する。この会議開始要求には、例えば、要求元端末(ここでは会議端末110a)の端末IDである要求元端末ID、操作受付部512が受け付けた宛先端末(ここでは会議端末110b)の端末IDである宛先端末ID等が含まれる。
ステップS703において、呼制御サーバ130の通信制御部532が、会議端末110aから送信された会議開始要求を受付すると、会議管理部533は、受付した会議開始要求に対応する会議を識別する会議IDを生成する。
ステップS704において、呼制御サーバ130の通信制御部532は、宛先端末である会議端末110bに、要求元端末である会議端末110aから呼出の要求があることを示す制御情報である呼出要求を送信する。この呼出要求には、例えば、要求元端末ID、会議ID等が含まれる。
ステップS705において、会議端末110bは、例えば、表示制御部513により、図3のディスプレイ312等の表示部に呼出画面を表示すると共に、音声入出力部514により、図3のスピーカ309から呼出音を出力する。また、会議端末110bは、利用者による応答操作を受け付ける。
ステップS706において、会議端末110bは、利用者による応答操作に応じて、呼出要求に応答する制御情報である呼出応答を、呼制御サーバ130に送信する。
なお、ステップS705、S706に示す処理は一例であり、会議端末110bは、ステップS704で受け付けた呼出要求に対して、自動的に呼出応答を返信するものであっても良い。
ステップS707において、呼制御サーバ130の通信制御部532は、宛先端末である会議端末110bから呼出応答を受け付けると、要求元端末である会議端末110aに、会議開始要求に応答する制御情報である会議開始応答を送信する。この会議開始応答には、例えば、ステップS703で生成した会議IDが含まれる。
なお、呼制御サーバ130は、後述するステップS710において、画像配信サーバ140の宛先情報と共に、会議IDを会議端末110aに通知するものであっても良い。
ステップS708において、呼制御サーバ130の会議管理部533は、例えば、図6(b)に示すような会議情報602を更新する。例えば、会議管理部533は、ステップS703で生成した会議IDと対応付けて、要求元端末ID、宛先端末ID、及び開始日時等の情報を会議情報602に記憶する。
ステップS709において、呼制御サーバ130の通信制御部532は、画像配信サーバ140に会議の情報を通知する制御情報である会議情報を送信する。この会議情報には、例えば、ステップS703で生成した会議ID、及び要求元端末ID、宛先端末ID等が含まれる。
ステップS710、S711において、呼制御サーバ130の通信制御部532は、会議端末110a、110bに、会議の開始を指示する制御情報である会議開始指示を送信する。この会議開始指示には、例えば、画像配信サーバの宛先情報(例えば、IPアドレス等)が含まれる。また、会議開始情報には、会議IDが含まれ得る。
ステップS712において、会議端末110aの端末情報管理部516は、呼制御サーバ130から会議開始指示を受け付けると、例えば、図6(a)に示すような端末情報601を更新する。ここでは、会議端末110aの端末情報管理部516は、記憶部520に記憶した端末情報601に、会議端末110bの端末ID、通信開始時間等を記憶する。
ステップS713において、会議端末110aの送受信部511は、呼制御サーバ130から通知された画像配信サーバ140の宛先情報と、会議IDとを用いて、画像配信サーバ140と通信セッションを確立する。
また、ステップS712、S713の処理と並行して、会議端末110bは、ステップS714、S715の処理を実行する。
ステップS714において、会議端末110bの端末情報管理部516は、呼制御サーバ130から会議開始指示を受け付けると、端末情報601を更新する。ここでは、会議端末110bの端末情報管理部516は、記憶部520に記憶した端末情報601に、会議端末110aの端末ID、通信開始時間等を記憶する。
ステップS715において、会議端末110bの送受信部511は、呼制御サーバ130から通知された画像配信サーバ140の宛先情報と、会議IDとを用いて、画像配信サーバ140と通信セッションを確立する。
上記の処理により、ステップS716において、同じ会議IDで通信セッションを確立した会議端末110aと会議端末110bとの間で、画像配信サーバ140を介して、会議映像(画像、音声)の送受信が行えるようになる。
(共有画像の共有処理)
図8は、第1の実施形態に係る共有画像の共有処理の例を示すシーケンス図である。この処理は、例えば、図1において、会議端末110aと会議端末110bとの間で会議中に、会議端末110aの利用者が、情報端末120に表示している表示画面をキャプチャした静止画像を、会議端末110bと共有する場合の処理の例を示している。
なお、図8のステップS716において、図7に示す会議の開始処理により、会議端末110aと会議端末110bとの間で、会議映像を送受信する会議が行われているものとする。
ステップS801において、会議端末110aの操作受付部512が、利用者による画像の共有操作を受け付けると、ステップS802以降の処理が実行される。
ステップS802において、会議端末110aの共有画像送信部517は、情報端末120が表示している表示画像から静止画像を取得する。例えば、共有画像送信部517は、外部I/F111に接続された情報端末120から、情報端末120が表示している表示画像のデータを取得し、取得した表示画像のデータから共有画像(静止画像)を取得する。
ステップS803、S804において、会議端末110aの共有画像送信部517は、取得した共有画像を、画像配信サーバ140を介して会議端末110bに送信する。
ステップS805において、会議端末110bの表示制御部513は、会議端末110aから受信した共有画像を用いて、例えば、図2に示すような表示画面200に共有画像230を表示する。
なお、ステップS805において、会議端末110bの表示制御部513が、例えば、通信品質の劣化等により、共有画像の表示に失敗した場合には、ステップS811~S819に示す処理が実行される。
例えば、ステップS811において、会議端末110bの表示制御部513が、所定の時間内に共有画像の表示に失敗するものとする。
ステップS812、S813において、更新要求部519は、共有画像の表示に失敗すると、共有画像の更新を要求する制御情報である更新要求を、画像配信サーバ140を介して会議端末110aに送信する。この更新要求には、会議端末110bの端末ID(宛先端末ID)等が含まれる。
ステップS814において、会議端末110aの更新判断部518は、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求であるか否かを、例えば、図6(a)に示すような端末情報601を用いて判断する。
更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求でない場合、会議端末110aは、共有画像を更新して、更新した共有画像を会議端末110bに送信する。
一方、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求である場合、会議端末110aは、共有画像の更新を中止する。
ここでは、会議端末110aと会議端末110bとの間で会議を開始した後に、会議に新たな参加端末は参加していないので、ステップS815以降の処理が実行される。
ステップS815において、会議端末110aの共有画像送信部517は、情報端末120が表示している表示画像のデータを取得し、取得した表示画像のデータを用いて、共有画像(静止画像)を更新する。
ステップS816、S817において、会議端末110aの共有画像送信部517は、更新した共有画像を、画像配信サーバ140を介して会議端末110bに送信する。
ステップS818において、会議端末110bの表示制御部513は、会議端末110aから受信した共有画像を用いて、例えば、図2に示すような表示画面200に共有画像230を表示する。
なお、ここでも共有画像の表示に失敗した場合には、例えば、ステップS811以降の処理が再び実行される。
(会議端末の参加処理)
図9は、第1の実施形態に係る会議端末の参加処理の例を示すシーケンス図である。この処理は、会議を開始した後、会議に新たな会議端末110c(参加端末)が参加する参加処理の一例を示している。
なお、図9のステップS716において、図7に示す会議の開始処理により、会議端末110aと会議端末110bとの間で、会議映像を送受信する会議が行われているものとする。
ステップS901において、会議端末110cの操作受付部512が、利用者による会議への参加操作を受け付けると、ステップS902以降の処理が実行される。
ステップS902において、会議端末110aの送受信部511は、会議への参加を要求する制御情報である会議参加要求を、呼制御サーバ130に送信する。この会議参加要求には、例えば、会議に参加している会議端末110a又は会議端末110bの端末IDと、参加端末(会議端末110c)の端末IDである参加端末IDとが含まれる。
ステップS903、S904において、呼制御サーバ130の通信制御部532は、会議参加要求を受け付けると、会議に参加している会議端末110a、110bに、新たな参加端末が会議に参加したことを示す制御情報である会議参加通知を送信する。この会議参加情報には、参加端末(会議端末110c)の端末IDである参加端末IDが含まれる。
ステップS905、S906において、会議端末110a、110bの端末情報管理部516は、会議参加通知を受け付けると、例えば、図6(a)に示すような端末情報601を更新する。例えば、会議端末110aの端末情報管理部516は、図6(a)に示すような端末情報601に、会議端末110cの端末ID「10ac」と、通信開始時間を記憶する。
ここで、ステップS907以降の処理は、自動的に実行されるものであっても良いし、既に会議に参加している会議端末110a、又は会議端末110bへの応答操作に応じて実行されるものであっても良い。ここでは、ステップS907以降の処理が自動的に実行されるものとして以下の説明を行う。
ステップS907において、呼制御サーバ130の会議管理部533は、例えば、図6(b)に示すような会議情報602を更新する。例えば、会議管理部533は、会議端末110a、110bが参加している会議の会議IDに対応付けて、参加端末ID、参加時刻等の情報を会議情報602に記憶する。
ステップS908において、呼制御サーバ130の通信制御部532は、画像配信サーバ140に、参加端末である会議端末110cの情報を通知する制御情報である会議参加情報を送信する。この会議参加情報には、会議ID、参加端末(会議端末110c)の端末IDである参加端末ID等が含まれる。
ステップS909において、呼制御サーバ130の通信制御部は、会議端末110cに会議への参加を指示する制御情報である会議参加指示を送信する。この会議参加指示には、会議ID、画像配信サーバ140の宛先情報、及び会議に参加している他の会議端末110a、110bの端末ID等が含まれる。
ステップS910において、会議端末110cの端末情報管理部516は、呼制御サーバ130から会議参加指示を受け付けると、例えば、図6(a)に示すような端末情報601を更新する。ここでは、会議端末110aの端末情報管理部516は、記憶部520に記憶した端末情報601に、会議端末110a、110bの端末ID等を記憶する。
ステップS911において、会議端末110aの送受信部511は、呼制御サーバ130から通知された画像配信サーバ140の宛先情報と、会議IDとを用いて、画像配信サーバ140と通信セッションを確立する。
ステップS912、S913において、会議端末110cは、会議端末110a、110bと同じ会議に参加し、画像配信サーバ140を介して会議端末110a、110bと会議映像の送受信が行えるようになる。
ステップS914において、新たに会議に参加した会議端末110cの表示制御部513は、共有画像の表示に失敗する。これは、例えば、図8のステップS804において、会議端末110aが送信した共有画像を、会議端末110cが受信していないためである。
ステップS915、S916において、会議端末110cの更新要求部519は、表示制御部513が共有画像の表示に失敗すると、共有画像の更新を要求する更新要求を、画像配信サーバ140を介して会議端末110aに送信する。この更新要求には、会議端末110cの端末ID(参加端末ID)等が含まれる。
ステップS917において、会議端末110aの更新判断部518は、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求であるか否かを、例えば、図6(a)に示すような端末情報601を用いて判断する。
更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求でない場合、会議端末110aは、共有画像を更新して、更新した共有画像を会議端末110bに送信する。
一方、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求である場合、会議端末110aは、共有画像の更新を中止する。
ここでは、更新要求が、会議を開始した後に会議に新たな会議端末110cが参加したことによる更新要求なので、ステップS918において、会議端末110aの共有画像送信部517は、共有画像の更新を中止する。
上記の処理により、本実施形態に係る会議システム100では、会議を開始した後に会議に新たな参加端末が参加したとき、利用者が意図していない表示画面によって、共有画像が更新されてしまうことを低減させることができる。
なお、本実施形態では、参加端末である会議端末110cの共有画像は、会議端末110aで共有画像の共有処理、又は更新処理が行われるまで表示されない。しかし、会議端末110cの利用者は、例えば、会議映像を用いて会議端末110aの利用者と対話できるので、共有画像の更新を会議端末110aの利用者に容易に依頼することができる。
(更新判断部の判断処理)
図10は、第1の実施形態に係る更新判断部の判断処理の例を示すフローチャートである。この処理は、例えば、図8のステップS814、又は図9のステップS917において、会議端末110の更新判断部518が、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求であるか否かを判断する処理の例を示している。
ステップS1001において、会議端末110は、共有画像の更新要求を受け付けると、ステップS1002以降の処理を実行する。
ステップS1002において、会議端末110の更新判断部518は、例えば、図6(a)に示すような端末情報601を、記憶部520から読出する。
ステップS1003において、更新判断部518は、読出した端末情報601を用いて、会議を開始した後に会議に参加した参加端末があるか否かを判断する。図6(a)の例では、会議端末110aが、端末ID「10ab」の会議端末110bと通信を開始した約30分後に、端末ID「10ac」の会議端末110cと通信を開始しているので、会議を開始した後に会議に参加した参加端末があると判断することができる。
会議を開始した後に会議に参加した参加端末がない場合、更新判断部518は、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求ではないと判断し、処理をステップS1105に移行させる。
一方、会議を開始した後に会議に参加した参加端末がある場合、更新判断部518は、処理をステップS1104に移行させる。
ステップS1104に移行すると、会議を開始した後に会議に参加した参加端末の通信開始時間から所定の時間(例えば、1~5分程度)を経過しているか否かを判断する。なお、会議を開始した後に会議に参加した参加端末が複数ある場合、最後に参加した参加端末の通信開始時間から所定の時間を経過しているか否かを判断する。
所定の時間を経過している場合、更新判断部518は、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求ではないと判断し、処理をステップS1105に移行させる。
一方、所定の時間を経過していない場合、更新判断部518は、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求であると判断し、ステップS1007において、共有画像送信部517は、共有画像の更新を中止する。
ステップS1005に移行すると、会議端末110の共有画像送信部517は、情報端末120が表示している表示画像のデータを取得し、取得した表示画像のデータを用いて、共有画像(静止画像)を更新する。
ステップS1006において、共有画像送信部517は、更新した共有画像を、会議に参加している他の会議端末110に、画像配信サーバ140を介して送信する。
上記の各処理により、会議端末110aと会議端末110bとの間で会議を行い、共有画像を共有しているときに、会議端末110cが新たに会議に参加した場合、会議端末110cが送信した共有画像の更新要求による共有画像の更新が行われない。
したがって、本実施形態によれば、複数の会議端末110の間で静止画像を共有する会議システム100において、利用者が意図していない表示画面によって、共有画像が更新されてしまうことを効果的に低減させることができる。
[第2の実施形態]
図5に示す第1の実施形態に係る会議システム100の機能構成は一例である。例えば、第1の実施形態において、会議端末110が有していた更新判断部518は、呼制御サーバ130が有していても良い。
第2の実施形態では、呼制御サーバ130が、更新判断部518を有している場合の例について説明する。
<機能構成>
図5は、第2の実施形態に係る会議システムの機能構成の例を示す図である。図11に示すように、第2の実施形態では、第1の実施形態において、会議端末110が有していた更新判断部518を、呼制御サーバ130が有している。
本実施形態に係る更新判断部518は、例えば、図4のCPU401で実行されるプログラムによって実現される。更新判断部518は、例えば、図6(b)に示すようは会議情報602を用いて、受付した更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求であるか否かを判断する。
例えば、更新判断部518は、会議情報602の「会議ID」、「参加端末ID」、「及び参加時刻」の情報を用いて、図10に示すような判断処理を実行する。
また、本実施形態では、会議中に会議に参加する参加端末は、画像配信サーバ140に代えて、呼制御サーバ130に共有画像の更新要求を送信する。
なお、上記以外の会議システム100の機能構成は、第1の実施形態と同様で良い。
<処理の流れ>
図12は、第2の実施形態に係る会議端末の参加処理の例を示すシーケンス図である。なお、図12に示す処理のうち、ステップS716、及びステップS901~S913に示す処理は、図9に示す第1の実施形態に係る処理と同様なので、ここでは、第1の実施形態に示す処理との相違点を中心に説明を行う。
ステップS1201において、新たに会議に参加した会議端末110cの表示制御部513は、第1の実施形態と同様に共有画像の表示に失敗する。
ステップS1202において、会議端末110cの更新要求部519は、表示制御部513が共有画像の表示に失敗すると、制御用のセッションを用いて、呼制御サーバ130に共有画像の更新を要求する制御情報である更新要求を送信する。
ステップS1203において、呼制御サーバ130の更新判断部518は、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求であるか否かを、例えば、図6(b)に示すような会議情報602を用いて判断する。
例えば、更新判断部518は、図6(b)に示すような会議情報602において、当該会議の「会議ID」に対応する「参加端末ID」が記憶されているか否かにより、図10のステップS1003の判断を行うことができる。また、更新判断部518は、図6(b)に示すような会議情報602において、当該会議の「会議ID」に対応する「参加時刻」により、図10のステップS1004の判断を行うことができる。
したがって、呼制御サーバ130の更新判断部518は、図6(b)に示すような会議情報602を用いて、図10に示す更新判断部の判断処理を実行することができる。なお、会議情報602は、会議管理部(管理部の別の一例)533が管理する、会議に参加している会議端末110の情報の一例である。
更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求でない場合、呼制御サーバ130の通信制御部532は、共有画像の更新要求を会議端末110a、110b等に送信する。これにより、共有画像を配信した会議端末110aの共有画像送信部517は、共有画像を更新して、更新した共有画像を会議端末110b、110cに送信することができる。
一方、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求である場合、呼制御サーバ130の通信制御部532は、共有画像の更新要求を、会議端末110a、110b等に送信する処理を中止する。これにより、共有画像を配信した会議端末aの共有画像送信部517による共有画像の更新を中止することができる。
ここでは、更新要求が、会議を開始した後に会議に新たな会議端末110cが参加したことによる更新要求なので、ステップS1204において、呼制御サーバ130の通信制御部532は、共有画像の更新要求の送信を中止する。
上記の処理により、第2の実施形態に係る会議システム100においても、会議を開始した後に会議に新たな参加端末が参加したとき、利用者が意図していない表示画面によって、共有画像が更新されてしまうことを低減させることができる。
[第3の実施形態]
第1の実施形態では、会議端末110が、受付した共有画像の更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求である場合に、共有画像の更新を中止する場合の例について説明した。
第3の実施形態では、会議端末110が、受付した共有画像の更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求である場合に、共有画像の更新を中止し、記憶部520に記憶した共有画像を配信する場合の例について説明する。
なお、第3の実施形態に係る会議システム100の機能構成は、図5に示す第1の実施形態に係る会議システム100の機能構成と同様で良い。
<処理の流れ>
図13は、第3の実施形態に係る画像の共有処理の例を示すシーケンス図である。なお、図13のステップS716において、図7に示す会議の開始処理により、会議端末110aと会議端末110bとの間で、会議映像を送受信する会議が行われているものとする。また、図13に示す処理の基本的な処理内容は第1の実施形態と同様なので、ここでは、第1の実施形態と同様の処理についての詳細な説明は省略する。
ステップS1301において、会議端末110aの操作受付部512が、利用者による画像の共有操作を受け付けると、ステップS1302以降の処理が実行される。
ステップS1302において、会議端末110aの共有画像送信部517は、情報端末120が表示している表示画像から共有画像(静止画像)を取得する。
ステップS1303、S1304において、会議端末110aの共有画像送信部517は、取得した共有画像を、画像配信サーバ140を介して会議端末110bに送信する。
ステップS1305において、会議端末110aの共有画像送信部517は、送信した共有画像を、記憶部520に記憶する。なお、共有画像送信部517は、共有画像を送信する前に、共有画像を記憶部520に記憶するものであっても良い。
ステップS1306において、会議端末110bの表示制御部513は、会議端末110aから受信した共有画像を用いて、例えば、図2に示すような表示画面200に共有画像230を表示する。
ステップS1307において、例えば、図9のステップS901~S911に示す会議端末110cの参加処理により、ステップS1308、S1309において、会議端末110cは、会議端末110a、110bと同じ会議に参加するものとする。
ステップS1311において、新たに会議に参加した会議端末110cは、会議端末110aが送信した共有画像を受信していないため、共有画像の表示に失敗し、これにより、ステップS1312以降の処理が実行される。
ステップS1312、S1313において、会議端末110cの更新要求部519は、画像配信サーバ140を介して、会議端末110aに共有画像の更新を要求する更新要求を送信する。
ステップS1314において、会議端末110aの更新判断部518は、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求であるか否かを、例えば、図6(a)に示すような端末情報601を用いて判断する。
更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求でない場合、会議端末110aの共有画像送信部517は、例えば、図8のステップS815~816に示す処理により、共有画像を更新して他の会議端末110に送信する。
一方、更新要求が、会議を開始した後に会議に新たな参加端末が参加したことによる更新要求である場合、会議端末110aの共有画像送信部517は、ステップS1315、S1316の処理を実行する。
ステップS1315において、会議端末110aの共有画像送信部517は、共有画像の更新を中止すると共に、ステップS1305で記憶部520に記憶した共有画像を読出する。
ステップS1316において、会議端末110aの共有画像送信部517は、記憶部520から読出した共有画像を、画像配信サーバ140に送信する。
ステップS1317、S1318において、画像配信サーバ140の共有画像配信部543は、会議端末110aから受信した共有画像を、会議端末110aと同じ会議に参加している会議端末110b、110cに配信する。
ステップS1319、1320において、会議端末110b、110cの表示制御部513は、画像配信サーバ140から配信された配信画像を用いて、例えば、図2に示すような表示画面200の共有画像230を表示する。
上記の処理により、第3の実施形態に係る会議システム100では、会議を開始した後に会議に新たな参加端末が参加したとき、利用者が意図していない表示画面によって、共有画像が更新されてしまうことを効果的に低減させることができる。
また、第3の実施形態に係る会議システム100では、会議端末110a、110bが共有していた共有画像を更新することなく、後から会議に参加した会議端末110cと共有することができるようになる。
以上、本発明の各実施形態によれば、複数の会議端末110の間で静止画像を共有する会議システム100において、利用者が意図していない表示画面によって、共有画像が更新されてしまうことを低減させることができる。
なお、上記の説明では、会議端末110の数が3台の場合の例について説明したが、会議端末110の数が4台以上の場合であっても、同様にして、利用者が意図していない表示画面によって、共有画像が更新されてしまうことを低減させることができる。
また、上記の説明では、呼制御サーバ130と画像配信サーバ140とが別の情報処理装置である場合の例について説明したが、呼制御サーバ130、及び画像配信サーバ140が有する各機能構成は、1つ管理サーバ150が有していても良い。
さらに、画像配信サーバ140は、例えば、会議映像を配信する会議映像配信サーバと、共有画像を配信する共有画像配信サーバとに分けて設けられていても良い。
さらにまた、会議システム100は、呼制御サーバ130、画像配信サーバ140、管理サーバ150等を有さずに、複数の会議端末110の間で直接に呼制御、会議画像の送受信、及び共有画像の共有等を行うものであっても良い。