JP7141143B2 - オンライン会議システム - Google Patents

Description

特許法第３０条第２項適用 ［公開事由１］株式会社ＣＩ（自社）のウェブサイトでの公開 掲載年月日 ：令和２年１１月１日 掲載アドレス：ｈｔｔｐｓ：／／ｓａｌｅｓ－ｌｐ．ｏｎｍｅｅ．ｊｐ／ ［公開事由２］ソーシャルワイヤー株式会社（プレスリリース代行会社）のウェブサイトでの公開 掲載年月日 ：令和２年１１月１８日 掲載アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ａｔｐｒｅｓｓ．ｎｅ．ｊｐ／ｎｅｗｓ／２３５６３７ ［公開事由３］エキサイト株式会社（ニュースメディア）のウェブサイトでの公開 掲載年月日 ：令和２年１１月１８日 掲載アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｅｘｃｉｔｅ．ｃｏ．ｊｐ／ｎｅｗｓ／ａｒｔｉｃｌｅ／Ａｔｐｒｅｓｓ＿２３５６３７／

本発明は、オンライン会議システムに関する。

従来、複数のパソコンをオンラインで相互に接続することにより、パソコンのユーザ同士が画面を介して互いの顔を見ながら会議を行うオンライン会議が行われている（たとえば特許文献１を参照）。近年においては、オンライン会議が普及してきており、会議の参加者同士がパソコンの画面上においてリアルタイムで資料の画像（たとえば、動画およびスライド画像など）を共有できるようになってきている。

特開平５－１２２６８９号公報

しかしながら、上述した近年のオンライン会議においては、たとえば、ホストユーザ側の資料のうち、ホストユーザが指定した部分の画像（たとえば、指定された再生位置の動画および指定されたページのスライド画像など）が、ホストユーザ側の画面およびゲストユーザ側の画面において共有されるに過ぎず、ホストユーザ側の資料のうち、ゲストユーザが見たい部分が共有されるものではなかった。

このため、オンライン会議において、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、画面上においてリアルタイムで資料の画像を共有することができる技術が望まれている。

本発明は、かかる問題点に鑑みて、オンライン会議において、ホストユーザ側の資料の画像を、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、端末装置の画面上においてリアルタイムで共有することができるオンライン会議システムを提供することを目的とする。

本発明に係るオンライン会議システムは、複数の端末装置がオンラインで接続されることにより、前記複数の端末装置間での会議を行うことが可能なオンライン会議システムであって、撮像部および表示部を有する第１端末装置と、前記第１端末装置との間で情報の送受信が可能であり、撮像部および表示部を有する第２端末装置と、前記第１端末装置および前記第２端末装置との間で情報の送受信が可能であり、所定の制御動作を行う制御装置と、自己に保存されているサブ画像を前記第１端末装置および前記第２端末装置へストリーミング配信する保存装置とを備え、前記第１端末装置および前記第２端末装置は、自己の前記撮像部が撮像したメイン画像を自己以外の端末装置へ送信し、前記第１端末装置および前記第２端末装置は、ユーザにより自己に対して行われた前記サブ画像の視聴に関する操作の内容を前記制御装置へ送信し、前記制御装置は、前記第１端末装置および前記第２端末装置から受信した前記操作の内容に対応する指示情報を生成し、前記保存装置は、前記指示情報に対応する前記サブ画像を前記第１端末装置および前記第２端末装置へ配信し、前記第１端末装置および前記第２端末装置は、自己以外の端末装置から受信した前記メイン画像、および前記保存装置から受信した前記サブ画像を前記表示部において表示する。

本発明においては、前記サブ画像は動画またはスライド画像であり、前記操作は、前記サブ画像の表示開始、前記サブ画像の表示停止、前記サブ画像の表示位置の戻し、および前記サブ画像の表示位置の送りであることが好ましい。

本発明においては、前記制御装置は、前記第１端末装置および前記第２端末装置の一方から前記操作の内容を受信した後、前記第１端末装置および前記第２端末装置の一方または他方から新たな前記操作の内容を受信した場合、前記新たな操作の内容に対応する新たな前記指示情報を生成し、前記保存装置は、配信する内容を、前記新たな指示情報に対応する前記サブ画像に更新することが好ましい。

本発明においては、前記サブ画像は、前記第１端末装置または前記第２端末装置から前記保存装置にアップロードされた画像であることが好ましい。

本発明によれば、オンライン会議において、ホストユーザ側の資料の画像を、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、端末装置の画面上においてリアルタイムで共有することができる。

本発明の一実施形態に係るオンライン会議システムの構成の一例を模式的に示す図である。 本発明の一実施形態に係るオンライン会議システムにおける第１端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係るオンライン会議システムにおける第２端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係るオンライン会議システムが行う処理手順の一例を示すシーケンス図である。

以下、本発明の一実施形態に係るオンライン会議システムについて図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施形態の少なくとも一部同士を任意に組み合わせてもよい。また、以下に示す実施形態はあくまで例にすぎず、本発明のオンライン会議システムは、以下の例に限定されることはない。

図１は、本発明の一実施形態に係るオンライン会議システムの構成の一例を模式的に示す図である。なお、図１に示される複数の通信経路は模式的に図示されたものであり、当該複数の通信経路は、実際には共通の通信経路で構成されていてもよい。

図１に示されるオンライン会議システム１は、複数の端末装置２、３がオンラインで接続されることにより、複数の端末装置２、３間での会議を行うことが可能な会議システムである。本実施形態では、たとえば、第１端末装置２はホストユーザ側の端末装置であり、第２端末装置３はゲストユーザ側の端末装置である。なお、第１端末装置２がゲストユーザ側の端末装置であり、第２端末装置３がホストユーザ側の端末装置であってもよい。本明細書において、「ホストユーザ」とは、オンライン会議の主催者として会議に参加するユーザである。また、「ゲストユーザ」とは、オンライン会議にゲストとして参加するユーザである。以下では、第１端末装置２がホストユーザ側の端末装置であり、第２端末装置３がゲストユーザ側の端末装置である場合について説明する。

図１に示される例では、１つの第１端末装置２と、複数の第２端末装置３とが、インターネット等の公衆回線を介して相互に接続されることにより、複数の端末装置２、３間においてＷｅｂ（World Wide Web）会議を行うことが可能となっている。なお、図１に示される例では、第２端末装置３の数は４つであるが、これに限定されるものではなく、１つ、２つ、３つ、または５つ以上であってもよい。

本実施形態では、オンライン会議が行われる際に、ホストユーザ側の資料の画像が、複数の端末装置２、３の各画面において共有される。なお、本実施形態では、オンライン会議が行われる際に、ゲストユーザ側の資料の画像が、複数の端末装置２、３の各画面において共有されてもよい。本明細書において、「資料の画像」とは、たとえば、資料の内容を示す動画および静止画など、予め用意され、保存された、端末装置２、３に表示可能な各種の画像である。資料の内容を示す静止画は、たとえば、ワード（Microsoft Word：登録商標）、エクセル（Microsoft Excel：登録商標）、およびパワーポイント（Microsoft PowerPoint：登録商標）等のソフトウェアにより作成されたドキュメント（文書ファイル）の画像、ＰＤＦ（Portable Document Format）等のソフトウェアにより作成された画像、写真、その他の静止した状態で表示される画像を含む。また、資料の内容を示す静止画は、たとえば、１つの静止画であってもよいし、複数の静止画が順に並べられたもの（複数のスライド画像）、および自動的に順次表示される複数のスライド画像（スライドショー画像）であってもよい。

また、本明細書において、「共有」とは、複数の端末装置２、３において、各々の画面に表示される画像をリアルタイム（実時間）で共有することである。すなわち、本実施形態においては、共有の対象となる画像が、複数の端末装置２、３の各々の画面において同期して表示される。なお、本実施形態では、画像の共有に加えて、画像に付随する音声（スピーカから出力される）がリアルタイムで共有されてもよい。

次に、オンライン会議システム１の構成について、図１を参照して説明する。図１に示されるオンライン会議システム１は、第１端末装置２と、第２端末装置３と、制御装置４と、保存装置５とを備えている。

第１端末装置２は、撮像部（図示せず）および表示部２１を有する情報機器である。第１端末装置２は、たとえば、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、携帯電話やスマートフォン、タブレットＰＣ（Personal Computer）、ノートＰＣ、ウェアラブルデバイス、またはディスプレイを備えたＰＣ等の情報家電である。図１においては、第１端末装置２の一例として、カメラ機能を備えたノートＰＣが示されている。

第１端末装置２の表示部２１の画面２１１に表示される画像の一例について、図１および図２を参照して説明する。図２は、本発明の一実施形態に係るオンライン会議システムにおける第１端末装置の画面に表示される画像の一例を模式的に示す図である。

図２に示されるように、第１端末装置２の撮像部（カメラ）は、ホストユーザＨｕの顔などの画像をメイン画像ＭＧ１として撮像することができる。また、本実施形態では、第１端末装置２の表示部２１は、ホストユーザＨｕ側のメイン画像ＭＧ１、ゲストユーザＧｕ側のメイン画像ＭＧ２（たとえば、ゲストユーザＧｕの顔などの画像）、および保存装置５に保存されているサブ画像ＳＧなど、複数の画像ＭＧ１、ＭＧ２、ＳＧを同時に表示することができる。また、本実施形態では、第１端末装置２の表示部２１は、サブ画像ＳＧに代えて、第１端末装置２に保存されている画像（図示せず）、および第２端末装置３に保存されている画像（図示せず）を表示することができる。すなわち、第１端末装置２の表示部２１は、サブ画像ＳＧに代えて、後述する画面共有の画像を表示することができる。

本実施形態では、図２に示されるように、画面２１１の左上部にホスト表示領域Ｒ１が示され、右上部に資料表示領域Ｒ２が示されている。また、画面２１１の左中央部にファイル選択ボタンＢ１、ファイル選択解除ボタンＢ２、および共有ＵＲＬ表示領域Ｒ３が示されている。また、画面２１１の下部にゲスト表示領域Ｒ４、音声調整領域Ｒ５、ミュートボタンＢ３、ビデオボタンＢ４、画面共有ボタンＢ５、参加者リストボタンＢ６、設定ボタンＢ７、および退出ボタンＢ８が示されている。なお、図２および図３に表示された画面２１１、３１１は一例であり、図２および図３とは異なる配置、構成であってもよく、各ボタン、表示領域は、必須ではない。

図２に示される例では、ホスト表示領域Ｒ１には、第１端末装置２の撮像部によって撮像された画像（ホストユーザＨｕの画像）が表示されている。資料表示領域Ｒ２には、保存装置５から配信された画像（資料の内容を示す画像）が表示されている。なお、資料表示領域Ｒ２には、サブ画像ＳＧに代えて、第１端末装置２に保存されている画像、および第２端末装置３に保存されている画像が表示されてもよい。共有ＵＲＬ表示領域Ｒ３には、オンライン会議（Ｗｅｂ会議）に参加する際にアクセスするＷｅｂページのＵＲＬ（uniform resource locator）が表示されている。ゲスト表示領域Ｒ４には、第２端末装置３の撮像部によって撮像された画像（ゲストユーザＧｕの画像）が表示される。図２に示される例では、１つの第１端末装置２および２つの第２端末装置３が、通信経路Ｔ１（図１に二点鎖線で示す）を経由してオンライン会議のＷｅｂページにアクセスしてオンライン会議に参加しており、その２つの第２端末装置３の各撮像部によって撮像された画像が、ゲスト表示領域Ｒ４において横方向に並んで表示されている。音声調整領域Ｒ５には、第１端末装置２のスピーカから発せられる音声の大きさを調整するためのスライダＳ１が表示されている。通信経路Ｔ１では、複数の端末装置２、３の間で、たとえば、ＷｅｂＲＴＣ（Web Real-Time Communication）を用いたＰ２Ｐ（peer-to-peer）による双方向通信が行われる。

ファイル選択ボタンＢ１は、保存装置５に保存されている１または複数の画像の中から、第１端末装置２および第２端末装置３へ配信する画像を選択するために操作されるボタンである。以下、保存装置５に保存されている画像の中から選択された画像を第１選択画像とも称する。第１選択画像は、保存装置５から第１端末装置２および第２端末装置３へストリーミング配信される（ストリーミング配信については後述する）。また、ファイル選択ボタンＢ１は、自己の端末装置（たとえば第１端末装置２）に保存されている１または複数の画像の中から、他の端末装置（たとえば第２端末装置３）へ送信する画像を選択するために操作されるボタンである。以下、自己の端末装置（たとえば第１端末装置２）に保存されている画像の中から選択された画像を第２選択画像とも称する。ファイル選択解除ボタンＢ２は、ファイル選択ボタンＢ１の操作によるファイルの選択を解除するためのボタンである。ミュートボタンＢ３は、第１端末装置２のマイク（図示せず）をオフ状態にするためのボタンである。ビデオボタンＢ４は、オンライン会議を録画するためのボタンである。

画面共有ボタンＢ５は、ファイル選択ボタンＢ１の操作によって、自己の端末装置（たとえば第１端末装置２）に保存されている１または複数の画像の中から選択された画像（上述の第２選択画像）を、オンライン会議に参加している端末装置２、３の各資料表示領域Ｒ２において共有する（画面共有）ためのボタンである。すなわち、画面共有ボタンＢ５の操作によって共有される画像は、保存装置５からストリーミング配信された画像ではなく、自己の端末装置（たとえば第１端末装置２）に保存されている画像である。たとえば、ホストユーザＨｕが第１端末装置２の画面共有ボタンＢ５を操作して画面共有ボタンＢ５をアクティブ状態にすることにより、第１端末装置２に保存されている画像の中から選択された第２選択画像が、オンライン会議に参加しているすべての第２端末装置３へ通信経路Ｔ１を経由して送信され、第１端末装置２および第２端末装置３の各資料表示領域Ｒ２において第２選択画像が共有される。すなわち、画面共有ボタンＢ５をアクティブ状態にする操作を行うことにより、第１端末装置２に保存されている画像の中から選択された第２選択画像が、第１端末装置２および第２端末装置３の各資料表示領域Ｒ２において同期して表示される。また、たとえば、第１端末装置２の画面共有ボタンＢ５がアクティブ状態になっている場合において、ホストユーザＨｕが第１端末装置２の画面共有ボタンＢ５を操作して非アクティブ状態にする操作を行うか、または、第１端末装置２のファイル選択解除ボタンＢ２を操作して画像の選択を解除することにより、第１端末装置２から第２端末装置３への第２選択画像の送信が停止され、第１端末装置２および第２端末装置３における第２選択画面の共有が中止される。第２選択画像の共有が中止されることにより、第１端末装置２および第２端末装置３の各資料表示領域Ｒ２は非共有状態となり、たとえば、第２選択画像が表示されていない状態となる。

参加者リストボタンＢ６は、オンライン会議に参加しているユーザの一覧を表示するためのボタンである。参加者リストボタンＢ６を操作してアクティブ状態にすることにより、オンライン会議に参加しているユーザの一覧が表示される。設定ボタンＢ７は、オンライン会議に関する種々の条件を設定するためのボタンである。退出ボタンＢ８は、オンライン会議を終了する際に、オンライン会議の部屋から退出するためのボタンである。

第１端末装置２（図１参照）は、自己の撮像部が撮像したメイン画像ＭＧ１（図２参照）を自己以外の端末装置へ送信する。すなわち、第１端末装置２は、第１端末装置２の撮像部が撮像したメイン画像（たとえば、ホストユーザＨｕの画像）を第２端末装置３へ送信する。詳細には、第１端末装置２は、オンライン会議に参加しているすべてのゲストユーザＧｕの第２端末装置３へメイン画像ＭＧ１を送信する。たとえば、１つの第１端末装置２および複数の第２端末装置３がオンライン会議に参加している場合には、第１端末装置２は、自己の撮像部が撮像したメイン画像ＭＧ１をオンライン会議に参加しているすべての第２端末装置３へ送信する。

第１端末装置２は、ユーザにより自己（第１端末装置２）に対して行われたサブ画像ＳＧの視聴に関する操作の内容を制御装置４へ送信する。サブ画像ＳＧは、保存装置５に保存されている画像である。本実施形態では、サブ画像ＳＧは、オンライン会議において用いられる資料の内容を示す画像（資料の画像）である。詳細には、サブ画像ＳＧは、たとえば、動画または静止画であり、上述の第１選択画像である。サブ画像ＳＧの視聴に関する操作は、たとえば、サブ画像ＳＧの表示開始、サブ画像ＳＧの表示停止、サブ画像ＳＧの表示位置の戻し、およびサブ画像ＳＧの表示位置の送りである。なお、サブ画像ＳＧの視聴に関する操作は、上述の操作に限定されるものではなく、他の種類の操作であってもよい。また、本実施形態では、サブ画像ＳＧは、第１端末装置２から保存装置５にアップロードされた画像である。図１に示される例では、サブ画像ＳＧは、有線または無線の通信経路Ｔ２（実線で示す）を経由してアップロードされている。なお、サブ画像ＳＧは、第２端末装置３から保存装置５にアップロードされた画像であってもよい。なお、サブ画像ＳＧは、第１端末装置２または第２端末装置３から保存装置５にアップロードされた画像に限定されるものではなく、たとえば、ＵＳＢ（Universal Serial Bus）メモリなどの記憶媒体から保存装置５に保存された画像であってもよい。また、サブ画像ＳＧは、たとえば、アップロード時の画像と実質的に同じ内容であれば、アップロード時の画像に対してＰＤＦの形式に変換する等の処理を保存装置５において行った画像であってもよい。

図２に示されるように、第１端末装置２は、自己以外の端末装置（第２端末装置３）から受信したメイン画像ＭＧ２、および保存装置５から受信したサブ画像ＳＧを表示部２１の画面２１１において表示する。たとえば、オンライン会議に１つの第１端末装置２および複数の第２端末装置３が参加している場合には、第１端末装置２は、第２端末装置３から受信したメイン画像ＭＧ２、および保存装置５から受信したサブ画像ＳＧを表示部２１の画面２１１において同時に表示する。また、図２に示される例では、第１端末装置２は、自己の撮像部が撮像したメイン画像ＭＧ１を、上述のメイン画像ＭＧ２およびサブ画像ＳＧと同時に画面２１１において表示する。

第２端末装置３の表示部の画面に表示される画像の一例について、図１および図３を参照して説明する。図３は、本発明の一実施形態に係るオンライン会議システムにおける第２端末装置の画面に表示される画像の一例を模式的に示す図である。

第２端末装置３（図１参照）は、第１端末装置２との間で情報の送受信が可能であり、撮像部（図示せず）および表示部３１を有する。本実施形態では、第２端末装置３は、撮像部（カメラ）による撮像を行うことができる情報端末である。撮像部は、たとえば、ゲストユーザＧｕの顔などの画像を、メイン画像ＭＧ２として撮像することができる。第２端末装置３の種類は、特に限定されるものではなく、第１端末装置２と同様、種々の種類を採用することができる。

図３に示されるように、第２端末装置３の撮像部（カメラ）は、ゲストユーザＧｕの顔などの画像をメイン画像ＭＧ２として撮像することができる。また、本実施形態では、第２端末装置３の表示部３１は、ホストユーザＨｕ側のメイン画像ＭＧ１、ゲストユーザＧｕ側のメイン画像ＭＧ２（たとえば、ゲストユーザＧｕの顔などの画像）、および保存装置５に保存されているサブ画像ＳＧなど、複数の画像ＭＧ１、ＭＧ２、ＳＧを同時に表示することができる。

本実施形態では、図３に示されるように、画面３１１の左上部にホスト表示領域Ｒ１が示され、右上部に資料表示領域Ｒ２が示されている。また、画面３１１の下部にゲスト表示領域Ｒ４、音声調整領域Ｒ５、ミュートボタンＢ３、ビデオボタンＢ４、画面共有ボタンＢ５、参加者リストボタンＢ６、設定ボタンＢ７、および退出ボタンＢ８が示されている。なお、図３に示される例では、図２に示されるファイル選択ボタンＢ１、ファイル選択解除ボタンＢ２、および共有ＵＲＬ表示領域Ｒ３が示されていないが、これらのボタンＢ１、Ｂ２および共有ＵＲＬ表示領域Ｒ３が示されていてもよい。画面３１１においてファイル選択ボタンＢ１が示される場合、ファイル選択ボタンＢ１は、保存装置５に保存されている１または複数の画像の中から、第１端末装置２および第２端末装置３へ配信する画像を選択するために操作されるボタンである。保存装置５に保存されている画像の中から選択された画像（第１選択画像）は、保存装置５から第１端末装置２および第２端末装置３へストリーミング配信される。

また、画面３１１においてファイル選択ボタンＢ１が示される場合、ファイル選択ボタンＢ１は、自己の端末装置（第２端末装置３）に保存されている１または複数の画像の中から、他の端末装置（第１端末装置２および他の第２端末装置３）へ送信する画像を選択するために操作されるボタンである。第２端末装置３においてファイル選択ボタンＢ１を操作して、自己の端末装置（第２端末装置３）に保存されている１または複数の画像の中から画像を選択し、画面共有ボタンＢ５を操作して画面共有ボタンＢ５をアクティブ状態にすることにより、第１端末装置２および第２端末装置３の各資料表示領域Ｒ２において第２選択画像（第２端末装置３に保存されている画像の中から選択された画像）が共有される。

第２端末装置３（図１参照）は、自己の撮像部が撮像したメイン画像ＭＧ２を自己以外の端末装置へ送信する。たとえば、１つの第１端末装置２および複数の第２端末装置３がオンライン会議に参加している場合には、第２端末装置３は、自己の撮像部が撮像したメイン画像ＭＧ２を、オンライン会議に参加している第１端末装置２および他のすべての第２端末装置３へ送信する。

第２端末装置３は、ユーザにより自己（第２端末装置３）に対して行われたサブ画像ＳＧの視聴に関する操作の内容を制御装置４へ送信する。サブ画像ＳＧの視聴に関する操作の内容は、第１端末装置２において行われる上述した操作の内容と同様である。

第２端末装置３は、自己以外の端末装置から受信したメイン画像、および保存装置５から受信したサブ画像ＳＧを表示部３１の画面３１１において表示する。たとえば、オンライン会議に１つの第１端末装置２および複数の第２端末装置３が参加している場合には、第２端末装置３は、第１端末装置２から受信したメイン画像ＭＧ１および他の第２端末装置３から受信したメイン画像ＭＧ２、および保存装置５から受信したサブ画像ＳＧを表示部３１の画面３１１において同時に表示する。また、図３に示される例では、第２端末装置３は、自己の撮像部が撮像したメイン画像ＭＧ２を、上述のメイン画像ＭＧ１、メイン画像ＭＧ２およびサブ画像ＳＧと同時に画面３１１において表示する。図３に示される例では、自己の撮像部が撮像したメイン画像ＭＧ２は、ゲスト表示領域Ｒ４において左から２番目の位置に表示されている。

制御装置４（図１参照）は、第１端末装置２および第２端末装置３との間で情報の送受信が可能であり、所定の制御動作を行う。詳細には、制御装置４は、第１端末装置２および第２端末装置３から受信した操作の内容に対応する指示情報を生成する。本実施形態では、指示情報は、たとえば、制御装置４が第１端末装置２および第２端末装置３から受信した操作の内容に対応する画像（以下、操作対応画像とも称する）を、保存装置５からストリーミング配信させる指示を保存装置５に対して直接的または間接的に行うための情報である。制御装置４は、第１端末装置２および第２端末装置３との間で通信経路Ｔ３（図１に一点鎖線で示す）を経由して、たとえば、ＷｅｂＳｏｃｋｅｔを用いた双方向通信を行う。本実施形態では、制御装置４はＳｏｃｋｅｔサーバ（第２サーバ）である。

まず、指示情報が、操作対応画像をストリーミング配信させる指示を保存装置５に対して直接的に行うための情報である場合について説明する。たとえば、第１端末装置２において動画の再生開始の操作（たとえば、後述する再生ボタンＢ９をアクティブ状態にする操作）が行われた場合には、制御装置４は動画の再生開始の操作の内容を第１端末装置２から受信し、制御装置４は、オンライン会議に参加しているすべての端末装置２、３へ動画をストリーミング配信するように保存装置５に対して指示する。また、第１端末装置２において動画の再生停止の操作が行われた場合には、制御装置４は動画の再生停止の操作の内容を第１端末装置２から受信し、制御装置４は、オンライン会議に参加しているすべての端末装置２、３への動画のストリーミング配信を停止するように保存装置５に対して指示する。また、第１端末装置２において動画の再生位置の戻しの操作が行われた場合には、制御装置４は動画の再生位置の戻しの操作の内容を第１端末装置２から受信し、制御装置４は、オンライン会議に参加しているすべての端末装置２、３へ、再生位置の戻しの指示に対応する動画（戻された再生位置からの動画）をストリーミング配信するように保存装置５に対して指示する。また、第１端末装置２において動画の再生位置の送りの操作が行われた場合には、制御装置４は動画の再生位置の送りの操作の内容を第１端末装置２から受信し、制御装置４は、オンライン会議に参加しているすべての端末装置２、３へ、再生位置の送りの指示に対応する動画（送られた再生位置からの動画）をストリーミング配信するように保存装置５に対して指示する。第２端末装置３において動画の再生開始の操作、動画の再生停止の操作、動画の再生位置の戻しの操作、および動画の再生位置の送りの操作が行われた場合についても同様である。

次に、指示情報が、操作対応画像をストリーミング配信させる指示を保存装置５に対して間接的に行うための情報である場合について説明する。たとえば、第１端末装置２において、動画の再生ボタンＢ９をアクティブ状態にする操作が行われた場合には、制御装置４は動画の再生ボタンＢ９をアクティブ状態にする操作の内容を第１端末装置２から受信し、制御装置４は、オンライン会議に参加しているすべての第２端末装置３へ再生ボタンＢ９をアクティブ状態にする指示を行う。「再生ボタンＢ９をアクティブ状態にする操作」は、たとえば、ノートＰＣにおいては、非アクティブ状態にある再生ボタンＢ９をマウスでクリックする操作であり、スマートフォンにおいては、非アクティブ状態にある再生ボタンＢ９を指などでタッチする操作である。また、第２端末装置３は、受信した指示に基づいて、自己の再生ボタンＢ９をアクティブ状態にするとともに、動画をストリーミング配信するように保存装置５に対して指示する。また、第１端末装置２において、動画の再生ボタンＢ９を非アクティブ状態にする操作が行われた場合には、制御装置４は動画の再生ボタンＢ９を非アクティブ状態にする操作の内容を第１端末装置２から受信し、制御装置４は、オンライン会議に参加しているすべての第２端末装置３へ再生ボタンＢ９を非アクティブ状態にする指示を行う。「再生ボタンＢ９を非アクティブ状態にする操作」は、たとえば、ノートＰＣにおいては、アクティブ状態にある再生ボタンＢ９をマウスでクリックする操作であり、スマートフォンにおいては、アクティブ状態にある再生ボタンＢ９を指などでタッチする操作である。第２端末装置３は、受信した指示に基づいて、自己の再生ボタンＢ９を非アクティブ状態にするとともに、動画のストリーミング配信を停止するように保存装置５に対して指示する。また、第１端末装置２において、動画のシークバーＢ１０の位置を戻す（動画の再生位置を戻す）操作が行われた場合には、制御装置４は動画のシークバーＢ１０の位置を戻す（動画の再生位置を戻す）操作の内容を第１端末装置２から受信し、制御装置４は、オンライン会議に参加しているすべての第２端末装置３へ動画のシークバーＢ１０の位置を戻す指示を行う。第２端末装置３は、受信した指示に基づいて、自己のシークバーＢ１０の位置を戻すとともに、シークバーＢ１０を戻した位置から動画をストリーミング配信するように保存装置５に対して指示する。また、第１端末装置２において、動画のシークバーＢ１０の位置を送る（動画の再生位置を送る）操作が行われた場合には、制御装置４は動画のシークバーＢ１０の位置を送る（動画の再生位置を送る）操作の内容を第１端末装置２から受信し、制御装置４は、オンライン会議に参加しているすべての第２端末装置３へ動画のシークバーＢ１０の位置を送る指示を行う。第２端末装置３は、受信した指示に基づいて、自己のシークバーＢ１０の位置を送るとともに、シークバーＢ１０を送った位置から動画をストリーミング配信するように保存装置５に対して指示する。第２端末装置３において動画の再生ボタンＢ９をアクティブ状態にする操作、動画の再生ボタンＢ９を非アクティブ状態にする操作、動画のシークバー１０の位置を戻す操作、動画のシークバー１０の位置を送る操作が行われた場合についても同様である。

制御装置４は、第１端末装置２および第２端末装置３の一方から操作の内容を受信した後、第１端末装置２および第２端末装置３の一方または他方から新たな操作の内容を受信した場合、新たな操作の内容に対応する新たな指示情報を生成する。すなわち、制御装置４は、端末装置２、３から操作の内容を受信し、受信した操作の内容に対応する指示を行った後、先に受信した操作の内容とは異なる操作の内容を端末装置２、３から新たに受信した場合、制御装置４は、新たに受信した操作の内容に対応する指示を行う。たとえば、制御装置４は、第１端末装置２から再生ボタンＢ９をアクティブ状態にする操作の内容を受信して、第２端末装置３へ再生ボタンＢ９をアクティブ状態にする指示を行った後、第２端末装置３からシークバーＢ１０の位置を戻す操作の内容を受信した場合、制御装置４はシークバーＢ１０の位置を戻す指示を第１端末装置２および第２端末装置３に対して行う。また、たとえば、制御装置４は、第２端末装置３からシークバーＢ１０の位置を変更する（たとえば戻し）操作の内容を受信して、第１端末装置２および他の第２端末装置３へシークバーＢ１０の位置を変更する指示を行った後、第１端末装置２からシークバーＢ１０の位置を新たに変更する（たとえば送り）操作の内容を受信した場合、制御装置４はシークバーＢ１０の位置を送る新たな指示を第２端末装置３に対して行う。

保存装置５は、制御装置４が生成した指示情報に対応するサブ画像ＳＧを第１端末装置２および第２端末装置３へ配信する。本実施形態では、保存装置５はストリーミング配信を行うストリーミングサーバ（第１サーバ）である。たとえば、制御装置４が保存装置５から操作対応画像をストリーミング配信させる指示を保存装置５に対して直接的に行う場合には、保存装置５は、制御装置４から受信した指示に基づいて、操作対象画像を第１端末装置２および第２端末装置３へストリーミング配信する。また、制御装置４が保存装置５から操作対応画像をストリーミング配信させる指示を保存装置５に対して間接的に行う場合には、保存装置５は、第１端末装置２および第２端末装置３から受信した指示に基づいて、操作対象画像を第１端末装置２および第２端末装置３へストリーミング配信する。また、上述のように、制御装置４が新たな指示情報を生成し、この新たな指示情報に基づいて直接的または間接的に保存装置５に指示を行った場合、保存装置５は、配信する内容を、新たな指示情報に対応するサブ画像に更新する。たとえば、保存装置５は、制御装置４から直接的または間接的に動画再生の指示を受けて動画の配信を行っている間に、制御装置４から直接的または間接的に動画再生位置の戻しの指示を受けた場合、戻しの指示に対応する再生位置から動画の配信を行う。ストリーミング配信を行う際には、インターネット回線の通信速度（帯域幅）および受信側の端末（第１端末装置２および第２端末装置３）の処理速度に応じて、配信する画像の品質を調整することができるので、端末装置２、３に配信される画像を同期して表示することがより容易となる。

次に、オンライン会議システムが行う処理手順について、図４を参照して説明する。図４は、本発明の一実施形態に係るオンライン会議システムが行う処理手順の一例を示すシーケンス図である。

本実施形態では、図示しないＷｅｂサーバにおいて、オンライン会議を行うためのＷｅｂページがホストユーザＨｕによって予め構築されているものとする。また、ホストユーザＨｕおよびゲストユーザＧｕは、上記Ｗｅｂページにアクセスしてオンライン会議の部屋に入室するためのＵＲＬを認識しているものとする。また、ここでは、第１端末装置２および複数の第２端末装置３が上記Ｗｅｂページにアクセスすることにより、ホストユーザＨｕおよび複数のゲストユーザＧｕは、上記Ｗｅｂページにおいて構築されたオンライン会議の部屋に入室しているものとする。また、第１端末装置２および複数の第２端末装置３の間では、Ｐ２Ｐによる双方向通信が確立されているものとする。また、第１端末装置２および制御装置４の間、および、第２端末装置３および制御装置４の間では、ＷｅｂＳｏｃｋｅｔによる双方向通信が確立されているものとする。また、第１端末装置２から保存装置５へのサブ画像ＳＧのアップロードが既に行われているものとする。

図４に示される例では、まず、第１端末装置２および第２端末装置３の間において、音声、ビデオストリームの送受信が行われる。詳細には、ホストユーザＨｕおよびゲストユーザＧｕが発した音声、ホストユーザＨｕの撮像動画（メイン画像ＭＧ１）およびゲストユーザＧｕの撮像動画（メイン画像ＭＧ２）の送受信が行われる。そして、第１端末装置２の画面２１１において、たとえば、図２に示されるようにメイン画像ＭＧ１およびメイン画像ＭＧ２が表示される。また、第２端末装置３の画面３１１において、たとえば、図３に示されるようにメイン画像ＭＧ１およびメイン画像ＭＧ２が表示される（ステップＳ１０１、Ｓ１０２）。

つぎに、第１端末装置２において、オンライン会議で使用したい画像（たとえば動画）が入っているファイルが、ファイル選択ボタンＢ１の操作によって選択される。そして、第１端末装置２において、再生ボタンＢ９をアクティブ状態にする操作が行われる。具体的には、たとえば、ノートＰＣにおいては、非アクティブ状態にある再生ボタンＢ９をマウスでクリックする操作が行われ、スマートフォンにおいては、非アクティブ状態にある再生ボタンＢ９を指などでタッチする操作が行われる。これにより、制御装置４は、選択されたファイルに入っている画像（第１選択画像）を保存装置５にストリーミング配信させる指示を保存装置５へ送信する。保存装置５は、受信した指示に基づいて、第１端末装置２およびオンライン会議に参加しているすべての第２端末装置３へ第１選択画像（サブ画像ＳＧ）をストリーミング配信する（ステップＳ１０３）。

つぎに、第１端末装置２および第２端末装置３は、保存装置５からストリーミング配信された第１選択画像を各々の画面２１１、３１１において同期して再生する（ステップＳ１０４、Ｓ１０５）。

つぎに、第１端末装置２において、第１選択画像の再生位置を変更する操作が行われる（ビデオ操作）。詳細には、たとえば、第１端末装置２において、シークバーＢ１０の再生位置を変更（戻しまたは送り）する操作が行われる。具体的には、たとえば、動画で２分３０秒の位置へシークバーＢ１０を移動させる操作が行われる。第１端末装置２は、シークバーＢ１０の再生位置を変更した内容を制御装置４へ送信する。（ステップＳ１０６）。

つぎに、制御装置４は、第１端末装置２からシークバーＢ１０の再生位置の変更内容を受信する（ステップＳ１０７）。つぎに、制御装置４は、受信した内容に合わせて、シークバーＢ１０の位置を変更する指示を、会議に参加しているすべての第２端末装置３へ送信する（ステップＳ１０８）。

つぎに、第２端末装置３は、制御装置４から、シークバーＢ１０の位置を変更する指示を受信する（ステップＳ１０９）。つぎに、第２端末装置３は、自己のシークバーＢ１０の位置を変更するとともに、シークバーＢ１０の位置に対応した再生位置から第１選択画像をストリーミング配信させる指示を保存装置５へ送信する。具体的には、たとえば、第２端末装置３のシークバーＢ１０が、動画で１分３０秒の位置にあっても、第２端末装置３が制御装置４からの指示を受けることで、シークバーＢ１０が２分３０秒の位置へ移動する（ステップＳ１１０）。

つぎに、保存装置５は、第２端末装置３から受信した指示に基づいて、シークバーＢ１０の位置に対応した再生位置から第１選択画像を、第１端末装置２およびオンライン会議に参加しているすべての第２端末装置３へストリーミング配信する（ステップＳ１１１）。

つぎに、第１端末装置２および第２端末装置３は、シークバーＢ１０の修正位置からの第１選択画像を保存装置５から受信し、同期して再生する。具体的には、たとえば、第１端末装置２および第２端末装置３は、動画を２分３０秒の位置から同期して再生する（ステップＳ１１２、Ｓ１１３）。

以上説明したように、本実施形態に係るオンライン会議システム１では、第１端末装置に保存されている画像を第１端末装置２および第２端末装置３において画面共有するのではなく、第１端末装置２および第２端末装置３とは別に設けられた保存装置５（たとえばサーバ）に保存されているサブ画像ＳＧを、保存装置５から第１端末装置２および第２端末装置３へ配信させて共有するので、ホストユーザＨｕ側の第１端末装置２に限らず、ゲストユーザＧｕ側の第２端末装置３から、制御装置４を介して、サブ画像ＳＧにおいて見たい部分を指定して第１端末装置２および第２端末装置３へ同期して配信することができる。したがって、オンライン会議において、ホストユーザＨｕ側の資料の画像（サブ画像ＳＧ）を、ホストユーザＨｕからのアクション（操作）に限らず、ゲストユーザＧｕからのアクションによっても、端末装置２、３の画面上においてリアルタイムで共有することができる。また、従来のように、ホストユーザ側の端末装置の画面がそのまま共有されるのではなく、ストリーミング配信される画像に対してホストユーザＨｕおよびゲストユーザＧｕが行った操作（たとえば、資料の表示位置の変更、動画の再生位置の変更、動画再生、動画停止といった動作を行わせるための操作）を同期させることができる。また、本実施形態では、サーバ上（クラウド上）にアップロードされているサブ画像ＳＧ（画像ファイル）が端末装置２、３へ配信されることによりサブ画像ＳＧが共有されるので、サブ画像ＳＧの確証性を容易に担保することができる。詳細には、従来は、端末装置（たとえばパソコン）に保存されている画像が当該端末装置の画面に表示（投影）され、その画像が他の端末装置の画面にも表示されることで画像の共有（画面共有）が行われていた。この画面共有において共有される画像の確証性は、画像が保存されている端末装置および当該端末装置のユーザに依存する。このため、従来の画面共有によって共有された画像は、画像が保存されている端末装置において画面共有後にいくらでも書き換えることが可能であり、共有された画像の確証性を担保することが難しい。これに対し、本実施形態では、サーバ上（クラウド上）にアップロードされているサブ画像ＳＧ（画像ファイル）が端末装置２、３へ配信されることにより画像が共有されており、サーバ上（クラウド上）にアップロードされている画像を端末装置側で書き換えることは容易ではない。したがって、本実施形態では、共有された画像の確証性を容易に担保することができる。また、本実施形態では、サーバ上（クラウド上）にアップロードされているサブ画像ＳＧに対して、視聴に関する操作を行うので、端末装置２、３をその種類（パソコンだけでなく、タブレット、スマートフォンなど）および性能を問わずに使用することができ、オンライン会議システムの利便性をより高めることができる。また、ホストユーザＨｕ側の端末装置２およびゲストユーザＧｕ側の端末装置３において、サブ画像ＳＧの表示開始、サブ画像ＳＧの表示停止、サブ画像ＳＧの表示位置の戻し、およびサブ画像ＳＧの表示位置の送りなど、サブ画像ＳＧの視聴に関する多様な操作を行い、その操作に対応した画像（操作対応画像）の共有をリアルタイムで行うことにより、ホストユーザＨｕおよびゲストユーザＧｕの双方において、オンライン会議をより効率よく、よりスムーズに行うことができる。

また、本実施形態では、ストリーミング配信される画像を第１端末装置２の画面２１１および第２端末装置３の画面３１１において共有するので、たとえば、インターネット回線の通信速度（帯域幅）および受信側の端末（第１端末装置２および第２端末装置３）の処理速度に応じて、配信する画像の品質を調整（最適化）することにより、オンライン会議において、ホストユーザＨｕ側の第１端末装置２およびゲストユーザＧｕ側の第２端末装置３の各画面における資料の同期した表示をより容易かつ確実に行うことができる。

また、本実施形態では、第１端末装置２および第２端末装置３にアプリケーションソフトをインストールして画像の同期を行うのではなく、Ｗｅｂベースで動作する制御装置４の制御によって第１端末装置２および第２端末装置３に画像を配信して画像を共有するので、パソコンだけでなく、タブレット、スマートフォンなど、利用する端末装置の種類を問わすに画像を共有することができる。

１ オンライン会議システム
２ 第１端末装置
２１、３１ 表示部
２１１、３１１ 画面
３ 第２端末装置
４ 制御装置
５ 保存装置
Ｂ１ ファイル選択ボタン
Ｂ２ ファイル選択解除ボタン
Ｂ３ ミュートボタン
Ｂ４ ビデオボタン
Ｂ５ 画面共有ボタン
Ｂ６ 参加者リストボタン
Ｂ７ 設定ボタン
Ｂ８ 退出ボタン
Ｂ９ 再生ボタン
Ｂ１０ シークバー
Ｇｕ ゲストユーザ
Ｈｕ ホストユーザ
ＭＧ１ 第１端末装置において撮像されたメイン画像
ＭＧ２ 第２端末装置において撮像されたメイン画像
Ｒ１ ホスト表示領域
Ｒ２ 資料表示領域
Ｒ３ 共有ＵＲＬ表示領域
Ｒ４ ゲスト表示領域
Ｒ５ 音声調整領域
ＳＧ サブ画像
Ｔ１～Ｔ３ 通信経路

Claims (4)

1. 複数の端末装置がオンラインで接続されることにより、前記複数の端末装置間での会議を行うことが可能なオンライン会議システムであって、
   撮像部および表示部を有する第１端末装置と、
   前記第１端末装置との間で情報の送受信が可能であり、撮像部および表示部を有する第２端末装置と、
   前記第１端末装置および前記第２端末装置とは別に設けられ、前記第１端末装置および前記第２端末装置との間で情報の送受信が可能であり、所定の制御動作を行う制御装置と、
   自己に保存されているサブ画像を前記第１端末装置および前記第２端末装置へストリーミング配信する保存装置とを備え、
   前記第１端末装置および前記第２端末装置は、自己の前記撮像部が撮像したメイン画像を自己以外の端末装置へ送信し、
   前記第１端末装置および前記第２端末装置は、ユーザにより自己に対して行われた前記サブ画像の視聴に関する操作の内容を前記制御装置へ送信し、
   前記制御装置は、前記第１端末装置および前記第２端末装置のうちの一の端末装置から受信した前記操作の内容に対応する指示情報を生成し、
   前記保存装置は、前記一の端末装置からの操作の内容に係る前記指示情報に対応する前記サブ画像を、オンライン会議に参加しているすべての前記第１端末装置および前記第２端末装置へ配信し、
   前記第１端末装置および前記第２端末装置は、自己以外の端末装置から受信した前記メイン画像、および前記保存装置から受信した前記サブ画像を前記表示部において表示する、
   オンライン会議システム。
2. 前記サブ画像は動画またはスライド画像であり、
   前記操作は、前記サブ画像の表示開始、前記サブ画像の表示停止、前記サブ画像の表示位置の戻し、および前記サブ画像の表示位置の送りである、請求項１に記載のオンライン会議システム。
3. 前記制御装置は、前記第１端末装置および前記第２端末装置の一方から前記操作の内容を受信した後、前記第１端末装置および前記第２端末装置の一方または他方から新たな前記操作の内容を受信した場合、前記新たな操作の内容に対応する新たな前記指示情報を生成し、
   前記保存装置は、配信する内容を、前記新たな指示情報に対応する前記サブ画像に更新する、請求項１または２に記載のオンライン会議システム。
4. 前記サブ画像は、前記第１端末装置または前記第２端末装置から前記保存装置にアップロードされた画像である、請求項１～３のいずれか１項に記載のオンライン会議システム。

Images