JP6703259B2 - Information processing system, conference server, control method thereof, and program - Google Patents
Information processing system, conference server, control method thereof, and program Download PDFInfo
- Publication number
- JP6703259B2 JP6703259B2 JP2016072617A JP2016072617A JP6703259B2 JP 6703259 B2 JP6703259 B2 JP 6703259B2 JP 2016072617 A JP2016072617 A JP 2016072617A JP 2016072617 A JP2016072617 A JP 2016072617A JP 6703259 B2 JP6703259 B2 JP 6703259B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information processing
- specifying
- information
- transmitted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、情報処理システム、会議サーバ、その制御方法及びプログラムに関する。 The present invention relates to an information processing system, a conference server, a control method thereof, and a program.
従来、ウェブ会議システムにおいては、パーソナルコンピュータやタブレット端末などの情報処理装置に、カメラ、マイク、スピーカなどの機能を有するデバイスを接続し、それぞれのデバイスから入力した映像や音声を複数の拠点間で送受信している。 Conventionally, in a web conference system, a device having a function such as a camera, a microphone, and a speaker is connected to an information processing device such as a personal computer or a tablet terminal, and video and audio input from each device are transmitted between a plurality of bases. Sending and receiving.
特許文献１には、双方向映像コミュニケーションシステムにおいて、ネットワークや端末の状態変化を監視し、悪条件下では設定品質を下げることで画像の停止やサービスの中断を未然に防ぎ、条件回復時には設定品質を上げることで高品質なサービスを提供する方法が記載されている。
In
しかしながら、特許文献１のシステムでは、自分の映像が相手にどのように表示されているのかを知るための方法については記載されていない。会議の円滑な進行のためには、自身が説明しようとしている説明対象の画像や映像、説明している自分自身の映像等が、相手の端末上にどのように送信・表示されているか認識した上で、発言できるような状態が望ましい。
However, the system of
本発明は、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することを目的とする。 It is an object of the present invention to provide a mechanism that makes it possible to easily check the reception status of images in an electronic conference.
本発明は、情報処理装置と、会議サーバとを含む情報処理システムであって、前記会議サーバは、情報処理装置から受信した画像を記憶する記憶手段と、前記記憶手段に記憶された画像を、複数の情報処理装置に受信させるべく送信する送信手段と、前記送信手段により、通知先に対し、前記複数の情報処理装置のうちいずれの情報処理装置に送信された画像を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、前記特定手段により特定された画像を、前記通知先の情報処理装置に通知する通知手段と、を備え、前記情報処理装置は、前記通知手段により通知された前記画像を表示画面に表示する表示手段を備えることを特徴とする。 The present invention is an information processing system including an information processing device and a conference server, wherein the conference server stores a storage unit that stores an image received from the information processing device and an image stored in the storage unit. A plurality of information processing apparatuses, which transmits the information to be transmitted to a plurality of information processing apparatuses, and which of the plurality of information processing apparatuses is to be notified of the image transmitted to the notification destination by the transmission means. The specifying unit for specifying the image based on the transmission status of the image to the information processing device, and the notifying unit for notifying the information processing device of the notification destination of the image specified by the specifying unit, The processing device is characterized by comprising display means for displaying the image notified by the notification means on a display screen.
本発明によれば、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism capable of easily confirming the reception status of an image in an electronic conference.
以下、図面を参照して、本発明の実施の形態の一例について説明する。 An example of an embodiment of the present invention will be described below with reference to the drawings.
まず図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。 First, with reference to FIG. 1, an example of a configuration of an information processing system in an embodiment of the present invention will be described.
本発明のウェブ会議システムは、例えば、パーソナルコンピュータを適用可能な情報処理装置であるクライアント端末１００（１００Ｇ１、１００Ｇ２、１００Ｓ）と各クライアント端末でウェブ会議システムを利用可能にするウェブ会議サーバ２００（サーバ装置（情報処理装置の１つ））がネットワーク１５０を介して通信可能に接続され、構成されている。
The web conference system of the present invention includes, for example, a client terminal 100 (100G1, 100G2, 100S) which is an information processing device to which a personal computer can be applied, and a web conference server 200 (server which enables the web conference system to each client terminal). A device (one of information processing devices) is communicably connected and configured via a
ウェブ会議サーバ２００は、ウェブブラウザを利用したウェブ会議を実現するためのサーバであり、クライアント端末１００からのアクセスに応じてウェブ会議画面（インタフェース／例えばｈｔｍｌで表現される画面を表示するための情報）をクライアント端末に送信することで、複数のクライアント端末１００によりウェブ会議を行うサービスを提供する。 The web conference server 200 is a server for implementing a web conference using a web browser, and in response to access from the client terminal 100, a web conference screen (interface/information for displaying a screen represented by html, for example). ) Is transmitted to the client terminal to provide a service for conducting a web conference with the plurality of client terminals 100.
クライアント端末１００には、例えば１００や１００Ｓに示すようなデスクトップＰＣや、１００Ｇ１のようなノートＰＣ、１００Ｇ２のようなタブレットＰＣを適用可能である。クライアント端末１００は、ウェブ会議サーバ２００から受信した会議画面に、同じくウェブ会議サーバ２００から受信した画像や映像を表示する。 As the client terminal 100, for example, a desktop PC such as 100 or 100S, a notebook PC such as 100G1, or a tablet PC such as 100G2 can be applied. The client terminal 100 displays the image and video similarly received from the web conference server 200 on the conference screen received from the web conference server 200.
本実施形態においてクライアント端末１００には、ウェブ会議サーバ２００へアクセスするためのウェブブラウザ、及び専用のモジュールがインストールされているものとする。なお、この専用のモジュールは、例えば、ウェブブラウザを介して、ウェブ会議サーバ２００からダウンロードするＡｃｔｉｖｅＸコンポーネントである。なお、ウェブ会議において自身の動画像を送信する場合は、ビデオデバイスである（ウェブカメラ等の）カメラ１０１を接続する。音声を送信する場合は、マイク１０２を接続し、相手の音声を視聴するためにはスピーカ１０３を接続する。マイク１０２およびスピーカ１０３はオーディオデバイスである。 In the present embodiment, it is assumed that the client terminal 100 has a web browser for accessing the web conference server 200 and a dedicated module installed. Note that this dedicated module is, for example, an ActiveX component downloaded from the web conference server 200 via a web browser. When transmitting a moving image of the user in a web conference, a camera 101 (such as a web camera) which is a video device is connected. When transmitting voice, the microphone 102 is connected, and in order to listen to the voice of the other party, the speaker 103 is connected. The microphone 102 and the speaker 103 are audio devices.
また、図１においては各デバイスを別々の筐体として例示しているが、例えば１０１〜１０３が同じ筐体のハードに備えられているデバイスを用いてもよい。例えばカメラ機能とマイク機能や、マイク機能とスピーカ機能、および全ての機能を備えたデバイスである。また、クライアント端末１００に１０１〜１０３のデバイスが内蔵されている場合、これらの内蔵されているデバイスを用いて、画像、音声等を入力・出力するようにしてもよい。 Further, although each device is illustrated as a separate housing in FIG. 1, for example, devices in which 101 to 103 are provided in the hardware of the same housing may be used. For example, the device has a camera function and a microphone function, a microphone function and a speaker function, and all functions. Further, when the devices 101 to 103 are built in the client terminal 100, the built-in devices may be used to input/output images, sounds, and the like.
また、本実施形態のウェブ会議システムは、クライアント端末１００に表示されている画面の画像を他のクライアント端末（１００Ｇ１、１００Ｇ２や１００Ｓ）の画面に表示する、画面共有（指定画像の表示の共有処理）を行うことができる。共有される画像は、クライアント端末１００で指定することが可能である。例えばユーザ操作により指定されたアプリケーションの画面のみを指定画像として共有することができる（アプリケーション共有）。また、クライアント端末１００に表示されているデスクトップ画面の指定を受け付けることで、当該デスクトップ画像全体を指定画像として共有することができる（デスクトップ共有）。また、クライアント端末１００を指定することで（または自装置のカメラで撮像した画像を全画面表示する操作を受け付けることで）、当該カメラで撮像した画像を指定画像として共有することができる（指定受付手段に該当）。 In addition, the web conference system of the present embodiment displays a screen image displayed on the client terminal 100 on the screen of another client terminal (100G1, 100G2, or 100S) (screen sharing (sharing process of display of designated image). )It can be performed. The shared image can be designated by the client terminal 100. For example, only the screen of the application designated by the user operation can be shared as the designated image (application sharing). Further, by accepting the designation of the desktop screen displayed on the client terminal 100, the entire desktop image can be shared as the designated image (desktop sharing). Further, by designating the client terminal 100 (or by accepting an operation of displaying the image captured by the camera of the device itself on the full screen), the image captured by the camera can be shared as the designated image (designation acceptance). Applies to means).
また、本ウェブ会議システムは、ルームと呼ばれる仮想の会議室をウェブ会議サーバ２００において複数生成、記憶、管理することができる。各クライアント端末１００を操作するユーザは、自身のユーザＩＤ・パスワードを用いて、ウェブブラウザ経由でウェブ会議サーバ２００にアクセスしてログインし、自身のユーザＩＤを用いて当該ルームに入室することで、当該ルームにおいて開催される会議に参加することができる。以上が図１の説明である。 The web conference system can generate, store, and manage a plurality of virtual conference rooms called rooms in the web conference server 200. A user operating each client terminal 100 accesses the web conference server 200 via a web browser by using his/her user ID/password, logs in, and enters the room by using his/her user ID. You can participate in the conference held in the room. The above is the description of FIG. 1.
以下、図２を用いて、本発明の実施形態における情報処理装置のハードウェア構成の一例について説明する。 An example of the hardware configuration of the information processing device according to the embodiment of the present invention will be described below with reference to FIG.
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In FIG. 2,
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
であってもよい。また、例えばプロジェクタのような外部出力装置であってもよい。
A
May be It may also be an external output device such as a projector.
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス、タッチパネル、カメラ等からの入力を制御する。
であってもよい。また、例えばプロジェクタのような外部出力装置であってもよい。
An
May be It may also be an external output device such as a projector.
２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器（外部出力装置）への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイや、マルチタッチスクリーン等の他の表示器であってもよい。また、例えばプロジェクタのような外部出力装置であってもよい。
A
なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。本実施形態においては、各クライアント端末１００は、クライアント端末１００を通常する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねて別の表示をするために用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。
Note that the
２１２は、音声入出力コントローラで、マイク／スピーカ２１３（図１における１０２及び１０３）からの入出力を制御する。マイクから入力された音声を音声認識することが可能となっている。スピーカにはイヤホンを接続することも可能である。
A voice input/
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
A
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したネットワーク１５０（例：ＬＡＮ等））を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信や、ＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。等が可能である。
A communication I/
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
It should be noted that the
また、外部メモリ２１１等の、情報を永続的に記憶するための記憶装置（記憶媒体）は、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。
The storage device (storage medium) such as the
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上が図２の説明である。
Various programs to be described later for implementing the present invention are recorded in the
次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 3, an example of a functional configuration of various devices in the embodiment of the present invention will be described.
クライアント端末１００は、画像記憶部３１１、送信制御部３１２、通知受付部３１３、発話判定部３１４、表示制御部３１５等を備えている。
The client terminal 100 includes an
ウェブ会議サーバ２００は、会議情報記憶部３２１、受信制御部３２２、画像記憶部３２３、送信制御部３２４、画像特定部３２５、受信状況通知部３２６等を備えている。
The web conference server 200 includes a conference
会議情報記憶部３２１は、どのユーザが、どの会議室に入室してどのユーザと会議を行っているかを記憶する記憶部である。
The conference
送信制御部３１２は、カメラにおいて撮像され入力された画像（映像）や、ユーザ操作等により表示を共有する画像として決定された指定画像（デスクトップ全体または指定アプリケーションの画面の画像）を圧縮し、ウェブ会議サーバに送信制御する送信制御部である。送信された圧縮データ（圧縮画像）は、ウェブ会議サーバ２００の受信制御部３２２で受信され、メモリ上の画像記憶部３２３（キュー）に格納される。
The
画像記憶部３１１は、送信制御部３１２によって送信する画像と同じ画像を記憶する記憶部（キュー）である。カメラは継続的に撮像処理（動画の撮像及びクライアント端末１００への動画の入力）を行うため、キューには、動画を構成する複数の画像が、動画内のフレームごとに順々に記憶される。
The
受信制御部３２２は、クライアント端末１００の送信制御部３１２より送信された画像（映像）、および指定画像、音声を受信する受信部である。送信制御部３２４は、受信制御部３２２で受信した画像、音声等を、同じ会議に参加している（同じ会議室に入室中の）他のクライアント端末１００に受信させるべく送信する制御部である。
The
なお、本実施形態においては、各クライアント端末１００がウェブ会議サーバ２００に対して、画像記憶部３２３からの画像の取得要求を行うことで、当該要求に応じてウェブ会議サーバ２００の送信制御部３２４が要求元のクライアント端末１００に対して、当該要求受付時におけるキュー内の最新の画像を送信するものとする。クライアント端末１００は、要求した画像を受信した後、当該受信した画像（動画内の１フレーム）を表示画面に表示する。そして当該表示と並行して、当該動画内の次の画像をウェブ会議サーバ２００に要求する。会議が終了する等、動画の表示が終了するまで、当該画像の要求と表示を繰り返す。
In this embodiment, each client terminal 100 requests the web conference server 200 to acquire an image from the
送信制御部３２４は、どのフレームの画像をどのクライアント端末１００に送信したか（どの画像がどのクライアント端末から取得要求を受けた画像か）を外部メモリに記憶する。
The
画像特定部３２５は、ウェブ会議サーバ２００が各クライアント端末１００に送信した画像のうち、どの画像の識別情報を（どのクライアント端末１００に送信しタ画像のシーケンス番号を／どのクライアント端末１００が受信した画像のシーケンス番号を）通知先に通知するかを特定する特定部である。つまり、通知先に通知するフレーム（画像）を特定する。例えば、全てのクライアント端末１００が受信済みの画像（ウェブ会議サーバ２００が、送信元以外の全てのクライアント端末１００に送信済みの送信済み画像）を通知先に通知する画像として特定する。
The
受信状況通知部３２６は、画像特定部３２５で特定された画像の識別情報を、画像の受信状況を示す情報としてクライアント端末１００に通知する。例えば、指定画像の共有を行っている場合、共有元（画像共有のホスト端末）に当該画像の識別情報を送信する。通知受付部３１３は当該画像の識別情報の通知を受け付ける。
The reception
表示制御部３１５は、カメラから入力された画像（映像／動画）、および共有すべきデスクトップ全体または指定アプリケーションの画面データを表示画面に表示する制御部である。また、通知受付部３１３が画像の識別情報の通知を受け付けた場合に、当該通知を受け付けた識別情報の示す画像を、画像記憶部３１１（メモリ上のキュー）から取得して、連続して表示画面に表示させ、動画として再生する。
The
つまり、自装置の送信した画像のうち、他のクライアント端末１００に送信され受信された画像を、画像の受信状況を示す情報として表示画面に表示し、ユーザに通知する。 That is, among the images transmitted by the device itself, the image transmitted and received by another client terminal 100 is displayed on the display screen as information indicating the image reception status, and the user is notified.
例えば上述したように、全てのクライアント端末１００に送信され受信されたフレームの画像を当該画像の送信元に通知して表示させることで、自装置から送信されている画像であって、ウェブ会議に参加している各クライアント端末１００のうち最も画像の取得頻度が少ない（例えば通信状況が悪く、最も動画の取得フレーム数が少ない）クライアント端末１００に表示されている画像を、表示画面上で確認することが可能となる。 For example, as described above, the image of the frame transmitted and received by all the client terminals 100 is notified to the source of the image and displayed, so that the image transmitted from the own device is displayed in the web conference. On the display screen, the image displayed on the client terminal 100 having the lowest image acquisition frequency among the participating client terminals 100 (for example, the communication condition is poor and the moving image acquisition frame number is the smallest) is confirmed on the display screen. It becomes possible.
発話判定部３１４は、マイクから入力された音声データを解析し、（例えばクライアント端末１００を操作しているユーザの）発言の有無を判定する判定部である。上述の説明においては、通知受付部３１３が通知を受け付けた場合に通知を受けた画像を表示するものとしたが、例えば、通知受付部３１３が通知を受け付け、且つ発話判定部３１４で発話がされた場合に、ユーザが各端末に表示されている画像に関する話をしようとしていると判断し、通知受付部３１３が通知を受けた識別情報の画像を表示画面に表示することができる。以上が図３の説明である。
The
＜第１の実施形態＞
次に図４を参照して、本発明の第１の実施形態における、画像送信処理の流れについて説明する。
<First Embodiment>
Next, with reference to FIG. 4, a flow of image transmission processing in the first embodiment of the present invention will be described.
クライアント端末１００のＣＰＵ２０１は、ウェブ会議サーバ２００の提供するウェブ会議サービスを享受するために、ブラウザソフト上におけるユーザ操作に応じて所定のＵＲＬにアクセスし、不図示のログイン画面を表示する。そして、当該ログイン画面においてユーザＩＤとパスワードの入力を受け付けて、「ログイン」ボタンの押下を受け付けることで、ウェブ会議サーバ２００へのログイン要求を送信する（ステップＳ４０１）。
In order to enjoy the web conference service provided by the web conference server 200, the
ウェブ会議サーバ２００のＣＰＵ２０１は、当該ログイン要求を受け付け（ステップＳ４０２）、自装置の外部メモリに予め記憶されているユーザ情報（ユーザＩＤ及びパスワード／図８の８００に例示）と突き合わせて認証処理（ログイン処理）を行う。認証が成功した場合（受信したユーザＩＤを用いたウェブ会議サーバ２００へのログインが成功した場合）、不図示のメニュー画面の画面情報（例えばｈｔｍｌ情報）を生成して、クライアント端末１００に送信する（ステップＳ４０３）。
The
クライアント端末１００のＣＰＵ２０１は、当該画面情報を受信して、受信した画面情報に基づいて不図示のメニュー画面を表示画面に表示する（ステップＳ４０４）。クライアント端末１００のＣＰＵ２０１は、当該メニュー画面に含まれる不図示のルーム（ルームの識別情報）の選択部において、ログインユーザが入室するルームの選択操作を受け付け（ステップＳ４０５）、同画面に含まれる不図示の「入室」ボタンの押下を受け付けることで、選択中のルームへの入室要求をウェブ会議サーバ２００に送信する（ステップＳ４０６）。
The
クライアント端末１００のＣＰＵ２０１は、当該入室要求に、入室の操作を受け付けたクライアント端末１００でログイン中のログインユーザのユーザＩＤ、入室対象のルームの識別情報（ルームＩＤ）、クライアント端末１００の識別情報（例えばＩＰアドレス）、クライアント端末１００の端末種別、通信方法等の情報を含めて、当該要求をウェブ会議サーバ２００に送信する。端末種別とは、例えばクライアント端末１００自身が、ＰＣ（デスクトップＰＣ、ノートＰＣ）なのか携帯端末（例えばタブレットＰＣ、携帯電話等）なのかを識別するための情報である。自装置がＰＣであれば端末種別＝ｐｃの値を送信し、自装置が携帯端末であれば端末種別＝ｍｏｂｉｌｅの値を送信する。各クライアント端末１００は、自装置の端末種別の情報を、自装置の外部メモリ等の記憶領域に予め保持・記憶しており、その情報を取得して当該要求に埋め込むものとする。通信方法は、クライアント端末１００自身がどのような通信方法でウェブ会議サーバ２００と通信しているかを示す通信方法の識別情報である。例えば有線ＬＡＮを用いた通信であれば通信方法＝ｗｉｒｅ−ｌｉｎｅであり、無線通信であれば通信方法＝ｗｉｒｅｌｅｓｓである。クライアント端末１００のＣＰＵ２０１は、自装置の通信を管理している機能部（例えば通信／ＩＦコントローラ）に自装置が外部装置との通信に用いている通信方法を問い合わせて当該通信方法の情報を取得する。そして、入室要求の中に埋め込んで、ウェブ会議サーバ２００に送信する。
In response to the entry request, the
ウェブ会議サーバ２００のＣＰＵ２０１は当該入室要求を受け付けると（ステップＳ４０７）、要求されたルーム（会議室）にユーザを入室させる入室処理を実行する（ステップＳ４０８）。
When the
ここでは、入室処理に際して、どのユーザが、どの会議室のどの会議に、どのような端末種別のどの端末で、どのような通信方法で通信をして入室しているかを登録・記憶する。 Here, at the time of entering a room, which user is in which meeting in which meeting room, which terminal type, which terminal, and which communication method has been used to register and store the information.
具体的には、図８の会議情報８１０の会議室８１１に入室するルームのルームＩＤを、参加者ＩＤ８１３に入室させるユーザのユーザＩＤを追加する。また、当該ルームに入室中のユーザがいなかった場合は（無人のルームに入室した場合は）、会議を識別する会議ＩＤを発行して会議ＩＤ８１２に挿入、記憶する。２人目以降の場合は、同ルームに入室中のユーザＩＤ（参加者）の参加している会議の会議ＩＤ（入室中のルームに対応する会議ＩＤ）を会議ＩＤ８１２に記憶するものとする。また、ステップＳ４０７で受け付けた入室要求に含まれていたクライアント端末１００の端末ＩＤを端末ＩＤ８１４に、端末種別を端末種別８１５に、通信方法を通信方法８１６に挿入して記憶する。
Specifically, the room ID of the room entering the
入室処理が完了すると、ウェブ会議サーバ２００のＣＰＵ２０１は、図１０に示すような、各クライアント端末１００のカメラにより撮像された会議画像を表示する会議画面の画面情報（例えばｈｔｍｌ情報）を、入室したユーザのユーザＩＤの送信元のクライアント端末１００に送信する（ステップＳ４０９）。
When the entry process is completed, the
クライアント端末１００のＣＰＵ２０１は当該会議画面の画面情報を受信し、受信した画面情報に基づいて会議画面を表示する（ステップＳ４１０）。以降、会議が終了するまで（会議の終了についてはステップＳ４２４で後述）、ステップＳ４１１〜ステップＳ４２３の処理を実行・継続するものとする。
The
クライアント端末１００のＣＰＵ２０１は、自装置に接続されている（又は自装置に内蔵される）カメラ１０１からの画像（映像）の入力を受け付けて、カメラ１０１で撮像された画像（映像／会議画像）を取得し（ステップＳ４１１）、会議画面上に表示する（ステップＳ４１２）。例えば図１０の会議画面における、表示領域１００２に、自装置のカメラで撮像した画像を表示する。図１０において１００１は画像を大きく表示するメイン表示領域であり、１００２、１００３は画像を小さく表示するサブ表示領域である。
The
クライアント端末１００のＣＰＵ２０１は、カメラ１０１からの入力画像（映像）を会議画面に表示する一方で、映像コーデックによる画像（映像）の圧縮処理を行い、圧縮後の画像を、１フレームごとに、順々に自装置のメモリ上のキューに保存・記憶する（ステップＳ４１３）。
The
キューの一例を図８の画像キュー８２０に示す。画像キュー８２０は、各画像の識別番号（識別情報）であり、画像の順序を示すシーケンス番号８２１と、画像の実体（画像データ／映像の中の１フレームの画像）である画像８２２の項目から構成される。クライアント端末１００のＣＰＵ２０１は、カメラ１０１から取得した映像の各フレームの画像について、当該画像を取得した順にシーケンス番号を割り振って、画像キュー８２０に記憶する。
An example of the queue is shown in the image queue 820 of FIG. The image queue 820 is an identification number (identification information) of each image, from a
クライアント端末１００のＣＰＵ２０１は、画像キュー８２０に保存した画像を、ウェブ会議サーバ２００に、シーケンス番号と共に送信する（ステップＳ４１４）。つまり、画像キュー８２０に示す情報をウェブ会議サーバ２００に送信する。
The
ウェブ会議サーバ２００のＣＰＵ２０１は、当該画像（圧縮データ）を受信し（ステップＳ４１５）、自装置のメモリ上に保持している、当該画像の送信元のクライアント端末１００（端末ＩＤ８１４）でのログインユーザの画像キュー８３０に追加して記憶する（ステップＳ４１６）。ウェブ会議サーバ２００のＣＰＵ２０１は、ユーザの会議室への入室処理が行われた場合に、当該ユーザごとに（ユーザＩＤ８３１に入室したユーザのユーザＩＤを挿入した）画像キュー８３０を生成してメモリ上に保持する。画像キュー８３０のシーケンス番号８３２、画像８３３には、画像キュー８２０のシーケンス番号８２１、画像８２２と同じ情報を記憶する。
The
なお、送信済みユーザ８３４は、当該シーケンス番号８３２の示す画像８３３を送信した他のクライアント端末１００の端末ＩＤを格納する項目である。つまり、画像の送信状況を示す。送信済みユーザ８３４の記憶については後述する。
The transmitted
クライアント端末１００のＣＰＵ２０１は、ステップＳ４１７において、他の会議参加者の画像８３３（同じルームに入室している他の入室者のユーザＩＤをユーザＩＤ８３１に持つ画像キュー８３０の画像８３３）の取得要求をウェブ会議サーバ２００に送信する（ステップＳ４１７）。
In step S417, the
ウェブ会議サーバ２００のＣＰＵ２０１は当該取得要求を受け付け（ステップＳ４１８）、要求元のクライアント端末１００（端末ＩＤ８１４）でのログインユーザ以外の、当該ログインユーザと同じルームに入室中のユーザのユーザＩＤを、会議情報８１０を参照して特定し、特定した他の入室者の画像８３３のうち最新のシーケンス番号（最も後ろの番号）の画像８３３を取得し（ステップＳ４１９）、取得した各クライアント端末１００のカメラで撮像された画像（会議画像）を、当該画像に対応するユーザＩＤと共に要求元のクライアント端末１００に送信する（ステップＳ４２０）。
The
また、当該クライアント端末１００に画像を送信した場合に、送信先のクライアント端末１００でログイン中のログインユーザのユーザＩＤを、送信した画像８３３に対応する送信済みユーザ８３４に記憶する（ステップＳ４２１）。つまり、どのユーザ（ユーザＩＤ８３１）のどの画像（シーケンス番号８３２の画像８３３）を、どのユーザ（送信済みユーザ８３４）に送信したかを記憶する。送信済みのユーザＩＤは送信済みユーザ８３４に、送信がされた順に書き込む。よって、最後に書き込まれたユーザ（例えば、シーケンス番号８３２＝２の画像におけるＵｓｅｒ００２、シーケンス番号８３２＝４の画像におけるＵｓｅｒ００３等）が、当該画像を最後に送信した送信先のユーザ（当該画像を最後に受信したユーザ／最後に当該画像の取得要求をした（受け付けた）クライアント端末のユーザ）である。
In addition, when the image is transmitted to the client terminal 100, the user ID of the login user who is logged in at the destination client terminal 100 is stored in the transmitted
各フレームの画像の送受信のイメージを図９に示す。図９によれば、クライアント端末１００ＨからＵｓｅｒ００１が、クラアイント端末１００Ｇ１からＵｓｅｒ００２が、クラアイント端末１００Ｇ２からＵｓｅｒ００３が、クラアイント端末１００ＳからＵｓｅｒ００４が、ウェブ会議サーバ２００にログインしている。会議情報８１０に示すように、Ｕｓｅｒ００１、Ｕｓｅｒ００２、Ｕｓｅｒ００３、Ｕｓｅｒ００４は同じ会議室（ルーム）に入室し、同じ会議に参加しているものとする。図９は、クラアイント端末１００Ｈから送信された画像１〜５を、各クライアント端末１００がどの程度の頻度で受信しているか（どの番号の画像を受信できているか）を示す。
FIG. 9 shows an image of transmission/reception of images of each frame. According to FIG. 9, User001 is logged in from the
図９によれば、例えばクラアイント端末１００Ｓは、画像キュー８３０内の全ての画像を受信できている。これは通信が安定しており、適切な速度で画像を画像キュー８３０から取得（ダウンロード）して、自装置内で処理（伸張、表示）できているためと考えられる。一方クラアイント端末１００Ｇ１は、画像の取得頻度が少なく、そのため取得できている画像は２と５のみである。画像の取得頻度が少ない原因としては、端末自体の画像の伸張、表示をするための処理能力（ＣＰＵの性能やメモリ領域の大きさ）が他装置に比べて低いことや、通信速度が低いことが考えられる。処理能力は、例えば大型のデスクトップＰＣと小型の携帯端末等によって差がある。また、通信速度は例えば有線通信や無線通信といった通信方法によって左右されることがある。このように、クライアント端末ごとに能力や通信方法（通信状況）が異なることがあるため、あるユーザには見えている画像（あるクライアント端末１００においては受信できている画像）が、あるユーザには見えていない（あるクライアント端末１００においては受信できていない）という状況が生じうる。例えば図９でいう画像１、３、４がそうである。
According to FIG. 9, for example, the
ウェブ会議に参加しているユーザにとって、どの画像が受信者に見えているかを確認したいことが多々ある。例えば自身の身振り手振りがリアルタイムに相手に伝わっているのか、時間差を以って相手に伝わっているのか（そもそも動画が中抜けして、ジェスチャーが伝わっていないのか）等を確認しながら発言をしたい場合である。 For users participating in a web conference, it is often desirable to see which image is visible to the recipient. For example, I want to say while confirming whether my own gestures are being transmitted to the other person in real time, or whether they are being transmitted to the other person with a time difference (whether the video is missing or the gesture is not transmitted in the first place). This is the case.
例えば、図１０には、Ｕｓｅｒ００１のクライアント端末１００で表示している会議画面１０００と、Ｕｓｅｒ００２のクライアント端末１００で表示している会議画面１０１０とがあるが、会議画面１０００ではＵｓｅｒ００１が手を挙げている画像がカメラにより撮像され１００２にリアルタイムに表示されているのに対し、会議画面１０１０では１０１１に示すように、Ｕｓｅｒ００１が手を挙げた画像はまだ表示されていない。これでは、Ｕｓｅｒ００１が手を挙げて何かを指差し「これがＸだ」と発言したとしても、Ｕｓｅｒ００２にはＵｓｅｒ００１の言う「これ」が何なのか伝わらない。２秒後になって、やっと１００２と１０１１の表示の同期が取れているが、Ｕｓｅｒ００１はこの表示の同期がされるまでの間、指をさして「これ」と発言しているのにＵｓｅｒ００２に「これ」が何か伝わらないのが何故なのか確認することができない。つまり、画像の表示が遅延しているのか分からないため、自身の身振り手振りが通じているのかが分からない。
For example, in FIG. 10, there is a
本発明の実施形態においては、例えば当該ジェスチャーの伝達が一番遅いユーザ、つまり、画像の伝達が遅いユーザを特定して、当該画像の伝達が遅いユーザの端末の画面に表示されている画像（映像）を、所定のユーザ（例えば当該画像の送信元）に通知し、どの画像が受信者に見えているかをユーザに確認させることができる。その具体的方法の一例については、図５の説明で後述する。 In the embodiment of the present invention, for example, a user who has the slowest transmission of the gesture, that is, a user who has a slow transmission of the image is specified, and an image displayed on the screen of the terminal of the user of the slow transmission of the image ( The image) can be notified to a predetermined user (for example, the transmission source of the image) so that the user can confirm which image the recipient sees. An example of the specific method will be described later in the description of FIG.
図４の説明に戻る。クライアント端末１００のＣＰＵ２０１は、ステップＳ４２０で送信された画像（圧縮データ）を受信し（ステップＳ４２２）、映像コーデックによる伸長処理を行って映像（画像）を復元して、表示中の会議画面に表示する（ステップＳ４２３）。例えば図１０の１０００においてはメイン表示領域１００１にＵｓｅｒ００２の画像（映像）、１００２、１００３等のサブ表示領域にＵｓｅｒ００３、Ｕｓｅｒ００４の画像（映像）が割り当てられている。どの表示領域にどのユーザの画像を表示するかの対応付け情報（表示領域のＩＤとユーザＩＤを対応付けた情報）は、クライアント端末１００のメモリに記憶されているものとする。クライアント端末１００のＣＰＵ２０１は、受信した画像を、それぞれの画像のユーザに対応する表示領域に表示することで、各ユーザの画像（会議画像）の表示を更新し、動画像（映像）として再生・表示する。
Returning to the explanation of FIG. The
クライアント端末１００のＣＰＵ２０１は、会議が終了したか判定する（ステップＳ４２４）。例えば、クライアント端末１００において、不図示の「退出ボタン」の押下操作を受け付けた場合に、ログインユーザにとっての会議終了がされたと判定するものとする。また、ルーム使用の終了時刻がウェブ会議サーバに記憶されている場合、当該終了時刻になるとウェブ会議サーバ２００のＣＰＵ２０１はウェブ会議を強制終了し、当該強制終了した旨を強制終了した会議に参加していたユーザのクライアント端末１００に通知する。各クライアント端末１００のＣＰＵ２０１は、当該強制終了の通知を受け付けた場合に、会議が終了したものと判定する。ウェブ会議が終了した場合には図４の処理を終了し、継続中の場合には処理をステップＳ４１１に移行する。
The
ウェブ会議を行う場合、実際には、複数のクライアント端末１００が存在する場合があるため、ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ４０２〜Ｓ４０９をウェブ会議サーバ２００にログインしたクライアント端末１００の数だけ実行することとなる。また、ステップＳ４１５〜Ｓ４２１の処理を、ウェブ会議に参加（ルームに入室）したユーザのクライアント端末１００の数だけ実行することとなる。以上が図４の説明である。
In the case of conducting a web conference, in reality, there may be a plurality of client terminals 100. Therefore, the
次に図５を参照して、本発明の第１の実施形態における、受信状況の通知処理の流れについて説明する。 Next, with reference to FIG. 5, a flow of notification processing of the reception status in the first embodiment of the present invention will be described.
本実施形態においては、ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ５０１〜Ｓ５０５の処理を、各ユーザ（ユーザＩＤ８３１）の画像キュー８３０ごとに、当該画像キュー８３０に格納された各シーケンス番号８３２に対して実行するものとする。
In the present embodiment, the
ウェブ会議サーバ２００のＣＰＵ２０１は、画像キュー８３０から未処理のシーケンス番号８３２を特定する（ステップＳ５０１）。ウェブ会議サーバ２００のＣＰＵ２０１は、送信済みユーザ８３４を参照し、当該シーケンス番号８３２の示す画像８３３が、送信元のユーザ（ユーザＩＤ８３１のユーザ）を除く、当該送信元のユーザと同じ会議に参加している他のユーザ（図８の８１１、８１２、８１３から特定）全員に送信済みの画像か判定する（ステップＳ５０２）。
The
全員に送信済みでないと判定した場合には、処理をステップＳ５０５に移行する。全員に送信済みであると判定した場合には、処理をステップＳ５０３に移行し、当該シーケンス番号８３２の画像８３３の送信元のユーザ（ユーザＩＤ）を特定し、当該ユーザＩＤでログインし、ウェブ会議サーバ２００と通信している当該画像の送信元のクライアント端末１００（図８の端末ＩＤ８１４）を、会議情報８１０の参加者ＩＤ８１３と端末ＩＤ８１４を参照して、当該画像の受信状況の通知先として特定する（ステップＳ５０３）。
If it is determined that it has not been transmitted to all, the process proceeds to step S505. When it is determined that the transmission has been completed for all, the process proceeds to step S503, the user (user ID) of the transmission source of the
ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ５０３で特定した通知先のクライアント端末１００に対して、画像の受信状況の通知として、ステップＳ５０２で会議参加者全員に送信された（全員が受信している）と判定された画像８３３（送信済み画像）のシーケンス番号８３２、当該画像を最後に受信したユーザのユーザＩＤを通知（送信）する（ステップＳ５０４）。
The
送信済み画像は、他のクライアント端末が受信済みの受信済み画像ともいう。全てのクライアント端末１００に送信済みであるということは、当該送信済み画像が、例えば、同じ会議に参加しているユーザのクライアント端末１００のうち最も画像の取得頻度が少ない（通信環境が悪いような）クライアント端末１００でも受信・取得・表示できているということである。つまり、送信済み画像とは、送信側の端末と同じ会議の中において最も画像の取得頻度が少ないクライアント端末１００において表示されている、時間当たりのフレーム数（コマ数）の少ない動画像である。よって、当該送信済み画像を送信元のクライアント端末１００に通知することで、クライアント端末１００を操作するユーザに、ユーザ自身の操作するクライアント端末１００から送信された画像の受信状況（特に、最も受信・表示が遅れている端末における当該画像の受信状況）を容易に確認させることができる。 The transmitted image is also referred to as a received image that has been received by another client terminal. The fact that the image has been transmitted to all the client terminals 100 means that the transmitted image has the lowest image acquisition frequency among the client terminals 100 of the users participating in the same conference (for example, when the communication environment is bad). It means that the client terminal 100 can also receive, acquire, and display. That is, the transmitted image is a moving image with a small number of frames (frames) per hour, which is displayed on the client terminal 100 that has the least image acquisition frequency in the same conference as the terminal on the transmission side. Therefore, by notifying the client terminal 100 of the transmission source of the transmitted image, the reception status of the image transmitted from the client terminal 100 operated by the user himself (in particular, It is possible to easily confirm the reception status of the image at the terminal whose display is delayed.
例えば画像を送信しているクライアント端末１００Ｈと同じ会議に参加している全クライアント端末１００（例えば図１でいうクライアント端末１００Ｇ１、クライアント端末１００Ｇ２、クライアント端末１００Ｓ）が、クライアント端末１００Ｈから送信された画像（画像キュー８３０に保存されている画像）を、図９に示すクライアント端末１００Ｓのように、中抜けすることなく継続して取得要求し、受信し、表示可能な場合は（ウェブ会議サーバ２００が、画像キュー８３０の全ての画像を、全てのクライアント端末１００に対して継続して送信している場合は）、クライアント端末１００Ｈの会議画面１０００の表示領域１００１に表示中のリアルタイムの画像（フレーム）と同じ（フレームの）画像が、継続して、当該送信済み画像として特定される（ステップＳ５０２でＹＥＳ）。しかし、画像の取得の頻度が少ない端末（ウェブ会議サーバ２００との通信状況等により画像の取得速度が十分に確保できない端末／例えば図９のクライアント端末１００Ｇ１、クライアント端末１００Ｇ２等）が会議に参加中の場合は、当該送信済み画像として、クライアント端末１００Ｈの会議画面１０００の表示領域１００１に表示中のリアルタイムの画像（フレーム）よりも前のフレームの画像が特定される。画像の取得頻度が少ないと、送信側の端末に表示されているリアルタイムの画像よりも荒い動画が表示されることとなる。つまり、送信元を除く他のクライアント端末１００において、リアルタイム画像に比べて遅れて表示される遅延画像（遅延動画）が表示されることとなる。
For example, all the client terminals 100 (for example, the client terminal 100G1, the client terminal 100G2, and the
ステップＳ５０６において、クライアント端末１００のＣＰＵ２０１は、ステップＳ５０４で送信されたシーケンス番号、ユーザＩＤを受信し（ステップＳ５０６／シーケンス番号、ユーザＩＤの通知を受け付け）、メモリに蓄積して記憶する（ステップＳ５０７）。
In step S506, the
当該シーケンス番号の示す画像を、画像キュー８２０から取得して表示画面に表示（例えば、図１０の１００３に表示）することで、クライアント端末１００を操作してログインし会議に参加中のユーザに、自身の端末のカメラから取得して送信している会議画像が、受信が最も遅い（頻度が少ない）他の端末にどのように表示されているかを容易に確認させることができる。 By acquiring the image indicated by the sequence number from the image queue 820 and displaying it on the display screen (for example, displaying in 1003 of FIG. 10), the user who operates the client terminal 100 to log in and participates in the conference, It is possible to easily confirm how the conference image acquired and transmitted from the camera of the own terminal is displayed on the other terminal having the slowest reception (the frequency is low).
つまり、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 That is, it is possible to provide a mechanism for easily confirming the reception status of images in an electronic conference.
本実施形態においては、クライアント端末１００のＣＰＵ２０１はさらに、マイク１０２から入力された音声の有無に基づいて発話がされたか判定し（ステップＳ５０８）、発話ありと判定された場合に、前記メモリに蓄積して記憶された画像のシーケンス番号（全ての会議参加者に送信された画像のシーケンス番号）のうち、最新の番号、ユーザＩＤを取得して（ステップＳ５０９）、当該シーケンス番号の示す画像８２２（圧縮データ）を画像キュー８２０から検索して取得する（ステップＳ５１０）。そして、当該画像８２２を映像コーデックによる伸長処理を行って映像を復元し、会議画面上に表示する。例えば、図１０の１０００に示すように、自装置で撮像して表示している画像（表示領域１００２に表示）と、ステップＳ５１０で取得した画像（表示領域１００３に表示）とを並べて表示（比較表示）することで、カメラから取得した最新の映像（リアルタイムの映像／画像）と、受信側のクライアント端末１００に送信され、受信・表示されている映像（遅延映像／画像）を比較して確認させることが可能となる。また、１００３に示すように、ステップＳ５１０で取得した画像を表示する表示領域の枠を強調表示（識別表示）したり、１０００における「Ｕｓｅｒ００１（Ｕｓｅｒ００２）」の表示に示すように、どのユーザ（Ｕｓｅｒ００１）の画像でどのユーザ（Ｕｓｅｒ００２）が受信している画像かを識別表示することで、１００２と１００３のどちらがリアルタイム画像で、どちらが送信済み画像かを容易に確認させることができる。また、どのユーザが１００３に表示している送信済み画像を見ているかを容易に確認させることができる。
In the present embodiment, the
ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ５０５において、ステップＳ５０１〜Ｓ５０４の処理を終了するか判定する（ステップＳ５０５）。例えば、会議が終了した場合、ステップＳ５０１〜Ｓ５０４の処理を終了すると判定する。会議の終了については、ステップＳ４２４で前述した通りである。処理を終了しない場合は、ステップＳ５０１に移行し、処理済の最新画像の次のシーケンス番号の画像を取得して、ステップＳ５０２以降の処理を実行する。
In step S505, the
また、ウェブ会議サーバ２００が、図１０の１０００に示すように、会議画面上に、１００２に示す送信済み画像の表示の「ＯＮ／ＯＦＦ」ボタン１００４を含む会議画面の画面情報を生成してクライアント端末１００に送信して表示させ、当該「ＯＮ／ＯＦＦ」ボタン１００４の押下に応じて、当該「ＯＮ／ＯＦＦ」ボタン１００４が押下されたクライアント端末１００のユーザに関する（ユーザＩＤ８３１を用いた）ステップＳ５０１〜Ｓ５０５の実行開始と終了を切替えてもよい。具体的には、クライアント端末１００が当該「ＯＮ／ＯＦＦ」ボタン１００４の押下を受け付けることで、当該ボタンの押下を受け付けた旨をウェブ会議サーバ２００に通知する。通知にはログインユーザのユーザＩＤを埋め込む。ウェブ会議サーバ２００は当該通知を受け付ける。当該ユーザからの当該通知の受付が会議開始後初めての場合は、自装置の外部メモリ上に、当該ユーザ（通知に含まれるユーザＩＤ）と、送信済み画像の表示フラグ＝ＯＮの値を設定したＯＮ／ＯＦＦテーブルを生成して記憶し、当該ユーザＩＤをユーザＩＤ８３１に持つ画像キュー８３０のシーケンス番号を対象に、ステップＳ５０１〜Ｓ５０５の処理を実行する。また、次に当該「ＯＮ／ＯＦＦ」ボタン１００４の押下の通知を受け付けた場合には、通知に含まれるユーザのＯＮ／ＯＦＦテーブルを参照し、送信済み画像の表示フラグ＝ＯＮの場合はＯＦＦに、ＯＦＦの場合にはＯＮにフラグを変更する。ステップＳ５０５では、当該送信済み画像の表示フラグを参照し、ＯＮの場合は終了と判定せず（ステップＳ５０５でＮＯ）、ＯＦＦの場合には処理を終了すると判定する（ステップＳ５０５でＹＥＳ）。
Further, the web conference server 200 generates the screen information of the conference screen including the “ON/OFF”
これにより、送信済み画像の表示・非表示を、ログインユーザごとに、クライアント端末１００からの操作に応じて容易に切替えて、電子会議における画像の受信状況を容易に確認させることができる。 Accordingly, the display/non-display of the transmitted image can be easily switched for each login user according to the operation from the client terminal 100, and the reception status of the image in the electronic conference can be easily confirmed.
以上が図５の説明である。 The above is the description of FIG.
以上説明したように、本発明によれば、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of easily confirming the image reception status in an electronic conference.
なお、上述した第１の実施形態によれば、ステップＳ５０１〜Ｓ５０５の処理は各ユーザ（ユーザＩＤ８３１）の画像キュー８３０ごとに、当該画像キュー８３０に格納された各シーケンス番号８３２に対して実行されるものとしたが、例えば特定のユーザ（例えばＵｓｅｒ００１）の画像キュー８３０のみを対象とし、当該画像キュー８３０に格納された各シーケンス番号８３２に対してステップＳ５０１〜Ｓ５０５の処理を実行するものとしてもよい。つまり、Ｕｓｅｒ００１の画面には図１０でいう１００３に示す送信済み画像が通知され、表示されるが、Ｕｓｅｒ００２〜Ｕｓｅｒ００４については図５の処理を行わないため、図１０でいう１００３に示す送信済み画像の通知は行われず、表示もされない。
According to the above-described first embodiment, the processes of steps S501 to S505 are executed for each image queue 830 of each user (user ID 831) for each
送信済み画像の特定、通知及び表示を特定のユーザのみに限定して実行することで、全てのユーザについて送信済み画像の特定、通知及び表示を行うのに比べてウェブ会議サーバ２００の処理負荷を軽減することができる。 By executing the specification, notification, and display of the transmitted images only for a specific user, the processing load of the web conference server 200 can be reduced as compared with the case of specifying, notification, and displaying the transmitted images for all users. Can be reduced.
当該特定のユーザのユーザＩＤは、予めウェブ会議サーバ２００の外部メモリに記憶されているものとする。 It is assumed that the user ID of the specific user is stored in the external memory of the web conference server 200 in advance.
また、ウェブ会議システムにおいては、クライアント端末１００が自装置のマイク１０２から音声を取得した場合に（ユーザが発話していると判定した場合に）、取得した当該音声データをウェブ会議サーバ２００に送信し、これを受信して記憶したウェブ会議サーバ２００が当該音声を他のクライアント端末１００に配信して音声によるコミュニケーションを可能とする。 Further, in the web conference system, when the client terminal 100 acquires a voice from the microphone 102 of its own device (when it is determined that the user is speaking), the acquired voice data is transmitted to the web conference server 200. Then, the web conference server 200 that receives and stores this delivers the voice to another client terminal 100 to enable voice communication.
特に、発話して何かを伝えようとしているユーザが、自身の画像の受信状況を確認したいと考えられるため、例えば、ウェブ会議サーバ２００が当該音声データの受信状況を監視し、音声データを受信中（発話中）のユーザを上述した特定のユーザ（送信済み画像を特定、通知、表示させるユーザ）として、ステップＳ５０１の前に特定して、当該特定した特定のユーザの画像キュー８３０のみを対象とし、当該画像キュー８３０に格納された各シーケンス番号８３２に対してステップＳ５０１〜Ｓ５０５の処理を実行するものとしてもよい。つまり、発話中のユーザのクライアント端末１００に対して、当該発話中のユーザのクライアント端末１００から送信された画像のうち、同会議に参加中の他の全クライアント端末に送信済みの画像のシーケンス番号を特定し、当該発話中のユーザのクライアント端末１００に通知して、表示させるようにしてもよい。
In particular, since a user who is trying to speak and convey something wants to check the reception status of his/her image, for example, the web conference server 200 monitors the reception status of the audio data and receives the audio data. The medium (speaking) user is specified as the above-described specific user (user who specifies, notifies, and displays the transmitted image) before step S501, and only the image queue 830 of the specified specific user is targeted. Then, the processes of steps S501 to S505 may be executed for each
以上が本発明の第１の実施形態の説明である。 The above is the description of the first embodiment of the present invention.
＜第２の実施形態＞ <Second Embodiment>
次に図６を参照して、本発明の第２の実施形態における、指定画像送信処理の流れについて説明する。なお、上述した第１の実施形態等と共通する処理については記載を省略する。 Next, with reference to FIG. 6, a flow of designated image transmission processing in the second exemplary embodiment of the present invention will be described. It should be noted that the description of the processes common to the above-described first embodiment and the like is omitted.
第２の実施形態では、図１１及び図１２に示すように、指定された画像を（例えば全画面表示で）共有するに際して、所定のユーザ（例えば指定画像の共有元）に通知し、どのような指定画像（動画／映像）が受信者に見えているかを当該ユーザに確認させる方法について説明する。 In the second embodiment, as shown in FIGS. 11 and 12, when sharing a designated image (for example, in full-screen display), a predetermined user (for example, a sharing source of the designated image) is notified, and A method for causing the user to confirm whether the designated image (moving image/video) is seen by the recipient will be described.
クライアント端末１００ＨのＣＰＵ２０１は、指定画像の共有指示を受け付ける（ステップＳ６０１）。例えば図１０の会議画面における「全画面」ボタンの押下を受け付けた場合に、当該「全画面」ボタンの押下を受け付けたクライアント端末１００Ｈのカメラ１０２で撮像された、ウェブ会議サーバ２００に送信中の会議画像を指定画像として決定し、指定画像の共有指示を受け付けたものと判定する。また、例えば図１０の会議画面における「画面共有」ボタンの押下を受け付けることでクライアント端末１００Ｈが表示する不図示の指定画像選択画面（表示を共有する対象としてクライアント端末１００Ｈのデスクトップ画面の選択可能な選択部と、クライアント端末１００Ｈで起動中のアプリケーションの中から画面の表示を共有するアプリケーションの選択を受け付ける選択部（アプリケーションの一覧）を備える選択画面）において、画面の表示を共有するアプリケーション又はデスクトップの選択を受け付けた場合に、選択された画面の画像を指定画像とすることを決定し、指定画像の共有指示を受け付けたものと判定する。
The
本実施形態において、指定画像の共有元（送信元）のクライアント端末１００はホスト端末であり、共有先（送信先）のクライアント端末１００はゲスト端末であるものとする。 In the present embodiment, it is assumed that the client terminal 100 that is the sharing source (transmission source) of the designated image is the host terminal, and the client terminal 100 that is the sharing destination (transmission destination) is the guest terminal.
クライアント端末１００ＨのＣＰＵ２０１は、当該指定画像を自装置の記憶部（メモリ）から取得し（ステップＳ６０２）、図１１の１１１０に示すように全画面表示する（ステップＳ６０３）。図１１は、図１０の「全画面」ボタンが押下された場合に実行される、指定画像（ホスト端末のカメラ画像（会議画像））を全画面表示する画面の構成の一例を示す図である。
The
また、取得した指定画像を、シーケンス番号と対応付けて指定画像用の画像キュー（クライアント端末１００Ｈのメモリ上に生成）に記憶し（ステップ６０４）、ウェブ会議サーバ２００に送信する（ステップＳ６０５）。なお、ここでいう画像キューの構成は図８の８２０と同一であるものとする。つまり、指定画像と、指定画像のシーケンス番号とを対応付けて記憶した情報である。合わせて、クライアント端末１００Ｈでログイン中のユーザＩＤをウェブ会議サーバ２００に送信する。
The acquired designated image is stored in the image queue for the designated image (generated on the memory of the
ウェブ会議サーバ２００のＣＰＵ２０１は、当該指定画像を受信する（ステップＳ６０６）。ウェブ会議サーバ２００のＣＰＵ２０１は、指定画像の共有を開始する旨を、クライアント端末１００Ｈのユーザ（ここではＵｓｅｒ００１）と同じ会議に参加中のユーザ（Ｕｓｅｒ００２、Ｕｓｅｒ００３、Ｕｓｅｒ００４）がユーザＩＤを入力してログインに用いた他のクライアント端末１００（１００Ｇ１、１００Ｇ２、１００Ｓ）に送信する（ステップＳ６０７）。ここでは一例としてクライアント端末１００Ｇ１を例にあげて説明する。なお、既に指定画像の共有中の場合は、ステップＳ６０７の処理はスキップし、ステップＳ６０８に移行する。
The
ウェブ会議サーバ２００のＣＰＵ２０１は、指定画像を自装置のメモリ上に指定画像用の画像キュー（構成は図８の８３０と同じ）を生成して記憶する。具体的には、クライアント端末１００ＨのユーザのユーザＩＤと、フレームごとの指定画像と、各指定画像のシーケンス番号と、当該指定画像を送信済みの送信済みユーザを記憶する（ステップＳ６０８）。
The
クライアント端末１００Ｇ１のＣＰＵ２０１は、指定画像の共有開始の通知を受け付けると（ステップＳ６０９）、指定画像をウェブ会議サーバ上の画像キューから取得すべく、当該指定画像の取得要求をウェブ会議サーバ２００に送信する（ステップＳ６１０）。
When the
ウェブ会議サーバ２００のＣＰＵ２０１は当該指定画像の取得要求を受け付け（ステップＳ６１１）、指定画像用の画像キューの中に記憶されている、最新のシーケンス番号（最も後ろの番号）の指定画像を取得し（ステップＳ６１２）、当該指定画像を要求元のクライアント端末１００Ｇ１に送信する（ステップＳ６１３）。そして、
The
また、当該クライアント端末１００Ｇ１に指定画像を送信した場合に、送信先のクライアント端末１００Ｇ１でログイン中のログインユーザのユーザＩＤ（例えばＵｓｅｒ００２）を、送信した指定画像に対応する送信済みユーザの項に挿入して記憶する（ステップＳ６１４）。つまり、どのシーケンス番号のどの指定画像を、どのユーザに送信したかを記憶する。送信済みのユーザＩＤは送信がされた順に送信済みユーザの項に書き込み、記憶する。よって、送信済みユーザの項に最後に書き込まれたユーザが、当該指定画像を最後に送信した送信先のユーザ（当該指定画像を最後に受信したユーザ／最後に当該指定画像の取得要求をした（受け付けた）クライアント端末のユーザ）である。 Further, when the designated image is transmitted to the client terminal 100G1, the user ID (for example, User002) of the login user who is logged in at the destination client terminal 100G1 is inserted into the item of the transmitted user corresponding to the transmitted designated image. And stores it (step S614). That is, which designated image having which sequence number is transmitted to which user is stored. The transmitted user IDs are written and stored in the transmitted user section in the order of transmission. Therefore, the user who was last written in the item of the transmitted user is the destination user who last transmitted the designated image (the user who last received the designated image/the last request to acquire the designated image ( (Accepted) user of the client terminal).
クライアント端末１００Ｇ１のＣＰＵ２０１は、ステップＳ６１３で送信された指定画像を受信し（ステップＳ６１５）、図１１の１１２０に示すように全画面表示する。他のクライアント端末１００（１００Ｇ２、１００Ｓ）も同様に、指定画像の取得要求を行い、当該指定画像を受信して図１１の１１３０、１１４０に示すように全画面表示する（ステップＳ６１６）。
The
クライアント端末１００ＨのＣＰＵ２０１は、ステップＳ６１７において、指定画像の共有を終了する操作を受け付けたか判定する（ステップＳ６１７）。例えば図１１の１１１０における「×」ボタンの押下を受け付けた場合に、指定画像の共有を終了する操作を受け付けたと判定し、指定画像の共有の終了をウェブ会議サーバ２００に通知して、図５の処理を終了する。ウェブ会議サーバ２００のＣＰＵ２０１は当該終了の通知を受け付け、当該終了の通知を他のクライアント端末１００にも通知し、通知を受け付けた他のクライアント端末１００のＣＰＵ２０１は、指定画像の全画面表示を終了して、図１０に示すような会議画面を表示画面に表示する。指定画像の共有を終了する操作を受け付けていない場合は、処理をステップＳ６０２に移行し、指定画像の共有を継続する。以上が図６の説明である。
The
次に図７を参照して、本発明の第２の実施形態における、指定画像の受信状況の通知処理の流れについて説明する。 Next, with reference to FIG. 7, a flow of notification processing of the reception status of the designated image in the second embodiment of the present invention will be described.
ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ７０１〜Ｓ７０５の処理を、指定画像の共有の開始から終了まで繰り返し実行する。
The
ウェブ会議サーバ２００のＣＰＵ２０１は、指定画像の共有が開始されたか判定する（ステップＳ７００）。例えば、クライアント端末１００との間で指定画像の送受信が行われていない状態において、クライアント端末１００から指定画像を受信した場合に、指定画像の共有が開始されたと判定する。指定画像の共有が開始された場合には処理をステップＳ７０１に移行し、開始されていない場合には図７の処理を終了する。
The
ウェブ会議サーバ２００のＣＰＵ２０１は、自装置のメモリに記憶されている指定画像用の画像キューから未処理の画像を１つ取得し（ステップＳ７０１）、当該指定画像が、当該指定画像を送信している送信元のユーザが参加中の会議において、他のユーザ全員に送信された（全員が受信した／取得しにきた）指定画像か、送信済みユーザの項の値を参照して判定する（ステップＳ７０２）。全員に送信済みで無い場合、処理をステップＳ７０５に移行する。全員に送信済みの場合は、処理をステップＳ７０３に移行する。
The
ウェブ会議サーバ２００のＣＰＵ２０１は、指定画像の送信元（ホスト端末であるクライアント端末１００Ｈ）を、当該指定画像の受信状況（全員が受信した指定画像のシーケンス番号）の通知先として特定し（ステップＳ７０３）、参加者全員に送信された指定画像（送信済み画像）のシーケンス番号と、当該指定画像が最後に送信されたユーザのユーザＩＤとを、指定画像の受信状況を示す情報として、当該特定した通知先に通知する（ステップＳ７０４）。
The
クライアント端末１００ＨのＣＰＵ２０１は、当該シーケンス番号とユーザＩＤを受信し（ステップＳ７０６）、メモリ上に記憶する（ステップＳ７０７）。
The
クライアント端末１００ＨのＣＰＵ２０１は、当該シーケンス番号の示す指定画像を、自装置内の指定画像用の画像キューから取得して表示画面に表示（例えば、図１１の１１１１に表示）することで、クライアント端末１００Ｈを操作してログインし会議に参加中のユーザに、自身の端末から送信している指定画像が、受信が最も遅い（頻度が少ない）他の端末にどのように表示されているかを容易に確認させることができる。
The
つまり、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 That is, it is possible to provide a mechanism for easily confirming the reception status of images in an electronic conference.
本実施形態においては、クライアント端末１００ＨのＣＰＵ２０１はさらに、マイク１０２から入力された音声の有無に基づいて発話がされたか判定し（ステップＳ７０８）、発話ありと判定された場合に、前記メモリに蓄積して記憶された画像のシーケンス番号（全ての会議参加者に送信された指定画像のシーケンス番号）のうち、最新の番号、ユーザＩＤを取得して（ステップＳ７０９）、当該シーケンス番号の示す画像を画像キューから検索して取得する（ステップＳ７１０）。そして、当該指定画像を、図１１の１１１１に示すように画面上に表示するものとする。例えば、図１１の１１１０に示すように、自装置で表示している画像（全画面表示している画像）と、ステップＳ７１０で取得した画像（表示領域１１１１に表示）とを合わせて表示（比較表示）することで、最新の映像（リアルタイムの指定画像）と、受信側のクライアント端末１００Ｇ１に送信され、受信・表示されている映像（遅延映像）を比較して確認させることが可能となる。また、１１１０に示すＵｓｅｒ００１（Ｕｓｅｒ００２）の表示のように、どのユーザ（Ｕｓｅｒ００１）の端末から送信された指定画像で、どのユーザ（Ｕｓｅｒ００２）が受信している画像かを識別表示することで、どのユーザが送信済み画像（全てのクライアント端末１００が受信している画像＝最も画像の取得速度が遅い端末が受信できている、リアルタイムの画像に比べて前のフレームの画像である可能性が高い画像）を見ているのかを容易に確認させることができる。
In the present embodiment, the
ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ７０５において、ステップＳ７０１〜Ｓ７０４の処理を終了するか判定する（ステップＳ７０５）。例えば、指定画像の共有が終了した場合、ステップＳ７０１〜Ｓ７０４の処理を終了すると判定する。指定画像の共有の終了については、ステップＳ６１７の説明で前述した通りである。処理を終了しない場合は、ステップＳ７０１に移行し、処理済の最新画像の次のシーケンス番号の画像を取得して、ステップＳ７０２以降の処理を実行する。以上が図７の説明である。
In step S705, the
なお、上述した実施形態においては、図１１の指定画像の共有画面を例にあげて説明したが、図１２に示す画面も、指定画像の共有画面の１つである。図１２は、図１０の「画面共有」ボタンが押下され、デスクトップ画面の表示を共有する指示を受け付けた場合に実行される、指定画像（ホスト端末のデスクトップ画像）を全画面表示する画面の構成の一例を示す図である。図１２において、１２００はＵｓｅｒ００１のクライアント端末１００Ｈ（ホスト端末）に表示されている画面であり、１２１０はＵｓｅｒ００２のクライアント端末１００Ｇ１（ゲスト端末の１つ）に表示されている画面である。
Note that, in the above-described embodiment, the sharing screen of the designated image in FIG. 11 has been described as an example, but the screen shown in FIG. 12 is also one of the sharing screens of the designated image. FIG. 12 is a screen configuration for displaying the designated image (the desktop image of the host terminal) on the full screen, which is executed when the “screen sharing” button in FIG. 10 is pressed and an instruction to share the display of the desktop screen is accepted. It is a figure which shows an example. In FIG. 12,
当該デスクトップ画面の画像（指定画像）の共有は、例えば図６のステップＳ６０２で、ウェブ会議サーバ２００のＣＰＵ２０１が自装置に表示しているデスクトップ画面の画像を指定画像として決定して取得し、ステップＳ６０４で画像キューに保存して、ウェブ会議サーバ２００に当該デスクトップ画面の画像を送信し（ステップＳ６０５）、ウェブ会議サーバ２００がこれを受信してステップＳ６０６〜Ｓ６１１の処理を実行。ステップＳ６１２で画像キューから最新のシーケンス番号の当該デスクトップ画像（指定画像）を取得して、同会議に参加中の他のクライアント端末１００（ゲスト端末／例えばクライアント端末１００Ｇ１）に送信し（ステップＳ６１３）、これを受信したゲスト端末が、受信したデスクトップ画面の画像を図１２の１２１０に示すように全画面表示することで行われる。ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ６１４でどのシーケンス番号のどのデスクトップ画像（指定画像）をどのユーザに送信したかを記憶するものとする。
To share the image of the desktop screen (designated image), for example, in step S602 of FIG. 6, the
図１２によれば、ホスト端末側のデスクトップ画面では、ウインドウ１２０２の他に、新たなウインドウ１２０３を開いて表示しているが、ゲスト端末側ではまだウインドウ１２０３を含むデスクトップ画面の画像（指定画像）が受信されておらず、まだウインドウ１２０３が表示されていない。つまり、ゲスト端末には遅延画像が表示されている状態である。指定画像のうち、送信済み画像をクライアント端末１００Ｈに通知することにより、クライアント端末１００Ｈが表示領域１２０１に当該送信済み画像（ここでは１２１０に表示中の画像）を表示するため、Ｕｓｅｒ００１は、クライアント端末１００Ｈに全画面表示中の画像に比べ、当該画像の表示が遅れているクライアント端末１００があることを確認できる。また、図１２に示すように、表示領域１２０１と合わせて「Ｕｓｅｒ００１（Ｕｓｅｒ００２）」と表示することで、Ｕｓｅｒ００２のクライアント端末１００Ｇ１で表示領域１２０１に表示されているように指定画像の共有・表示が遅れていることを確認できる。
According to FIG. 12, on the desktop screen of the host terminal side, a
以上説明したように、本発明の第２の実施形態によれば、指定された画像を共有するに際して、所定のユーザに、どのような指定画像が受信者に見えているかを確認させることができる。 As described above, according to the second embodiment of the present invention, when sharing a designated image, a predetermined user can confirm what kind of designated image the recipient can see. ..
つまり、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 That is, it is possible to provide a mechanism for easily confirming the reception status of images in an electronic conference.
＜第３の実施形態＞
次に図１３〜図１６を参照して、本発明の第３の実施形態について説明する。第１の実施形態、第２の実施形態と共通する処理については説明を割愛する。
<Third Embodiment>
Next, a third embodiment of the present invention will be described with reference to FIGS. The description of the processing common to the first and second embodiments will be omitted.
第３の実施形態においては、話者（例えばプレゼンテータ、講師等）に、電子会議における画像の受信状況を容易に確認させることができる仕組みを提供することを目的とする。 An object of the third embodiment is to provide a mechanism that allows a speaker (for example, a presenter, a lecturer, etc.) to easily confirm the reception status of images in an electronic conference.
クライアント端末１００ＨのＣＰＵ２０１は、ステップＳ６０１の処理実行後、処理をステップＳ１３０１に移行し、図１５の１５１０に示す話者選択画面を表示画面に表示する（ステップＳ１３０１）。具体的には、クライアント端末１００ＨのＣＰＵ２０１がウェブ会議サーバ２００に話者選択画面１５１０を要求し、ウェブ会議サーバ２００が要求に応じて話者選択画面１５１０の画面情報を生成してクライアント端末１００Ｈに送信し、クライアント端末１００Ｈが受信した画面情報に基づいて当該話者選択画面１５１０を表示する。話者選択画面１５１０は、チェックボックス１５１１と話者選択受付部１５１２、「ＯＫ」ボタン等を備える。話者選択受付部１５１２は、話者の選択（指定）を受け付ける受付部である。話者選択受付部１５１２には、会議に参加中のユーザＩＤの一覧が埋め込まれて、選択可能に表示されている。チェックボックス１５１１は、話者選択受付部１５１２で選択を受け付けたユーザに送信済み画像を表示させるか否かを選択させるための選択受付部である。
After executing the process of step S601, the
クライアント端末１００ＨのＣＰＵ２０１は、話者選択受付部１５１２で話者の選択を受け付け、「ＯＫ」ボタンの押下を受け付けると（ステップＳ１３０２／話者指定受付手段に該当）、話者選択受付部１５１２で選択されたユーザＩＤを話者指定されたユーザＩＤとして、ウェブ会議サーバ２００に送信する（ステップＳ１３０３）。
In the
ウェブ会議サーバ２００のＣＰＵ２０１は、当該ユーザＩＤを受信して、自装置のメモリ上に話者情報１４００（図１４）を生成して、当該ユーザＩＤのユーザを話者として記憶する（ステップＳ１３０４）。話者情報１４００は、どの会議室８１１のどの会議（会議ＩＤ８１２）に参加しているどのユーザ（参加者ＩＤ８１３）が話者として指定されたかを記憶するテーブルである。会議室８１１、会議ＩＤにはＵｓｅｒ００１（クライアント端末１００Ｈでウェブ会議サーバにログイン中のユーザ）が入室している会議室、会議ＩＤを記憶する。参加者ＩＤ８１３には、会議室８１１に入室中（会議ＩＤ８１２の会議に参加中）のユーザを記憶する。話者フラグ１４０１には、話者情報１４００には全てのユーザに対応付けて０の値（話者ではないことを示す値）を記憶する。ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ１３０４で話者として選択されたと通知されたユーザＩＤ（参加者ＩＤ８１３）に対応する話者フラグ１４０１を１の値（話者であることを示す値）に変更して更新する。そして処理をステップＳ６０６に移行する。
The
その後、ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ７０２において参加者全員が受信した画像であると判定した後、処理をステップＳ１３０５に移行して、話者が選択（指定）されているか判定する（ステップＳ１３０５）。具体的には、話者情報１４００の話者フラグ１４０１を参照し、話者フラグ１４０１＝１のユーザがいない場合には、話者が選択されていないと判定する。話者が選択されていない場合には、処理を図７のステップＳ７０３に移行し、ステップＳ７０３以降の処理を実行する。話者フラグ１４０１＝１のユーザがいる場合には、話者が選択されていると判定する。そして、話者フラグ１４０１＝１のユーザである話者（話者のクライアント端末１００）を、送信済み画像の通知先として特定し、話者のユーザＩＤ及び話者のクライアント端末１００の端末ＩＤをメモリに記憶する。ここでは話者＝Ｕｓｅｒ００４、話者のクライアント端末＝クライアント端末１００Ｓであるものとする。
After that, the
ウェブ会議サーバ２００のＣＰＵ２０１は処理をステップＳ１３０７に移行し、当該通知先である話者（話者のクライアント端末１００Ｓ）に対して、送信済み画像と、当該送信済み画像が最後に送信されたユーザのユーザＩＤを、送信済み画像の受信状況を示す情報として通知する。通知を受け付けたクライアント端末１００ＳのＣＰＵ２０１は、当該画像及びユーザＩＤを受信し、当該送信済み画像をメモリ上に記憶し、表示画面上に表示する。例えば図１６でいう表示領域１６３１に表示する。図１６において１６１０はクライアント端末１００Ｈの画面であり、１６２０はクライアント端末１００Ｇ１の画面であり、１６３０はクライアント端末１００Ｓの画面である。
The
つまり、本発明の第３の実施形態によれば、話者として選択（指定された）ユーザの端末に、電子会議における画像の受信状況を容易に確認させることができる。 That is, according to the third embodiment of the present invention, the terminal of the user selected (designated) as the speaker can easily confirm the reception status of the image in the electronic conference.
以上が本発明の第３の実施形態の説明である。 The above is the description of the third embodiment of the present invention.
上述した実施形態によれば、同じ会議に参加中の他の全クライアント端末に送信済みの画像（送信済み画像）をクライアント端末１００に通知した。これにより、送信元のクライアント端末から送信された画像が、他のクライアント端末それぞれにおいてどのように表示されているか、送信元端末に全て通知し、表示させるのに比べ、ウェブ会議サーバ２００及びクライアント端末１００の処理負荷を軽減することができる。 According to the above-described embodiment, the client terminal 100 is notified of the transmitted image (transmitted image) to all other client terminals participating in the same conference. As a result, the web conference server 200 and the client terminal are not informed of how the image transmitted from the client terminal of the transmission source is displayed on each of the other client terminals, as compared with the case where the source terminal is notified and displayed. The processing load of 100 can be reduced.
以上説明したように、本発明によれば、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of easily confirming the image reception status in an electronic conference.
なお、上述した各実施形態の発明は、それぞれ自由に組み合わせて実行可能であるものとする。 The inventions of the above-described embodiments can be freely combined and executed.
また、上述した実施形態の説明においては、会議参加者全員に送信された送信済み画像のシーケンス番号を、画像の受信状況を示す情報としてクライアント端末１００に通知し、画像の受信・表示の遅延状況をユーザに確認させるものとしたが、例えばクライアント端末１００の端末種別や、通信方法の情報を用いて、画像の受信状況をクライアント端末１００に通知するようにしてもよい。 In addition, in the description of the above-described embodiment, the sequence number of the transmitted image transmitted to all the conference participants is notified to the client terminal 100 as information indicating the image reception state, and the image reception/display delay state is notified. However, the client terminal 100 may be notified of the image reception status using, for example, the terminal type of the client terminal 100 or the information about the communication method.
例えば、携帯端末（端末種別８１５＝ｍｏｂｉｌｅ）の場合、一般的なＰＣ（端末種別８１５＝ｐｃ）よりも端末の性能が低く、メモリ等の作業領域も少ないことが考えられる。つまり、携帯端末はＰＣよりも処理速度が劣っており、画像の取得頻度が少ないと仮定される。よって、携帯端末において取得、表示されている画像が最も受信・表示が遅れている画像であると仮定し、上述した実施形態における送信済み画像（全てのクライアント端末１００に送信済みの画像）の代わりに、当該携帯端末に送信済みの画像を、当該画像の送信元の端末又は話者の端末に通知して表示させる。
For example, in the case of a mobile terminal (
以下、電子会議における端末種別に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みについて説明する。 Hereinafter, a mechanism for easily confirming the image reception status in the electronic conference according to the terminal type in the electronic conference will be described.
ウェブ会議サーバ２００のＣＰＵ２０１が、図５のステップＳ５０１の前に、図８の会議情報８１０の端末種別８１５を参照し、端末種別８１５＝ｍｏｂｉｌｅの端末を特定し、その端末のユーザを特定する。図８によればＵｓｅｒ００２である。そして、ステップＳ５０１の後、（ステップＳ５０２の処理の代わりに）ステップＳ５０１で特定した画像の送信済みユーザ８３４にＵｓｅｒ００２が含まれるか（携帯端末に送信済みの画像か）判定する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（携帯端末）に当該画像を送信済みの場合には処理をステップＳ５０３以降の処理を実行し、当該画像を送信済み画像として、当該画像のシーケンス番号送信元のクライアント端末１００に通知する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（携帯端末）に当該画像を送信済みでない場合には処理をステップＳ５０５に移行する。
Before step S501 of FIG. 5, the
また、例えば、ウェブ会議サーバ２００のＣＰＵ２０１が、図７のステップＳ７００後に図８の会議情報８１０の端末種別８１５を参照し、端末種別８１５＝ｍｏｂｉｌｅの端末のユーザ（Ｕｓｅｒ００２）を特定する。そして、ステップＳ７０１の処理実行後、（ステップＳ７０２の処理の代わりに）ステップＳ７０１で特定した画像の送信済みユーザ８３４にＵｓｅｒ００２が含まれるか（携帯端末に送信済みの画像か）判定する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（携帯端末）に当該画像を送信済みの場合には処理をステップＳ７０３以降の処理を実行し、当該画像を送信済み画像として、当該画像のシーケンス番号送信元のクライアント端末１００に通知する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（携帯端末）に当該画像を送信済みでない場合には処理をステップＳ７０５に移行する。
Further, for example, the
これにより、電子会議における端末種別に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 Accordingly, it is possible to provide a mechanism that enables easy confirmation of the image reception status in the electronic conference according to the terminal type in the electronic conference.
例えば会議の参加者数が多い場合であっても、画像ごとに全てのユーザが受信済みの画像かを判定する負荷をかけずに、端末種別によって、遅延画像と考えられる画像を所定のユーザに確認させることができる。 For example, even when the number of participants in the conference is large, an image considered as a delayed image may be assigned to a predetermined user depending on the terminal type without imposing a load on all the images to determine whether the image has been received by all users. Can be confirmed.
なお、ここでは端末種別に携帯端末とＰＣを例に上げて比較し、携帯端末に送信済みの画像を送信元に通知するものとしたが、例えばＰＣと携帯端末の他に端末種別を設定できるようにしてもよい。例えば携帯端末よりも処理能力が低いと思われる端末種別が存在する場合、当該端末種別に送信済みの画像を送信元に通知するようにしてもよい。どの端末種別に送信済みの画像を通知先に通知するかは、不図示の設定画面において、ユーザ操作により自由に設定・変更可能であるもとする。また、当該設定・変更の操作を受け付けることにより、ウェブ会議サーバ２００が、設定・変更された端末種別（所定の端末種別）に送信済みの画像を通知先に通知する設定の情報を自装置の外部メモリに記憶するものとする。 In addition, here, the terminal type is set to the portable terminal and the PC as an example for comparison, and the image transmitted to the portable terminal is notified to the transmission source, but the terminal type can be set in addition to the PC and the portable terminal. You may do it. For example, when there is a terminal type whose processing capability is considered to be lower than that of the mobile terminal, an image already transmitted to the terminal type may be notified to the transmission source. It is assumed that which terminal type is to be notified of the transmitted image to the notification destination can be freely set/changed by a user operation on a setting screen (not shown). In addition, by accepting the setting/changing operation, the web conference server 200 sends the setting information of the own device to notify the notified party of the image transmitted to the set/changed terminal type (predetermined terminal type). It shall be stored in an external memory.
また、例えば、端末の通信方法が所定の通信方法である端末に送信された画像を、上述した実施形態における送信済み画像（全てのクライアント端末１００に送信済みの画像）の代わりに、通知先に通知するようにしてもよい。 Further, for example, an image transmitted to a terminal whose communication method is a predetermined communication method is used as a notification destination instead of the transmitted image (image transmitted to all client terminals 100) in the above-described embodiment. You may make it notify.
例えば、通信方法が無線通信（通信方法８１６＝ｗｉｒｅｌｅｓｓ）の場合、一般的には有線通信（通信方法８１６＝ｗｉｒｅ−ｌｉｎｅ）よりも通信状況が安定せず、通信速度を確保し難いと考えられる。つまり、無線通信でウェブ会議サーバと通信している端末は有線通信でウェブ会議サーバと通信している端末よりも、画像の取得頻度が少ないと仮定される。よって、無線通信の端末において取得、表示されている画像が最も受信・表示が遅れている画像であると仮定し、上述した実施形態における送信済み画像（全てのクライアント端末１００に送信済みの画像）の代わりに、当該無線通信の端末に送信済みの画像を、当該画像の送信元の端末又は話者の端末に通知して表示させる。
For example, when the communication method is wireless communication (
以下、端末の通信方法に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みについて説明する。 Hereinafter, a mechanism for easily confirming the reception status of the image in the electronic conference according to the communication method of the terminal will be described.
ウェブ会議サーバ２００のＣＰＵ２０１が、図５のステップＳ５０１の前に、図８の会議情報８１０の通信方法８１６を参照し、無線通信の端末（通信方法８１６＝ｗｉｒｅ−ｌｅｓｓの端末）を特定し、その端末のユーザを特定する。図８によればＵｓｅｒ００２とＵｓｅｒ００３である。このように対象の端末が複数ある場合は、例えば端末種別を参照し、優先度の高い端末種別（ここでは携帯端末＝ｍｏｂｉｌｅ）の端末を特定し、その端末のユーザを特定する。図８によればＵｓｅｒ００２である。当該優先度の情報は予めウェブ会議サーバ２００のメモリに記憶されているものとする。ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ５０１の後、（ステップＳ５０２の処理の代わりに）ステップＳ５０１で特定した画像の送信済みユーザ８３４にＵｓｅｒ００２が含まれるか（無線通信の端末に送信済みの画像か）判定する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（無線通信の端末）に当該画像を送信済みの場合には処理をステップＳ５０３以降の処理を実行し、当該画像を送信済み画像として、当該画像のシーケンス番号送信元のクライアント端末１００に通知する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（無線通信の端末）に当該画像を送信済みでない場合には処理をステップＳ５０５に移行する。
Before the step S501 of FIG. 5, the
また、例えば、ウェブ会議サーバ２００のＣＰＵ２０１が、図７のステップＳ７００後に図８の会議情報８１０の通信方法８１６を参照し、通信方法８１６＝ｗｉｒｅ−ｌｅｓｓの端末のユーザ（例えばＵｓｅｒ００２）を特定する。そして、ステップＳ７０１の処理実行後、（ステップＳ７０２の処理の代わりに）ステップＳ７０１で特定した画像の送信済みユーザ８３４にＵｓｅｒ００２が含まれるか（無線通信の端末に送信済みの画像か）判定する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（無線通信の端末）に当該画像を送信済みの場合には処理をステップＳ７０３以降の処理を実行し、当該画像を送信済み画像として、当該画像のシーケンス番号送信元のクライアント端末１００に通知する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（無線通信の端末）に当該画像を送信済みでない場合には処理をステップＳ７０５に移行する。
Further, for example, the
これにより、電子会議における端末の通信方法に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 Accordingly, it is possible to provide a mechanism that enables easy confirmation of the image reception status in the electronic conference according to the communication method of the terminal in the electronic conference.
例えば会議の参加者数が多い場合であっても、画像ごとに全てのユーザが受信済みの画像かを判定する負荷をかけずに、端末の通信方法によって、遅延画像と考えられる画像を所定のユーザに確認させることができる。 For example, even if the number of participants in the conference is large, the image considered as the delayed image is determined by the communication method of the terminal without imposing a load on all the images to determine whether the image has been received by all users. It can be confirmed by the user.
なお、ここでは通信方法に無線通信と有線通信を例に上げて比較し、無線通信に送信済みの画像を送信元に通知するものとしたが、例えば単に有線通信と無線通信とする以外に通信方法の値を設定できるようにしてもよい。例えば無線通信であれば１ｘ、３Ｇ、４Ｇ等を通信方法の値として設定可能な場合、１ｘで通信を行っている端末に送信済みの画像を通知先に通知するようにしてもよい。どの通信方法の端末に送信済みの画像を通知先に通知するかは、不図示の設定画面において、ユーザ操作により自由に設定・変更可能であるもとする。また、当該設定・変更の操作を受け付けることにより、ウェブ会議サーバ２００が、設定・変更された通信方法（所定の通信方法）で通信している端末に送信済みの画像を通知先に通知する設定情報を自装置の外部メモリに記憶するものとする。 Note that here, wireless communication and wired communication are taken as examples of communication methods for comparison, and the image transmitted to the wireless communication is notified to the transmission source. However, for example, communication other than simply wired communication and wireless communication is performed. The method value may be settable. For example, in the case of wireless communication, if 1x, 3G, 4G, etc. can be set as the value of the communication method, the image already transmitted to the terminal communicating in 1x may be notified to the notification destination. It is assumed that which communication method is used to notify the destination of the transmitted image can be freely set/changed by a user operation on a setting screen (not shown). Further, by accepting the setting/changing operation, the web conference server 200 notifies the notification destination of the image already transmitted to the terminal communicating with the set/changed communication method (predetermined communication method). Information shall be stored in the external memory of the device itself.
また、図１５の１５００に示すような画面を、会議画面における不図示の設定ボタンの押下に応じてクライアント端末１００の表示画面に表示し、「カメラ」ボタン１５０２の押下を受け付けることで、ウェブ会議サーバ２００が、図５のステップＳ５０１〜５０５及び、指定されたカメラ画像の共有がされている場合における図７のステップＳ７００〜７０５の処理を実行するか否かを決定し、切替えるようにしてもよい。また、「アプリケーション共有」ボタン１５０３の押下を受け付けることで、ウェブ会議サーバ２００が、指定されたアプリケーションの画面の画像及びデスクトップ画面の画像の共有がされている場合における図７のステップＳ７００〜７０５の処理を実行するか否かを決定し、切替えるようにしてもよい。
In addition, a screen such as 1500 shown in FIG. 15 is displayed on the display screen of the client terminal 100 in response to the pressing of a setting button (not shown) on the conference screen, and the pressing of the “camera”
また、例えば、適切に画像が送受信されているか否かに応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供するようにしてもよい。 Further, for example, a mechanism may be provided that allows the reception status of images in an electronic conference to be easily confirmed depending on whether or not images are appropriately transmitted and received.
具体的には、ステップＳ５０２で、処理中の画像が全てクライアント端末１００に送信済みの送信済み画像であると判定された場合に、過去所定時間の間（例えば５秒以上前から現在までの間）、当該ステップＳ５０２によって処理中の画像が送信済み画像であると判定され続けているか判定する。つまり、会議に参加している全てのクライアント端末１００が、画像を取りこぼすことなく受信しているか（所定の時間の間、全てのクライアント端末１００が図９に示すクライアント端末１００Ｓのような状態にあるか）判定する。同じ会議に参加中の全てのクライアント端末１００が、所定時間の間、画像を取りこぼすことなく受信していると判定された場合には、画像の受信・表示の中抜けや遅延によるミスコミュニケーションが発生しないため、送信済み画像を通知先（例えば画像の送信元）に通知する必要はないと判断し、図５の処理を終了する。同じ会議に参加中の全てのクライアント端末１００が、所定時間の間、画像を取りこぼすことなく受信していると判定されなかった場合は、画像を取りこぼしている＝画像の受信・表示の中抜けや遅延が発生しているクライアント端末１００（例えば図９でいうクライアント端末１００Ｇ１、１００Ｇ２）が存在すると判断し、処理をステップＳ５０３に移行して、送信済み画像の通知処理を継続する。
Specifically, when it is determined in step S502 that all the images being processed are transmitted images that have already been transmitted to the client terminal 100, a predetermined past time (for example, from 5 seconds or more to the present). ), it is determined whether the image being processed in step S502 continues to be determined to be the transmitted image. That is, does all the client terminals 100 participating in the conference receive the image without dropping the image (for a predetermined time, all the client terminals 100 are in a state like the
また、図７の処理の場合は、ステップＳ７０２において、ウェブ会議サーバ２００のＣＰＵ２０１が、処理中の画像が全てクライアント端末１００に送信済みの送信済み画像であると判定された場合に、過去所定時間の間（例えば５秒以上前から現在までの間）、当該ステップＳ７０２によって処理中の画像が送信済み画像であると判定され続けているか判定する。つまり、会議に参加している全てのクライアント端末１００が、クライアント端末１００Ｈから送信されている指定画像を取りこぼすことなく受信しているか判定する。同じ会議に参加中の全てのクライアント端末１００が、所定時間の間、画像を取りこぼすことなく受信していると判定された場合には、画像の受信・表示の中抜けや遅延によるミスコミュニケーションが発生しないため、送信済み画像を通知先（例えば指定画像の送信元であるクライアント端末１００Ｈ）に通知する必要はないと判断し、図５の処理を終了する。同じ会議に参加中の全てのクライアント端末１００が、所定時間の間、画像を取りこぼすことなく受信していると判定されなかった場合は、画像を取りこぼしている＝画像の受信・表示の中抜けや遅延が発生しているクライアント端末１００（例えば図９でいうクライアント端末１００Ｇ１、１００Ｇ２）が存在すると判断し、処理をステップＳ７０３に移行して、送信済み画像の通知処理を継続する。
Further, in the case of the process of FIG. 7, when the
これにより、例えば所定時間の間、全ての会議参加者が適切に画像を受信している場合には画像の受信状況の通知を行わず、通信負荷を軽減し、切に画像を受信していない参加者がいる場合には画像の受信状況の通知をして、当該受信状況をユーザに確認させることができる。 As a result, for example, when all the conference participants have properly received the image for a predetermined time, the reception status of the image is not notified, the communication load is reduced, and the image is not received eagerly. When there is a participant, the reception status of the image can be notified and the user can confirm the reception status.
なお、上述した実施形態においては、会議の前参加者に送信済みの送信済み画像のシーケンス番号と、当該送信済み画像を最後に受信したクライアント端末のユーザＩＤとを通知先に通知するものとしたが、例えば、どちらか一方のみを通知するようにしてもよい。また、クライアント端末１００は、当該送信済み画像とユーザＩＤとの両方を、図１１の１１１１に示すように表示画面に表示するものとしたが、どちらか一方のみを表示するようにしてもよい。 In the above-described embodiment, the notification destination is notified of the sequence number of the transmitted image that has been transmitted to the previous participant in the conference and the user ID of the client terminal that last received the transmitted image. However, for example, only one of them may be notified. Further, the client terminal 100 displays both the transmitted image and the user ID on the display screen as indicated by 1111 in FIG. 11, but may display only one of them.
前記ユーザＩＤを通知するだけでも、通知されたクライアント端末は、少なくとも画像を最後に受信して表示している他のクライアント端末の存在及びその端末のユーザを確認することが可能である。また、当該ユーザＩＤを会議画面に表示することで、会議画面を表示中のユーザに視覚的に、どのユーザが画像を最後に受信して見ているユーザかを確認させることができる。 Only by notifying the user ID, the notified client terminal can confirm the existence of at least another client terminal that has finally received and displayed the image and the user of the terminal. In addition, by displaying the user ID on the conference screen, the user who is displaying the conference screen can visually confirm which user is the user who last received and viewed the image.
また、送信済み画像のシーケンス番号を通知するだけでも、通知されたクライアント端末は、少なくとも画像を最後に受信して表示している他のクライアント端末の存在を確認することができる。また、当該送信済み画像を表示することで、最後に当該送信済み画像を受信した端末でどのような画像が表示されているか（リアルタイム画像とどの程度の差があるか）をユーザに確認させることができる。 In addition, the notified client terminal can at least confirm the presence of another client terminal that has received and displayed the image at the end only by notifying the sequence number of the transmitted image. In addition, by displaying the transmitted image, the user can confirm what image is displayed on the terminal that last received the transmitted image (how much is different from the real-time image). You can
なお、上述した実施形態においては、クライアント端末１００は、「Ｕｓｅｒ００１（Ｕｓｅｒ００２）」という文字列を表示画面に表示することで、Ｕｓｅｒ００１から送信した画像を最後に取得したのがＵｓｅｒ００２であることをユーザに通知していたが、他の通知方法を用いてもよい。例えば「Ｕｓｅｒ００１から送信した画像を最後に取得したのはＵｓｅｒ００２である」と音声を再生することで通知してもよい。 In addition, in the above-described embodiment, the client terminal 100 displays the character string “User001 (User002)” on the display screen so that the user 002 indicates that the image transmitted from User001 was last acquired. However, other notification methods may be used. For example, the user may be notified by playing back a voice saying that "The last image obtained from User001 was User002".
また、クライアント端末１００において、画像の表示のＯＮとＯＦＦを切替えられる場合、画像の表示をＯＦＦにしているクライアント端末１００には、画像キューの画像を送信しない（クライアント端末１００からの画像の取得要求がない）ことがある。よって、例えば、クライアント端末１００画像の表示機能のＯＮ／ＯＦＦの状態を、ＯＮ／ＯＦｆが切替えられたタイミングでウェブ会議サーバ２００に通知し、当該通知を受け付けたウェブ会議サーバ２００のＣＰＵ２０１が、いずれのクライアント端末１００（端末ＩＤ）の画像の表示機能がＯＮか（ＯＦＦ）かを外部メモリに記憶・管理しておき、ステップＳ５０２及びステップＳ７０２においては、ステップＳ５０１またはＳ７０１で取得した画像が、当該画像の表示機能がＯＮになっている全ての会議参加者に送信済みの画像かを半定するようにしてもよい。画像の表示機能がＯＮになっている全ての会議参加者（クライアント端末１００）に送信済みの画像であれば、図５の場合は処理をステップＳ５０３に、図７の場合は処理をステップＳ７０３に移行する。
When the client terminal 100 can switch the display of the image ON and OFF, the image of the image queue is not transmitted to the client terminal 100 whose image display is OFF (the image acquisition request from the client terminal 100). There is no). Therefore, for example, the ON/OFF state of the display function of the image of the client terminal 100 is notified to the web conference server 200 at the timing when ON/OFf is switched, and the
また、図１０や図１１、図１２に示す画面（ウインドウ）を非表示にしているクライアント端末１００には、画像キューの画像を送信しない（そもそも、クライアント端末１００からの画像の取得要求がない）ことがある。 Further, the image of the image queue is not transmitted to the client terminal 100 in which the screens (windows) shown in FIGS. 10, 11, and 12 are hidden (in the first place, there is no image acquisition request from the client terminal 100). Sometimes.
よって例えば、ウェブ会議サーバ２００のＣＰＵ２０１が、ステップＳ５０１、ステップＳ７０１で取得した画像が割り当てられた表示領域が表示画面上に含まれているかを、各クライアント端末１００に対して定期的に問い合せる。そして、ステップＳ５０２及びステップＳ７０２では、ステップＳ５０１、ステップＳ７０１で取得した画像が、当該表示領域が画面上に含まれていると返答したクライアント端末１００のうち全てのクライアント端末１００に送信済みかを判定し、当該画像が、当該表示領域が画面上に含まれていると返答した全てのクライアント端末１００に送信済みの画像であれば、図５の場合は処理をステップＳ５０３に、図７の場合は処理をステップＳ７０３に移行する。
Therefore, for example, the
これにより、クライアント端末における画像の表示設定や実際の表示状態に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 Accordingly, it is possible to provide a mechanism that allows the user to easily confirm the image reception status in the electronic conference according to the image display setting and the actual display state of the client terminal.
以上説明したように、本発明によれば、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of easily confirming the image reception status in an electronic conference.
尚、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。 The present invention can be embodied as, for example, a system, an apparatus, a method, a program, a storage medium, or the like, and specifically, may be applied to a system including a plurality of devices, or You may apply to the apparatus which consists of one apparatus.
具体的には、ホスト端末（クライアント端末１００）とウェブ会議サーバ２００が一体であり、例えば図３の３２１〜３２６の各機能部で説明した機能をホスト端末が備え、上述した実施形態の各処理のうち、ウェブ会議サーバが実行する処理（図６のステップＳ６０６〜Ｓ６０８、Ｓ６１１〜Ｓ６１４、図７のステップＳ７００〜Ｓ７０５で説明した各ステップの処理）を実行するようにしてもよい。
Specifically, the host terminal (client terminal 100) and the web conference server 200 are integrated, and for example, the host terminal includes the functions described in the
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 It should be noted that the present invention includes a software program that realizes the functions of the above-described embodiments, which directly or remotely supplies the system or device with the software program. The present invention also includes a case in which the computer of the system or the device reads and executes the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, the program code itself installed in the computer to implement the functional processing of the present invention by the computer also implements the present invention. That is, the present invention includes the computer program itself for realizing the functional processing of the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。 Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, MO, a CD-ROM, a CD-R, a CD-RW, and the like. There are also magnetic tapes, non-volatile memory cards, ROMs, DVDs (DVD-ROMs, DVD-Rs), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 In addition, as a method of supplying the program, a browser of a client computer is used to connect to a home page on the Internet. The computer program itself of the present invention or a compressed file containing an automatic installation function can be supplied from the home page by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code forming the program of the present invention into a plurality of files and downloading each file from different homepages. That is, a WWW server that allows a plurality of users to download a program file for implementing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 Further, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and the key information for decrypting the encryption is downloaded from the home page via the Internet to users who have satisfied predetermined conditions. Let Then, it is also possible to execute the encrypted program by using the downloaded key information and install the program in a computer for implementation.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Moreover, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, the OS or the like running on the computer performs a part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted in the computer or a function expansion unit connected to the computer. After that, based on the instructions of the program, a CPU or the like included in the function expansion board or the function expansion unit performs a part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
It should be noted that the above-described embodiment is merely an example of an embodiment for carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted by these.
That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１００ クライアント端末
１００Ｇ１ クライアント端末
１００Ｇ２ クライアント端末
１００Ｓ クライアント端末
１０１ カメラ
１０２ マイク
１０３ スピーカ
１５０ ネットワーク
２００ ウェブ会議サーバ
100 client terminal 100G1 client terminal
Claims (11)
前記サーバは、
情報処理装置から受信した画像を記憶する記憶手段と、
前記記憶手段に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信手段と、
前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定手段と、
前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、
前記特定手段により特定された前記第１の情報を、前記通知先特定手段により特定された通知先となる情報処理装置に通知する通知手段と、
を備え、
前記情報処理装置は、
前記通知手段により通知された前記第１の情報に基づいて特定される前記画像の受信状況にかかる情報を表示画面に表示する表示手段
を備えることを特徴とする情報処理システム。 A plurality of information processing apparatuses, an information processing system including a servers,
The servers are,
Storage means for storing the image received from the information processing device,
The image stored in the storage means, transmitting means for transmitting so as to receive said plurality of information processing apparatuses,
Notification destination specifying means for specifying, from among the plurality of information processing devices, an information processing device serving as a notification destination for notifying the first information capable of specifying the reception status of the image;
Whether to notify said first information according to any of the information processing apparatus of the prior SL plurality of information processing apparatuses, specifying means for specifying, based on the transmission state of the image to a plurality of the information processing apparatus,
And notifying means for said first information identified, and notifies the notification destination to become the information processing apparatus identified by said notification destination specifying means by the specifying means,
Equipped with
The information processing device,
An information processing system, comprising: a display unit that displays on the display screen information related to the reception status of the image identified based on the first information notified by the notification unit.
を備え、
前記表示手段は、前記判定手段により発話がされたと判定された場合に、前記第１の情報に基づいて特定される前記画像の受信状況にかかる情報を表示することを特徴とする請求項１に記載の情報処理システム。 Equipped with a judging means for judging whether or not the utterance is made,
The display unit displays information related to a reception status of the image identified based on the first information when the determination unit determines that the utterance is made. Information processing system described.
を備え、
前記特定手段は、前記指定受付手段により指定された画像である指定画像であって、前記複数の情報処理装置のうちいずれの情報処理装置に送信された画像を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定し、
前記通知手段は、前記特定手段により特定された前記指定画像を、前記通知先となる情報処理装置に通知することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。 Designation receiving means for receiving designation of an image to be shared by a plurality of information processing devices;
Equipped with
The specifying unit is a designated image that is the image designated by the designation receiving unit, and determines which of the plurality of information processing devices is to be notified of the transmitted image. and specific based on the transmission state of the image to the processing unit,
The notification means, said specified image specified by the specifying means, the information processing system according to any one of claims 1 to 3, characterized in that notifies the notification destination to become the information processing apparatus.
を備え、
前記通知手段は、前記話者指定受付手段により話者が指定されている場合に、当該話者に対応する前記情報処理装置に対して、前記特定手段により特定された画像を通知することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。 A speaker designation receiving means for receiving the designation of the speaker,
Equipped with
The notification unit, when the speaker is specified by the previous SL speaker designation receiving unit, to the information processing apparatus corresponding to the speakers, to notify the image specified by the specifying means The information processing system according to any one of claims 1 to 4, which is characterized.
前記サーバにおいて、
情報処理装置から受信した画像を記憶する記憶工程と、
前記記憶工程に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信工程と、
前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定工程と、
前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定工程と、
前記特定工程により特定された前記第１の情報を、前記通知先特定工程により特定された通知先となる情報処理装置に通知する通知工程と、
を含み、
前記情報処理装置において、
前記通知工程により通知された前記第１の情報に基づいて特定される前記画像の受信状況にかかる情報を表示画面に表示する表示工程
を含むことを特徴とする情報処理システムの制御方法。 A plurality of information processing apparatuses, a control method of an information processing system including a servers,
In the servers,
A storage step of storing the image received from the information processing device,
The image stored in the storage step, a transmission step of transmitting to be received by the plurality of information processing apparatuses,
A notification destination specifying step of specifying, from the plurality of information processing devices, an information processing device serving as a notification destination for notifying the first information capable of specifying the reception status of the image;
Whether to notify said first information according to any of the information processing apparatus of the prior SL plurality of information processing apparatuses, a specifying step of specifying, based on the transmission state of the image to a plurality of the information processing apparatus,
A notifying step of the said first information identified by the identification process, and notifies the notification destination information processing apparatus serving as a notification destination specified by the specifying step,
Including,
In the information processing device,
A method of controlling an information processing system, comprising: a display step of displaying information on a reception status of the image identified based on the first information notified by the notification step on a display screen.
前記サーバを、
情報処理装置から受信した画像を記憶する記憶手段と、
前記記憶手段に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信手段と、
前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定手段と、
前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、
前記特定手段により特定された前記第１の情報を、前記通知先特定手段により特定された通知先となる情報処理装置に通知する通知手段として機能させ、
前記情報処理装置を、
前記通知手段により通知された前記第１の情報に基づいて特定される前記画像の受信状況にかかる情報を表示画面に表示する表示手段
として機能させることを特徴とするプログラム。 A program for controlling a plurality of information processing apparatuses, an information processing system including the servers,
The servers,
Storage means for storing the image received from the information processing device,
The image stored in the storage means, transmitting means for transmitting so as to receive said plurality of information processing apparatuses,
Notification destination specifying means for specifying, from among the plurality of information processing devices, an information processing device serving as a notification destination for notifying the first information capable of specifying the reception status of the image;
Whether to notify said first information according to any of the information processing apparatus of the prior SL plurality of information processing apparatuses, specifying means for specifying, based on the transmission state of the image to a plurality of the information processing apparatus,
Wherein said first information specified by the specifying means, to function as a notification means for notifying the information processing apparatus to be identified notification destination by the notification destination specifying means,
The information processing device,
A program causing a display unit to display information related to the reception status of the image identified based on the first information notified by the notification unit on a display screen.
情報処理装置から受信した画像を記憶する記憶手段と、
前記記憶手段に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信手段と、
前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定手段と、
前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、
前記特定手段により特定された前記第１の情報を、前記通知先特定手段により特定された通知先となる情報処理装置に通知する通知手段と、
を備えることを特徴とするサーバ。 A communicable servers and a plurality of information processing apparatuses,
Storage means for storing the image received from the information processing device,
The image stored in the storage means, transmitting means for transmitting so as to receive said plurality of information processing apparatuses,
Notification destination specifying means for specifying, from among the plurality of information processing devices, an information processing device serving as a notification destination for notifying the first information capable of specifying the reception status of the image;
Whether to notify said first information according to any of the information processing apparatus of the prior SL plurality of information processing apparatuses, specifying means for specifying, based on the transmission state of the image to a plurality of the information processing apparatus,
And notifying means for said first information identified, and notifies the notification destination to become the information processing apparatus identified by said notification destination specifying means by the specifying means,
Servers, characterized in that it comprises a.
情報処理装置から受信した画像を記憶する記憶工程と、
前記記憶工程に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信工程と、
前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定工程と、
前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定工程と、
前記特定工程により特定された前記第１の情報を、前記通知先特定工程により特定された通知先となる情報処理装置に通知する通知工程と、
を含むことを特徴とするサーバの制御方法。 A plurality of information processing device and the control method capable of communicating servers,
A storage step of storing the image received from the information processing device,
The image stored in the storage step, a transmission step of transmitting to be received by the plurality of information processing apparatuses,
A notification destination specifying step of specifying, from the plurality of information processing devices, an information processing device serving as a notification destination for notifying the first information capable of specifying the reception status of the image;
Whether to notify said first information according to any of the information processing apparatus of the prior SL plurality of information processing apparatuses, a specifying step of specifying, based on the transmission state of the image to a plurality of the information processing apparatus,
A notifying step of the said first information identified by the identification process, and notifies the notification destination information processing apparatus serving as a notification destination specified by the specifying step,
The method of servers, which comprises a.
前記サーバを、
情報処理装置から受信した画像を記憶する記憶手段と、
前記記憶手段に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信手段と、
前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定手段と、
前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、
前記特定手段により特定された前記第１の情報を、前記通知先特定手段により特定された通知先となる情報処理装置に通知する通知手段として機能させることを特徴とするサーバのプログラム。
A possible program execution with several communicable servers to the information processing apparatus,
The servers,
Storage means for storing the image received from the information processing device,
The image stored in the storage means, transmitting means for transmitting so as to receive said plurality of information processing apparatuses,
Notification destination specifying means for specifying, from among the plurality of information processing devices, an information processing device serving as a notification destination for notifying the first information capable of specifying the reception status of the image;
Whether to notify said first information according to any of the information processing apparatus of the prior SL plurality of information processing apparatuses, specifying means for specifying, based on the transmission state of the image to a plurality of the information processing apparatus,
Wherein said first information specified by the specifying means, said notification destination servers program for causing to function as a notification means for notifying the information processing apparatus to be identified notification destination by specifying means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016072617A JP6703259B2 (en) | 2016-03-31 | 2016-03-31 | Information processing system, conference server, control method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016072617A JP6703259B2 (en) | 2016-03-31 | 2016-03-31 | Information processing system, conference server, control method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017182676A JP2017182676A (en) | 2017-10-05 |
| JP6703259B2 true JP6703259B2 (en) | 2020-06-03 |
Family
ID=60007047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016072617A Active JP6703259B2 (en) | 2016-03-31 | 2016-03-31 | Information processing system, conference server, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6703259B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111832366B (en) * | 2019-04-22 | 2024-04-02 | 富联精密电子(天津)有限公司 | Image recognition apparatus and method |
-
2016
- 2016-03-31 JP JP2016072617A patent/JP6703259B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017182676A (en) | 2017-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020190520A1 (en) | User interaction with shared content during a virtual meeting | |
| JP5853464B2 (en) | Information processing apparatus, control method, and program | |
| JP7453576B2 (en) | Information processing system, its control method and program. | |
| WO2022111193A1 (en) | Meeting control method, apparatus, device, and medium | |
| JP6802477B2 (en) | Information processing system, information processing device, its control method and program | |
| JP6237754B2 (en) | WEB CONFERENCE SYSTEM, INFORMATION PROCESSING DEVICE, WEB CONFERENCE SERVER, ITS CONTROL METHOD AND PROGRAM | |
| JP6508009B2 (en) | Terminal device, screen recording method, program, and information processing system | |
| JP6703259B2 (en) | Information processing system, conference server, control method thereof, and program | |
| JP6575428B2 (en) | Information processing system, information processing apparatus, client terminal, control method thereof, and program | |
| JP5999126B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6163475B2 (en) | Screen sharing system, screen sharing server, screen sharing system control method, and program | |
| JP6442749B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP2018036688A (en) | Information processing device, server device, information processing system, control method thereof, and program | |
| JP2018107645A (en) | Conference system, processing method of the same, and program | |
| JP7138217B2 (en) | TERMINAL DEVICE, COMMUNICATION SYSTEM, CONTROL METHOD AND PROGRAM THEREOF | |
| JP7206481B2 (en) | Information processing device, control method and program for information processing device | |
| JP2020194343A (en) | Information processing system, information processing device, control method of information processing system, and program | |
| JP6912440B2 (en) | Communication system, its control method and program | |
| JP2016163111A (en) | Information processing device, information processing method, and program | |
| JP5994898B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JP2018026713A (en) | Information processing apparatus, information processing system, and control method and program therefor | |
| JP2005190317A (en) | Network conference server, network conference method and its program | |
| JP2017151889A (en) | Information processing device and server device used in web conference system, control method for those, and program | |
| JP2020057927A (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JP2018018431A (en) | Web conference system, information processing device, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6703259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |