JP7196951B2 - Information processing device, program, method, system - Google Patents
Information processing device, program, method, system Download PDFInfo
- Publication number
- JP7196951B2 JP7196951B2 JP2021085494A JP2021085494A JP7196951B2 JP 7196951 B2 JP7196951 B2 JP 7196951B2 JP 2021085494 A JP2021085494 A JP 2021085494A JP 2021085494 A JP2021085494 A JP 2021085494A JP 7196951 B2 JP7196951 B2 JP 7196951B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- terminal
- information processing
- transmission
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、情報処理装置、プログラム、方法、システムに関する。 The present invention relates to an information processing device, program, method, and system.
インターネット等のネットワークを介して複数の端末装置間でビデオ会議等を行う伝送システムが知られている。このような伝送システムでは、一方の伝送端末でビデオ会議中に収集された画像データ及び音声データを他方の伝送端末に送信する。他方の伝送端末はこの画像データ及び音声データを受信し、ディスプレイ等に画像を表示したり、スピーカから音声を出力したりすることで、これらの伝送端末間でビデオ会議を行うことができる。 2. Description of the Related Art A transmission system is known in which a video conference or the like is held between a plurality of terminal devices via a network such as the Internet. In such a transmission system, one transmission terminal transmits image data and audio data collected during a video conference to the other transmission terminal. The other transmission terminal receives the image data and audio data, displays the image on a display or the like, and outputs audio from a speaker, thereby allowing a videoconference to be held between these transmission terminals.
このような伝送システムにおいては、会議に参加する伝送端末は２台とは限らず、ビデオ会議に参加する伝送端末が３台以上となる多拠点間でビデオ会議が開催される場合も少なくない。 In such a transmission system, the number of transmission terminals participating in the conference is not limited to two, and videoconferences are often held between multiple sites with three or more transmission terminals participating in the videoconference.
また、上記のように各拠点は映像を表示したり音声を出力したりすることができるが、各拠点の伝送端末が映像を録画したり音声を録音したりする機能を有する場合がある（例えば、特許文献１参照。）。これは、ビデオ会議に参加できなった者が後に会議の内容を把握したり確認したりするためである。 Also, as described above, each base can display video and output audio, but the transmission terminal at each base may have a function to record video and audio (for example, , see Patent Document 1). This is because those who cannot participate in the videoconference can grasp or check the content of the conference later.
しかしながら、ビデオ会議で送信される画像や音声は秘匿性が高い情報が多いため、録画や録音されることを好まない参加者も少なくない。あるいは画像に含まれる自分の肖像が記録されることを好まない参加者も存在する。この点に関し、特許文献１に開示された通信システムは、各拠点が同じ記録装置に通信情報を記録する技術であり、任意の拠点が録画又は録音している場合に、録画又は録音している拠点を他の拠点の参加者が特定しにくいという問題がある。
However, since most of the images and voices transmitted in the videoconference are highly confidential information, many participants do not like to be video-recorded. Alternatively, there are participants who do not like their portrait included in the image to be recorded. Regarding this point, the communication system disclosed in
例えば、拠点Ａ～Ｃでビデオ会議が行われており、拠点Ｃが画像の録画又は音声の録音を行っている場合、拠点Ａの参加者は、拠点ＢとＣのどちらが録画又は録音しているのか分からず、拠点Ｂの参加者は、拠点ＡとＣのどちらが録画又は録音しているのか分からない。このため、どの拠点に対し録画や録音の停止を要求すべきか判断しにくいし、秘匿性の高い情報を提示してよいかどうかを判断しにくい。 For example, if a video conference is being held at sites A to C and site C is recording images or voices, the participant at site A will be asked which of site B or C is recording or recording. Therefore, the participant at site B does not know whether site A or site C is recording or recording. For this reason, it is difficult to determine which site should be requested to record or stop recording, and it is difficult to determine whether highly confidential information may be presented.
本発明は、上記課題に鑑み、画像データ又は音声データを記録している他の情報処理装置を報知する情報処理装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an information processing apparatus that notifies another information processing apparatus that is recording image data or audio data.
本発明は、ネットワークを介して接続された他の情報処理装置と画像データを送受信する情報処理装置であって、前記他の情報処理装置と送受信する画像データの記録を開始する記録開始通知を受信する受信手段と、前記他の情報処理装置から受信した画像データを表示可能なビデオ会議ＵＩ画面と、手書きされたストローク画像を表示可能な電子黒板ＵＩ画面とを、切り替え可能に表示画面に表示させる表示制御手段と、を有し、前記表示制御手段は、前記ビデオ会議ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記ビデオ会議ＵＩ画面に表示させ、前記電子黒板ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記電子黒板ＵＩ画面に表示させる。
The present invention provides an information processing apparatus that transmits/receives image data to/from another information processing apparatus connected via a network, wherein a recording start notification for starting recording of image data transmitted/received to/from the other information processing apparatus is received. a video conference UI screen capable of displaying image data received from the other information processing apparatus, and an electronic whiteboard UI screen capable of displaying handwritten stroke images are displayed on a display screen in a switchable manner. display control means, wherein when the videoconference UI screen is displayed on the display screen and the recording start notification is received, the display control means records the transmitted/received image data. When the recording start notification is received while the electronic whiteboard UI screen is being displayed on the display screen, the image data to be sent and received is being recorded. is displayed on the electronic blackboard UI screen .
画像データ又は音声データを記録している他の情報処理装置を報知する情報処理装置を提供することができる。 It is possible to provide an information processing device that notifies another information processing device that is recording image data or audio data.
以下、本発明を実施するための形態について図面を参照しながら説明する。 EMBODIMENT OF THE INVENTION Hereinafter, it demonstrates, referring drawings for the form for implementing this invention.
図１は、本実施形態の伝送システム１の動作の概略を説明する図の一例である。伝送端末１０ａａは、伝送端末１０ｂａ及び情報処理端末４０ｂｄとビデオ会議を行っている。伝送端末１０ａａは、伝送端末１０ｂａ及び情報処理端末４０ｂｄからの画像を合成してディスプレイ１２０に表示する（このような画面を全画面表示画面５０１という）。同様の画像を、伝送端末１０ｂａ及び情報処理端末４０ｂｄも表示している。
FIG. 1 is an example of a diagram for explaining the outline of the operation of the
（１）本実施形態の情報処理端末４０ｂｄはビデオ会議中に画像の録画を開始すると、録画開始通知（記録通知の一例）を伝送端末１０ａａ、１０ｂａに送信する。以下では、説明の便宜上、伝送端末１０ａａに着目して説明する。 (1) When the information processing terminal 40bd of the present embodiment starts recording an image during a video conference, it transmits a recording start notification (an example of a recording notification) to the transmission terminals 10aa and 10ba. In the following, for convenience of explanation, the transmission terminal 10aa will be focused on.
（２）伝送端末１０ａａは録画開始通知に含まれる情報処理端末４０ｂｄの通信ＩＤ（０４ｂｄ）を保持しておく。 (2) The transmission terminal 10aa holds the communication ID (04bd) of the information processing terminal 40bd included in the recording start notification.
（３）伝送端末１０ａａのユーザが録画している拠点を確認するため情報表示画面６０１を表示させると、保持しておいた通信ＩＤを用いて録画している拠点を強調して表示する。図１では、端末名と通信ＩＤが表示されているが、録画している情報処理端末４０ｂｄの端末名の先頭に録画拠点マーク７１が表示されている。伝送端末１０ａａのユーザはこの録画拠点マーク７１により複数の拠点の内どの拠点で録画されているかを判断できる。
(3) When the
このように、本実施形態の伝送システム１では、他拠点で会議を行っている場合に、どの拠点が録画しているかを他の拠点の参加者がリアルタイムに把握、確認又は特定等することができる。
As described above, in the
＜用語について＞
情報処理装置の識別情報は、情報処理装置を他の情報処理装置等が特定するための情報である。具体的には通信ＩＤが挙げられる。この他、端末名、ＭＡＣアドレス、メールアドレス、ユーザ名、ユーザＩＤ等で特定されてもよい。
<Terms>
The identification information of the information processing device is information for identifying the information processing device by another information processing device or the like. A specific example is a communication ID. In addition, it may be specified by a terminal name, MAC address, mail address, user name, user ID, or the like.
また、情報処理装置は画像データ又は音声データの少なくとも一方を送受信することができる装置である。本実施形態では伝送端末１０又は情報処理端末４０という用語で説明する。
An information processing device is a device capable of transmitting and receiving at least one of image data and audio data. In this embodiment, the term "
記録中であることを他の情報処理装置に対応付けて通知するとは、情報処理装置の端末名や通信ＩＤなど情報処理装置を特定できる情報と共に、画像データ又は音声データの少なくとも一方を記録中である旨を出力することをいう。出力には、表示の他、音声による通知も含まれる。本実施形態では、例えば録画拠点マーク７１が端末名と通信ＩＤに対応付けて表示されることを例にする。
Notifying that recording is being performed in association with another information processing apparatus means that at least one of image data and audio data is being recorded together with information that can identify the information processing apparatus, such as the terminal name and communication ID of the information processing apparatus. It means to output something. The output includes not only display but also audio notification. In this embodiment, for example, the
また、画像データ又は音声データの記録とは、保存、保持、格納又は記憶等で表される処理をいう。記録された画像データ又は音声データは再生することができる。また、記録を、録画又は録音と称する場合がある。 Also, the recording of image data or audio data refers to processing represented by saving, holding, storing, storing, or the like. The recorded image data or audio data can be played back. Recording may also be referred to as video recording or sound recording.
他の情報処理装置に関する情報とは、参加者が会議に参加している他の参加者を把握可能な情報をいう。例えば、端末名と通信ＩＤの少なくとも一方である。 Information about other information processing devices means information that enables a participant to grasp other participants participating in the conference. For example, it is at least one of a terminal name and a communication ID.
通信中とは、２つ以上の伝送端末１０及び情報処理端末４０が画像データ又は音声データを送受信していることをいう。具体的には、ビデオ会議の会議中、ビデオ会議に参加中であることをいう。
During communication means that two or
記録通知とは記録を開始すること、記録していること、を通知することをいい、記録終了通知とは記録を終了した旨を通知することをいう。 The recording notification means to notify that recording is started or being recorded, and the recording end notification means to notify that recording has ended.
＜実施形態の全体構成＞
図２は、本実施形態に係る伝送システム１の概略図である。図３は、伝送システム１における画像データ、音声データ及び各種管理情報の送受信の状態を示した概念図である。伝送システム１には、伝送管理装置５０を介して一方の伝送端末から複数の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムが含まれる。また、伝送管理装置５０を介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。コミュニケーションシステムは、コミュニケーション管理装置（「伝送管理装置５０」に相当）を介して複数のコミュニケーション端末（「伝送端末」に相当）間で情報や感情等を相互に伝達するためのシステムである。ビデオ会議システムやビデオ電話システム等が例として挙げられる。
<Overall Configuration of Embodiment>
FIG. 2 is a schematic diagram of the
本実施形態では、コミュニケーションシステムの一例としてのビデオ会議システム、コミュニケーション管理装置の一例としてのビデオ会議管理装置及びコミュニケーション端末の一例としてのビデオ会議端末を想定した上で、伝送システム１、伝送管理装置５０及び伝送端末１０について説明する。即ち、本発明の伝送端末及び伝送管理装置５０は、ビデオ会議システムに適用されるだけでなく、コミュニケーションシステム、又はデータ伝送システムにも適用される。
In this embodiment, assuming a video conference system as an example of a communication system, a video conference management device as an example of a communication management device, and a video conference terminal as an example of a communication terminal, a
図２に示すように、伝送システム１は、複数の伝送端末１０ａａ、１０ａｂ、・・・と、各伝送端末１０ａａ、１０ａｂ、・・・用のディスプレイ１２０ａａ、１２０ａｂ、・・・と、ＵＩ提供装置２０と、情報処理端末４０ｂｄ、ｂｅと、中継装置３０と、伝送管理装置５０と、プログラム提供装置９０と、を備えている。伝送端末１０ａａ、１０ａｂ、・・・は、コンテンツデータとして、例えば、画像データ及び音声データの送受信による伝送を行うようになっている。
2, the
ＵＩ提供装置２０は、伝送端末１０ａａ、１０ａｂ、・・・に主に拠点数を表示するための後述するレイアウト情報を送信する装置である。ＵＩ提供装置２０は例えば伝送管理装置５０や中継装置３０が兼ねてもよい。
The
また、情報処理端末４０は、伝送端末１０の機能がソフトウェアで実現された装置である。具体的には、例えば、ＰＣ（Personal Computer）、タブレット型端末、スマートフォン、携帯電話、ＰＤＡ（Personal Digital Assistant）、ゲーム機、カーナビゲーション装置、又は、電子書籍用端末などである。
Further, the
なお、以下の説明において、複数の伝送端末１０ａａ、１０ａｂ、・・・のうち、任意の伝送端末は、「伝送端末１０」と表され、複数のディスプレイ１２０ａａ、１２０ａｂ、・・・のうち、任意のディスプレイは、「ディスプレイ１２０」と表される。複数の情報処理端末４０ｂｄ，ｂｅのうち、任意の情報処理端末は、「情報処理端末４０」と表される。また、ビデオ会議の開始を要求する要求元の伝送端末１０は、「要求元端末」と表され、要求先の伝送端末１０は、「宛先端末」と表される。
In the following description, an arbitrary transmission terminal among the plurality of transmission terminals 10aa, 10ab, . is denoted as "
また、ビデオ会議に参加している伝送端末１０又は伝送端末１０が設置されていることが想定される場所を「拠点」と称する。あるいは、伝送端末１０を使用する相手のユーザと称してもよい。ビデオ会議に参加している伝送端末１０が特定されれば、ユーザは伝送端末１０が設置されていることが想定される場所や相手のユーザを推定できる。後述する端末名により、ユーザは相手や伝送端末１０が設置されていることが想定される場所を推定できる。また、相手の居場所がどこであるかを特定する必要はなく、相手がいる場所が拠点である。また、相手とは個人を特定する必要はなく、企業名などの属性が分かればよい。例えば企業ユースでは、相手の伝送端末１０が特定されれば、ユーザは相手や相手の居場所も推定できる。拠点の数は、ビデオ会議に参加している伝送端末１０の数と同じであるが、１つと見なせる空間に（例えば１つの会議室）に複数の伝送端末１０が存在してもよい。
In addition, the
図３に示すように、伝送システム１において、要求元端末である伝送端末１０ａａと宛先端末である伝送端末１０ａｂ（符号は一例）との間では、伝送管理装置５０を介して、各種の管理情報を送受信するための管理情報用セッションｓｅｉが確立される。
As shown in FIG. 3, in the
また、管理情報用セッションｓｅｉが確立した伝送端末１０間では、中継装置３０を介して、高解像度の画像データｓｅｄ１、中解像度の画像データｓｅｄ２、低解像度の画像データｓｅｄ３及び音声データｓｅｄ４の４つの各データを送受信するための４つのセッションが確立される。なお、本実施形態において、これら４つのセッションは、まとめて、「画像・音声データ用セッションｓｅｄ」と表される。
In addition, between the
図２において、中継装置３０は、複数の伝送端末１０の間で、コンテンツデータの中継を行うようになっている。伝送管理装置５０は、伝送端末１０からのログイン認証、伝送端末１０の伝送状態の管理、宛先リストの管理等及び中継装置３０の伝送状態等を一元的に管理するようになっている。なお、画像データが表す画像は、動画であっても静止画であってもよく、動画と静止画との両方であってもよい。
In FIG. 2 , the
複数のルータ７０ａ、７０ｂ、７０ｃ、７０ｄ、７０ａｂ、７０ｃｄは、画像データ及び音声データの最適な経路の選択を行う。なお、以下の説明において、ルータ７０ａ、７０ｂ、７０ｃ、７０ｄ、７０ａｂ、７０ｃｄのうち、任意のルータは、「ルータ７０」と表される。
A plurality of
プログラム提供装置９０は、後述するＨＤ（Hard Disk）２０４を備えており、伝送端末１０に各種機能を実現させるための伝送端末制御プログラム１０００ａが記憶され、伝送端末制御プログラム１０００ａを伝送端末１０に送信することができる。
The
また、プログラム提供装置９０のＨＤ２０４には、中継装置３０に各種機能を実現させるための中継装置用プログラムも記憶されており、中継装置用プログラムを中継装置３０に送信することができる。
The
更に、プログラム提供装置９０のＨＤ２０４には、伝送管理装置５０に各種機能を実現させるための伝送管理プログラム５０００ａも記憶されており、伝送管理プログラム５０００ａを伝送管理装置５０に送信することができる。
Furthermore, the
また、プログラム提供装置９０のＨＤ２０４には、ＵＩ提供装置２０に各種機能を実現させるためのＵＩ提供装置用プログラムも記憶されており、ＵＩ提供装置用プログラムをＵＩ提供装置２０に送信することができる。
The
また、プログラム提供装置９０のＨＤ２０４には、情報処理端末４０に各種機能を実現させるための情報処理端末用プログラム１０００ｃも記憶されており、情報処理端末用プログラム１０００ｃを情報処理端末４０に送信することができる。
The
伝送端末１０ａａ、１０ａｂ、１０ａｃ、・・・及びルータ７０ａは、ＬＡＮ２ａによって伝送可能に接続されている。伝送端末１０ｂａ、１０ｂｂ、１０ｂｃ、・・・及びルータ７０ｂは、ＬＡＮ２ｂによって伝送可能に接続されている。 The transmission terminals 10aa, 10ab, 10ac, . The transmission terminals 10ba, 10bb, 10bc, .
また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ａｂが含まれた専用線２ａｂによって伝送可能に接続されており、所定の地域Ａ内に設けられている。例えば、地域Ａは、日本であり、ＬＡＮ２ａは東京の事業所内に設けられ、ＬＡＮ２ｂは大阪の事業所内に設けられている。
Also, the
一方、伝送端末１０ｃａ、１０ｃｂ、１０ｃｃ、・・・及びルータ７０ｃは、ＬＡＮ２ｃによって伝送可能に接続されている。伝送端末１０ｄａ、１０ｄｂ、１０ｄｃ、・・・及びルータ７０ｄは、ＬＡＮ２ｄによって伝送可能に接続されている。 On the other hand, the transmission terminals 10ca, 10cb, 10cc, . The transmission terminals 10da, 10db, 10dc, .
また、ＬＡＮ２ｃ及びＬＡＮ２ｄは、ルータ７０ｃｄが含まれた専用線２ｃｄによって伝送可能に接続されており、所定の地域Ｂ内に設けられている。例えば、地域Ｂはアメリカ合衆国であり、ＬＡＮ２ｃはニューヨークの事業所内に設けられ、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内に設けられている。地域Ａ及び地域Ｂは、それぞれルータ７０ａｂ、７０ｃｄからインターネット２ｉを介して相互に伝送可能に接続されている。
Also, the LAN 2c and the
また、中継装置３０、伝送管理装置５０、ＵＩ提供装置２０、情報処理端末４０、及びプログラム提供装置９０は、インターネット２ｉを介して、各伝送端末１０と伝送可能に接続されている。ここで、中継装置３０、伝送管理装置５０、ＵＩ提供装置２０、情報処理端末４０及びプログラム提供装置９０は、地域Ａ又は地域Ｂに設置されていてもよいし、これら以外の地域に設置されていてもよい。
Also, the
なお、本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用線２ａｂ、インターネット２ｉ、専用線２ｃｄ、ＬＡＮ２ｃ及びＬＡＮ２ｄによって、本実施形態の伝送ネットワーク２が構成されている。伝送ネットワーク２には、有線だけでなく、ＷｉＦｉ（Wireless Fidelity）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線による伝送が行われる箇所があってもよい。
In this embodiment, the
また、図２において、各伝送端末１０、中継装置３０、伝送管理装置５０、各ルータ７０、ＵＩ提供装置２０、情報処理端末４０及びプログラム提供装置９０の下に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。例えば、伝送端末１０ａａのＩＰアドレスは「１．２．１．３」である。また、ＩＰｖ４ではなく、ＩＰｖ６を用いてもよいが、説明を簡略化するため、ＩＰｖ４を用いて説明する。
Also, in FIG. 2, the four sets of numbers shown under each
なお、各伝送端末１０は、複数の事業所間でのビデオ会議や、同じ事業所内の異なる部屋間でのビデオ会議だけでなく、同じ部屋内でのビデオ会議や、屋外と屋内又は屋外と屋外でのビデオ会議で使われてもよい。各伝送端末１０が屋外で使われる場合には、携帯電話伝送網等の無線による伝送が行われる。
Note that each
＜伝送端末のハードウェア構成＞
図４は、伝送端末のハードウェア構成図の一例である。図４に示すように、伝送端末１０は、伝送端末１０全体の動作を制御するＣＰＵ（Central Processing Unit）１０１と、ＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Read Only Memory）１０２とを有する。また、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）１０３と、伝送端末制御プログラム１０００ａ、画像データ及び音声データ等の各種データを記憶するフラッシュメモリ１０４と、を有する。また、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５を有する。また、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７と、伝送端末１０の宛先を選択する場合などに操作される操作ボタン１０８と、を有する。また、伝送端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９と、伝送ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Interface）１１１と、を備えている。
<Hardware configuration of transmission terminal>
FIG. 4 is an example of a hardware configuration diagram of a transmission terminal. As shown in FIG. 4, the
また、伝送端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２と、カメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３と、音を入力する内蔵型の集音装置としてのマイク１１４と、を有する。また、音を出力する内蔵型のスピーカ１１５と、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音信号の入出力を処理する音入出力Ｉ／Ｆ１１６と、を有する。また、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７と、を有する。また、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８と、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０と、を備えている。
Further, the
ディスプレイ１２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示装置を構成する。ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続されている。ケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＤＶＩ（Digital Video Interactive）信号用のケーブルであってもよい。
The
カメラ１１２は、レンズと、光を電荷に変換して被写体の像を電子化する固体撮像素子とを含み、固体撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Coupled Device）等が用いられる。
The
外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ（Universal Serial Bus）ケーブル等によって、外付けカメラ、外付けマイク及び外付けスピーカ等の外部機器を接続できるようになっている。
External devices such as an external camera, an external microphone, and an external speaker can be connected to the external device connection I/
外部機器接続Ｉ／Ｆ１１８に外付けカメラが接続された場合には、ＣＰＵ１０１は、内蔵型のカメラ１１２に優先して、外付けカメラを駆動するようになっている。また、外部機器接続Ｉ／Ｆ１１８に外付けマイクや外付けスピーカが接続された場合には、ＣＰＵ１０１は、内蔵型のマイク１１４や内蔵型のスピーカ１１５にそれぞれ優先して、外付けマイクや外付けスピーカを駆動するようになっている。
When an external camera is connected to the external device connection I/
なお、記録メディア１０６は、伝送端末１０に対して着脱自在に構成されている。また、伝送端末１０は、ＣＰＵ１０１の制御に従ってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に代えて、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。
Note that the
また、伝送端末制御プログラム１０００ａは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア１０６等のような、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、伝送端末制御プログラム１０００ａは、フラッシュメモリ１０４ではなくＲＯＭ１０２に記憶させるようにしてもよい。
Also, the transmission
情報処理端末４０は、伝送端末１０と同様のハードウェア構成を有しているか、差異があるとしても少なくとも本実施形態の説明においては支障がないものとする。但し、ＳＳＤ１０５には、情報処理端末４０を制御するための情報処理端末用プログラム１０００ｃが記録されている。
It is assumed that the
<<伝送管理装置５０、ＵＩ提供装置、中継装置、プログラム提供装置のハードウェア構成図>>
図５は、伝送管理装置５０、ＵＩ提供装置２０、中継装置又はプログラム提供装置のハードウェア構成図である。図５に示すように、伝送管理装置５０は、伝送管理装置５０全体の動作を制御するＣＰＵ２０１と、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２と、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３と、を有する。また、伝送管理プログラム等の各種データを記憶するＨＤ２０４と、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ（Hard Disk Drive）２０５と、を有する。また、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７と、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ２０８と、を有する。また、伝送ネットワーク２を利用してデータ伝送をするためのネットワークＩ／図２８０９と、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１と、を有する。また、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２と、を有する。また、着脱可能な記録媒体の一例としての光記憶媒体（Compact Disc Read Only Memory）２１３に対する各種データの読み出し又は書き込みを制御する光学ドライブ２１４と、を有する。また、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン２１０と、を備えている。
<<Hardware configuration diagram of
FIG. 5 is a hardware configuration diagram of the
なお、伝送管理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア２０６や光記憶媒体２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、伝送管理プログラムは、ＨＤ２０４ではなくＲＯＭ２０２に記憶されていてもよい。
The transmission management program may be recorded in a computer-readable recording medium such as the
また、中継装置３０は、伝送管理装置５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＨＤ２０４には、中継装置３０を制御するための中継装置用プログラムが記録されている。
Also, since the
この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア２０６や光記憶媒体２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、中継装置用プログラムは、ＨＤ２０４ではなくＲＯＭ２０２に記憶されていてもよい。
In this case as well, the relay device program may be recorded in a computer-readable recording medium such as the
また、プログラム提供装置９０は、伝送管理装置５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＨＤ２０４には、プログラム提供装置９０を制御するためのプログラム提供装置用プログラムが記録されている。
Also, since the
この場合も、プログラム提供装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア２０６や光記憶媒体２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、プログラム提供装置用プログラムは、ＨＤ２０４ではなくＲＯＭ２０２に記憶されていてもよい。
In this case as well, the program for the program providing device is recorded in a computer-readable recording medium such as the
また、ＵＩ提供装置２０は、伝送管理装置５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＨＤ２０４には、ＵＩ提供装置２０を制御するためのＵＩ提供装置用プログラム及び後述するレイアウト情報が記録されている。
Also, since the
この場合も、ＵＩ提供装置用プログラム及びレイアウト情報は、インストール可能な形式又は実行可能な形式のファイルで、記録メディア２０６や光記憶媒体２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、ＵＩ提供装置用プログラム及びレイアウト情報は、ＨＤ２０４ではなくＲＯＭ２０２に記憶されていてもよい。
Also in this case, the program for the UI providing device and the layout information are files in an installable format or an executable format, and are recorded in a computer-readable recording medium such as the
なお、上記したコンピュータで読み取り可能な記録媒体として、ＣＤ－Ｒ（Compact Disc Recordable）、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク等を適用してもよい。 As the computer-readable recording medium, a CD-R (Compact Disc Recordable), a DVD (Digital Versatile Disk), a Blu-ray Disc, or the like may be applied.
なお、図示する伝送管理装置５０等のハードウェア構成は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、伝送管理装置５０等が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応するため、本実施例の伝送管理システム５０等の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。
The hardware configuration of the illustrated
＜伝送システム１の機能構成＞
図６は、伝送システム１に含まれる各端末の機能ブロック図である。伝送端末１０、中継装置３０、情報処理端末４０，ＵＩ提供装置２０及び伝送管理装置５０は、伝送ネットワーク２を介してデータを伝送することができるように接続されている。なお、図２に示した、中継装置３０及びプログラム提供装置９０は、必要に応じて説明される。情報処理端末４０については、図７にて説明される。
<Functional Configuration of
FIG. 6 is a functional block diagram of each terminal included in the
<<伝送端末の機能構成>>
伝送端末１０は、送受信部１１、操作入力受付部１２、ログイン要求部１３、撮像部１４、音入力部１５ａ、音出力部１５ｂ、宛先リスト表示部１６、表示制御部１７、及び記憶・読出処理部１９を有している。これら各部は、図４のフラッシュメモリ１０４からＲＡＭ１０３上に展開された伝送端末制御プログラム１０００ａを実行するＣＰＵ１０１によって実現される機能である。また、伝送端末１０は、ＲＡＭ１０３及びフラッシュメモリ１０４によって構成される記憶部１０００を有している。記憶部１０００には伝送端末制御プログラム１０００ａ及び録画中管理テーブル１０００ｂが記憶されている。
<<Functional configuration of transmission terminal>>
The
なお、説明の便宜上、「０１」で始まる通信ＩＤは伝送端末１０の通信ＩＤを意味し、「０４」で始まる通信ＩＤは情報処理端末４０の通信ＩＤを意味しているものとして説明する。
For convenience of explanation, it is assumed that the communication ID starting with "01" means the communication ID of the
（伝送端末の各機能構成）
送受信部１１は、ＣＰＵ１０１及びネットワークＩ／Ｆ１１１等によって構成され、伝送ネットワーク２を介して他の伝送端末１０、情報処理端末４０、中継装置３０、伝送管理装置５０、又は、プログラム提供装置９０と各種データや情報の送受信を行うようになっている。
(Each functional configuration of the transmission terminal)
The transmission/
送受信部１１は、所望の宛先端末とビデオ会議を開始する前から、伝送管理装置５０より、ビデオ会議の接続先の候補としての各伝送端末１０の状態を示す各状態情報の受信を開始するようになっている。状態情報は、各伝送端末１０がオンラインかオフラインかの稼動状態を表すだけでなく、オンラインで伝送可能であるか、オンラインで伝送中であるか等の詳細な稼動状態も表す。
The transmitting/receiving
また、状態情報は、各伝送端末１０の稼動状態だけでなく、伝送端末１０でケーブル１２０ｃが伝送端末１０から外れていたり、音を出力するが画像は出力させなかったり、音を出力させないようにする（ＭＵＴＥ）等、様々な状態を表す。以下の説明においては、本発明を理解しやすくするために、状態情報が各伝送端末１０の稼動状態を表す場合について説明する。
The status information includes not only the operating status of each
操作入力受付部１２は、ＣＰＵ１０１、操作ボタン１０８及び電源スイッチ１０９等によって構成され、ユーザによる各種入力を受け付けるようになっている。例えば、ユーザが、電源スイッチ１０９をＯＮにすると、操作入力受付部１２が電源ＯＮを受け付けて、伝送端末１０の電源をＯＮにするようになっている。
The operation
ログイン要求部１３は、ＣＰＵ１０１等によって構成される。電源ＯＮの受け付けを契機として、送受信部１１から伝送ネットワーク２を介して伝送管理装置５０に、ログインを要求する旨を示すログイン要求情報及び現時点の自端末のＩＰアドレスを送信するようになっている。
The
また、ユーザが電源スイッチ１０９をＯＮの状態からＯＦＦの状態にすると、送受信部１１が伝送管理装置５０に電源をＯＦＦする旨の状態情報を送信した後に、操作入力受付部１２が伝送端末１０の電源を完全にＯＦＦにするようになっている。これにより、伝送管理装置５０側では、伝送端末１０が電源ＯＮから電源ＯＦＦになったことを把握することができる。
Further, when the user turns the
撮像部１４は、ＣＰＵ１０１、カメラ１１２及び撮像素子Ｉ／Ｆ１１３等によって構成され、被写体を撮像し、撮像して得られた画像データを送受信部１１に出力するようになっている。
The
音入力部１５ａは、ＣＰＵ１０１及び音入出力Ｉ／Ｆ１１６等によって構成され、マイク１１４によって集音されて得られた音を表す音信号が入力され、入力された音信号を音声データに変換するようになっている。
The
音出力部１５ｂは、ＣＰＵ１０１及び音入出力Ｉ／Ｆ１１６等によって構成され、音声データを音信号に変換し、変換した音信号をスピーカ１１５に出力することにより、スピーカ１１５に音を出力させるようになっている。
The
表示制御部１７は、ＣＰＵ１０１及びディスプレイＩ／Ｆ１１７等によって構成される。表示制御部１７は、送受信部１１に受信された解像度の異なる画像データを組み合わせ、組み合わせた画像データをディスプレイ１２０に送信することにより、画像データが表す画像をディスプレイ１２０に表示させるようになっている（全画面表示モード）。また、他の拠点の詳細な情報を表示することができる（情報表示モード）。
The
表示制御部１７は補助領域表示部１８ａ及び拠点リスト表示部１８ｂを有している。補助領域表示部１８ａは、伝送端末１０が後述する全画面表示モードの場合に、全画面表示画面５０１の補助領域に会議に参加している拠点数や録画通知情報（記録通知情報）などを表示する。拠点リスト表示部１８ｂは、伝送端末１０が後述する情報表示モードの場合に、情報表示画面６０１に会議に参加している拠点の名称、通信ＩＤ、及び、録画中管理テーブル１０００ｂを参照し録画拠点マーク７１などを表示する。
The
宛先リスト表示部１６は、伝送管理装置５０から送信される宛先状態情報に基づき宛先リスト画面をディスプレイ１２０に表示する。宛先状態情報には録画会議中か否かの稼動状態が含まれ、宛先リスト画面には宛先の伝送端末１０及び情報処理端末４０ごとに会議中か否かが表示される。
The destination
記憶・読出処理部１９は、ＣＰＵ１０１及びＳＳＤ１０５等によって構成され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりするようになっている。
The storage/
記憶部１０００には、伝送端末１０を通信先（他の拠点から見て）として識別するための通信ＩＤ及びパスワード等が記憶されている。更に、記憶部１０００は、宛先端末とビデオ会議を行う際に受信される画像データ及び音声データの受信バッファとしても用いられる。なお、本実施形態の通信ＩＤは、伝送端末１０を一意に識別するために使われる言語、文字、記号又は各種の標し等の情報を示す。また、通信ＩＤは、言語、文字、記号及び各種の標しのうち、少なくとも２つが組み合わされた情報であってもよい。
The
＜伝送管理装置５０の機能構成＞
伝送管理装置５０は、送受信部５１、端末認証部５２、状態管理部５３、端末抽出部５４、端末状態取得部５５、セッション管理部５６、及び記憶・読出処理部５９を有している。これら各部は、図５に示したＨＤ２０４からＲＡＭ２０３上に展開された伝送管理プログラム５０００ａを実行するＣＰＵ２０１によって実現される機能である。また、伝送管理装置５０は、ＨＤ２０４により構成される記憶部５０００を有している。以下、記憶部５０００に記憶されたデータベースについて説明する。
<Functional Configuration of
The
例えば、表３（ａ）に示した端末管理テーブルは、通信ＩＤが「０１ａａ」の伝送端末１０ａａに対して、端末名が「日本 東京事業所 ＡＡ端末」で、稼動状態が「オンライン（伝送中）」で、伝送端末１０ａａのＩＰアドレスが「１．２．１．３」であることを表している。 For example, in the terminal management table shown in Table 3(a), for a transmission terminal 10aa with a communication ID of "01aa", the terminal name is "Japan Tokyo office AA terminal" and the operation status is "online (transmitting)". )” indicates that the IP address of the transmission terminal 10aa is “1.2.1.3”.
なお、表３（ａ）の端末管理テーブルは、通信ＩＤが０１ａａの伝送端末１０ａａ、通信ＩＤが０１ｂａの伝送端末１０ｂａ、及び、通信ＩＤが０４ｂｄの情報処理端末４０ｂｄが会議に参加中となった状態を示している（オンライン（伝送中））。これよりも前の稼動状態としてオンライン（伝送可能）となる状態がある。 In the terminal management table of Table 3(a), the transmission terminal 10aa with the communication ID of 01aa, the transmission terminal 10ba with the communication ID of 01ba, and the information processing terminal 40bd with the communication ID of 04bd are participating in the conference. Indicates status (online (transmitting)). As an operation state prior to this, there is a state of being online (transmittable).
また、表３（ｂ）は録画会議中の情報処理端末４０が会議に参加している場合の端末管理テーブルを示す。通信ＩＤが「０４ｄｂ」の情報処理端末４０ｄｂに対し、稼動状態が「録画会議中」となっている。この稼動状態が「録画会議中」であることが、情報処理端末４０ｂｄが録画中であることを表している。通信ＩＤが「０１ａａ」「０１ｂａ」の稼動状態も「録画会議中」である。これは、情報処理端末４０と同じ会議に参加している伝送端末１０及び情報処理端末４０の稼動状態も「録画会議中」に変更されるためである（伝送端末１０及び情報処理端末４０が実際に録画していなくても）。
Table 3(b) shows the terminal management table when the
ここで、端末管理テーブルの通信ＩＤは、伝送端末１０及び情報処理端末４０が伝送システム１に登録される際にユニークに割り当てられ、端末名は、伝送管理装置５０の管理者によって登録又は変更される。なお、端末名は、伝送端末１０から伝送管理装置５０に対してなされる要求に応じて、登録又は変更されてもよい。すなわち、通信ＩＤと端末名は予め登録されているものとして説明する。
Here, the communication ID in the terminal management table is uniquely assigned when the
また、稼動状態が「オンライン（伝送可能）」とは、伝送端末１０が伝送システム１にログインした状態で、ビデオ会議に参加していない状態であることを表す。「オンライン（伝送中）」とは、伝送端末１０が伝送システム１にログインした状態で、ビデオ会議に参加している状態（会議中という意味）であることを表す。稼動状態が「オフライン」とは、伝送端末１０が伝送システム１にログインしていない状態であることを表す。ビデオ会議に参加している又は会議中の伝送端末１０とは、稼動状態が「オンライン（伝送中）」の伝送端末１０である。
Also, the operation state "online (transmittable)" means that the
例えば、通信ＩＤが「０１ａａ」である伝送端末１０ａａからビデオ会議の開始を要求できる宛先端末の候補は、通信ＩＤが「０１ａｂ」～「０１ｄｃ」の伝送端末１０ａｂ～１０ｄｃ及び通信ＩＤが「０４ｂｄ」「０４ｂｅ」である情報処理端末４０ｂｄ、ｂｅであることが示されている。宛先端末の通信ＩＤは、伝送端末１０又は情報処理端末４０から伝送管理装置５０に対してなされる要求に応じて、宛先となる伝送端末１０又は情報処理端末４０からの許可通知（承諾）が返送されると追加される。また、伝送端末１０又は情報処理端末４０から伝送管理装置５０に対して削除されることもできる。
For example, the candidates for the destination terminal to which the transmission terminal 10aa with the communication ID "01aa" can request the start of the videoconference are the transmission terminals 10ab to 10dc with the communication IDs "01ab" to "01dc" and the communication ID "04bd". Information processing terminals 40bd and be with "04be" are indicated. The communication ID of the destination terminal is returned by a permission notification (approval) from the
（ＵＩ提供装置のＵＲＩ）
更に、記憶部５０００には、ＵＩ提供装置２０のＵＲＩ(Uniform Resource Identifier)５００５が記憶されている。ＵＩ提供装置２０のＵＲＩ５００５は、伝送管理装置５０又はＵＩ提供装置２０の管理者などにより設定されている。
(URI of UI providing device)
Furthermore, the
（録画中管理テーブル）
記憶部５０００には録画中管理テーブル５００６が記憶されている。伝送管理装置５０が保持する録画中管理テーブル５００６には、会議ごとに録画中の伝送端末１０及び情報処理端末４０の通信ＩＤが全て登録されている。
(recording management table)
A recording management table 5006 is stored in the
（伝送管理装置５０の各機能構成）
送受信部５１は、ＣＰＵ２０１及びネットワークＩ／図２８０９等によって構成され、伝送ネットワーク２を介して他の伝送端末１０又は中継装置３０、プログラム提供装置９０と各種データや情報の送受信を行うようになっている。
(Each functional configuration of the transmission management device 50)
The transmitting/receiving
端末認証部５２は、ＣＰＵ１０１等によって構成され、送受信部５１を介して受信されたログイン要求情報に含まれている通信ＩＤ及びパスワードを検索キーとして、端末認証管理ＤＢ５００１を検索する。そして、端末認証管理ＤＢ５００１に同一の通信ＩＤ及びパスワードが管理されているかを判定することによって端末認証を行うようになっている。なお、認証方法はこれに限られず、クライアント証明書（公開鍵と秘密鍵を用いた認証方法）を用いてもよい。
The
状態管理部５３は、ＣＰＵ１０１等によって構成され、ログイン要求してきた要求元端末の稼動状態を管理する。すなわち、端末管理ＤＢ５００２に、要求元端末の通信ＩＤに対して、稼動状態、及びＩＰアドレスを関連付けて記憶して管理するようになっている。
The
また、ユーザが伝送端末１０の電源スイッチ１０９の状態をＯＮからＯＦＦにする。状態管理部５３は、これにより、伝送端末１０から送られてきた、電源をＯＦＦする旨の状態情報に基づいて、端末管理ＤＢ５００２における伝送端末１０の稼動状態をオンラインからオフラインに変更するようになっている。また、状態管理部５３は定期的に（不定期でもよい）伝送端末１０及び情報処理端末４０の死活を監視するための通信を行う。
Also, the user turns the
端末抽出部５４は、ＣＰＵ１０１等によって構成され、ログイン要求した要求元端末の通信ＩＤを検索キーとして、宛先リスト管理ＤＢ５００３を検索し、要求元端末に対する宛先端末の候補の通信ＩＤを抽出するようになっている。
The
また、端末抽出部５４は、ログイン要求してきた要求元端末の通信ＩＤを検索キーとして、宛先リスト管理ＤＢ５００３を検索し、要求元端末の通信ＩＤを宛先端末の候補として登録している他の要求元端末の通信ＩＤも抽出するようになっている。
In addition, the
端末状態取得部５５は、ＣＰＵ１０１等によって構成され、端末抽出部５４によって抽出された宛先端末の候補の通信ＩＤを検索キーとして、端末管理ＤＢ５００２を検索し、検出された通信ＩＤ毎に稼動状態を読み出すようになっている。
The terminal
これにより、端末状態取得部５５は、ログイン要求してきた要求元端末に対する宛先端末の候補の稼動状態を取得することができる。また、端末状態取得部５５は、端末抽出部５４によって抽出された通信ＩＤを検索キーとして、端末管理ＤＢ５００２を検索し、ログイン要求してきた要求元端末の稼動状態も取得するようになっている。
As a result, the terminal
セッション管理部５６は、伝送端末１０と伝送端末１０、伝送端末１０と情報処理端末４０、又は、情報処理端末４０と情報処理端末４０の間でセッションが確立すると、セッション管理テーブルでセッションを管理する。すでにセッションが確立している伝送端末１０又は情報処理端末４０に対し別のセッションが確立した場合、セッション管理部５６は同じ会議ＩＤを付与するので、同じ会議に参加している伝送端末１０及び情報処理端末４０が会議ＩＤで紐付けられる。
When a session is established between the
記憶・読出処理部５９は、ＣＰＵ１０１及びＨＤＤ２０５等によって構成され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出したりするようになっている。
The storage/
<<ＵＩ提供装置の各機能構成>>
ＵＩ提供装置２０は、送受信部８１、サーバ部８２及び記憶・読出処理部８９を有している。これら各部は、ＨＤ２０４からＲＡＭ２０３上に展開されたＵＩ提供装置用プログラム２０００ａを実行するＣＰＵ２０１によって実現される機能である。また、伝送管理装置５０は、ＨＤ２０４により構成される記憶部２０００を有している。記憶部２０００にはレイアウト情報lotが記憶されている。
<<Each functional configuration of the UI providing device>>
The
（ＵＩ提供装置の各機能構成）
送受信部８１は、ＣＰＵ２０１及びネットワークＩ／図２８０９等によって構成され、伝送ネットワーク２を介して伝送端末１０と各種データや情報の送受信を行うようになっている。
(Functional configuration of UI providing device)
The transmitting/receiving
サーバ部８２は、ＣＰＵ１０１等によって構成され、伝送端末１０からレイアウト情報要求信号を取得し、記憶・読出処理部２９が記憶部２０００から読み出したレイアウト情報lotを、送受信部８１を介して伝送端末１０に送信する。
The
記憶・読出処理部８９は、ＣＰＵ１０１等によって構成され、記憶部２０００に各種データを記憶したり、記憶部２０００に記憶された各種データを読み出したりするようになっている。記憶部２０００は、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０５等によって構成され、主にＵＩ提供装置用プログラム２０００ａとレイアウト情報lotを記憶している。
The storage/
<<情報処理端末の機能構成>>
図７は、情報処理端末４０の機能ブロック図の一例である。情報処理端末４０の機能については伝送端末１０との相違を主に説明する。情報処理端末４０の機能は伝送端末１０と同様であるが、情報処理端末４０は画像録画部４１を有する点が伝送端末１０と異なっている。情報処理端末４０が有する各機能は、図４に示したフラッシュメモリ１０４からＲＡＭ１０３上に展開された情報処理端末用プログラム１０００ｃを実行するＣＰＵ１０１によって実現される機能である。また、情報処理端末４０は記憶部１０００に、情報処理端末用プログラム１０００ｃ及び録画データ１０００ｄを記憶している。
<<Functional configuration of information processing terminal>>
FIG. 7 is an example of a functional block diagram of the
画像録画部４１は、ディスプレイ１２０に表示される画像データ及び音声データを録画データ１０００ｄとして記録する。録画データは、表示制御部１７がディスプレイ１２０に表示した全画面表示画面５０１や情報表示画面６０１が録画されたデータである。全画面表示画面５０１や情報表示画面６０１に限らず、ディスプレイ１２０に表示された画面は保存することが可能である。また、音出力部１５ｂがスピーカ１１５から出力した音声データも録音（記録）することが可能である。本実施形態では、画像録画部４１が録画することで音声データも録音されているものとする。一方、画像録画部４１は、画像データのみ又は音声データのみを記録することが可能である。
The
なお、本実施形態では情報処理端末４０が録画する機能を有し、伝送端末１０が録画する機能を有していないが、これは説明のための区別に過ぎず、伝送端末１０が録画する機能を有することも可能である。
In this embodiment, the
また、録画データ１０００ｄを記憶部１０００でなくネットワーク上のＮＡＳ（Network Attached Storage）などに記憶してもよい。
Also, the recorded
＜実施形態の処理又は動作＞
次に、本実施形態に係る伝送システム１の動作について説明する。図８は、伝送端末１０がビデオ会議に参加する準備状態になるまでの準備段階動作を示すシーケンス図である。なお、図８は、伝送端末１０ａａが準備状態になる例が示されている。準備段階動作においては、管理情報用セッションｓｅｉで各種情報が送受信される。また、情報処理端末４０がビデオ会議に参加する処理も伝送端末１０と同様である。
<Processing or operation of the embodiment>
Next, the operation of the
まず、伝送端末１０ａａのユーザが、伝送端末１０ａａの電源スイッチ１０９をＯＮにすると、操作入力受付部１２が電源ＯＮを受け付けて、電源をＯＮにする（ステップＳ２１）。そして、ログイン要求部１３は、電源ＯＮの受け付けを契機とし、伝送端末１０ａａの送受信部１１から伝送ネットワーク２を介して伝送管理装置５０にログイン要求を表すログイン要求情報を送信する（ステップＳ２２）。
First, when the user of the transmission terminal 10aa turns on the
ログイン要求情報には、ログイン要求元の伝送端末１０ａａを識別するための通信ＩＤ及びパスワードが含まれている。これら通信ＩＤ及びパスワードは、記憶・読出処理部１９によって記憶部１０００から読み出される。
The login request information includes a communication ID and a password for identifying the transmission terminal 10aa that requested the login. These communication ID and password are read from the
なお、伝送端末１０ａａから送信されたログイン要求情報が伝送管理装置５０に受信された際には、伝送管理装置５０は、送信側である伝送端末１０ａａのＩＰアドレスを把握することができる。
When the login request information transmitted from the transmission terminal lOaa is received by the
次に、伝送管理装置５０の端末認証部５２は、送受信部５１を介して受信したログイン要求情報に含まれている通信ＩＤ及びパスワードを検索キーとして、記憶部５０００の端末認証管理ＤＢ５００１を検索する。そして、端末認証管理ＤＢ５００１に検索キーと同一の通信ＩＤ及びパスワードが管理されているかを判定することによって端末認証を行う（ステップＳ２３）。
Next, the
ここで、端末認証部５２によって、検索キーと同一の通信ＩＤ及びパスワードが管理されていないと判定された場合、すなわち、正当な利用権限を有する伝送端末１０からのログイン要求でないと判定された場合がある。この場合、送受信部５１は、端末認証部５２によって得られた認証結果を表す認証結果情報をログイン要求してきた伝送端末１０ａａに伝送ネットワーク２を介して送信し、準備段階の動作は終了することとなる。
Here, when the
一方、端末認証部５２によって、検索キーと同一の通信ＩＤ及びパスワードが管理されていると判定された場合、すなわち、正当な利用権限を有する伝送端末１０からのログイン要求であると判定された場合がある。この場合、状態管理部５３は、端末管理ＤＢ５００２に、伝送端末１０ａａの通信ＩＤ、稼動状態、及び伝送端末１０ａａのＩＰアドレスを関連付けて記憶する（ステップＳ２４）。
On the other hand, if the
これにより、端末管理テーブルは、通信ＩＤ「０１ａａ」、稼動状態「オンライン（伝送可能）」、及び伝送端末１０ａａのＩＰアドレス「１．２．１．３」を関連付けて管理することになる。 As a result, the terminal management table associates and manages the communication ID "01aa", the operating state "online (transmittable)", and the IP address "1.2.1.3" of the transmission terminal 10aa.
次に、伝送管理装置５０の送受信部５１は、端末認証部５２によって得られた認証結果を表す認証結果情報をログイン要求してきた伝送端末１０ａａに伝送ネットワーク２を介して送信する（ステップＳ２５）。また、伝送管理装置５０は、認証結果情報と共に又は前後して、ＵＩ提供装置２０のＵＲＩ５００５を伝送端末１０に送信する。これにより、伝送端末１０はＵＩ提供装置２０にアクセスできるようになる。
Next, the transmitting/receiving
このＵＩ提供装置２０のＵＲＩ５００５は伝送ネットワーク２におけるレイアウト情報lotの保存場所を示す。例えば「ＩＰアドレス（又はドメイン名）＋フォルダ名＋ファイル名」のような形式を有するが、ＵＩ提供装置２０にアクセス可能であればよい。
The
ＵＲＩ５００５を各伝送端末１０が保持しないことによって、ＵＩ提供装置２０が置き換えられたり、ＵＲＩが変更になったりしても、伝送管理装置５０の管理者が伝送管理装置５０に記憶しているＵＲＩを変更するだけでよい。すなわち、全ての伝送端末１０に対する変更が必要でなくなるため、管理の負荷を低減できる。
Since each
次に、伝送管理装置５０の端末抽出部５４は、ログイン要求してきた伝送端末１０ａａの通信ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理ＤＢ５００３を検索し、伝送端末１０ａａに対する宛先端末の候補の通信ＩＤを抽出する（ステップＳ２６）。
Next, the
ここでは、伝送端末１０ａａの通信ＩＤ「０１ａａ」に対する宛先端末として通信ＩＤが「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」が抽出されることになる。 Here, the communication IDs "01ab, 01ac, 01ba, 01bb, 01bc, 04bd, 04be, 01ca, 01cb, 01ca, 01da, 01db, 01dc" are extracted as the destination terminals for the communication ID "01aa" of the transmission terminal 10aa. It will be.
次に、伝送管理装置５０の端末状態取得部５５は、端末抽出部５４によって抽出された宛先端末の候補の通信ＩＤ「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」を検索キーとして、端末管理ＤＢ５００２を検索する。そして、端末抽出部５４によって抽出された通信ＩＤ毎に稼動状態「オフライン」、「オンライン（伝送可能）」、「オンライン（伝送中）」「録画会議中」を読み出すことにより、伝送端末１０と情報処理端末４０の各稼動状態を取得する（ステップＳ２７）。
Next, the terminal
次に、伝送管理装置５０の送受信部５１は、ステップＳ２７で使用された検索キーである通信ＩＤ「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」と、各伝送端末１０及び情報処理端末４０の稼動状態「オフライン」、「オンライン（伝送可能）」、「オンライン（伝送中）」「録画会議中」を宛先状態情報に含める。そして、伝送ネットワーク２を介して伝送端末１０ａａに送信する（ステップＳ２８）。
Next, the transmission/
これにより、伝送端末１０ａａは、宛先端末の候補である伝送端末１０ａｂ、１０ａｃ、１０ｂａ、１０ｂｂ、１０ｂｃ、１０ｃａ、１０ｃｂ、１０ｃａ、１０ｄａ、１０ｄｂ、１０ｄｃ、情報処理端末４０ｂｄ、４０ｂｅの現時点のそれぞれの稼動状態「オフライン」、「オンライン（伝送可能）」、「オンライン（伝送中）」「録画会議中」を把握することができる。 As a result, the transmission terminal 10aa determines the current operation status of each of the transmission terminals 10ab, 10ac, 10ba, 10bb, 10bc, 10ca, 10cb, 10ca, 10da, 10db, and 10dc, and the information processing terminals 40bd and 40be, which are destination terminal candidates. The status "offline", "online (transmittable)", "online (transmitting)", and "recorded meeting in progress" can be grasped.
更に、伝送管理装置５０の端末抽出部５４は、ログイン要求してきた伝送端末１０ａａの通信ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理ＤＢ５００３を検索する。そして、伝送端末１０ａａの通信ＩＤ「０１ａａ」を宛先端末の候補として登録している他の伝送端末の通信ＩＤを抽出する（ステップＳ２９）。表４の宛先リスト管理テーブルによれば、「０１ｂａ」、「０１ｃａ」「０４ｂｄ」が抽出される。
Further, the
次に、伝送管理装置５０の状態管理部５３は、ログイン要求して来た伝送端末１０ａａの通信ＩＤ「０１ａａ」を検索キーとして、端末管理ＤＢ５００２を検索する。そして、ログイン要求してきた伝送端末１０ａａの稼動状態「オンライン（伝送可能）」（ログイン直後はオンライン（伝送可能）である）を取得する（ステップＳ３０）。
Next, the
次に、伝送管理装置５０の送受信部５１は、ステップＳ２９で抽出された通信ＩＤ「０１ｂａ」、「０１ｃａ」「０４ｂｄ」で識別されるそれぞれの伝送端末１０ｂａ、１０ｃａ、及び情報処理端末４０ｄｂのうち、端末管理ＤＢ５００２で稼動状態が「オンライン」となっている伝送端末１０ｂａと情報処理端末４０ｂｄを特定する。オンラインでなければ宛先状態情報を受け取れないためである。そして、ステップＳ３０で取得された伝送端末１０ａａの通信ＩＤ「０１ａａ」と稼動状態「オンライン（伝送可能）」とが含まれる宛先状態情報を送信する（ステップＳ３１－１、３１－２）。
Next, the transmission/
伝送端末１０ａａの宛先リスト表示部１６は、ステップＳ２８で受信した宛先状態情報を用いて、宛先リスト画面をディスプレイ１２０ａａに表示させる（Ｓ３２）。宛先リスト画面を図１１に示す。
The destination
なお、伝送端末１０ｂａ、情報処理端末４０ｂｄに宛先状態情報を送信する際には、送受信部５１は、各通信ＩＤ「０１ｂａ」、「０４ｂｄ」に基づいて、端末管理テーブルで管理されている伝送端末のＩＰアドレスを参照する。
When transmitting the destination status information to the transmission terminal 10ba and the information processing terminal 40bd, the transmitting/receiving
これにより、ログイン要求してきた伝送端末１０ａａを宛先として伝送することができる伝送端末１０ｄｂ、情報処理端末４０ｂｄに、ログイン要求してきた伝送端末１０ａａの通信ＩＤ「０１ａａ」及び稼動状態「オンライン（伝送可能）」を伝えることができる。 As a result, the communication ID "01aa" of the transmission terminal 10aa requesting the login and the operating status "online (transmittable)" are sent to the transmission terminal 10db and the information processing terminal 40bd, which can transmit to the transmission terminal 10aa requesting the login. ” can be conveyed.
また、準備段階動作のステップＳ２８が完了した際に、伝送端末１０ａａの表示制御部１７は、ディスプレイ１２０に表示させた宛先リスト画面から、ビデオ会議に参加中の端末をディスプレイ１２０に強調表示させる。すなわち、稼動状態が「オンライン（伝送中）」や「オンライン（伝送可能）」である伝送端末１０ｂａ、情報処理端末４０ｂｄの情報をディスプレイ１２０に強調表示させる等して、ビデオ会議に参加している伝送端末１０又は参加可能な伝送端末１０をユーザに認識させることができる。
Further, when step S28 of the preparatory stage operation is completed, the
図９は、伝送端末１０がビデオ会議に参加する参加状態になるまでの会議参加動作を示すシーケンス図である。なお、図９は、伝送端末１０ａａが情報処理端末４０ｂｄとビデオ会議を行う例が示されている。会議参加動作においては、管理情報用セッションｓｅｉで各種情報が送受信される。
FIG. 9 is a sequence diagram showing the conference participation operation until the
まず、ユーザが操作ボタン１０８を押下して例えば情報処理端末４０ｂｄを選択することでビデオ会議の参加を選択すると、操作入力受付部１２は、情報処理端末４０ｂｄとビデオ会議に参加する旨の要求を受け付ける（ステップＳ４１）。なお、伝送端末１０ａａが情報処理端末４０の場合、操作ボタン１０８の代わりに、情報処理端末４０のハードキーやタッチパネルに表示されたソフトキーの押下により、ビデオ会議を参加する旨の要求を受け付ける。
First, when the user presses the
この要求に応じて、伝送端末１０ａａの送受信部１１は、伝送端末１０ａａの通信ＩＤ「０１ａａ」及び情報処理端末４０ｂｄの通信ＩＤ「０４ｂｄ」が含まれ、ビデオ会議に参加する旨を表す参加要求情報を伝送管理装置５０に送信する（ステップＳ４２）。
In response to this request, the transmitting/receiving
これにより、伝送管理装置５０の送受信部５１は、参加要求情報を受信すると共に、送信元である伝送端末１０ａａのＩＰアドレス「１．２．１．３」を確認することができる。
As a result, the transmission/
次に、伝送管理装置５０の状態管理部５３は、参加要求情報に含まれる伝送端末１０ａａの通信ＩＤ「０１ａａ」を検索キーとする。そして、端末管理ＤＢ５００２を検索し、参加要求してきた伝送端末１０ａａの稼動状態を「オンライン（伝送中）」に設定する（ステップＳ４３）。これにより、表３（ａ）に示すように端末管理テーブルの稼動状態が更新される。
Next, the
次に、伝送管理装置５０の送受信部５１は、伝送ネットワーク２を介して伝送端末１０ａａの通信ＩＤ「０１ａａ」が含まれる開始要求情報を情報処理端末４０ｂｄに送信する（ステップＳ４４）。これにより、情報処理端末４０ｂｄは、どの伝送端末１０からビデオ会議に参加したいとの要求があったのかを把握することができる。
Next, the transmission/
次に、情報処理端末４０ｂｄは、送受信部１１から伝送ネットワーク２を介して伝送管理装置５０に開始要求情報の受信が完了した旨を示す受信完了情報を送信する（ステップＳ４５）。セッション管理部５６は、要求元である伝送端末１０ａａと宛先端末である情報処理端末４０ｂｄとの間のセッションに重複しないセッションＩＤを付与する（採番する）。また、重複しない会議ＩＤを採番してセッション管理テーブルにセッションＩＤ、中継装置ＩＤ、要求元通信ＩＤ、宛先通信ＩＤ及び会議ＩＤを登録する。
Next, the information processing terminal 40bd transmits reception completion information indicating completion of reception of the start request information from the transmission/
次に、伝送管理装置５０の送受信部５１は、伝送ネットワーク２を介して中継装置３０に中継を開始する旨の要求を表す中継開始要求情報を送信する（ステップＳ４６）。中継開始要求情報には、伝送端末１０ａａ及び情報処理端末４０ｂｄの各ＩＰアドレス「１．２．１．３」、「１．３．１．３」、セッションＩＤ及び会議ＩＤが含まれている。
Next, the transmission/
これにより、中継装置３０は、伝送端末１０ａａ、情報処理端末４０ｂｄの間で、低解像度、中解像度及び高解像度の３つ画像データ、並びに、音声データを伝送するためのセッションを確立する（ステップＳ４７）。このように、伝送端末１０ａａは、情報処理端末４０ｂｄとのビデオ会議に参加することができるようになる。
As a result, the
また、図９と同様の処理により同じセッションで通信する伝送端末１０又は情報処理端末４０に対する開始要求が伝送管理装置５０に送信された場合、伝送管理装置５０のセッション管理部５６はセッションを開始している伝送端末１０及び情報処理端末４０の会議ＩＤを付与する。従って、セッションＩＤが変わっても同じ会議に参加する伝送端末１０又は情報処理端末４０には同じ会議ＩＤが付与される。中継装置３０は同じ会議ＩＤに対応付けられた伝送端末１０又は情報処理端末４０に対し画像データ及び音声データを転送する。
Further, when a start request to the
一方で、伝送管理装置５０の送受信部５１は、伝送端末１０ａａの通信ＩＤ「０１ａａ」と稼動状態「オンライン（伝送中）」とが含まれる端末状態変更情報（稼動状態の変更情報）を、端末管理ＤＢ５００２に登録されている各伝送端末１０に送信する（ステップＳ４８）。これにより、端末状態変更情報を受信した各伝送端末は、必要に応じて、通信ＩＤ「０１ａａ」の伝送端末１０ａａの稼動状態を記憶及び表示することができる。
On the other hand, the transmitting/receiving
セッションが確立することで、伝送端末１０ａａは、情報処理端末４０ｂｄから送信された画像データを表示し音声データを出力できる。情報処理端末４０ｂｄは、伝送端末１０ａａから送信された画像データを表示し音声データを出力できる。ビデオ会議に参加している伝送端末１０が３つ以上であっても画像データ及び音声データは、２台の場合と同様に伝送される。あるいは、２台の場合には中継装置３０を介さず、３台以上の場合に中継装置３０を介する通信プロトコルで画像データ及び音声データが伝送されてもよい。
By establishing a session, the transmission terminal 10aa can display the image data transmitted from the information processing terminal 40bd and output the audio data. The information processing terminal 40bd can display the image data transmitted from the transmission terminal 10aa and output the audio data. Even if the number of
＜録画に関する動作＞
図１０を用いて情報処理端末４０が録画を行った場合の動作について説明する。図１０は、情報処理端末４０ｂｄが録画を開始したり終了したりした場合の動作を示すシーケンス図の一例である。
<Operations related to recording>
The operation when the
S1：ビデオ会議中の情報処理端末４０ｂｄのユーザ（会議の参加者）が画像データの録画を行う操作を行う。情報処理端末４０ｂｄの操作入力受付部１２はこの操作を受け付ける。まず、情報処理端末４０ｂｄの送受信部１１は情報処理端末４０ｂｄの通信ＩＤ（０４ｂｄ）と共に録画開始通知を伝送管理装置５０に送信する。
S1: A user (conference participant) of the information processing terminal 40bd during the videoconference performs an operation for recording image data. The operation
S2：伝送管理装置５０の送受信部５１は録画開始通知を受信する。これにより、状態管理部５３は端末管理テーブルの情報処理端末４０ｂｄの通信ＩＤ（０４ｂｄ）に対応付けられている稼動状態を「録画会議中」に設定する。
S2: The transmission/
また、状態管理部５３は、情報処理端末４０ｂｄとビデオ会議を行っている全ての伝送端末１０及び情報処理端末４０の稼動状態を「録画会議中」に設定する。これは、同じ会議に参加する全ての伝送端末１０及び情報処理端末４０の参加者や資料などが録画されるおそれがあり、これから伝送端末１０ａａと情報処理端末４０ｂｄのビデオ会議に参加する伝送端末１０及び情報処理端末４０の参加者に、画像データや音声データが録画されている会議に宛先端末が参加中であることを知らせるためである。
In addition, the
情報処理端末４０ｂｄとビデオ会議を行っている伝送端末１０及び情報処理端末４０は、セッション管理テーブルに登録されている。端末抽出部５４は、セッション管理テーブルにおいて情報処理端末４０ｂｄの通信ＩＤ（０４ｂｄ）に対応付けられている会議ＩＤを抽出し、更にこの会議ＩＤに対応付けられている通信ＩＤを全て取得する。表５のセッション管理テーブルでは、情報処理端末４０ｂｄと同じ会議に参加しているのは、通信ＩＤが０１ａａの伝送端末１０ａａ、１０ｂａである。従って、状態管理部５３は、情報処理端末４０ｂｄ、伝送端末１０ａａ、１０ｂａの稼動状態を「録画会議中」に設定する。
The
なお、状態管理部５３は録画中管理テーブル５００６に情報処理端末４０ｂｄの通信ＩＤ（０４ｂｄ）を登録しておく。伝送端末１０ａａ、１０ｂａの通信ＩＤは登録しなくてよい（録画していないため）。
The
S3：伝送管理装置５０の送受信部５１は、情報処理端末４０ｂｄとビデオ会議を行っている伝送端末１０及び情報処理端末４０に録画開始通知を送信する。情報処理端末４０ｂｄとビデオ会議を行っている伝送端末１０及び情報処理端末４０の判定方法はステップＳ２と同様である。情報処理端末４０ｂｄ、伝送端末１０ａａ、１０ｂａが特定されるが、図１０では伝送端末１０ｂａが省略されているため、伝送管理装置５０の送受信部５１はこの伝送端末１０ａａに録画開始通知を送信する。
S3: The transmitting/receiving
S4：伝送端末１０ａａの送受信部１１は録画開始通知を受信して、表示制御部１７が録画通知表示を行う。詳細は図１７にて説明する。
S4: The transmission/
S5：情報処理端末４０ｂｄの画像録画部４１は、操作入力受付部１２が録画開始の操作を受け付けることで、画像データと音声データの記録を開始する。
S5: The
S6：続いて、情報処理端末４０ｂｄのユーザ（会議の参加者）が画像データの録画を終了する操作を行う。情報処理端末４０ｂｄの操作入力受付部１２はこの操作を受け付ける。なお、情報処理端末４０ｂｄの画像録画部４１は、操作入力受付部１２が録画終了の操作を受け付けることで、画像データと音声データの記録を終了する。
S6: Subsequently, the user of the information processing terminal 40bd (participant in the conference) performs an operation to finish recording the image data. The operation
S7：情報処理端末４０ｂｄの送受信部１１は情報処理端末４０ｂｄの通信ＩＤ（０４ｂｄ）と共に録画終了通知（記録終了通知の一例）を伝送管理装置５０に送信する。
S7: The transmitting/receiving
S8：伝送管理装置５０の送受信部５１は録画終了通知を受信する。状態管理部５３は録画中管理テーブル５００６から情報処理端末４０ｂｄの通信ＩＤ（０４ｂｄ）を削除する。そして、録画中管理テーブル５００６に１つも通信ＩＤがない場合、端末管理テーブルの「録画会議中」を「オンライン（伝送中）」に設定する。こうすることで、１つでも録画中の伝送端末１０又は情報処理端末４０が残っている場合、会議に参加している全ての伝送端末１０又は情報処理端末４０の稼動状態を「録画会議中」にしたままにできる。
S8: The transmission/
S9：伝送管理装置５０の送受信部５１は、情報処理端末４０ｂｄとビデオ会議を行っている伝送端末１０及び情報処理端末４０に録画終了通知を送信する。従って、録画終了通知は伝送端末１０ａａに送信される（図１０では伝送端末１０ｂａが省略されている）。
S9: The transmitting/receiving
S10：伝送端末１０ａａの送受信部１１は録画終了通知を受信して、表示制御部１７が録画通知を非表示にする。詳細は図１７にて説明する。
S10: The transmission/
なお、ユーザが録画を終了する操作をした場合に録画終了通知が送信されるが、この他、録画を終了する間接的な操作（例えば、情報処理端末４０ｂｄの電源がＯＦＦにされる）が行われた場合に録画終了通知が送信されてもよい。 Note that the recording end notification is transmitted when the user performs an operation to end recording, but in addition, an indirect operation to end recording (for example, the power of the information processing terminal 40bd is turned off) is performed. A recording end notification may be sent when the recording is terminated.
また、伝送管理装置５０を介することなく、情報処理端末４０ｂｄが伝送端末１０ａａに直接、録画開始通知及び録画終了通知を送信してもよい。また、録画開始通知は録画の開始時に通知されるが、録画開始後の録画開始中に録画中通知のような通知が定期的又は不定期に通知されてもよい。
Alternatively, the information processing terminal 40bd may directly transmit the recording start notification and the recording end notification to the transmission terminal 10aa without going through the
＜表示例＞
伝送端末１０がディスプレイ１２０に表示する画面について説明する。
<Display example>
A screen displayed on the
<<宛先リスト画面>>
図１１は、図８のステップＳ３２で表示される宛先リスト画面の一例を示す。宛先リスト画面には、ステップＳ２８で送信された宛先状態情報に基づき稼動状態と端末名が表示される。ここでは説明の便宜上、表３（ｂ）の端末管理テーブルに基づいて伝送端末１０ａａが表示する宛先リスト画面を説明する。なお、図８のステップＳ２８では伝送端末１０ａａがこれからビデオ会議に参加するため表３（ｂ）の端末管理テーブルは処理内容と整合しない。図１１は端末管理テーブルに基づいて宛先リスト画面が作成されることを説明するための図である。
<<Address list screen>>
FIG. 11 shows an example of the destination list screen displayed in step S32 of FIG. The operating status and terminal name are displayed on the destination list screen based on the destination status information transmitted in step S28. Here, for convenience of explanation, the destination list screen displayed by the transmission terminal 10aa will be explained based on the terminal management table of Table 3(b). Incidentally, in step S28 of FIG. 8, the terminal management table of Table 3(b) does not match the processing contents because the transmission terminal 10aa is about to participate in the video conference. FIG. 11 is a diagram for explaining how the destination list screen is created based on the terminal management table.
宛先リスト管理テーブルで伝送端末１０ａａの宛先端末の通信ＩＤは「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」である。このうち、録画会議中なのは通信ＩＤが04bdの情報処理端末４０ｂｄ、通信ＩＤが０１ｂａの伝送端末１０ｂａなので、宛先リスト表示部１６は通信ＩＤが04bdと01baの稼動状態に録画拠点マーク７１を表示する。その他の伝送端末１０及び情報処理端末４０はオフラインなので、宛先リスト表示部１６は稼動状態にオフラインマークを表示する。
In the destination list management table, the communication IDs of the destination terminals of the transmission terminal 10aa are "01ab, 01ac, 01ba, 01bb, 01bc, 04bd, 04be, 01ca, 01cb, 01ca, 01da, 01db, 01dc". Since the information processing terminal 40bd with the communication ID of 04bd and the transmission terminal 10ba with the communication ID of 01ba are in the recording conference among these, the destination
このように、宛先候補の１つ１つが稼動状態（録画拠点マーク７１）を表示するので、これから参加しようとするユーザはビデオ会議に参加することで、自分や自分の資料が録画されてしまうことを把握できる。その結果、参加しないなどの判断が可能になる。 In this way, since the operation status (recording base mark 71) is displayed for each of the destination candidates, a user who is about to participate in the video conference will not have himself/herself or his/her materials recorded. can be grasped. As a result, it becomes possible to decide whether or not to participate.
図１２は、ユーザが録画拠点マーク７１の宛先を選択した場合に表示される確認ダイアログ画面５１０を説明する図の一例である。録画拠点マーク７１が表示された宛先をユーザが選択すると、操作入力受付部１２が選択を受け付ける。録画拠点マーク７１が表示されている宛先が選択されると、宛先リスト表示部１６は確認ダイアログ画面５１０を表示させる。
FIG. 12 is an example of a diagram for explaining a
確認ダイアログ画面５１０には、「録画実行中の会議に参加します。よろしいでしょうか？」というメッセージ５１１、ＯＫボタン５１２及びキャンセルボタン５１３が表示される。ユーザがＯＫボタン５１２を押下すると、図９のステップＳ４１の開始要求情報が送信され、ユーザがキャンセルボタン５１３を押下すると、開始要求情報が送信されない。従って、ユーザは事前に確認してから録画中のビデオ会議に参加することができる。
On the
<<会議中の画面>>
本実施形態において、表示制御部１７は、全画面表示モードと情報表示モードとの２つの表示モードを有する。
<<Meeting screen>>
In this embodiment, the
図１３は全画面表示モードでディスプレイ１２０に表示された画面例を示す図である。この画面を全画面表示画面５０１という。全画面表示モードは、図９のステップＳ４７でセッションが確立し、画像データと音声データの送信又は受信が開始されることで表示される。すなわち、２つの表示モードのうち、ビデオ会議の間、主に使用される表示モードである。
FIG. 13 is a diagram showing a screen example displayed on the
全画面表示モードにおいて、伝送端末１０の表示制御部１７は、ビデオ会議に参加している各伝送端末１０から送信された全ての画像をディスプレイ１２０に表示させる。全ての画像を表示することで１つの画像領域が小さくなってしまう場合、予め定められた上限値（最大値）の画像が表示される。
In the full-screen display mode, the
図１３に示す全画面表示画面５０１には、比較的広い１つの第１画像領域５０２と、比較的狭い複数の第２画像領域５０３とが割り当てられている。例えば、各第２画像領域５０３には、ビデオ会議に参加している各伝送端末１０から送信された画像データが表す画像が表示され、第１画像領域５０２には、ビデオ会議に参加している伝送端末１０及び情報処理端末４０の中から主要な伝送端末１０又は情報処理端末４０の画像データが表す画像が表示される。
A single relatively wide
表示制御部１７は、例えば、ビデオ会議に参加している伝送端末１０のなかで、受信した音声データの中で発話がある伝送端末を主要な端末として特定する。また、発話がある伝送端末１０が、音量が大きい順にソートされる。表示制御部１７はこの順に第１画像領域５０２に画像を割り当てて表示する。
For example, among the
なお、図１３に示す全画面表示画面５０１は一例に過ぎず、全画面表示モードでは、複数の全ての画像領域を同じサイズにして各画像を表示することや、上記の主要な端末の画像のみをディスプレイ１２０の全体に表示することなどが可能である。
Note that the full-
そして、全画面表示画面５０１は、補助領域１７３を有する。補助領域表示部１８ａは、全画面表示モードでは補助領域１７３を表示することができる。図１３では、補助領域１７３は、全画面表示画面５０１の上部の帯状の余白部分であるが、右端、左端、下部の帯状の余白部分などでもよいし、画像と重複して表示されてもよい。
The full
補助領域１７３は、第１領域ar1～第６領域ar6に区分されている。
第１領域ar1…自端末の通信ＩＤが表示される。この伝送端末１０と同じビデオ会議に参加しようとする伝送端末１０のユーザは、この通信ＩＤを問い合わせ操作している伝送端末１０に入力又は選択することでビデオ会議に参加できる。
第２領域ar2…拠点数が表示される。
第３領域ar3…セッションが確立してからの会議時間が表示される。
第４領域ar4…任意の情報が表示される。
第５領域ar5…ネットワーク帯域情報（上り・下りそれぞれの通信速度）が表示される。
第６領域ar6…カーソルボタンが表示される。カーソルボタン１７３６は上の三角ボタン１７３６ｕと下の三角ボタン１７３６ｄを有しているが、上の三角ボタン１７３６ｕは黒色で下の三角ボタン１７３６ｄは白抜きである。上の三角ボタン１７３６ｕは操作可能であることを示しており、下の三角ボタン１７３６ｄは操作できないことを示している。上の三角ボタン１７３６ｕが操作されると、後述する簡易表示の補助領域１７３が表示される。
The
First area ar1: The communication ID of the own terminal is displayed. A user of the
Second area ar2: The number of bases is displayed.
3rd area ar3 -- The conference time since the session was established is displayed.
Fourth area ar4 -- arbitrary information is displayed.
Fifth area ar5: Network band information (uplink/downlink communication speed) is displayed.
Sixth area ar6 -- cursor buttons are displayed. The
なお、補助領域１７３は半透明で表示されることが好ましい。これにより、拠点間で送受信される画像データに補助領域１７３が重なっても視認性を維持しやすい。
It should be noted that the
ここで、第６領域ar6のカーソルボタン１７３６は、簡易表示の補助領域１７３への切り替えが可能であることをユーザに知らせるアイコンとなっている。以下、図１３の補助領域を「標準の補助領域」と称して後述する「簡易表示の補助領域」と区別する。
Here, the
カーソルボタン１７３６は、いくつかある操作ボタン１０８のうち２つと対応している。対応している操作ボタン１０８は上下に揺動可能であることが好ましく、操作ボタン１０８の上方向の操作と上の三角ボタン１７３６ｕが、操作ボタン１０８の下方向の操作と下の三角ボタン１７３６ｄがそれぞれ対応している。
また、補助領域表示部１８ａは、録画開始通知を受信すると、補助領域１７３を拡張して録画通知情報８０を表示する。録画通知情報８０も半透明で表示されることが好ましい。図１３では補助領域１７３の右下部分が拡張され、録画通知情報８０に他拠点録画マーク７２が表示されている。また、他拠点録画マーク７２の右に「他拠点録画中」という文字が記載されたラベル７３が表示される。他拠点録画マーク７２とラベル７３は少なくとも一方が表示されればよい。参加者は他拠点録画マーク７２又はラベル７３により、他の拠点で画像データが録画されていることを把握できる。図１０の処理から明らかなように、参加拠点のうち１拠点以上が録画している場合、補助領域表示部１８ａは録画通知情報８０を表示する。
Further, when receiving the recording start notification, the auxiliary
なお、図示された他拠点録画マーク７２は赤又はオレンジの円形であるが、他拠点録画マーク７２の外観（色、形、サイズなど）は、例えば、三角や四角などの多角形でもよいし、色も青やグリーンなどでもよい。また、サイズも図示するより小さくても大きくてもよい。また、録画通知情報８０の場所も、右下部分の他、左下部分、右上部分、左上部分、又は、補助領域１７３の中央部の上側や下側などでもよい。また、補助領域１７３にスペースがある場合、該スペースに他拠点録画マーク７２又はラベル７３の少なくとも一方が配置されてよい。
Although the illustrated other-
図１４は、簡易表示の補助領域１７３の一例を示す図である。図１４では、図１３と拠点数は同じだが、第１領域ar1～第６領域ar6の伝送状態の情報が簡易的に表示されている。簡易表示の補助領域１７３では、各領域に何が表示されているかの情報が表示されず、主に、第１領域ar1には通信ＩＤの値のみが、第２領域ar2には拠点数のみが、第３領域ar3には時刻のみが、第５領域ar5には帯域のみが表示される。
FIG. 14 is a diagram showing an example of the
第６領域ar6のカーソルボタン１７３６は、標準の補助領域１７３と表示形態が変わっている。簡易表示の補助領域１７３では、上の三角ボタン１７３６ｕも下の三角ボタン１７３６ｄも黒色である。ユーザは、上の三角ボタン１７３６ｕに対応する操作ボタン１０８も、下の三角ボタン１７３６ｄに対応する操作ボタン１０８も操作できる。
The
カーソルボタン１７３６の操作により補助領域１７３の表示は以下のように制御される。
下の三角ボタン：標準の補助領域１７３へ切り替える。
上の三角ボタン：簡易表示の補助領域１７３を表示しない（標準の補助領域１７３も表示しない）。
By operating the
Lower triangular button: Switch to standard
Upper triangular button: Does not display the simple display auxiliary area 173 (does not display the standard
簡易表示の補助領域１７３では、標準の補助領域１７３よりもディスプレイ１２０を占める面積が少なくなるので、補助領域１７３に伝送状態の情報を表示しながら、画像データの視認性をよくすることができる。
The simplified display
なお、簡易表示の補助領域１７３も、標準の補助領域１７３と同様に半透明で表示されることが好ましい。
It should be noted that the simplified display
簡易表示の補助領域１７３において他拠点録画マーク７２又はラベル７３の表示態様は、標準の補助領域１７３と変わらない。一方、他拠点録画マーク７２又はラベル７３のいずれか一方を非表示にするなど、補助領域表示部１８ａが表示態様を変更してもよい。このように、標準の補助領域１７３と簡易表示の補助領域１７３で常に録画通知情報８０が表示されるので、参加者はリアルタイムに録画状況を把握できる。
The display mode of the other
図１５は、補助領域１７３が表示されない場合の他拠点録画マーク７２及びラベル７３の表示例を示す図である。補助領域１７３が表示されない場合でも補助領域表示部１８ａは録画通知情報８０を表示する。すなわち、他拠点が録画中かどうかは重要な情報なので、補助領域表示部１８ａは補助領域１７３が表示されなくても録画通知情報８０を常に表示する。従って、参加者はリアルタイムに録画状況を把握できる。
FIG. 15 is a diagram showing a display example of the other
図１６は、参加拠点のうち録画している拠点がない場合の全画面表示画面５０１の一例を示す。なお、図１６では標準の補助領域１７３が表示されている場合を説明する。図１６に示すように、録画している拠点がなくなると、補助領域表示部１８ａは録画通知情報８０を非表示にする（消去する）。従って、参加者は録画している拠点がないことをリアルタイムに把握できる。なお、簡易表示の補助領域１７３の場合も同様であり録画通知情報８０が表示されない。補助領域１７３が表示されない場合も、録画通知情報８０が表示されない。
FIG. 16 shows an example of the full-
<<会議中の録画通知情報の表示制御>>
図１７は、会議中の伝送端末１０ａａが録画通知情報８０の表示を制御する手順を示すフローチャート図の一例である。全画面表示画面５０１では常に録画通知情報８０が表示されるので、図１７の手順では補助領域は表示されていてもされていなくてもよい。
<<Display control of recording notification information during a meeting>>
FIG. 17 is an example of a flowchart showing a procedure for controlling the display of the
まず、補助領域表示部１８ａは、録画開始通知又は録画終了通知を受信したか否かを判定する（Ｓ１０）。
First, the auxiliary
録画開始通知を受信した場合、補助領域表示部１８ａは録画中管理テーブル１０００ｂに、録画開始通知と共に送信された通信ＩＤを追加する（Ｓ２０）。従って、録画中管理テーブル１０００ｂには、録画中の伝送端末１０及び情報処理端末４０の全ての通信ＩＤが記録されている。
When receiving the recording start notification, the auxiliary
補助領域表示部１８ａは、すでに録画通知情報８０を表示しているか否かを判定する（Ｓ３０）。すでに録画通知情報８０を表示している場合とは、ビデオ会議に参加中の伝送端末１０又は情報処理端末４０が録画開始通知を送信した後に、別の伝送端末１０又は情報処理端末４０が録画開始通知を送信した場合である。
The auxiliary
ステップＳ３０の判定がＹｅｓの場合、すでに録画通知情報８０を表示中なので図１７の処理は終了する。
If the determination in step S30 is Yes, the
ステップＳ３０の判定がＮｏの場合、補助領域表示部１８ａは録画通知情報８０を表示する（Ｓ４０）。
If the determination in step S30 is No, the auxiliary
ステップＳ１０で録画終了通知を受信した場合、補助領域表示部１８ａは録画開始通知と共に送信された通信ＩＤを録画中管理テーブル１０００ｂから削除する（Ｓ５０）。従って、録画中管理テーブル１０００ｂには、録画を継続している伝送端末１０及び情報処理端末４０の通信ＩＤのみが記録されている。
When the recording end notification is received in step S10, the auxiliary
補助領域表示部１８ａは、録画中管理テーブル１０００ｂが１つも通信ＩＤが登録されていないかどうかを判定する（Ｓ６０）。
The auxiliary
ステップＳ６０の判定がＮｏの場合、録画を継続している伝送端末１０及び情報処理端末４０がいるので録画通知情報８０を非表示にする必要が無く、図１７の処理は終了する。
If the determination in step S60 is No, there is a
ステップＳ６０の判定がＹｅｓの場合、録画を継続している伝送端末１０及び情報処理端末４０がいないので、補助領域表示部１８ａは録画通知情報８０を非表示にする（Ｓ７０）。
If the determination in step S60 is Yes, there is no
このような手順により、録画を開始した伝送端末１０及び情報処理端末４０がいればリアルタイムに録画通知情報８０を表示し、録画を継続している伝送端末１０及び情報処理端末４０がいなくなると録画通知情報８０を非表示にできる。また、録画中管理テーブル１０００ｂに１つでも通信ＩＤが記憶されている場合、常に録画通知情報８０を表示できる。
With such a procedure, if there is a
<<ネットワークの切断が発生した場合>>
会議中にネットワークの帯域低下などによりセッションが途切れる場合がある。あるいは、参加者が誤って通信のために必要なケーブルを抜いてしまう場合もある。セッションが途切れた伝送端末１０又は情報処理端末４０が録画中である場合、他の拠点の伝送端末１０又は情報処理端末４０が録画通知情報８０を表示したままになってしまう。このため、録画終了情報が送信されなくてもセッションが途切れた伝送端末１０又は情報処理端末４０を伝送管理装置５０が検出して他の拠点の伝送端末１０又は情報処理端末４０に通知することが好ましい。
<<In case of network disconnection>>
A session may be interrupted due to a drop in network bandwidth during a meeting. Alternatively, a participant may accidentally unplug a cable needed for communication. When the
図１８は、セッションが途切れたことを伝送管理装置５０が検出した場合の伝送システム１の動作手順を示すシーケンス図の一例である。なお、図１８のステップＳ１～Ｓ５までの処理は図１０と同様である。
FIG. 18 is an example of a sequence diagram showing the operation procedure of the
S6：伝送管理装置５０のセッション管理部５６は、セッションを確立した伝送端末１０及び情報処理端末４０の死活を定期的に監視する。すなわち、セッション管理テーブルに登録されている通信ＩＤの伝送端末１０及び情報処理端末４０に対しＰｉｎｇ応答などを要求する。
S6: The
S7：何らかの原因で情報処理端末４０と伝送管理装置５０の間の通信が切断されると、セッション管理部５６はセッションが途切れたことを検知できる。
S7: When communication between the
S8：セッションが途切れたことをセッション管理部５６が検知すると、状態管理部５３はセッションが途切れた情報処理端末４０ｂｄの通信ＩＤの稼動状態をオフラインに変更する。なお、状態管理部５３は録画中管理テーブル５００６から情報処理端末４０ｂｄの通信ＩＤを削除し、録画終了通知を受信した場合と同様に端末管理テーブルの稼動状態を更新する。
S8: When the
S9：また、伝送管理装置５０の送受信部５１は、会議中の伝送端末１０及び情報処理端末４０に対し参加拠点の稼動状態変更情報を送信する。端末状態変更情報には情報処理端末４０ｂｄの通信ＩＤと稼動状態が含まれる。
S9: Further, the transmitting/receiving
S10：伝送端末１０ａａの送受信部１１は端末状態変更情報を受信し、録画通知情報８０の表示制御を行う。すなわち、セッションが途切れた情報処理端末４０ｂｄ以外に録画中管理テーブル１０００ｂに伝送端末１０及び情報処理端末４０の通信ＩＤが登録されていない場合、録画通知情報８０を非表示にする。
S10: The transmission/
図１９を用いて図１８のステップＳ１０の処理を説明する。図１９は、伝送端末１０ａａが端末状態変更情報を受信した場合の処理を説明するフローチャート図の一例である。図１９の処理はビデオ会議中、繰り返し実行されている。 The process of step S10 in FIG. 18 will be described with reference to FIG. FIG. 19 is an example of a flowchart illustrating processing when the transmission terminal 10aa receives terminal state change information. The process of FIG. 19 is repeatedly executed during the video conference.
伝送端末１０ａａの送受信部１１は伝送管理装置５０から端末状態変更情報を受信したか否かを判定する（Ｓ１０）。
The transmitting/receiving
ステップＳ１０の判定がＹｅｓの場合、伝送端末１０ａａの補助領域表示部１８ａは退室した（オフライン）になった伝送端末１０及び情報処理端末４０を確認する（Ｓ２０）。すなわち、伝送端末１０ａａは宛先状態情報や端末状態変更情報を受信しているので、最後に受信した宛先状態情報や端末状態変更情報の各伝送端末１０又は情報処理端末４０の稼動状態を参照し、ステップＳ１０で受信した端末状態変更情報と比較する。比較により、稼動状態が「録画会議中」から「オフライン」になった各伝送端末１０又は情報処理端末４０の通信ＩＤを特定する。
If the determination in step S10 is Yes, the auxiliary
そして、補助領域表示部１８ａは、特定した通信ＩＤが録画拠点ＩＤテーブルに存在するかどうかを判定する（Ｓ３０）。
Then, the auxiliary
通信ＩＤが録画拠点ＩＤテーブルに存在しない場合（Ｓ３０のＮｏ）、セッションが途切れた情報処理端末４０ｂｄは録画していなかったので、図１９の処理は終了する。 If the communication ID does not exist in the recording site ID table (No in S30), the information processing terminal 40bd whose session was interrupted was not recording, and the process of FIG. 19 ends.
通信ＩＤが録画拠点ＩＤテーブルに存在した場合（Ｓ３０のＹｅｓ）、セッションが途切れた情報処理端末４０ｂｄは録画していたので、補助領域表示部１８ａは端末状態変更情報に含まれる通信ＩＤを録画中管理テーブル１０００ｂから削除する（Ｓ４０）。
If the communication ID exists in the recording site ID table (Yes in S30), the information processing terminal 40bd whose session was interrupted was recording, so the auxiliary
補助領域表示部１８ａは、録画中管理テーブル１０００ｂが１つも通信ＩＤが登録されていないかどうかを判定する（Ｓ５０）。
The auxiliary
ステップＳ５０の判定がＮｏの場合、録画を継続している伝送端末１０及び情報処理端末４０がいるので録画通知情報８０を非表示にする必要が無く、図１９の処理は終了する。
If the determination in step S50 is No, there is the
ステップＳ５０の判定がＹｅｓの場合、録画を継続している伝送端末１０及び情報処理端末４０がいないので、補助領域表示部１８ａは録画通知情報８０を非表示にする（Ｓ７０）。
If the determination in step S50 is Yes, there is no
このような手順により、参加拠点に変更があっても、伝送端末１０ａａは録画通知情報８０をリアルタイムに更新できる。
With this procedure, the transmission terminal 10aa can update the
＜情報表示画面における録画通知情報＞
情報表示画面６０１に表示される録画拠点マーク７１について説明する。ユーザが、例えば、操作ボタン１０８を操作することで、２つの表示モードを交互に切り替えることができる。なお、伝送端末１０が情報処理端末４０の場合、操作ボタン１０８の代わりに、情報処理端末４０のハードキーやタッチパネルに表示されたソフトキーの押下により、２つの表示モードを交互に切り替えることができる。
<Recording notification information on the information display screen>
The
図２０は、情報表示モードでディスプレイ１２０に表示された情報表示画面６０１の一例を示す図である。図２０は伝送端末１０ａａが表示した情報表示画面６０１である。図２０に示すように、情報表示モードにおいて、伝送端末１０の拠点リスト表示部１８ｂは、ビデオ会議に参加している各伝送端末１０の連番６１４、端末名６１５及び通信ＩＤ６１６を含む端末情報をディスプレイ１２０に表示させる。連番６１４は参加順などで各端末に割り当てられる番号であり、連番６１４の最も大きい数字が参加している拠点の拠点数（端末数）を表す。
FIG. 20 is a diagram showing an example of an
また、情報処理端末４０ｂｄには録画拠点マーク７１が表示されている。拠点リスト表示部１８ｂは後述するように稼動状態が録画会議中の伝送端末１０及び情報処理端末４０の連番の前に録画拠点マーク７１を表示する。録画拠点マーク７１の表示態様は、他拠点録画マーク７２と同様に図示したものには限られない。
A
図２０に示す情報表示画面６０１には、画像を表示するための画像表示領域５２０と、端末情報を表示するための端末情報表示領域５３０とが割り当てられている。例えば、端末情報表示領域５３０には、ビデオ会議に参加している伝送端末１０の端末情報がリスト表示されている。
An
なお、リスト表示されている端末情報のなかで端末名が表示されていないものは、宛先リスト管理ＤＢ５００３において、自端末の宛先端末の候補として登録されていない伝送端末１０を表している。例えば、通信ＩＤが０１ｄｂの伝送端末１０ｄｂは、表３に示すように伝送端末１０ａａの宛先端末の候補として宛先リスト管理ＤＢ５００３に登録されているため端末名が表示されている。通信ＩＤが０１ｃｄの伝送端末１０ｃｄは、伝送端末１０ａａの宛先端末の候補として宛先リスト管理ＤＢ５００３に登録されていないため端末名が表示されていない。
Among the terminal information displayed in the list, those whose terminal names are not displayed represent
画像表示領域５２０には、ビデオ会議に参加している伝送端末１０の中から主要な伝送端末の画像データが表す画像が表示される。例えば、音声データの音量が最も大きい伝送端末１０又は情報処理端末４０の画像データが表示される。
In the
また、図２０に示すように、会議に参加している拠点が１画面に収まらない場合はスクロールバー６１３が表示される。ユーザは操作ボタン１０８を操作することで情報表示画面６０１の画面外に隠れていた拠点の情報を表示させることができる。これにより、画面外に隠れていた拠点が録画中の場合は録画拠点マーク７１が表示され、参加者が録画している伝送端末１０又は情報処理端末４０を特定できる。
Also, as shown in FIG. 20, a
（情報表示画面６０１の表示手順）
図２１は、伝送端末１０ａａが情報表示モードに切り替えられた際に、端末情報表示領域５３０に端末情報を表示させる端末情報表示動作を示したシーケンス図である。なお、図２１に示す端末情報表示動作においては、管理情報用セッションｓｅｉで各種情報が送受信される。
(Display Procedure of Information Display Screen 601)
FIG. 21 is a sequence diagram showing a terminal information display operation for displaying terminal information in the terminal
まず、伝送端末１０ａａは、ビデオ会議に参加している伝送端末及び情報処理端末４０の端末情報の要求を表す端末情報要求信号を伝送管理装置５０に送信する（ステップＳ７０）。すなわち、ユーザが操作ボタン１０８を操作して全画面表示モードを情報表示モードに切り替えると、操作入力受付部１２がこの操作受け付けて端末情報要求信号が伝送管理装置５０に送信される。
First, the transmission terminal 10aa transmits a terminal information request signal representing a request for terminal information of the transmission terminals participating in the video conference and the
端末情報要求信号を受信した伝送管理装置５０の端末状態取得部５５は、端末情報要求信号の送信元のＩＰアドレスを検索キーとして、記憶部５０００の端末管理ＤＢ５００２を検索し、端末情報要求信号を送信した伝送端末１０ａａの通信ＩＤを取得する（ステップＳ７１）。なお、伝送端末１０ａａが通信ＩＤを送信してよい。
Terminal
次に、端末状態取得部５５は、セッション管理テーブルを参照し伝送端末１０ａａと同じ会議に参加している伝送端末１０及び情報処理端末４０の通信ＩＤを特定する。次に、端末管理ＤＢ５００２を検索し、稼動状態が「オンライン（伝送中）」又は「録画会議中」になっている通信ＩＤと端末名とを検索する（ステップＳ７２）。
Next, the terminal
次に、端末状態取得部５５は、ステップＳ７１で検出した通信ＩＤ（本実施形態においては、「０１ａａ」）を検索キーとして、記憶部５０００の宛先リスト管理ＤＢ５００３を検索し、端末情報要求信号の送信元を宛先端末とする伝送端末１０及び情報処理端末４０の通信ＩＤを取得する（ステップＳ７３）。
Next, the terminal
次に、端末状態取得部５５は、ステップＳ７２で取得した各通信ＩＤが端末情報要求信号の送信元の通信ＩＤ（０１ａａ）又はステップＳ７３で取得した通信ＩＤに含まれているか否かを判定する。含まれていると判定した場合には、通信ＩＤと端末名とを送受信部５１に端末情報要求信号の送信元に応答させ、含まれていないと判定した場合には、通信ＩＤだけを送受信部５１に端末情報要求信号の送信元に応答させる（ステップＳ７４）。
Next, the terminal
この応答を受信した伝送端末１０の表示制御部１７の拠点リスト表示部１８ｂは、図２０に示す情報表示画面６０１のように、端末情報表示領域５３０に応答内容を表示する（ステップＳ７５）。まず、端末名と（端末名はない場合がある）と通信ＩＤの組に連番を付す。次に、録画中管理テーブル１０００ｂの通信ＩＤを全て取得する。そして、録画中管理テーブル１０００ｂの通信ＩＤを読み出し、この通信ＩＤの伝送端末１０又は情報処理端末４０に対応付けて録画拠点マーク７１を配置する。
The site
このような処理により、情報表示画面６０１において録画拠点マーク７１を表示することができる。また、録画拠点マーク７１を表示するだけでなく、又は、録画拠点マーク７１を表示せずに、伝送端末１０ａａが音声で録画中の端末名を読み上げてもよい。この場合、録画開始通知が送信されたタイミングで伝送端末１０ａａが音声で録画中の端末名を読み上げる。あるいは、ユーザが伝送端末１０ａａを操作した任意のタイミングで伝送端末１０ａａが音声で録画中の端末名を読み上げる。
Through such processing, the
なお、情報表示画面６０１の表示中、録画開始通知、録画終了通知、又は端末状態変更情報を伝送端末１０ａａが受信した場合、表示制御部１７の拠点リスト表示部１８ｂはリアルタイムに録画拠点マーク７１を表示し、また、非表示にする。
Note that when the transmission terminal 10aa receives a recording start notification, a recording end notification, or terminal state change information while the
また、情報表示画面６０１において録画拠点マーク７１だけでなくラベル７３を表示してもよい。また、情報表示画面６０１においてラベル７３だけを表示してもよい。
Also, in the
従って、伝送端末１０ａａが複数の拠点とビデオ会議を行っている間、伝送端末１０ａａのユーザは録画している拠点（伝送端末１０及び情報処理端末４０）ごとに録画中かどうかを判断できる。録画拠点マーク７１はリアルタイムに更新されるので、ユーザは録画を開始した拠点を録画の開始後、早期に判断できる。全画面表示画面５０１と情報表示画面６０１のどちらでも録画している拠点がいることをユーザが把握できる。
Therefore, while the transmission terminal 10aa is conducting a video conference with a plurality of bases, the user of the transmission terminal 10aa can determine whether recording is being performed for each recording base (
本実施例では、伝送端末１０の機能が搭載された電子黒板８について説明する。従来から大型ディスプレイに表示させた背景画像に文字や数字、図形等のストローク画像を描画可能な電子黒板８が知られている。電子黒板８は、企業や教育機関、行政機関等、及びこれら以外でも広く利用されている。
In this embodiment, an
外部から入力された画像を電子黒板８がディスプレイに重畳して表示させる機能を有する場合がある。また、電子黒板８に伝送端末１０の機能を搭載することが検討されている。電子黒板８に伝送端末１０の機能が搭載されると、電子黒板８に手書きされたストローク画像を他の拠点の伝送端末１０に送信できる。
In some cases, the
図２２は、伝送端末１０の機能を有する電子黒板８を説明する図の一例である。電子黒板８は一般的な電子黒板の機能と伝送端末１０の機能を有し、伝送端末１０ｄｄとビデオ会議を行うことができる。電子黒板８は電子黒板アプリのストローク画像と、ビデオ会議アプリの画像とを切り替えて表示する。
FIG. 22 is an example of a diagram illustrating an
しかし、電子黒板８ではディスプレイ３の多くの部分をストローク画像などで占有してしまい、起動しているが画面が表示されない例えばビデオ会議アプリの状態変化が分かりにくい。このため、ユーザＵ２がビデオ会議アプリの状態変化に気がつきにくいという問題があった。
However, in the
例えば、電子黒板８の電子黒板アプリが生成するストローク画像はビデオ会議アプリが伝送端末１０ｄｄに送信する。伝送端末１０ｄｄのユーザＵ１は実施例１のように録画を開始することができる。しかし、電子黒板８のビデオ会議アプリが他の拠点から録画開始通知を受信しても、電子黒板８のユーザＵ２が気づかない場合があり得る。このため、非公開情報が気づかないままに録画されるおそれがある。
For example, the stroke image generated by the electronic blackboard application of the
図２２では、電子黒板８に手書きされた「秘密事項」が伝送端末１０ｄｄと共有されている。伝送端末１０ｄｄのユーザＵ１は画像データを録画しているため、電子黒板８のビデオ会議アプリは録画拠点マーク７１又は他拠点録画マーク７２を表示中であるが、ユーザＵ２は見ることができない。このような非公開情報の記録は、例えば、インサイダーやインシデントのリスク、又はなんらかのコミュニケーション上の不都合をもたらすおそれがある。
In FIG. 22, "confidential matter" handwritten on the
そこで、本実施例では、伝送端末１０の機能を有する電子黒板８に記録開始通知が送信された場合に、ビデオ会議アプリ７１０の情報を電子黒板アプリがディスプレイ３に表示することで、ユーザＵ２に気づかせる伝送システム１について説明する。
Therefore, in this embodiment, when a recording start notification is transmitted to the
＜電子黒板８の動作の概略＞
図２３は、本実施例の電子黒板８の動作の概略を説明する図の一例である。図２３（ａ）に示すように、電子黒板８はビデオ会議アプリ７１０、電子黒板アプリ７２０、及び、インタフェースアプリ７３０を有する。これらはＯＳ（Operating System）７００上で動作するアプリケーションソフトウェアである。ＯＳ７００としては適切なものであればよく、特定のＯＳ７００であることを要請するものではないが、例えばＷｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｎｄｏｒｏｉｄ（登録商標）などがある。
<Overview of Operation of
FIG. 23 is an example of a diagram for explaining the outline of the operation of the
ビデオ会議アプリ７１０は実施例１にて説明した伝送端末１０又は情報処理端末４０が有する機能を提供する。電子黒板アプリ７２０の機能については後述する。
The
図２３（ｂ）はインタフェースアプリ７３０の動作を説明する図である。インタフェースアプリ７３０は、独立した２つのビデオ会議アプリ７１０と電子黒板アプリ７２０のインタフェースを提供するアプリである。インタフェースアプリ７３０と通信するためにビデオ会議アプリ７１０はインタフェース処理部７１０ａを有しており、電子黒板アプリ７２０はインタフェース処理部７２０ａを有している。
FIG. 23(b) is a diagram for explaining the operation of the
インタフェースアプリ７３０は、インタフェース処理部７１０ａを介してビデオ会議アプリ７１０と通信し、インタフェース処理部７２０ａを介して電子黒板アプリ７２０と通信する。例えば、インタフェースアプリ７３０は、ビデオ会議アプリ７１０が録画開始通知の受信したこと又は録画会議中という稼動状態、録画中管理テーブルなどを検出し、電子黒板アプリ７２０に通知する。これにより、電子黒板アプリ７２０は、他拠点が録画中である旨を表示できる。
The
＜電子黒板８のディスプレイの画面例＞
図２４は、電子黒板アプリ７２０が生成する電子黒板ＵＩ画面７４０が表示された電子黒板８のディスプレイ３を示す図の一例である。電子黒板ＵＩ画面７４０は、主にユーザが手書きするストローク画像が表示される画面である（第二の画面）。また、アイコン部７０１を有しており、ユーザはストロークの線種や色を選んだり、図形やスタンプの描画を行ったりすることができる。
<Screen example of the display of the
FIG. 24 is an example of a diagram showing the
このアイコン部７０１にはビデオ会議アイコン７０２ａが表示される。ユーザがビデオ会議アイコン７０２ａを選択すると、電子黒板８はビデオ会議アプリ７１０が生成する次述のビデオ会議ＵＩ画面７５０をディスプレイ３に表示する。なお、このような処理はアプリの切り替えに相当し、ＯＳ７００により制御される。
This
図２５は、ビデオ会議アプリ７１０が生成するビデオ会議ＵＩ画面７５０が表示された電子黒板８のディスプレイ３を示す図の一例である。ビデオ会議ＵＩ画面７５０は、図１１の宛先リスト画面と同等の情報に加え、電子黒板アイコン７０３を有する（第一の画面）。ユーザが電子黒板アイコン７０３を選択すると、電子黒板８は電子黒板アプリ７２０が生成する電子黒板ＵＩ画面７４０をディスプレイ３に表示する。なお、このような処理はアプリの切り替えに相当し、ＯＳにより制御される。従って、ユーザは、ビデオ会議ＵＩ画面７５０と電子黒板ＵＩ画面７４０を任意に切り替えることができる。
FIG. 25 is an example of a diagram showing the
なお、ビデオ会議ＵＩ画面７５０と電子黒板ＵＩ画面７４０はどちらか一方が表示されるだけでなく、一部が重複するようにしてビデオ会議ＵＩ画面７５０と電子黒板ＵＩ画面７４０の両方が表示されてもよい。この場合、ビデオ会議ＵＩ画面７５０の他拠点録画マークが電子黒板ＵＩ画面７４０により隠れている場合は、本実施例が有効である。
Note that not only one of the
＜電子黒板８のハードウェア構成＞
図２６は、電子黒板８のハードウェア構成図である。図２６に示されているように、電子黒板８は、電子黒板８全体の動作を制御するＣＰＵ３０１、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ３０３、電子黒板８用のプログラム等の各種データを記憶するＳＳＤ３０４、伝送ネットワーク２との通信を制御するネットワークコントローラ３０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ３０６を備えている。
<Hardware Configuration of
FIG. 26 is a hardware configuration diagram of the
また、電子黒板８は、ノートＰＣ６のディスプレイ３に対して映像情報を静止画又は動画として表示させるキャプチャデバイス３０９、グラフィクスを専門に扱うＧＰＵ(Graphics Processing Unit)３０８、及び、ＧＰＵ３０８からの出力画像をディスプレイ３等へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ３１３を備えている。
The
更に、電子黒板８は、接触センサ３１２の処理を制御するセンサコントローラ３０７、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ３１２を備えている。この接触センサ３１２は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ３１２は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤ(Identification)をセンサコントローラ３０７に出力し、センサコントローラ３０７が、物体の接触位置である座標位置を特定する。
Further, the
また、接触センサ３１２としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
In addition, the
また、電子黒板８は、電子ペンコントローラ３１０を備えている。この電子ペンコントローラ３１０は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判定する。なお、電子ペンコントローラ３１０が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判定するようにしてもよい。
The
更に、電子黒板８は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＳＳＤ３０４、ネットワークコントローラ３０５、外部記憶コントローラ３０６、キャプチャデバイス３０９、ＧＰＵ３０８、センサコントローラ３０７、及び電子ペンコントローラ３１０を、図２６に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３２０を備えている。
Furthermore, the
＜電子黒板アプリ７２０の機能構成＞
次に、図２７～図３２を用いて、電子黒板８の機能構成について説明する。図２７は、電子黒板８の機能ブロック図である。
<Functional Configuration of
Next, the functional configuration of the
電子黒板８は、図２６に示されているハードウェア構成及びプログラムの実行によって、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、及び、画像処理部９を有する。これら点線で囲まれた機能がビデオ会議アプリ７１０の機能である。
The
このうち、映像取得部２１は、ケーブルに接続されたノートＰＣ６等の映像出力機器の出力映像を取得する。映像取得部２１は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、後述の画像取得部３１に出力する。
Among these, the
座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上にユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。
The coordinate
自動調整部２３は、電子黒板８の起動時に起動され、接触センサ３１２が座標検知部２２に適切な値を出力できるように、接触センサ３１２の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
The
接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。
The
イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。ここで、図２８を用い、ストローク描画、ＵＩ操作、及びジェスチャ操作について説明する。なお、図２８は、各画像レイヤの構成図である。
The
まず、「ストローク描画」は、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントにより描画される。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
First, "stroke drawing" is drawn by the event that the user presses down the
「ＵＩ操作」は、ディスプレイ３上に図２８に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。
"UI operation" is an event in which the user presses a predetermined position with the
「ジェスチャ操作」は、ディスプレイ３上に図２８に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動したりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。
"Gesture operation" is an event in which the user touches or moves the
続いて、図２７に戻り、操作処理部２６は、イベント振分部２５によってＵＩ操作と判定されたものから、イベントが発生されたＵＩの要素に従って、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
Subsequently, returning to FIG. 27 , the
ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判定されたものに対応した操作を実行する。
The
映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として映像出力機器（ディスプレイ３等）に対して表示する。また、映像重畳部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（カメラ７等）から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部２８は、ピクチャ・イン・ピクチャされてディスプレイ３の一部に表示された映像を、ディスプレイ３の全体に表示させるための切り替えを行う。
The
（画像処理部の機能構成）
続いて、画像処理部９の機能構成について、詳細に説明する。画像処理部９は、図２８に示されているような各画像レイヤの重畳処理等を行う。
(Functional configuration of image processing unit)
Next, the functional configuration of the
そのため、画像処理部９は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４２、及びページデータ記憶部３００を有している。
Therefore, the
このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。この画像は、図２８に示されている出力画像（Ｃ）に相当する。
Of these, the
ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図２８に示されているストローク画像（Ｂ）に相当する。
The
ＵＩ画像生成部３３は、電子黒板８に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図２８に示されているＵＩ画像（Ａ）に相当する。
The
背景生成部３４は、ディスプレイ３上に表示される背景画像を生成する。この背景画像は、図２８に示されている背景画像（Ｄ）に相当する。背景画像のパターンは、無地、グリッド表示等である。
レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、及び背景生成部３４から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
The
表示重畳部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトに従って重畳する。これにより、図２８に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイヤの構成となっている。
The
また、表示重畳部３６は、図２８に示されている画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初に、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、電子黒板８と映像出力機器（ノートＰＣ６等）との間のケーブルが抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
In addition, the
ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。また、ページ処理部３７は、画像取得部３１を介して記憶したページデータを表示重畳部３６に送信することで、映像重畳部２８がページデータをディスプレイ３に再表示させることができる。
The
更に、ページ処理部３７は、画像取得部３１を介して記憶したページデータをビデオ会議アプリ７１０に送信することで、ビデオ会議アプリ７１０から他の電子黒板８や伝送端末１０にページデータ（ストローク配列データ、メディアデータ）を送信することができる。また、ページ処理部３７は、ページデータをストローク処理部３２に送信することで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。
Further, the
また、ページ処理部３７は、ページデータ記憶部３００からページデータを読み出す場合には、１つにまとめたページデータから、ストローク画像（Ｂ）を示すストローク配列データ、及び背景画像（Ｄ）を示すメディアデータに分ける。即ち、ページ処理部３７がページデータ記憶部３００に記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、画像取得部３１に出力する。
Further, when reading page data from the page
ページデータ記憶部３００は、図２９に示されているようなページデータを記憶する。図１２は、ページデータを示す概念図である。ページデータは、ディスプレイ３に表示される１ページ分のデータ（ストロークデータ及び画像データ）である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図２９～図３１に分けて、ページデータの内容を説明する。
Page
ファイル処理部４２は、電子黒板８が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ファイル処理部４２が、ページデータ記憶部３００からページデータを取得し、ＰＤＦファイルとしてＵＳＢ５に記録する。しかし、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部３００に記録されたままになっている。そのため、再び、電源オンになった際に、ファイル処理部４２が、ページデータ記憶部３００からページデータを読み出すことで復旧させる。また、ファイル処理部４２は、ＵＳＢメモリ５から、ＰＤＦファイルを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。
After the
ここで、ページデータについて、詳細に説明する。ページデータは、図２９に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。ストローク配列データは、後述の図１１に示されているストローク画像（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、後述の図２８に示されている背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。
Here, page data will be described in detail. As shown in FIG. 29, the page data includes a page data ID for identifying an arbitrary page, a disclosure time indicating the time when the display of this page was started, and rewriting of the contents of the page by strokes, gestures, etc. is associated with an end time indicating the time when the operation is no longer performed, a stroke array data ID for identifying stroke array data generated by strokes made by the
このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。
With such page data, for example, when the user draws the alphabet "S" with the
また、ストローク配列データは、図３０に示されているように詳細な情報を示している。図３０は、ストローク配列データを示す概念図である。図３０に示されているように、１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。 Also, the stroke array data indicates detailed information as shown in FIG. FIG. 30 is a conceptual diagram showing stroke arrangement data. As shown in FIG. 30, one piece of stroke array data is represented by multiple pieces of stroke data. One stroke data includes a stroke data ID for identifying this stroke data, a start time indicating the time at which writing of one stroke began, an end time indicating the time at which writing of one stroke ended, the color of the stroke, The width of the stroke and the coordinate array data ID for identifying the array of passing points of the stroke are shown.
更に、この座標配列データは、図３１に示されているように詳細な情報を示している。図３１は、座標配列データを示す概念図である。図３１に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開示時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。即ち、図３１に示されている１点の集まりが、図３０に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
Furthermore, this coordinate array data indicates detailed information as shown in FIG. FIG. 31 is a conceptual diagram showing coordinate array data. As shown in FIG. 31, the coordinate array data consists of one point (X coordinate value, Y coordinate value) on the
また、図２９に示されているページデータのうちのメディアデータは、図３０に示されているように詳細な情報を示している。図３２は、メディアデータを示す概念図である。図３２に示されているように、メディアデータは、図２９に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、ページ処理部３７からページデータ記憶部３００にページデータが記憶された記録時刻、ページデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）及び画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、ページデータによって表示される画像の左上端の位置を示している。
Also, the media data in the page data shown in FIG. 29 indicates detailed information as shown in FIG. FIG. 32 is a conceptual diagram showing media data. As shown in FIG. 32, the media data includes the media data ID in the page data shown in FIG. The recorded time, the position (X coordinate value, Y coordinate value) and size (width, height) of the image displayed on the
（ビデオ会議アプリの機能構成）
続いて、ビデオ会議アプリ７１０の機能構成について詳細に説明する。ビデオ会議アプリ７１０は、電子黒板８が、外部の装置等（伝送端末１０、ＵＩ提供装置２０，他の電子黒板８、伝送管理装置５０、中継装置３０、及びプログラム提供装置９０）と通信するための処理を制御する。
(Functional configuration of the video conferencing app)
Next, the functional configuration of the
そのため、ビデオ会議アプリ７１０は、送受信部６１、操作入力受付部６２、ログイン要求部６３、加工部６４、出力重畳部６５、表示制御部６６、宛先リスト作成部６７、判断部６８、及び記憶・読出処理部６９を有している。更に、ビデオ会議アプリ７１０は、図２６に示されているＳＳＤ３０４によって構築される記憶部６０００を有している。
Therefore, the
また、ビデオ会議アプリ７１０は、図６に示されている伝送端末１０の機能構成の一部を有している。即ち、ビデオ会議アプリ７１０の送受信部６１、操作入力受付部６２、ログイン要求部６３、表示制御部６６、宛先リスト作成部６７、及び記憶・読出処理部６９は、それぞれ伝送端末１０の送受信部１１、操作入力受付部１２、ログイン要求部１３、宛先リスト表示部１６、表示制御部１７、及び記憶・読出処理部１９と同様の処理を行う。また、ビデオ会議アプリ７１０の記憶部６０００は、伝送端末１０の記憶部１０００と同様の役割を果たす。このため、これらの説明は省略する。
Also, the
一方、加工部６４は、送受信部６１によって受信された表示能力情報（他の伝送端末１０の画面サイズ、解像度など）が、他の伝送端末に所定の画像を表示する能力がない旨を示す場合には、画像データを加工する。具体的には、加工部６４は、電子黒板８に対する操作を行うためのＵＩ画像（Ａ）を含む複数の階層の画像が重畳された画像データのうち、トリミングによってＵＩ画像に係る操作画像データを切り取った後、トリミング後の画像データをトリミング前の画像データに拡大するリサイズを行う。なお、加工部６４は、画像データを拡大するリサイズを行った後に、トリミングを行ってもよい。
On the other hand, if the display capability information (the screen size, resolution, etc. of the other transmission terminal 10) received by the transmission/
出力重畳部６５は、表示重畳部３６のように画像データと画像データを重畳させる。
The
判断部６８は、送受信部６１によって受信された表示能力情報が、他の伝送端末に所定の画像を表示する能力がない旨を示す場合には、画像データを加工すると判断する。これにより、加工部６４が画像データの加工を行う。
If the display capability information received by the transmitting/receiving
（インタフェースアプリ７３０）
図２７に示すように、電子黒板８はインタフェース部７３０ａを有する。インタフェース部７３０ａはインタフェースアプリ７３０を電子黒板８のＣＰＵ３０１が実行し図２６に示した各種のハードウェアと協働することで実現される機能又は手段である。インタフェース部７３０ａは、インタフェース処理部７１０ａを介してビデオ会議アプリ７１０の記憶・読出処理部６９に「記録開始通知を受信した旨」が記憶されているか否かを一定時間（例えば１秒～１分の間などでよい）に監視している。また、インタフェース部７３０ａは、ＯＳ７００にディスプレイ３の最前面に表示するアプリケーションを指示する信号を送信する。
(Interface application 730)
As shown in FIG. 27, the
また、ビデオ会議アプリ７１０はインタフェース処理部７１０ａを有する。インタフェース処理部７１０ａはビデオ会議アプリ７１０を電子黒板８のＣＰＵ３０１が実行し図２６に示した各種のハードウェアと協働することで実現される機能又は手段である。インタフェース処理部７１０ａは、電子黒板アイコン７０３が押下されると、インタフェース部７３０ａに、電子黒板アプリ７２０が選択された旨を示す電子黒板ＵＩ画面切替信号を送信する。これにより、インタフェース部７３０ａは、ＯＳ７００に電子黒板ＵＩ画面７４０を表示させる。
The
また、電子黒板アプリ７２０はインタフェース処理部７２０ａを有する。インタフェース処理部７２０ａは電子黒板アプリ７２０を電子黒板８のＣＰＵ２０１が実行し図２６に示した各種のハードウェアと協働することで実現される機能又は手段である。インタフェース処理部７２０ａは、ビデオ会議アイコン７０２ａが押下されると、インタフェース部７３０ａに、ビデオ会議アプリ７１０が選択された旨を示すビデオ会議ＵＩ画面切替信号を送信する。これにより、インタフェース部７３０ａは、ＯＳ７００にビデオ会議ＵＩ画面７５０を表示させる。
Further, the
＜動作手順＞
図３３は、電子黒板８で動作するビデオ会議アプリ７１０が録画開始通知を受信した場合の動作手順を示すシーケンス図の一例である。図３３では、図８、９の処理によりすでにビデオ会議が開催されているものとする。
<Operation procedure>
FIG. 33 is an example of a sequence diagram showing an operation procedure when the
S1：伝送端末１０ｄｄから伝送管理装置５０に録画開始通知が送信される。録画開始通知については図１０にて説明した。
S1: A recording start notification is transmitted from the transmission terminal 10dd to the
S2：伝送管理装置５０の送受信部５１は、伝送端末１０ｄｄとビデオ会議を行っている電子黒板８に録画開始通知を送信する。
S2: The transmitting/receiving
S3、S4：インタフェース部７３０ａは一定時間ごとに、インタフェース処理部７１０ａを介して、ビデオ会議アプリ７１０の記憶・読出処理部６９に対し、録画開始通知を受信したか否かを監視する。
S3, S4: The
S5：録画開始通知を受信した場合、インタフェース部７３０ａはビデオ会議アプリ７１０が始めて録画開始通知を受信したか否かを判定する。ビデオ会議アプリ７１０の記憶部６０００も録画中管理テーブルを有するので、録画中管理テーブルの通信ＩＤがゼロの状態で通信ＩＤが登録された場合、インタフェース部７３０ａはビデオ会議アプリ７１０が始めて録画開始通知を受信したと判定する。これにより、録画開始通知を受信するたびに、ビデオ会議アプリ７１０に通知する必要がない。
S5: When receiving the recording start notification, the
S6,S7：ビデオ会議アプリ７１０が始めて録画開始通知を受信したと判定すると、インタフェース部７３０ａは、インタフェース処理部７２０ａを介してＵＩ画像生成部３３にＵＩ変更要求を行う。ＵＩ変更要求は、電子黒板ＵＩ画面７４０に伝送端末１０ｄｄの稼動状態の表示を要求することをいう。具体的には伝送端末１０ｄｄが録画していることを表示する。
S6, S7: When determining that the
S8：これにより、電子黒板アプリ７２０のＵＩ画像生成部３３は、伝送端末１０ｄｄが録画している旨が表示された電子黒板ＵＩ画面７４０を表示する。この電子黒板ＵＩ画面７４０の一例を図３４にて説明する。
S8: As a result, the
なお、この時点で、インタフェース部７３０ａはＯＳ７００にビデオ会議ＵＩ画面切替信号を送信する必要はない。まず、電子黒板８のディスプレイ３に電子黒板ＵＩ画面７４０が表示されている状況では、ステップＳ８で伝送端末１０ｄｄが録画している旨が表示されるため、ユーザが他の拠点で録画されていることに気づくことができる。電子黒板８のディスプレイ３にビデオ会議ＵＩ画面７５０が表示されている状況では、実施例１で説明した録画拠点マーク７１又は他拠点録画マーク７２が全画面表示画面５０１又は情報表示画面６０１に表示されるため、ユーザが他の拠点で録画していることに気づくことができる。
At this point, the
インタフェース部７３０ａは、同様に、ビデオ会議アプリ７１０が録画終了通知を受信したことを検知できる。この場合、インタフェース部７３０ａは、電子黒板アプリ７２０のＵＩ画像生成部３３にＵＩ変更要求を行う。このＵＩ変更要求は、伝送端末１０ｄｄが録画している旨の消去の要求である。
図３４は、他の拠点が録画している旨が表示された電子黒板ＵＩ画面７４０の一例である。図３４では、ティッカー部７６０に「録画会議中」という文字７６１が表示されている。ティッカー部７６０とは、画面の一部に設けられた画像などのコンテンツとは関係ない情報が表示される領域である。一般に、コンテンツ部分のアスペクト比を維持したままコンテンツ部分が縮小されてできる領域である。こうすることで、コンテンツに重複せずに他の拠点が録画している旨を表示できる。
FIG. 34 is an example of an electronic
ただし、図３４で電子黒板ＵＩ画面７４０を特に縮小しなくてよく、例えば、電子黒板ＵＩ画面７４０のコンテンツ（手書きされたストロークなど）の四隅や中央などに重畳して表示してよい。
However, the electronic
また、ＵＩ画像生成部３３は図３４のように文字で録画中である旨を表示する他、ビデオ会議アイコン７０２ａの点滅、色変更などで録画中である旨を表示してもよい。また、文字７６１でなく録画中である旨を示すアイコンを表示してもよい。
Further, the UI
＜表示順の変更＞
次に、図３５を用いて電子黒板ＵＩ画面７４０とビデオ会議ＵＩ画面７５０の表示順の変更手順を説明する。図３５は、インタフェース部７３０ａが電子黒板ＵＩ画面７４０とビデオ会議ＵＩ画面７５０の表示順を変更する手順を示すシーケンス図の一例である。図３５は、ビデオ会議の開催中に実行される。電子黒板８のディスプレイ３にはビデオ会議ＵＩ画面７５０が表示されているものとして説明する。
<Change display order>
Next, a procedure for changing the display order of the electronic
S1：ユーザがビデオ会議ＵＩ画面７５０の電子黒板アイコン７０３を押下する。操作入力受付部６２はこの操作を受け付けインタフェース処理部７１０ａに通知する。
S1: The user presses the
S2：インタフェース処理部７１０ａはこの通知を受けてインタフェース部７３０ａに電子黒板ＵＩ画面切替信号を送信する。
S2: The
S3：インタフェース部７３０ａは、電子黒板ＵＩ画面切替信号をＯＳ７００に送信する。
S3: The
S4：ＯＳ７００は電子黒板アプリ７２０の映像重畳部２８が生成する電子黒板ＵＩ画面７４０をディスプレイ３の最前面に表示する。また、電子黒板ＵＩ画面７４０をアクティブにする。すなわち、電子黒板ＵＩ画面７４０を作成した電子黒板アプリ７２０をユーザの操作の対象にする。また、ＯＳ７００は、電子黒板アプリ７２０を他のアプリよりも若干高い優先順位を割り当てる。これにより、ビデオ会議アプリ７１０も動作したまま、電子黒板ＵＩ画面７４０がディスプレイ３の最前面に表示される。
S4: The
なお、電子黒板アプリ７２０が最前面に表示された状態で、ビデオ会議アプリ７１０を最前面に表示するには図３５の逆の手順が実行されればよい。
In order to display the
このように、ユーザは電子黒板アプリ７２０とビデオ会議アプリ７１０を任意に切り替えることができる。
Thus, the user can arbitrarily switch between the
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
Although the best mode for carrying out the present invention has been described above using examples, the present invention is by no means limited to such examples, and various modifications can be made without departing from the scope of the present invention. and substitutions can be added.
例えば、中継装置３０、伝送管理装置５０及びプログラム提供装置９０は、それぞれが独立に存在するのでなく、単一のコンピュータによって構築されてもよい。また、伝送端末１０、伝送管理装置５０及びプログラム提供装置９０が有する各手段及び記憶部１０００，２０００，５０００を、複数のコンピュータに任意に割り当ててもよい。この場合、ＵＩ提供装置２０はどのコンピュータの機能として含まれてもよい。
For example, the
また、上記実施形態では、伝送システム１の一例として、ビデオ会議システムの場合について説明したが、これに限るものではなく、ＩＰ（Internet Protocol）電話や、インターネット電話等の電話システムであってもよい。
Further, in the above embodiment, the case of the video conference system was explained as an example of the
また、各伝送端末１０は伝送管理装置５０を介さずに通信してもよい。このような通信プロトコルの一例として、ＷｅｂＲＴＣが知られている。
Also, each
また、伝送システム１は、移動体に搭載されたカーナビゲーション装置を含むシステムであってもよい。また、伝送端末１０に画面共有用のＰＣが接続されてもよい。
Also, the
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚（touch）データであってもよい。この場合、一方の伝送端末側でユーザが接触した感覚が、他方の伝送端末側に伝達される。 Also, in the above embodiment, image data and audio data have been described as examples of content data, but the content data is not limited to this, and may be touch data. In this case, the user's touch feeling on one transmission terminal side is transmitted to the other transmission terminal side.
更に、コンテンツデータは、嗅覚（smell）データであってもよい。この場合、一方の伝送端末側の匂い（臭い）が、他の伝送端末側に伝達される。また、コンテンツデータは、画像データ、音声データ、触覚データ及び嗅覚データのうち、少なくとも１つのデータであればよい。 Further, the content data may be smell data. In this case, the smell (smell) on one transmission terminal side is transmitted to the other transmission terminal side. Also, the content data may be at least one of image data, audio data, tactile data, and olfactory data.
また、上記実施形態では、伝送システム１によってビデオ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。
Also, in the above embodiment, the case of holding a video conference by the
また、上記実施形態では、主に画像データが録画されていることを参加者に通知したが、音声データのみが送受信されている状態で音声データが録音されていることが参加者に通知されてもよい。 In the above embodiment, the participants were mainly notified that the image data was being recorded. good too.
送受信部１１は受信手段の一例であり、拠点リスト表示部１８ｂは記録端末通知手段の一例であり、録画中管理テーブル１０００ｂは識別情報記憶手段の一例であり、全画面表示画面５０１は第一の画面の一例であり、情報表示画面６０１は第二の画面の一例である。伝送管理装置５０は外部装置の一例であり、宛先リスト表示部１６は宛先リスト表示手段の一例であり、ディスプレイ１２０は表示装置の一例である。表示制御部１７は表示制御手段の一例であり、操作入力受付部１２は選択受付手段の一例であり、補助領域表示部１８ａは記録中通知手段の一例である。宛先リスト管理ＤＢ５００３は宛先リスト記憶手段の一例であり、端末管理ＤＢ５００２は端末状態記憶手段の一例であり、画像録画部４１は記録手段の一例であり、送受信部５１は送信手段の一例である。伝送端末１０は第一の情報処理装置（又は第二の情報処理装置）の一例であり、伝送管理装置５０は第二の情報処理装置の一例である。表示制御部６６は第一の表示制御手段の一例であり。ＵＩ画像生成部３３と映像重畳部２８は第二の表示制御手段の一例であり、インタフェース部７０３ａは通知手段の一例である。
The transmission/
１ 伝送システム
１０ 伝送端末
１２ 操作入力受付部
１７ 表示制御部
１８ａ 補助領域表示部
１８ｂ 拠点リスト表示部
５０ 伝送管理装置
５２ 端末認証部
５３ 状態管理部
５４ 端末抽出部
５５ 端末状態取得部
１２０ ディスプレイ
1
Claims (16)
前記他の情報処理装置と送受信する画像データの記録を開始する記録開始通知を受信する受信手段と、
前記他の情報処理装置から受信した画像データを表示可能なビデオ会議ＵＩ画面と、手書きされたストローク画像を表示可能な電子黒板ＵＩ画面とを、切り替え可能に表示画面に表示させる表示制御手段と、を有し、
前記表示制御手段は、
前記ビデオ会議ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記ビデオ会議ＵＩ画面に表示させ、
前記電子黒板ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記電子黒板ＵＩ画面に表示させる、
情報処理装置。 An information processing device that transmits and receives image data to and from another information processing device connected via a network,
receiving means for receiving a recording start notification for starting recording of image data transmitted/received to/from the other information processing apparatus;
display control means for switchably displaying on a display screen a video conference UI screen capable of displaying image data received from the other information processing apparatus and an electronic blackboard UI screen capable of displaying handwritten stroke images; has
The display control means is
when the recording start notification is received while the videoconference UI screen is displayed on the display screen, displaying on the videoconference UI screen that the image data to be transmitted and received is being recorded;
When the recording start notification is received while the electronic blackboard UI screen is displayed on the display screen, displaying on the electronic blackboard UI screen that the image data to be transmitted and received is being recorded;
Information processing equipment.
前記表示制御手段は、前記ビデオ会議ＵＩ画面又は前記電子黒板ＵＩ画面に前記送受信する画像データを記録中である旨が表示されている間に、前記受信手段が前記記録終了通知を受信した場合、前記ビデオ会議ＵＩ画面又は前記電子黒板ＵＩ画面に表示されている、前記送受信する画像データを記録中である旨の表示を、非表示にさせる、請求項１～４のいずれか１項に記載の情報処理装置。 The receiving means further receives a recording end notification for ending recording of the transmitted/received image data while the transmitted/received image data is being recorded,
When the display control means receives the recording end notification while the video conference UI screen or the electronic blackboard UI screen is displaying that the image data to be transmitted and received is being recorded, 5. The method according to any one of claims 1 to 4, wherein a display indicating that the image data to be transmitted and received is being recorded, which is displayed on the video conference UI screen or the electronic blackboard UI screen, is hidden. information processing equipment.
前記他の情報処理装置と送受信する画像データの記録を開始する記録開始通知を受信する受信手段と、
前記他の情報処理装置から受信した画像データを表示可能なビデオ会議ＵＩ画面と、手書きされたストローク画像を表示可能な電子黒板ＵＩ画面とを、切り替え可能に表示画面に表示させる表示制御手段、として機能させ、
前記表示制御手段は、
前記ビデオ会議ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記ビデオ会議ＵＩ画面に表示させ、
前記電子黒板ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記電子黒板ＵＩ画面に表示させる、プログラム。 An information processing device that transmits and receives image data to and from other information processing devices connected via a network,
receiving means for receiving a recording start notification for starting recording of image data transmitted/received to/from the other information processing apparatus;
Display control means for switchably displaying on a display screen a video conference UI screen capable of displaying image data received from the other information processing apparatus and an electronic whiteboard UI screen capable of displaying handwritten stroke images. make it work,
The display control means is
when the recording start notification is received while the videoconference UI screen is displayed on the display screen, displaying on the videoconference UI screen that the image data to be transmitted and received is being recorded;
A program for displaying on the electronic blackboard UI screen that the image data to be transmitted and received is being recorded when the recording start notification is received while the electronic blackboard UI screen is displayed on the display screen. .
前記表示制御手段は、前記ビデオ会議ＵＩ画面又は前記電子黒板ＵＩ画面に前記送受信する画像データを記録中である旨が表示されている間に、前記受信手段が前記記録終了通知を受信した場合、前記ビデオ会議ＵＩ画面又は前記電子黒板ＵＩ画面に表示されている、前記送受信する画像データを記録中である旨の表示を、非表示にさせる、請求項８～１１のいずれか１項に記載のプログラム。 The receiving means further receives a recording end notification for ending recording of the transmitted/received image data while the transmitted/received image data is being recorded,
When the display control means receives the recording end notification while the video conference UI screen or the electronic blackboard UI screen is displaying that the image data to be transmitted and received is being recorded, 12. The method according to any one of claims 8 to 11 , wherein the display indicating that the transmitted and received image data is being recorded, which is displayed on the video conference UI screen or the electronic whiteboard UI screen, is hidden. program.
前記他の情報処理装置から受信した画像データを表示可能なビデオ会議ＵＩ画面と、手書きされたストローク画像を表示可能な電子黒板ＵＩ画面とを、切り替え可能に表示画面に表示させるステップと、
前記他の情報処理装置と送受信する画像データの記録を開始する記録開始通知を受信するステップと、
前記ビデオ会議ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記ビデオ会議ＵＩ画面に表示させ、
前記電子黒板ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記電子黒板ＵＩ画面に表示させるステップと、を有する方法。 A method performed by an information processing device that transmits and receives image data to and from another information processing device connected via a network,
a step of switchably displaying on a display screen a video conference UI screen capable of displaying image data received from the other information processing apparatus and an electronic whiteboard UI screen capable of displaying handwritten stroke images;
a step of receiving a recording start notification for starting recording of image data to be transmitted/received to/from the other information processing device;
when the recording start notification is received while the videoconference UI screen is displayed on the display screen, displaying on the videoconference UI screen that the image data to be transmitted and received is being recorded;
When the recording start notification is received while the electronic blackboard UI screen is being displayed on the display screen, displaying on the electronic blackboard UI screen that the image data to be transmitted and received is being recorded. , the method of having
前記情報処理装置が
前記他の情報処理装置と送受信する画像データの記録を開始する記録開始通知を受信する受信手段と、
前記他の情報処理装置から受信した画像データを表示可能なビデオ会議ＵＩ画面と、手書きされたストローク画像を表示可能な電子黒板ＵＩ画面とを、切り替え可能に表示画面に表示させる表示制御手段と、を有し、
前記表示制御手段は、
前記ビデオ会議ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記ビデオ会議ＵＩ画面に表示させ、
前記電子黒板ＵＩ画面が前記表示画面に表示されている際に、前記記録開始通知を受信した場合には、前記送受信する画像データを記録中である旨を前記電子黒板ＵＩ画面に表示させる、システム。 A system in which an information processing device transmits and receives image data to and from another information processing device connected via a network,
receiving means for receiving a recording start notification for starting recording of image data transmitted/received by the information processing apparatus to/from the other information processing apparatus;
display control means for switchably displaying on a display screen a video conference UI screen capable of displaying image data received from the other information processing apparatus and an electronic blackboard UI screen capable of displaying handwritten stroke images; has
The display control means is
when the recording start notification is received while the videoconference UI screen is displayed on the display screen, displaying on the videoconference UI screen that the image data to be transmitted and received is being recorded;
When the recording start notification is received while the electronic blackboard UI screen is displayed on the display screen, the system causes the electronic blackboard UI screen to display that the image data to be transmitted and received is being recorded. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022200069A JP2023026478A (en) | 2016-05-20 | 2022-12-15 | Information processing device, program, method, and system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016101311 | 2016-05-20 | ||
| JP2016101311 | 2016-05-20 | ||
| JP2020105598A JP6888716B2 (en) | 2016-05-20 | 2020-06-18 | Information processing equipment, programs, methods, systems |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020105598A Division JP6888716B2 (en) | 2016-05-20 | 2020-06-18 | Information processing equipment, programs, methods, systems |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022200069A Division JP2023026478A (en) | 2016-05-20 | 2022-12-15 | Information processing device, program, method, and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021122151A JP2021122151A (en) | 2021-08-26 |
| JP7196951B2 true JP7196951B2 (en) | 2022-12-27 |
Family
ID=60476240
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016123948A Active JP6720722B2 (en) | 2016-05-20 | 2016-06-22 | Information processing device, transmission system, program |
| JP2020105598A Active JP6888716B2 (en) | 2016-05-20 | 2020-06-18 | Information processing equipment, programs, methods, systems |
| JP2021085494A Active JP7196951B2 (en) | 2016-05-20 | 2021-05-20 | Information processing device, program, method, system |
| JP2022200069A Pending JP2023026478A (en) | 2016-05-20 | 2022-12-15 | Information processing device, program, method, and system |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016123948A Active JP6720722B2 (en) | 2016-05-20 | 2016-06-22 | Information processing device, transmission system, program |
| JP2020105598A Active JP6888716B2 (en) | 2016-05-20 | 2020-06-18 | Information processing equipment, programs, methods, systems |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022200069A Pending JP2023026478A (en) | 2016-05-20 | 2022-12-15 | Information processing device, program, method, and system |
Country Status (1)
| Country | Link |
|---|---|
| JP (4) | JP6720722B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7164856B1 (en) | 2022-01-21 | 2022-11-02 | １７Ｌｉｖｅ株式会社 | Server and method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007267337A (en) | 2006-03-30 | 2007-10-11 | Kyocera Corp | Communication terminal device, communication control apparatus, and speech recording and reproducing method |
| JP2008005199A (en) | 2006-06-22 | 2008-01-10 | Sony Corp | Information processor, method, and program |
| JP2010529738A (en) | 2007-05-31 | 2010-08-26 | イーストマン コダック カンパニー | Home video communication system |
| JP2013077059A (en) | 2011-09-29 | 2013-04-25 | Ricoh Co Ltd | Dialogue system |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08297624A (en) * | 1995-02-28 | 1996-11-12 | Toshiba Corp | Electronic conference system |
| US5619555A (en) * | 1995-07-28 | 1997-04-08 | Latitude Communications | Graphical computer interface for an audio conferencing system |
| JP2002344917A (en) * | 2001-05-11 | 2002-11-29 | Canotec Kk | Two-way communication device, two-way communication method, network server device, information processing system and program |
| JP2003167856A (en) * | 2001-11-30 | 2003-06-13 | Pioneer Electronic Corp | Network conference system, authentication method thereof, and terminal for network conference system, authentication system thereof |
| JP2007003667A (en) * | 2005-06-22 | 2007-01-11 | Murata Mach Ltd | Image reader |
| JP2007025946A (en) * | 2005-07-14 | 2007-02-01 | Sharp Corp | Multi-point electronic conference system and communication terminal |
| JP2007286711A (en) * | 2006-04-13 | 2007-11-01 | Fuji Xerox Co Ltd | Information processor and information processing method, and computer program |
| JP2010081265A (en) * | 2008-09-25 | 2010-04-08 | Fuji Xerox Co Ltd | Information processing apparatus, remote instruction system, and program |
| JP2011054039A (en) * | 2009-09-03 | 2011-03-17 | Sharp Corp | Teleconference system, conference relay device, and computer program |
| JP6051782B2 (en) * | 2012-10-31 | 2016-12-27 | 株式会社リコー | Communication system and program |
| US9077850B1 (en) * | 2013-01-15 | 2015-07-07 | Google Inc. | Recording multi-party video calls |
| JP2015011630A (en) * | 2013-07-01 | 2015-01-19 | 株式会社リコー | Image processing device and image processing method |
| CN106233267B (en) * | 2014-04-23 | 2020-02-14 | 株式会社理光 | Access management system, communication system, recording medium, and access management method |
| JP6484934B2 (en) * | 2014-06-10 | 2019-03-20 | 株式会社リコー | COMMUNICATION DEVICE, COMMUNICATION SYSTEM, COMMUNICATION MANAGEMENT SYSTEM, COMMUNICATION CONTROL METHOD, AND PROGRAM |
-
2016
- 2016-06-22 JP JP2016123948A patent/JP6720722B2/en active Active
-
2020
- 2020-06-18 JP JP2020105598A patent/JP6888716B2/en active Active
-
2021
- 2021-05-20 JP JP2021085494A patent/JP7196951B2/en active Active
-
2022
- 2022-12-15 JP JP2022200069A patent/JP2023026478A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007267337A (en) | 2006-03-30 | 2007-10-11 | Kyocera Corp | Communication terminal device, communication control apparatus, and speech recording and reproducing method |
| JP2008005199A (en) | 2006-06-22 | 2008-01-10 | Sony Corp | Information processor, method, and program |
| JP2010529738A (en) | 2007-05-31 | 2010-08-26 | イーストマン コダック カンパニー | Home video communication system |
| JP2013077059A (en) | 2011-09-29 | 2013-04-25 | Ricoh Co Ltd | Dialogue system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017212712A (en) | 2017-11-30 |
| JP2023026478A (en) | 2023-02-24 |
| JP2021122151A (en) | 2021-08-26 |
| JP6888716B2 (en) | 2021-06-16 |
| JP2020171030A (en) | 2020-10-15 |
| JP6720722B2 (en) | 2020-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6343897B2 (en) | Transmission terminal, transmission method, and program | |
| JP5962098B2 (en) | Transmission terminal, transmission system, display control method, and program | |
| JP6379521B2 (en) | Transmission terminal, transmission system, transmission method and program | |
| JP2015097070A (en) | Communication system, information processor, and program | |
| JP6171303B2 (en) | Transmission terminal, transmission method, and program | |
| US20230066450A1 (en) | Communication management system, communication system, communication management device, image processing method, and non-transitory computer-readable medium | |
| JP5942364B2 (en) | Transmission management system, transmission system, and program | |
| JP2017046192A (en) | Information processing device, program, and information processing method | |
| JP6720513B2 (en) | Communication terminal, communication system, communication control method, and program | |
| JP6260201B2 (en) | Transmission terminal, transmission method, and program | |
| JP2017142610A (en) | Server device, transmission system and program | |
| US10033966B2 (en) | Information processing apparatus, communication system, and information processing method | |
| JP6361728B2 (en) | Transmission control system, transmission system, transmission control method, and recording medium | |
| JP2015225400A (en) | Communication system, transfer control device, communication method, and program | |
| JP6314539B2 (en) | Transmission terminal, transmission system, transmission method and program | |
| JP2023026478A (en) | Information processing device, program, method, and system | |
| JP5754117B2 (en) | External input device, display data creation method, program | |
| JP2019193279A (en) | Transmission management system, transmission system, program, program providing system, and maintenance system | |
| JP2016152505A (en) | Image management system, communication terminal, communication system, image management method and program | |
| JP6631643B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| WO2015151958A1 (en) | Transmission terminal, transmission system, and selection method for relay device | |
| JP2023022034A (en) | Terminal device, communication system, communication method and program | |
| JP2017027561A (en) | Terminal, communication system, communication method, and program | |
| JP6589621B2 (en) | Display device, camera position control method, and program | |
| JP7388159B2 (en) | Display device, display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210618 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7196951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |