JP6720722B2 - Information processing device, transmission system, program - Google Patents
Information processing device, transmission system, program Download PDFInfo
- Publication number
- JP6720722B2 JP6720722B2 JP2016123948A JP2016123948A JP6720722B2 JP 6720722 B2 JP6720722 B2 JP 6720722B2 JP 2016123948 A JP2016123948 A JP 2016123948A JP 2016123948 A JP2016123948 A JP 2016123948A JP 6720722 B2 JP6720722 B2 JP 6720722B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- recording
- information
- terminal
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、情報処理装置、通信システム及びプログラムに関する。 The present invention relates to an information processing device, a communication system and a program.
インターネット等のネットワークを介して複数の端末装置間でビデオ会議等を行う伝送システムが知られている。このような伝送システムでは、一方の伝送端末でビデオ会議中に収集された画像データ及び音声データを他方の伝送端末に送信する。他方の伝送端末はこの画像データ及び音声データを受信し、ディスプレイ等に画像を表示したり、スピーカから音声を出力したりすることで、これらの伝送端末間でビデオ会議を行うことができる。 A transmission system is known in which a video conference or the like is performed between a plurality of terminal devices via a network such as the Internet. In such a transmission system, image data and audio data collected during a video conference by one transmission terminal are transmitted to the other transmission terminal. The other transmission terminal receives the image data and the voice data, displays an image on a display or outputs a voice from a speaker, and thus a video conference can be held between these transmission terminals.
このような伝送システムにおいては、会議に参加する伝送端末は2台とは限らず、ビデオ会議に参加する伝送端末が3台以上となる多拠点間でビデオ会議が開催される場合も少なくない。 In such a transmission system, the number of transmission terminals participating in the conference is not limited to two, and a video conference is often held between multiple bases in which the number of transmission terminals participating in the video conference is three or more.
また、上記のように各拠点は映像を表示したり音声を出力したりすることができるが、各拠点の伝送端末が映像を録画したり音声を録音したりする機能を有する場合がある(例えば、特許文献1参照。)。これは、ビデオ会議に参加できなった者が後に会議の内容を把握したり確認したりするためである。
Further, as described above, each site can display video and output audio, but the transmission terminal at each site may have a function of recording video or audio (for example, ,
しかしながら、ビデオ会議で送信される画像や音声は秘匿性が高い情報が多いため、録画や録音されることを好まない参加者も少なくない。あるいは画像に含まれる自分の肖像が記録されることを好まない参加者も存在する。この点に関し、特許文献1に開示された通信システムは、各拠点が同じ記録装置に通信情報を記録する技術であり、任意の拠点が録画又は録音している場合に、録画又は録音している拠点を他の拠点の参加者が特定しにくいという問題がある。
However, since many images and sounds transmitted in a video conference have highly confidential information, many participants do not like to be recorded or recorded. Alternatively, some participants do not like to have their portrait included in the image recorded. In this regard, the communication system disclosed in
例えば、拠点A〜Cでビデオ会議が行われており、拠点Cが画像の録画又は音声の録音を行っている場合、拠点Aの参加者は、拠点BとCのどちらが録画又は録音しているのか分からず、拠点Bの参加者は、拠点AとCのどちらが録画又は録音しているのか分からない。このため、どの拠点に対し録画や録音の停止を要求すべきか判断しにくいし、秘匿性の高い情報を提示してよいかどうかを判断しにくい。 For example, when a video conference is being held at the bases A to C and the base C is recording an image or a sound, a participant at the base A is recording or recording at either the base B or the base C. The participant at the base B does not know which of the bases A and C is recording or recording. For this reason, it is difficult to determine which base should be requested to record or stop recording, and it is difficult to determine whether or not highly confidential information may be presented.
本発明は、上記課題に鑑み、画像データ又は音声データを記録している他の情報処理装置を報知する情報処理装置を提供することを目的とする。 In view of the above problems, it is an object of the present invention to provide an information processing device that notifies another information processing device that records image data or audio data.
本発明は、ネットワークを介して接続された1つ以上の他の情報処理装置に画像データ又は音声データの少なくとも一方を送信する情報処理装置であって、前記情報処理装置が送信した画像データ又は音声データを前記他の情報処理装置が記録する旨の記録通知を前記他の情報処理装置の識別情報と共に受信する受信手段と、前記受信手段が受信した前記識別情報に基づいて、前記記録通知を送信した前記他の情報処理装置が画像データ又は音声データを記録中であることを前記他の情報処理装置に対応付けて通知する記録端末通知手段と、前記他の情報処理装置から送信された画像データを表示装置に表示する全画面表示画面、又は、前記他の情報処理装置に関する情報を表示装置に表示する情報表示画面を切り替えて表示する表示制御手段と、前記受信手段が受信した前記識別情報を記憶する識別情報記憶手段と、前記識別情報記憶手段に1つも前記識別情報が記憶されていない状態で、前記全画面表示画面の表示中に、前記受信手段が前記記録通知を受信した場合、前記他の情報処理装置が画像データ又は音声データを記録中である旨を示す記録通知情報の前記全画面表示画面への表示を開始する記録中通知手段と、を有し、前記情報表示画面の表示中に、前記受信手段が前記記録通知を受信した場合、前記記録端末通知手段は、前記他の情報処理装置が画像データ又は音声データを記録中である旨の前記情報表示画面への表示を開始する。 The present invention is an information processing apparatus for transmitting at least one of image data and audio data to one or more other information processing apparatuses connected via a network, the image data or audio transmitted by the information processing apparatus. Receiving means for receiving, together with the identification information of the other information processing apparatus, a recording notification that the other information processing apparatus records data, and transmitting the recording notification based on the identification information received by the receiving means. Recording terminal notifying means for notifying that the other information processing apparatus is recording image data or audio data in association with the other information processing apparatus, and image data transmitted from the other information processing apparatus Is displayed on the display device, or a display control unit that switches and displays the information display screen that displays information about the other information processing device on the display device, and the identification information received by the receiving unit. In the case where the receiving unit receives the recording notification while the full-screen display screen is being displayed in a state in which the identification information storage unit to store and the identification information is not stored in the identification information storage unit, A recording notification means for starting display of recording notification information indicating that another information processing device is recording image data or audio data on the full-screen display screen, and displaying the information display screen. In the meantime, when the receiving means receives the recording notification, the recording terminal notifying means starts displaying on the information display screen that the other information processing device is recording image data or audio data. To do .
画像データ又は音声データを記録している他の情報処理装置を報知する情報処理装置を提供することができる。 It is possible to provide an information processing device that notifies another information processing device that is recording image data or audio data.
以下、本発明を実施するための形態について図面を参照しながら説明する。 Hereinafter, modes for carrying out the present invention will be described with reference to the drawings.
図1は、本実施形態の伝送システム1の動作の概略を説明する図の一例である。伝送端末10aaは、伝送端末10ba及び情報処理端末40bdとビデオ会議を行っている。伝送端末10aaは、伝送端末10ba及び情報処理端末40bdからの画像を合成してディスプレイ120に表示する(このような画面を全画面表示画面501という)。同様の画像を、伝送端末10ba及び情報処理端末40bdも表示している。
FIG. 1 is an example of a diagram for explaining the outline of the operation of the
(1)本実施形態の情報処理端末40bdはビデオ会議中に画像の録画を開始すると、録画開始通知(記録通知の一例)を伝送端末10aa、10baに送信する。以下では、説明の便宜上、伝送端末10aaに着目して説明する。 (1) When the information processing terminal 40bd of the present embodiment starts recording an image during a video conference, it transmits a recording start notification (an example of recording notification) to the transmission terminals 10aa and 10ba. In the following, for convenience of description, the description will focus on the transmission terminal 10aa.
(2)伝送端末10aaは録画開始通知に含まれる情報処理端末40bdの通信ID(04bd)を保持しておく。 (2) The transmission terminal 10aa holds the communication ID (04bd) of the information processing terminal 40bd included in the recording start notification.
(3)伝送端末10aaのユーザが録画している拠点を確認するため情報表示画面601を表示させると、保持しておいた通信IDを用いて録画している拠点を強調して表示する。図1では、端末名と通信IDが表示されているが、録画している情報処理端末40bdの端末名の先頭に録画拠点マーク71が表示されている。伝送端末10aaのユーザはこの録画拠点マーク71により複数の拠点の内どの拠点で録画されているかを判断できる。
(3) When the user of the transmission terminal 10aa displays the
このように、本実施形態の伝送システム1では、他拠点で会議を行っている場合に、どの拠点が録画しているかを他の拠点の参加者がリアルタイムに把握、確認又は特定等することができる。
As described above, in the
<用語について>
情報処理装置の識別情報は、情報処理装置を他の情報処理装置等が特定するための情報である。具体的には通信IDが挙げられる。この他、端末名、MACアドレス、メールアドレス、ユーザ名、ユーザID等で特定されてもよい。
<About terms>
The identification information of the information processing device is information for identifying the information processing device by another information processing device or the like. Specifically, the communication ID is used. In addition, it may be specified by a terminal name, a MAC address, a mail address, a user name, a user ID, or the like.
また、情報処理装置は画像データ又は音声データの少なくとも一方を送受信することができる装置である。本実施形態では伝送端末10又は情報処理端末40という用語で説明する。
The information processing device is a device capable of transmitting and receiving at least one of image data and audio data. In this embodiment, the
記録中であることを他の情報処理装置に対応付けて通知するとは、情報処理装置の端末名や通信IDなど情報処理装置を特定できる情報と共に、画像データ又は音声データの少なくとも一方を記録中である旨を出力することをいう。出力には、表示の他、音声による通知も含まれる。本実施形態では、例えば録画拠点マーク71が端末名と通信IDに対応付けて表示されることを例にする。
Notifying that information is being recorded by associating it with another information processing device means that at least one of image data and audio data is being recorded along with information that can identify the information processing device, such as the terminal name and communication ID of the information processing device. Outputting that there is. The output includes not only a display but also a voice notification. In the present embodiment, for example, the
また、画像データ又は音声データの記録とは、保存、保持、格納又は記憶等で表される処理をいう。記録された画像データ又は音声データは再生することができる。また、記録を、録画又は録音と称する場合がある。 The recording of image data or audio data refers to a process represented by saving, holding, storing, or storing. The recorded image data or audio data can be reproduced. In addition, recording may be referred to as recording or recording.
他の情報処理装置に関する情報とは、参加者が会議に参加している他の参加者を把握可能な情報をいう。例えば、端末名と通信IDの少なくとも一方である。 The information about the other information processing device means information by which the participant can grasp the other participants participating in the conference. For example, at least one of the terminal name and the communication ID.
通信中とは、2つ以上の伝送端末10及び情報処理端末40が画像データ又は音声データを送受信していることをいう。具体的には、ビデオ会議の会議中、ビデオ会議に参加中であることをいう。
In communication means that two or
記録通知とは記録を開始すること、記録していること、を通知することをいい、記録終了通知とは記録を終了した旨を通知することをいう。 The recording notification means to notify that recording is started and that recording is being performed, and the recording end notification means to notify that recording is completed.
<実施形態の全体構成>
図2は、本実施形態に係る伝送システム1の概略図である。図3は、伝送システム1における画像データ、音声データ及び各種管理情報の送受信の状態を示した概念図である。伝送システム1には、伝送管理装置50を介して一方の伝送端末から複数の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムが含まれる。また、伝送管理装置50を介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。コミュニケーションシステムは、コミュニケーション管理装置(「伝送管理装置50」に相当)を介して複数のコミュニケーション端末(「伝送端末」に相当)間で情報や感情等を相互に伝達するためのシステムである。ビデオ会議システムやビデオ電話システム等が例として挙げられる。
<Overall Configuration of Embodiment>
FIG. 2 is a schematic diagram of the
本実施形態では、コミュニケーションシステムの一例としてのビデオ会議システム、コミュニケーション管理装置の一例としてのビデオ会議管理装置及びコミュニケーション端末の一例としてのビデオ会議端末を想定した上で、伝送システム1、伝送管理装置50及び伝送端末10について説明する。即ち、本発明の伝送端末及び伝送管理装置50は、ビデオ会議システムに適用されるだけでなく、コミュニケーションシステム、又はデータ伝送システムにも適用される。
In the present embodiment, assuming that a video conference system as an example of a communication system, a video conference management device as an example of a communication management device, and a video conference terminal as an example of a communication terminal, the
図2に示すように、伝送システム1は、複数の伝送端末10aa、10ab、・・・と、各伝送端末10aa、10ab、・・・用のディスプレイ120aa、120ab、・・・と、UI提供装置20と、情報処理端末40bd、beと、中継装置30と、伝送管理装置50と、プログラム提供装置90と、を備えている。伝送端末10aa、10ab、・・・は、コンテンツデータとして、例えば、画像データ及び音声データの送受信による伝送を行うようになっている。
As shown in FIG. 2, the
UI提供装置20は、伝送端末10aa、10ab、・・・に主に拠点数を表示するための後述するレイアウト情報を送信する装置である。UI提供装置20は例えば伝送管理装置50や中継装置30が兼ねてもよい。
The
また、情報処理端末40は、伝送端末10の機能がソフトウェアで実現された装置である。具体的には、例えば、PC(Personal Computer)、タブレット型端末、スマートフォン、携帯電話、PDA(Personal Digital Assistant)、ゲーム機、カーナビゲーション装置、又は、電子書籍用端末などである。
The
なお、以下の説明において、複数の伝送端末10aa、10ab、・・・のうち、任意の伝送端末は、「伝送端末10」と表され、複数のディスプレイ120aa、120ab、・・・のうち、任意のディスプレイは、「ディスプレイ120」と表される。複数の情報処理端末40bd,beのうち、任意の情報処理端末は、「情報処理端末40」と表される。また、ビデオ会議の開始を要求する要求元の伝送端末10は、「要求元端末」と表され、要求先の伝送端末10は、「宛先端末」と表される。
In the following description, an arbitrary transmission terminal among the plurality of transmission terminals 10aa, 10ab,... Is referred to as “
また、ビデオ会議に参加している伝送端末10又は伝送端末10が設置されていることが想定される場所を「拠点」と称する。あるいは、伝送端末10を使用する相手のユーザと称してもよい。ビデオ会議に参加している伝送端末10が特定されれば、ユーザは伝送端末10が設置されていることが想定される場所や相手のユーザを推定できる。後述する端末名により、ユーザは相手や伝送端末10が設置されていることが想定される場所を推定できる。また、相手の居場所がどこであるかを特定する必要はなく、相手がいる場所が拠点である。また、相手とは個人を特定する必要はなく、企業名などの属性が分かればよい。例えば企業ユースでは、相手の伝送端末10が特定されれば、ユーザは相手や相手の居場所も推定できる。拠点の数は、ビデオ会議に参加している伝送端末10の数と同じであるが、1つと見なせる空間に(例えば1つの会議室)に複数の伝送端末10が存在してもよい。
A
図3に示すように、伝送システム1において、要求元端末である伝送端末10aaと宛先端末である伝送端末10ab(符号は一例)との間では、伝送管理装置50を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。
As shown in FIG. 3, in the
また、管理情報用セッションseiが確立した伝送端末10間では、中継装置30を介して、高解像度の画像データsed1、中解像度の画像データsed2、低解像度の画像データsed3及び音声データsed4の4つの各データを送受信するための4つのセッションが確立される。なお、本実施形態において、これら4つのセッションは、まとめて、「画像・音声データ用セッションsed」と表される。
In addition, between the
図2において、中継装置30は、複数の伝送端末10の間で、コンテンツデータの中継を行うようになっている。伝送管理装置50は、伝送端末10からのログイン認証、伝送端末10の伝送状態の管理、宛先リストの管理等及び中継装置30の伝送状態等を一元的に管理するようになっている。なお、画像データが表す画像は、動画であっても静止画であってもよく、動画と静止画との両方であってもよい。
In FIG. 2, the
複数のルータ70a、70b、70c、70d、70ab、70cdは、画像データ及び音声データの最適な経路の選択を行う。なお、以下の説明において、ルータ70a、70b、70c、70d、70ab、70cdのうち、任意のルータは、「ルータ70」と表される。
The plurality of
プログラム提供装置90は、後述するHD(Hard Disk)204を備えており、伝送端末10に各種機能を実現させるための伝送端末制御プログラム1000aが記憶され、伝送端末制御プログラム1000aを伝送端末10に送信することができる。
The
また、プログラム提供装置90のHD204には、中継装置30に各種機能を実現させるための中継装置用プログラムも記憶されており、中継装置用プログラムを中継装置30に送信することができる。
The
更に、プログラム提供装置90のHD204には、伝送管理装置50に各種機能を実現させるための伝送管理プログラム5000aも記憶されており、伝送管理プログラム5000aを伝送管理装置50に送信することができる。
Further, the
また、プログラム提供装置90のHD204には、UI提供装置20に各種機能を実現させるためのUI提供装置用プログラムも記憶されており、UI提供装置用プログラムをUI提供装置20に送信することができる。
Further, the
また、プログラム提供装置90のHD204には、情報処理端末40に各種機能を実現させるための情報処理端末用プログラム1000cも記憶されており、情報処理端末用プログラム1000cを情報処理端末40に送信することができる。
Further, the
伝送端末10aa、10ab、10ac、・・・及びルータ70aは、LAN2aによって伝送可能に接続されている。伝送端末10ba、10bb、10bc、・・・及びルータ70bは、LAN2bによって伝送可能に接続されている。
The transmission terminals 10aa, 10ab, 10ac,... And the
また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって伝送可能に接続されており、所定の地域A内に設けられている。例えば、地域Aは、日本であり、LAN2aは東京の事業所内に設けられ、LAN2bは大阪の事業所内に設けられている。
The
一方、伝送端末10ca、10cb、10cc、・・・及びルータ70cは、LAN2cによって伝送可能に接続されている。伝送端末10da、10db、10dc、・・・及びルータ70dは、LAN2dによって伝送可能に接続されている。
On the other hand, the transmission terminals 10ca, 10cb, 10cc,... And the
また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって伝送可能に接続されており、所定の地域B内に設けられている。例えば、地域Bはアメリカ合衆国であり、LAN2cはニューヨークの事業所内に設けられ、LAN2dはワシントンD.C.の事業所内に設けられている。地域A及び地域Bは、それぞれルータ70ab、70cdからインターネット2iを介して相互に伝送可能に接続されている。
The
また、中継装置30、伝送管理装置50、UI提供装置20、情報処理端末40、及びプログラム提供装置90は、インターネット2iを介して、各伝送端末10と伝送可能に接続されている。ここで、中継装置30、伝送管理装置50、UI提供装置20、情報処理端末40及びプログラム提供装置90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
Further, the
なお、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c及びLAN2dによって、本実施形態の伝送ネットワーク2が構成されている。伝送ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)や、Bluetooth(登録商標)等の無線による伝送が行われる箇所があってもよい。
In this embodiment, the
また、図2において、各伝送端末10、中継装置30、伝送管理装置50、各ルータ70、UI提供装置20、情報処理端末40及びプログラム提供装置90の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、伝送端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明する。
Also, in FIG. 2, the four sets of numbers shown below each
なお、各伝送端末10は、複数の事業所間でのビデオ会議や、同じ事業所内の異なる部屋間でのビデオ会議だけでなく、同じ部屋内でのビデオ会議や、屋外と屋内又は屋外と屋外でのビデオ会議で使われてもよい。各伝送端末10が屋外で使われる場合には、携帯電話伝送網等の無線による伝送が行われる。
Each
<伝送端末のハードウェア構成>
図4は、伝送端末のハードウェア構成図の一例である。図4に示すように、伝送端末10は、伝送端末10全体の動作を制御するCPU(Central Processing Unit)101と、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102とを有する。また、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103と、伝送端末制御プログラム1000a、画像データ及び音声データ等の各種データを記憶するフラッシュメモリ104と、を有する。また、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105を有する。また、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107と、伝送端末10の宛先を選択する場合などに操作される操作ボタン108と、を有する。また、伝送端末10の電源のON/OFFを切り換えるための電源スイッチ109と、伝送ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111と、を備えている。
<Hardware configuration of transmission terminal>
FIG. 4 is an example of a hardware configuration diagram of the transmission terminal. As shown in FIG. 4, the
また、伝送端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112と、カメラ112の駆動を制御する撮像素子I/F113と、音を入力する内蔵型の集音装置としてのマイク114と、を有する。また、音を出力する内蔵型のスピーカ115と、CPU101の制御に従ってマイク114及びスピーカ115との間で音信号の入出力を処理する音入出力I/F116と、を有する。また、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117と、を有する。また、各種の外部機器を接続するための外部機器接続I/F118と、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン110と、を備えている。
In addition, the
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示装置を構成する。ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続されている。ケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(登録商標)(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
The
カメラ112は、レンズと、光を電荷に変換して被写体の像を電子化する固体撮像素子とを含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)又はCCD(Charge Coupled Device)等が用いられる。
The
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク及び外付けスピーカ等の外部機器を接続できるようになっている。
An external device such as an external camera, an external microphone, and an external speaker can be connected to the external device connection I/
外部機器接続I/F118に外付けカメラが接続された場合には、CPU101は、内蔵型のカメラ112に優先して、外付けカメラを駆動するようになっている。また、外部機器接続I/F118に外付けマイクや外付けスピーカが接続された場合には、CPU101は、内蔵型のマイク114や内蔵型のスピーカ115にそれぞれ優先して、外付けマイクや外付けスピーカを駆動するようになっている。
When an external camera is connected to the external device connection I/
なお、記録メディア106は、伝送端末10に対して着脱自在に構成されている。また、伝送端末10は、CPU101の制御に従ってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に代えて、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
The
また、伝送端末制御プログラム1000aは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア106等のような、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、伝送端末制御プログラム1000aは、フラッシュメモリ104ではなくROM102に記憶させるようにしてもよい。
Further, the transmission
情報処理端末40は、伝送端末10と同様のハードウェア構成を有しているか、差異があるとしても少なくとも本実施形態の説明においては支障がないものとする。但し、SSD105には、情報処理端末40を制御するための情報処理端末用プログラム1000cが記録されている。
The
<<伝送管理装置50、UI提供装置、中継装置、プログラム提供装置のハードウェア構成図>>
図5は、伝送管理装置50、UI提供装置20、中継装置又はプログラム提供装置のハードウェア構成図である。図5に示すように、伝送管理装置50は、伝送管理装置50全体の動作を制御するCPU201と、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202と、CPU201のワークエリアとして使用されるRAM203と、を有する。また、伝送管理プログラム等の各種データを記憶するHD204と、CPU201の制御に従ってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205と、を有する。また、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207と、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208と、を有する。また、伝送ネットワーク2を利用してデータ伝送をするためのネットワークI/図2809と、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211と、を有する。また、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212と、を有する。また、着脱可能な記録媒体の一例としての光記憶媒体(Compact Disc Read Only Memory)213に対する各種データの読み出し又は書き込みを制御する光学ドライブ214と、を有する。また、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン210と、を備えている。
<< Hardware configuration diagram of the
FIG. 5 is a hardware configuration diagram of the
なお、伝送管理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア206や光記憶媒体213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、伝送管理プログラムは、HD204ではなくROM202に記憶されていてもよい。
The transmission management program may be a file in an installable format or an executable format, and may be recorded in a computer-readable recording medium such as the
また、中継装置30は、伝送管理装置50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、中継装置30を制御するための中継装置用プログラムが記録されている。
Further, since the
この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア206や光記憶媒体213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、中継装置用プログラムは、HD204ではなくROM202に記憶されていてもよい。
Also in this case, the relay device program is a file in an installable format or an executable format, and is recorded in a computer-readable recording medium such as the
また、プログラム提供装置90は、伝送管理装置50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、プログラム提供装置90を制御するためのプログラム提供装置用プログラムが記録されている。
Further, since the
この場合も、プログラム提供装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア206や光記憶媒体213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、プログラム提供装置用プログラムは、HD204ではなくROM202に記憶されていてもよい。
Also in this case, the program for the program providing device is a file in an installable format or an executable format, and is recorded in a computer-readable recording medium such as the
また、UI提供装置20は、伝送管理装置50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、UI提供装置20を制御するためのUI提供装置用プログラム及び後述するレイアウト情報が記録されている。
Since the
この場合も、UI提供装置用プログラム及びレイアウト情報は、インストール可能な形式又は実行可能な形式のファイルで、記録メディア206や光記憶媒体213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、UI提供装置用プログラム及びレイアウト情報は、HD204ではなくROM202に記憶されていてもよい。
Also in this case, the UI providing device program and the layout information are files in an installable format or an executable format and are recorded in a computer-readable recording medium such as the
なお、上記したコンピュータで読み取り可能な記録媒体として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等を適用してもよい。 A CD-R (Compact Disc Recordable), a DVD (Digital Versatile Disk), a Blu-ray disc, or the like may be applied as the computer-readable recording medium.
なお、図示する伝送管理装置50等のハードウェア構成は、1つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、伝送管理装置50等が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応するため、本実施例の伝送管理システム50等の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。
The hardware configuration of the illustrated
<伝送システム1の機能構成>
図6は、伝送システム1に含まれる各端末の機能ブロック図である。伝送端末10、中継装置30、情報処理端末40,UI提供装置20及び伝送管理装置50は、伝送ネットワーク2を介してデータを伝送することができるように接続されている。なお、図2に示した、中継装置30及びプログラム提供装置90は、必要に応じて説明される。情報処理端末40については、図7にて説明される。
<Functional configuration of
FIG. 6 is a functional block diagram of each terminal included in the
<<伝送端末の機能構成>>
伝送端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14、音入力部15a、音出力部15b、宛先リスト表示部16、表示制御部17、及び記憶・読出処理部19を有している。これら各部は、図4のフラッシュメモリ104からRAM103上に展開された伝送端末制御プログラム1000aを実行するCPU101によって実現される機能である。また、伝送端末10は、RAM103及びフラッシュメモリ104によって構成される記憶部1000を有している。記憶部1000には伝送端末制御プログラム1000a及び録画中管理テーブル1000bが記憶されている。
<< Functional configuration of transmission terminal >>
The
表1は録画中管理テーブル1000bの一例を示す。録画中管理テーブル1000bには録画中の伝送端末10及び情報処理端末40の通信IDが登録されている。すなわち、録画を開始した伝送端末10及び情報処理端末40は録画開始通知(通信IDを含む)を他の伝送端末10及び情報処理端末40に送信するので、録画開始通知を受信した伝送端末10及び情報処理端末40は通信IDを録画中管理テーブル1000bに登録する。複数の伝送端末10及び情報処理端末40が録画している場合は、録画開始通知を送信した全ての伝送端末10及び情報処理端末40の通信IDが送信した録画開始通知が録画中管理テーブル1000bによって保持される。
Table 1 shows an example of the recording management table 1000b. Communication IDs of the
なお、説明の便宜上、「01」で始まる通信IDは伝送端末10の通信IDを意味し、「04」で始まる通信IDは情報処理端末40の通信IDを意味しているものとして説明する。
For convenience of explanation, the communication ID starting with “01” means the communication ID of the
(伝送端末の各機能構成)
送受信部11は、CPU101及びネットワークI/F111等によって構成され、伝送ネットワーク2を介して他の伝送端末10、情報処理端末40、中継装置30、伝送管理装置50、又は、プログラム提供装置90と各種データや情報の送受信を行うようになっている。
(Each functional configuration of the transmission terminal)
The transmission/
送受信部11は、所望の宛先端末とビデオ会議を開始する前から、伝送管理装置50より、ビデオ会議の接続先の候補としての各伝送端末10の状態を示す各状態情報の受信を開始するようになっている。状態情報は、各伝送端末10がオンラインかオフラインかの稼動状態を表すだけでなく、オンラインで伝送可能であるか、オンラインで伝送中であるか等の詳細な稼動状態も表す。
The transmission/
また、状態情報は、各伝送端末10の稼動状態だけでなく、伝送端末10でケーブル120cが伝送端末10から外れていたり、音を出力するが画像は出力させなかったり、音を出力させないようにする(MUTE)等、様々な状態を表す。以下の説明においては、本発明を理解しやすくするために、状態情報が各伝送端末10の稼動状態を表す場合について説明する。
In addition, the state information indicates not only the operating state of each
操作入力受付部12は、CPU101、操作ボタン108及び電源スイッチ109等によって構成され、ユーザによる各種入力を受け付けるようになっている。例えば、ユーザが、電源スイッチ109をONにすると、操作入力受付部12が電源ONを受け付けて、伝送端末10の電源をONにするようになっている。
The operation
ログイン要求部13は、CPU101等によって構成される。電源ONの受け付けを契機として、送受信部11から伝送ネットワーク2を介して伝送管理装置50に、ログインを要求する旨を示すログイン要求情報及び現時点の自端末のIPアドレスを送信するようになっている。
The
また、ユーザが電源スイッチ109をONの状態からOFFの状態にすると、送受信部11が伝送管理装置50に電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が伝送端末10の電源を完全にOFFにするようになっている。これにより、伝送管理装置50側では、伝送端末10が電源ONから電源OFFになったことを把握することができる。
Further, when the user turns the
撮像部14は、CPU101、カメラ112及び撮像素子I/F113等によって構成され、被写体を撮像し、撮像して得られた画像データを送受信部11に出力するようになっている。
The
音入力部15aは、CPU101及び音入出力I/F116等によって構成され、マイク114によって集音されて得られた音を表す音信号が入力され、入力された音信号を音声データに変換するようになっている。
The
音出力部15bは、CPU101及び音入出力I/F116等によって構成され、音声データを音信号に変換し、変換した音信号をスピーカ115に出力することにより、スピーカ115に音を出力させるようになっている。
The
表示制御部17は、CPU101及びディスプレイI/F117等によって構成される。表示制御部17は、送受信部11に受信された解像度の異なる画像データを組み合わせ、組み合わせた画像データをディスプレイ120に送信することにより、画像データが表す画像をディスプレイ120に表示させるようになっている(全画面表示モード)。また、他の拠点の詳細な情報を表示することができる(情報表示モード)。
The
表示制御部17は補助領域表示部18a及び拠点リスト表示部18bを有している。補助領域表示部18aは、伝送端末10が後述する全画面表示モードの場合に、全画面表示画面501の補助領域に会議に参加している拠点数や録画通知情報(記録通知情報)などを表示する。拠点リスト表示部18bは、伝送端末10が後述する情報表示モードの場合に、情報表示画面601に会議に参加している拠点の名称、通信ID、及び、録画中管理テーブル1000bを参照し録画拠点マーク71などを表示する。
The
宛先リスト表示部16は、伝送管理装置50から送信される宛先状態情報に基づき宛先リスト画面をディスプレイ120に表示する。宛先状態情報には録画会議中か否かの稼動状態が含まれ、宛先リスト画面には宛先の伝送端末10及び情報処理端末40ごとに会議中か否かが表示される。
The destination
記憶・読出処理部19は、CPU101及びSSD105等によって構成され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出したりするようになっている。
The storage/
記憶部1000には、伝送端末10を通信先(他の拠点から見て)として識別するための通信ID及びパスワード等が記憶されている。更に、記憶部1000は、宛先端末とビデオ会議を行う際に受信される画像データ及び音声データの受信バッファとしても用いられる。なお、本実施形態の通信IDは、伝送端末10を一意に識別するために使われる言語、文字、記号又は各種の標し等の情報を示す。また、通信IDは、言語、文字、記号及び各種の標しのうち、少なくとも2つが組み合わされた情報であってもよい。
The
<伝送管理装置50の機能構成>
伝送管理装置50は、送受信部51、端末認証部52、状態管理部53、端末抽出部54、端末状態取得部55、セッション管理部56、及び記憶・読出処理部59を有している。これら各部は、図5に示したHD204からRAM203上に展開された伝送管理プログラム5000aを実行するCPU201によって実現される機能である。また、伝送管理装置50は、HD204により構成される記憶部5000を有している。以下、記憶部5000に記憶されたデータベースについて説明する。
<Functional configuration of the
The
記憶部5000には、表2に示すような端末認証管理テーブルを有する端末認証管理DB5001が構築されている。端末認証管理テーブルでは、伝送管理装置50によって管理される全ての伝送端末10の各通信IDに対して、各パスワードが関連付けられて管理される。例えば、表1に示した端末認証管理テーブルは、伝送端末10aaの通信IDが「01aa」で、パスワードが「aaaa」であることを示している。
In the
また、記憶部5000には、表3に示すような端末管理テーブルを有する端末管理DB5002が構築されている。端末管理テーブルでは、各伝送端末10の通信ID毎に、各伝送端末10又は情報処理端末40の端末名と、各伝送端末10の稼動状態と、伝送端末10のIPアドレスとが関連付けられて管理されている。端末名は、予め通信IDと対応づけて伝送管理装置50に登録されており、通信IDが分かると端末名が判明する。
Further, in the
例えば、表3(a)に示した端末管理テーブルは、通信IDが「01aa」の伝送端末10aaに対して、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(伝送中)」で、伝送端末10aaのIPアドレスが「1.2.1.3」であることを表している。 For example, in the terminal management table shown in Table 3(a), for the transmission terminal 10aa with the communication ID "01aa", the terminal name is "Japan Tokyo Office AA terminal" and the operating state is "online (transmitting). )” indicates that the IP address of the transmission terminal 10aa is “1.2.1.3”.
なお、表3(a)の端末管理テーブルは、通信IDが01aaの伝送端末10aa、通信IDが01baの伝送端末10ba、及び、通信IDが04bdの情報処理端末40bdが会議に参加中となった状態を示している(オンライン(伝送中))。これよりも前の稼動状態としてオンライン(伝送可能)となる状態がある。 In the terminal management table of Table 3(a), the transmission terminal 10aa with the communication ID 01aa, the transmission terminal 10ba with the communication ID 01ba, and the information processing terminal 40bd with the communication ID 04bd are participating in the conference. Indicates the status (online (in transmission)). As an operating state prior to this, there is a state of being online (transmittable).
また、表3(b)は録画会議中の情報処理端末40が会議に参加している場合の端末管理テーブルを示す。通信IDが「04db」の情報処理端末40dbに対し、稼動状態が「録画会議中」となっている。この稼動状態が「録画会議中」であることが、情報処理端末40bdが録画中であることを表している。通信IDが「01aa」「01ba」の稼動状態も「録画会議中」である。これは、情報処理端末40と同じ会議に参加している伝送端末10及び情報処理端末40の稼動状態も「録画会議中」に変更されるためである(伝送端末10及び情報処理端末40が実際に録画していなくても)。
Further, Table 3(b) shows a terminal management table when the
ここで、端末管理テーブルの通信IDは、伝送端末10及び情報処理端末40が伝送システム1に登録される際にユニークに割り当てられ、端末名は、伝送管理装置50の管理者によって登録又は変更される。なお、端末名は、伝送端末10から伝送管理装置50に対してなされる要求に応じて、登録又は変更されてもよい。すなわち、通信IDと端末名は予め登録されているものとして説明する。
Here, the communication ID of the terminal management table is uniquely assigned when the
また、稼動状態が「オンライン(伝送可能)」とは、伝送端末10が伝送システム1にログインした状態で、ビデオ会議に参加していない状態であることを表す。「オンライン(伝送中)」とは、伝送端末10が伝送システム1にログインした状態で、ビデオ会議に参加している状態(会議中という意味)であることを表す。稼動状態が「オフライン」とは、伝送端末10が伝送システム1にログインしていない状態であることを表す。ビデオ会議に参加している又は会議中の伝送端末10とは、稼動状態が「オンライン(伝送中)」の伝送端末10である。
Further, the operating state “online (transmittable)” means that the
更に、記憶部5000には、表4に示すような宛先リスト管理テーブルを有する宛先リスト管理DB5003が構築されている。宛先リスト管理テーブルでは、ビデオ会議の開始を要求する要求元端末の通信IDに対して、宛先端末の候補として登録されている宛先端末の通信IDが全て関連付けられて管理されている。
Further, in the
例えば、通信IDが「01aa」である伝送端末10aaからビデオ会議の開始を要求できる宛先端末の候補は、通信IDが「01ab」〜「01dc」の伝送端末10ab〜10dc及び通信IDが「04bd」「04be」である情報処理端末40bd、beであることが示されている。宛先端末の通信IDは、伝送端末10又は情報処理端末40から伝送管理装置50に対してなされる要求に応じて、宛先となる伝送端末10又は情報処理端末40からの許可通知(承諾)が返送されると追加される。また、伝送端末10又は情報処理端末40から伝送管理装置50に対して削除されることもできる。
For example, the candidates of the destination terminal that can request the start of the video conference from the transmission terminal 10aa having the communication ID “01aa” are the transmission terminals 10ab to 10dc having the communication IDs “01ab” to “01dc” and the communication ID “04bd”. It is shown that the information processing terminals 40bd and be are "04be". The communication ID of the destination terminal is a permission notification (acceptance) returned from the
また、記憶部5000には、セッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、中継装置30を選択するためのセッションの実行に用いられるセッションID毎に、画像データ及び音声データの中継に使用される中継装置30の中継装置ID、要求元端末の通信ID、宛先端末の通信ID、及び、会議ID、が関連付けられて管理される。セッションIDはセッションを識別するためのIDであり同じ会議に参加する伝送端末10が同じセッションに含まれるとは限らない。これに対し会議IDは同じ会議に参加する伝送端末10に同じものが付与される。
In addition, a
(UI提供装置のURI)
更に、記憶部5000には、UI提供装置20のURI(Uniform Resource Identifier)5005が記憶されている。UI提供装置20のURI5005は、伝送管理装置50又はUI提供装置20の管理者などにより設定されている。
(URI of UI providing device)
Further, the
(録画中管理テーブル)
記憶部5000には録画中管理テーブル5006が記憶されている。伝送管理装置50が保持する録画中管理テーブル5006には、会議ごとに録画中の伝送端末10及び情報処理端末40の通信IDが全て登録されている。
(Management table during recording)
A recording management table 5006 is stored in the
(伝送管理装置50の各機能構成)
送受信部51は、CPU201及びネットワークI/図2809等によって構成され、伝送ネットワーク2を介して他の伝送端末10又は中継装置30、プログラム提供装置90と各種データや情報の送受信を行うようになっている。
(Each functional configuration of the transmission management device 50)
The transmission/
端末認証部52は、CPU101等によって構成され、送受信部51を介して受信されたログイン要求情報に含まれている通信ID及びパスワードを検索キーとして、端末認証管理DB5001を検索する。そして、端末認証管理DB5001に同一の通信ID及びパスワードが管理されているかを判定することによって端末認証を行うようになっている。なお、認証方法はこれに限られず、クライアント証明書(公開鍵と秘密鍵を用いた認証方法)を用いてもよい。
The
状態管理部53は、CPU101等によって構成され、ログイン要求してきた要求元端末の稼動状態を管理する。すなわち、端末管理DB5002に、要求元端末の通信IDに対して、稼動状態、及びIPアドレスを関連付けて記憶して管理するようになっている。
The
また、ユーザが伝送端末10の電源スイッチ109の状態をONからOFFにする。状態管理部53は、これにより、伝送端末10から送られてきた、電源をOFFする旨の状態情報に基づいて、端末管理DB5002における伝送端末10の稼動状態をオンラインからオフラインに変更するようになっている。また、状態管理部53は定期的に(不定期でもよい)伝送端末10及び情報処理端末40の死活を監視するための通信を行う。
Also, the user turns the
端末抽出部54は、CPU101等によって構成され、ログイン要求した要求元端末の通信IDを検索キーとして、宛先リスト管理DB5003を検索し、要求元端末に対する宛先端末の候補の通信IDを抽出するようになっている。
The
また、端末抽出部54は、ログイン要求してきた要求元端末の通信IDを検索キーとして、宛先リスト管理DB5003を検索し、要求元端末の通信IDを宛先端末の候補として登録している他の要求元端末の通信IDも抽出するようになっている。
In addition, the
端末状態取得部55は、CPU101等によって構成され、端末抽出部54によって抽出された宛先端末の候補の通信IDを検索キーとして、端末管理DB5002を検索し、検出された通信ID毎に稼動状態を読み出すようになっている。
The terminal status acquisition unit 55 is configured by the
これにより、端末状態取得部55は、ログイン要求してきた要求元端末に対する宛先端末の候補の稼動状態を取得することができる。また、端末状態取得部55は、端末抽出部54によって抽出された通信IDを検索キーとして、端末管理DB5002を検索し、ログイン要求してきた要求元端末の稼動状態も取得するようになっている。
As a result, the terminal status acquisition unit 55 can acquire the operating status of the destination terminal candidate for the request source terminal that has made the login request. The terminal status acquisition unit 55 also searches the
セッション管理部56は、伝送端末10と伝送端末10、伝送端末10と情報処理端末40、又は、情報処理端末40と情報処理端末40の間でセッションが確立すると、セッション管理テーブルでセッションを管理する。すでにセッションが確立している伝送端末10又は情報処理端末40に対し別のセッションが確立した場合、セッション管理部56は同じ会議IDを付与するので、同じ会議に参加している伝送端末10及び情報処理端末40が会議IDで紐付けられる。
When the session is established between the
記憶・読出処理部59は、CPU101及びHDD205等によって構成され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりするようになっている。
The storage/
<<UI提供装置の各機能構成>>
UI提供装置20は、送受信部81、サーバ部82及び記憶・読出処理部89を有している。これら各部は、HD204からRAM203上に展開されたUI提供装置用プログラム2000aを実行するCPU201によって実現される機能である。また、伝送管理装置50は、HD204により構成される記憶部2000を有している。記憶部2000にはレイアウト情報lotが記憶されている。
<<Each functional configuration of UI provision device>>
The
(UI提供装置の各機能構成)
送受信部81は、CPU201及びネットワークI/図2809等によって構成され、伝送ネットワーク2を介して伝送端末10と各種データや情報の送受信を行うようになっている。
(Each functional configuration of the UI providing device)
The transmission/
サーバ部82は、CPU101等によって構成され、伝送端末10からレイアウト情報要求信号を取得し、記憶・読出処理部29が記憶部2000から読み出したレイアウト情報lotを、送受信部81を介して伝送端末10に送信する。
The
記憶・読出処理部89は、CPU101等によって構成され、記憶部2000に各種データを記憶したり、記憶部2000に記憶された各種データを読み出したりするようになっている。記憶部2000は、ROM202、RAM203、HDD205等によって構成され、主にUI提供装置用プログラム2000aとレイアウト情報lotを記憶している。
The storage/
<<情報処理端末の機能構成>>
図7は、情報処理端末40の機能ブロック図の一例である。情報処理端末40の機能については伝送端末10との相違を主に説明する。情報処理端末40の機能は伝送端末10と同様であるが、情報処理端末40は画像録画部41を有する点が伝送端末10と異なっている。情報処理端末40が有する各機能は、図4に示したフラッシュメモリ104からRAM103上に展開された情報処理端末用プログラム1000cを実行するCPU101によって実現される機能である。また、情報処理端末40は記憶部1000に、情報処理端末用プログラム1000c及び録画データ1000dを記憶している。
<<Functional configuration of information processing terminal>>
FIG. 7 is an example of a functional block diagram of the
画像録画部41は、ディスプレイ120に表示される画像データ及び音声データを録画データ1000dとして記録する。録画データは、表示制御部17がディスプレイ120に表示した全画面表示画面501や情報表示画面601が録画されたデータである。全画面表示画面501や情報表示画面601に限らず、ディスプレイ120に表示された画面は保存することが可能である。また、音出力部15bがスピーカ115から出力した音声データも録音(記録)することが可能である。本実施形態では、画像録画部41が録画することで音声データも録音されているものとする。一方、画像録画部41は、画像データのみ又は音声データのみを記録することが可能である。
The
なお、本実施形態では情報処理端末40が録画する機能を有し、伝送端末10が録画する機能を有していないが、これは説明のための区別に過ぎず、伝送端末10が録画する機能を有することも可能である。
In the present embodiment, the
また、録画データ1000dを記憶部1000でなくネットワーク上のNAS(Network Attached Storage)などに記憶してもよい。
Further, the
<実施形態の処理又は動作>
次に、本実施形態に係る伝送システム1の動作について説明する。図8は、伝送端末10がビデオ会議に参加する準備状態になるまでの準備段階動作を示すシーケンス図である。なお、図8は、伝送端末10aaが準備状態になる例が示されている。準備段階動作においては、管理情報用セッションseiで各種情報が送受信される。また、情報処理端末40がビデオ会議に参加する処理も伝送端末10と同様である。
<Process or Operation of Embodiment>
Next, the operation of the
まず、伝送端末10aaのユーザが、伝送端末10aaの電源スイッチ109をONにすると、操作入力受付部12が電源ONを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、電源ONの受け付けを契機とし、伝送端末10aaの送受信部11から伝送ネットワーク2を介して伝送管理装置50にログイン要求を表すログイン要求情報を送信する(ステップS22)。
First, when the user of the transmission terminal 10aa turns on the
ログイン要求情報には、ログイン要求元の伝送端末10aaを識別するための通信ID及びパスワードが含まれている。これら通信ID及びパスワードは、記憶・読出処理部19によって記憶部1000から読み出される。
The login request information includes the communication ID and the password for identifying the transmission terminal 10aa that is the login request source. The communication ID and password are read from the
なお、伝送端末10aaから送信されたログイン要求情報が伝送管理装置50に受信された際には、伝送管理装置50は、送信側である伝送端末10aaのIPアドレスを把握することができる。
When the login request information transmitted from the transmission terminal 10aa is received by the
次に、伝送管理装置50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている通信ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5001を検索する。そして、端末認証管理DB5001に検索キーと同一の通信ID及びパスワードが管理されているかを判定することによって端末認証を行う(ステップS23)。
Next, the
ここで、端末認証部52によって、検索キーと同一の通信ID及びパスワードが管理されていないと判定された場合、すなわち、正当な利用権限を有する伝送端末10からのログイン要求でないと判定された場合がある。この場合、送受信部51は、端末認証部52によって得られた認証結果を表す認証結果情報をログイン要求してきた伝送端末10aaに伝送ネットワーク2を介して送信し、準備段階の動作は終了することとなる。
Here, when it is determined by the
一方、端末認証部52によって、検索キーと同一の通信ID及びパスワードが管理されていると判定された場合、すなわち、正当な利用権限を有する伝送端末10からのログイン要求であると判定された場合がある。この場合、状態管理部53は、端末管理DB5002に、伝送端末10aaの通信ID、稼動状態、及び伝送端末10aaのIPアドレスを関連付けて記憶する(ステップS24)。
On the other hand, when the
これにより、端末管理テーブルは、通信ID「01aa」、稼動状態「オンライン(伝送可能)」、及び伝送端末10aaのIPアドレス「1.2.1.3」を関連付けて管理することになる。 As a result, the terminal management table manages the communication ID “01aa”, the operating state “online (transmittable)”, and the IP address “1.2.1.3” of the transmission terminal 10aa in association with each other.
次に、伝送管理装置50の送受信部51は、端末認証部52によって得られた認証結果を表す認証結果情報をログイン要求してきた伝送端末10aaに伝送ネットワーク2を介して送信する(ステップS25)。また、伝送管理装置50は、認証結果情報と共に又は前後して、UI提供装置20のURI5005を伝送端末10に送信する。これにより、伝送端末10はUI提供装置20にアクセスできるようになる。
Next, the transmission/
このUI提供装置20のURI5005は伝送ネットワーク2におけるレイアウト情報lotの保存場所を示す。例えば「IPアドレス(又はドメイン名)+フォルダ名+ファイル名」のような形式を有するが、UI提供装置20にアクセス可能であればよい。
The
URI5005を各伝送端末10が保持しないことによって、UI提供装置20が置き換えられたり、URIが変更になったりしても、伝送管理装置50の管理者が伝送管理装置50に記憶しているURIを変更するだけでよい。すなわち、全ての伝送端末10に対する変更が必要でなくなるため、管理の負荷を低減できる。
Since each
次に、伝送管理装置50の端末抽出部54は、ログイン要求してきた伝送端末10aaの通信ID「01aa」を検索キーとして、宛先リスト管理DB5003を検索し、伝送端末10aaに対する宛先端末の候補の通信IDを抽出する(ステップS26)。
Next, the
ここでは、伝送端末10aaの通信ID「01aa」に対する宛先端末として通信IDが「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」が抽出されることになる。 Here, the communication ID “01ab, 01ac, 01ba, 01bb, 01bc, 04bd, 04be, 01ca, 01cb, 01ca, 01da, 01db, 01dc” is extracted as the destination terminal for the communication ID “01aa” of the transmission terminal 10aa. It will be.
次に、伝送管理装置50の端末状態取得部55は、端末抽出部54によって抽出された宛先端末の候補の通信ID「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」を検索キーとして、端末管理DB5002を検索する。そして、端末抽出部54によって抽出された通信ID毎に稼動状態「オフライン」、「オンライン(伝送可能)」、「オンライン(伝送中)」「録画会議中」を読み出すことにより、伝送端末10と情報処理端末40の各稼動状態を取得する(ステップS27)。
Next, the terminal status acquisition unit 55 of the
次に、伝送管理装置50の送受信部51は、ステップS27で使用された検索キーである通信ID「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」と、各伝送端末10及び情報処理端末40の稼動状態「オフライン」、「オンライン(伝送可能)」、「オンライン(伝送中)」「録画会議中」を宛先状態情報に含める。そして、伝送ネットワーク2を介して伝送端末10aaに送信する(ステップS28)。
Next, the transmission/
これにより、伝送端末10aaは、宛先端末の候補である伝送端末10ab、10ac、10ba、10bb、10bc、10ca、10cb、10ca、10da、10db、10dc、情報処理端末40bd、40beの現時点のそれぞれの稼動状態「オフライン」、「オンライン(伝送可能)」、「オンライン(伝送中)」「録画会議中」を把握することができる。 As a result, the transmission terminal 10aa operates at the present time of the transmission terminals 10ab, 10ac, 10ba, 10bb, 10bc, 10ca, 10cb, 10ca, 10da, 10db, 10dc, and the information processing terminals 40bd, 40be, which are candidates for the destination terminal. It is possible to grasp the states “offline”, “online (transmittable)”, “online (transmitting)”, and “recording conference in progress”.
更に、伝送管理装置50の端末抽出部54は、ログイン要求してきた伝送端末10aaの通信ID「01aa」を検索キーとして、宛先リスト管理DB5003を検索する。そして、伝送端末10aaの通信ID「01aa」を宛先端末の候補として登録している他の伝送端末の通信IDを抽出する(ステップS29)。表4の宛先リスト管理テーブルによれば、「01ba」、「01ca」「04bd」が抽出される。
Further, the
次に、伝送管理装置50の状態管理部53は、ログイン要求して来た伝送端末10aaの通信ID「01aa」を検索キーとして、端末管理DB5002を検索する。そして、ログイン要求してきた伝送端末10aaの稼動状態「オンライン(伝送可能)」(ログイン直後はオンライン(伝送可能)である)を取得する(ステップS30)。
Next, the
次に、伝送管理装置50の送受信部51は、ステップS29で抽出された通信ID「01ba」、「01ca」「04bd」で識別されるそれぞれの伝送端末10ba、10ca、及び情報処理端末40dbのうち、端末管理DB5002で稼動状態が「オンライン」となっている伝送端末10baと情報処理端末40bdを特定する。オンラインでなければ宛先状態情報を受け取れないためである。そして、ステップS30で取得された伝送端末10aaの通信ID「01aa」と稼動状態「オンライン(伝送可能)」とが含まれる宛先状態情報を送信する(ステップS31−1、31−2)。
Next, the transmission/
伝送端末10aaの宛先リスト表示部16は、ステップS28で受信した宛先状態情報を用いて、宛先リスト画面をディスプレイ120aaに表示させる(S32)。宛先リスト画面を図11に示す。
The destination
なお、伝送端末10ba、情報処理端末40bdに宛先状態情報を送信する際には、送受信部51は、各通信ID「01ba」、「04bd」に基づいて、端末管理テーブルで管理されている伝送端末のIPアドレスを参照する。
When transmitting the destination state information to the transmission terminal 10ba and the information processing terminal 40bd, the transmission/
これにより、ログイン要求してきた伝送端末10aaを宛先として伝送することができる伝送端末10db、情報処理端末40bdに、ログイン要求してきた伝送端末10aaの通信ID「01aa」及び稼動状態「オンライン(伝送可能)」を伝えることができる。 As a result, the transmission terminal 10db capable of transmitting the login request transmission terminal 10aa as the destination and the information processing terminal 40bd have the communication ID "01aa" and the operating state "online (transmission possible)" of the transmission terminal 10aa requesting the login. Can be told.
また、準備段階動作のステップS28が完了した際に、伝送端末10aaの表示制御部17は、ディスプレイ120に表示させた宛先リスト画面から、ビデオ会議に参加中の端末をディスプレイ120に強調表示させる。すなわち、稼動状態が「オンライン(伝送中)」や「オンライン(伝送可能)」である伝送端末10ba、情報処理端末40bdの情報をディスプレイ120に強調表示させる等して、ビデオ会議に参加している伝送端末10又は参加可能な伝送端末10をユーザに認識させることができる。
Further, when step S28 of the preparatory stage operation is completed, the
図9は、伝送端末10がビデオ会議に参加する参加状態になるまでの会議参加動作を示すシーケンス図である。なお、図9は、伝送端末10aaが情報処理端末40bdとビデオ会議を行う例が示されている。会議参加動作においては、管理情報用セッションseiで各種情報が送受信される。
FIG. 9 is a sequence diagram showing a conference participation operation until the
まず、ユーザが操作ボタン108を押下して例えば情報処理端末40bdを選択することでビデオ会議の参加を選択すると、操作入力受付部12は、情報処理端末40bdとビデオ会議に参加する旨の要求を受け付ける(ステップS41)。なお、伝送端末10aaが情報処理端末40の場合、操作ボタン108の代わりに、情報処理端末40のハードキーやタッチパネルに表示されたソフトキーの押下により、ビデオ会議を参加する旨の要求を受け付ける。
First, when the user selects the participation in the video conference by pressing the
この要求に応じて、伝送端末10aaの送受信部11は、伝送端末10aaの通信ID「01aa」及び情報処理端末40bdの通信ID「04bd」が含まれ、ビデオ会議に参加する旨を表す参加要求情報を伝送管理装置50に送信する(ステップS42)。
In response to this request, the transmission/
これにより、伝送管理装置50の送受信部51は、参加要求情報を受信すると共に、送信元である伝送端末10aaのIPアドレス「1.2.1.3」を確認することができる。
As a result, the transmission/
次に、伝送管理装置50の状態管理部53は、参加要求情報に含まれる伝送端末10aaの通信ID「01aa」を検索キーとする。そして、端末管理DB5002を検索し、参加要求してきた伝送端末10aaの稼動状態を「オンライン(伝送中)」に設定する(ステップS43)。これにより、表3(a)に示すように端末管理テーブルの稼動状態が更新される。
Next, the
次に、伝送管理装置50の送受信部51は、伝送ネットワーク2を介して伝送端末10aaの通信ID「01aa」が含まれる開始要求情報を情報処理端末40bdに送信する(ステップS44)。これにより、情報処理端末40bdは、どの伝送端末10からビデオ会議に参加したいとの要求があったのかを把握することができる。
Next, the transmission/
次に、情報処理端末40bdは、送受信部11から伝送ネットワーク2を介して伝送管理装置50に開始要求情報の受信が完了した旨を示す受信完了情報を送信する(ステップS45)。セッション管理部56は、要求元である伝送端末10aaと宛先端末である情報処理端末40bdとの間のセッションに重複しないセッションIDを付与する(採番する)。また、重複しない会議IDを採番してセッション管理テーブルにセッションID、中継装置ID、要求元通信ID、宛先通信ID及び会議IDを登録する。
Next, the information processing terminal 40bd transmits the reception completion information indicating that the reception of the start request information is completed from the transmission/
次に、伝送管理装置50の送受信部51は、伝送ネットワーク2を介して中継装置30に中継を開始する旨の要求を表す中継開始要求情報を送信する(ステップS46)。中継開始要求情報には、伝送端末10aa及び情報処理端末40bdの各IPアドレス「1.2.1.3」、「1.3.1.3」、セッションID及び会議IDが含まれている。
Next, the transmission/
これにより、中継装置30は、伝送端末10aa、情報処理端末40bdの間で、低解像度、中解像度及び高解像度の3つ画像データ、並びに、音声データを伝送するためのセッションを確立する(ステップS47)。このように、伝送端末10aaは、情報処理端末40bdとのビデオ会議に参加することができるようになる。
As a result, the
また、図9と同様の処理により同じセッションで通信する伝送端末10又は情報処理端末40に対する開始要求が伝送管理装置50に送信された場合、伝送管理装置50のセッション管理部56はセッションを開始している伝送端末10及び情報処理端末40の会議IDを付与する。従って、セッションIDが変わっても同じ会議に参加する伝送端末10又は情報処理端末40には同じ会議IDが付与される。中継装置30は同じ会議IDに対応付けられた伝送端末10又は情報処理端末40に対し画像データ及び音声データを転送する。
Further, when a start request for the
一方で、伝送管理装置50の送受信部51は、伝送端末10aaの通信ID「01aa」と稼動状態「オンライン(伝送中)」とが含まれる端末状態変更情報(稼動状態の変更情報)を、端末管理DB5002に登録されている各伝送端末10に送信する(ステップS48)。これにより、端末状態変更情報を受信した各伝送端末は、必要に応じて、通信ID「01aa」の伝送端末10aaの稼動状態を記憶及び表示することができる。
On the other hand, the transmission/
セッションが確立することで、伝送端末10aaは、情報処理端末40bdから送信された画像データを表示し音声データを出力できる。情報処理端末40bdは、伝送端末10aaから送信された画像データを表示し音声データを出力できる。ビデオ会議に参加している伝送端末10が3つ以上であっても画像データ及び音声データは、2台の場合と同様に伝送される。あるいは、2台の場合には中継装置30を介さず、3台以上の場合に中継装置30を介する通信プロトコルで画像データ及び音声データが伝送されてもよい。
When the session is established, the transmission terminal 10aa can display the image data transmitted from the information processing terminal 40bd and output the audio data. The information processing terminal 40bd can display the image data transmitted from the transmission terminal 10aa and output audio data. Even if there are three or
<録画に関する動作>
図10を用いて情報処理端末40が録画を行った場合の動作について説明する。図10は、情報処理端末40bdが録画を開始したり終了したりした場合の動作を示すシーケンス図の一例である。
<Operations related to recording>
The operation when the
S1:ビデオ会議中の情報処理端末40bdのユーザ(会議の参加者)が画像データの録画を行う操作を行う。情報処理端末40bdの操作入力受付部12はこの操作を受け付ける。まず、情報処理端末40bdの送受信部11は情報処理端末40bdの通信ID(04bd)と共に録画開始通知を伝送管理装置50に送信する。
S1: The user (participant of the conference) of the information processing terminal 40bd during the video conference performs an operation of recording image data. The operation
S2:伝送管理装置50の送受信部51は録画開始通知を受信する。これにより、状態管理部53は端末管理テーブルの情報処理端末40bdの通信ID(04bd)に対応付けられている稼動状態を「録画会議中」に設定する。
S2: The transmission/
また、状態管理部53は、情報処理端末40bdとビデオ会議を行っている全ての伝送端末10及び情報処理端末40の稼動状態を「録画会議中」に設定する。これは、同じ会議に参加する全ての伝送端末10及び情報処理端末40の参加者や資料などが録画されるおそれがあり、これから伝送端末10aaと情報処理端末40bdのビデオ会議に参加する伝送端末10及び情報処理端末40の参加者に、画像データや音声データが録画されている会議に宛先端末が参加中であることを知らせるためである。
Further, the
情報処理端末40bdとビデオ会議を行っている伝送端末10及び情報処理端末40は、セッション管理テーブルに登録されている。端末抽出部54は、セッション管理テーブルにおいて情報処理端末40bdの通信ID(04bd)に対応付けられている会議IDを抽出し、更にこの会議IDに対応付けられている通信IDを全て取得する。表5のセッション管理テーブルでは、情報処理端末40bdと同じ会議に参加しているのは、通信IDが01aaの伝送端末10aa、10baである。従って、状態管理部53は、情報処理端末40bd、伝送端末10aa、10baの稼動状態を「録画会議中」に設定する。
The
なお、状態管理部53は録画中管理テーブル5006に情報処理端末40bdの通信ID(04bd)を登録しておく。伝送端末10aa、10baの通信IDは登録しなくてよい(録画していないため)。
The
S3:伝送管理装置50の送受信部51は、情報処理端末40bdとビデオ会議を行っている伝送端末10及び情報処理端末40に録画開始通知を送信する。情報処理端末40bdとビデオ会議を行っている伝送端末10及び情報処理端末40の判定方法はステップS2と同様である。情報処理端末40bd、伝送端末10aa、10baが特定されるが、図10では伝送端末10baが省略されているため、伝送管理装置50の送受信部51はこの伝送端末10aaに録画開始通知を送信する。
S3: The transmission/
S4:伝送端末10aaの送受信部11は録画開始通知を受信して、表示制御部17が録画通知表示を行う。詳細は図17にて説明する。
S4: The transmission/
S5:情報処理端末40bdの画像録画部41は、操作入力受付部12が録画開始の操作を受け付けることで、画像データと音声データの記録を開始する。
S5: The
S6:続いて、情報処理端末40bdのユーザ(会議の参加者)が画像データの録画を終了する操作を行う。情報処理端末40bdの操作入力受付部12はこの操作を受け付ける。なお、情報処理端末40bdの画像録画部41は、操作入力受付部12が録画終了の操作を受け付けることで、画像データと音声データの記録を終了する。
S6: Then, the user of the information processing terminal 40bd (participant of the conference) performs an operation of ending the recording of the image data. The operation
S7:情報処理端末40bdの送受信部11は情報処理端末40bdの通信ID(04bd)と共に録画終了通知(記録終了通知の一例)を伝送管理装置50に送信する。
S7: The transmission/
S8:伝送管理装置50の送受信部51は録画終了通知を受信する。状態管理部53は録画中管理テーブル5006から情報処理端末40bdの通信ID(04bd)を削除する。そして、録画中管理テーブル5006に1つも通信IDがない場合、端末管理テーブルの「録画会議中」を「オンライン(伝送中)」に設定する。こうすることで、1つでも録画中の伝送端末10又は情報処理端末40が残っている場合、会議に参加している全ての伝送端末10又は情報処理端末40の稼動状態を「録画会議中」にしたままにできる。
S8: The transmission/
S9:伝送管理装置50の送受信部51は、情報処理端末40bdとビデオ会議を行っている伝送端末10及び情報処理端末40に録画終了通知を送信する。従って、録画終了通知は伝送端末10aaに送信される(図10では伝送端末10baが省略されている)。
S9: The transmission/
S10:伝送端末10aaの送受信部11は録画終了通知を受信して、表示制御部17が録画通知を非表示にする。詳細は図17にて説明する。
S10: The transmission/
なお、ユーザが録画を終了する操作をした場合に録画終了通知が送信されるが、この他、録画を終了する間接的な操作(例えば、情報処理端末40bdの電源がOFFにされる)が行われた場合に録画終了通知が送信されてもよい。 Although the recording end notification is transmitted when the user performs an operation to end recording, in addition to this, an indirect operation to end recording (for example, the information processing terminal 40bd is powered off) is performed. The recording end notification may be transmitted when the recording is ended.
また、伝送管理装置50を介することなく、情報処理端末40bdが伝送端末10aaに直接、録画開始通知及び録画終了通知を送信してもよい。また、録画開始通知は録画の開始時に通知されるが、録画開始後の録画開始中に録画中通知のような通知が定期的又は不定期に通知されてもよい。
Further, the information processing terminal 40bd may directly send the recording start notification and the recording end notification to the transmission terminal 10aa without passing through the
<表示例>
伝送端末10がディスプレイ120に表示する画面について説明する。
<Display example>
The screen displayed on the
<<宛先リスト画面>>
図11は、図8のステップS32で表示される宛先リスト画面の一例を示す。宛先リスト画面には、ステップS28で送信された宛先状態情報に基づき稼動状態と端末名が表示される。ここでは説明の便宜上、表3(b)の端末管理テーブルに基づいて伝送端末10aaが表示する宛先リスト画面を説明する。なお、図8のステップS28では伝送端末10aaがこれからビデオ会議に参加するため表3(b)の端末管理テーブルは処理内容と整合しない。図11は端末管理テーブルに基づいて宛先リスト画面が作成されることを説明するための図である。
<<Recipient list screen>>
FIG. 11 shows an example of the destination list screen displayed in step S32 of FIG. On the destination list screen, the operating state and the terminal name are displayed based on the destination state information transmitted in step S28. Here, for convenience of description, the destination list screen displayed by the transmission terminal 10aa will be described based on the terminal management table of Table 3(b). In step S28 of FIG. 8, since the transmission terminal 10aa will participate in the video conference, the terminal management table of Table 3(b) does not match the processing content. FIG. 11 is a diagram for explaining that the destination list screen is created based on the terminal management table.
宛先リスト管理テーブルで伝送端末10aaの宛先端末の通信IDは「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」である。このうち、録画会議中なのは通信IDが04bdの情報処理端末40bd、通信IDが01baの伝送端末10baなので、宛先リスト表示部16は通信IDが04bdと01baの稼動状態に録画拠点マーク71を表示する。その他の伝送端末10及び情報処理端末40はオフラインなので、宛先リスト表示部16は稼動状態にオフラインマークを表示する。
The communication ID of the destination terminal of the transmission terminal 10aa in the destination list management table is "01ab, 01ac, 01ba, 01bb, 01bc, 04bd, 04be, 01ca, 01cb, 01ca, 01da, 01db, 01dc". Among these, since the information processing terminal 40bd with the communication ID 04bd and the transmission terminal 10ba with the communication ID 01ba are in the recording conference, the destination
このように、宛先候補の1つ1つが稼動状態(録画拠点マーク71)を表示するので、これから参加しようとするユーザはビデオ会議に参加することで、自分や自分の資料が録画されてしまうことを把握できる。その結果、参加しないなどの判断が可能になる。 In this way, since each of the destination candidates displays the operating state (recording base mark 71), the user who is about to join may record himself or his own material by participating in the video conference. Can be grasped. As a result, it is possible to decide not to participate.
図12は、ユーザが録画拠点マーク71の宛先を選択した場合に表示される確認ダイアログ画面510を説明する図の一例である。録画拠点マーク71が表示された宛先をユーザが選択すると、操作入力受付部12が選択を受け付ける。録画拠点マーク71が表示されている宛先が選択されると、宛先リスト表示部16は確認ダイアログ画面510を表示させる。
FIG. 12 is an example of a diagram illustrating a
確認ダイアログ画面510には、「録画実行中の会議に参加します。よろしいでしょうか?」というメッセージ511、OKボタン512及びキャンセルボタン513が表示される。ユーザがOKボタン512を押下すると、図9のステップS41の開始要求情報が送信され、ユーザがキャンセルボタン513を押下すると、開始要求情報が送信されない。従って、ユーザは事前に確認してから録画中のビデオ会議に参加することができる。
On the
<<会議中の画面>>
本実施形態において、表示制御部17は、全画面表示モードと情報表示モードとの2つの表示モードを有する。
<<Screen during the meeting>>
In the present embodiment, the
図13は全画面表示モードでディスプレイ120に表示された画面例を示す図である。この画面を全画面表示画面501という。全画面表示モードは、図9のステップS47でセッションが確立し、画像データと音声データの送信又は受信が開始されることで表示される。すなわち、2つの表示モードのうち、ビデオ会議の間、主に使用される表示モードである。
FIG. 13 is a diagram showing an example of a screen displayed on the
全画面表示モードにおいて、伝送端末10の表示制御部17は、ビデオ会議に参加している各伝送端末10から送信された全ての画像をディスプレイ120に表示させる。全ての画像を表示することで1つの画像領域が小さくなってしまう場合、予め定められた上限値(最大値)の画像が表示される。
In the full-screen display mode, the
図13に示す全画面表示画面501には、比較的広い1つの第1画像領域502と、比較的狭い複数の第2画像領域503とが割り当てられている。例えば、各第2画像領域503には、ビデオ会議に参加している各伝送端末10から送信された画像データが表す画像が表示され、第1画像領域502には、ビデオ会議に参加している伝送端末10及び情報処理端末40の中から主要な伝送端末10又は情報処理端末40の画像データが表す画像が表示される。
On the full-
表示制御部17は、例えば、ビデオ会議に参加している伝送端末10のなかで、受信した音声データの中で発話がある伝送端末を主要な端末として特定する。また、発話がある伝送端末10が、音量が大きい順にソートされる。表示制御部17はこの順に第1画像領域502に画像を割り当てて表示する。
The
なお、図13に示す全画面表示画面501は一例に過ぎず、全画面表示モードでは、複数の全ての画像領域を同じサイズにして各画像を表示することや、上記の主要な端末の画像のみをディスプレイ120の全体に表示することなどが可能である。
Note that the full-
そして、全画面表示画面501は、補助領域173を有する。補助領域表示部18aは、全画面表示モードでは補助領域173を表示することができる。図13では、補助領域173は、全画面表示画面501の上部の帯状の余白部分であるが、右端、左端、下部の帯状の余白部分などでもよいし、画像と重複して表示されてもよい。
The full
補助領域173は、第1領域ar1〜第6領域ar6に区分されている。
第1領域ar1…自端末の通信IDが表示される。この伝送端末10と同じビデオ会議に参加しようとする伝送端末10のユーザは、この通信IDを問い合わせ操作している伝送端末10に入力又は選択することでビデオ会議に参加できる。
第2領域ar2…拠点数が表示される。
第3領域ar3…セッションが確立してからの会議時間が表示される。
第4領域ar4…任意の情報が表示される。
第5領域ar5…ネットワーク帯域情報(上り・下りそれぞれの通信速度)が表示される。
第6領域ar6…カーソルボタンが表示される。カーソルボタン1736は上の三角ボタン1736uと下の三角ボタン1736dを有しているが、上の三角ボタン1736uは黒色で下の三角ボタン1736dは白抜きである。上の三角ボタン1736uは操作可能であることを示しており、下の三角ボタン1736dは操作できないことを示している。上の三角ボタン1736uが操作されると、後述する簡易表示の補助領域173が表示される。
The
First area ar1... Displays the communication ID of the terminal itself. A user of the
Second area ar2... Displays the number of bases.
Third area ar3... Displays the conference time after the session is established.
Fourth area ar4... Arbitrary information is displayed.
Fifth area ar5... Network band information (uplink/downlink communication speed) is displayed.
Sixth area ar6... A cursor button is displayed. The
なお、補助領域173は半透明で表示されることが好ましい。これにより、拠点間で送受信される画像データに補助領域173が重なっても視認性を維持しやすい。
In addition, it is preferable that the
ここで、第6領域ar6のカーソルボタン1736は、簡易表示の補助領域173への切り替えが可能であることをユーザに知らせるアイコンとなっている。以下、図13の補助領域を「標準の補助領域」と称して後述する「簡易表示の補助領域」と区別する。
Here, the
カーソルボタン1736は、いくつかある操作ボタン108のうち2つと対応している。対応している操作ボタン108は上下に揺動可能であることが好ましく、操作ボタン108の上方向の操作と上の三角ボタン1736uが、操作ボタン108の下方向の操作と下の三角ボタン1736dがそれぞれ対応している。
The
また、補助領域表示部18aは、録画開始通知を受信すると、補助領域173を拡張して録画通知情報80を表示する。録画通知情報80も半透明で表示されることが好ましい。図13では補助領域173の右下部分が拡張され、録画通知情報80に他拠点録画マーク72が表示されている。また、他拠点録画マーク72の右に「他拠点録画中」という文字が記載されたラベル73が表示される。他拠点録画マーク72とラベル73は少なくとも一方が表示されればよい。参加者は他拠点録画マーク72又はラベル73により、他の拠点で画像データが録画されていることを把握できる。図10の処理から明らかなように、参加拠点のうち1拠点以上が録画している場合、補助領域表示部18aは録画通知情報80を表示する。
When receiving the recording start notification, the auxiliary
なお、図示された他拠点録画マーク72は赤又はオレンジの円形であるが、他拠点録画マーク72の外観(色、形、サイズなど)は、例えば、三角や四角などの多角形でもよいし、色も青やグリーンなどでもよい。また、サイズも図示するより小さくても大きくてもよい。また、録画通知情報80の場所も、右下部分の他、左下部分、右上部分、左上部分、又は、補助領域173の中央部の上側や下側などでもよい。また、補助領域173にスペースがある場合、該スペースに他拠点録画マーク72又はラベル73の少なくとも一方が配置されてよい。
Note that the other-
図14は、簡易表示の補助領域173の一例を示す図である。図14では、図13と拠点数は同じだが、第1領域ar1〜第6領域ar6の伝送状態の情報が簡易的に表示されている。簡易表示の補助領域173では、各領域に何が表示されているかの情報が表示されず、主に、第1領域ar1には通信IDの値のみが、第2領域ar2には拠点数のみが、第3領域ar3には時刻のみが、第5領域ar5には帯域のみが表示される。
FIG. 14 is a diagram showing an example of the
第6領域ar6のカーソルボタン1736は、標準の補助領域173と表示形態が変わっている。簡易表示の補助領域173では、上の三角ボタン1736uも下の三角ボタン1736dも黒色である。ユーザは、上の三角ボタン1736uに対応する操作ボタン108も、下の三角ボタン1736dに対応する操作ボタン108も操作できる。
The
カーソルボタン1736の操作により補助領域173の表示は以下のように制御される。
下の三角ボタン:標準の補助領域173へ切り替える。
上の三角ボタン:簡易表示の補助領域173を表示しない(標準の補助領域173も表示しない)。
The display of the
Lower triangular button: Switches to the standard
Upper triangular button: Does not display the simple display auxiliary area 173 (also does not display the standard auxiliary area 173).
簡易表示の補助領域173では、標準の補助領域173よりもディスプレイ120を占める面積が少なくなるので、補助領域173に伝送状態の情報を表示しながら、画像データの視認性をよくすることができる。
Since the area occupied by the
なお、簡易表示の補助領域173も、標準の補助領域173と同様に半透明で表示されることが好ましい。
It is preferable that the
簡易表示の補助領域173において他拠点録画マーク72又はラベル73の表示態様は、標準の補助領域173と変わらない。一方、他拠点録画マーク72又はラベル73のいずれか一方を非表示にするなど、補助領域表示部18aが表示態様を変更してもよい。このように、標準の補助領域173と簡易表示の補助領域173で常に録画通知情報80が表示されるので、参加者はリアルタイムに録画状況を把握できる。
The display mode of the other-
図15は、補助領域173が表示されない場合の他拠点録画マーク72及びラベル73の表示例を示す図である。補助領域173が表示されない場合でも補助領域表示部18aは録画通知情報80を表示する。すなわち、他拠点が録画中かどうかは重要な情報なので、補助領域表示部18aは補助領域173が表示されなくても録画通知情報80を常に表示する。従って、参加者はリアルタイムに録画状況を把握できる。
FIG. 15 is a diagram showing a display example of the other-
図16は、参加拠点のうち録画している拠点がない場合の全画面表示画面501の一例を示す。なお、図16では標準の補助領域173が表示されている場合を説明する。図16に示すように、録画している拠点がなくなると、補助領域表示部18aは録画通知情報80を非表示にする(消去する)。従って、参加者は録画している拠点がないことをリアルタイムに把握できる。なお、簡易表示の補助領域173の場合も同様であり録画通知情報80が表示されない。補助領域173が表示されない場合も、録画通知情報80が表示されない。
FIG. 16 shows an example of the full-
<<会議中の録画通知情報の表示制御>>
図17は、会議中の伝送端末10aaが録画通知情報80の表示を制御する手順を示すフローチャート図の一例である。全画面表示画面501では常に録画通知情報80が表示されるので、図17の手順では補助領域は表示されていてもされていなくてもよい。
<<Display control of recording notification information during the meeting>>
FIG. 17 is an example of a flowchart showing a procedure for controlling the display of the
まず、補助領域表示部18aは、録画開始通知又は録画終了通知を受信したか否かを判定する(S10)。
First, the auxiliary
録画開始通知を受信した場合、補助領域表示部18aは録画中管理テーブル1000bに、録画開始通知と共に送信された通信IDを追加する(S20)。従って、録画中管理テーブル1000bには、録画中の伝送端末10及び情報処理端末40の全ての通信IDが記録されている。
When the recording start notification is received, the auxiliary
補助領域表示部18aは、すでに録画通知情報80を表示しているか否かを判定する(S30)。すでに録画通知情報80を表示している場合とは、ビデオ会議に参加中の伝送端末10又は情報処理端末40が録画開始通知を送信した後に、別の伝送端末10又は情報処理端末40が録画開始通知を送信した場合である。
The auxiliary
ステップS30の判定がYesの場合、すでに録画通知情報80を表示中なので図17の処理は終了する。
If the determination in step S30 is Yes, the
ステップS30の判定がNoの場合、補助領域表示部18aは録画通知情報80を表示する(S40)。
If the determination in step S30 is No, the auxiliary
ステップS10で録画終了通知を受信した場合、補助領域表示部18aは録画開始通知と共に送信された通信IDを録画中管理テーブル1000bから削除する(S50)。従って、録画中管理テーブル1000bには、録画を継続している伝送端末10及び情報処理端末40の通信IDのみが記録されている。
When the recording end notification is received in step S10, the auxiliary
補助領域表示部18aは、録画中管理テーブル1000bが1つも通信IDが登録されていないかどうかを判定する(S60)。
The auxiliary
ステップS60の判定がNoの場合、録画を継続している伝送端末10及び情報処理端末40がいるので録画通知情報80を非表示にする必要が無く、図17の処理は終了する。
If the determination in step S60 is No, there is a
ステップS60の判定がYesの場合、録画を継続している伝送端末10及び情報処理端末40がいないので、補助領域表示部18aは録画通知情報80を非表示にする(S70)。
If the determination in step S60 is Yes, there is no
このような手順により、録画を開始した伝送端末10及び情報処理端末40がいればリアルタイムに録画通知情報80を表示し、録画を継続している伝送端末10及び情報処理端末40がいなくなると録画通知情報80を非表示にできる。また、録画中管理テーブル1000bに1つでも通信IDが記憶されている場合、常に録画通知情報80を表示できる。
According to such a procedure, the
<<ネットワークの切断が発生した場合>>
会議中にネットワークの帯域低下などによりセッションが途切れる場合がある。あるいは、参加者が誤って通信のために必要なケーブルを抜いてしまう場合もある。セッションが途切れた伝送端末10又は情報処理端末40が録画中である場合、他の拠点の伝送端末10又は情報処理端末40が録画通知情報80を表示したままになってしまう。このため、録画終了情報が送信されなくてもセッションが途切れた伝送端末10又は情報処理端末40を伝送管理装置50が検出して他の拠点の伝送端末10又は情報処理端末40に通知することが好ましい。
<<In case of network disconnection>>
The session may be interrupted during the conference due to network bandwidth degradation. Alternatively, the participant may accidentally disconnect the cable required for communication. When the
図18は、セッションが途切れたことを伝送管理装置50が検出した場合の伝送システム1の動作手順を示すシーケンス図の一例である。なお、図18のステップS1〜S5までの処理は図10と同様である。
FIG. 18 is an example of a sequence diagram showing an operation procedure of the
S6:伝送管理装置50のセッション管理部56は、セッションを確立した伝送端末10及び情報処理端末40の死活を定期的に監視する。すなわち、セッション管理テーブルに登録されている通信IDの伝送端末10及び情報処理端末40に対しPing応答などを要求する。
S6: The
S7:何らかの原因で情報処理端末40と伝送管理装置50の間の通信が切断されると、セッション管理部56はセッションが途切れたことを検知できる。
S7: When the communication between the
S8:セッションが途切れたことをセッション管理部56が検知すると、状態管理部53はセッションが途切れた情報処理端末40bdの通信IDの稼動状態をオフラインに変更する。なお、状態管理部53は録画中管理テーブル5006から情報処理端末40bdの通信IDを削除し、録画終了通知を受信した場合と同様に端末管理テーブルの稼動状態を更新する。
S8: When the
S9:また、伝送管理装置50の送受信部51は、会議中の伝送端末10及び情報処理端末40に対し参加拠点の稼動状態変更情報を送信する。端末状態変更情報には情報処理端末40bdの通信IDと稼動状態が含まれる。
S9: Further, the transmission/
S10:伝送端末10aaの送受信部11は端末状態変更情報を受信し、録画通知情報80の表示制御を行う。すなわち、セッションが途切れた情報処理端末40bd以外に録画中管理テーブル1000bに伝送端末10及び情報処理端末40の通信IDが登録されていない場合、録画通知情報80を非表示にする。
S10: The transmission/
図19を用いて図18のステップS10の処理を説明する。図19は、伝送端末10aaが端末状態変更情報を受信した場合の処理を説明するフローチャート図の一例である。図19の処理はビデオ会議中、繰り返し実行されている。 The process of step S10 of FIG. 18 will be described with reference to FIG. FIG. 19 is an example of a flowchart illustrating a process when the transmission terminal 10aa receives the terminal state change information. The process of FIG. 19 is repeatedly executed during the video conference.
伝送端末10aaの送受信部11は伝送管理装置50から端末状態変更情報を受信したか否かを判定する(S10)。
The transmission/
ステップS10の判定がYesの場合、伝送端末10aaの補助領域表示部18aは退室した(オフライン)になった伝送端末10及び情報処理端末40を確認する(S20)。すなわち、伝送端末10aaは宛先状態情報や端末状態変更情報を受信しているので、最後に受信した宛先状態情報や端末状態変更情報の各伝送端末10又は情報処理端末40の稼動状態を参照し、ステップS10で受信した端末状態変更情報と比較する。比較により、稼動状態が「録画会議中」から「オフライン」になった各伝送端末10又は情報処理端末40の通信IDを特定する。
If the determination in step S10 is Yes, the auxiliary
そして、補助領域表示部18aは、特定した通信IDが録画拠点IDテーブルに存在するかどうかを判定する(S30)。
Then, the auxiliary
通信IDが録画拠点IDテーブルに存在しない場合(S30のNo)、セッションが途切れた情報処理端末40bdは録画していなかったので、図19の処理は終了する。 If the communication ID does not exist in the recording base ID table (No in S30), the information processing terminal 40bd whose session has been interrupted has not recorded, so the processing in FIG. 19 ends.
通信IDが録画拠点IDテーブルに存在した場合(S30のYes)、セッションが途切れた情報処理端末40bdは録画していたので、補助領域表示部18aは端末状態変更情報に含まれる通信IDを録画中管理テーブル1000bから削除する(S40)。
If the communication ID is present in the recording base ID table (Yes in S30), the information processing terminal 40bd whose session has been interrupted is recording, so the auxiliary
補助領域表示部18aは、録画中管理テーブル1000bが1つも通信IDが登録されていないかどうかを判定する(S50)。
The auxiliary
ステップS50の判定がNoの場合、録画を継続している伝送端末10及び情報処理端末40がいるので録画通知情報80を非表示にする必要が無く、図19の処理は終了する。
If the determination in step S50 is No, there is a
ステップS50の判定がYesの場合、録画を継続している伝送端末10及び情報処理端末40がいないので、補助領域表示部18aは録画通知情報80を非表示にする(S70)。
If the determination in step S50 is Yes, there is no
このような手順により、参加拠点に変更があっても、伝送端末10aaは録画通知情報80をリアルタイムに更新できる。
By such a procedure, the transmission terminal 10aa can update the
<情報表示画面における録画通知情報>
情報表示画面601に表示される録画拠点マーク71について説明する。ユーザが、例えば、操作ボタン108を操作することで、2つの表示モードを交互に切り替えることができる。なお、伝送端末10が情報処理端末40の場合、操作ボタン108の代わりに、情報処理端末40のハードキーやタッチパネルに表示されたソフトキーの押下により、2つの表示モードを交互に切り替えることができる。
<Recording notification information on the information display screen>
The
図20は、情報表示モードでディスプレイ120に表示された情報表示画面601の一例を示す図である。図20は伝送端末10aaが表示した情報表示画面601である。図20に示すように、情報表示モードにおいて、伝送端末10の拠点リスト表示部18bは、ビデオ会議に参加している各伝送端末10の連番614、端末名615及び通信ID616を含む端末情報をディスプレイ120に表示させる。連番614は参加順などで各端末に割り当てられる番号であり、連番614の最も大きい数字が参加している拠点の拠点数(端末数)を表す。
FIG. 20 is a diagram showing an example of the
また、情報処理端末40bdには録画拠点マーク71が表示されている。拠点リスト表示部18bは後述するように稼動状態が録画会議中の伝送端末10及び情報処理端末40の連番の前に録画拠点マーク71を表示する。録画拠点マーク71の表示態様は、他拠点録画マーク72と同様に図示したものには限られない。
Further, a
図20に示す情報表示画面601には、画像を表示するための画像表示領域520と、端末情報を表示するための端末情報表示領域530とが割り当てられている。例えば、端末情報表示領域530には、ビデオ会議に参加している伝送端末10の端末情報がリスト表示されている。
An
なお、リスト表示されている端末情報のなかで端末名が表示されていないものは、宛先リスト管理DB5003において、自端末の宛先端末の候補として登録されていない伝送端末10を表している。例えば、通信IDが01dbの伝送端末10dbは、表3に示すように伝送端末10aaの宛先端末の候補として宛先リスト管理DB5003に登録されているため端末名が表示されている。通信IDが01cdの伝送端末10cdは、伝送端末10aaの宛先端末の候補として宛先リスト管理DB5003に登録されていないため端末名が表示されていない。
Note that, in the list-displayed terminal information, the terminal name is not displayed represents the
画像表示領域520には、ビデオ会議に参加している伝送端末10の中から主要な伝送端末の画像データが表す画像が表示される。例えば、音声データの音量が最も大きい伝送端末10又は情報処理端末40の画像データが表示される。
In the
また、図20に示すように、会議に参加している拠点が1画面に収まらない場合はスクロールバー613が表示される。ユーザは操作ボタン108を操作することで情報表示画面601の画面外に隠れていた拠点の情報を表示させることができる。これにより、画面外に隠れていた拠点が録画中の場合は録画拠点マーク71が表示され、参加者が録画している伝送端末10又は情報処理端末40を特定できる。
Also, as shown in FIG. 20, when the bases participating in the conference cannot fit on one screen, a
(情報表示画面601の表示手順)
図21は、伝送端末10aaが情報表示モードに切り替えられた際に、端末情報表示領域530に端末情報を表示させる端末情報表示動作を示したシーケンス図である。なお、図21に示す端末情報表示動作においては、管理情報用セッションseiで各種情報が送受信される。
(Display procedure of information display screen 601)
FIG. 21 is a sequence diagram showing a terminal information display operation for displaying the terminal information in the terminal
まず、伝送端末10aaは、ビデオ会議に参加している伝送端末及び情報処理端末40の端末情報の要求を表す端末情報要求信号を伝送管理装置50に送信する(ステップS70)。すなわち、ユーザが操作ボタン108を操作して全画面表示モードを情報表示モードに切り替えると、操作入力受付部12がこの操作受け付けて端末情報要求信号が伝送管理装置50に送信される。
First, the transmission terminal 10aa transmits a terminal information request signal indicating a request for the terminal information of the transmission terminal participating in the video conference and the
端末情報要求信号を受信した伝送管理装置50の端末状態取得部55は、端末情報要求信号の送信元のIPアドレスを検索キーとして、記憶部5000の端末管理DB5002を検索し、端末情報要求信号を送信した伝送端末10aaの通信IDを取得する(ステップS71)。なお、伝送端末10aaが通信IDを送信してよい。
Upon receiving the terminal information request signal, the terminal status acquisition unit 55 of the
次に、端末状態取得部55は、セッション管理テーブルを参照し伝送端末10aaと同じ会議に参加している伝送端末10及び情報処理端末40の通信IDを特定する。次に、端末管理DB5002を検索し、稼動状態が「オンライン(伝送中)」又は「録画会議中」になっている通信IDと端末名とを検索する(ステップS72)。
Next, the terminal state acquisition unit 55 refers to the session management table and identifies the communication IDs of the
次に、端末状態取得部55は、ステップS71で検出した通信ID(本実施形態においては、「01aa」)を検索キーとして、記憶部5000の宛先リスト管理DB5003を検索し、端末情報要求信号の送信元を宛先端末とする伝送端末10及び情報処理端末40の通信IDを取得する(ステップS73)。
Next, the terminal state acquisition unit 55 searches the destination
次に、端末状態取得部55は、ステップS72で取得した各通信IDが端末情報要求信号の送信元の通信ID(01aa)又はステップS73で取得した通信IDに含まれているか否かを判定する。含まれていると判定した場合には、通信IDと端末名とを送受信部51に端末情報要求信号の送信元に応答させ、含まれていないと判定した場合には、通信IDだけを送受信部51に端末情報要求信号の送信元に応答させる(ステップS74)。
Next, the terminal state acquisition unit 55 determines whether each communication ID acquired in step S72 is included in the communication ID (01aa) of the transmission source of the terminal information request signal or the communication ID acquired in step S73. .. When it is determined that the communication ID and the terminal name are included, the transmitting/receiving
この応答を受信した伝送端末10の表示制御部17の拠点リスト表示部18bは、図20に示す情報表示画面601のように、端末情報表示領域530に応答内容を表示する(ステップS75)。まず、端末名と(端末名はない場合がある)と通信IDの組に連番を付す。次に、録画中管理テーブル1000bの通信IDを全て取得する。そして、録画中管理テーブル1000bの通信IDを読み出し、この通信IDの伝送端末10又は情報処理端末40に対応付けて録画拠点マーク71を配置する。
The site
このような処理により、情報表示画面601において録画拠点マーク71を表示することができる。また、録画拠点マーク71を表示するだけでなく、又は、録画拠点マーク71を表示せずに、伝送端末10aaが音声で録画中の端末名を読み上げてもよい。この場合、録画開始通知が送信されたタイミングで伝送端末10aaが音声で録画中の端末名を読み上げる。あるいは、ユーザが伝送端末10aaを操作した任意のタイミングで伝送端末10aaが音声で録画中の端末名を読み上げる。
By such processing, the
なお、情報表示画面601の表示中、録画開始通知、録画終了通知、又は端末状態変更情報を伝送端末10aaが受信した場合、表示制御部17の拠点リスト表示部18bはリアルタイムに録画拠点マーク71を表示し、また、非表示にする。
When the transmission terminal 10aa receives the recording start notification, recording end notification, or terminal status change information while the
また、情報表示画面601において録画拠点マーク71だけでなくラベル73を表示してもよい。また、情報表示画面601においてラベル73だけを表示してもよい。
Further, the
従って、伝送端末10aaが複数の拠点とビデオ会議を行っている間、伝送端末10aaのユーザは録画している拠点(伝送端末10及び情報処理端末40)ごとに録画中かどうかを判断できる。録画拠点マーク71はリアルタイムに更新されるので、ユーザは録画を開始した拠点を録画の開始後、早期に判断できる。全画面表示画面501と情報表示画面601のどちらでも録画している拠点がいることをユーザが把握できる。
Therefore, while the transmission terminal 10aa has a video conference with a plurality of bases, the user of the transmission terminal 10aa can determine whether or not recording is being carried out at each recording base (the
本実施例では、伝送端末10の機能が搭載された電子黒板8について説明する。従来から大型ディスプレイに表示させた背景画像に文字や数字、図形等のストローク画像を描画可能な電子黒板8が知られている。電子黒板8は、企業や教育機関、行政機関等、及びこれら以外でも広く利用されている。
In this embodiment, an
外部から入力された画像を電子黒板8がディスプレイに重畳して表示させる機能を有する場合がある。また、電子黒板8に伝送端末10の機能を搭載することが検討されている。電子黒板8に伝送端末10の機能が搭載されると、電子黒板8に手書きされたストローク画像を他の拠点の伝送端末10に送信できる。
The
図22は、伝送端末10の機能を有する電子黒板8を説明する図の一例である。電子黒板8は一般的な電子黒板の機能と伝送端末10の機能を有し、伝送端末10ddとビデオ会議を行うことができる。電子黒板8は電子黒板アプリのストローク画像と、ビデオ会議アプリの画像とを切り替えて表示する。
FIG. 22 is an example of a diagram for explaining the
しかし、電子黒板8ではディスプレイ3の多くの部分をストローク画像などで占有してしまい、起動しているが画面が表示されない例えばビデオ会議アプリの状態変化が分かりにくい。このため、ユーザU2がビデオ会議アプリの状態変化に気がつきにくいという問題があった。
However, in the
例えば、電子黒板8の電子黒板アプリが生成するストローク画像はビデオ会議アプリが伝送端末10ddに送信する。伝送端末10ddのユーザU1は実施例1のように録画を開始することができる。しかし、電子黒板8のビデオ会議アプリが他の拠点から録画開始通知を受信しても、電子黒板8のユーザU2が気づかない場合があり得る。このため、非公開情報が気づかないままに録画されるおそれがある。
For example, the stroke image generated by the electronic blackboard application of the
図22では、電子黒板8に手書きされた「秘密事項」が伝送端末10ddと共有されている。伝送端末10ddのユーザU1は画像データを録画しているため、電子黒板8のビデオ会議アプリは録画拠点マーク71又は他拠点録画マーク72を表示中であるが、ユーザU2は見ることができない。このような非公開情報の記録は、例えば、インサイダーやインシデントのリスク、又はなんらかのコミュニケーション上の不都合をもたらすおそれがある。
In FIG. 22, the “secret matter” handwritten on the
そこで、本実施例では、伝送端末10の機能を有する電子黒板8に記録開始通知が送信された場合に、ビデオ会議アプリ710の情報を電子黒板アプリがディスプレイ3に表示することで、ユーザU2に気づかせる伝送システム1について説明する。
Therefore, in the present embodiment, when the recording start notification is transmitted to the
<電子黒板8の動作の概略>
図23は、本実施例の電子黒板8の動作の概略を説明する図の一例である。図23(a)に示すように、電子黒板8はビデオ会議アプリ710、電子黒板アプリ720、及び、インタフェースアプリ730を有する。これらはOS(Operating System)700上で動作するアプリケーションソフトウェアである。OS700としては適切なものであればよく、特定のOS700であることを要請するものではないが、例えばWindows(登録商標)、Linux(登録商標)、Andoroid(登録商標)などがある。
<Outline of operation of
FIG. 23 is an example of a diagram for explaining the outline of the operation of the
ビデオ会議アプリ710は実施例1にて説明した伝送端末10又は情報処理端末40が有する機能を提供する。電子黒板アプリ720の機能については後述する。
The
図23(b)はインタフェースアプリ730の動作を説明する図である。インタフェースアプリ730は、独立した2つのビデオ会議アプリ710と電子黒板アプリ720のインタフェースを提供するアプリである。インタフェースアプリ730と通信するためにビデオ会議アプリ710はインタフェース処理部710aを有しており、電子黒板アプリ720はインタフェース処理部720aを有している。
FIG. 23B is a diagram illustrating the operation of the
インタフェースアプリ730は、インタフェース処理部710aを介してビデオ会議アプリ710と通信し、インタフェース処理部720aを介して電子黒板アプリ720と通信する。例えば、インタフェースアプリ730は、ビデオ会議アプリ710が録画開始通知の受信したこと又は録画会議中という稼動状態、録画中管理テーブルなどを検出し、電子黒板アプリ720に通知する。これにより、電子黒板アプリ720は、他拠点が録画中である旨を表示できる。
The
<電子黒板8のディスプレイの画面例>
図24は、電子黒板アプリ720が生成する電子黒板UI画面740が表示された電子黒板8のディスプレイ3を示す図の一例である。電子黒板UI画面740は、主にユーザが手書きするストローク画像が表示される画面である(第二の画面)。また、アイコン部701を有しており、ユーザはストロークの線種や色を選んだり、図形やスタンプの描画を行ったりすることができる。
<Screen example of display of
FIG. 24 is an example of a diagram showing the
このアイコン部701にはビデオ会議アイコン702aが表示される。ユーザがビデオ会議アイコン702aを選択すると、電子黒板8はビデオ会議アプリ710が生成する次述のビデオ会議UI画面750をディスプレイ3に表示する。なお、このような処理はアプリの切り替えに相当し、OS700により制御される。
A video conference icon 702a is displayed on the
図25は、ビデオ会議アプリ710が生成するビデオ会議UI画面750が表示された電子黒板8のディスプレイ3を示す図の一例である。ビデオ会議UI画面750は、図11の宛先リスト画面と同等の情報に加え、電子黒板アイコン703を有する(第一の画面)。ユーザが電子黒板アイコン703を選択すると、電子黒板8は電子黒板アプリ720が生成する電子黒板UI画面740をディスプレイ3に表示する。なお、このような処理はアプリの切り替えに相当し、OSにより制御される。従って、ユーザは、ビデオ会議UI画面750と電子黒板UI画面740を任意に切り替えることができる。
FIG. 25 is an example of a diagram showing the
なお、ビデオ会議UI画面750と電子黒板UI画面740はどちらか一方が表示されるだけでなく、一部が重複するようにしてビデオ会議UI画面750と電子黒板UI画面740の両方が表示されてもよい。この場合、ビデオ会議UI画面750の他拠点録画マークが電子黒板UI画面740により隠れている場合は、本実施例が有効である。
It should be noted that not only one of the video
<電子黒板8のハードウェア構成>
図26は、電子黒板8のハードウェア構成図である。図26に示されているように、電子黒板8は、電子黒板8全体の動作を制御するCPU301、IPL等のCPU301の駆動に用いられるプログラムを記憶したROM302、CPU301のワークエリアとして使用されるRAM303、電子黒板8用のプログラム等の各種データを記憶するSSD304、伝送ネットワーク2との通信を制御するネットワークコントローラ305、及び、USBメモリ5との通信を制御する外部記憶コントローラ306を備えている。
<Hardware configuration of
FIG. 26 is a hardware configuration diagram of the
また、電子黒板8は、ノートPC6のディスプレイ3に対して映像情報を静止画又は動画として表示させるキャプチャデバイス309、グラフィクスを専門に扱うGPU(Graphics Processing Unit)308、及び、GPU308からの出力画像をディスプレイ3等へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ313を備えている。
In addition, the
更に、電子黒板8は、接触センサ312の処理を制御するセンサコントローラ307、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ312を備えている。この接触センサ312は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ312は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ307に出力し、センサコントローラ307が、物体の接触位置である座標位置を特定する。
Further, the
また、接触センサ312としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
Further, the
また、電子黒板8は、電子ペンコントローラ310を備えている。この電子ペンコントローラ310は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判定する。なお、電子ペンコントローラ310が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判定するようにしてもよい。
The
更に、電子黒板8は、CPU301、ROM302、RAM303、SSD304、ネットワークコントローラ305、外部記憶コントローラ306、キャプチャデバイス309、GPU308、センサコントローラ307、及び電子ペンコントローラ310を、図26に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン320を備えている。
Further, the
<電子黒板アプリ720の機能構成>
次に、図27〜図32を用いて、電子黒板8の機能構成について説明する。図27は、電子黒板8の機能ブロック図である。
<Functional configuration of the
Next, the functional configuration of the
電子黒板8は、図26に示されているハードウェア構成及びプログラムの実行によって、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、及び、画像処理部9を有する。これら点線で囲まれた機能がビデオ会議アプリ710の機能である。
The
このうち、映像取得部21は、ケーブルに接続されたノートPC6等の映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、後述の画像取得部31に出力する。
Of these, the
座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。
The coordinate
自動調整部23は、電子黒板8の起動時に起動され、接触センサ312が座標検知部22に適切な値を出力できるように、接触センサ312の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
The
接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。
The
イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。ここで、図28を用い、ストローク描画、UI操作、及びジェスチャ操作について説明する。なお、図28は、各画像レイヤの構成図である。
The
まず、「ストローク描画」は、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントにより描画される。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
First, “stroke drawing” is performed by an event in which the user presses the
「UI操作」は、ディスプレイ3上に図28に示されている後述のUI画像(A)が表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
The “UI operation” is an event in which the user presses a predetermined position with the
「ジェスチャ操作」は、ディスプレイ3上に図28に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動したりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
The “gesture operation” is an event in which the user touches or moves on the
続いて、図27に戻り、操作処理部26は、イベント振分部25によってUI操作と判定されたものから、イベントが発生されたUIの要素に従って、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
Subsequently, returning to FIG. 27, the
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判定されたものに対応した操作を実行する。
The
映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として映像出力機器(ディスプレイ3等)に対して表示する。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(カメラ7等)から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。
The
(画像処理部の機能構成)
続いて、画像処理部9の機能構成について、詳細に説明する。画像処理部9は、図28に示されているような各画像レイヤの重畳処理等を行う。
(Functional configuration of image processing unit)
Next, the functional configuration of the
そのため、画像処理部9は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部42、及びページデータ記憶部300を有している。
Therefore, the
このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。この画像は、図28に示されている出力画像(C)に相当する。
Of these, the
ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図28に示されているストローク画像(B)に相当する。
The
UI画像生成部33は、電子黒板8に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図28に示されているUI画像(A)に相当する。
The UI
背景生成部34は、ディスプレイ3上に表示される背景画像を生成する。この背景画像は、図28に示されている背景画像(D)に相当する。背景画像のパターンは、無地、グリッド表示等である。
The
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、UI画像生成部33、及び背景生成部34から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
The
表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトに従って重畳する。これにより、図28に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイヤの構成となっている。
The
また、表示重畳部36は、図28に示されている画像(C)と画像(D)を切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初に、画像(A)、画像(B)及び画像(C)が表示されている状態で、電子黒板8と映像出力機器(ノートPC6等)との間のケーブルが抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
Further, the
ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。また、ページ処理部37は、画像取得部31を介して記憶したページデータを表示重畳部36に送信することで、映像重畳部28がページデータをディスプレイ3に再表示させることができる。
The
更に、ページ処理部37は、画像取得部31を介して記憶したページデータをビデオ会議アプリ710に送信することで、ビデオ会議アプリ710から他の電子黒板8や伝送端末10にページデータ(ストローク配列データ、メディアデータ)を送信することができる。また、ページ処理部37は、ページデータをストローク処理部32に送信することで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
Further, the
また、ページ処理部37は、ページデータ記憶部300からページデータを読み出す場合には、1つにまとめたページデータから、ストローク画像(B)を示すストローク配列データ、及び背景画像(D)を示すメディアデータに分ける。即ち、ページ処理部37がページデータ記憶部300に記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、画像取得部31に出力する。
Further, when reading the page data from the page
ページデータ記憶部300は、図29に示されているようなページデータを記憶する。図12は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストロークデータ及び画像データ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図29〜図31に分けて、ページデータの内容を説明する。
The page
ファイル処理部42は、電子黒板8が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ファイル処理部42が、ページデータ記憶部300からページデータを取得し、PDFファイルとしてUSB5に記録する。しかし、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、ファイル処理部42が、ページデータ記憶部300からページデータを読み出すことで復旧させる。また、ファイル処理部42は、USBメモリ5から、PDFファイルを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。
After the abnormal termination of the
ここで、ページデータについて、詳細に説明する。ページデータは、図29に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、後述の図11に示されているストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、後述の図28に示されている背景画像(D)がディスプレイ3上に表示されるためのデータである。
Here, the page data will be described in detail. The page data is, as shown in FIG. 29, a page data ID for identifying any one page, a disclosure time indicating the time when the display of this page is started, and rewriting of the content of the page by a stroke or gesture. Is associated with the end time indicating the time when the stroke is no longer performed, the stroke array data ID for identifying the stroke array data generated by the stroke by the
このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
With such page data, for example, when the user draws the alphabet “S” with the
また、ストローク配列データは、図30に示されているように詳細な情報を示している。図30は、ストローク配列データを示す概念図である。図30に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。 Further, the stroke arrangement data shows detailed information as shown in FIG. FIG. 30 is a conceptual diagram showing stroke arrangement data. As shown in FIG. 30, one stroke array data is represented by a plurality of stroke data. One piece of stroke data includes a stroke data ID for identifying this stroke data, a start time indicating the start time of writing one stroke, an end time indicating the end time of writing one stroke, a stroke color, The stroke width and coordinate arrangement data ID for identifying the arrangement of the passing points of the stroke are shown.
更に、この座標配列データは、図31に示されているように詳細な情報を示している。図31は、座標配列データを示す概念図である。図31に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開示時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、図31に示されている1点の集まりが、図30に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
Further, this coordinate array data shows detailed information as shown in FIG. FIG. 31 is a conceptual diagram showing coordinate array data. As shown in FIG. 31, the coordinate array data includes one point (X coordinate value, Y coordinate value) on the
また、図29に示されているページデータのうちのメディアデータは、図30に示されているように詳細な情報を示している。図32は、メディアデータを示す概念図である。図32に示されているように、メディアデータは、図29に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。
The media data of the page data shown in FIG. 29 shows detailed information as shown in FIG. FIG. 32 is a conceptual diagram showing media data. As shown in FIG. 32, the media data includes the media data ID in the page data shown in FIG. 29, the data type of the media data, and the page data stored in the page
(ビデオ会議アプリの機能構成)
続いて、ビデオ会議アプリ710の機能構成について詳細に説明する。ビデオ会議アプリ710は、電子黒板8が、外部の装置等(伝送端末10、UI提供装置20,他の電子黒板8、伝送管理装置50、中継装置30、及びプログラム提供装置90)と通信するための処理を制御する。
(Functional configuration of video conference application)
Next, the functional configuration of the
そのため、ビデオ会議アプリ710は、送受信部61、操作入力受付部62、ログイン要求部63、加工部64、出力重畳部65、表示制御部66、宛先リスト作成部67、判断部68、及び記憶・読出処理部69を有している。更に、ビデオ会議アプリ710は、図26に示されているSSD304によって構築される記憶部6000を有している。
Therefore, the
また、ビデオ会議アプリ710は、図6に示されている伝送端末10の機能構成の一部を有している。即ち、ビデオ会議アプリ710の送受信部61、操作入力受付部62、ログイン要求部63、表示制御部66、宛先リスト作成部67、及び記憶・読出処理部69は、それぞれ伝送端末10の送受信部11、操作入力受付部12、ログイン要求部13、宛先リスト表示部16、表示制御部17、及び記憶・読出処理部19と同様の処理を行う。また、ビデオ会議アプリ710の記憶部6000は、伝送端末10の記憶部1000と同様の役割を果たす。このため、これらの説明は省略する。
Further, the
一方、加工部64は、送受信部61によって受信された表示能力情報(他の伝送端末10の画面サイズ、解像度など)が、他の伝送端末に所定の画像を表示する能力がない旨を示す場合には、画像データを加工する。具体的には、加工部64は、電子黒板8に対する操作を行うためのUI画像(A)を含む複数の階層の画像が重畳された画像データのうち、トリミングによってUI画像に係る操作画像データを切り取った後、トリミング後の画像データをトリミング前の画像データに拡大するリサイズを行う。なお、加工部64は、画像データを拡大するリサイズを行った後に、トリミングを行ってもよい。
On the other hand, if the display capability information (screen size, resolution, etc. of the other transmission terminal 10) received by the transmission/
出力重畳部65は、表示重畳部36のように画像データと画像データを重畳させる。
The
判断部68は、送受信部61によって受信された表示能力情報が、他の伝送端末に所定の画像を表示する能力がない旨を示す場合には、画像データを加工すると判断する。これにより、加工部64が画像データの加工を行う。
When the display capability information received by the transmission/
(インタフェースアプリ730)
図27に示すように、電子黒板8はインタフェース部730aを有する。インタフェース部730aはインタフェースアプリ730を電子黒板8のCPU301が実行し図26に示した各種のハードウェアと協働することで実現される機能又は手段である。インタフェース部730aは、インタフェース処理部710aを介してビデオ会議アプリ710の記憶・読出処理部69に「記録開始通知を受信した旨」が記憶されているか否かを一定時間(例えば1秒〜1分の間などでよい)に監視している。また、インタフェース部730aは、OS700にディスプレイ3の最前面に表示するアプリケーションを指示する信号を送信する。
(Interface application 730)
As shown in FIG. 27, the
また、ビデオ会議アプリ710はインタフェース処理部710aを有する。インタフェース処理部710aはビデオ会議アプリ710を電子黒板8のCPU301が実行し図26に示した各種のハードウェアと協働することで実現される機能又は手段である。インタフェース処理部710aは、電子黒板アイコン703が押下されると、インタフェース部730aに、電子黒板アプリ720が選択された旨を示す電子黒板UI画面切替信号を送信する。これにより、インタフェース部730aは、OS700に電子黒板UI画面740を表示させる。
The
また、電子黒板アプリ720はインタフェース処理部720aを有する。インタフェース処理部720aは電子黒板アプリ720を電子黒板8のCPU201が実行し図26に示した各種のハードウェアと協働することで実現される機能又は手段である。インタフェース処理部720aは、ビデオ会議アイコン702aが押下されると、インタフェース部730aに、ビデオ会議アプリ710が選択された旨を示すビデオ会議UI画面切替信号を送信する。これにより、インタフェース部730aは、OS700にビデオ会議UI画面750を表示させる。
Further, the
<動作手順>
図33は、電子黒板8で動作するビデオ会議アプリ710が録画開始通知を受信した場合の動作手順を示すシーケンス図の一例である。図33では、図8、9の処理によりすでにビデオ会議が開催されているものとする。
<Operating procedure>
FIG. 33 is an example of a sequence diagram showing an operation procedure when the
S1:伝送端末10ddから伝送管理装置50に録画開始通知が送信される。録画開始通知については図10にて説明した。
S1: The recording start notification is transmitted from the transmission terminal 10dd to the
S2:伝送管理装置50の送受信部51は、伝送端末10ddとビデオ会議を行っている電子黒板8に録画開始通知を送信する。
S2: The transmission/
S3、S4:インタフェース部730aは一定時間ごとに、インタフェース処理部710aを介して、ビデオ会議アプリ710の記憶・読出処理部69に対し、録画開始通知を受信したか否かを監視する。
S3, S4: The
S5:録画開始通知を受信した場合、インタフェース部730aはビデオ会議アプリ710が始めて録画開始通知を受信したか否かを判定する。ビデオ会議アプリ710の記憶部6000も録画中管理テーブルを有するので、録画中管理テーブルの通信IDがゼロの状態で通信IDが登録された場合、インタフェース部730aはビデオ会議アプリ710が始めて録画開始通知を受信したと判定する。これにより、録画開始通知を受信するたびに、ビデオ会議アプリ710に通知する必要がない。
S5: When the recording start notification is received, the
S6,S7:ビデオ会議アプリ710が始めて録画開始通知を受信したと判定すると、インタフェース部730aは、インタフェース処理部720aを介してUI画像生成部33にUI変更要求を行う。UI変更要求は、電子黒板UI画面740に伝送端末10ddの稼動状態の表示を要求することをいう。具体的には伝送端末10ddが録画していることを表示する。
S6, S7: When it is determined that the
S8:これにより、電子黒板アプリ720のUI画像生成部33は、伝送端末10ddが録画している旨が表示された電子黒板UI画面740を表示する。この電子黒板UI画面740の一例を図34にて説明する。
S8: As a result, the UI
なお、この時点で、インタフェース部730aはOS700にビデオ会議UI画面切替信号を送信する必要はない。まず、電子黒板8のディスプレイ3に電子黒板UI画面740が表示されている状況では、ステップS8で伝送端末10ddが録画している旨が表示されるため、ユーザが他の拠点で録画されていることに気づくことができる。電子黒板8のディスプレイ3にビデオ会議UI画面750が表示されている状況では、実施例1で説明した録画拠点マーク71又は他拠点録画マーク72が全画面表示画面501又は情報表示画面601に表示されるため、ユーザが他の拠点で録画していることに気づくことができる。
At this point, the
インタフェース部730aは、同様に、ビデオ会議アプリ710が録画終了通知を受信したことを検知できる。この場合、インタフェース部730aは、電子黒板アプリ720のUI画像生成部33にUI変更要求を行う。このUI変更要求は、伝送端末10ddが録画している旨の消去の要求である。
Similarly, the
図34は、他の拠点が録画している旨が表示された電子黒板UI画面740の一例である。図34では、ティッカー部760に「録画会議中」という文字761が表示されている。ティッカー部760とは、画面の一部に設けられた画像などのコンテンツとは関係ない情報が表示される領域である。一般に、コンテンツ部分のアスペクト比を維持したままコンテンツ部分が縮小されてできる領域である。こうすることで、コンテンツに重複せずに他の拠点が録画している旨を表示できる。
FIG. 34 is an example of the electronic
ただし、図34で電子黒板UI画面740を特に縮小しなくてよく、例えば、電子黒板UI画面740のコンテンツ(手書きされたストロークなど)の四隅や中央などに重畳して表示してよい。
However, the electronic
また、UI画像生成部33は図34のように文字で録画中である旨を表示する他、ビデオ会議アイコン702aの点滅、色変更などで録画中である旨を表示してもよい。また、文字761でなく録画中である旨を示すアイコンを表示してもよい。
Further, the UI
<表示順の変更>
次に、図35を用いて電子黒板UI画面740とビデオ会議UI画面750の表示順の変更手順を説明する。図35は、インタフェース部730aが電子黒板UI画面740とビデオ会議UI画面750の表示順を変更する手順を示すシーケンス図の一例である。図35は、ビデオ会議の開催中に実行される。電子黒板8のディスプレイ3にはビデオ会議UI画面750が表示されているものとして説明する。
<Change display order>
Next, a procedure for changing the display order of the electronic
S1:ユーザがビデオ会議UI画面750の電子黒板アイコン703を押下する。操作入力受付部62はこの操作を受け付けインタフェース処理部710aに通知する。
S1: The user presses the
S2:インタフェース処理部710aはこの通知を受けてインタフェース部730aに電子黒板UI画面切替信号を送信する。
S2: In response to this notification, the
S3:インタフェース部730aは、電子黒板UI画面切替信号をOS700に送信する。
S3: The
S4:OS700は電子黒板アプリ720の映像重畳部28が生成する電子黒板UI画面740をディスプレイ3の最前面に表示する。また、電子黒板UI画面740をアクティブにする。すなわち、電子黒板UI画面740を作成した電子黒板アプリ720をユーザの操作の対象にする。また、OS700は、電子黒板アプリ720を他のアプリよりも若干高い優先順位を割り当てる。これにより、ビデオ会議アプリ710も動作したまま、電子黒板UI画面740がディスプレイ3の最前面に表示される。
S4: The
なお、電子黒板アプリ720が最前面に表示された状態で、ビデオ会議アプリ710を最前面に表示するには図35の逆の手順が実行されればよい。
It should be noted that in order to display the
このように、ユーザは電子黒板アプリ720とビデオ会議アプリ710を任意に切り替えることができる。
In this way, the user can arbitrarily switch between the
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
The best mode for carrying out the present invention has been described above with reference to the embodiments. However, the present invention is not limited to these embodiments, and various modifications can be made without departing from the gist of the present invention. And substitutions can be added.
例えば、中継装置30、伝送管理装置50及びプログラム提供装置90は、それぞれが独立に存在するのでなく、単一のコンピュータによって構築されてもよい。また、伝送端末10、伝送管理装置50及びプログラム提供装置90が有する各手段及び記憶部1000,2000,5000を、複数のコンピュータに任意に割り当ててもよい。この場合、UI提供装置20はどのコンピュータの機能として含まれてもよい。
For example, the
また、上記実施形態では、伝送システム1の一例として、ビデオ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。
Further, in the above embodiment, the case of the video conference system has been described as an example of the
また、各伝送端末10は伝送管理装置50を介さずに通信してもよい。このような通信プロトコルの一例として、WebRTCが知られている。
Further, each
また、伝送システム1は、移動体に搭載されたカーナビゲーション装置を含むシステムであってもよい。また、伝送端末10に画面共有用のPCが接続されてもよい。
Further, the
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の伝送端末側でユーザが接触した感覚が、他方の伝送端末側に伝達される。 Further, in the above-described embodiment, the image data and the audio data are described as an example of the content data, but the present invention is not limited to this, and may be tactile data. In this case, the feeling that the user has touched on one transmission terminal side is transmitted to the other transmission terminal side.
更に、コンテンツデータは、嗅覚(smell)データであってもよい。この場合、一方の伝送端末側の匂い(臭い)が、他の伝送端末側に伝達される。また、コンテンツデータは、画像データ、音声データ、触覚データ及び嗅覚データのうち、少なくとも1つのデータであればよい。 Further, the content data may be smell data. In this case, the odor on one transmission terminal side is transmitted to the other transmission terminal side. The content data may be at least one of image data, audio data, tactile data, and olfactory data.
また、上記実施形態では、伝送システム1によってビデオ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。
Further, in the above-described embodiment, the case where the video conference is held by the
また、上記実施形態では、主に画像データが録画されていることを参加者に通知したが、音声データのみが送受信されている状態で音声データが録音されていることが参加者に通知されてもよい。 In addition, in the above-described embodiment, the participants are mainly notified that the image data is recorded. However, the participants are notified that the audio data is recorded while only the audio data is being transmitted and received. Good.
送受信部11は受信手段の一例であり、拠点リスト表示部18bは記録端末通知手段の一例であり、録画中管理テーブル1000bは識別情報記憶手段の一例であり、全画面表示画面501は第一の画面の一例であり、情報表示画面601は第二の画面の一例である。伝送管理装置50は外部装置の一例であり、宛先リスト表示部16は宛先リスト表示手段の一例であり、ディスプレイ120は表示装置の一例である。表示制御部17は表示制御手段の一例であり、操作入力受付部12は選択受付手段の一例であり、補助領域表示部18aは記録中通知手段の一例である。宛先リスト管理DB5003は宛先リスト記憶手段の一例であり、端末管理DB5002は端末状態記憶手段の一例であり、画像録画部41は記録手段の一例であり、送受信部51は送信手段の一例である。伝送端末10は第一の情報処理装置(又は第二の情報処理装置)の一例であり、伝送管理装置50は第二の情報処理装置の一例である。表示制御部66は第一の表示制御手段の一例であり。UI画像生成部33と映像重畳部28は第二の表示制御手段の一例であり、インタフェース部703aは通知手段の一例である。
The transmitting/receiving
1 伝送システム
10 伝送端末
12 操作入力受付部
17 表示制御部
18a 補助領域表示部
18b 拠点リスト表示部
50 伝送管理装置
52 端末認証部
53 状態管理部
54 端末抽出部
55 端末状態取得部
120 ディスプレイ
1
Claims (14)
前記情報処理装置が送信した画像データ又は音声データを前記他の情報処理装置が記録する旨の記録通知を前記他の情報処理装置の識別情報と共に受信する受信手段と、
前記受信手段が受信した前記識別情報に基づいて、前記記録通知を送信した前記他の情報処理装置が画像データ又は音声データを記録中であることを前記他の情報処理装置に対応付けて通知する記録端末通知手段と、
前記他の情報処理装置から送信された画像データを表示装置に表示する全画面表示画面、又は、前記他の情報処理装置に関する情報を表示装置に表示する情報表示画面を切り替えて表示する表示制御手段と、
前記受信手段が受信した前記識別情報を記憶する識別情報記憶手段と、
前記識別情報記憶手段に1つも前記識別情報が記憶されていない状態で、前記全画面表示画面の表示中に、前記受信手段が前記記録通知を受信した場合、
前記他の情報処理装置が画像データ又は音声データを記録中である旨を示す記録通知情報の前記全画面表示画面への表示を開始する記録中通知手段と、を有し、
前記情報表示画面の表示中に、前記受信手段が前記記録通知を受信した場合、前記記録端末通知手段は、前記他の情報処理装置が画像データ又は音声データを記録中である旨の前記情報表示画面への表示を開始する情報処理装置。 An information processing device for transmitting at least one of image data and audio data to one or more other information processing devices connected via a network,
Receiving means for receiving, together with the identification information of the other information processing apparatus, a recording notification indicating that the other information processing apparatus records the image data or the audio data transmitted by the information processing apparatus,
Based on the identification information received by the receiving unit, the other information processing apparatus that has transmitted the recording notification notifies the other information processing apparatus that it is recording image data or audio data. Recording terminal notification means,
Display control means for switching and displaying a full-screen display screen for displaying image data transmitted from the other information processing device on a display device, or an information display screen for displaying information about the other information processing device on the display device When,
Identification information storage means for storing the identification information received by the receiving means,
When the receiving unit receives the recording notification while the full screen display screen is being displayed in the state where no one of the identifying information is stored in the identifying information storing unit,
A recording notification means for starting display of recording notification information indicating that the other information processing device is recording image data or audio data on the full-screen display screen,
When the receiving unit receives the recording notification while the information display screen is being displayed, the recording terminal notifying unit displays the information indicating that the other information processing apparatus is recording image data or audio data. An information processing device that starts displaying on a screen.
前記記録端末通知手段は、前記他の情報処理装置が記録中であることを常に表示装置に表示する請求項2に記載の情報処理装置。 In the case where even one of the one or more other information processing apparatuses that are in communication transmits the recording notification,
The information processing apparatus according to claim 2, wherein the recording terminal notifying unit always displays on the display device that the other information processing apparatus is recording.
前記記録端末通知手段は、前記他の情報処理装置に関する情報と共に前記他の情報処理装置が記録中であることを前記情報表示画面に表示する請求項3に記載の情報処理装置。 When at least one piece of the identification information is stored in the identification information storage means , the other information processing device is recording image data or audio data while the full-screen display screen is displayed Display the record notification information indicating that is on the full screen display screen ,
The information processing apparatus according to claim 3, wherein the recording terminal notifying unit displays, on the information display screen , information indicating that the other information processing apparatus is recording together with information regarding the other information processing apparatus.
前記記録中通知手段は、前記識別情報記憶手段から前記記録終了通知を送信した前記他の情報処理装置の識別情報を削除し、前記識別情報記憶手段に1つも前記識別情報が記憶されていない場合、前記全画面表示画面の前記記録通知情報を非表示にし、
前記記録端末通知手段は、前記他の情報処理装置が記録中であることを前記情報表示画面において非表示にする請求項4に記載の情報処理装置。 When the receiving means receives a recording end notification indicating that the other information processing device has finished recording the image data or the audio data transmitted by the information processing device, together with the identification information of the other information processing device,
The recording notifying means deletes the identification information of the other information processing device that has transmitted the recording end notification from the identification information storage means, and no identification information is stored in the identification information storage means. , Hides the record notification information on the full-screen display screen ,
The information processing apparatus according to claim 4 , wherein the recording terminal notifying unit hides on the information display screen that the other information processing apparatus is recording.
前記記録中通知手段は、前記識別情報記憶手段から前記外部装置が送信した前記他の情報処理装置の識別情報を削除し、前記識別情報記憶手段に1つも前記識別情報が記憶され
ていない場合、前記全画面表示画面の前記記録通知情報を非表示にし、
前記記録端末通知手段は、前記他の情報処理装置が記録中であることを前記情報表示画面において非表示にする請求項5に記載の情報処理装置。 When the receiving unit receives from the external device that monitors the life and death of the other information processing device, together with the identification information of the other information processing device, the change information of the operating state indicating that the communication is disconnected,
The recording notification means deletes the identification information of the other information processing device transmitted by the external device from the identification information storage means, and if no identification information is stored in the identification information storage means, Hide the recording notification information of the full screen display screen ,
The information processing apparatus according to claim 5 , wherein the recording terminal notifying unit hides on the information display screen that the other information processing apparatus is recording.
前記受信手段は、前記宛先リストの前記他の情報処理装置ごとに記録中か否かを含む稼動状態に関する情報を受信し、
前記稼動状態に関する情報に基づいて、前記宛先リストの前記他の情報処理装置が記録中か否かを表示装置に表示する宛先リスト表示手段を有する請求項1〜6のいずれか1項に記載の情報処理装置。 The information processing apparatus has a destination list of the other information processing apparatus with which the information processing apparatus can start communication, and the information of the recording notification and the identification information of the other information processing apparatus transmitted by the other information processing apparatus. From an external device that transfers to the processing device,
The receiving means receives information regarding an operating state including whether or not recording is being performed for each of the other information processing devices in the destination list,
Based on the information on the operating state, according to any one of claims 1 to 6 having a destination list display means for the other information processing apparatus is displayed on the display device whether the recording of the destination list Information processing device.
前記選択受付手段が記録中の前記他の情報処理装置の選択を受け付けた場合、前記宛先リスト表示手段は記録中の前記他の情報処理装置と通信を行う旨を表示装置に表示する請求項7に記載の情報処理装置。 A selection receiving unit that receives the selection of the other information processing apparatus that is the destination of communication,
If the selection receiving unit receives a selection of the other information processing apparatus in recording, according to claim 7 wherein the destination list display means for displaying on the display device to the effect that communicate with the other information processing apparatus in a recording The information processing device according to 1.
前記画像データが表示される前記全画面表示画面とは異なる前記情報表示画面を表示装置に表示する第二の表示制御手段と、
前記受信手段が前記記録通知を受信した場合、前記第二の表示制御手段に対し、前記情報表示画面に表示された情報を前記他の情報処理装置が記録している旨を前記情報表示画面に表示させる通知手段と、を有する請求項1〜8のいずれか1項に記載の情報処理装置。 A first display control means for displaying the image data received from the other information processing device on the full-screen display screen of a display device;
Second display control means for displaying the information display screen different from the full screen display screen on which the image data is displayed on a display device,
When the receiving means receives the recording notification, the second display control means is displayed on the information display screen to the effect that the other information processing device is recording the information displayed on the information display screen . the information processing apparatus according to any one of claims 1 to 8 having, a notification unit for displaying.
第一の情報処理装置は、
第二の情報処理装置が送信した画像データ又は音声データを記録する記録手段と、
前記記録手段が記録を開始した旨の記録通知を送信する送信手段と、を有し、
前記第二の情報処理装置は、
前記記録通知を前記第一の情報処理装置の識別情報と共に受信する受信手段と、
前記受信手段が受信した前記識別情報に基づいて、前記記録通知を送信した前記第一の情報処理装置が画像データ又は音声データを録画中であることを前記第一の情報処理装置に対応付けて通知する記録端末通知手段と、
前記第一の情報処理装置から送信された画像データを表示装置に表示する全画面表示画面、又は、前記第一の情報処理装置に関する情報を表示装置に表示する情報表示画面を切り替えて表示する表示制御手段と、
前記受信手段が受信した前記識別情報を記憶する識別情報記憶手段と、
前記識別情報記憶手段に1つも前記識別情報が記憶されていない状態で、前記全画面表示画面の表示中に、前記受信手段が前記記録通知を受信した場合、
前記第一の情報処理装置が画像データ又は音声データを記録中である旨を示す記録通知情報の前記全画面表示画面への表示を開始する記録中通知手段と、を有し、
前記情報表示画面の表示中に、前記受信手段が前記記録通知を受信した場合、前記記録端末通知手段は、前記第一の情報処理装置が画像データ又は音声データを記録中である旨の前記情報表示画面への表示を開始する伝送システム。 A transmission system having a plurality of information processing devices for transmitting at least one of image data and audio data via a network,
The first information processing device is
Recording means for recording image data or audio data transmitted by the second information processing device;
A transmission unit that transmits a recording notification indicating that the recording unit has started recording,
The second information processing device,
Receiving means for receiving the recording notification together with the identification information of the first information processing device,
On the basis of the identification information received by the receiving means, in association with the first information processing device that the first information processing device that has transmitted the recording notification is recording image data or audio data. Recording terminal notifying means for notifying,
Display for switching and displaying the full-screen display screen for displaying the image data transmitted from the first information processing device on the display device, or the information display screen for displaying the information on the first information processing device on the display device Control means,
Identification information storage means for storing the identification information received by the receiving means,
When the receiving unit receives the recording notification while the full-screen display screen is displayed in the state where no one of the identification information is stored in the identification information storage unit,
A recording notification means for starting display of recording notification information indicating that the first information processing device is recording image data or audio data on the full-screen display screen,
When the receiving unit receives the recording notification while the information display screen is displayed, the recording terminal notifying unit notifies the recording device notification unit that the information indicating that the first information processing device is recording image data or audio data. A transmission system that starts display on a display screen .
前記第三の情報処理装置は、
前記第二の情報処理装置が通信を開始することができる他の情報処理装置の宛先リストが記憶された宛先リスト記憶手段と、
前記第二の情報処理装置が送信する画像データ又は音声データを前記第一の情報処理装置が記録しているか否かが登録された稼動状態を記憶する端末状態記憶手段と、
前記稼動状態を前記第二の情報処理装置に送信する送信手段と、を有し、
前記第二の情報処理装置は、
前記宛先リストの前記他の情報処理装置ごとに前記稼動状態を受信する受信手段と、
前記稼動状態に基づいて、前記宛先リストの前記他の情報処理装置が画像データ又は音声データを記録中か否かを表示装置に表示する宛先リスト表示手段と、
を有する請求項11に記載の伝送システム。 Have a third information processing apparatus for managing communication of the second information processing equipment and the first information processing apparatus,
The third information processing device,
A destination list storage unit that stores a destination list of another information processing device with which the second information processing device can start communication;
A terminal state storage unit that stores an operating state in which whether or not the first information processing apparatus records image data or audio data transmitted by the second information processing apparatus,
A transmission unit that transmits the operating state to the second information processing device,
The second information processing device,
Receiving means for receiving the operating state for each of the other information processing devices of the destination list,
Based on the operating state, the destination list display means for the other information processing apparatus of the destination list is displayed on the display device whether the recording image data or audio data,
The transmission system according to claim 11, further comprising:
画像データ又は音声データを記録している前記第一の情報処理装置と通信中の全ての情報処理装置の前記稼動状態に、画像データ又は音声データを記録している旨を登録する請求項12に記載の伝送システム。 The third information processing device,
The operating state of all the information processing apparatus in communication with the has recorded image data or audio data first information processing apparatus, according to claim registers the fact that records image data or audio data 12 The transmission system described in.
前記情報処理装置が送信した画像データ又は音声データを前記他の情報処理装置が記録する旨の記録通知を前記他の情報処理装置の識別情報と共に受信する受信手段と、
前記受信手段が受信した前記識別情報に基づいて、前記記録通知を送信した前記他の情報処理装置が画像データ又は音声データを記録中であることを前記他の情報処理装置に対応付けて通知する記録端末通知手段と、
前記他の情報処理装置から送信された画像データを表示装置に表示する全画面表示画面、又は、前記他の情報処理装置に関する情報を表示装置に表示する情報表示画面を切り替えて表示する表示制御手段と、
前記受信手段が受信した前記識別情報を記憶する識別情報記憶手段と、
前記識別情報記憶手段に1つも前記識別情報が記憶されていない状態で、前記全画面表示画面の表示中に、前記受信手段が前記記録通知を受信した場合、
前記他の情報処理装置が画像データ又は音声データを記録中である旨を示す記録通知情報の前記全画面表示画面への表示を開始する記録中通知手段、として機能させ、
前記情報表示画面の表示中に、前記受信手段が前記記録通知を受信した場合、前記記録端末通知手段は、前記他の情報処理装置が画像データ又は音声データを記録中である旨の前記情報表示画面への表示を開始するプログラム。 An information processing device that transmits at least one of image data and audio data to one or more other information processing devices connected via a network,
Receiving means for receiving, together with the identification information of the other information processing apparatus, a recording notification indicating that the other information processing apparatus records the image data or the audio data transmitted by the information processing apparatus,
Based on the identification information received by the receiving unit, the other information processing apparatus that has transmitted the recording notification notifies the other information processing apparatus that it is recording image data or audio data. Recording terminal notification means,
Display control means for switching and displaying a full-screen display screen for displaying image data transmitted from the other information processing device on a display device, or an information display screen for displaying information about the other information processing device on the display device When,
Identification information storage means for storing the identification information received by the receiving means,
When the receiving unit receives the recording notification while the full screen display screen is being displayed in the state where no one of the identifying information is stored in the identifying information storing unit,
The other information processing device is caused to function as a recording notification means for starting display of recording notification information indicating that image data or audio data is being recorded on the full-screen display screen ,
When the receiving unit receives the recording notification while the information display screen is being displayed, the recording terminal notifying unit displays the information indicating that the other information processing apparatus is recording image data or audio data. A program that starts displaying on the screen .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17169585.1A EP3247112A1 (en) | 2016-05-20 | 2017-05-04 | Information processing apparatus, communication system, and information processing method |
US15/597,640 US10033966B2 (en) | 2016-05-20 | 2017-05-17 | Information processing apparatus, communication system, and information processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016101311 | 2016-05-20 | ||
JP2016101311 | 2016-05-20 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020105598A Division JP6888716B2 (en) | 2016-05-20 | 2020-06-18 | Information processing equipment, programs, methods, systems |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017212712A JP2017212712A (en) | 2017-11-30 |
JP6720722B2 true JP6720722B2 (en) | 2020-07-08 |
Family
ID=60476240
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016123948A Active JP6720722B2 (en) | 2016-05-20 | 2016-06-22 | Information processing device, transmission system, program |
JP2020105598A Active JP6888716B2 (en) | 2016-05-20 | 2020-06-18 | Information processing equipment, programs, methods, systems |
JP2021085494A Active JP7196951B2 (en) | 2016-05-20 | 2021-05-20 | Information processing device, program, method, system |
JP2022200069A Pending JP2023026478A (en) | 2016-05-20 | 2022-12-15 | Information processing device, program, method, and system |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020105598A Active JP6888716B2 (en) | 2016-05-20 | 2020-06-18 | Information processing equipment, programs, methods, systems |
JP2021085494A Active JP7196951B2 (en) | 2016-05-20 | 2021-05-20 | Information processing device, program, method, system |
JP2022200069A Pending JP2023026478A (en) | 2016-05-20 | 2022-12-15 | Information processing device, program, method, and system |
Country Status (1)
Country | Link |
---|---|
JP (4) | JP6720722B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114766018A (en) * | 2020-11-12 | 2022-07-19 | 京东方科技集团股份有限公司 | Method, device and storage medium for simultaneously displaying state information of multiple devices |
JP7164856B1 (en) | 2022-01-21 | 2022-11-02 | 17Live株式会社 | Server and method |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08297624A (en) * | 1995-02-28 | 1996-11-12 | Toshiba Corp | Electronic conference system |
US5619555A (en) * | 1995-07-28 | 1997-04-08 | Latitude Communications | Graphical computer interface for an audio conferencing system |
JP2002344917A (en) * | 2001-05-11 | 2002-11-29 | Canotec Kk | Two-way communication device, two-way communication method, network server device, information processing system and program |
JP2003167856A (en) * | 2001-11-30 | 2003-06-13 | Pioneer Electronic Corp | Network conference system, authentication method thereof, and terminal for network conference system, authentication system thereof |
JP2007003667A (en) * | 2005-06-22 | 2007-01-11 | Murata Mach Ltd | Image reader |
JP2007025946A (en) * | 2005-07-14 | 2007-02-01 | Sharp Corp | Multi-point electronic conference system and communication terminal |
JP2007267337A (en) * | 2006-03-30 | 2007-10-11 | Kyocera Corp | Communication terminal device, communication control apparatus, and speech recording and reproducing method |
JP2007286711A (en) * | 2006-04-13 | 2007-11-01 | Fuji Xerox Co Ltd | Information processor and information processing method, and computer program |
JP2008005199A (en) * | 2006-06-22 | 2008-01-10 | Sony Corp | Information processor, method, and program |
US8253770B2 (en) * | 2007-05-31 | 2012-08-28 | Eastman Kodak Company | Residential video communication system |
JP2010081265A (en) * | 2008-09-25 | 2010-04-08 | Fuji Xerox Co Ltd | Information processing apparatus, remote instruction system, and program |
JP2011054039A (en) * | 2009-09-03 | 2011-03-17 | Sharp Corp | Teleconference system, conference relay device, and computer program |
JP5817396B2 (en) * | 2011-09-29 | 2015-11-18 | 株式会社リコー | Dialog system |
JP6051782B2 (en) * | 2012-10-31 | 2016-12-27 | 株式会社リコー | Communication system and program |
US9077850B1 (en) * | 2013-01-15 | 2015-07-07 | Google Inc. | Recording multi-party video calls |
JP2015011630A (en) * | 2013-07-01 | 2015-01-19 | 株式会社リコー | Image processing device and image processing method |
EP3136248B1 (en) * | 2014-04-23 | 2018-09-26 | Ricoh Company, Ltd. | Access management system, communication system, recording medium and access management method |
JP6484934B2 (en) * | 2014-06-10 | 2019-03-20 | 株式会社リコー | COMMUNICATION DEVICE, COMMUNICATION SYSTEM, COMMUNICATION MANAGEMENT SYSTEM, COMMUNICATION CONTROL METHOD, AND PROGRAM |
-
2016
- 2016-06-22 JP JP2016123948A patent/JP6720722B2/en active Active
-
2020
- 2020-06-18 JP JP2020105598A patent/JP6888716B2/en active Active
-
2021
- 2021-05-20 JP JP2021085494A patent/JP7196951B2/en active Active
-
2022
- 2022-12-15 JP JP2022200069A patent/JP2023026478A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2021122151A (en) | 2021-08-26 |
JP2020171030A (en) | 2020-10-15 |
JP6888716B2 (en) | 2021-06-16 |
JP7196951B2 (en) | 2022-12-27 |
JP2017212712A (en) | 2017-11-30 |
JP2023026478A (en) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6343897B2 (en) | Transmission terminal, transmission method, and program | |
JP5962098B2 (en) | Transmission terminal, transmission system, display control method, and program | |
JP6379521B2 (en) | Transmission terminal, transmission system, transmission method and program | |
JP6171303B2 (en) | Transmission terminal, transmission method, and program | |
JP2015097070A (en) | Communication system, information processor, and program | |
JP5942364B2 (en) | Transmission management system, transmission system, and program | |
US10033966B2 (en) | Information processing apparatus, communication system, and information processing method | |
JP2023026478A (en) | Information processing device, program, method, and system | |
JP2017046192A (en) | Information processing device, program, and information processing method | |
JP6337910B2 (en) | Information terminal, system, control method, and storage medium | |
JP6260201B2 (en) | Transmission terminal, transmission method, and program | |
JP2017142610A (en) | Server device, transmission system and program | |
JP6361728B2 (en) | Transmission control system, transmission system, transmission control method, and recording medium | |
JP2023022034A (en) | Terminal device, communication system, communication method and program | |
JP6314539B2 (en) | Transmission terminal, transmission system, transmission method and program | |
JP5754117B2 (en) | External input device, display data creation method, program | |
JP2016152505A (en) | Image management system, communication terminal, communication system, image management method and program | |
JP2019193279A (en) | Transmission management system, transmission system, program, program providing system, and maintenance system | |
JP6544117B2 (en) | Terminal, communication system, communication method, and program | |
WO2015151958A1 (en) | Transmission terminal, transmission system, and selection method for relay device | |
JP2016134781A (en) | Information processing device, voice output method, program and communication system | |
JP2019135567A (en) | Information processing apparatus, management system, image sharing system, image sharing method, and program | |
JP2020144477A (en) | Communication terminal, communication system, communication method, and program | |
JP2016134780A (en) | Information processing device, voice output method, program and communication system | |
JP2016195389A (en) | Communication management system, communication system, communication management method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200601 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6720722 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |