JP6773145B2 - Electronic blackboards, communication systems, communication control methods, and programs - Google Patents

Electronic blackboards, communication systems, communication control methods, and programs Download PDF

Info

Publication number
JP6773145B2
JP6773145B2 JP2019010179A JP2019010179A JP6773145B2 JP 6773145 B2 JP6773145 B2 JP 6773145B2 JP 2019010179 A JP2019010179 A JP 2019010179A JP 2019010179 A JP2019010179 A JP 2019010179A JP 6773145 B2 JP6773145 B2 JP 6773145B2
Authority
JP
Japan
Prior art keywords
electronic blackboard
communication
content data
communication control
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019010179A
Other languages
Japanese (ja)
Other versions
JP2019079566A (en
Inventor
加藤 喜永
喜永 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019010179A priority Critical patent/JP6773145B2/en
Publication of JP2019079566A publication Critical patent/JP2019079566A/en
Application granted granted Critical
Publication of JP6773145B2 publication Critical patent/JP6773145B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、電子黒板、通信システム、通信制御方法、及びプログラムに関する。 The present invention relates to electronic blackboards , communication systems, communication control methods, and programs.

近年、当事者の移動の経費や時間を削減する要請等に伴い、インターネットや専用線等の通信ネットワークを介して通話や会議等を行う通信システムが普及している。このような通信システムでは、通信端末の有する機能に応じて、会議参加者や会議資料等の表示データや手書操作に基づくストロークデータ等のコンテンツデータを通信端末間で共有することができる。 In recent years, communication systems for making calls and conferences via communication networks such as the Internet and leased lines have become widespread in response to requests for reducing the cost and time of moving parties. In such a communication system, content data such as display data such as conference participants and conference materials and stroke data based on manual operations can be shared between communication terminals according to the functions of the communication terminals.

また、通信ネットワークに接続する電子黒板のうちサーバ機を介して、クライアント機間でストロークデータを共有する方法が開示されている(特許文献1参照)。 Further, a method of sharing stroke data between client machines via a server machine among electronic blackboards connected to a communication network is disclosed (see Patent Document 1).

電子黒板において複数の機能を起動することで複数の機能を同じタイミングに実行することができる。しかしながら、電子黒板間で画像を共有する機能を複数起動すると、一方の機能により表示される画像が、他方の機能による、例えば、ポップアップ等の表示の制御に伴って視認し難くなるという課題が生じる。 By activating multiple functions on the electronic blackboard , multiple functions can be executed at the same timing. However, when a plurality of functions for sharing images between electronic blackboards are activated, there arises a problem that the image displayed by one function becomes difficult to see due to the control of display such as pop-up by the other function. ..

請求項1に係る発明の電子黒板は、配信サーバを介した第1の電子黒板との間の通信を制御する第1の通信制御手段と、第2の電子黒板との間の通信を制御する第2の通信制御手段と、前記第2の通信制御手段による通信において前記第2の電子黒板との間で送信されるコンテンツデータを取得する取得手段と、前記配信サーバによって配信されるコンテンツデータに基づく画像の表示を制御する表示制御手段と、を有しており、前記第1の通信制御手段は、前記取得手段によって取得される前記コンテンツデータを前記配信サーバへ送信し、前記配信サーバによって配信されるコンテンツデータは、前記第1の電子黒板によって送信された第1のコンテンツデータと、前記取得手段によって取得され、前記配信サーバへ送信された第2のコンテンツデータとを含んでおり、前記表示制御手段は、前記第1のコンテンツデータ及び前記第2のコンテンツデータを重畳して表示する制御を行うことを特徴とする。 The electronic blackboard of the invention according to claim 1 controls communication between a first communication control means for controlling communication with a first electronic blackboard via a distribution server and a second electronic blackboard. The second communication control means, the acquisition means for acquiring the content data transmitted between the second electronic blackboard in the communication by the second communication control means, and the content data distributed by the distribution server. It has a display control means for controlling the display of an image based on the image, and the first communication control means transmits the content data acquired by the acquisition means to the distribution server and distributes the content data by the distribution server. The content data to be generated includes the first content data transmitted by the first electronic blackboard and the second content data acquired by the acquisition means and transmitted to the distribution server, and is displayed. The control means is characterized in that it controls to superimpose and display the first content data and the second content data.

以上説明したように本発明によれば、電子黒板間で画像を共有するための機能を複数起動させたときに、一方の機能により表示される画像が、他方の機能による表示の制御に伴って視認し難くなることを防ぐことが可能になるという効果を奏する。 As described above, according to the present invention, when a plurality of functions for sharing images between electronic blackboards are activated, the image displayed by one function is controlled by the display by the other function. It has the effect of preventing it from becoming difficult to see.

図1は、一実施形態に係る通信システムの全体構成図である。FIG. 1 is an overall configuration diagram of a communication system according to an embodiment. 図2は、一実施形態に係る電子黒板のハードウェア構成図である。FIG. 2 is a hardware configuration diagram of the electronic blackboard according to the embodiment. 図3は、一実施形態に係る管理システムのハードウェア構成図である。FIG. 3 is a hardware configuration diagram of the management system according to the embodiment. 図4は、一実施形態に係るテレビ会議端末としてのPCのハードウェア構成図である。FIG. 4 is a hardware configuration diagram of a PC as a video conferencing terminal according to an embodiment. 図5(a)は、一実施形態に係る電子黒板のソフトウェア構成図である。 図5(b)は、一実施形態に係るPCのソフトウェア構成図である。FIG. 5A is a software configuration diagram of the electronic blackboard according to the embodiment. FIG. 5B is a software configuration diagram of the PC according to the embodiment. 図6は、一実施形態に係る通信システムの一部を構成する電子黒板、及びPCの機能ブロック図である。FIG. 6 is a functional block diagram of an electronic blackboard and a PC that form a part of the communication system according to the embodiment. 図7は、一実施形態に係る描画制御部を詳細に示した機能ブロック図である。FIG. 7 is a functional block diagram showing in detail the drawing control unit according to the embodiment. 図8は、電子黒板又はPCの処理を示したシーケンス図である。FIG. 8 is a sequence diagram showing the processing of the electronic blackboard or the PC. 図9は、電子黒板又はPCの処理を示したシーケンス図である。FIG. 9 is a sequence diagram showing the processing of the electronic blackboard or the PC. 図10は、電子黒板又はPCの処理を示したシーケンス図である。FIG. 10 is a sequence diagram showing the processing of the electronic blackboard or the PC. 図11は、電子黒板又はPCの処理を示したシーケンス図である。FIG. 11 is a sequence diagram showing the processing of the electronic blackboard or the PC. 図12は、電子黒板又はPCの処理を示したシーケンス図である。FIG. 12 is a sequence diagram showing the processing of the electronic blackboard or the PC. 図13は、電子黒板又はPCの処理を示したシーケンス図である。FIG. 13 is a sequence diagram showing the processing of the electronic blackboard or the PC. 図14は、電子黒板又はPCの処理を示したシーケンス図である。FIG. 14 is a sequence diagram showing the processing of the electronic blackboard or the PC. 図15は、ディスプレイの表示例を示す図である。FIG. 15 is a diagram showing a display example of the display.

以下、図面を用いて、本発明の一実施形態について説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

<<通信システムの全体構成>>
まず、図1を用いて、通信システム1について説明する。図1は、一実施形態に係る通信システムの全体構成図である。
<< Overall configuration of communication system >>
First, the communication system 1 will be described with reference to FIG. FIG. 1 is an overall configuration diagram of a communication system according to an embodiment.

通信システム1は、複数の電子黒板2a,2b,2c、PC8、中継装置30、及び管理システム50を有する。 The communication system 1 has a plurality of electronic blackboards 2a, 2b, 2c, a PC 8, a relay device 30, and a management system 50.

電子黒板2a,2b,2cは、通信ネットワーク9aを介して通信可能に接続されている。また、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが設けられている。 The electronic blackboards 2a, 2b, and 2c are communicably connected via the communication network 9a. In addition, the electronic blackboards 2a, 2b, and 2c are provided with displays 3a, 3b, and 3c, respectively.

電子黒板2a,2b,2cは、電子ペン4a,4b,4cによって生じたイベント(ディスプレイ3a,3b,3cへの電子ペン4a,4b,4cのペン先、又は、ペン尻のタッチ)により描画された画像を、ディスプレイ3a,3b,3cに表示させることができる。なお、電子黒板2a,2b,2cは、電子ペン4a,4b,4cだけでなく、ユーザの手Ha,Hb,Hc等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a,3b,3c上に表示されている画像を変更させることもできる。以下、電子黒板2a,2b,2cのうち任意の電子黒板を示す場合には、電子黒板2と表す。また、ディスプレイ3a,3b,3cのうち任意のディスプレイを示す場合には、ディスプレイ3と表す。また、電子ペン4a,4b,4cのうち任意の電子ペンを示す場合には電子ペン4と示す。また、ユーザの手Ha,Hb,Hcのうち任意の手を示す場合には手Hと示す。 The electronic blackboards 2a, 2b, 2c are drawn by an event generated by the electronic pens 4a, 4b, 4c (the pen tip of the electronic pens 4a, 4b, 4c on the displays 3a, 3b, 3c, or the touch of the pen tail). The image can be displayed on the displays 3a, 3b, 3c. The electronic blackboards 2a, 2b, and 2c are based on not only the electronic pens 4a, 4b, 4c but also events (gestures such as enlargement, reduction, page turning, etc.) caused by the user's hands Ha, Hb, Hc, etc. It is also possible to change the image displayed on the displays 3a, 3b, 3c. Hereinafter, when any of the electronic blackboards 2a, 2b, and 2c is indicated, it is referred to as the electronic blackboard 2. When any display among the displays 3a, 3b, and 3c is shown, it is referred to as display 3. Further, when any electronic pen among the electronic pens 4a, 4b, and 4c is indicated, it is indicated as the electronic pen 4. Further, when an arbitrary hand among the user's hands Ha, Hb, and Hc is indicated, it is indicated as a hand H.

また、電子黒板2a,2b,2cには、USB(Universal Serial Bus)メモリ5a,5b,5cが接続可能である。電子黒板2a,2b,2cはUSBメモリ5a,5b,5cからPDF(Portable Document Format)等の電子ファイルを読み出したり、USBメモリ5a,5b,5cに電子ファイルを記録したりすることができる。また、電子黒板2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)およびVGA(Video Graphics Array)等の規格による通信が可能なケーブルを介して、ノートPC6a,6b,6cが接続されている。なお、USBメモリ5a,5b,5cのうち任意のUSBメモリを示す場合にはUSBメモリ5と示す。ノートPC6a,6b,6cのうち任意のノートPCを示す場合にはノートPC6と示す。 Further, USB (Universal Serial Bus) memories 5a, 5b, 5c can be connected to the electronic blackboards 2a, 2b, 2c. The electronic whiteboards 2a, 2b, 2c can read electronic files such as PDF (Portable Document Format) from the USB memories 5a, 5b, 5c, and can record the electronic files in the USB memories 5a, 5b, 5c. In addition, the electronic blackboard 2a is connected to a notebook via a cable capable of communicating according to standards such as DisplayPort, DVI (Digital Visual Interface), HDMI (registered trademark) (High-Definition Multimedia Interface) and VGA (Video Graphics Array). PC6a, 6b, 6c are connected. When any USB memory among the USB memories 5a, 5b, and 5c is indicated, it is referred to as USB memory 5. When any notebook PC among the notebook PCs 6a, 6b, and 6c is indicated, it is indicated as the notebook PC 6.

これにより、一の拠点で電子黒板2のディスプレイ3上に描画されたストロークのストロークデータは、通信ネットワーク9aを介して他の拠点で電子黒板2へ送信されることで、他の拠点のディスプレイ3上にも表示される。逆に他の拠点で電子黒板2のディスプレイ3上に描画されたストロークのストロークデータは、通信ネットワーク9aを介して一の拠点の電子黒板2へ送信されることで、一の拠点の電子黒板2のディスプレイ3上に表示される。このように、通信システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。 As a result, the stroke data of the stroke drawn on the display 3 of the electronic blackboard 2 at one base is transmitted to the electronic blackboard 2 at the other base via the communication network 9a, so that the display 3 at the other base It is also displayed above. On the contrary, the stroke data of the stroke drawn on the display 3 of the electronic blackboard 2 at another base is transmitted to the electronic blackboard 2 of one base via the communication network 9a, so that the electronic blackboard 2 of one base Is displayed on the display 3. As described above, since the communication system 1 can perform remote sharing processing for sharing the same image at a remote location, it is very convenient to use it for a conference or the like at a remote location.

なお、上記の電子黒板2に加えて、電子黒板以外の他の通信端末が通信ネットワーク9aに接続することで、通信ネットワーク9aを介して他の通信端末が電子黒板2との間でストロークデータ共有することもできる。他の通信端末としては、PC、テレビ会議端末、タブレット、スマートフォン、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等の画像処理装置、携帯情報端末、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末等のコンピュータが含まれる。 In addition to the above-mentioned electronic blackboard 2, when a communication terminal other than the electronic blackboard connects to the communication network 9a, the other communication terminal shares stroke data with the electronic blackboard 2 via the communication network 9a. You can also do it. Other communication terminals include PCs, video conferencing terminals, tablets, smartphones, electronic signage (digital signage), telestrator used for sports and weather forecasts, and image processing devices such as remote image (video) diagnostic devices. , A computer such as a terminal capable of supplying image frames such as a mobile information terminal, a digital video camera, a digital camera, and a game machine.

電子黒板2c、PC(Personal computer)8、中継装置30、管理システム50は、通信ネットワーク9bを介して通信可能に接続されている。 The electronic blackboard 2c, the PC (Personal computer) 8, the relay device 30, and the management system 50 are communicably connected via the communication network 9b.

電子黒板2c及びPC8は、コンテンツデータの一例として会議資料等の表示データの送受信による通信を行なう。なお、表示データは、ディスプレイに表示可能な画像の画像データである。表示データは、動画データであっても静止画データであってもよく、動画データと静止画データの両方であってもよい。 The electronic blackboard 2c and the PC 8 communicate by transmitting and receiving display data such as conference materials as an example of content data. The display data is image data of an image that can be displayed on the display. The display data may be moving image data or still image data, and may be both moving image data and still image data.

中継装置30は、電子黒板2c及びPC8の間で、コンテンツデータを中継する処理を行なう。管理システム50は、電子黒板2c及びPC8の通信状況等を一元的に管理する。 The relay device 30 performs a process of relaying content data between the electronic blackboard 2c and the PC 8. The management system 50 centrally manages the communication status of the electronic blackboard 2c and the PC 8.

なお、電子黒板2c及びPC8以外の他の通信端末が通信ネットワーク9bに接続することで、通信ネットワーク9bを介して他の通信端末が電子黒板2c、PC8との間で表示データを共有することもできる。他の通信端末としては、テレビ会議端末、タブレット、スマートフォン、電子看板(デジタルサイネージ)、テレストレータ、又は、画像処理装置、携帯情報端末、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末等のコンピュータが含まれる。 When a communication terminal other than the electronic blackboard 2c and the PC 8 is connected to the communication network 9b, the other communication terminal may share the display data with the electronic blackboard 2c and the PC 8 via the communication network 9b. it can. As other communication terminals, we supply image frames for video conference terminals, tablets, smartphones, electronic signage (digital signage), telestrator, image processing devices, personal digital assistants, digital video cameras, digital cameras, game consoles, etc. Computers such as capable terminals are included.

なお、電子黒板2cは、ストロークデータを共有するためのモジュール、及び表示データを共有するためのモジュールの双方を起動することで、通信端末間でストロークデータ及び表示データの両方を同時に共有することができる。 The electronic blackboard 2c can simultaneously share both stroke data and display data between communication terminals by activating both a module for sharing stroke data and a module for sharing display data. it can.

一実施形態によると、通信ネットワーク9aはイントラネットであり,通信ネットワーク9bはインターネットである。ただし、通信ネットワーク9a,9bは、各通信端末のプロトコルに応じて、インターネット、LAN(Local Area Network)、イントラネット、又は携帯電話網等の任意の通信ネットワークから選択される。また、通信ネットワーク9a,9bは、共にインターネットである場合のように同じ通信ネットワークであっても良い。 According to one embodiment, the communication network 9a is an intranet and the communication network 9b is the Internet. However, the communication networks 9a and 9b are selected from arbitrary communication networks such as the Internet, LAN (Local Area Network), intranet, and mobile phone network according to the protocol of each communication terminal. Further, the communication networks 9a and 9b may be the same communication network as in the case where both are the Internet.

また、一実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。 Further, in one embodiment, the USB memory will be described as an example of the recording medium, but the present invention is not limited to this, and various recording media such as an SD card may be used as another example of the recording medium.

<電子黒板のハードウェア構成>
図2を用いて、一実施形態に係る電子黒板のハードウェア構成を説明する。なお、図2は、一実施形態に係る電子黒板のハードウェア構成図である。
<Hardware configuration of electronic blackboard>
The hardware configuration of the electronic blackboard according to the embodiment will be described with reference to FIG. Note that FIG. 2 is a hardware configuration diagram of the electronic blackboard according to the embodiment.

図2に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU(Central Processing Unit)201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、電子黒板用のプログラム等の各種データを記憶するSSD204、通信ネットワーク9との通信を制御するネットワークコントローラ205、および、USBメモリ5との通信を制御する外部記憶コントローラ206を備えている。さらに、電子黒板2は、CPU201の制御に従って被写体を撮像するカメラ207と、このカメラ207の駆動を制御する撮像素子I/F208と、ノートPC6のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス211、グラフィクスを専門に扱うGPU(Graphics Processing Unit)212、および、GPUからの出力画像をディスプレイ3へ出力するために画面表示の制御および管理を行うディスプレイコントローラ213を備えている。さらに、電子黒板2は、接触センサ215の処理を制御するセンサコントローラ214、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ215を備えている。一実施形態における、接触センサ215は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標を検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ215は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ214に出力し、センサコントローラ214が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。 As shown in FIG. 2, the electronic whiteboard 2 is a work of a CPU (Central Processing Unit) 201 that controls the operation of the entire electronic whiteboard 2, a ROM 202 that stores a program used to drive a CPU 201 such as an IPL, and a CPU 201. RAM 203 used as an area, SSD 204 for storing various data such as programs for electronic whiteboards, network controller 205 for controlling communication with communication network 9, and external storage controller 206 for controlling communication with USB memory 5. I have. Further, the electronic blackboard 2 displays video information as a still image or a moving image on the display of the camera 207 that captures the subject under the control of the CPU 201, the image pickup element I / F208 that controls the drive of the camera 207, and the notebook PC 6. It includes a capture device 211, a GPU (Graphics Processing Unit) 212 that specializes in graphics, and a display controller 213 that controls and manages a screen display to output an image output from the GPU to the display 3. Further, the electronic blackboard 2 includes a sensor controller 214 that controls the processing of the contact sensor 215, and a contact sensor 215 that detects that the electronic pen 4 or the user's hand H or the like touches the display 3. In one embodiment, the contact sensor 215 inputs coordinates and detects coordinates by an infrared blocking method. In the method of inputting the coordinates and detecting the coordinates, two light receiving / receiving devices installed at both upper ends of the display 3 radiate a plurality of infrared rays in parallel with the display 3 and are provided around the display 3. This is a method of receiving light that is reflected by a reflecting member and returns on the same optical path as the light path emitted by the light receiving element. The contact sensor 215 outputs an infrared ID (Identification) emitted by two light emitting / receiving devices blocked by the object to the sensor controller 214, and the sensor controller 214 identifies a coordinate position which is a contact position of the object. All the IDs shown below are examples of identification information.

また、接触センサ215としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、接触センサ215は、カメラを用いて、接触を判断し、座標位置を特定するものであっても良い。 Further, the contact sensor 215 is not limited to the infrared blocking method, but is a touch panel of the capacitance type that identifies the contact position by detecting a change in capacitance, and the contact position is determined by a voltage change of two opposing resistance films. Various detection means such as a touch panel of the resistance film type to be specified and a touch panel of the electromagnetic induction type which detects the electromagnetic induction generated by the contact object coming into contact with the display unit and specifies the contact position may be used. Further, the contact sensor 215 may use a camera to determine the contact and specify the coordinate position.

また、電子黒板2は、電子ペンコントローラ216を備えている。この電子ペンコントローラ216は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ216が、電子ペン4のペン先およびペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 Further, the electronic blackboard 2 includes an electronic pen controller 216. The electronic pen controller 216 determines whether or not there is a touch of the pen tip or a touch of the pen tail on the display 3 by communicating with the electronic pen 4. The electronic pen controller 216 may determine whether or not there is a touch not only on the pen tip and pen end of the electronic pen 4 but also on the portion held by the user of the electronic pen 4 and other electronic pen portions.

さらに、電子黒板2は、音声を入力するマイク222と、音声を出力するスピーカ223と、CPU101の制御に従ってマイク222およびスピーカ223との間で音信号の入出力を処理する音入出力I/F224と、ユーザの操作を受け付ける操作ボタン225と、電子黒板2の電源のON/OFFを切り換えるための電源スイッチ226と、を備えている。 Further, the electronic blackboard 2 is a sound input / output I / F 224 that processes sound signal input / output between the microphone 222 for inputting sound, the speaker 223 for outputting sound, and the microphone 222 and the speaker 223 under the control of the CPU 101. It also includes an operation button 225 that accepts user operations and a power switch 226 for switching the power ON / OFF of the electronic blackboard 2.

さらに、電子黒板2は、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン230を備えている。 Further, the electronic blackboard 2 includes a bus line 230 such as an address bus or a data bus for electrically connecting the above-mentioned components to each other.

なお、電子黒板用のプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体や、ネットワーク上のサーバに記録して流通やダウンロードさせるようにしてもよい。 The program for the electronic blackboard may be recorded on a computer-readable recording medium such as a CD-ROM or a server on the network for distribution or download.

<管理システムのハードウェア構成>
図3を用いて、一実施形態に係る管理システムのハードウェア構成を説明する。なお、図3は、一実施形態に係る管理システムのハードウェア構成図である。
<Hardware configuration of management system>
The hardware configuration of the management system according to the embodiment will be described with reference to FIG. Note that FIG. 3 is a hardware configuration diagram of the management system according to the embodiment.

管理システム50は、管理システム50全体の動作を制御するCPU501と、伝送管理用プログラムを記憶したROM502と、CPU501のワークエリアとして使用されるRAM503と、各種データを記憶するHD(Hard Disk)504と、CPU501の制御に従ってHD504に対する各種データの読み出しおよび書き込みを制御するHDD505と、フラッシュメモリ等の記録メディア506に対するデータの読み出しおよび書き込み(記憶)を制御するメディアI/F507とを備えている。さらに、管理システム50は、カーソル、メニュー、ウィンドウ、文字、画像等の各種情報をディスプレイ516に表示させるためのディスプレイI/F508と、通信ネットワーク9を利用してデータ伝送をするためのネットワークI/F509と、文字、数値、各種指示等を入力するための複数のキーを備えたキーボード511と、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行うマウス512とを備えている。さらに、管理システム50は、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)513に対するデータの読み出しおよび書き込みを制御するCD−ROMドライブ514と、外部の装置との間で情報を送受信するための外部装置I/F515と、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン510とを備えている。 The management system 50 includes a CPU 501 that controls the operation of the entire management system 50, a ROM 502 that stores a transmission management program, a RAM 503 that is used as a work area of the CPU 501, and an HD (Hard Disk) 504 that stores various data. The HDD 505 controls reading and writing of various data to the HD 504 according to the control of the CPU 501, and the media I / F 507 controls reading and writing (storage) of data to a recording medium 506 such as a flash memory. Further, the management system 50 includes a display I / F 508 for displaying various information such as a cursor, a menu, a window, characters, and an image on the display 516, and a network I / F for transmitting data using the communication network 9. F509, keyboard 511 equipped with multiple keys for inputting characters, numerical values, various instructions, etc., and mouse 512 for selecting and executing various instructions, selecting processing targets, moving pointing devices such as mouse cursors, etc. And have. Further, the management system 50 is located between a CD-ROM drive 514 that controls reading and writing of data to a CD-ROM (Compact Disc Read Only Memory) 513 as an example of a removable recording medium, and an external device. It includes an external device I / F 515 for transmitting and receiving information, and a bus line 510 such as an address bus or a data bus for electrically connecting each of the above components to each other.

また、上記伝送管理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア506やCD−ROM513等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。上記伝送管理用プログラムはHD504に記憶されていてもよい。 Further, the transmission management program may be a file in an installable format or an executable format, and may be recorded and distributed on a computer-readable recording medium such as the recording medium 506 or the CD-ROM 513. .. The transmission management program may be stored in the HD504.

<PCのハードウェア構成>
図4は、一実施形態に係るテレビ会議端末としてのPC8のハードウェア構成図である。PC8は、CPU801、ROM802、RAM803、フラッシュメモリ804、SSD805、メディアI/F807、電源スイッチ809、バスライン810、ネットワークI/F811、カメラ812、撮像素子I/F813、マイク814、スピーカ815、音入出力I/F816、ディスプレイI/F817、外部機器接続I/F818、キーボード821、及びマウス822を備えている。これらのうち、CPU801は、PC8全体の動作を制御する。ROM(Read Only Memory)802は、IPL(Initial Program Loader)等のCPU801の駆動に用いられるプログラムを記憶する。RAM(Random Access Memory)803は、CPU801のワークエリアとして使用される。フラッシュメモリ804は、通信用プログラム、表示データ、及び音データ等の各種データを記憶する。
SSD(Solid State Drive)805は、CPU801の制御にしたがってフラッシュメモリ804に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F807は、フラッシュメモリ等の記録メディア806に対するデータの読み出し又は書き込み(記憶)を制御する。
<PC hardware configuration>
FIG. 4 is a hardware configuration diagram of the PC 8 as a video conferencing terminal according to the embodiment. PC8 includes CPU801, ROM802, RAM803, flash memory 804, SSD805, media I / F807, power switch 809, bus line 810, network I / F811, camera 812, image pickup element I / F813, microphone 814, speaker 815, and sound input. It includes an output I / F 816, a display I / F 817, an external device connection I / F 818, a keyboard 821, and a mouse 822. Of these, the CPU 801 controls the operation of the entire PC 8. The ROM (Read Only Memory) 802 stores a program used for driving the CPU 801 such as an IPL (Initial Program Loader). The RAM (Random Access Memory) 803 is used as a work area of the CPU 801. The flash memory 804 stores various data such as a communication program, display data, and sound data.
The SSD (Solid State Drive) 805 controls reading or writing of various data to the flash memory 804 according to the control of the CPU 801. An HDD may be used instead of the SSD. The media I / F807 controls reading or writing (storage) of data to a recording medium 806 such as a flash memory.

また、ネットワークI/F(Interface)811は、通信ネットワーク9bを利用してデータ通信をするためのインターフェースである。カメラ812は、CPU801の制御に従って被写体を撮像して表示データを得る内蔵型の撮像手段の一種である。撮像素子I/F813は、カメラ812の駆動を制御する回路である。マイク814は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F816は、CPU801の制御に従ってマイク814及びスピーカ815との間で音信号の入出力を処理する回路である。ディスプレイI/F817は、CPU801の制御に従って外付けのディスプレイ820に表示データを送信する回路である。外部機器接続I/F818は、各種の外部機器を接続するためのインターフェースである。キーボード821は、文字、数値、各種指示等を入力するための複数のキーを備えている。マウス822は、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行う。 Further, the network I / F (Interface) 811 is an interface for performing data communication using the communication network 9b. The camera 812 is a kind of built-in imaging means that images a subject and obtains display data under the control of the CPU 801. The image sensor I / F 813 is a circuit that controls the drive of the camera 812. The microphone 814 is a kind of built-in sound collecting means for inputting voice. The sound input / output I / F 816 is a circuit that processes sound signal input / output between the microphone 814 and the speaker 815 under the control of the CPU 801. The display I / F 817 is a circuit that transmits display data to the external display 820 under the control of the CPU 801. The external device connection I / F818 is an interface for connecting various external devices. The keyboard 821 includes a plurality of keys for inputting characters, numerical values, various instructions, and the like. The mouse 822 selects and executes various instructions, selects a processing target, moves a pointing device such as a mouse cursor, and the like.

また、バスライン810は、CPU801等の図4に示されている各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Further, the bus line 810 is an address bus, a data bus, or the like for electrically connecting each component shown in FIG. 4 such as the CPU 801.

ディスプレイ820は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示手段の一種である。また、ディスプレイ820は、ケーブル820cによってディスプレイI/F817に接続される。このケーブル820cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(登録商標)(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。 The display 820 is a kind of display means composed of a liquid crystal or an organic EL for displaying an image of a subject, an operation icon, and the like. Further, the display 820 is connected to the display I / F 817 by the cable 820c. The cable 820c may be a cable for analog RGB (VGA) signals, a cable for component video, HDMI (registered trademark) (High-Definition Multimedia Interface), or DVI (Digital Video). It may be a cable for an Interactive) signal.

なお、カメラ812は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。外部機器接続I/F818には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU801の制御に従って、内蔵型のカメラ812に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU801の制御に従って、それぞれが内蔵型のマイク814や内蔵型のスピーカ815に優先して、外付けマイクや外付けスピーカが駆動する。 The camera 812 includes a lens and a solid-state image sensor that converts light into electric charges to digitize an image (video) of the subject. As the solid-state image sensor, CMOS (Complementary Metal Oxide Semiconductor) or CCD (Charge Coupled) Device) etc. are used. External devices such as an external camera, an external microphone, and an external speaker can be connected to the external device connection I / F818 by a USB (Universal Serial Bus) cable or the like. When an external camera is connected, the external camera is driven in preference to the built-in camera 812 according to the control of the CPU 801. Similarly, when an external microphone is connected or an external speaker is connected, the external microphone and the external speaker are given priority over the built-in microphone 814 and the built-in speaker 815 according to the control of the CPU 801. The external speaker is driven.

また、記録メディア806は、PC8に対して着脱自在な構成となっている。また、CPU801の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ804に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。 Further, the recording medium 806 has a structure that is detachable from the PC 8. Further, as long as it is a non-volatile memory that reads or writes data under the control of the CPU 801, not only the flash memory 804 but also an EEPROM (Electrically Erasable and Programmable ROM) or the like may be used.

<ソフトウェア構成>
図5(a)は、一実施形態に係る電子黒板のソフトウェア構成図である。図5(a)に示されているように、OS(Operating System)2020、通信アプリケーションA11、及び通信アプリケーションB10は、RAM203の作業領域2010上で動作する。以後、アプリケーションは、「アプリ」と表す。
<Software configuration>
FIG. 5A is a software configuration diagram of the electronic blackboard according to the embodiment. As shown in FIG. 5A, the OS (Operating System) 2020, the communication application A11, and the communication application B10 operate on the work area 2010 of the RAM 203. Hereinafter, the application will be referred to as an "application".

OS2020は、基本的な機能を提供し、電子黒板全体を管理する基本ソフトウェアである。通信アプリA11,B10は、他の端末と通信を行うためのアプリであり、それぞれ通信プロトコルが異なる。通信アプリA11は、ストロークデータを他の通信端末との間で送信するための通信制御機能と、ストロークデータを画像として出力するための画像処理機能を電子黒板2に実行させる。一方、通信アプリB10は、テレビ会議資料等の表示データを他の通信端末との間で送信するための通信制御機能を電子黒板2に実行させる。一方で、通信アプリB10は、表示データを出力するための画像処理機能を有していない。通信アプリB10は、例えば、表示データに係る通信制御機能及び画像処理機能を共に有する通信アプリB11から、ソフトウェア開発キットを用いて画像処理機能を除いたものであっても良い。 OS2020 is basic software that provides basic functions and manages the entire electronic blackboard. The communication applications A11 and B10 are applications for communicating with other terminals, and each has a different communication protocol. The communication application A11 causes the electronic blackboard 2 to execute a communication control function for transmitting stroke data with another communication terminal and an image processing function for outputting stroke data as an image. On the other hand, the communication application B10 causes the electronic blackboard 2 to execute a communication control function for transmitting display data such as video conference materials with another communication terminal. On the other hand, the communication application B10 does not have an image processing function for outputting display data. The communication application B10 may be, for example, a communication application B11 having both a communication control function and an image processing function related to display data, excluding the image processing function by using a software development kit.

OS2020、及び、通信アプリA11は、工場出荷前から、電子黒板2にインストールされている。また、通信アプリB10は、工場出荷後に、任意に電子黒板2にインストール可能である。以下、電子黒板2cに通信アプリB10がインストールされており、電子黒板2a,abに通信アプリB10がインストールされていないものとして説明を続ける。 The OS2020 and the communication application A11 are installed on the electronic blackboard 2 before being shipped from the factory. Further, the communication application B10 can be arbitrarily installed on the electronic blackboard 2 after being shipped from the factory. Hereinafter, it is assumed that the communication application B10 is installed on the electronic blackboard 2c and the communication application B10 is not installed on the electronic blackboards 2a and ab.

図5(b)は、一実施形態に係るPCのソフトウェア構成図である。図5(b)に示されているように、OS8020、通信アプリB11は、RAM803の作業領域8010上で動作する。 FIG. 5B is a software configuration diagram of the PC according to the embodiment. As shown in FIG. 5B, the OS 8020 and the communication application B11 operate on the work area 8010 of the RAM 803.

OS8020は、基本的な機能を提供し、PC8全体を管理する基本ソフトウェアである。通信アプリB11は、会議資料等の表示データを他の通信端末との間で送信するための通信制御機能と、表示データを画像として出力するための画像処理機能と、をPC8に実行させる。 OS8020 is basic software that provides basic functions and manages the entire PC8. The communication application B11 causes the PC 8 to execute a communication control function for transmitting display data such as conference materials with another communication terminal and an image processing function for outputting the display data as an image.

また、OS8020、及び、通信アプリB11は、工場出荷前又は工場出荷後に、PC8にインストールされる。 Further, the OS 8020 and the communication application B11 are installed on the PC 8 before or after the factory shipment.

<<実施形態の機能構成>>
次に、一実施形態に係る通信システムの機能構成について説明する。図6は、一実施形態に係る通信システムの一部を構成する電子黒板、及びPCの機能ブロック図である。図6では、電子黒板2a,2b,2cが、通信ネットワーク9aを介してデータ通信することができるように接続されている。また、図6では、電子黒板2c及びPC8が、通信ネットワーク9bを介してデータ通信することができるように接続されている。
<< Functional configuration of the embodiment >>
Next, the functional configuration of the communication system according to the embodiment will be described. FIG. 6 is a functional block diagram of an electronic blackboard and a PC that form a part of the communication system according to the embodiment. In FIG. 6, the electronic blackboards 2a, 2b, and 2c are connected so that data communication can be performed via the communication network 9a. Further, in FIG. 6, the electronic blackboard 2c and the PC 8 are connected so that data communication can be performed via the communication network 9b.

電子黒板2は、図2に示されているハードウェア構成およびプログラムによって、図6に示されている各機能構成を実現する。また、電子黒板2は、SSD204により構築される記憶部2000を有している。PC8は、図4に示されているハードウェア構成およびプログラムによって、図6に示されている各機能構成を実現する。また、PC8は、SSD805により構築される記憶部8000を有している。 The electronic blackboard 2 realizes each functional configuration shown in FIG. 6 by the hardware configuration and program shown in FIG. 2. Further, the electronic blackboard 2 has a storage unit 2000 constructed by SSD 204. The PC 8 realizes each functional configuration shown in FIG. 6 by the hardware configuration and program shown in FIG. Further, the PC 8 has a storage unit 8000 constructed by the SSD 805.

電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板2は、大きく分けて、クライアント部20およびサーバ部90の両方によって構成されている。クライアント部20およびサーバ部90は、電子黒板2の1台の筐体内で通信アプリA11が起動することで実現される機能である。なお、クライアント部20およびサーバ部90のうち、電子黒板2にクライアント部20を備え、サーバ部90を配信制御装置などの電子黒板2とは異なる装置とするようにしてもよい。 The electronic blackboard 2 can be a "sponsoring device" that first starts the remote sharing process, and can also be a "participating device" that later participates in the remote sharing process that has already been started. Further, the electronic blackboard 2 is roughly divided into both a client unit 20 and a server unit 90. The client unit 20 and the server unit 90 are functions realized by activating the communication application A11 in one housing of the electronic blackboard 2. Of the client unit 20 and the server unit 90, the electronic blackboard 2 may be provided with the client unit 20, and the server unit 90 may be a device different from the electronic blackboard 2 such as a distribution control device.

電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20とサーバ部90が実現(実行)される。また、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現(実行)されるが、サーバ部90は実現(実行)されない。即ち、電子黒板2aが主催装置で、電子黒板2b,2cが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2b,2cのクライアント部20と通信を行う。一方、電子黒板2b,2cのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2a,2b又は2cのクライアント部と通信を行う。 When the electronic blackboard 2 serves as a host device, the client unit 20 and the server unit 90 are realized (executed) in the electronic blackboard 2. Further, when the electronic blackboard 2 serves as a participating device, the client unit 20 is realized (executed) in the electronic blackboard 2, but the server unit 90 is not realized (executed). That is, when the electronic blackboard 2a is the host device and the electronic blackboards 2b and 2c are the participating devices, the client unit 20 of the electronic blackboard 2a is connected to another electronic device via the server unit 90 realized in the same electronic blackboard 2a. Communicates with the client unit 20 of the blackboards 2b and 2c. On the other hand, the client unit 20 of the electronic blackboards 2b and 2c communicates with the client unit of the other electronic blackboards 2a, 2b or 2c via the server unit 90 realized in the other electronic blackboard 2a.

また、電子黒板2b及びPC8では、通信アプリB10,B11が起動することでクライアント部80が実現される。クライアント部80は、サーバとしての管理システム50の呼制御により確立される通信において、中継装置30を介して他の通信端末のクライアント部80と通信を行う。 Further, in the electronic blackboards 2b and PC8, the client unit 80 is realized by activating the communication applications B10 and B11. The client unit 80 communicates with the client unit 80 of another communication terminal via the relay device 30 in the communication established by the call control of the management system 50 as a server.

〔クライアント部20の機能構成〕
クライアント部20は、通信制御部21及び描画制御部22を有する。
[Functional configuration of client unit 20]
The client unit 20 has a communication control unit 21 and a drawing control unit 22.

通信制御部21は、CPU201からの命令、或いはネットワークコントローラ205によって実現され、通信ネットワーク9aを介して、他の電子黒板2と行う通信や、サーバ部90における後述の通信制御部91と行う通信を制御する。 The communication control unit 21 is realized by a command from the CPU 201 or a network controller 205, and performs communication with another electronic blackboard 2 and communication with the communication control unit 91 described later in the server unit 90 via the communication network 9a. Control.

描画制御部22は、CPU201からの命令により実現され、ディスプレイ3上の操作により生成するストロークデータ、或いはUSBメモリ5、ノートPC6、通信制御部21、記憶部2000等から取得されるデータに基づいて画像処理を行う。また、描画制御部22は、処理されたデータに基づいて画像レイヤを生成し、これらが重畳された重畳画像を出力する制御を行う。 The drawing control unit 22 is realized by a command from the CPU 201, and is based on stroke data generated by an operation on the display 3 or data acquired from a USB memory 5, a notebook PC 6, a communication control unit 21, a storage unit 2000, or the like. Perform image processing. Further, the drawing control unit 22 controls to generate an image layer based on the processed data and output a superimposed image in which these layers are superimposed.

図7は、一実施形態に係る描画制御部を詳細に示した機能ブロック図である。描画制御部22は、ストローク処理部22A、取得部22B、変換部22X、重畳部22Y、及びページ処理部22Zを有している。 FIG. 7 is a functional block diagram showing in detail the drawing control unit according to the embodiment. The drawing control unit 22 includes a stroke processing unit 22A, an acquisition unit 22B, a conversion unit 22X, a superimposition unit 22Y, and a page processing unit 22Z.

ストローク処理部22Aは、CPU201からの命令によって実現され、ディスプレイ3上の電子ペン4や手Hの操作によってストローク描画のイベントが発生すると、操作に応じたストロークデータを生成する処理を行う。 The stroke processing unit 22A is realized by a command from the CPU 201, and when an event of stroke drawing occurs by the operation of the electronic pen 4 or the hand H on the display 3, the stroke processing unit 22A performs a process of generating stroke data according to the operation.

取得部22Bは、CPU201からの命令によって実現され、記憶部2000に記憶されたデータを取得する。 The acquisition unit 22B is realized by a command from the CPU 201 and acquires the data stored in the storage unit 2000.

変換部22Xは、CPU201からの命令によって実現され、各種データを変換する処理を行う。この変換には、テキスト化、実データ(バイナリ)変換、シリアライズ、デシリアライズ、エンコード、デコード等が含まれていても良い。 The conversion unit 22X is realized by an instruction from the CPU 201 and performs a process of converting various data. This conversion may include text conversion, real data (binary) conversion, serialization, deserialization, encoding, decoding, and the like.

重畳部22Yは、CPU201からの命令によって実現され、各データに基づいて各画像レイヤを生成し、これらを重畳する処理を行う。 The superimposition unit 22Y is realized by a command from the CPU 201, generates each image layer based on each data, and performs a process of superimposing them.

ページ処理部22Zは、ストロークデータと表示データを1つのページデータにまとめて、記憶部2000の一部であるページデータ記憶部220に記憶する。 The page processing unit 22Z collects the stroke data and the display data into one page data and stores it in the page data storage unit 220 which is a part of the storage unit 2000.

ページデータ記憶部220は、記憶部2000の一部に構築され、表1に示されているようなページデータを記憶する。表1は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。 The page data storage unit 220 is constructed as a part of the storage unit 2000 and stores page data as shown in Table 1. Table 1 is a conceptual diagram showing page data. The page data is data for one page (stroke array data (each stroke data) and media data) displayed on the display 3.

Figure 0006773145
Figure 0006773145

ページデータは、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、ストローク画像がディスプレイ3上に表示されるためのデータである。メディアデータは、ストローク画像と重畳する他の画像がディスプレイ3上に表示されるためのデータである。 The page data includes a page data ID for identifying an arbitrary page, a start time indicating the time when the display of this page is started, and an end time indicating the time when the contents of the page are no longer rewritten by strokes or gestures. , The stroke array data ID for identifying the stroke array data generated by the stroke by the electronic pen 4 or the user's hand H, and the media data ID for identifying the media data are stored in association with each other. The stroke array data is data for displaying the stroke image on the display 3. The media data is data for displaying another image superimposed on the stroke image on the display 3.

また、ストローク配列データは、表2に示されているように詳細な情報を示している。表2は、ストローク配列データを示す概念図である。表2に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。 In addition, the stroke array data shows detailed information as shown in Table 2. Table 2 is a conceptual diagram showing stroke array data. As shown in Table 2, one stroke array data is represented by a plurality of stroke data. Then, one stroke data includes a stroke data ID for identifying the stroke data, a start time indicating the writing start time of one stroke, an end time indicating the writing end time of one stroke, and a stroke color. The width of the stroke and the coordinate array data ID for identifying the array of passing points of the stroke are shown. For example, when the user draws the alphabet "S" with the electronic pen 4, it is written in one stroke, so that one stroke data ID and one letter alphabet [S] are shown. However, when the user draws the alphabet "T" with the electronic pen 4, it is written in two strokes, so that the alphabet "T" of one character is indicated by two stroke data IDs.

Figure 0006773145
Figure 0006773145

更に、この座標配列データは、表3に示されているように詳細な情報を示している。表3は、座標配列データを示す概念図である。座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、表3に示されている1点の集まりが、表2に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。 Further, this coordinate array data shows detailed information as shown in Table 3. Table 3 is a conceptual diagram showing coordinate array data. The coordinate array data includes one point (X coordinate value, Y coordinate value) on the display 3, the time (ms) of the difference from the start time of the stroke when passing through this one point, and the electronic pen at this one point. Each information of the pen pressure of 4 is shown. That is, a set of one point shown in Table 3 is shown by one coordinate array data shown in Table 2. For example, when the user draws the alphabet "S" with the electronic pen 4, it is written in one stroke, but since the user passes through a plurality of passing points by the time the drawing of the "S" is completed, the coordinate array data has these multiple passing points. Information is shown.

Figure 0006773145
Figure 0006773145

また、表1に示されているページデータのうちのメディアデータは、表4に示されているように詳細な情報を示している。表4は、メディアデータを示す概念図である。図9に示されているように、メディアデータは、表1に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、メディアデータが記憶された記録時刻、メディアデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、メディアデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、メディアデータによって表示される画像の左上端の位置を示している。 Further, the media data among the page data shown in Table 1 shows detailed information as shown in Table 4. Table 4 is a conceptual diagram showing media data. As shown in FIG. 9, the media data is displayed on the display 3 according to the media data ID in the page data shown in Table 1, the data type of the media data, the recording time when the media data is stored, and the media data. The position (X coordinate value, Y coordinate value) of the displayed image, the size (width, height) of the image, and the data indicating the content of the media data are shown in association with each other. Of these, the position of the image displayed on the display 3 by the media data is displayed by the media data when the coordinates of the upper left corner of the display 3 are (X coordinate value, Y coordinate value) = (0,0). It shows the position of the upper left corner of the image to be displayed.

Figure 0006773145
Figure 0006773145

〔サーバ部90の機能構成〕
サーバ部90は、通信制御部91を有している。
[Functional configuration of server unit 90]
The server unit 90 has a communication control unit 91.

通信制御部91は、CPU201からの命令により実現され、同じ電子黒板2内のクライアント部20における通信制御部21、および通信ネットワーク9aを介して他の電子黒板2内のクライアント部20における通信制御部21との間における通信を制御する。 The communication control unit 91 is realized by a command from the CPU 201, and is realized by a communication control unit 21 in the client unit 20 in the same electronic blackboard 2 and a communication control unit in the client unit 20 in another electronic blackboard 2 via the communication network 9a. Controls communication with 21.

〔クライアント部80の機能構成〕
クライアント部80の通信制御部81は、CPU201,801からの命令、或いはネットワークコントローラ205又はネットワークI/F811により実現され、他の通信端末のクライアント部80における通信制御部81との間の通信を制御する。
[Functional configuration of client unit 80]
The communication control unit 81 of the client unit 80 is realized by a command from the CPUs 201 and 801 or a network controller 205 or a network I / F 811 and controls communication with the communication control unit 81 in the client unit 80 of another communication terminal. To do.

クライアント部80の表示制御部82は、通信アプリB11を起動することで、CPU801からの命令により実現される機能である。表示制御部82は、通信制御部21、記憶部8000等から取得されるデータに基づいて画像処理を行い、画像を出力する制御を行う。 The display control unit 82 of the client unit 80 is a function realized by an instruction from the CPU 801 by activating the communication application B11. The display control unit 82 performs image processing based on the data acquired from the communication control unit 21, the storage unit 8000, and the like, and controls to output an image.

<<実施の形態の処理又は動作>>
続いて、図8乃至図11を用いて、一実施形態に係る処理又は動作について説明する。
なお、図8乃至図11は、電子黒板又はPCの処理を示したシーケンス図である。
<< Processing or operation of the embodiment >>
Subsequently, the process or operation according to the embodiment will be described with reference to FIGS. 8 to 11.
8 to 11 are sequence diagrams showing the processing of the electronic blackboard or the PC.

(電子黒板間の通信確立処理)
図8を用いて、電子黒板2a,2b,2c間の通信アプリA11による通信を確立する処理について説明する。ユーザが電子黒板2aの電源スイッチ226をオンにすると、通信アプリA11が起動することで電子黒板2aのクライアント部20の処理が開始する(ステップS1)。そして、ディスプレイ3a上の操作により会議主催の要求が受け付けられると、クライアント部20の通信制御部21から同じ電子黒板2aのサーバ部90における通信制御部91に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなくサーバ部90も各種処理を開始可能となる(ステップS2)。
(Communication establishment process between electronic blackboards)
A process of establishing communication by the communication application A11 between the electronic blackboards 2a, 2b, and 2c will be described with reference to FIG. When the user turns on the power switch 226 of the electronic blackboard 2a, the communication application A11 is activated to start the processing of the client unit 20 of the electronic blackboard 2a (step S1). Then, when the request for hosting the conference is received by the operation on the display 3a, the communication control unit 21 of the client unit 20 instructs the communication control unit 91 of the server unit 90 of the same electronic blackboard 2a to start the processing of the server unit 90. Is output. As a result, in the electronic blackboard 2a, not only the client unit 20 but also the server unit 90 can start various processes (step S2).

次に、電子黒板2aの通信制御部91が電子黒板2aとの接続を確立するための接続情報を生成し、クライアント部20が生成された接続情報をディスプレイ3aに表示させる(ステップS3)。この接続情報には、主催装置のIPアドレス、および今回の遠隔共有処理のために生成されたパスコードが含まれている。このパスコードは、記憶部2000に記憶される。そして、接続情報は、電子黒板2aのユーザによって、電話や電子メールにより、電子黒板2b,2cのユーザに伝えられる。 Next, the communication control unit 91 of the electronic blackboard 2a generates connection information for establishing a connection with the electronic blackboard 2a, and the client unit 20 displays the generated connection information on the display 3a (step S3). This connection information includes the IP address of the host device and the passcode generated for this remote sharing process. This passcode is stored in the storage unit 2000. Then, the connection information is transmitted to the users of the electronic blackboards 2b and 2c by the user of the electronic blackboard 2a by telephone or e-mail.

次に、電子黒板2b,2cでは、ユーザが電子黒板2b,2cの電源スイッチ226をオンにすると、通信アプリA11が起動することで電子黒板2b,2cのクライアント部20の処理が開始する(ステップS4,S5)。電子黒板2b,2cにおいて、ディスプレイ3b,3c上の操作によって接続情報の入力が受け付けられると、各電子黒板2b,2cのクライアント部20における通信制御部21が、接続情報のIPアドレスに基づき、通信ネットワーク9aを介して、電子黒板2aのサーバ部90における通信制御部91に対してパスコードを送信して参加要求を行う(ステップS6,S7)。電子黒板2aの通信制御部91は、各電子黒板2b,2cから、参加要求(パスコードを含む)を受信する。 Next, in the electronic blackboards 2b and 2c, when the user turns on the power switch 226 of the electronic blackboards 2b and 2c, the communication application A11 is activated to start the processing of the client unit 20 of the electronic blackboards 2b and 2c (step). S4, S5). When the input of the connection information is received by the operation on the displays 3b and 3c on the electronic whiteboards 2b and 2c, the communication control unit 21 in the client unit 20 of the electronic whiteboards 2b and 2c communicates based on the IP address of the connection information. A passcode is transmitted to the communication control unit 91 in the server unit 90 of the electronic blackboard 2a via the network 9a to request participation (steps S6 and S7). The communication control unit 91 of the electronic blackboard 2a receives a participation request (including a passcode) from the electronic blackboards 2b and 2c.

次に、通信制御部91は、各電子黒板2b,2cから受信したパスコードに対し、記憶部2000で管理されているパスコードを用いて認証する(ステップS8)。そして、通信制御部91が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS9,S10)。ステップS8の認証により、各電子黒板2b,2cが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b,2cとの遠隔共有処理の通信が確立される(ステップS11,S12)。
なお、本実施形態では、電子黒板2a,2b,2c間で送信されるコンテンツデータは、ストロークデータを含む場合について説明する。
Next, the communication control unit 91 authenticates the passcodes received from the electronic blackboards 2b and 2c using the passcodes managed by the storage unit 2000 (step S8). Then, the communication control unit 91 notifies the client unit 20 of each of the electronic blackboards 2b and 2c of the authentication result (steps S9 and S10). If it is determined by the authentication in step S8 that each of the electronic blackboards 2b and 2c is a legitimate electronic blackboard, remote sharing between the electronic blackboard 2a which is the host device and the electronic blackboards 2b and 2c which are the participating devices Communication of processing is established (steps S11, S12).
In this embodiment, a case where the content data transmitted between the electronic blackboards 2a, 2b, and 2c includes stroke data will be described.

(電子黒板とPCとの間の通信確立処理)
図9を用いて、電子黒板2c及びPC8間で通信アプリB10,B11による通信を確立する処理について説明する。
(Communication establishment process between electronic blackboard and PC)
A process of establishing communication by the communication applications B10 and B11 between the electronic blackboard 2c and the PC 8 will be described with reference to FIG.

電子黒板2cのディスプレイ3c上の操作により、クライアント部20が通信アプリB10の起動要求を受け付けると、クライアント部80は各種処理を開始可能となる(ステップS21)。 When the client unit 20 receives the activation request of the communication application B10 by the operation on the display 3c of the electronic blackboard 2c, the client unit 80 can start various processes (step S21).

続いて、クライアント部80の通信制御部81は、管理システム50に対し、ログイン要求を行う(ステップS22)。これにより、管理システム50は、ログイン要求を受信する。 Subsequently, the communication control unit 81 of the client unit 80 makes a login request to the management system 50 (step S22). As a result, the management system 50 receives the login request.

管理システム50は、ログイン要求元の電子黒板2cを認証し(ステップS23)、ログイン要求元の電子黒板2cに対して、認証結果を送信する(ステップS24)。これにより、電子黒板2cの通信制御部81は、認証結果を受信する。以下、上記ステップS23により、正当なログイン要求元であると判断された場合について説明を続ける。 The management system 50 authenticates the electronic blackboard 2c of the login request source (step S23), and transmits the authentication result to the electronic blackboard 2c of the login request source (step S24). As a result, the communication control unit 81 of the electronic blackboard 2c receives the authentication result. Hereinafter, the case where it is determined that the login request source is legitimate according to step S23 will be continued.

PC8において、キーボード821あるいはマウス822の操作に基づいて、通信アプリB11の起動要求が受け付けられると、通信アプリB11が起動して、PC8のクライアント部80の処理が開始可能となる(ステップS31)。 When the activation request of the communication application B11 is received in the PC8 based on the operation of the keyboard 821 or the mouse 822, the communication application B11 is activated and the processing of the client unit 80 of the PC8 can be started (step S31).

続いて、クライアント部80の通信制御部81は、管理システム50に対し、ログイン要求を行う(ステップS32)。これにより、管理システム50は、ログイン要求を受信する。 Subsequently, the communication control unit 81 of the client unit 80 makes a login request to the management system 50 (step S32). As a result, the management system 50 receives the login request.

管理システム50は、ログイン要求元のPC8を認証し(ステップS33)、PC8に対して、認証結果を送信する(ステップS34)。以下、上記ステップS33により、正当なログイン要求元であると判断された場合について説明を続ける。 The management system 50 authenticates the login request source PC8 (step S33), and transmits the authentication result to the PC8 (step S34). Hereinafter, the case where it is determined that the login request source is legitimate according to step S33 will be continued.

電子黒板2cの通信制御部81は、ディスプレイ3c上の操作に応じて、管理システム50に対し、通信の開始要求を行う(ステップS41)。この通信の開始要求には、通信の開始要求元の電子黒板2cの通信ID、および宛先のPC8の通信IDが含まれている。これにより、管理システム50は、通信の開始要求を受信する。なお、通信IDは通信先を特定するための情報であって、通信端末の識別情報や、通信端末のユーザのアカウントが含まれる。 The communication control unit 81 of the electronic blackboard 2c requests the management system 50 to start communication in response to an operation on the display 3c (step S41). The communication start request includes the communication ID of the electronic blackboard 2c of the communication start request source and the communication ID of the destination PC8. As a result, the management system 50 receives the communication start request. The communication ID is information for identifying a communication destination, and includes identification information of a communication terminal and an account of a user of the communication terminal.

次に、管理システム50は、宛先のPC8に対して、通信の開始要求を行う(ステップS42)。この通信の開始要求には、上記ステップS41によって送られて来た通信の開始要求元の電子黒板2cの通信IDおよび宛先のPC8の通信IDが含まれている。これにより、宛先のPC8は、通信の開始要求を受信する。 Next, the management system 50 requests the destination PC 8 to start communication (step S42). The communication start request includes the communication ID of the electronic blackboard 2c of the communication start request source and the communication ID of the destination PC8 sent in step S41. As a result, the destination PC 8 receives the communication start request.

これに対して、PC8の通信制御部81は、ユーザによる操作入力に応じて、管理システム50に対し、応答可否を示す情報を送信する(ステップS43)。以下、PC8が、応答する旨を示す情報を管理システム50へ送信した場合について説明を続ける。 On the other hand, the communication control unit 81 of the PC 8 transmits information indicating whether or not the response is possible to the management system 50 in response to the operation input by the user (step S43). Hereinafter, the case where the PC 8 transmits the information indicating the response to the management system 50 will be described.

これにより、管理システム50は、応答する旨を示す情報を受信する。管理システム50は、開始要求元の電子黒板2cに対し、上記ステップS13によって宛先のPC8から送られて来た、応答する旨を示す情報を送信する(ステップS44)。これにより、電子黒板2cの通信制御部81は、応答する旨を示す情報を受信する。 As a result, the management system 50 receives information indicating that it responds. The management system 50 transmits the information indicating the response sent from the destination PC 8 in step S13 to the electronic blackboard 2c of the start request source (step S44). As a result, the communication control unit 81 of the electronic blackboard 2c receives the information indicating that it responds.

続いて、管理システム50は、電子黒板2cとPC8との間で通信ネットワーク9bを介してコンテンツデータを送信するための通信を確立させる制御を行う(ステップS45)。通信を確立させる方法は、特に限定されないが、例えば、通信ネットワーク9bにコンテンツデータを中継する中継装置30が設けられている場合には、この中継装置に接続するための接続情報を、管理システム50が電子黒板2c及びPC8へ、送信する方法が挙げられる。また、管理システム50は、中継装置30へ、電子黒板2cとPC8との間でコンテンツデータの中継開始の要求を送信してもよい。上記の制御に基づいて、電子黒板2cとPC8との間の通信が確立される(ステップS46)。これにより、電子黒板2c及びPC8は、通信相手との間でコンテンツデータを送受信することができるようになる。なお、本実施形態では、電子黒板2c及びPC8の間で送信されるコンテンツデータは、会議資料の表示データ(映像データ又は静止画データ)を含む場合について説明する。 Subsequently, the management system 50 controls to establish communication between the electronic blackboard 2c and the PC 8 for transmitting content data via the communication network 9b (step S45). The method for establishing communication is not particularly limited, but for example, when the communication network 9b is provided with the relay device 30 for relaying the content data, the management system 50 provides the connection information for connecting to the relay device. Can be mentioned as a method of transmitting to the electronic blackboard 2c and the PC8. Further, the management system 50 may transmit a request to start relaying the content data between the electronic blackboard 2c and the PC 8 to the relay device 30. Based on the above control, communication between the electronic blackboard 2c and the PC 8 is established (step S46). As a result, the electronic blackboard 2c and the PC 8 can send and receive content data to and from the communication partner. In this embodiment, the case where the content data transmitted between the electronic blackboard 2c and the PC 8 includes the display data (video data or still image data) of the conference material will be described.

(重畳画像の表示)
続いて、図10を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
(Display of superimposed image)
Subsequently, the process of displaying the superimposed image in the remote sharing process will be described with reference to FIG.

まず、電子黒板2bのユーザが電子ペン4bを用いて電子黒板2bにストローク画像を描画すると、ストローク処理部22Aは、電子ペン4bとディスプレイ3bとの接触部の座標位置に基づいて、描画されたストロークのストロークデータを生成する(ステップS61)。なお、生成されるストロークデータは上記の表1乃至表3に示されている各パラメータを含む。変換部22Xは、複数のストローク単位のストロークデータをまとめることでシリアライズ(直列化)する(ステップS62)。電子黒板2bの通信制御部21は、通信ネットワーク9aを介して、主催装置である電子黒板2aの通信制御部91にシリアライズされたストロークデータを送信する(ステップS63)。なお、電子黒板2bは、描画される度に、ストロークデータを主催装置である電子黒板2aに順次送信しても良い。 First, when the user of the electronic blackboard 2b draws a stroke image on the electronic blackboard 2b using the electronic pen 4b, the stroke processing unit 22A is drawn based on the coordinate position of the contact portion between the electronic pen 4b and the display 3b. The stroke data of the stroke is generated (step S61). The generated stroke data includes each parameter shown in Tables 1 to 3 above. The conversion unit 22X serializes (serializes) the stroke data in a plurality of stroke units (step S62). The communication control unit 21 of the electronic blackboard 2b transmits serialized stroke data to the communication control unit 91 of the electronic blackboard 2a, which is the host device, via the communication network 9a (step S63). The electronic blackboard 2b may sequentially transmit stroke data to the electronic blackboard 2a, which is the host device, each time it is drawn.

電子黒板2aの通信制御部91は、電子黒板2bから送られて来たストロークデータを受信すると、このストロークデータを電子黒板2aのクライアント部20へ送信する。送信されたストロークデータは電子黒板2aのクライアント部20の通信制御部21によって受信される。クライアント部20の描画制御部22における変換部22Xは、ストロークデータをデシリアライズ(並列化)する(ステップS64)。デシリアライズされたストロークデータは、ページ処理部22Zによってページデータ記憶部220に記憶される。続いて、重畳部22Yは、ページデータ記憶部220に記憶されているデータに基づいて、ストローク単位のデータを合成した合成後のストローク画像(B)のレイヤ、UI画像(A)のレイヤ、出力画像(C)のレイヤ、及び背景画像(D)のレイヤを生成する。そして、重畳部22Yは、生成した各レイヤを重畳して、重畳画像(A,B,C,D)をディスプレイ3a上に表示させる(ステップS65)。なお、ストローク画像(B)のレイヤは、上記処理によってデシリアライズされページデータ記憶部220に記憶されたストロークデータに基づいて生成される。出力画像(C)のレイヤは、ページデータ記憶部220に記憶されたメディアデータに基づいて生成される。UI画像(A)のレイヤ、背景画像(D)は、予め記憶部2000に記憶されているデータに基づいて生成される。図15(A)は、ステップS65におけるディスプレイの表示例を示す図である。 When the communication control unit 91 of the electronic blackboard 2a receives the stroke data sent from the electronic blackboard 2b, the communication control unit 91 transmits the stroke data to the client unit 20 of the electronic blackboard 2a. The transmitted stroke data is received by the communication control unit 21 of the client unit 20 of the electronic blackboard 2a. The conversion unit 22X in the drawing control unit 22 of the client unit 20 deserializes (parallelizes) the stroke data (step S64). The deserialized stroke data is stored in the page data storage unit 220 by the page processing unit 22Z. Subsequently, the superimposition unit 22Y combines the data for each stroke based on the data stored in the page data storage unit 220, and the combined stroke image (B) layer, UI image (A) layer, and output. A layer of the image (C) and a layer of the background image (D) are generated. Then, the superimposition unit 22Y superimposes each generated layer and displays the superimposition image (A, B, C, D) on the display 3a (step S65). The layer of the stroke image (B) is generated based on the stroke data deserialized by the above processing and stored in the page data storage unit 220. The layer of the output image (C) is generated based on the media data stored in the page data storage unit 220. The layer of the UI image (A) and the background image (D) are generated based on the data stored in the storage unit 2000 in advance. FIG. 15A is a diagram showing a display example of the display in step S65.

また、電子黒板2aの通信制御部91は、電子黒板2bから送られて来たシリアライズされているストロークデータを電子黒板2b,2cのクライアント部20へ送信する(ステップS66,S67)。送信されたストロークデータは電子黒板2b,2cのクライアント部20の通信制御部21によって受信される。電子黒板2b,2cのクライアント部20は、ディスプレイ3b,3cに、電子黒板2aから送られて来たストロークデータが含まれた重畳画像(A,B,C,D)を表示する。この処理は、電子黒板2aのクライアント部20におけるステップS64,S65の処理と同様であるので説明を省略する(ステップS68乃至S71)。なお、電子黒板2a,2cにおいてストローク画像を描画したときの処理は、電子黒板2bのクライアント部20が、電子黒板2a,2cのクライアント部20に置き換わる点を除きステップS61乃至S71の処理と同様であるので説明を省略する。 Further, the communication control unit 91 of the electronic blackboard 2a transmits the serialized stroke data sent from the electronic blackboard 2b to the client units 20 of the electronic blackboards 2b and 2c (steps S66 and S67). The transmitted stroke data is received by the communication control unit 21 of the client unit 20 of the electronic blackboards 2b and 2c. The client unit 20 of the electronic blackboards 2b and 2c displays superimposed images (A, B, C, D) including stroke data sent from the electronic blackboard 2a on the displays 3b and 3c. Since this process is the same as the process of steps S64 and S65 in the client unit 20 of the electronic blackboard 2a, the description thereof will be omitted (steps S68 to S71). The processing when the stroke image is drawn on the electronic blackboards 2a and 2c is the same as the processing in steps S61 to S71 except that the client unit 20 of the electronic blackboard 2b is replaced with the client unit 20 of the electronic blackboards 2a and 2c. Since there is, the explanation is omitted.

(出力画像の表示)
続いて、図11を用いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
(Display of output image)
Subsequently, the process of displaying the output image (C) in the remote sharing process will be described with reference to FIG.

PC8の表示制御部82は、ディスプレイ820に表示された会議資料の画面を取り込んで表示データを取得する(ステップS81)。PC8の通信制御部81は、取得された表示データを、中継装置30を介して、電子黒板2cのクライアント部80へ送信する(ステップS82)。PC8によって送信された表示データは、電子黒板2cの通信制御部81によって受信される。電子黒板2cの通信制御部81は、受信した表示データを記憶部2000に記憶する。 The display control unit 82 of the PC 8 captures the screen of the conference material displayed on the display 820 and acquires the display data (step S81). The communication control unit 81 of the PC 8 transmits the acquired display data to the client unit 80 of the electronic blackboard 2c via the relay device 30 (step S82). The display data transmitted by the PC 8 is received by the communication control unit 81 of the electronic blackboard 2c. The communication control unit 81 of the electronic blackboard 2c stores the received display data in the storage unit 2000.

電子黒板2cのクライアント部20の取得部22Bは、記憶部2000に記憶されている表示データを取得する(ステップS83)。電子黒板2cのクライアント部20の変換部22Xは、取得部22Bによって取得された例えばPDFファイル等の表示データを、通信アプリA11によって送信可能な形式として、テキスト形式に変換する(ステップS84)。変換部22Xは、テキスト形式に変換された表示データをシリアライズする(ステップS85)。電子黒板2cの通信制御部21は、通信ネットワーク9aを介して、主催装置である電子黒板2aの通信制御部91にシリアライズされた表示データを送信する(ステップS86)。 The acquisition unit 22B of the client unit 20 of the electronic blackboard 2c acquires the display data stored in the storage unit 2000 (step S83). The conversion unit 22X of the client unit 20 of the electronic blackboard 2c converts the display data such as a PDF file acquired by the acquisition unit 22B into a text format as a format that can be transmitted by the communication application A11 (step S84). The conversion unit 22X serializes the display data converted into the text format (step S85). The communication control unit 21 of the electronic blackboard 2c transmits serialized display data to the communication control unit 91 of the electronic blackboard 2a, which is the host device, via the communication network 9a (step S86).

電子黒板2aの通信制御部91は、電子黒板2cから送られて来た表示データを受信すると、この表示データを電子黒板2aのクライアント部20へ送信する。送信された表示データは電子黒板2aのクライアント部20の通信制御部21によって受信される。クライアント部20の描画制御部22における変換部22Xは、表示データをデシリアライズする(ステップS87)。更にデシリアライズされた表示データは変換部22Xによって実データ(バイナリ)に変換される。得られた実データは、ページ処理部22Zによってページデータ記憶部220にメディアデータとして記憶される(ステップS88)。続いて、重畳部22Yは、ページデータ記憶部220に記憶されているデータに基づいて、表示データに基づく出力画像(C)のレイヤ、ストローク画像(B)のレイヤ、UI画像(A)のレイヤ、及び背景画像(D)のレイヤを作成する。重畳部22Yは、作成したレイヤを重畳して、重畳画像(A,B,C,D)をディスプレイ3a上に表示させる(ステップS89)。なお、出力画像(C)のレイヤは、上記処理によって実データに変換され、ページデータ記憶部220に記憶されたメディアデータに基づいて生成される。重畳部22Yは、出力画像(C)のレイヤ上にストローク画像のレイヤ(B)を重畳することで、ストロークデータの出力を妨げることなく、表示データを出力することができる。図15(B)は、ステップS89におけるディスプレイの表示例を示す図である。 When the communication control unit 91 of the electronic blackboard 2a receives the display data sent from the electronic blackboard 2c, the communication control unit 91 transmits the display data to the client unit 20 of the electronic blackboard 2a. The transmitted display data is received by the communication control unit 21 of the client unit 20 of the electronic blackboard 2a. The conversion unit 22X in the drawing control unit 22 of the client unit 20 deserializes the display data (step S87). Further, the deserialized display data is converted into actual data (binary) by the conversion unit 22X. The obtained actual data is stored as media data in the page data storage unit 220 by the page processing unit 22Z (step S88). Subsequently, the superimposition unit 22Y is a layer of an output image (C), a layer of a stroke image (B), and a layer of a UI image (A) based on the display data based on the data stored in the page data storage unit 220. , And the layer of the background image (D) is created. The superimposition unit 22Y superimposes the created layers and displays the superimposed images (A, B, C, D) on the display 3a (step S89). The layer of the output image (C) is converted into actual data by the above processing, and is generated based on the media data stored in the page data storage unit 220. By superimposing the stroke image layer (B) on the output image (C) layer, the superimposition unit 22Y can output the display data without interfering with the stroke data output. FIG. 15B is a diagram showing a display example of the display in step S89.

また、電子黒板2aの通信制御部91は、電子黒板2cから送られて来たシリアライズされた表示データを電子黒板2b,2cのクライアント部20へ送信する(ステップS90,S91)。送信された表示データは電子黒板2b,2cのクライアント部20の通信制御部21によって受信される。電子黒板2b,2cのクライアント部20は、ディスプレイ3b,3cに、電子黒板2aから送られて来た表示データが出力画像(B)として含まれた重畳画像(A,B,C,D)を表示する。この処理は、電子黒板2aのクライアント部20におけるステップS87乃至S89の処理と同様であるので説明を省略する(ステップS92乃至S97) Further, the communication control unit 91 of the electronic blackboard 2a transmits the serialized display data sent from the electronic blackboard 2c to the client units 20 of the electronic blackboards 2b and 2c (steps S90 and S91). The transmitted display data is received by the communication control unit 21 of the client unit 20 of the electronic blackboards 2b and 2c. The client unit 20 of the electronic blackboards 2b and 2c displays superimposed images (A, B, C, D) on the displays 3b and 3c in which the display data sent from the electronic blackboard 2a is included as an output image (B). indicate. Since this process is the same as the process of steps S87 to S89 in the client unit 20 of the electronic blackboard 2a, the description thereof will be omitted (steps S92 to S97).

<<実施形態の変形例A>>
続いて実施形態の変形例Aについて上記の実施形態とは異なる点を説明する。変形例Aでは、PC8の表示制御部82は、マウス822の操作により描画されたストロークデータの表示を制御する機能を有する。
<< Modification A of the embodiment >>
Next, the modification A of the embodiment will be described as different from the above-described embodiment. In the modification A, the display control unit 82 of the PC 8 has a function of controlling the display of the stroke data drawn by the operation of the mouse 822.

図12は、電子黒板又はPCの処理を示したシーケンス図である。PC8のユーザがマウス822を用いてストローク画像を描画すると、表示制御部82は、ストローク画像に対応するストロークデータを生成する(ステップS100)。このストロークデータは上記表1乃至表3の各パラメータを含んでいる。PC8の通信制御部81は、通信ネットワーク9bを介して、電子黒板2cのクライアント部80へストロークデータを送信する(ステップS101)。 FIG. 12 is a sequence diagram showing the processing of the electronic blackboard or the PC. When the user of the PC 8 draws a stroke image using the mouse 822, the display control unit 82 generates stroke data corresponding to the stroke image (step S100). This stroke data includes each parameter of Tables 1 to 3 above. The communication control unit 81 of the PC 8 transmits stroke data to the client unit 80 of the electronic blackboard 2c via the communication network 9b (step S101).

送信されたストロークデータは、電子黒板2cのクライアント部80の通信制御部81によって受信される。ストロークデータが受信される度、受信されたストロークデータは、通信制御部81によって記憶部2000に記憶される。電子黒板2cのクライアント部20の取得部22Bは、記憶部2000に記憶されているストローク単位のストロークデータを取得する(ステップS102)。電子黒板2cのクライアント部20の変換部22Xは、取得部22Bによって取得された複数のストローク単位のストロークデータを通信制御部21によって送信可能な形式にシリアライズする(ステップS103)。電子黒板2cの通信制御部21は、通信ネットワーク9aを介して、主催装置である電子黒板2aの通信制御部91にシリアライズされたストローク画像のデータを送信する(ステップS104)。 The transmitted stroke data is received by the communication control unit 81 of the client unit 80 of the electronic blackboard 2c. Each time the stroke data is received, the received stroke data is stored in the storage unit 2000 by the communication control unit 81. The acquisition unit 22B of the client unit 20 of the electronic blackboard 2c acquires the stroke data for each stroke stored in the storage unit 2000 (step S102). The conversion unit 22X of the client unit 20 of the electronic blackboard 2c serializes the stroke data of a plurality of stroke units acquired by the acquisition unit 22B into a format that can be transmitted by the communication control unit 21 (step S103). The communication control unit 21 of the electronic blackboard 2c transmits the serialized stroke image data to the communication control unit 91 of the electronic blackboard 2a, which is the host device, via the communication network 9a (step S104).

電子黒板2aの通信制御部91は、電子黒板2cから送られて来たストロークデータを受信すると、電子黒板2a,2b,2cの各クライアント部20へストロークデータを配信することで、電子黒板2a,2b,2c間でストローク画像の共有を行う。この処理は、ステップS64乃至S71の処理と同様であるので詳細な説明を省略する(ステップS105乃至S112)。 When the communication control unit 91 of the electronic blackboard 2a receives the stroke data sent from the electronic blackboard 2c, the communication control unit 91 delivers the stroke data to the client units 20 of the electronic blackboards 2a, 2b, and 2c, so that the electronic blackboard 2a, The stroke image is shared between 2b and 2c. Since this process is the same as the process of steps S64 to S71, detailed description thereof will be omitted (steps S105 to S112).

<<実施形態の変形例B>>
続いて実施形態の変形例Bについて上記の実施形態とは異なる点を説明する。変形例Bでは、電子黒板2bで生成されたストロークデータをPC8に送信する処理について説明する。
<< Modification B of the embodiment >>
Subsequently, the modified example B of the embodiment will be described where it differs from the above-described embodiment. In the modification B, the process of transmitting the stroke data generated by the electronic blackboard 2b to the PC 8 will be described.

図13は、電子黒板又はPCの処理を示したシーケンス図である。上記実施形態のステップS61乃至S71の処理により、電子黒板2bで生成されたストロークデータは、電子黒板2cへ配信される。そして、電子黒板2cへ配信されたストロークデータは、デシリアライズされた後、クライアント部20の通信制御部21によって記憶部2000に記憶される。 FIG. 13 is a sequence diagram showing the processing of the electronic blackboard or the PC. The stroke data generated by the electronic blackboard 2b by the processing of steps S61 to S71 of the above embodiment is delivered to the electronic blackboard 2c. Then, the stroke data delivered to the electronic blackboard 2c is deserialized and then stored in the storage unit 2000 by the communication control unit 21 of the client unit 20.

記憶部2000に記憶されたストロークデータは、クライアント部80の通信制御部81によって取得され、PC8のクライアント部80へ送信される(ステップS121)。このストロークデータは、PC8のクライアント部80の通信制御部81によって受信される。受信されたストロークデータは、PC8のクライアント部80の表示制御部82によってディスプレイ820上に表示される(ステップS122)。 The stroke data stored in the storage unit 2000 is acquired by the communication control unit 81 of the client unit 80 and transmitted to the client unit 80 of the PC 8 (step S121). This stroke data is received by the communication control unit 81 of the client unit 80 of the PC 8. The received stroke data is displayed on the display 820 by the display control unit 82 of the client unit 80 of the PC 8 (step S122).

<<実施形態の変形例C>>
続いて実施形態の変形例Cについて上記の実施形態とは異なる点を説明する。変形例Cでは、PC8と電子黒板2cとの間で送信される表示データが映像データである場合について説明する。
<< Modification C of the embodiment >>
Next, the modification C of the embodiment will be described where it differs from the above embodiment. In the modified example C, a case where the display data transmitted between the PC 8 and the electronic blackboard 2c is video data will be described.

図14は、電子黒板又はPCの処理を示したシーケンス図である。PC8の通信制御部81は、カメラ812によって撮影された会議参加者の映像データをストリーミングデータとして、電子黒板2cのクライアント部80へ送信する(ステップS140)。映像データは、電子黒板2cの通信制御部81によって受信される。 FIG. 14 is a sequence diagram showing the processing of the electronic blackboard or the PC. The communication control unit 81 of the PC 8 transmits the video data of the conference participants taken by the camera 812 as streaming data to the client unit 80 of the electronic blackboard 2c (step S140). The video data is received by the communication control unit 81 of the electronic blackboard 2c.

電子黒板2cのクライアント部80の通信制御部81は受信された映像データを記憶部2000に記憶する。電子黒板2cのクライアント部80の取得部22Bは、記憶部2000に記憶された映像データを取得する(ステップS141)。電子黒板2cのクライアント部20の変換部22Xは、取得部22Bによって取得された映像データをレンダリングすることにより、静止画データとしての各フレームデータを生成する(ステップS142)。クライアント部の変換部22Xは、各フレームデータをテキスト化して(ステップS143)シリアライズ(ステップS144)する。クライアント部の通信制御部21は、シリアライズされた各フレームデータが生成される度、生成されたフレームデータを表示データとして電子黒板2aのサーバ部90へ送信する(ステップS145)。 The communication control unit 81 of the client unit 80 of the electronic blackboard 2c stores the received video data in the storage unit 2000. The acquisition unit 22B of the client unit 80 of the electronic blackboard 2c acquires the video data stored in the storage unit 2000 (step S141). The conversion unit 22X of the client unit 20 of the electronic blackboard 2c generates each frame data as still image data by rendering the video data acquired by the acquisition unit 22B (step S142). The conversion unit 22X of the client unit converts each frame data into text (step S143) and serializes it (step S144). Each time the serialized frame data is generated, the communication control unit 21 of the client unit transmits the generated frame data as display data to the server unit 90 of the electronic blackboard 2a (step S145).

送信された表示データは、電子黒板2aのサーバ部90の通信制御部91によって受信される。電子黒板2aのサーバ部90の通信制御部91は、電子黒板2cから表示データが送られて来る度、送られてきた表示データを電子黒板2a,2b,2cの各クライアント部20へ配信する。各電子黒板2a,2b,2cのクライアント部20では、電子黒板2aから表示データが配信される度、配信された表示データを重畳画像として表示する(ステップS146乃至S156)。この処理は、上記のステップS87乃至S97の処理と同様であるので詳細な説明を省略する。配信された表示データは映像の各フレームの静止画データであるので、表示データを連続的に表示することにより、電子黒板2a,2b,2cにおいて、PC8側の映像を再生することが可能となる。 The transmitted display data is received by the communication control unit 91 of the server unit 90 of the electronic blackboard 2a. The communication control unit 91 of the server unit 90 of the electronic blackboard 2a distributes the sent display data to the client units 20 of the electronic blackboards 2a, 2b, and 2c each time display data is sent from the electronic blackboard 2c. The client unit 20 of each of the electronic blackboards 2a, 2b, and 2c displays the distributed display data as a superimposed image each time the display data is distributed from the electronic blackboard 2a (steps S146 to S156). Since this process is the same as the process of steps S87 to S97 described above, detailed description thereof will be omitted. Since the distributed display data is still image data of each frame of the video, by continuously displaying the display data, it is possible to reproduce the video on the PC8 side on the electronic blackboards 2a, 2b, and 2c. ..

なお、通信アプリA11により所定の形式の映像データを送信可能である場合には、電子黒板2cのクライアント部20は、PC8から送られてきた映像データを所定の形式にエンコードして、電子黒板2aのサーバ部90へ送信しても良い。電子黒板2aのサーバ部90は、電子黒板2cから送られてきた所定の形式にエンコードされた映像データを電子黒板2a,2b,2cのクライアント部20へ配信する。電子黒板2a,2b,2cのクライアント部20は、サーバ部90から送られてきた映像データをデコードして動画として再生しても良い。 When the video data in a predetermined format can be transmitted by the communication application A11, the client unit 20 of the electronic blackboard 2c encodes the video data sent from the PC 8 into a predetermined format, and the electronic blackboard 2a It may be transmitted to the server unit 90 of. The server unit 90 of the electronic blackboard 2a distributes the video data encoded in a predetermined format sent from the electronic blackboard 2c to the client unit 20 of the electronic blackboards 2a, 2b, 2c. The client unit 20 of the electronic blackboards 2a, 2b, 2c may decode the video data sent from the server unit 90 and reproduce it as a moving image.

<<実施形態の主な効果>>
上記実施形態の通信制御方法によると、電子黒板2c(通信端末の一例)のクライアント部20の通信制御部21(第1の通信制御手段の一例)は、電子黒板2aのサーバ部90(配信サーバの一例)を介した電子黒板2b(第1の通信端末の一例)との間の通信を制御する(第1の通信制御処理)。電子黒板2cのクライアント部80の通信制御部81(第2の通信制御手段の一例)は、PC8(第2の通信端末の一例)との間の通信を制御する(第2の通信制御処理)。電子黒板2cの取得部22B(取得手段の一例)は、通信制御部81による通信においてPC8との間で送信されるコンテンツデータを取得する(取得処理)。電子黒板2cの描画制御部22の重畳部22Y(表示制御手段の一例)は、電子黒板2aのサーバ部90によって配信されるコンテンツデータに基づく画像の表示を制御する(表示制御処理)。電子黒板2c(通信端末の一例)の通信制御部21(第1の通信制御手段の一例)は、取得部22Bによって取得されるコンテンツデータを電子黒板2aのサーバ部90へ送信する。上記実施形態では、クライアント部20によって通信端末間で送信されるコンテンツデータ、及びクライアント部80によって通信端末間で送信されるコンテンツデータの双方の表示をクライアント部20側で制御できるようになる。即ち、上記実施形態によると、通信端末間で画像を共有するためのアプリA11,B10を複数起動しているときに、一方のアプリA11により表示される画像が、他方のアプリB10による表示の制御に伴って視認し難くなることを防ぐことが可能になる。
<< Main effects of the embodiment >>
According to the communication control method of the above embodiment, the communication control unit 21 (an example of the first communication control means) of the client unit 20 of the electronic blackboard 2c (an example of a communication terminal) is the server unit 90 (distribution server) of the electronic blackboard 2a. Control the communication with the electronic blackboard 2b (an example of the first communication terminal) via (one example) (first communication control process). The communication control unit 81 (an example of the second communication control means) of the client unit 80 of the electronic blackboard 2c controls the communication with the PC 8 (an example of the second communication terminal) (second communication control process). .. The acquisition unit 22B (an example of acquisition means) of the electronic blackboard 2c acquires the content data transmitted to and from the PC 8 in the communication by the communication control unit 81 (acquisition process). The superimposing unit 22Y (an example of the display control means) of the drawing control unit 22 of the electronic blackboard 2c controls the display of an image based on the content data distributed by the server unit 90 of the electronic blackboard 2a (display control processing). The communication control unit 21 (an example of the first communication control means) of the electronic blackboard 2c (an example of a communication terminal) transmits the content data acquired by the acquisition unit 22B to the server unit 90 of the electronic blackboard 2a. In the above embodiment, the client unit 20 can control the display of both the content data transmitted between the communication terminals by the client unit 20 and the content data transmitted between the communication terminals by the client unit 80. That is, according to the above embodiment, when a plurality of applications A11 and B10 for sharing images between communication terminals are activated, the image displayed by one application A11 is controlled by the other application B10. It is possible to prevent the image from becoming difficult to see.

電子黒板2aのサーバ部90によって配信されるコンテンツデータは、電子黒板2bによって送信されるストロークデータ(第1のコンテンツデータの一例)と、取得部22Bによって取得され、電子黒板2aのサーバ部90へ送信される表示データ(第2のコンテンツデータの一例)とを含んでいる。重畳部22Yは、ストロークデータ及び表示データを重畳して表示する制御を行う。これにより、ストロークデータと表示データを同時に視認することが可能となる。 The content data distributed by the server unit 90 of the electronic whiteboard 2a is acquired by the stroke data (an example of the first content data) transmitted by the electronic whiteboard 2b and the acquisition unit 22B, and is transferred to the server unit 90 of the electronic blackboard 2a. It includes display data to be transmitted (an example of second content data). The superimposing unit 22Y controls to superimpose and display the stroke data and the display data. This makes it possible to visually recognize the stroke data and the display data at the same time.

上記実施形態の変形例Aによると、クライアント部20,80によって送信されるコンテンツデータは共にストロークデータであっても良い。これにより、クライアント部20とクライアント部80との間でストロークデータを直接送信できない場合でも、通信端末間でストロークデータを共有できるようになる。 According to the modification A of the above embodiment, the content data transmitted by the client units 20 and 80 may both be stroke data. As a result, even if the stroke data cannot be directly transmitted between the client unit 20 and the client unit 80, the stroke data can be shared between the communication terminals.

上記実施形態によると、クライアント部20,80によって送信されるコンテンツデータは異なっており、変換部22X(変換手段の一例)は、クライアント部80により送信される表示データをテキスト化することにより、クライアント部20による通信において送信可能な形式に変換する。これにより、クライアント部20,80によって送信されるコンテンツデータは異なる場合でも、通信端末間でコンテンツデータを共有できるようになる。 According to the above embodiment, the content data transmitted by the client units 20 and 80 is different, and the conversion unit 22X (an example of the conversion means) converts the display data transmitted by the client unit 80 into text so that the client can be converted into text. It is converted into a format that can be transmitted in the communication by the unit 20. As a result, even if the content data transmitted by the client units 20 and 80 is different, the content data can be shared between the communication terminals.

上記実施形態の変形例Cによると、クライアント部80によって送信されるコンテンツデータは映像データである。この場合、変換部22Xは、クライアント部80によってPC8との間で送信される映像データを、クライアント部20による通信において送信可能な複数の静止画データにレンダリングすることで変換する。続いて、電子黒板2aのサーバ部90は、複数の静止画データを配信することで、配信先の電子黒板2では動画の再生が可能となる。 According to the modification C of the above embodiment, the content data transmitted by the client unit 80 is video data. In this case, the conversion unit 22X converts the video data transmitted by the client unit 80 to and from the PC 8 by rendering it into a plurality of still image data that can be transmitted in the communication by the client unit 20. Subsequently, the server unit 90 of the electronic blackboard 2a distributes a plurality of still image data, so that the electronic blackboard 2 of the distribution destination can reproduce the moving image.

電子黒板2cの変換部22X(直列化手段の一例)は、電子黒板2aのサーバ部90へ送信するコンテンツデータをシリアライズ(直列化)する。また、電子黒板2cの変換部22X(並列化手段の一例)は、電子黒板2aのサーバ部90により配信されるコンテンツデータをデシリアライズ(並列化)する。これにより、サーバ側でコンテンツデータを直列化及び並列化する負荷を低減することができる。 The conversion unit 22X (an example of serialization means) of the electronic blackboard 2c serializes (serializes) the content data to be transmitted to the server unit 90 of the electronic blackboard 2a. Further, the conversion unit 22X (an example of parallelization means) of the electronic blackboard 2c deserializes (parallelizes) the content data distributed by the server unit 90 of the electronic blackboard 2a. This makes it possible to reduce the load of serializing and parallelizing the content data on the server side.

電子黒板2cの通信制御部81は、電子黒板2aのサーバ部90によって配信されるコンテンツデータをPC8へ送信する。これにより、電子黒板2側のコンテンツデータをPC8で共有することが可能となる。 The communication control unit 81 of the electronic blackboard 2c transmits the content data distributed by the server unit 90 of the electronic blackboard 2a to the PC 8. As a result, the content data on the electronic blackboard 2 side can be shared by the PC8.

<<実施形態の補足>>
通信アプリA11,B10,B11は、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、上記記録媒体、あるいは、これらプログラムが記憶されたHD(Hard Disk)は、プログラム製品(Program Product)として、国内又は国外へ提供可能である。
<< Supplement to the embodiment >>
The communication applications A11, B10, and B11 may be recorded and distributed on a computer-readable recording medium by a file in an installable format or an executable format. Further, as another example of the above-mentioned recording medium, a CD-R (Compact Disc Recordable), a DVD (Digital Versatile Disk), a Blu-ray disc and the like can be mentioned. Further, the above-mentioned recording medium or HD (Hard Disk) in which these programs are stored can be provided as a program product in Japan or abroad.

また、上記実施形態における電子黒板2、PC8、中継装置30、及び管理システム50は、単一の装置によって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数の装置によって構築されていてもよい。 Further, the electronic blackboard 2, the PC 8, the relay device 30, and the management system 50 in the above embodiment may be constructed by a single device, or a plurality of parts (functions or means) are divided and arbitrarily assigned. It may be constructed by the device of.

また、上記では、画像共有可能な装置の一例として電子黒板2及びPC8について説明したが、これに限るものではない。例えば、画像共有可能な装置として、上記の電子黒板2及びPC8の有する各機能を搭載可能な他の装置を用いることもできる。他の装置としては、例えば、テレビ会議端末、プロジェクター、デジタルサイネージ、テキスト共有装置、カーナビゲーション端末、ゲーム機、PDA(Personal Digital Assistant)、遠隔診断装置等が挙げられる。 Moreover, although the electronic blackboard 2 and the PC 8 have been described above as an example of the device capable of image sharing, the present invention is not limited to this. For example, as an image sharing device, another device capable of mounting each function of the electronic blackboard 2 and the PC 8 can be used. Examples of other devices include video conferencing terminals, projectors, digital signage, text sharing devices, car navigation terminals, game machines, PDAs (Personal Digital Assistants), remote diagnostic devices, and the like.

1 通信システム
2 電子黒板
3 ディスプレイ
4 電子ペン
5 USBメモリ
6 ノートPC
8 PC
9a,9b 通信ネットワーク
20 クライアント部
21 通信制御部
22 描画制御部
22A ストローク処理部
22B 取得部
22X 変換部
22Y 重畳部
22Z ページ処理部
220 ページデータ記憶部
30 中継装置
50 管理システム
80 クライアント部
81 通信制御部
82 表示制御部
90 サーバ部
91 通信制御部
2000 記憶部
8000 記憶部
1 Communication system 2 Electronic blackboard 3 Display 4 Electronic pen 5 USB memory 6 Notebook PC
8 PC
9a, 9b Communication network 20 Client unit 21 Communication control unit 22 Drawing control unit 22A Stroke processing unit 22B Acquisition unit 22X Conversion unit 22Y Superimposition unit 22Z Page processing unit 220 Page data storage unit 30 Relay device 50 Management system 80 Client unit 81 Communication control Unit 82 Display control unit 90 Server unit 91 Communication control unit 2000 Storage unit 8000 Storage unit

特開2015−70345号公報Japanese Unexamined Patent Publication No. 2015-70345

Claims (13)

配信サーバを介した第1の電子黒板との間の通信を制御する第1の通信制御手段と、
第2の電子黒板との間の通信を制御する第2の通信制御手段と、
前記第2の通信制御手段による通信において前記第2の電子黒板との間で送信されるコンテンツデータを取得する取得手段と、
前記配信サーバによって配信されるコンテンツデータに基づく画像の表示を制御する表示制御手段と、を有しており、
前記第1の通信制御手段は、前記取得手段によって取得される前記コンテンツデータを前記配信サーバへ送信し、
前記配信サーバによって配信されるコンテンツデータは、前記第1の電子黒板によって送信された第1のコンテンツデータと、前記取得手段によって取得され、前記配信サーバへ送信された第2のコンテンツデータとを含んでおり、
前記表示制御手段は、前記第1のコンテンツデータ及び前記第2のコンテンツデータを重畳して表示する制御を行うことを特徴とする電子黒板
A first communication control means for controlling communication with the first electronic blackboard via the distribution server,
A second communication control means for controlling communication with the second electronic blackboard ,
An acquisition means for acquiring content data transmitted to and from the second electronic blackboard in communication by the second communication control means, and an acquisition means.
It has a display control means for controlling the display of an image based on the content data distributed by the distribution server.
The first communication control means transmits the content data acquired by the acquisition means to the distribution server.
The content data distributed by the distribution server includes the first content data transmitted by the first electronic blackboard and the second content data acquired by the acquisition means and transmitted to the distribution server. And
The display control means is an electronic blackboard characterized in that it controls to superimpose and display the first content data and the second content data.
前記第1のコンテンツデータ及び前記第2のコンテンツデータは、ストロークデータであることを特徴とする請求項1に記載の電子黒板The electronic blackboard according to claim 1, wherein the first content data and the second content data are stroke data. 前記第1のコンテンツデータ、及び前記第2のコンテンツデータは異なるコンテンツデータであり、
前記第2のコンテンツデータを、前記第1の通信制御手段による通信において送信可能な形式に変換する変換手段を有することを特徴とする請求項1に記載の電子黒板
The first content data and the second content data are different content data.
The electronic blackboard according to claim 1, further comprising a conversion means for converting the second content data into a format that can be transmitted in communication by the first communication control means.
前記第2のコンテンツデータは映像データであり、
前記第2の通信制御手段による通信において前記第2の電子黒板との間で送信される映像データを、前記第1の通信制御手段による通信において送信可能な複数の静止画データに変換する変換手段を有することを特徴とする請求項3に記載の電子黒板
The second content data is video data, and is
A conversion means for converting video data transmitted to and from the second electronic blackboard in communication by the second communication control means into a plurality of still image data that can be transmitted in communication by the first communication control means. The electronic blackboard according to claim 3, wherein the electronic blackboard is characterized by having.
前記配信サーバへ送信するコンテンツデータを直列化する直列化手段と、
前記配信サーバにより配信されるコンテンツデータを並列化する並列化手段と、
を有することを特徴とする請求項1乃至4のいずれか一項に記載の電子黒板
A serialization means for serializing the content data to be transmitted to the distribution server,
A parallelization means for parallelizing the content data distributed by the distribution server,
The electronic blackboard according to any one of claims 1 to 4, wherein the electronic blackboard is characterized by having.
前記第2の通信制御手段は、前記配信サーバによって配信される前記コンテンツデータを前記第2の電子黒板へ送信することを特徴とする請求項1乃至5のいずれか一項に記載の電子黒板The electronic blackboard according to any one of claims 1 to 5, wherein the second communication control means transmits the content data distributed by the distribution server to the second electronic blackboard . 前記第1の通信制御手段を有し、第1のアプリケーションを実行する第1のクライアント手段と、
前記第2の通信制御手段を有し、第2のアプリケーションを実行する第2のクライアント手段と、を有することを特徴とする請求項1乃至6のいずれか一項に記載の電子黒板
A first client means having the first communication control means and executing the first application, and
The electronic blackboard according to any one of claims 1 to 6, further comprising a second communication control means and a second client means for executing a second application.
前記第1の通信制御手段は、第1の通信ネットワーク及び前記配信サーバを介して前記第1の電子黒板と通信し、
前記第2の通信制御手段は、第2の通信ネットワークを介して前記第2の電子黒板と通信することを特徴とする請求項1乃至7のいずれか一項に記載の電子黒板
The first communication control means communicates with the first electronic blackboard via the first communication network and the distribution server, and communicates with the first electronic blackboard .
Said second communication control means, electronic blackboard according to any one of claims 1 to 7, wherein the communicating with the second electronic board via the second communication network.
請求項1乃至8のいずれか一項に記載の電子黒板と、
前記第1の電子黒板と、
前記第2の電子黒板と、
前記配信サーバと、
を有することを特徴とする通信システム。
The electronic blackboard according to any one of claims 1 to 8.
With the first electronic blackboard
With the second electronic blackboard
With the distribution server
A communication system characterized by having.
前記第1の電子黒板は、前記第1の通信制御手段を有しており、
前記第2の電子黒板は、前記第2の通信制御手段を有している
ことを特徴とする請求項9に記載の通信システム。
The first electronic blackboard has the first communication control means.
The communication system according to claim 9, wherein the second electronic blackboard has the second communication control means.
電子黒板に、
配信サーバを介した第1の電子黒板との間の通信を制御する第1の通信制御処理と、
第2の電子黒板との間の通信を制御する第2の通信制御処理と、
前記第2の通信制御処理による通信において前記第2の電子黒板との間で送信されるコンテンツデータを取得する取得処理と、
前記配信サーバによって配信されるコンテンツデータに基づく画像の表示を制御する表示制御処理と、を実行させ、
前記第1の通信制御処理において、前記取得処理によって取得される前記コンテンツデータを前記配信サーバへ送信し、
前記配信サーバによって配信されるコンテンツデータは、前記第1の電子黒板によって送信された第1のコンテンツデータと、前記取得処理において取得され、前記配信サーバへ送信された第2のコンテンツデータとを含んでおり、
前記表示制御処理では、前記第1のコンテンツデータ及び前記第2のコンテンツデータを重畳して表示する制御を行うことを特徴とする通信制御方法。
On the electronic blackboard ,
The first communication control process that controls the communication with the first electronic blackboard via the distribution server, and
A second communication control process that controls communication with the second electronic blackboard ,
In the communication by the second communication control process, the acquisition process of acquiring the content data transmitted to and from the second electronic blackboard, and the acquisition process.
A display control process for controlling the display of an image based on the content data distributed by the distribution server is executed.
In the first communication control process, the content data acquired by the acquisition process is transmitted to the distribution server.
The content data distributed by the distribution server includes the first content data transmitted by the first electronic blackboard and the second content data acquired in the acquisition process and transmitted to the distribution server. And
The display control process is a communication control method characterized in that control is performed in which the first content data and the second content data are superimposed and displayed.
電子黒板に、
配信サーバを介した第1の電子黒板との間の通信を制御する第1の通信制御処理と、
第2の電子黒板との間の通信を制御する第2の通信制御処理と、
前記第2の通信制御処理による通信において前記第2の電子黒板との間で送信されるコンテンツデータを取得する取得処理と、
前記配信サーバによって配信されるコンテンツデータに基づく画像の表示を制御する表示制御処理と、を実行させ、
前記第1の通信制御処理において、前記取得処理によって取得される前記コンテンツデータを前記配信サーバへ送信し、
前記配信サーバによって配信されるコンテンツデータは、前記第1の電子黒板によって送信された第1のコンテンツデータと、前記取得処理において取得され、前記配信サーバへ送信された第2のコンテンツデータとを含んでおり、
前記表示制御処理では、前記第1のコンテンツデータ及び前記第2のコンテンツデータを重畳して表示する制御を行うことを特徴とするプログラム。
On the electronic blackboard ,
The first communication control process that controls the communication with the first electronic blackboard via the distribution server, and
A second communication control process that controls communication with the second electronic blackboard ,
In the communication by the second communication control process, the acquisition process of acquiring the content data transmitted to and from the second electronic blackboard, and the acquisition process.
A display control process for controlling the display of an image based on the content data distributed by the distribution server is executed.
In the first communication control process, the content data acquired by the acquisition process is transmitted to the distribution server.
The content data distributed by the distribution server includes the first content data transmitted by the first electronic blackboard and the second content data acquired in the acquisition process and transmitted to the distribution server. And
The display control process is a program characterized in that control is performed so that the first content data and the second content data are superimposed and displayed.
電子黒板に、
配信サーバを介した第1の電子黒板との間の通信を制御する第1の通信制御処理と、
第2の通信制御処理による通信において第2の電子黒板との間で送信されるコンテンツデータを取得する取得処理と、
前記配信サーバによって配信されるコンテンツデータに基づく画像の表示を制御する表示制御処理と、を実行させ、
前記第1の通信制御処理において、前記取得処理によって取得される前記コンテンツデータを前記配信サーバへ送信し、
前記配信サーバによって配信されるコンテンツデータは、前記第1の電子黒板によって送信された第1のコンテンツデータと、前記取得処理において取得され、前記配信サーバへ送信された第2のコンテンツデータとを含んでおり、
前記表示制御処理では、前記第1のコンテンツデータ及び前記第2のコンテンツデータを重畳して表示する制御を行うことを特徴とするプログラム。
On the electronic blackboard ,
The first communication control process that controls the communication with the first electronic blackboard via the distribution server, and
In the communication by the second communication control process, the acquisition process of acquiring the content data transmitted to and from the second electronic blackboard, and the acquisition process.
A display control process for controlling the display of an image based on the content data distributed by the distribution server is executed.
In the first communication control process, the content data acquired by the acquisition process is transmitted to the distribution server.
The content data distributed by the distribution server includes the first content data transmitted by the first electronic blackboard and the second content data acquired in the acquisition process and transmitted to the distribution server. And
The display control process is a program characterized in that control is performed so that the first content data and the second content data are superimposed and displayed.
JP2019010179A 2019-01-24 2019-01-24 Electronic blackboards, communication systems, communication control methods, and programs Active JP6773145B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019010179A JP6773145B2 (en) 2019-01-24 2019-01-24 Electronic blackboards, communication systems, communication control methods, and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019010179A JP6773145B2 (en) 2019-01-24 2019-01-24 Electronic blackboards, communication systems, communication control methods, and programs

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015109871A Division JP6471614B2 (en) 2015-05-29 2015-05-29 Communication terminal, communication system, communication control method, and program

Publications (2)

Publication Number Publication Date
JP2019079566A JP2019079566A (en) 2019-05-23
JP6773145B2 true JP6773145B2 (en) 2020-10-21

Family

ID=66627947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019010179A Active JP6773145B2 (en) 2019-01-24 2019-01-24 Electronic blackboards, communication systems, communication control methods, and programs

Country Status (1)

Country Link
JP (1) JP6773145B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020198017A (en) * 2019-06-05 2020-12-10 株式会社リコー Communication terminal, communication system, display control method, and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5621516B2 (en) * 2010-11-04 2014-11-12 株式会社リコー Remote communication terminal and remote communication program
JP5348166B2 (en) * 2011-03-30 2013-11-20 ブラザー工業株式会社 Relay device, communication method, and communication system
JP2014010568A (en) * 2012-06-28 2014-01-20 Sharp Corp Image display device and image display program
JP2015023466A (en) * 2013-07-19 2015-02-02 株式会社リコー Distribution system, distribution method and program
JP6020397B2 (en) * 2013-09-12 2016-11-02 株式会社リコー Image processing apparatus and image processing system
JP6094550B2 (en) * 2013-09-17 2017-03-15 株式会社リコー Information processing apparatus and program
JP6471614B2 (en) * 2015-05-29 2019-02-20 株式会社リコー Communication terminal, communication system, communication control method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020198017A (en) * 2019-06-05 2020-12-10 株式会社リコー Communication terminal, communication system, display control method, and program
JP7215341B2 (en) 2019-06-05 2023-01-31 株式会社リコー Communication terminal, communication system, display control method and program

Also Published As

Publication number Publication date
JP2019079566A (en) 2019-05-23

Similar Documents

Publication Publication Date Title
JP6471614B2 (en) Communication terminal, communication system, communication control method, and program
JP6798288B2 (en) Communication terminals, communication systems, video output methods, and programs
JP7255728B2 (en) Communication terminal, communication system, transmission method, and program
JP6720513B2 (en) Communication terminal, communication system, communication control method, and program
US10511700B2 (en) Communication terminal with first application displaying status of second application
US10628117B2 (en) Communication terminal, communication system, display control method, and recording medium
JP6540367B2 (en) Display control apparatus, communication terminal, communication system, display control method, and program
US20150341435A1 (en) Communication system, transfer control device, and communication method
JP2019159261A (en) Electronic blackboard, picture display method, and program
JP2021072533A (en) Display device, display method, program, and image processing system
JP6773145B2 (en) Electronic blackboards, communication systems, communication control methods, and programs
JP6911595B2 (en) Communication terminals, communication systems, output methods, and programs
US10356361B2 (en) Communication terminal, communication system, and display method
JP6776905B2 (en) Communication terminals, communication systems, display control methods, and programs
JP2018060513A (en) Communication terminal, communication system, transmission method, and program
JP2019135567A (en) Information processing apparatus, management system, image sharing system, image sharing method, and program
JP2017153062A (en) Communication terminal, communication system, output method, and program
JP2020161120A (en) Information transmission system, information processing apparatus, transmission method, and program
JP2020149634A (en) Image processing apparatus, method, and program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20200121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200914

R151 Written notification of patent or utility model registration

Ref document number: 6773145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151