JP4751300B2

JP4751300B2 - Visual conference system

Info

Publication number: JP4751300B2
Application number: JP2006307812A
Authority: JP
Inventors: 昌之田尾
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-02-09
Filing date: 2006-11-14
Publication date: 2011-08-17
Anticipated expiration: 2026-11-14
Also published as: JP2007243919A

Description

この発明は、例えば河川や道路を監視する事務所と、その出先機関である出張所において利用される発言者の映像および音声が、ネットワークを利用して相互に伝送されるビジュアル会議システムであって、操作の利便性に優れたものである。 The present invention is a visual conference system in which, for example, a video and audio of a speaker used in an office that monitors rivers and roads and a branch office that is a branch organization thereof are transmitted to each other using a network, It is very convenient to operate.

従来のビジュアル会議システムは、遠隔地にいながらしてお互いの顔を見て会議を行えるため、出張旅費などの金銭的な面や、移動時間が不要となるなど時間的な面でのコスト削減に大きく貢献できる利点がある。また、顔を見ながらだけではなく、同一の資料を表示した画面を配信することにより、あらかじめ別ルートで資料を事前配布する必要がないシステムも検討されている（例えば、特許文献１参照）。 Traditional visual conferencing systems allow you to meet each other while you are in a remote location, so you can save money in terms of money, such as travel expenses and travel time. There is an advantage that can greatly contribute. In addition, a system is being studied in which it is not necessary to pre-distribute a material in advance by another route by distributing a screen displaying the same material as well as looking at the face (see, for example, Patent Document 1).

特開平６−３１１５１０公報JP-A-6-311510

従来のビジュアル会議システムは、おもに発言者や会議参加者の人物を相互に伝送することに重きがおかれ、会議における資料を配信することが行われている。これらは、ビジュアル会議が実施されている間は参加者のいずれもが閲覧できる。道路や河川の監視を行う事務所においては、管理管内にある複数の観測局から気温や降水量、交通量や水位などの観測情報が収集されており、これらのデータは集約されて、事務所に設置されている大画面表示手段などで監視している場合が多い。本来、このようなデータは、複数ある出先機関の出張所でも閲覧できることが望ましいが、設置場所やコストの問題などから、事務所と同等の設備を設置することは困難である。 Conventional visual conferencing systems focus on the mutual transmission of speakers and conference participants, and distribute materials at conferences. These can be viewed by any of the participants during the visual conference. In offices that monitor roads and rivers, observation information such as temperature, precipitation, traffic volume, and water level is collected from multiple monitoring stations in the management jurisdiction. In many cases, monitoring is performed by a large screen display means installed in the city. Originally, it is desirable that such data can be viewed at a branch office of a plurality of branch offices, but it is difficult to install equipment equivalent to an office due to problems of installation location and cost.

さらに、同一の画面を表示することができても、その操作を行うことができる端末が固定されていたり、同時に複数の利用者が操作を行ったりすることはできなかった。また、手書きという簡便な手段を用いてのコミュニケーションを行うことも困難であるという問題点があった。 Furthermore, even if the same screen can be displayed, a terminal that can perform the operation is fixed, or a plurality of users cannot perform the operation at the same time. In addition, there is a problem that it is difficult to perform communication using a simple means of handwriting.

この発明は上記のような課題を解決するためになされたものであり、操作の利便性を向上することができるビジュアル会議システムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to provide a visual conference system that can improve the convenience of operation.

この発明は、外部からデータを入力して処理する親処理部と、親処理部とネットワークを介して接続されている子処理部とを有し、親処理部と子処理部との状態を互いに確認しながらビジュアル会議を行うためのビジュアル会議システムであって、
親処理部には、外部から入力されるデータを処理して共有画面情報を作成する作成機能部、および、共有画面情報を通信形式に変換して送信するとともに共有画面情報に対する操作情報を入力して操作情報の内容を実施する画面共有サーバ機能部、および、共有画面情報に対して描画情報に基づく表示を追加して画面共有サーバ機能部に出力する手書き表示機能部を有する大画面表示制御手段と、
作成機能部からの共有画面情報を表示する大画面表示手段と、
子処理部とビジュアル会議を行うための親処理部のビジュアル会議用情報を作成して送信するとともに子処理部からのビジュアル会議用情報を受信して子処理部へ送信する親ビジュアル会議機能部、および、手書き表示機能部に描画情報を送信する親手書き入力機能部、および、画面共有サーバ機能部からの共有画面情報を受信および共有画面情報に対する操作情報を画面共有サーバ機能部へ送信する親画面共有クライアント機能部を有する親制御手段と、
親画面共有クライアント機能部からの共有画面情報を表示および親ビジュアル会議機能部からビジュアル会議用情報の表示を行い、タッチデバイス機能を有しタッチデバイス機能により操作情報を親画面共有クライアント機能部に描画情報を親手書き入力機能部にそれぞれ出力する親画面手段とを備え、
子処理部には、親処理部とビジュアル会議を行うための子処理部のビジュアル会議用情報を作成して親ビジュアル会議機能部に送信するとともに親処理部または子処理部のいずれか少なくとも１つのビジュアル会議用情報を親ビジュアル会議機能部より受信する子ビジュアル会議機能部、および、手書き表示機能部に共有画面情報に対する描画情報を送信する子手書き入力機能部、および、画面共有サーバ機能部からの共有画面情報を受信するとともに共有画面情報に対する操作情報を画面共有サーバ機能部へ送信する子画面共有クライアント機能部を有する子制御手段と、
子画面共有クライアント機能部からの共有画面情報を表示および子ビジュアル会議機能部からのビジュアル会議用情報の表示を行い、タッチデバイス機能を有しタッチデバイス機能により操作情報を子画面共有クライアント機能部に描画情報を子手書き入力機能部にそれぞれ出力する子画面手段とを備えたものである。 The present invention includes a parent processing unit that inputs and processes data from outside, and a child processing unit that is connected to the parent processing unit via a network, and the states of the parent processing unit and the child processing unit are mutually A visual conference system for conducting a visual conference while checking,
In the parent processing unit, a creation function unit that processes data input from the outside to create shared screen information, converts the shared screen information into a communication format, transmits it, and inputs operation information for the shared screen information. Screen display server function unit that implements the contents of the operation information, and a large screen display control unit having a handwriting display function unit that adds a display based on the drawing information to the shared screen information and outputs it to the screen sharing server function unit When,
A large screen display means for displaying shared screen information from the creation function section;
A parent visual conference function unit that creates and transmits information for visual conference of a parent processing unit for performing a visual conference with a child processing unit and receives information for visual conference from the child processing unit and transmits the information to the child processing unit. And a parent handwriting input function unit that transmits drawing information to the handwriting display function unit, and a parent screen that receives shared screen information from the screen sharing server function unit and transmits operation information for the shared screen information to the screen sharing server function unit A parent control means having a shared client function part;
Displays shared screen information from the parent screen sharing client function section and displays visual conference information from the parent visual meeting function section, and has a touch device function to draw operation information on the parent screen sharing client function section. A main screen means for outputting information to the parent handwriting input function unit,
The child processing unit creates visual conference information of the child processing unit for performing a visual conference with the parent processing unit, transmits the information to the parent visual conference function unit, and at least one of the parent processing unit and the child processing unit From the child visual conference function unit that receives visual conference information from the parent visual conference function unit, the child handwriting input function unit that transmits drawing information for the shared screen information to the handwriting display function unit, and the screen sharing server function unit A child control means having a child screen sharing client function unit that receives the sharing screen information and transmits operation information for the sharing screen information to the screen sharing server function unit;
Displays the shared screen information from the child screen sharing client function unit and displays the visual conference information from the child visual conference function unit, has a touch device function, and operation information is transferred to the child screen sharing client function unit by the touch device function. Sub-screen means for outputting the drawing information to the child handwriting input function unit respectively.

この発明のビジュアル会議システムは、外部からデータを入力して処理する親処理部と、親処理部とネットワークを介して接続されている子処理部とを有し、親処理部と子処理部との状態を互いに確認しながらビジュアル会議を行うためのビジュアル会議システムであって、
親処理部には、外部から入力されるデータを処理して共有画面情報を作成する作成機能部、および、共有画面情報を通信形式に変換して送信するとともに共有画面情報に対する操作情報を入力して操作情報の内容を実施する画面共有サーバ機能部、および、共有画面情報に対して描画情報に基づく表示を追加して画面共有サーバ機能部に出力する手書き表示機能部を有する大画面表示制御手段と、
作成機能部からの共有画面情報を表示する大画面表示手段と、
子処理部とビジュアル会議を行うための親処理部のビジュアル会議用情報を作成して送信するとともに子処理部からのビジュアル会議用情報を受信して子処理部へ送信する親ビジュアル会議機能部、および、手書き表示機能部に描画情報を送信する親手書き入力機能部、および、画面共有サーバ機能部からの共有画面情報を受信および共有画面情報に対する操作情報を画面共有サーバ機能部へ送信する親画面共有クライアント機能部を有する親制御手段と、
親画面共有クライアント機能部からの共有画面情報を表示および親ビジュアル会議機能部からビジュアル会議用情報の表示を行い、タッチデバイス機能を有しタッチデバイス機能により操作情報を親画面共有クライアント機能部に描画情報を親手書き入力機能部にそれぞれ出力する親画面手段とを備え、
子処理部には、親処理部とビジュアル会議を行うための子処理部のビジュアル会議用情報を作成して親ビジュアル会議機能部に送信するとともに親処理部または子処理部のいずれか少なくとも１つのビジュアル会議用情報を親ビジュアル会議機能部より受信する子ビジュアル会議機能部、および、手書き表示機能部に共有画面情報に対する描画情報を送信する子手書き入力機能部、および、画面共有サーバ機能部からの共有画面情報を受信するとともに共有画面情報に対する操作情報を画面共有サーバ機能部へ送信する子画面共有クライアント機能部を有する子制御手段と、
子画面共有クライアント機能部からの共有画面情報を表示および子ビジュアル会議機能部からのビジュアル会議用情報の表示を行い、タッチデバイス機能を有しタッチデバイス機能により操作情報を子画面共有クライアント機能部に描画情報を子手書き入力機能部にそれぞれ出力する子画面手段とを備えたので、ビジュアル会議と共有画面情報とを別々の動作にて表示または実施することができ操作の利便性を向上することができるものである。 The visual conference system of the present invention includes a parent processing unit that inputs and processes data from outside, and a child processing unit that is connected to the parent processing unit via a network. A visual conference system for conducting a visual conference while confirming the state of each other,
In the parent processing unit, a creation function unit that processes data input from the outside to create shared screen information, converts the shared screen information into a communication format, transmits it, and inputs operation information for the shared screen information. Screen display server function unit that implements the contents of the operation information, and a large screen display control unit having a handwriting display function unit that adds a display based on the drawing information to the shared screen information and outputs it to the screen sharing server function unit When,
A large screen display means for displaying shared screen information from the creation function section;
A parent visual conference function unit that creates and transmits information for visual conference of a parent processing unit for performing a visual conference with a child processing unit and receives information for visual conference from the child processing unit and transmits the information to the child processing unit. And a parent handwriting input function unit that transmits drawing information to the handwriting display function unit, and a parent screen that receives shared screen information from the screen sharing server function unit and transmits operation information for the shared screen information to the screen sharing server function unit A parent control means having a shared client function part;
Displays shared screen information from the parent screen sharing client function section and displays visual conference information from the parent visual meeting function section, and has a touch device function to draw operation information on the parent screen sharing client function section. A main screen means for outputting information to the parent handwriting input function unit,
The child processing unit creates visual conference information of the child processing unit for performing a visual conference with the parent processing unit, transmits the information to the parent visual conference function unit, and at least one of the parent processing unit and the child processing unit From the child visual conference function unit that receives visual conference information from the parent visual conference function unit, the child handwriting input function unit that transmits drawing information for the shared screen information to the handwriting display function unit, and the screen sharing server function unit A child control means having a child screen sharing client function unit that receives the sharing screen information and transmits operation information for the sharing screen information to the screen sharing server function unit;
Displays the shared screen information from the child screen sharing client function unit and displays the visual conference information from the child visual conference function unit, has a touch device function, and operation information is transferred to the child screen sharing client function unit by the touch device function. Since there is a sub-screen means for outputting the drawing information to the sub-handwriting input function unit, the visual conference and the shared screen information can be displayed or implemented by separate operations, improving the convenience of operation. It can be done.

実施の形態１．
以下、本願発明の実施の形態について説明する。図１はこの発明の実施の形態１におけるビジュアル会議システムの構成を示す図、図２は図１におけるビジュアル会議システムの構成の詳細を説明する図、図３は図１におけるビジュアル会議システムの画面共有サーバ機能部の処理の一例を示すフローチャート、図４は図１におけるビジュアル会議システムの手書き表示機能部の処理の一例を示すフローチャート、図５は図１におけるビジュアル会議の手書き入力機能部の処理の一例を示すフローチャート、図６は図１におけるビジュアル会議システムの画面手段における画像表示例を示した図、図７は図１におけるビジュアル会議システムの大画面表示手段および画像表示手段における画像表示例を示した図である。 Embodiment 1 FIG.
Embodiments of the present invention will be described below. 1 is a diagram showing the configuration of a visual conference system according to Embodiment 1 of the present invention, FIG. 2 is a diagram for explaining details of the configuration of the visual conference system in FIG. 1, and FIG. 3 is a screen sharing of the visual conference system in FIG. FIG. 4 is a flowchart showing an example of processing of the handwriting display function unit of the visual conference system in FIG. 1, and FIG. 5 is an example of processing of the handwriting input function unit of the visual conference in FIG. FIG. 6 shows an example of image display on the screen means of the visual conference system in FIG. 1, and FIG. 7 shows an example of image display on the large screen display means and the image display means of the visual conference system in FIG. FIG.

図において、大規模で親処理部としての事務所１と、小規模で子処理部としての第１および第２の出張所２、３とは有線のネットワーク２０を介してそれぞれ接続されている。事務所１には、管内の各観測局から送信される多量のデータを受信して解析するデータ処理部１９と、その多量のデータを表示するための共有画面情報（大画面）を出力する大画面表示制御手段１２と、その大画面表示制御手段１２が出力する共有画面情報を表示するための大画面表示手段１１とを備えている。 In the figure, a large-scale office 1 serving as a parent processing unit and small-scale first and second branch offices 2 and 3 serving as child processing units are connected to each other via a wired network 20. The office 1 has a data processing unit 19 that receives and analyzes a large amount of data transmitted from each observation station in the pipe, and a large screen that outputs shared screen information (large screen) for displaying the large amount of data. A screen display control unit 12 and a large screen display unit 11 for displaying shared screen information output by the large screen display control unit 12 are provided.

さらに、事務所１および第１および第２の出張所２、３の状態を互いに確認しながらビジュアル会議を行うためのカメラ１３１、マイク１４１、スピーカ１５１が親制御手段１７１に接続されている。この親制御手段１７１は共有画面情報の制御機能も兼ねている。出力する共有画面情報は親制御手段１７１に接続されているタッチデバイス機能つきの親画面手段１６１に出力されている。ここで、タッチデバイスつきの親画面手段１６１とは、この表示画面を操作用のペンで操作すると、マウス操作と同等の操作が行えるハードウエアのことを指し、ここでは親制御手段１７１に親画面手段１６１が接続されているため、画面でのペン操作により、親制御手段１７１の操作を行うことができる。第１および第２の出張所２、３にも同様に、ビジュアル会議を行うためのカメラ１３２、１３３、マイク１４２、１４３、スピーカ１５２、１５３が子制御手段１７２、１７３に接続されている。これら子制御手段１７２、１７３は共有画面情報の制御機能も兼ねており、出力する画像はタッチデバイスつきの子画面手段１６２、１６３に接続されている。ここで、タッチデバイスつきの子画面手段１６２、１６３とは、親画面手段１６１のタッチデバイスと同様の機能を有している。尚、実施の形態１においては、出張所が２か所設置されている例を示している、３か所以上の多数の出張所が存在してもよいことは言うまでもない。 Further, a camera 131, a microphone 141, and a speaker 151 for performing a visual conference while confirming the states of the office 1 and the first and second branch offices 2 and 3 are connected to the parent control means 171. The parent control means 171 also functions as a shared screen information control function. The shared screen information to be output is output to the parent screen unit 161 with a touch device function connected to the parent control unit 171. Here, the parent screen means 161 with a touch device refers to hardware that can perform the same operation as a mouse operation when the display screen is operated with an operation pen. Here, the parent screen means 161 is connected to the parent control means 171. Since 161 is connected, the parent control means 171 can be operated by a pen operation on the screen. Similarly, cameras 132 and 133, microphones 142 and 143, and speakers 152 and 153 for conducting a visual conference are connected to the first and second branch offices 2 and 3, respectively, to the child control means 172 and 173. These child control means 172 and 173 also have a control function of shared screen information, and an image to be output is connected to the child screen means 162 and 163 with a touch device. Here, the child screen means 162 and 163 with a touch device have the same functions as the touch device of the parent screen means 161. In the first embodiment, needless to say, there may be a large number of three or more branch offices showing an example in which two branch offices are installed.

図２において、大画面表示制御手段１２には、管内観測局から収集したデータを表示するデータ表示機能部３３、地図を表示するための地図表示機能部３４、そしてこれら作成機能部としてのデータ表示機能部３３および地図表示機能部３４から作成される共有画面情報を親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２に配信すると共に、これら親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２からの共有画面情報に対する操作を制御権を切り替えることにより受け付ける通信機能を有する画面共有サーバ機能部３１と、親手書き入力機能部４２１、子手書き入力機能部４２２から入力された共有画面情報上の線の色・太さの描画情報をまとめて共有画面情報上に描画する手書き表示機能部３２とを備えている。 In FIG. 2, the large screen display control means 12 includes a data display function unit 33 for displaying data collected from the in-tube observation station, a map display function unit 34 for displaying a map, and data display as these creation function units. The shared screen information created from the function unit 33 and the map display function unit 34 is distributed to the parent screen sharing client function unit 411 and the child screen sharing client function unit 412, and the parent screen sharing client function unit 411 and child screen sharing client. Screen sharing server function unit 31 having a communication function that accepts an operation for shared screen information from function unit 412 by switching the control right, shared screen information input from parent handwriting input function unit 421 and child handwriting input function unit 422 A handwritten table that draws the drawing information of the color and thickness of the upper line on the shared screen information. And a function portion 32.

また、親制御手段１７１、子制御手段１７２には、第１および第２の出張所２、３とビジュアル会議を行うための事務所１のビジュアル会議用情報を作成して送信するとともに第１および第２の出張所２、３のビジュアル会議用情報を受信して送信する親ビジュアル会議機能部４３１、および、事務所１とビジュアル会議を行うための第１または第２の出張所２、３のビジュアル会議用情報を作成して親ビジュアル会議機能部４３１に送信するとともに事務所１または第１または第２の出張所２、３のいずれか少なくとも１つのビジュアル会議用情報を親ビジュアル会議機能部４３１より受信する子ビジュアル会議機能部４３２、および、画面共有サーバ機能部３１からの共有画面情報を受信および共有画面情報に対する操作情報を画面共有サーバ機能部３１へ送信する親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２、および、手書き表示機能部３１に共有画面情報に対する描画情報を送信する親手書き入力機能部４２１、子手書き入力機能部４２２とを備えている。 The parent control unit 171 and the child control unit 172 create and transmit visual conference information of the office 1 for performing a visual conference with the first and second branch offices 2 and 3, and transmit the first and first The visual conference function unit 431 for receiving and transmitting the visual conference information of the two branch offices 2 and 3 and the visual conference of the first or second branch offices 2 and 3 for performing a visual conference with the office 1 A child that creates information and transmits it to the parent visual conference function unit 431 and receives at least one visual conference information of the office 1 or the first or second branch office 2 or 3 from the parent visual conference function unit 431. Shared screen information from the visual conference function unit 432 and the screen sharing server function unit 31 is received and operation information for the shared screen information is screen shared. A parent screen sharing client function unit 411, a child screen sharing client function unit 412, and a parent handwriting input function unit 421 that transmit drawing information for the shared screen information to the handwriting display function unit 31 and child handwriting. And an input function unit 422.

次に上記のように構成された実施の形態１のビジュアル会議システムの動作について説明する。まず、管内観測局１８で観測された気温や雨量、交通量や水位といった多量の各種観測データは、何らかの通信手段によって、定期的に、あるいは状態変化が発生したタイミングでデータ処理部１９に送信される（図１の矢印Ｓ１）。次にそのデータは、データ処理部１９で解析・処理され大画面表示制御手段１２に送信される（図１の矢印Ｓ２）。次に、大画面表示制御手段１２のデータ表示機能部３３にて一覧表示や、地図表示機能部３４にて地図データなどと合成して共有画面情報を生成し、大画面表示手段１１に共有画面情報を出力して表示させる（図１の矢印Ｓ３）。そして、事務所１における監視員は、この大画面表示手段１１に表示される各種データを監視している。 Next, the operation of the visual conference system according to Embodiment 1 configured as described above will be described. First, a large amount of various observation data such as temperature, rainfall, traffic volume and water level observed at the in-pipe observation station 18 is transmitted to the data processing unit 19 periodically or at the timing when a state change occurs by some communication means. (Arrow S1 in FIG. 1). Next, the data is analyzed and processed by the data processing unit 19 and transmitted to the large screen display control means 12 (arrow S2 in FIG. 1). Next, a list display is performed by the data display function unit 33 of the large screen display control unit 12, and a shared screen information is generated by combining with map data or the like by the map display function unit 34. Information is output and displayed (arrow S3 in FIG. 1). The monitor in the office 1 monitors various data displayed on the large screen display means 11.

そして、この発明においては大画面表示制御手段１２には共有画面情報を他の出張所などと共有するために、画面共有サーバ機能部３１が親ビジュアル会議機能部４３１とは独立して搭載されている。よって、大画面表示制御手段１２の画面共有サーバ機能部３１は、データ表示機能部３３および地図表示機能部３４にて生成された共有画面情報を配信可能なように圧縮して、この共有画面情報を親画面共有クライアント機能部４１１およびネットワーク２０を介して子画面共有クライアント機能部４１２に配信する。そして、親画面手段１６１、子画面手段１６２、１６３にて送信されてきた共有画面情報を表示する。よって、大画面表示手段１１に出力されている共有画面情報と同じ内容を、第１および第２の出張所２、３でも確認することができる（図１の矢印Ｓ４、Ｓ５、Ｓ１２）。そして、その共有画面情報に対する親画面手段１６１、子画面手段１６２、１６３からのマウスやキーボードや親画面手段１６１、子画面手段１６２、１６３などの操作を、親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２から画面共有サーバ機能部３１に送信する（図１の矢印Ｓ６、Ｓ７、Ｓ１３）。このときの操作が、複数の親制御手段１７１、子制御手段１７２、１７３の親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２から実施される場合は、画面共有サーバ機能部３１において制御権の切り替えを行い操作を受け付け、複数の端末からの操作が随時行えるように処理する。 In the present invention, the large screen display control means 12 is equipped with a screen sharing server function unit 31 independent of the parent visual conference function unit 431 in order to share the shared screen information with other branch offices. . Therefore, the screen sharing server function unit 31 of the large screen display control means 12 compresses the shared screen information generated by the data display function unit 33 and the map display function unit 34 so that they can be distributed, and this shared screen information. Are distributed to the child screen sharing client function unit 412 via the parent screen sharing client function unit 411 and the network 20. Then, the shared screen information transmitted by the main screen means 161 and the sub screen means 162 and 163 is displayed. Therefore, the same contents as the shared screen information output to the large screen display means 11 can be confirmed at the first and second branch offices 2 and 3 (arrows S4, S5, and S12 in FIG. 1). Then, an operation of the mouse, keyboard, parent screen means 161, child screen means 162, 163, etc. from the parent screen means 161, child screen means 162, 163 with respect to the shared screen information is changed to the parent screen sharing client function unit 411, child screen. The shared client function unit 412 transmits to the screen sharing server function unit 31 (arrows S6, S7, S13 in FIG. 1). When the operation at this time is performed from the parent screen sharing client function unit 411 and the child screen sharing client function unit 412 of the plurality of parent control units 171 and child control units 172 and 173, the screen sharing server function unit 31 performs control. Processing is performed so that operations from a plurality of terminals can be performed at any time by switching the right and accepting the operation.

ここで、画面共有サーバ機能部３１の共有画面情報の送信に対する処理の一例を図３のフローチャートに基づいて説明する。まず、データ表示機能部３３および地図表示機能部３４から入力される一般的なアプリケーションの操作や表示データの変化などにより、画面共有サーバ機能部３１が出力している共有画面情報の一部分に更新が発生しているか否かを確認する（図３のステップＳ１０１）。次に、更新が発生していなければステップＳ１０５に移る。また、更新が発生していれば、画面上の更新された部分の領域の情報を取得し、その領域の画像を抽出する（以下、このデータを画像差分データと称する）（図３のステップＳ１０２）。次に、抽出した画像差分データを、親画面共有クライアント４１１、子画面共有クライアント機能部４１２に送信するためにデータ圧縮を行う（図３のステップＳ１０３）。次に、データ圧縮された画像差分データを親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２に送信しステップＳ１０１に戻る（図３のステップＳ１０４）。 Here, an example of processing for transmission of shared screen information by the screen sharing server function unit 31 will be described based on the flowchart of FIG. First, a part of the shared screen information output by the screen sharing server function unit 31 is updated due to a general application operation input from the data display function unit 33 and the map display function unit 34 or a change in display data. It is confirmed whether or not it has occurred (step S101 in FIG. 3). Next, if no update has occurred, the process proceeds to step S105. Also, if an update has occurred, information on the area of the updated portion on the screen is acquired, and an image of that area is extracted (hereinafter, this data is referred to as image difference data) (step S102 in FIG. 3). ). Next, data compression is performed to transmit the extracted image difference data to the parent screen sharing client 411 and the child screen sharing client function unit 412 (step S103 in FIG. 3). Next, the compressed image difference data is transmitted to the parent screen sharing client function unit 411 and the child screen sharing client function unit 412, and the process returns to step S101 (step S104 in FIG. 3).

また、親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２において、共有画面情報に対する操作をマウスやキーボードや親画面手段１６１、子画面手段１６２、１６３の操作により行った場合、その操作情報は画面共有サーバ機能部１７１へ送信され受信しているか否かを確認する（図３のステップＳ１０５）。そして、受信されていない場合にはステップＳ１０１へ戻る。また、受信されていれば親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２での操作情報の内容に基づいて、マウスやキーボードや親画面手段１６１、子画面手段１６２、１６３の操作をソフトウエア的に操作内容として再現する（図３のステップＳ１０６）。その後、再びステップＳ１０１へ戻る。このようにして各親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２の共有画面情報に対する操作情報を再現することにより、画面共有サーバ機能部３１上にて行う操作と同様に行われたように操作を行うことができる。 Also, in the parent screen sharing client function unit 411 and the child screen sharing client function unit 412, when the operation on the shared screen information is performed by the operation of the mouse, the keyboard, the parent screen unit 161, and the child screen units 162 and 163, the operation information Confirms whether it has been transmitted to the screen sharing server function unit 171 (step S105 in FIG. 3). If it has not been received, the process returns to step S101. If received, the operation of the mouse, the keyboard, the parent screen means 161, and the child screen means 162, 163 is performed based on the contents of the operation information in the parent screen sharing client function section 411 and the child screen sharing client function section 412. The operation contents are reproduced as software (step S106 in FIG. 3). Then, it returns to step S101 again. Thus, by reproducing the operation information for the shared screen information of each of the parent screen sharing client function unit 411 and the child screen sharing client function unit 412, the same operation as that performed on the screen sharing server function unit 31 was performed. The operation can be performed as follows.

さらに、大画面表示制御手段１２には、手書き表示機能部３２も含まれており、これは親制御手段１７１、子制御手段１７２、１７３に搭載されている親手書き入力機能部４２１、子手書き入力機能部４２２を利用して共有画面情報に対して線などの描画を表示させることができるものである。この機能は、手書き表示機能部３２にて各親手書き入力機能部４２１、子手書き入力機能部４２２から入力される複数の描画データの要求を１つにまとめることにより、複数端末からの同時に入力される描画要求を処理することができる。 Further, the large screen display control means 12 includes a handwriting display function section 32, which is a parent handwriting input function section 421 and a child handwriting input mounted on the parent control means 171, the child control means 172 and 173. A drawing such as a line can be displayed on the shared screen information using the function unit 422. This function is simultaneously input from a plurality of terminals by combining a plurality of drawing data requests input from each parent handwriting input function unit 421 and child handwriting input function unit 422 in the handwriting display function unit 32. The drawing request can be processed.

まずここで、大画面表示手段１１および親画面手段１６１、子画面手段１６２、１６３に表示される表示画面について説明する。まず、大画面表示手段１１には共有画面情報が高解像度の画像にて出力されている（図７（ａ）)。このため、親制御手段１７１および子制御手段１７２、１７３にて画面を表示した場合、図７（ｂ）に示すように大画面表示制御手段１２が出力している画像の一部分（枠内）しか表示することができない。よって、親制御手段１７１、子制御手段１７２、１７３に搭載している親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２には図６の縮小率切り替えを行う第１のボタン５３のように等倍縮小機能を設け縮小して表示することにより、図６および図７（ｃ）に示すように共有画面情報の全体を表示する。また、細部の操作を行う場合には、第１のボタン５３により縮小表示モードから等倍表示モードに切り替え行うことができる。 First, the display screen displayed on the large screen display means 11, the main screen means 161, and the sub screen means 162 and 163 will be described. First, shared screen information is output to the large screen display means 11 as a high resolution image (FIG. 7A). For this reason, when a screen is displayed by the parent control means 171 and the child control means 172, 173, as shown in FIG. 7B, only a part (inside the frame) of the image output by the large screen display control means 12 is displayed. It cannot be displayed. Therefore, the parent screen sharing client function unit 411 and the child screen sharing client function unit 412 mounted on the parent control unit 171 and the child control units 172 and 173 are like the first button 53 for switching the reduction ratio in FIG. By providing an equal-magnification reduction function on the screen, the entire shared screen information is displayed as shown in FIGS. 6 and 7C. Further, when performing detailed operations, the first button 53 can be used to switch from the reduced display mode to the same size display mode.

また、親画面手段１６１、子画面手段１６２、１６３には、図６に示すように、操作情報を送信する際の操作モードまたは描画情報を送信する際の描画モードに切り替えるための第２のボタン５２と、描画モードの際に線の太さ、色などを設定するための画面を表示させるための第３のボタン５１と、ビジュアル会議を行う際の相手方の映像を表示するための第４、第５のボタン６１、６２と、ビジュアル会議を行う際の自分方の映像を表示するための第６のボタン６３とを備えている。 Further, as shown in FIG. 6, a second button for switching to an operation mode when transmitting operation information or a drawing mode when transmitting drawing information is displayed on the parent screen means 161 and the child screen means 162 and 163, respectively. 52, a third button 51 for displaying a screen for setting the thickness, color, etc. of the line in the drawing mode, and a fourth for displaying the video of the other party during the visual conference. Fifth buttons 61 and 62 and a sixth button 63 for displaying a video of the person at the time of the visual conference are provided.

次に、手書き表示機能部３２の処理の一例を図４のフローチャートに基づいて説明する。まず、親手書き入力機能４２１、子手書き入力機能部４２２から、描画情報を受信しているか否かを確認する（図４のステップＳ１２１）。次に、受信していなければ再びステップＳ１２１に戻る。また、受信していれば受信した第３のボタン５１により設定された描画情報で指定された位置、線の色、太さに従って、手書き表示機能部３２は画面共有サーバ機能部３１の共有画面情報上に線などを描画する（図４のステップＳ１２２）。そして、再びステップＳ１２１へ戻る。 Next, an example of processing of the handwriting display function unit 32 will be described based on the flowchart of FIG. First, it is confirmed whether drawing information is received from the parent handwriting input function 421 and the child handwriting input function unit 422 (step S121 in FIG. 4). Next, if not received, it returns to step S121 again. If received, the handwritten display function unit 32 displays the shared screen information of the screen sharing server function unit 31 according to the position, line color, and thickness specified by the received drawing information set by the third button 51. A line or the like is drawn on the top (step S122 in FIG. 4). And it returns to step S121 again.

次に、親手書き入力機能部４２１、子手書き入力機能部４２２の処理の一例を図５のフローチャートに基づいて説明する。まず、第２のボタン５２によって設定されている操作内容が「描画モード」であるか、「操作モード」であるかを確認する（図５のステップＳ１１１）。次に、「操作モード」であれば手書き入力機能としては処理を行う必要がないので再びステップＳ１１１に戻る。また、「描画モード」であれば、操作された内容が画面共有配信サーバ３１側へ送信する必要があるためのマウスや入力ペンでドラッグがされたか情報か否かを確認する（図５のステップＳ１１２）。次に、ドラッグされていない場合にはステップＳ１１１へ戻る。また、ドラッグされている情報の場合には、線などを描画する必要があるため、ドラッグされた位置と、現在設定されている線の色・太さなどの設定情報を併せて手書き表示機能部３２に送信し、手書き表示機能部３２にてこれら描画情報をまとめて画面共有サーバ機能部３１へ描画情報を送信する（図５のステップＳ１１３）。そして、再びステップＳ１１１ヘ戻る。 Next, an example of processing of the parent handwriting input function unit 421 and the child handwriting input function unit 422 will be described based on the flowchart of FIG. First, it is confirmed whether the operation content set by the second button 52 is “drawing mode” or “operation mode” (step S111 in FIG. 5). Next, if it is "operation mode", since it is not necessary to process as a handwriting input function, it returns to step S111 again. Further, in the case of “drawing mode”, it is confirmed whether or not the operated content is information indicating whether dragging has been performed with a mouse or an input pen for transmission to the screen sharing distribution server 31 (step of FIG. 5). S112). Next, if not dragged, the process returns to step S111. In addition, in the case of dragged information, it is necessary to draw a line etc., so the handwritten display function part combines the dragged position and the setting information such as the currently set line color and thickness. The drawing information is collected by the handwriting display function unit 32 and transmitted to the screen sharing server function unit 31 (step S113 in FIG. 5). And it returns to step S111 again.

一方、親ビジュアル会議機能部４３１および子ビジュアル会議機能部４３２は、ビジュアル会議が開始されると、例えば事務所のカメラ１３１、マイク１４１から入力された映像（図１の矢印Ｓ８）・音声（図１の矢印Ｓ９）は親ビジュアル会議機能部４３１にてデジタル圧縮され、ネットワーク２０を介して第１および第２の出張所２、３の子ビジュアル機能部４３２に送信された後（図１の矢印Ｓ１０）、子画面手段１６２、１６３やスピーカ１５２、１５３から出力される（図１の矢印Ｓ１１、Ｓ１２）。同様に、第１および第２の出張所２、３からの映像・音声も、親ビジュアル会議機能部４３１から事務所１や他の出張所２、３に配信される。そして、親画面手段１６１、子画面手段１６２、１６３では第４、第５、第６のボタン６１、６２、６３にてそれぞれ設定することにより必要な画面を表示することができる。 On the other hand, when the visual conference is started, the parent visual conference function unit 431 and the child visual conference function unit 432, for example, the video (arrow S8 in FIG. 1) and sound (FIG. 1) input from the office camera 131 and microphone 141. 1 is digitally compressed by the parent visual conference function unit 431 and transmitted to the child visual function unit 432 of the first and second branch offices 2 and 3 via the network 20 (arrow S10 in FIG. 1). ), And are output from the sub-screen means 162 and 163 and the speakers 152 and 153 (arrows S11 and S12 in FIG. 1). Similarly, video and audio from the first and second branch offices 2 and 3 are also distributed from the parent visual conference function unit 431 to the office 1 and other branch offices 2 and 3. In the main screen means 161 and the sub screen means 162 and 163, necessary screens can be displayed by setting with the fourth, fifth and sixth buttons 61, 62 and 63, respectively.

上記のように構成された実施の形態１のビジュアル会議システムによれば、ビジュアル会議の機能はシステム的には同一のシステム内に備えているが、共有画面部分とは独立して動作するために、ビジュアル会議機能が動作していない場合でも共有画面情報は確認することができ、第１および第２の出張所でも大画面表示手段に集約表示されている各種データを確認することができる。よって、事務所で表示されている情報の取得にビジュアル会議が必ずしも起動する必要がなくなり、利用者の利便性が向上する。 According to the visual conference system of the first embodiment configured as described above, the function of the visual conference is provided in the same system as the system, but operates independently from the shared screen portion. Even when the visual conference function is not operating, the shared screen information can be confirmed, and the various data collectively displayed on the large screen display means can be confirmed at the first and second branch offices. Therefore, it is not always necessary to start the visual conference for acquiring the information displayed in the office, and the convenience for the user is improved.

さらに、共有画面情報の全体を表示させたい場合には、縮小モードを備えることにより、縮小モードにより状況の確認が可能になり、また、細部を表示したい場合には等倍モードに切り替えるなど、利用者のその時々の必要となる状況に応じた表示に切り替えられることからできるため、利用者の利便性が向上する。 Furthermore, if you want to display the entire shared screen information, you can use the reduced mode to check the situation in the reduced mode, and to display the details, such as switching to the same size mode. The user can be switched to the display according to the situation that is required from time to time, so that convenience for the user is improved.

実施の形態２．
上記実施の形態１では、手書き表示機能部３２、親手書き入力機能部４２１、子手書き入力機能部４２２を利用することにより、大画面表示制御手段１２が出力する共有画面情報、すなわち大画面表示制御手段１１や親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２を通じて親画面手段１６１、子画面手段１６２、１６３に出力されている共有画面情報上に入力できる例を示したが、本実施の形態３においては図８のようにこの構成に出力機能部としてのプリンタ２１、２２、２３を追加し、図９のように共有画面情報手段に印字機能４４１、４４２を追加することにより、入力された後の共有画面情報が表示されている表示画面のハードコピーを取得できるようにする。他の部分は上記実施の形態１と同様であるためその説明を適宜省略する。 Embodiment 2. FIG.
In the first embodiment, by using the handwriting display function unit 32, the parent handwriting input function unit 421, and the child handwriting input function unit 422, shared screen information output by the large screen display control unit 12, that is, large screen display control. Although an example in which input is possible on the shared screen information output to the parent screen means 161 and the child screen means 162 and 163 through the means 11, the parent screen sharing client function section 411, and the child screen sharing client function section 412 has been shown. In Embodiment 3, printers 21, 22, and 23 as output function units are added to this configuration as shown in FIG. 8, and printing functions 441 and 442 are added to the shared screen information means as shown in FIG. After that, a hard copy of the display screen on which the shared screen information is displayed can be acquired. Since other parts are the same as those of the first embodiment, description thereof will be omitted as appropriate.

上記のように構成された実施の形態２のビジュアル会議システムによれば、上記実施の形態１と同様の効果を奏するのはもちろんのこと、画面のハードコピーを印刷して記録を容易に残しておくことができるようになり、この手段を活用することで会議の議事録を容易に作成できるようになるなど、利用者の利便性が向上する。さらに、表示画面をハードコピーとしてプリンタに出力するのではなく、画像ファイルとしてハードディスクに出力しておけば、電子データのまま同様の活用を行うことができる。 According to the visual conference system of the second embodiment configured as described above, the same effect as that of the first embodiment can be obtained, but also a hard copy of the screen can be printed and recorded easily. The convenience of the user is improved, such as making it possible to easily create the minutes of the meeting by utilizing this means. Further, if the display screen is not output to the printer as a hard copy but is output to the hard disk as an image file, the same utilization can be performed with the electronic data.

実施の形態３．
上記各実施の形態によれば、事務所１にある大画面表示制御手段１２をサーバとし、事務所１や第１および第２の出張所２、３にある親制御手段１７１、子制御手段１７２、１７３側で表示を行っている。しかしながら、何らかの要因により事務所１だけが通信できなくなった場合やサーバに問題が発生した場合、全ての出張所において本システムが使用できなくなってしまう。そこで本実施の形態４においては、図１０に示すように大画面表示制御手段１２の持つ画面共有サーバ機能部３１、手書き表示機能部３２とビジュアル会議親制御手段１７１の持つ親ビジュアル会議機能部４３１を代表出張所など別の場所にある子制御手段１７２にバックアップとして、子ビジュアル会議機能部を第２の出張所３のビジュアル会議用情報を受信して送信する機能を有するサーバ機能つき子ビジュアル会議機能部４４０とし、共有画面情報を通信形式に変換して送信するとともに共有画面情報に対する操作情報を入力して操作情報の内容を実施する予備画面共有サーバ機能部３１２と、共有画面情報に対して描画情報に基づく表示を追加して予備画面共有サーバ機能部３１２に出力する予備手書き表示機能部３２２を搭載し、事務所１と通信できなくなった段階で接続先を代表出張所、ここでは第１の出張所２に切り替える。 Embodiment 3 FIG.
According to each of the above embodiments, the large screen display control means 12 in the office 1 is used as a server, the parent control means 171 and the child control means 172 in the office 1 and the first and second branch offices 2 and 3. Display is performed on the 173 side. However, if only the office 1 becomes unable to communicate for some reason or if a problem occurs in the server, the system cannot be used at all branch offices. Therefore, in the fourth embodiment, as shown in FIG. 10, the screen sharing server function unit 31 possessed by the large screen display control unit 12, the handwritten display function unit 32, and the parent visual conference function unit 431 possessed by the visual conference parent control unit 171. As a backup to the child control means 172 in another place such as a representative branch office, the child visual conference function section with a server function having the function of receiving and transmitting the visual meeting information of the second branch office 3 to the child visual meeting function section 440, a spare screen sharing server function unit 312 for converting the shared screen information into a communication format and transmitting the information and inputting the operation information for the shared screen information to execute the contents of the operation information, and the drawing information for the shared screen information A preliminary handwriting display function unit 322 that adds a display based on the output and outputs the display to the preliminary screen sharing server function unit 312; Representative sub-branches of the connection destination at the stage that is no longer able to communicate with offices 1, wherein the switch to the first branch office 2.

これにより、事務所１の大画面表示制御手段１２が正常に動作していない場合でも、最新のデータを参照することはできないものの、手書き入力・表示を利用したビジュアル会議は実施することが可能となる。他の部分は上記各実施の形態と同様であり同様の効果を奏するためその説明を適宜省略する。また、上記切り替えをサーバのセルフチェックなどの結果により、自動的に切り替えできるようにすれば、利用者の手間が省け、利便性はさらに向上する。 As a result, even when the large screen display control means 12 of the office 1 is not operating normally, the latest data cannot be referred to, but a visual conference using handwritten input / display can be performed. Become. The other parts are the same as those in the above embodiments, and the description thereof will be omitted as appropriate in order to achieve the same effects. In addition, if the above switching can be automatically switched based on the result of the server self-check or the like, the labor of the user is saved and the convenience is further improved.

実施の形態４．
上記各実施の形態では、事務所および第１および第２の出張所間の通信は、有線のネットワーク２０を用いて行う例を示した。しかしながら、通常有線ネットワークは、地震や台風などの災害時には物理的に切断されるなどの障害が発生する可能性が大きい。そこで本実施の形態４においては、図１１に示すように、事務所１と第１および第２の出張所２、３の間にあるネットワーク２０を無線アクセスポイント２０１、２０２、２０３の無線ネットワークに置き換えることにより、災害時におけるネットワーク２０の切断などの障害に対応できるようにする。他の部分は上記各実施の形態と同様であり同様の効果を奏するためその説明を適宜省略する。 Embodiment 4 FIG.
In each of the above-described embodiments, communication between the office and the first and second branch offices is performed using the wired network 20. However, a normal wired network has a high possibility of failure such as physical disconnection during a disaster such as an earthquake or a typhoon. Therefore, in the fourth embodiment, as shown in FIG. 11, the network 20 between the office 1 and the first and second branch offices 2 and 3 is replaced with a wireless network of wireless access points 201, 202, and 203. Thus, it is possible to cope with a failure such as disconnection of the network 20 at the time of a disaster. The other parts are the same as those in the above embodiments, and the description thereof will be omitted as appropriate in order to achieve the same effects.

さらに、図１２のように有線のネットワーク２０と無線アクセスポイント２０１、２０２、２０３を両方備え、自動的に有線のネットワークおよび無線のネットワークの切り替えを行えるような冗長性のある構成としてもよい。このように構成すれば、仮に一方の有線のネットワークまたは無線のネットワークが使用不能となっても他方で通信を継続することができるため、より耐障害性が高まることは言うまでもない。 Furthermore, as shown in FIG. 12, the wired network 20 and the wireless access points 201, 202, and 203 may be provided so that the wired network and the wireless network can be switched automatically. If configured in this manner, even if one wired network or wireless network becomes unusable, communication can be continued on the other side, so that it is needless to say that fault tolerance is further improved.

尚、上記各実施の形態は、災害時の利用を想定して示したが、当然ながら平常時における会議やプレゼンテーションなどにも活用可能なシステムであることは言うまでもない。 In addition, although each said embodiment was shown supposing the utilization at the time of a disaster, it cannot be overemphasized that it is a system which can be utilized also for the meeting, presentation, etc. in normal times.

実施の形態５．
上記実施の形態においては特に示していないが、例えば図１３に示すように、事務所１と、ネットワーク２０を介して第１および第２の出張所２、３および第３の出張所４が接続されている場合、事務所１からの情報は例えばＩＰ通信におけるマルチキャスト送信にて行う。尚、図において上記実施の形態と同様部分は同一符号を付している。また、事務所および各出張所の内部の構成は上記各実施の形態と同様であるため省略して示している。このように構成すれば、上記各実施の形態と同様の効果を奏するのはもちろんのこと、事務所と各出張所とを１対１にて情報を通信している場合と比較して、多数の出張所に対して１つの情報を１つの通信に集約することができるため、情報を効率的に送信することができる。また、後述する低帯域ネットワークなど送信できるデータの容量が限られている場合には特に適している。 Embodiment 5 FIG.
Although not particularly shown in the above embodiment, for example, as shown in FIG. 13, the first and second branch offices 2, 3 and the third branch office 4 are connected via the office 1 and the network 20. If there is, information from the office 1 is transmitted by multicast transmission in IP communication, for example. In the figure, the same parts as those in the above embodiment are given the same reference numerals. Further, the internal configuration of the office and each branch office is omitted because it is the same as that of each of the above embodiments. If constituted in this way, the same effect as the above-mentioned each embodiment is produced, and as compared with the case where information is communicated on a one-to-one basis between the office and each branch office, many Since one piece of information can be consolidated into one communication for a branch office, the information can be transmitted efficiently. Further, it is particularly suitable when the capacity of data that can be transmitted is limited, such as a low-bandwidth network described later.

実施の形態６．
上記実施の形態においては、有線のネットワークの種別において特に示していないが、例えば図１４に示すように、ネットワーク２０が例えば、光ケーブル等にて構成されている高帯域ネットワーク２１０および例えば、ダイヤルアップ回線にて形成されている低帯域ネットワーク２０１の両方を備えるようにし、各出張所２、３、４が高帯域ネットワーク２１０または低帯域ネットワーク２００に接続させる構成が考えられる。この場合において、上記各実施の形態と同様に行うことが可能であり、上記各実施の形態と同様の効果を奏することができることは言うまでもない。 Embodiment 6 FIG.
In the above embodiment, although not specifically shown in the type of the wired network, as shown in FIG. 14, for example, the network 20 is composed of, for example, an optical cable or the like, and a dial-up line, for example. It is possible to have both of the low-band network 201 formed in the above, and connect the branch offices 2, 3, and 4 to the high-band network 210 or the low-band network 200. In this case, it is possible to carry out in the same manner as in the above embodiments, and it goes without saying that the same effects as in the above embodiments can be obtained.

また、図１５に示すように、ネットワーク２０が高帯域ネットワーク２１０および低帯域ネットワーク２０１の両方を備えており、各出張所２、３、４が高帯域ネットワーク２１０および低帯域ネットワーク２００のいずれにも接続されている構成が考えられる。この場合において、上記各実施の形態と同様に行うことが可能であり、上記各実施の形態と同様の効果を奏することができることは言うまでもない。さらに、自動的に高帯域ネットワークおよび低帯域ネットワークの切り替えを行えるような冗長性のある構成としてもよい。このように構成すれば、仮に一方の高帯域ネットワークまたは低帯域ネットワークが使用不能となっても他方で通信を継続することができるため、より耐障害性が高まることは言うまでもない。尚、各図においては上記実施の形態と同様部分は同一符号を付している。また、事務所および各出張所の内部の構成は上記各実施の形態と同様であるため省略して示している。 Further, as shown in FIG. 15, the network 20 includes both the high-bandwidth network 210 and the low-bandwidth network 201, and the branch offices 2, 3, and 4 are connected to both the high-bandwidth network 210 and the low-bandwidth network 200. The structure which is made can be considered. In this case, it is possible to carry out in the same manner as in the above embodiments, and it goes without saying that the same effects as in the above embodiments can be obtained. Furthermore, it is good also as a structure with redundancy which can switch a high bandwidth network and a low bandwidth network automatically. If configured in this manner, even if one of the high-bandwidth network or the low-bandwidth network becomes unusable, communication can be continued on the other side, so that it is needless to say that the fault tolerance is further improved. In addition, in each figure, the same code | symbol is attached | subjected to the same part as the said embodiment. Further, the internal configuration of the office and each branch office is omitted because it is the same as that of each of the above embodiments.

実施の形態７．
上記実施の形態６においては特に示していないが、低帯域ネットワークにて接続する場合、そのネットワークの性質上、送信できるデータの容量が限られている。この関係から上記各実施の形態にて示した情報の送信方法では不具合が生じる場合がある。そこで本実施の形態においては、特に低帯域ネットワークを介して情報を送信することに適している構成について説明する。 Embodiment 7 FIG.
Although not particularly shown in the sixth embodiment, the capacity of data that can be transmitted is limited due to the nature of the network when connected in a low bandwidth network. Due to this relationship, the information transmission method described in each of the above embodiments may have a problem. Therefore, in the present embodiment, a configuration that is particularly suitable for transmitting information via a low-bandwidth network will be described.

ここでは図１および図２に基づいて説明する。そして、画面共有サーバ機能部３１の共有画面情報の送信に対する処理において、低帯域ネットワークに適している場合について、図１６のフローチャートに基づいて説明する。まず、データ表示機能部３３および地図表示機能部３４から入力される一般的なアプリケーションの操作や表示データの変化などにより、画面共有サーバ機能部３１が出力している共有画面情報の一部分に更新が発生しているか否かを確認する（図１６のステップＳ１０１）。次に、更新が発生していなければステップＳ１０５に移る。また、更新が発生していれば、画面上の更新された部分の領域の情報を取得し、その領域の画像を抽出する（以下、このデータを画像差分データと称する）（図１６のステップＳ１０２）。次に、抽出した画像差分データを、集約して保存する（図１６のステップＳ２０１）。ここで言う集約とは、今回の抽出より前に保存されている画像差分データが存在する場合、その以前に保存されている画像差分データと今回取得した画像差分データとを比較し、必要な部分のみ残して画像差分データとすることである。よって、画像差分データを必要最低限のデータ量に削減することができる。 Here, description will be made based on FIGS. 1 and 2. A case where the screen sharing server function unit 31 is suitable for the low-bandwidth network in the process for transmitting the shared screen information will be described with reference to the flowchart of FIG. First, a part of the shared screen information output by the screen sharing server function unit 31 is updated due to a general application operation input from the data display function unit 33 and the map display function unit 34 or a change in display data. It is confirmed whether or not it has occurred (step S101 in FIG. 16). Next, if no update has occurred, the process proceeds to step S105. If an update has occurred, information on the updated portion of the area on the screen is acquired, and an image of the area is extracted (hereinafter, this data is referred to as image difference data) (step S102 in FIG. 16). ). Next, the extracted image difference data is collected and stored (step S201 in FIG. 16). The term “aggregation” as used here means that if there is image difference data saved before the current extraction, the image difference data saved before that is compared with the image difference data acquired this time, and the necessary part Only the image difference data is left. Therefore, the image difference data can be reduced to the minimum necessary data amount.

また、親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２において、共有画面情報に対する操作をマウスやキーボードや親画面手段１６１、子画面手段１６２、１６３の操作により行った場合、その操作情報は画面共有サーバ機能部１７１へ送信され受信しているか否かを確認する（図１６のステップＳ１０５）。そして、受信されていない場合にはステップＳ２０２に移る。また、受信されていれば親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２での操作情報の内容に基づいて、マウスやキーボードや親画面手段１６１、子画面手段１６２、１６３の操作をソフトウエア的に操作内容として再現する（図１６のステップＳ１０６）。 Also, in the parent screen sharing client function unit 411 and the child screen sharing client function unit 412, when the operation on the shared screen information is performed by the operation of the mouse, the keyboard, the parent screen unit 161, and the child screen units 162 and 163, the operation information Confirms whether it has been transmitted to the screen sharing server function unit 171 (step S105 in FIG. 16). If not received, the process proceeds to step S202. If received, the operation of the mouse, the keyboard, the parent screen means 161, and the child screen means 162, 163 is performed based on the contents of the operation information in the parent screen sharing client function section 411 and the child screen sharing client function section 412. Reproduced as operation contents in software (step S106 in FIG. 16).

次に、事務所１側から画面更新指示または各出張所２、３側から画面更新要求があるか否かを判断する（図１６のステップＳ２０２）。ここで言う、画面更新指示とは、事務所１側が、各出張所２、３に対して共有画面情報を更新するべきであると判断して指示する、または、事務所１側にてあらかじめ設定されている期間での指示を指す。また、画面更新要求とは各出張所２、３が事務所１に対して共有画面情報を更新するべきであると判断して要求する、または、各出張所２、３側にてあらかじめ設定されている期間での要求を指す。そして、ないと判断された場合にはステップＳ１０１に戻る。また、あると判断された場合には、抽出して集約して保存されている画像差分データを、親画面共有クライアント４１１、子画面共有クライアント機能部４１２に送信するためにデータ圧縮を行う（図１６のステップＳ１０３）。次に、データ圧縮された画像差分データを親画面共有クライアント機能部４１１、子画面共有クライアント機能部４１２に送信する（図１６のステップＳ１０４）。その後、再びステップＳ１０１に戻る。 Next, it is determined whether there is a screen update instruction from the office 1 side or a screen update request from each branch office 2, 3 side (step S202 in FIG. 16). The screen update instruction here refers to the office 1 side instructing each branch office 2 and 3 that the shared screen information should be updated, or is set in advance on the office 1 side. Refers to instructions in the period. Further, the screen update request is requested by each branch office 2, 3 judging that the shared screen information should be updated to the office 1, or set in advance at each branch office 2, 3 side. Refers to a request in a period. And when it is judged that there is no, it returns to step S101. If it is determined that the image difference data has been extracted and aggregated and stored, data compression is performed to transmit the image difference data to the parent screen sharing client 411 and the child screen sharing client function unit 412 (see FIG. 16 step S103). Next, the compressed image difference data is transmitted to the parent screen sharing client function unit 411 and the child screen sharing client function unit 412 (step S104 in FIG. 16). Then, it returns to step S101 again.

上記のように構成された実施の形態７によれば、上記各実施の形態と同様に各親画面共有クライアント機能部、子画面共有クライアント機能部の共有画面情報に対する操作情報を再現することにより、画面共有サーバ機能部上にて行う操作と同様に行われたように操作を行うことができるのはもちろんのこと、画像差分データを保存して既に保存している画像差分データと集約することによりデータ量を削減している。これにより、上記各実施の形態のようにリアルタイムでの配信を行い、更新の都度画像差分データを送信しデータ量が増大していたの場合とは異なり、事務所から各出張所への配信回数を集約し、既に書き換わってしまった不要な画像差分データを転送しないため、リアルタイムでの配信により得られるスムーズな操作性は失われるものの、ビジュアル会議システムで必要となる情報共有という本来の意味を失わせることなく、配信するデータ量を削減させることが可能となる。特に、画面の更新は、一部分が連続的に変化することが多いため、差分情報を集約することでデータを削減することが可能となる。 According to the seventh embodiment configured as described above, by reproducing the operation information for the shared screen information of each of the parent screen sharing client function unit and the child screen sharing client function unit as in the above embodiments, Of course, it is possible to perform the same operation as the operation performed on the screen sharing server function part, and by saving the image difference data and integrating it with the already stored image difference data The amount of data is reduced. As a result, unlike the above-described embodiments, the distribution is performed in real time, and the image difference data is transmitted every update, and the amount of data increases. Since it does not transfer unnecessary image difference data that has been aggregated and rewritten, the smooth operability obtained by real-time distribution is lost, but the original meaning of information sharing required for visual conferencing systems is lost. It is possible to reduce the amount of data to be distributed. In particular, since a part of screen updates often changes continuously, it is possible to reduce data by aggregating difference information.

実施の形態８．
上記実施の形態７では低帯域ネットワークに適しているものとして、画面共有サーバ機能部３１の共有画面情報の送信に対しての対処について示したが、本実施の形態８においては、低帯域ネットワークに適しているものとして他の例について説明する。本実施の形態８においては特に、テレビ会議機能部４３１、４３２におけるデータ削減する構成について図１および図２、そして、図１７のフローチャートに基づいて説明する。まず、テレビ会議機能部４３１、４３２における送信データの大きさは、画像の解像度とフレームレートによりサイズが左右される。そこで、カメラからの画像を取得する（図１７のステップＳ３０１）。次に、この取得した画像の解像度を粗く、すなわち、情報のデータ量が低減するように情報を変換して配信用の画像として変換する（図１７のステップＳ３０２）。このことで、総送信データ量を削減することができる。次に、各出張所へ画像を配信する（図１７のステップＳ３０３）。次に、一定に間隔を開けてステップＳ３０１へ移る。このように一定の間隔を開けることで、送信データの間引きを行いデータ量を削減することができる。 Embodiment 8 FIG.
In the above-described seventh embodiment, it has been described that the screen sharing server function unit 31 copes with the transmission of the shared screen information as being suitable for the low-bandwidth network. Other examples will be described as suitable. Particularly in the eighth embodiment, a configuration for reducing data in the video conference function units 431 and 432 will be described with reference to FIGS. 1 and 2 and the flowchart of FIG. First, the size of transmission data in the video conference function units 431 and 432 depends on the image resolution and the frame rate. Therefore, an image from the camera is acquired (step S301 in FIG. 17). Next, the information is converted into a distribution image by reducing the resolution of the acquired image, that is, by reducing the data amount of the information (step S302 in FIG. 17). This can reduce the total transmission data amount. Next, an image is distributed to each branch office (step S303 in FIG. 17). Next, the process proceeds to step S301 at regular intervals. In this way, by setting a certain interval, it is possible to thin out transmission data and reduce the data amount.

上記のように構成された実施の形態８によれば、テレビ会議における動画部分が準動画となり、映像に関しての臨場感が多少失われるが、ビジュアル会議システムにおける意思疎通などの本来の効果は失われておらず、各出張所における通信するデータ量の削減を実現することが可能となる。また、上記実施の形態８においてはビジュアル会議用情報の情報のデータ量を削減する場合について示したが、これに限られることはなく、共有画面情報、操作情報、ビジュアル会議用情報、描画情報のいずれか少なくとも１つの情報において、上記実施の形態８と同様に、全ての情報から所望分の情報を間引いて送信されるか、または、情報のデータ量が低減するように情報を変換して送信されるかの少なくともいずれか一方にて行うようにしても上記実施の形態８と同様の効果を奏することは言うまでもない。尚、本実施の形態８と上記実施の形態７とを組み合わせて実施することが可能であることは言うまでもなく同様の効果を奏することが可能である。 According to the eighth embodiment configured as described above, the moving image part in the video conference becomes a quasi moving image, and a sense of reality about the video is somewhat lost, but original effects such as communication in the visual conference system are lost. However, the amount of data to be communicated at each branch office can be reduced. In the eighth embodiment, the case where the data amount of the information for visual conference information is reduced has been described. However, the present invention is not limited to this, and the shared screen information, operation information, visual conference information, and drawing information are not limited to this. At least one of the information is transmitted by thinning out the desired amount of information from all the information, or the information is converted and transmitted so that the data amount of the information is reduced, as in the eighth embodiment. Needless to say, the same effects as those of the eighth embodiment can be obtained even if the process is performed in at least one of them. Needless to say, the eighth embodiment and the seventh embodiment can be implemented in combination, and similar effects can be obtained.

尚、上記実施の形態７および実施の形態８においては低帯域ネットワークに適したものについて説明したが、これらの内容は高帯域ネットワークにおいても上記実施の形態７および実施の形態８に示した情報の送信方法を同様に実施することが可能であることは言うまでもない。また、高帯域ネットワークおよび低帯域ネットワークの両方のネットワークを備えている場合には、低帯域ネットワークに対してのみ上記実施の形態７および実施の形態８に示した情報を送信する方法を適用し、高帯域ネットワークに対しては上記他の実施の形態に示した情報を送信する方法を適用する例、また、高帯域ネットワークおよび低帯域ネットワークであることを区別せずに、上記実施の形態７および実施の形態８に示した情報を送信する方法を適用する例などが考えられる。 In the seventh embodiment and the eighth embodiment, the description has been given of the one suitable for the low-bandwidth network. However, the contents of the information shown in the seventh and eighth embodiments are also applied to the high-bandwidth network. Needless to say, the transmission method can be similarly implemented. Further, when both the high-bandwidth network and the low-bandwidth network are provided, the method of transmitting the information shown in the seventh embodiment and the eighth embodiment is applied only to the low-bandwidth network, An example in which the method of transmitting information shown in the other embodiments is applied to a high-bandwidth network, and without distinguishing between the high-bandwidth network and the low-bandwidth network. An example of applying the method of transmitting information shown in Embodiment 8 is conceivable.

この発明の実施の形態１におけるビジュアル会議システムの構成を示した図である。It is the figure which showed the structure of the visual conference system in Embodiment 1 of this invention. 図１におけるビジュアル会議システムの構成の詳細を説明する図である。It is a figure explaining the detail of a structure of the visual conference system in FIG. 図１におけるビジュアル会議システムの画面共有サーバ機能部の処理の一例を示したフローチャートである。It is the flowchart which showed an example of the process of the screen sharing server function part of the visual conference system in FIG. 図１におけるビジュアル会議システムの手書き表示機能部の処理の一例を示したフローチャートである。It is the flowchart which showed an example of the process of the handwriting display function part of the visual conference system in FIG. 図１におけるビジュアル会議の手書き入力機能部の処理の一例を示したフローチャートである。It is the flowchart which showed an example of the process of the handwriting input function part of the visual conference in FIG. 図１におけるビジュアル会議システムの画面手段における画面表示例を示した図である。It is the figure which showed the example of a screen display in the screen means of the visual conference system in FIG. 図１におけるビジュアル会議システムの大画面表示手段および画像表示手段における画像表示例を示した図である。It is the figure which showed the example of an image display in the big screen display means and image display means of the visual conference system in FIG. この発明の実施の形態２におけるビジュアル会議システムの構成を示した図である。It is the figure which showed the structure of the visual conference system in Embodiment 2 of this invention. この発明の実施の形態２におけるビジュアル会議システムの構成の一部を示した図である。It is the figure which showed a part of structure of the visual conference system in Embodiment 2 of this invention. この発明の実施の形態３におけるビジュアル会議システムの構成の一部を示した図である。It is the figure which showed a part of structure of the visual conference system in Embodiment 3 of this invention. この発明の実施の形態４におけるビジュアル会議システムの構成を示した図である。It is the figure which showed the structure of the visual conference system in Embodiment 4 of this invention. この発明の実施の形態４における他のビジュアル会議システムの構成を示した図である。It is the figure which showed the structure of the other visual conference system in Embodiment 4 of this invention. この発明の実施の形態５におけるビジュアル会議システムの構成を示した図である。It is the figure which showed the structure of the visual conference system in Embodiment 5 of this invention. この発明の実施の形態６におけるビジュアル会議システムの構成を示した図である。It is the figure which showed the structure of the visual conference system in Embodiment 6 of this invention. この発明の実施の形態６における他のビジュアル会議システムの構成を示した図である。It is the figure which showed the structure of the other visual conference system in Embodiment 6 of this invention. この発明の実施の形態７においてビジュアル会議システムの画面共有サーバ機能部の処理の一例を示したフローチャートである。It is the flowchart which showed an example of the process of the screen sharing server function part of the visual conference system in Embodiment 7 of this invention. この発明の実施の形態８においてビジュアル会議システムの処理の一例を示したフローチャートである。It is the flowchart which showed an example of the process of the visual conference system in Embodiment 8 of this invention.

Explanation of symbols

１事務所、２第１の出張所、３第２の出張所、４第３の出張所、
１１大画面表示手段、１２大画面表示制御手段、２０ネットワーク、
２１，２２，２３プリンタ、３１画面共有配信サーバ機能部、
３２手書き表示機能部、３３データ表示機能部、３４地図表示機能部、
１６１親画面手段、１６２，１６３子画面手段、１７１親制御手段、
１７２，１７３子制御手段、２００低帯域ネットワーク、
２０１，２０２，２０３無線アクセスポイント、２１０高帯域ネットワーク、
３１２予備画面共有配信サーバ機能部、３２２予備手書き表示機能部、
４１１親画面共有クライアント機能部、４１２子画面共有クライアント機能部、
４２１親手書き入力機能部、４２２子手書き入力機能部、
４４０サーバ機能つきビジュアル会議機能部、４４１，４４２印字機能部。 1 office, 2 first branch office, 3 second branch office, 4 third branch office,
11 large screen display means, 12 large screen display control means, 20 network,
21, 22, 23 printer, 31 screen sharing distribution server function unit,
32 handwriting display function part, 33 data display function part, 34 map display function part,
161 parent screen means, 162, 163 child screen means, 171 parent control means,
172, 173 child control means, 200 low bandwidth network,
201, 202, 203 wireless access point, 210 high bandwidth network,
312 Preliminary screen sharing distribution server function unit, 322 Preliminary handwriting display function unit,
411 Parent screen sharing client function unit, 412 Child screen sharing client function unit,
421 Parent handwriting input function part, 422 Child handwriting input function part,
440 Visual conference function unit with server function, 441,442 Print function unit.

Claims

It has a parent processing unit that inputs and processes data from outside, and a child processing unit connected to the parent processing unit via a network, and confirms the status of the parent processing unit and the child processing unit with each other A visual conference system for conducting a visual conference while
The parent processing unit processes the data input from the outside to create shared screen information, and transmits the shared screen information after converting the shared screen information into a communication format and operates on the shared screen information. A screen sharing server function unit that inputs information and implements the contents of the operation information, and a handwriting display function unit that adds a display based on drawing information to the shared screen information and outputs the display to the screen sharing server function unit A large screen display control means comprising:
A large screen display means for displaying the shared screen information from the creation function unit;
A parent visual that creates and transmits visual conference information of the parent processing unit for performing a visual conference with the child processing unit, and receives visual conference information from the child processing unit and transmits the information to the child processing unit. A conference function unit, a parent handwritten input function unit that transmits drawing information to the handwriting display function unit, and the shared screen information received from the screen sharing server function unit, and operation information for the shared screen information as the screen A parent control means having a parent screen sharing client function part to be transmitted to the shared server function part;
The shared screen information from the parent screen sharing client function unit is displayed and the visual conference information is displayed from the parent visual conference function unit. The touch device function has the touch device function, and the operation information is displayed as the parent information. A main screen means for outputting the drawing information to the parent handwriting input function unit in the screen sharing client function unit,
In the child processing unit, information for visual conference of the child processing unit for performing a visual conference with the parent processing unit is created and transmitted to the parent visual conference function unit, and the parent processing unit or the child processing unit A child visual conference function unit that receives at least one visual conference information from the parent visual conference function unit; and a child handwriting input function unit that transmits drawing information for the shared screen information to the handwriting display function unit; And a child control means having a child screen sharing client function unit that receives the shared screen information from the screen sharing server function unit and transmits operation information for the shared screen information to the screen sharing server function unit;
Displaying the shared screen information from the child screen sharing client function unit and displaying the visual conference information from the child visual conference client function unit, and having a touch device function, the operation information is displayed by the touch device function. A visual conferencing system comprising: a sub-screen sharing client function unit including sub-screen means for outputting the drawing information to the sub-handwriting input function unit.

The screen sharing server function unit of the parent processing unit creates, aggregates and stores image difference data of the shared screen information, and stores the image difference data collected and stored at the time of a screen update instruction or a screen update request. The visual conference system according to claim 1, wherein the visual conference system is transmitted.

At least one of shared screen information, operation information, visual conference information, and drawing information transmitted from the parent processing unit or the child processing unit is obtained by thinning out information for a desired amount from all the information. The method according to claim 1, wherein the transmission is performed at least one of transmission of the information and conversion of the information so that a data amount of the information is reduced. Visual conference system.

The visual conference system according to any one of claims 1 to 3, wherein the parent processing unit performs multicast transmission of information to be transmitted to the child processing unit.

The parent screen sharing client function unit and the child screen sharing client function unit respectively have an equal magnification reduction function for displaying the shared screen information on the parent screen means and the child screen means at the same magnification and reduction, respectively. The visual conference system according to claim 1, wherein:

6. The parent control unit and the child control unit each include an output function unit that outputs a hard copy of a display screen of the parent screen unit and the child screen unit. Visual conferencing system as described in

The child control means has a server function of receiving and transmitting at least one visual conference information of either the parent processing unit or the child processing unit to the child visual conference function unit, and communicates the shared screen information. A preliminary screen sharing server function unit that performs conversion by sending operation information for the shared screen information and performing the conversion, and a display based on the drawing information is added to the shared screen information, and the preliminary screen sharing server A preliminary handwriting display function unit for outputting to the function unit, and when the processing of the large screen display control means of the parent processing unit is impossible, the child visual conference function unit of the child processing unit, the preliminary screen sharing server function unit The update of the shared screen information and the process of visual conference are performed by the preliminary handwriting display function unit. Visual conference system according to any deviation.

8. The visual conference system according to claim 1, wherein the network is configured by one or both of a wired network and a wireless network.

9. The visual conference system according to claim 1, wherein the network is configured as one or both of a low bandwidth network and a high bandwidth network.