JPWO2016178365A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents
情報処理装置、情報処理方法および情報処理プログラム Download PDFInfo
- Publication number
- JPWO2016178365A1 JPWO2016178365A1 JP2017516580A JP2017516580A JPWO2016178365A1 JP WO2016178365 A1 JPWO2016178365 A1 JP WO2016178365A1 JP 2017516580 A JP2017516580 A JP 2017516580A JP 2017516580 A JP2017516580 A JP 2017516580A JP WO2016178365 A1 JPWO2016178365 A1 JP WO2016178365A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- image
- electronic blackboard
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1089—In-session procedures by adding media; by removing media
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
通信ネットワークを介して接続される情報処理装置は、第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部を有する。
Description
本発明は、情報処理装置システムに関する。
企業や教育機関、行政機関等における会議等において、大型ディスプレイに表示させた背景画像に文字や数字、図形等のストローク画像を描画可能な電子黒板が利用されている。電子黒板の一例として、表示装置を制御するコンピュータ装置が背景画像に挿入画像を重畳して表示装置に表示させる電子情報ボードシステムが知られている(例えば、特許文献1参照)。
テレビ会議システムを利用していたユーザに電子黒板の利用を促すことを考える。この場合、テレビ会議システムを利用していたユーザに、電子黒板の機能を追加させることによって電子黒板を利用させるのが好ましい。これによって、テレビ会議システムのUI(User Interface)をそのまま利用できるなどの利便性を向上できるため、電子黒板の導入を促進させることができる。ここで、テレビ会議システムと電子黒板とを共存させるには、テレビ会議システムを動作させるソフトウェアと、電子黒板を動作させるソフトウェアとを独立して動作させることが考えられる。
しかし、テレビ会議システムを動作させるソフトウェアと、電子黒板を動作させるソフトウェアとを独立して動作させるには、テレビ会議を行う拠点間の通信経路と、該拠点間で電子黒板を用いて通信を行う通信経路とを確保することが必要となる。このため、電子黒板の導入先において、ネットワーク資源を圧迫するおそれがある。
以上は、テレビ会議システムなどの第1の情報処理システムに電子黒板などの第2の情報処理システムの機能を導入する場合に当てはまる。
本発明は上記の問題点に鑑み提案されたものであり、その目的とするところは、第1の情報処理システムに第2の情報処理システムの機能を導入した場合にネットワーク資源を有用に利用することにある。
開示の一実施の形態の情報処理装置は、
通信ネットワークを介して接続される情報処理装置であって、
第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部
を有する。
通信ネットワークを介して接続される情報処理装置であって、
第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部
を有する。
開示の実施の形態によれば、第1の情報処理システムに第2の情報処理システムの機能を導入した場合にネットワーク資源を有用に利用することができる。
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施の形態は、以下の実施例に限られない。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
以下、図面を用いて、本発明の一実施の形態を説明する。
<第1の実施の形態>
<画像処理システムの概要>
図1は、本実施の形態の画像処理システム1の全体構成図である。なお、図1では、説明を簡略化するために、2台の電子黒板(ホワイトボード)2a,2bおよびこれに付随する電子ペン4a,4b等を示しているが、3台以上の電子黒板や電子ペン等を利用してもよい。
<画像処理システムの概要>
図1は、本実施の形態の画像処理システム1の全体構成図である。なお、図1では、説明を簡略化するために、2台の電子黒板(ホワイトボード)2a,2bおよびこれに付随する電子ペン4a,4b等を示しているが、3台以上の電子黒板や電子ペン等を利用してもよい。
一般に画像処理システムなどの伝送システムには、伝送管理システムを介して一方の電子黒板などの通信端末から他方の電子黒板などの通信端末に一方向でコンテンツデータを通信するデータ提供システムや、伝送管理システムを介して複数の通信端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム(「伝送管理システム」に相当)を介して複数のコミュニケーション端末(「通信端末」に相当)間で情報や感情等を相互に伝達するためのシステムであり、テレビまたはビデオ会議システム、テレビ電話システム、音声会議システム、音声電話システム、PC(Personal computer)画面共有システム等が例として挙げられる。
図1に示されているように、画像処理システム1は、複数の電子黒板2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、ノートPC(Personal Computer)6a,6b、テレビ(ビデオ)会議端末7a,7b、伝送管理システム50、およびPC8を有する。また、電子黒板2a,2b、会議端末7a,7b、伝送管理システム50、およびPC8は、通信ネットワーク9を介して通信可能に接続されている。さらに、複数の電子黒板2a,2bには、それぞれディスプレイ3a,3bが設けられている。
電子黒板2は、他の電子黒板またはテレビ(ビデオ)会議端末7、およびPC8との間で、画像データ、音声データ等の送受信を行うようになっている。例えば、通信IDが「01aa」である電子黒板2aと、通信IDが「01bb」である電子黒板2bとの間で高画質の画像データ、音声データ等の送受信を行うことによってテレビ会議を行うことができる。本実施の形態では、画像データの画像が静止画の場合について説明するが、静止画だけでなく動画であってもよい。また、画像データの画像に動画と静止画の両方が含まれていてもよい。伝送管理システム50は、複数の電子黒板2を一元的に管理するためのものである。
また、電子黒板2aは、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)により描画された画像を、ディスプレイ3aに表示させることができる。なお、電子黒板2aは、電子ペン4aだけでなく、ユーザの手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。
また、電子黒板2aには、USBメモリ5aが接続可能であり、電子黒板2aはUSBメモリ5aからPDF(Portable Document Format)等の電子ファイルを読み出したり、電子黒板2aはUSB(Universal Serial Bus)メモリ5aに電子ファイルを記録したりすることができる。また、電子黒板2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)およびVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、電子黒板2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。通信ネットワーク9には、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、およびテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。
一方、電子黒板2bが設置されている他の拠点では、上記の電子黒板2aと同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。さらに、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
これにより、一の拠点で電子黒板2aのディスプレイ3a上に描画された画像は、他の拠点で電子黒板2bのディスプレイ3b上にも表示され、逆に他の拠点で電子黒板2bのディスプレイ3b上に描画された画像は、一の拠点で電子黒板2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPCのうち任意のノートPCを示す場合には「ノートPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。
本実施の形態では、コミュニケーションシステムの一例としての画像処理システム、コミュニケーション管理システムの一例としての伝送管理システム、およびコミュニケーション端末の一例としての電子黒板を想定した上で、画像処理システム、および伝送管理システム、および電子黒板について説明する。すなわち、電子黒板および伝送管理システムは、画像処理システム、テレビまたはビデオ会議システムに適用されるだけでなく、コミュニケーションシステム、または伝送システムにも適用される。
また、本実施の形態では、情報処理装置の一例として、電子黒板を説明するが、これに限るものではなく、情報処理装置の他の例として、デスクトップ型PCやタブレット型PCや、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等の画像処理装置であってもよい。また、情報処理端末の一例として、ノートPC6を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。さらに、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施の形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。
<電子黒板のハードウェア構成>
図2を用いて、本実施の形態の電子黒板のハードウェア構成を説明する。なお、図2は、電子黒板のハードウェア構成図である。
図2を用いて、本実施の形態の電子黒板のハードウェア構成を説明する。なお、図2は、電子黒板のハードウェア構成図である。
図2に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、電子黒板用のプログラム等の各種データを記憶するSSD104、通信ネットワーク9との通信を制御するネットワークコントローラ105、および、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。さらに、電子黒板2は、CPU101の制御に従って被写体を撮像し画像データを得るカメラ107と、このカメラ107の駆動を制御する撮像素子I/F108と、ノートPC6のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス111、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112、および、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御および管理を行うディスプレイコントローラ113を備えている。さらに、電子黒板2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。本実施の形態における、この接触センサ115は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。
また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、接触センサ115は、カメラを用いて、接触を判断し、座標位置を特定するものであっても良い。
また、電子黒板2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先およびペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
さらに、電子黒板2は、音声を入力するマイク122と、音声を出力するスピーカ123と、CPU101の制御に従ってマイク122およびスピーカ123との間で音声信号の入出力を処理する音声入出力I/F124と、ユーザの操作を受け付ける操作ボタン125と、電子黒板2の電源のON/OFFを切り換えるための電源スイッチ126と、を備えている。
さらに、電子黒板2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、電子ペンコントローラ116、撮像素子I/F108、音声入出力I/F124、操作ボタン125、および電源スイッチ126を、図2に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
なお、電子黒板用のプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体や、ネットワーク上のサーバに記録して流通やダウンロードさせるようにしてもよい。
<伝送管理システム50のハードウェア構成>
図3を用いて、本実施の形態に係る伝送管理システムのハードウェア構成を説明する。なお、図3は、伝送管理システム50のハードウェア構成図である。
図3を用いて、本実施の形態に係る伝送管理システムのハードウェア構成を説明する。なお、図3は、伝送管理システム50のハードウェア構成図である。
伝送管理システム50は、伝送管理システム50全体の動作を制御するCPU201と、伝送管理用プログラムを記憶したROM202と、CPU201のワークエリアとして使用されるRAM203と、各種データを記憶するHD(Hard Disk)204と、CPU201の制御に従ってHD204に対する各種データの読み出しおよび書き込みを制御するHDD205と、フラッシュメモリ等の記録メディア206に対するデータの読み出しおよび書き込み(記憶)を制御するメディアドライブ207とを備えている。さらに、伝送管理システム50は、カーソル、メニュー、ウィンドウ、文字、画像等の各種情報をディスプレイ216に表示させるためのディスプレイI/F208と、通信ネットワーク9を利用してデータ伝送をするためのネットワークI/F209と、文字、数値、各種指示等を入力するための複数のキーを備えたキーボード211と、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行うマウス212とを備えている。さらに、伝送管理システム50は、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対するデータの読み出しおよび書き込みを制御するCD−ROMドライブ214と、外部の装置との間で情報を送受信するための外部装置I/F215と、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン210とを備えている。
また、上記伝送管理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。上記伝送管理用プログラムはHD204に記憶されていてもよい。
<電子黒板の機能構成>
図4を用いて、電子黒板2の全体的な機能構成について説明する。図4は、電子黒板2の機能ブロック図である。
図4を用いて、電子黒板2の全体的な機能構成について説明する。図4は、電子黒板2の機能ブロック図である。
電子黒板2は、図2に示されているハードウェア構成およびプログラムによって、図4に示されている各機能構成を有する。電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板2は、大きく分けて、クライアント部20およびサーバ部90の両方によって構成されている。クライアント部20およびサーバ部90のうち、電子黒板2にクライアント部20を備え、サーバ部90を配信制御装置などの電子黒板2とは異なる装置とするようにしてもよい。クライアント部20およびサーバ部90は、電子黒板2の1台の筐体内で実現される機能である。そして、電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20とサーバ部90が実現(実行)される。また、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現(実行)されるが、サーバ部90は実現(実行)されない。即ち、図1において、電子黒板2aが主催装置で、電子黒板2bが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2bのクライアント部20と通信を行う。一方、電子黒板2bのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2aのクライアント部と通信を行う。
〔クライアント部20の機能構成〕
続いて、クライアント部20の機能構成について説明する。図4に示されるように、クライアント部20は、操作入力受付部11、ログイン要求部12、音声入出力部13、撮像部14、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、および通信制御部60を有する。これら各機能部は、図2に示される各構成要素のいずれかが、ROM102に格納されているプログラムに従ったCPU101からの命令により動作することで実現される機能または手段である。これら各機能部のうち、操作入力受付部11、ログイン要求部12、音声入出力部13、および撮像部14を実現する電子会議システム用プログラムと、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、および通信制御部60を実現する電子黒板用プログラムとが用意されてもよい。この場合、ROM102に格納されている電子会議システム用プログラムと、電子黒板用プログラムとが協調してCPU101を動作させる。また、電子黒板2は、図2に示されるSSD104によって構築される記憶部を有している。
続いて、クライアント部20の機能構成について説明する。図4に示されるように、クライアント部20は、操作入力受付部11、ログイン要求部12、音声入出力部13、撮像部14、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、および通信制御部60を有する。これら各機能部は、図2に示される各構成要素のいずれかが、ROM102に格納されているプログラムに従ったCPU101からの命令により動作することで実現される機能または手段である。これら各機能部のうち、操作入力受付部11、ログイン要求部12、音声入出力部13、および撮像部14を実現する電子会議システム用プログラムと、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、および通信制御部60を実現する電子黒板用プログラムとが用意されてもよい。この場合、ROM102に格納されている電子会議システム用プログラムと、電子黒板用プログラムとが協調してCPU101を動作させる。また、電子黒板2は、図2に示されるSSD104によって構築される記憶部を有している。
操作入力受付部11は、図2に示される操作ボタン125および電源スイッチ126によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、電子黒板2の本体の電源スイッチをONにすると、操作入力受付部11が電源ONを受け付けて、電源をONにする。
ログイン要求部12は、図2に示されるCPU101からの命令によって実現され、ユーザの操作を契機として、通信制御部60から通信ネットワーク9を介して伝送管理システム50に、ログインを要求する旨を示すログイン要求情報、および電子黒板2の現時点のIPアドレスを自動的に送信する。
音声入出力部13は、図2に示されるマイク122、スピーカ123、および音声入出力I/F124によって実現される。音声入出力部13は、ユーザの音声を入力し、この音声を音声信号に変換することで音声信号に係る音声データを出力するとともに、音声データに係る音声信号を音声に変換して出力する。撮像部14は、図2に示されるカメラ107および撮像素子I/F108によって実現され、被写体を撮像した画像を表す画像データを生成する。
映像取得部21は、ケーブル10に接続された映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。出力映像などの画像データおよび表示データは、例えばJPEG(Joint Photographic Experts Group)、Bitmap、GDI(Graphics Device Interface)等の形式のデータである。
座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。
自動調整部23は、電子黒板2の起動時に起動され、接触センサ115が座標検知部22に適切な値を出力できるように、接触センサ115の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。
イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、およびジェスチャ操作の各イベントに振り分ける。
ここで、「ストローク描画」は、ディスプレイ3上に後述のストローク画像(B)が表示されている場合(図17参照)に、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
「UI操作」は、ディスプレイ3上に後述のUI画像(A)が表示されている場合(図17参照)に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
「ジェスチャ操作」は、ディスプレイ3上に後述のストローク画像(B)が表示されている場合(図17参照)に、ユーザが手Hでディスプレイ3上をタッチしたり移動したりさせるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素に従って、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として映像出力機器(ディスプレイ3等)に対して表示する。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャ・イン・ピクチャする。さらに、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。
画像処理部30は、各画像レイヤの重畳処理等を行う。画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、および遠隔ライセンス管理テーブル310を有している。
このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、映像出力機器(ノートPC6等)からの出力画像(C)に相当する。また、画像取得部31は、この画像のデータをテキスト化することによってシリアライズし(図8参照)、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して通信制御部60の後述する遠隔画像送信部63に送信する。
ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、ストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部80の操作データ記憶部840に記憶される。
UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、UI画像(A)に相当する。
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、およびUI画像生成部33(又は背景生成部34)から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)およびストローク画像(B)を、UI画像(A)および背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、およびUI画像生成部33(背景生成部34)から出力された各画像のレイアウトを行う。
ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、ストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。出力画像(C)のデータは、メディアデータIDで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信する。これによって、映像重畳部28は、背景画像(D)をディスプレイ3に再表示することができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。さらに、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読み出される。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、および、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトに従って重畳する。これにより、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、および背景画像(D)の各レイアの構成となる。
また、表示重畳部36は、画像(C)と画像(D)を切り替えて、画像(A)および画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)および画像(C)が表示されている状態で、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
ページデータ記憶部300は、ページデータを記憶する。図7は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)およびメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図7乃至10に分けて、ページデータの内容を説明する。
ページデータは、図7に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、およびメディアデータを識別するためのメディアデータIDが関連付けられて記憶されている。ストローク配列データは、ストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、背景画像(D)がディスプレイ3上に表示されるためのデータである。
このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
また、ストローク配列データは、図8に示されているように詳細な情報を示している。図8は、ストローク配列データを示す概念図である。図8に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、および、ストロークの通過点の配列を識別するための座標配列データIDを示している。
さらに、この座標配列データは、図9に示されているように詳細な情報を示している。図9は、座標配列データを示す概念図である。図9に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、および、この1点における電子ペン4の筆圧の各情報を示している。即ち、図9に示されている1点の集まりが、図8に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
また、図7に示されているページデータのうちのメディアデータは、図10に示されているように詳細な情報を示している。図10は、メディアデータを示す概念図である。図10に示されているように、メディアデータは、図7に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)および画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。
図4に戻り説明を続ける。遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル310では、図11に示されているように、電子黒板2のプロダクトID、認証に用いられるライセンスID、およびライセンスの有効期限が関連付けて管理されている。
(ファイル処理部40の機能構成)
続いて、図5を用いて、図4に示されているファイル処理部40の機能構成を説明する。なお、図5は、ファイル処理部40の機能ブロック図である。
続いて、図5を用いて、図4に示されているファイル処理部40の機能構成を説明する。なお、図5は、ファイル処理部40の機能ブロック図である。
ファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a、設定ファイル出力部49b、およびアドレス帳入力部50を有している。さらに、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、および接続先管理テーブル440を有している。
このうち、リカバリ処理部41は、電子黒板2が異常終了した際に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがPDFファイルとしてファイル処理部40を介してUSB5に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部41は、ページデータ記憶部300からページデータを読み出すことで復旧させる。
ファイル入力部42aは、USBメモリ5から、PDFファイルを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。
ファイル変換部43は、ページデータ記憶部300に記憶されているページデータを、PDF形式のファイルに変換する。
ファイル出力部42bは、ファイル変換部43によって出力されたPDFファイルをUSBメモリ5に記録する。
ファイル送信部44は、ファイル変換部43によって生成されたPDFファイルを、電子メールに添付して送信する。このPDFファイルの送信先は、表示重畳部36によってディスプレイ3上にアドレス帳管理テーブル410の内容を表示し、ファイル送信部44がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル410には、図12に示されているように、宛先の名前および宛先の電子メールのメールアドレスが関連付けられて管理されている。また、ファイル送信部44が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。
アドレス帳入力部45は、USBメモリ5から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル410に管理する。
バックアップ処理部46は、ファイル出力部42bによって出力されたファイルや、ファイル送信部44によって送信されたファイルを、バックアップデータ記憶部420に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図13に示されているように、PDF形式で記憶される。
バックアップ出力部47は、バックアップされたファイルをUSBメモリ5に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。
設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はDNS(Domain Name System)の設定等である。
設定ファイル出力部49bは、電子黒板2の各種設定情報を、設定ファイルとしてUSBメモリ5に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。
設定ファイル入力部49aは、USBメモリ5に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板2の各種設定に反映させる。
接続先入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧ファイルを読み込み、接続先管理テーブル440で管理する。なお、図14に示されているように、接続先管理テーブル440は、電子黒板2が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のIPアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル440では、参加されることが可能な主催装置としての電子黒板2が設置されている拠点の名称、および主催装置としての電子黒板2のIPアドレスが関連付けて管理されている。
なお、接続先管理テーブル440は、省略することも可能である。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のIPアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のIPアドレスを知得する。
(通信制御部60の機能構成)
次に、図6を用いて、通信制御部60の機能構成について説明する。
次に、図6を用いて、通信制御部60の機能構成について説明する。
通信制御部60は、通信ネットワーク9を介して、他の電子黒板2とメッセージ通信ポートを開くことなどの通信経路を設定するために行う通信や、サーバ部90における後述の通信制御部70と行う通信を制御する。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、および参加拠点管理テーブル610を有している。
このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ部90に対して、メッセージ通信ポートを追加して開くことを要求するとともに新たに遠隔共有処理を開始する要求を行い、サーバ部90から要求の結果を受信する。この場合、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照し、ライセンス情報(プロダクトID、ライセンスID、および有効期限)が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
参加拠点管理テーブル610は、電子黒板2が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル610では、図15に示されているように、参加中の電子黒板2が設置されている拠点の名称および当該電子黒板2のIPアドレスが関連付けて管理されている。
遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置としての電子黒板2のサーバ部90における遠隔接続要求受信部71に対して、メッセージ通信ポートを追加して開くことを要求するとともに遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル440を参照して、参加先の電子黒板2のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブル440が参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板2のIPアドレスが入力されてもよい。
遠隔画像送信部63は、映像取得部21から画像取得部31を介して送られて来た出力画像(C)を、追加して開いたメッセージ通信ポート(以下、「追加メッセージ通信ポート」という)からサーバ部90に送信する。
遠隔画像受信部64は、サーバ部90から、他の電子黒板2に接続された映像出力機器によって送信された画像データを追加メッセージ通信ポートから受信し、表示重畳部36に出力することで、遠隔共有処理を可能にする。
遠隔操作送信部65は、遠隔共有処理に必要な各種操作データを追加メッセージ通信ポートからサーバ部90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部66は、サーバ部90から、他の電子黒板2で入力された操作データを追加メッセージ通信ポートから受信し、画像処理部30に出力することで、遠隔共有処理を行う。
〔サーバ部の機能構成〕
続いて、図6を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、およびデータ管理部80を有している。
続いて、図6を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、およびデータ管理部80を有している。
(通信制御部70の機能構成)
次に、図6を用いて、通信制御部70の機能構成について説明する。
次に、図6を用いて、通信制御部70の機能構成について説明する。
通信制御部70は、同じ電子黒板2内のクライアント部20における通信制御部70、および通信ネットワーク9を介して他の電子黒板2内のクライアント部20における通信制御部70との間における通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
さらに詳細に説明すると、通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、および遠隔操作送信部76を有している。
このうち、遠隔接続要求受信部71は、遠隔開始処理部61から、メッセージ通信ポートの追加を要求するメッセージ通信ポート追加要求や、遠隔共有処理の開始要求を受信したり、遠隔参加処理部62からのメッセージ通信ポートを追加するメッセージ通信ポート追加要求や、遠隔共有処理に対する参加要求を受信したりする。遠隔接続結果送信部72は、遠隔開始処理部61へメッセージ通信ポートの追加の要求の結果、遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部62へメッセージ通信ポートの追加の要求の結果や、遠隔共有処理に対する参加要求の結果を送信したりする。
遠隔画像受信部73は、遠隔画像送信部63からの画像データ(出力画像(C)のデータ)を追加メッセージ通信ポートから受信し、後述の遠隔画像処理部82に送信する。遠隔画像送信部74は、遠隔画像処理部82から画像データを受信し、遠隔画像受信部64に対して、この画像データを追加メッセージ通信ポートから送信する。
遠隔操作受信部75は、遠隔操作送信部65からの操作データ(ストローク画像(B)等のデータ)を追加メッセージ通信ポートから受信し、後述の遠隔操作処理部83に送信する。遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、この操作データを追加メッセージ通信ポートから送信する。
(データ管理部の機能構成)
次に、図6を用いて、データ管理部80の機能構成について説明する。
次に、図6を用いて、データ管理部80の機能構成について説明する。
データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、およびページ処理部85を有している。さらに、データ管理部80は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、およびページデータ記憶部850を有している。
このうち、遠隔接続処理部81は、遠隔共有処理の開始、および遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が遠隔開始処理部61から受信したメッセージ通信ポート追加要求にしたがってメッセージ通信ポートを開く。また、遠隔接続処理部81は、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。さらに、遠隔接続処理部81は、クライアント部としての他の電子黒板2からの参加要求が予め定められた参加可能数を超えていないかを確認する。さらに、遠隔接続処理部81は、他の電子黒板2からのメッセージ通信ポート追加要求にしたがってメッセージ通信ポートを開く。また、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、主催装置としての電子黒板2のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。
また、電子黒板2が主催装置の場合、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部90の参加拠点管理テーブル820に記憶する。そして、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。遠隔接続結果送信部72は、同じ主催装置のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。遠隔開始処理部61は、参加拠点管理テーブルに610に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部20およびサーバ部90の両方で、遠隔拠点情報を管理することになる。
遠隔画像処理部82は、遠隔共有処理中の各電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部20を含む)に接続された映像出力機器(ノートPC6等)からの画像データ(出力画像(C))を追加メッセージ通信ポートを介して受信して画像データ記憶部830に記憶する。さらに、遠隔画像処理部82は、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部82は、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部20を含む)に、通信制御部70(遠隔画像送信部74)を介して、上記判定した順番で画像データを送信する。
遠隔操作処理部83は、遠隔共有処理中の各電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部20を含む)で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を追加メッセージ通信ポートを介して受信し、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板のクライアント部を含む)に操作データを送信する。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、この合成結果としての操作データを、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。この操作データは、遠隔操作送信部76から、主催装置である電子黒板2のクライアント部20、および参加装置である電子黒板2のクライアント部20のそれぞれに追加メッセージ通信ポートを介して送信されることで、各電子黒板2で同じ操作データに係る画像が表示される。そのために、操作データは、図16に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板2のIPアドレスおよびクライアント部(サーバ部)のPort No.、操作データの送信先である電子黒板2のIPアドレスおよびクライアント部20(サーバ部90)のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のクライアント部20(Port No.:50001)でストロークが描画されると、同じ主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部90(Port No.:50000)に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータID「p005」、および、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部90(Port No.:50000)から、参加装置である他の電子黒板2(IPアドレス:192.0.0.1)のクライアント部20(Port No.:50001)に、操作データが送られたことが示されている。
なお、操作合成処理部84は、この操作合成処理部84に操作データが入力された順に合成を行うため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板2のディスプレイ3にストローク画像(B)が表示される。
ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ部90でも、図7乃至図9に示されているページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容である。
<伝送管理システムの機能構成>
次に、伝送管理システム50の機能(または手段)について説明する。伝送管理システム50は、図18に示されるように送受信部51と、認証部52と、管理部53と、セッション制御部57と、記憶・読出処理部59とを有している。これら各機能部は、図3に示される各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能または手段である。また、伝送管理システム50は、図3に示されるROM202、RAM203またはHDD205によって構築される記憶部5000を有している。
次に、伝送管理システム50の機能(または手段)について説明する。伝送管理システム50は、図18に示されるように送受信部51と、認証部52と、管理部53と、セッション制御部57と、記憶・読出処理部59とを有している。これら各機能部は、図3に示される各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能または手段である。また、伝送管理システム50は、図3に示されるROM202、RAM203またはHDD205によって構築される記憶部5000を有している。
<認証管理テーブル>
また、記憶部5000には、図19に示されるような認証管理テーブルによって構成される認証管理DB5002が構築されている。この認証管理テーブルでは、伝送管理システム50によって管理される全ての電子黒板2の各通信IDに対して、各パスワードが関連付けられて管理される。例えば、図19に示される端末認証管理テーブルにおいて、電子黒板2aの通信IDは「01aa」で、パスワードは「aaaa」であることが示されている。
また、記憶部5000には、図19に示されるような認証管理テーブルによって構成される認証管理DB5002が構築されている。この認証管理テーブルでは、伝送管理システム50によって管理される全ての電子黒板2の各通信IDに対して、各パスワードが関連付けられて管理される。例えば、図19に示される端末認証管理テーブルにおいて、電子黒板2aの通信IDは「01aa」で、パスワードは「aaaa」であることが示されている。
<端末管理テーブル>
また、記憶部5000には、図20に示されるような端末管理テーブルによって構成される端末管理DB5003が構築されている。この端末管理テーブルでは、各電子黒板2の通信ID毎に、各電子黒板2の稼働状態、後述のログイン要求情報が伝送管理システム50で受信された受信日時および電子黒板2のIPアドレスが関連付けられて管理される。例えば、図20に示される端末管理テーブルにおいて、通信IDが「01aa」の電子黒板2aは、稼働状態が「ONライン」であり、伝送管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」であり、この電子黒板2aのIPアドレスが「1.2.1.3」であることが示されている。
また、記憶部5000には、図20に示されるような端末管理テーブルによって構成される端末管理DB5003が構築されている。この端末管理テーブルでは、各電子黒板2の通信ID毎に、各電子黒板2の稼働状態、後述のログイン要求情報が伝送管理システム50で受信された受信日時および電子黒板2のIPアドレスが関連付けられて管理される。例えば、図20に示される端末管理テーブルにおいて、通信IDが「01aa」の電子黒板2aは、稼働状態が「ONライン」であり、伝送管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」であり、この電子黒板2aのIPアドレスが「1.2.1.3」であることが示されている。
<伝送管理システムの各機能部>
次に、伝送管理システム50の各機能部について詳細に説明する。なお、以下の記載では、伝送管理システム50の各機能部を説明するにあたって、図3に示される各構成要素のうち、伝送管理システム50の各機能部を実現させるための主な構成要素との関係についても説明する。
次に、伝送管理システム50の各機能部について詳細に説明する。なお、以下の記載では、伝送管理システム50の各機能部を説明するにあたって、図3に示される各構成要素のうち、伝送管理システム50の各機能部を実現させるための主な構成要素との関係についても説明する。
まず、送受信部51は、図3に示されるネットワークI/F209によって実行され、通信ネットワーク9を介して電子黒板2との間で各種データの送受信を行う。認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている通信IDおよびパスワードを検索キーとし、記憶部5000の端末認証管理DB5002を検索し、端末認証管理DB5002に同一の通信IDおよびパスワードが管理されているかを判断することによって端末認証を行う。
管理部53は、ログイン要求してきた電子黒板2の稼働状態を管理すべく、端末管理テーブルに、この電子黒板2の通信ID、電子黒板2の稼働状態、伝送管理システム50でログイン要求情報が受信された受信日時、および電子黒板2のIPアドレスを関連付けて記憶して管理する。
セッション制御部57は、CPU201からの命令によって実現され、電子黒板(2a,2b)間で通信ネットワーク9を介して画像データおよび音データなどを送信する通信セッションの確立を制御する。通信セッションを確立させる方法は、特に限定されないが、例えば、通信ネットワーク9に画像データおよび音データなどを中継する中継装置が設けられている場合には、この中継装置に接続するための接続情報を、セッション制御部57による制御に基づいて、送受信部51が電子黒板(2a,2b)へ送信する方法が挙げられる。また、セッション制御部57による制御に基づいて、送受信部51は、中継装置へ、電子黒板(2a,2b)間での画像データおよび音データの中継開始の要求を送信してもよい。上記の制御に基づいて、通信セッションが確立されると、電子黒板(2a,2b)は、通信相手である電子黒板(2b,2a)との間で画像データおよび音データを送受信することができるようになる。
<実施の形態の処理又は動作>
続いて、図21乃至図23を用いて、本実施の形態の処理又は動作について説明する。なお、図21乃至図23は、各電子黒板の処理を示したシーケンス図である。
続いて、図21乃至図23を用いて、本実施の形態の処理又は動作について説明する。なお、図21乃至図23は、各電子黒板の処理を示したシーケンス図である。
図21に示す実施の形態では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部90およびクライアント部20)としての役割を果たしており、電子黒板2bが遠隔共有処理に参加する参加装置(クライアント部20)としての役割を果たす場合について説明する。図22および図23に示す実施の形態では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部90およびクライアント部20)としての役割を果たしており、電子黒板2b,2cが遠隔共有処理に参加する参加装置(クライアント部20)としての役割を果たす場合について説明する。また、ここでは、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが接続され、さらに、それぞれノートPC6a,6b,6cが接続されている。また、電子黒板2a,2b,2cでは、それぞれ電子ペン4a,4b,4cが使用される。
(セッション確立処理)
図21を用いて、電子黒板2a,2bがセッションを確立する処理について説明する。
図21を用いて、電子黒板2a,2bがセッションを確立する処理について説明する。
電子黒板2aは、ログイン要求部12によって、管理システム50に対し、ログイン要求を行う(ステップS1)。このログイン要求には、ログイン要求元の電子黒板2aを識別するための通信IDおよびパスワードが含まれる。これにより、管理システム50の送受信部51は、ログイン要求並びに通信IDおよびパスワードを受信する。
次に、認証部52は、送受信部51によって受信された通信IDおよびパスワードの組と同じ組が、認証管理テーブル(図19参照)で管理されているかを判断することで、ログイン要求元の電子黒板2aの認証を行う(ステップS2)。そして、この認証により、正当な電子黒板であると判断された場合には、管理部53は、端末管理テーブル(図20参照)の対応する通信IDに対して、稼動状態「ONライン」を管理する(ステップS3)。
次に、送受信部51は、ログイン要求元の電子黒板2aに対して、認証結果を送信する(ステップS4)。これにより、電子黒板2aのログイン要求部12は、認証結果を受信する。そして、上記ステップS2により、正当な電子黒板2であると判断された場合には、ログイン要求元の電子黒板2aと管理システム50との間で通信セッションseiが確立される(ステップ5)。なお、電子黒板間の通信セッション(sed1)と区別するため、各種電子黒板2と、管理システム50との間の通信セッションを、通信セッションseiと表記する。
同じく、図21に示されているように、電子黒板2bは、ログイン要求部12によって、管理システム50に対し、ログイン要求を行う(ステップS6)。このログイン要求には、ログイン要求元の電子黒板2bを識別するための通信IDおよびパスワードが含まれる。これにより、管理システム50の送受信部51は、ログイン要求並びに通信IDおよびパスワードを受信する。
次に、認証部52は、送受信部51によって受信された通信IDおよびパスワードの組と同じ組が、認証管理テーブル(図19参照)で管理されているかを判断することで、ログイン要求元の電子黒板2bの認証を行う(ステップS7)。そして、この認証により、正当な電子黒板であると判断された場合には、管理部53は、端末管理テーブル(図20参照)の対応する通信IDに対して、稼動状態「ONライン(通信可能)」を管理する(ステップS8)。
次に、送受信部51は、ログイン要求元の電子黒板2bに対して、認証結果を送信する(ステップS9)。これにより、電子黒板2bのログイン要求部12は、認証結果を受信する。そして、上記ステップS7により、正当な電子黒板であると判断された場合には、ログイン要求元の電子黒板2bと管理システム50との間で通信セッションseiが確立される(ステップ10)。
続いて、電子黒板間でコンテンツデータを送信する通信セッションを確立する処理を説明する。上記の電子黒板間でコンテンツデータを送信する通信セッションには、電子黒板2間で音データ、画像データ、および操作データを送信する通信セッションsed1が含まれる。
電子黒板2aは、ユーザによる操作ボタン125の操作に応じて、通信制御部60によって、管理システム50に対し、通信の開始要求を行う(ステップS11)。この通信の開始要求には、通信の開始要求元の電子黒板2aの通信ID、および宛先の電子黒板2bの通信IDが含まれている。以下、通信の開始要求元は電子黒板2aであり、宛先は電子黒板2bである場合について説明する。
管理システム50の送受信部51は、通信の開始要求を受信する。続いて、管理システム50の管理部53は、端末管理テーブル(図20参照)における、通信の開始要求元の電子黒板2aの通信IDに対して、稼働状態「ONライン(通信中)」を管理する(ステップS12)。
次に、管理システム50の送受信部51は、宛先の電子黒板2bに対して、通信の開始要求を行う(ステップS13)。この通信の開始要求には、上記ステップS11によって送られて来た通信の開始要求元の電子黒板2aの通信IDおよび宛先の電子黒板2bの通信IDが含まれている。これにより、宛先の電子黒板2bは、通信の開始要求を受信する。
これに対して、電子黒板2bは、ユーザによる操作ボタン125の操作に応じて、通信制御部60によって、管理システム50に対し、応答可否を示す情報を送信する(ステップS14)。この応答可否を示す情報には、宛先の電子黒板2b側でユーザが通話を開始する場合には応答する旨が示され、宛先の電子黒板2b側でユーザが通話を開始しない場合には応答しない旨が示される。以下、電子黒板2bが、応答する旨を示す情報を管理システム50へ送信した場合について説明を続ける。
これにより、管理システム50の送受信部51は、応答可否を示す情報を受信する。続いて、管理システム50の管理部53は、端末管理テーブル(図20参照)における、宛先の電子黒板2bの通信IDに対して、稼働状態「ONライン(通信中)」を管理する(ステップS15)。
次に、管理システム50の送受信部51は、開始要求元の電子黒板2aに対し、上記ステップS14によって宛先の電子黒板2bから送られて来た、応答する旨を示す情報を送信する(ステップS16)。これにより、電子黒板2aは、通信制御部60によって、応答する旨を示す情報を受信する。
続いて、管理システム50のセッション制御部57は、電子黒板(2a,2b)間で通信ネットワーク9を介して画像データおよび音データを送信する通信セッションsed1の確立を制御する(ステップS17)。通信セッションsed1を確立させる方法は、特に限定されないが、例えば、通信ネットワーク9に画像データおよび音データを中継する中継装置が設けられている場合には、この中継装置に接続するための接続情報を、セッション制御部57による制御に基づいて、送受信部51が電子黒板(2a,2b)へ、送信する方法が挙げられる。また、セッション制御部57による制御に基づいて、送受信部51は、中継装置へ、電子黒板(2a,2b)間での画像データおよび音データの中継開始の要求を送信してもよい。上記の制御に基づいて、通信セッションsed1は確立される(ステップS18)。これにより、電子黒板(2a,2b)は、通信相手である電子黒板(2b,2a)との間で画像データ、音データ、および操作データを送受信することができるようになる。
(参加の処理)
図22を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
図22を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
ユーザが電子黒板2aの電源スイッチ126をオンにすると、電子黒板2aのクライアント部20が起動する。そして、ユーザがタッチパネル等の操作ボタン125によってサーバ部90を起動させる操作をすると、クライアント部20の遠隔開始処理部61から同じ電子黒板2aのサーバ部90における遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなくサーバ部90も各種処理を開始可能となる(ステップS21)。
次に、電子黒板2aのクライアント部20におけるUI画像生成部33が電子黒板2aとの接続を確立するための接続情報を生成し、映像重畳部28が、UI画像生成部33から表示重畳部36を介して得た接続情報をディスプレイ3aに表示させる(ステップS22)。この接続情報には、主催装置のIPアドレス、および今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部810に記憶されているパスコードは、遠隔接続処理部81によって読み出され、遠隔接続結果送信部72、遠隔開始処理部61の順に送信される。さらに、パスコードは、遠隔開始処理部61を含む通信制御部60から、画像処理部30に送信され、最終的にUI画像生成部33に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板2aのユーザによって、電話や電子メールにより、電子黒板2b,2cのユーザに伝えられる。なお、接続先管理テーブル440があれば、接続情報には、主催装置のIPアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
次に、電子黒板2b,2cでは、各ユーザによるタッチパネル等の操作ボタン125の操作によって接続情報の入力を受け付けると、各電子黒板2b,2cのクライアント部20における遠隔参加処理部62が、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90における通信制御部70に対してメッセージ通信ポートの追加を要求するとともにパスコードを送信して参加要求を行う(ステップS23,S24)。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b,2cから、メッセージ通信ポートの追加要求、参加要求(パスコードを含む)を受信し、メッセージ通信ポートを開くとともにこのパスコードを遠隔接続処理部81に出力する。ここで、メッセージ通信ポート追加要求でポート番号が指定されてもよいし、メッセージ通信ポート追加要求によって追加するポート番号が予め設定されていてもよい。
次に、遠隔接続処理部81は、各電子黒板2b,2cから受信したパスコードに対し、パスコード管理部810で管理されているパスコードを用いて認証する(ステップS25)。そして、遠隔接続結果送信部72が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS26,S27)。ステップS25の認証により、各電子黒板2b,2cが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b,2cとの遠隔共有処理の通信が確立され、各電子黒板2b,2cのクライアント部20における遠隔参加処理部62が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする(ステップS28,S29)。
(出力画像の表示)
続いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
続いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
まず、電子黒板2bは、ディスプレイ3bに出力画像(C)を表示する(ステップS30)。具体的には、電子黒板2bの画像取得部31が、ノートPC6bから映像取得部21を介して、ノートPC6bで表示されている出力画像(C)のデータを受信し、表示重畳部36および映像重畳部28を介してディスプレイ3bに送信することで、ディスプレイ3bは出力画像(C)を表示する。
次に、電子黒板2bの画像取得部31を含む画像処理部30が、遠隔画像送信部63に出力画像(C)のデータを送信することで、遠隔画像送信部63を含む通信制御部60が追加メッセージ通信ポートから通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70に出力画像(C)のデータを送信する(ステップS31)。例えば、電子黒板2bの画像取得部31を含む画像処理部30は、遠隔画像送信部63に出力画像(C)のデータをテキスト化することによってシリアライズ(直列化)し(図8参照)、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して送信する。画像処理部30は、出力画像(C)のデータをシリアライズする際に、配列データをJSON(ジェイソン、JavaScript Object Notation)などのデータ記述言語の形式としてもよい。画像処理部30が出力画像(C)のデータをシリアライズする際に、配列データをJSONなどのデータ記述言語の形式とすることによって、可読性を向上させることができるとともに、処理効率を向上させることができる。
電子黒板2aの遠隔画像受信部73は、追加メッセージ通信ポートから出力画像(C)のデータを受信し、遠隔画像処理部82に出力することで、遠隔画像処理部82が画像データ記憶部830に出力画像(C)のデータを記憶する。遠隔画像処理部82は、追加メッセージ通信ポートから受信した出力画像(C)のデータをデシリアライズ(並列化)し、画像データ記憶部830に出力する。
次に、主催装置である電子黒板2aは、ディスプレイ3aに出力画像(C)を表示する(ステップS32)。具体的には、電子黒板2aの遠隔画像処理部82は、遠隔画像受信部73から受信した出力画像(C)のデータを、遠隔画像送信部74に出力する。遠隔画像送信部74は、同じ主催装置である電子黒板2aのクライアント部20における遠隔画像受信部64に、出力画像(C)のデータを出力する。遠隔画像受信部64は、表示重畳部36に出力画像(C)のデータを出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3aに出力画像(C)のデータを出力する。これにより、ディスプレイ3aは、出力画像(C)を表示する。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔画像送信部74を含む通信制御部70は、追加メッセージ通信ポートから通信ネットワーク9を介して、出力画像(C)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に出力画像(C)のデータを送信する(ステップS33)。例えば、電子黒板2aの画像取得部31を含む画像処理部30は、遠隔画像送信部63に出力画像(C)のデータをテキスト化することによってシリアライズし(図8参照)、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して送信する。画像処理部30は、出力画像(C)のデータをシリアライズする際に、配列データをJSONなどのデータ記述言語の形式としてもよい。これにより、参加装置である電子黒板2cの遠隔画像受信部64は、追加メッセージ通信ポートから出力画像(C)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに出力画像(C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔画像受信部64が、上記ステップS33によって受信された出力画像(C)のデータを、電子黒板2cの表示重畳部36に出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3cに出力画像(C)のデータを出力する。これにより、ディスプレイ3cは、出力画像(C)を表示する。
なお、出力画像(C)のデータだけでなく、UI画像(A)、およびストローク画像(B)の各データが、画像取得部31に入力されている場合には、表示重畳部36により、重畳画像(A,B,C)が生成され、映像重畳部28はディスプレイ3cに重畳画像(A,B,C)のデータを出力する。また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(E)のデータが送られて来ている場合には、映像重畳部28は、重畳画像(A,B,C)にピクチャー・イン・ピクチャーによりテレビ会議用の映像(E)のデータを重畳して、ディスプレイ3cに出力する。
(重畳画像の表示)
続いて、図23を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
続いて、図23を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
まず、電子黒板2bは、ユーザが電子ペン4bを用いて電子黒板2bにストローク画像(B)を描画する(ステップS41)。
次に、電子黒板2bの表示重畳部36は、UI画像(A)、および出力画像(C)に対して、ストローク画像(B)を重畳し、映像重畳部28が電子黒板2bのディスプレイ3b上に、重畳された重畳画像(A,B,C)を表示させる(ステップS42)。具体的には、電子黒板2bのストローク処理部32が座標検知部22および接触検知部24からイベント振分部25を介して、操作データとしてのストローク画像(B)のデータを受信し、表示重畳部36に送信する。これにより、表示重畳部36は、UI画像(A)、および出力画像(C)に対して、ストローク画像(B)を重畳することができ、映像重畳部28が電子黒板2bのディスプレイ3b上に重畳画像(A,B,C)を表示させることができる。
次に、電子黒板2bのストローク処理部32を含む画像処理部30が、ストローク画像(B)のデータをテキスト化することによってシリアライズし、該シリアライズしたストローク画像(B)のデータを遠隔操作送信部65に送信する。画像処理部30は、ストローク画像(B)のデータをシリアライズする際に、配列データをJSONなどのデータ記述言語の形式としてもよい。電子黒板2bの遠隔操作送信部65は、追加メッセージ通信ポートから通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70にストローク画像(B)のデータを送信する(ステップS43)。電子黒板2bのストローク処理部32を含む画像処理部30は、ストローク画像(B)のデータをインスタントメッセージなどのコミュニケーション用アプリケーションを使用して送信する際に、ストローク単位でストローク画像のデータを送信する。電子黒板2aの遠隔操作受信部75は、ストローク画像(B)のデータを追加メッセージ通信ポートから受信し、遠隔操作処理部83に出力することで、遠隔操作処理部83が操作合成処理部84にストローク画像(B)のデータを出力する。このようにして、電子黒板2bで描画されたストローク画像(B)のデータは、描画される度に、主催装置である電子黒板2aの遠隔操作処理部83に順次送信される。このストローク画像(B)のデータは、図8に示されているストロークデータID毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン4によってアルファベット「T」を描く場合は二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(B)のデータが順次送信される。電子黒板2bのストローク処理部32を含む画像処理部30は、ストローク画像(B)のデータを送信する際に、複数のストローク画像のデータをまとめて送信してもよい。
次に、主催装置である電子黒板2aは、ディスプレイ3aに、電子黒板2bから送られて来たストローク画像(B)のデータが含まれた重畳画像(A,B,C)を表示する(ステップS44)。具体的には、電子黒板2aの操作合成処理部84は、遠隔操作処理部83を介して順次送られて来た複数のストローク画像(B)のデータを合成して、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。これにより、遠隔操作処理部83は、操作合成処理部84から受信した、合成後のストローク画像(B)のデータを、遠隔操作送信部76に出力する。遠隔操作送信部76は、同じ主催装置である電子黒板2aのクライアント部20における遠隔操作受信部66に、合成後のストローク画像(B)のデータを出力する。遠隔操作受信部66は、画像処理部30における表示重畳部36に、合成後のストローク画像(B)のデータを出力する。よって、表示重畳部36は、UI画像(A)、および出力画像(C)に対して、合成後のストローク画像(B)を重畳する。最後に、映像重畳部28が、表示重畳部36によって重畳された重畳画像(A,B,C)をディスプレイ3a上に表示させる。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔操作送信部76を含む通信制御部70は、追加メッセージ通信ポートから通信ネットワーク9を介して、ストローク画像(B)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に、合成後のストローク画像(B)のデータを追加メッセージ通信ポートから送信する(ステップS45)。電子黒板2aのストローク処理部32を含む画像処理部30は、ストローク画像(B)のデータを送信する際に、ストローク単位でストローク画像のデータを送信する。これにより、参加装置である電子黒板2cの遠隔操作受信部66は、合成後のストローク画像(B)のデータを受信する。電子黒板2aのストローク処理部32を含む画像処理部30は、ストローク画像(B)のデータを送信する際に、複数のストローク画像のデータをまとめて送信してもよい。
次に、電子黒板2cは、ディスプレイ3cに重畳画像(A,B,C)を表示する(ステップS46)。具体的には、電子黒板2cの遠隔操作受信部66が、上記ステップS45によって受信された合成後のストローク画像(B)のデータを、電子黒板2cの画像処理部30に出力する。画像処理部30の表示重畳部36は、UI画像(A)、および出力画像(C)の各データと、合成後のストローク画像(B)のデータを重畳し、映像重畳部28に重畳画像(A,B,C)のデータを出力する。映像重畳部28は、ディスプレイ3cに重畳画像(A,B,C)のデータを出力する。これにより、ディスプレイ3cは、重畳画像(A,B,C)を表示する。
なお、上記処理では、ディスプレイ3上に出力画像(C)が表示されているが、この出力画像(C)に代えて、背景画像(D)を表示してもよい。また、出力画像(C)と背景画像(D)との排他的な関係をやめて、出力画像(C)と背景画像(D)との両方を同時にディスプレイ3上に表示させてもよい。
(参加の終了)
続いて、図23を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図23に示す実施の形態では、電子黒板2cが参加を終了する処理が示されている。
続いて、図23を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図23に示す実施の形態では、電子黒板2cが参加を終了する処理が示されている。
まず、電子黒板2cでは、ユーザによるタッチパネル等の操作ボタン125の操作によって参加の終了要求を受け付けると、遠隔参加処理部62は、主催装置としての電子黒板2aのサーバ部90における通信制御部70に、追加メッセージ通信ポートを介して参加の終了要求を行う(ステップS47)。これにより、電子黒板2aの通信制御部70の遠隔接続要求受信部71は、電子黒板2cから、参加の終了要求を受信し、遠隔接続処理部81に、電子黒板2cのIPアドレスとともに参加の終了要求を出力する。そして、電子黒板2aの遠隔接続処理部81は、遠隔接続要求受信部71から送られて来たIPアドレスに基づいて、参加拠点管理テーブル820から、参加の終了要求を行った電子黒板2cのIPアドレスおよび電子黒板2cが設置されている拠点の名称を削除し、遠隔接続結果送信部72に、電子黒板2cのIPアドレスおよび削除した旨の通知を出力する。
次に、電子黒板2aの遠隔接続結果送信部72を含んだ通信制御部70が、通信ネットワーク9を介して、電子黒板2cのクライアント部20における通信制御部60に、参加の終了を指示する(ステップS48)。これにより、電子黒板2cにおける通信制御部60の遠隔参加処理部62が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する(ステップS49)。
本実施の形態に係る画像処理システムによれば、電子会議システムと、電子黒板を使用する通信システムで共通のメッセージ通信ポートを設定することによって通信経路を設定する。これによって、電子会議システムに、電子黒板を導入した場合に、使用する通信ポートが増加しないため、ネットワーク資源が圧迫されることを防止できる。このため、ネットワーク資源を有用に利用することができる。
<第2の実施の形態>
<画像処理システムの概要>
画像処理システム1000の構成について説明する。図24は、実施の形態に係る画像処理システム1000の概略図である。本実施の形態に係る画像処理システム1000では、第1の実施の形態に係る電子黒板2が有していたサーバ部の機能を配信制御装置によって実現したものである。
<画像処理システムの概要>
画像処理システム1000の構成について説明する。図24は、実施の形態に係る画像処理システム1000の概略図である。本実施の形態に係る画像処理システム1000では、第1の実施の形態に係る電子黒板2が有していたサーバ部の機能を配信制御装置によって実現したものである。
図24に示されているように、本実施の形態の画像処理システム1000は、配信制御装置600、複数の通信端末(500a〜500f)、および管理装置700によって構築されている。以下では、複数の通信端末(500a〜500f)のうち、任意の通信端末を「通信端末500」として表す。また、配信制御装置600および管理装置700は、いずれもサーバコンピュータによって構築されている。
通信端末500は、画像処理システム1000のサービスを受けるユーザが使用する端末である。このうち、通信端末500aは、ノートPC(Personal Computer)である。通信端末500bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末500cは、コピー、スキャン、プリント、およびファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末500dは、プロジェクタである。通信端末500eは、カメラ、マイクおよびスピーカを備えたテレビ(ビデオ)会議端末である。通信端末500fは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板(ホワイトボード)である。
なお、通信端末500は、図24に示されているような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であって、インターネット等の通信ネットワークを介して通信可能な装置であってもよい。
また、配信制御装置600、通信端末500、および管理装置700は、インターネットやLAN(Local Area Network)等の通信ネットワーク9によって通信することができる。この通信ネットワーク9には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。
通信端末500によっては、通信端末500d等のように、通信ネットワーク9を介して他の端末やシステムと通信する機能を有していないものがある。しかし、ユーザが通信端末500dのUSB(Universal Serial Bus)やHDMI(High−Definition Multimedia Interface)のインターフェース部にドングルを差し込むことで、通信端末500dは通信ネットワーク9を介して他の端末やシステムと通信可能となる。
また、配信制御装置600は、ホワイトボード部620を有する。ホワイトボード部620におけるレンダラ(Renderer)の機能が、所定の記述言語で示された単一又は複数のコンテンツデータを取得して、レンダリングする。これにより、RGB(Red Green Blue)によるビットマップデータ等の静止画データやPCM(Pulse Code Modulation)データ等の音データ(即ち、静止画(音)データ)としてのフレームデータを生成することができる。コンテンツデータは、任意の通信端末等から取得されたデータであって、HTML(Hypertext Markup Language)やCSS(Cascading Style Sheets)による画像(音)データ、MP4(MPEG-4)による画像(音)データ、AAC(Advanced Audio Coding)による音データ等が含まれる。
さらに、配信制御装置600は、エンコード部660を有し、エンコード部660がエンコーダとしての役割を果たすことにより、静止画(音)データとしての各フレームデータを、H.264(MPEG-4 AVC)、H.265、Motion JPEG等の圧縮符号化方式の映像(音)データに変換する。
一方、管理装置700は、通信端末500のログイン認証を行ったり、通信端末500の契約情報等の管理を行ったりする。また、管理装置700は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。管理装置700は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。管理装置700は、不測の事態に対応して継続的なサービスを提供するために、多重化して運用することが望ましい。
また、ホワイトボード部620は、リアルタイムコミュニケーション(RTC:Real−time communication/collaboration)を可能にしている。さらに、配信制御装置600は後述のエンコード部660を有しており、このエンコード部660は、ホワイトボード部620によって出力されたフレームデータに対して、リアルタイムのエンコードを行い、H.264の規格等に基づく変換により生成された映像(音)データを出力することができる。そのため、配信制御装置600の処理は、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像(音)データを読み出して配信する場合等とは異なる。
なお、配信制御装置600だけでなく、通信端末500もホワイトボード部を有してもよい。この場合、配信制御装置600のホワイトボード部620を最新化することで、各通信端末500のホワイトボード部を起動させる必要はなくなる。
<各種配信方法>
次に、各種配信方法について説明する。
次に、各種配信方法について説明する。
(基本配信)
図25は、基本的な配信方法を示した概念図である。画像処理システム1000では、図25に示されているように、配信制御装置600のホワイトボード部620が、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔A〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔A〕を生成する。そして、エンコード部660を含むエンコーダブリッジ部630が、各フレームデータ〔A〕をエンコード等することによりH.264等の圧縮符号化方式の映像(音)データ〔A〕(送信データの一例)に変換する。配信制御装置600は、変換された後の映像(音)データ〔A〕を通信端末500に配信する。
図25は、基本的な配信方法を示した概念図である。画像処理システム1000では、図25に示されているように、配信制御装置600のホワイトボード部620が、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔A〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔A〕を生成する。そして、エンコード部660を含むエンコーダブリッジ部630が、各フレームデータ〔A〕をエンコード等することによりH.264等の圧縮符号化方式の映像(音)データ〔A〕(送信データの一例)に変換する。配信制御装置600は、変換された後の映像(音)データ〔A〕を通信端末500に配信する。
さらに、画像処理システム1000は、上述の配信方法を応用し、コンテンツデータを複数の拠点に映像(音)データとして配信することも可能である。以下に、コンテンツデータを複数の拠点に配信する方法について説明する。
(マルチキャスト)
図26は、マルチキャストの概念図である。図26に示されているように、配信制御装置600のホワイトボード部620は、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔A〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔A〕を生成する。そして、エンコーダブリッジ部630が、各フレームデータ〔A〕をエンコードして、映像(音)データに変換する。その後、配信制御装置600は、映像(音)データ〔A〕(送信データの一例)を複数の通信端末(500f1,500f2,500f3)に配信する。
図26は、マルチキャストの概念図である。図26に示されているように、配信制御装置600のホワイトボード部620は、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔A〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔A〕を生成する。そして、エンコーダブリッジ部630が、各フレームデータ〔A〕をエンコードして、映像(音)データに変換する。その後、配信制御装置600は、映像(音)データ〔A〕(送信データの一例)を複数の通信端末(500f1,500f2,500f3)に配信する。
以上により、複数の拠点では、同じ映像(音)が再生される。この場合、通信端末(500f1,500f2,500f3)は同じ表示再生能力(解像度が同じ等)を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
(マルチディスプレイ)
図27は、マルチディスプレイの概念図である。図27に示されているように、配信制御装置600のホワイトボード部620は、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔XYZ〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔XYZ〕を生成する。そして、エンコーダブリッジ部630が、フレームデータ〔XYZ〕毎に、複数のフレームデータ(〔X〕,〔Y〕,〔Z〕)に分割した後にエンコードすることで、複数の映像(音)データ(〔X〕,〔Y〕,〔Z〕)に変換する。その後、配信制御装置600は、映像(音)データ〔X〕(送信データの一例)を通信端末500f1に配信する。また、同じように、配信制御装置600は、映像(音)データ〔Y〕(送信データの一例)を通信端末500f2に配信し、映像(音)データ〔Z〕(送信データの一例)を通信端末500f3に配信する。
図27は、マルチディスプレイの概念図である。図27に示されているように、配信制御装置600のホワイトボード部620は、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔XYZ〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔XYZ〕を生成する。そして、エンコーダブリッジ部630が、フレームデータ〔XYZ〕毎に、複数のフレームデータ(〔X〕,〔Y〕,〔Z〕)に分割した後にエンコードすることで、複数の映像(音)データ(〔X〕,〔Y〕,〔Z〕)に変換する。その後、配信制御装置600は、映像(音)データ〔X〕(送信データの一例)を通信端末500f1に配信する。また、同じように、配信制御装置600は、映像(音)データ〔Y〕(送信データの一例)を通信端末500f2に配信し、映像(音)データ〔Z〕(送信データの一例)を通信端末500f3に配信する。
以上により、例えば、横長のコンテンツ〔XYZ〕であっても、複数の通信端末500で分割して映像(音)が再生されるため、通信端末(500f1,500f2,500f3)を一列に並べて設置すれば、1つの大きな映像を再生させることと同様の効果を得ることができる。この場合、通信端末(500f1,500f2,500f3)は同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
(複合配信)
図28は、配信制御装置600を介して複数の通信端末を使った複合配信の概念図である。図28に示されているように、第1の拠点(図28の右側)では、電子黒板としての通信端末500f1およびテレビ会議端末としての通信端末500e1が利用され、第2の拠点(図28の左側)では、同じく電子黒板としての通信端末500f2、およびテレビ会議端末としての通信端末500e2が利用されている。また、第1の拠点では、通信端末500f1にストロークによる文字等を描画させるための電子ペンP1が利用され、第2の拠点では、通信端末500f2にストロークによる文字等を描画させるための電子ペンP2が利用されている。
図28は、配信制御装置600を介して複数の通信端末を使った複合配信の概念図である。図28に示されているように、第1の拠点(図28の右側)では、電子黒板としての通信端末500f1およびテレビ会議端末としての通信端末500e1が利用され、第2の拠点(図28の左側)では、同じく電子黒板としての通信端末500f2、およびテレビ会議端末としての通信端末500e2が利用されている。また、第1の拠点では、通信端末500f1にストロークによる文字等を描画させるための電子ペンP1が利用され、第2の拠点では、通信端末500f2にストロークによる文字等を描画させるための電子ペンP2が利用されている。
そして、第1の拠点において、通信端末500e1によって取得された映像(音)データは、エンコード部660でエンコードされた後に、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置600に送信される。その後、配信制御装置600のデコード部640で、デシリアライズされ、デコードされて、ホワイトボード部620に入力される。また、電子ペンP1によって通信端末500f1に描かれたストロークを示す操作データ(この場合、通信端末500f1のディスプレイ上における座標データ等)は、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置600に送信され、ホワイトボード部620に入力される。
一方、第2の拠点においても、通信端末500e2によって取得された映像(音)データは、エンコード部660でエンコードされた後に、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置600に送信される。その後、配信制御装置600のデコード部640で、デシリアライズされ、デコードされて、ホワイトボード部620に入力される。また、電子ペンP2によって通信端末500f2に描かれたストロークを示す操作データ(この場合、通信端末500f2のディスプレイ上における座標データ等)は、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置600に送信され、ホワイトボード部620に入力される。
一方、ホワイトボード部620は、例えば、任意の通信端末等から通信端末(500f1,500f2)のそれぞれのディスプレイに表示される背景画像であるコンテンツデータ〔A〕を取得する。そして、ホワイトボード部620は、コンテンツデータ〔A〕、操作データ(〔p1〕,〔p2〕)および映像(音)コンテンツデータ(〔E1〕,〔E2〕)を結合してレンダリングすることで、各コンテンツ(〔A〕,〔p1〕,〔p2〕,〔E1〕,〔E2〕)が所望のレイアウトに設置された静止画(音)データとしてのフレームデータを生成する。そして、エンコーダブリッジ部630は、各フレームデータをエンコードし、テキスト化することよってシリアライズし、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、配信制御装置600が各拠点に同じコンテンツ(〔A〕,〔p1〕,〔p2〕,〔E1〕,〔E2〕)を示す映像(音)データ(送信データの一例)を追加メッセージ通信ポートを介して配信する。
これにより、第1の拠点では、通信端末500f1のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕および〔E2(映像部分)〕)が表示されると共に、通信端末500e1のスピーカから音〔E2(音部分)〕が出力される。一方、第2の拠点でも、通信端末500f2のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕および〔E2(映像部分)〕)が表示されると共に、通信端末500e2のスピーカから音〔E1(音部分)〕が出力される。
第1の拠点では、通信端末500f1のエコーキャンセル機能により、自拠点の音〔E1(音部分)〕は出力されない。一方、第2の拠点では、通信端末500f2のエコーキャンセル機能により、自拠点の音〔E2(音部分)〕は出力されない。
以上により、第1の拠点と第2の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施の形態の画像処理システム1000は遠隔会議等に有効である。
<ハードウェア構成>
図29を用いて、本実施の形態に係る装置のハードウェア構成を説明する。図29は、実施の形態に係る配信制御装置600および管理装置700のハードウェア構成図である。
図29を用いて、本実施の形態に係る装置のハードウェア構成を説明する。図29は、実施の形態に係る配信制御装置600および管理装置700のハードウェア構成図である。
まず、配信制御装置600について説明する。図29に示されているように、配信制御装置600は、配信制御装置600全体の動作を制御する(ホスト)CPU601、IPL等のCPU601の駆動に用いられるプログラムを記憶したROM602、CPU601のワークエリアとして使用されるRAM603、プログラム等の各種データを記憶するHDD604、CPU601の制御にしたがってHDD604に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)605、フラッシュメモリ等の記録メディア606に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ607、各種情報を表示するディスプレイ608、通信ネットワーク9を利用してデータ送信したりドングルを接続したりするためのI/F609、キーボード611、マウス612、マイク613、スピーカ614、GPU(Graphics Processing Unit)615、GPU615の駆動に用いられるプログラムを記憶したROM616、GPU615のワークエリアとして使用されるRAM617、上記各構成要素を図29に示されているように電気的に接続するためのアドレスバスやデータバス等の拡張バスライン650を備えている。なお、プロジェクタとしての通信端末500dのように、GPUが備えられていない場合もある。また、管理装置700のハードウェア構成は、配信制御装置600のハードウェア構成と同様であるため、それらの説明を省略する。
<機能構成>
次に、図30−33を用いて、本実施の形態に係る装置の機能構成について説明する。
次に、図30−33を用いて、本実施の形態に係る装置の機能構成について説明する。
(配信制御装置の機能構成)
まずは、図30を用いて、配信制御装置600の機能構成について説明する。図30は、本実施の形態に係る配信制御装置600の各機能を示す機能ブロック図である。図30では、配信制御装置600が通信端末500f1に対して映像(音)データを配信する場合の機能構成が示されているが、配信先が通信端末500f1以外の場合も、同じ機能構成を有する。なお、配信制御装置600は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
まずは、図30を用いて、配信制御装置600の機能構成について説明する。図30は、本実施の形態に係る配信制御装置600の各機能を示す機能ブロック図である。図30では、配信制御装置600が通信端末500f1に対して映像(音)データを配信する場合の機能構成が示されているが、配信先が通信端末500f1以外の場合も、同じ機能構成を有する。なお、配信制御装置600は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
図30に示されているように、配信制御装置600は、図29に示されているCPU601又はGPU615であるプロセッサ等のハードウェア構成およびプログラムによって、図30に示されている各機能構成を有する。
具体的に、配信制御装置600は、ホワイトボード部620、送受信部621、ホワイトボード制御部622、送信用FIFO(First-In First-Out)624、時刻管理部625、時刻取得部626、回線適応制御部627、エンコーダブリッジ部630、送受信部631、受信用FIFO634、認識部635、遅延情報取得部637a、回線適応制御部637b、およびデコード部640を有している。
さらに、配信制御装置600は、図29に示されているHDD604によって構築される記憶部2000、座標蓄積部122、およびデータ管理部120を有している。この記憶部2000には、認識部635から出力されホワイトボード制御部622を介して送られた後述の認識情報が記憶される。ホワイトボード部620が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。座標蓄積部122は、通信端末500に入力された座標が記憶される。また、データ管理部120は、当該座標から生成されたストロークを示すストロークデータが記憶される。
送受信部621は、管理装置700や任意の通信端末との間で、各種データ、各種要求、各種指示等の送受信を行う。例えば、送受信部621は、任意の通信端末から追加メッセージ通信ポートを介してコンテンツデータを取得する。また、送受信部621は、管理装置700から取得した各種データを配信制御装置600内の各機能構成に出力したり、管理装置700から取得した各種データ、各種要求、又は各種指示等に基づいて配信制御装置600内の各機能構成を制御したりする。例えば、送受信部621は、管理装置700からの配信の切替え要求に基づいて、図31に示されているエンコーダブリッジ部630内の各構成の組み合わせの切替えを行う。
ホワイトボード制御部622は、ホワイトボード部620の制御を行う。具体的には、ホワイトボード制御部622は、送受信部631を介して通信端末500から、追加メッセージ通信ポートを介して送信されるユーザによる操作を示す各種操作データを取得し、ホワイトボード部620に出力する。操作データは、通信端末500での操作イベント(キーボード611やマウス612等による操作や電子ペンPによるストローク等)によって生じたデータである。ユーザによる操作がストロークコマンド(ストロークの指示)であった場合、ホワイトボード制御部622は、操作データにおける通信端末500のディスプレイに入力された座標を、座標蓄積部122に保存する。そして、ホワイトボード制御部622は、座標蓄積部122に保存されて蓄積した全ての座標から、ユーザからの操作によるストロークを示すストロークデータを生成し、ホワイトボード部620に出力する。
また、ホワイトボード制御部622は、ユーザによる操作がページコマンド(ページの追加指示)であった場合、追加されたページをホワイトボード部620に出力する。また、ホワイトボード制御部622は、ユーザによる操作が画像コマンド(画像の追加指示)であった場合、追加された画像をホワイトボード部620に出力する。また、ホワイトボード制御部622は、ユーザによる操作がいずれでもなかった場合、マウスイベントとしてホワイトボード部620に出力する。
また、通信端末500に、温度センサ、湿度センサ、および加速度センサ等の各種センサが設けられている場合には、ホワイトボード制御部622は、通信端末500から追加メッセージ通信ポートを介して送信される各センサの出力信号であるセンサ情報を取得し、ホワイトボード部620に出力する。さらに、ホワイトボード制御部622は、認識部635から画像(音)データを取得してホワイトボード部620に出力したり、認識部635から後述の認識情報を取得して記憶部2000に記憶したりする。また、ホワイトボード制御部622は、受信用FIFO634から映像(音)データを取得してホワイトボード部620に出力する。
ホワイトボード部620は、レンダラの機能によって、画像(音)データとしてのコンテンツデータ等をレンダリングすることにより、静止画(音)データとしての各フレームデータを生成する。また、レンダラは、図28に示されているように、複数種類のコンテンツ(〔p1〕,〔p2〕,〔E1〕,〔E2〕)のレイアウトを行うレイアウトエンジン(Layout Engine)でもある。
また、ホワイトボード部620は、ホワイトボード制御部622により生成されたストロークデータを取得すると、データ管理部120に保存する。このときホワイトボード部620は、ストロークデータを例えばテキスト形式や、PDF(Portable Document Format)形式で保存する。そして、ホワイトボード部620は、取得したストロークデータをレンダリングすることにより、静止画(音)データとしてのフレームデータを生成する。この時、ホワイトボード部620は、既に取得しているコンテンツデータがあった場合、当該コンテンツデータに対して、操作データであるストロークデータを結合したレイアウトにして出力する。
また、ホワイトボード部620は、ユーザによる操作がページコマンド(ページの追加指示)であった場合、取得したページをデータ管理部120に保存する。また、ホワイトボード部620は、ユーザによる操作が画像コマンド(画像の追加指示)であった場合、取得した画像をデータ管理部120に保存する。
送信用FIFO624は、ホワイトボード部620で生成された静止画(音)データとしての各フレームデータを格納するバッファである。
時刻管理部625は、配信制御装置600独自の時刻Tを管理している。
時刻取得部626は、後述の通信端末500における時刻制御部656と連携して、時刻調整の処理を行う。具体的には、時刻取得部626は、時刻管理部625から配信制御装置600における時刻Tを示す時刻情報(T)を取得したり、送受信部631および送受信部651を介して、後述の時刻制御部556から通信端末500における時刻tを示す時刻情報(t)を受信したり、時刻制御部556に時刻情報(t)および時刻情報(T)を送信する。
回線適応制御部627は、送信遅延時間情報(D)に基づいて、再生遅延時間Uを計算したり、エンコーダブリッジ部630における変換部661のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間Uは、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。つまり、回線適応制御部627は、送信遅延時間情報(D)とデータのサイズ(ビット数やバイト数等)に基づき、エンコーダブリッジ部630の動作を変更する。この送信遅延時間情報(D)は、通信端末500における遅延情報取得部557が再生制御部553から取得した複数の送信遅延時間D1によって構成された度数分布情報を示す。各送信遅延時間D1は、映像(音)データが配信制御装置600によって送信されてから通信端末500によって受信されるまでの時間を示す。
エンコーダブリッジ部630は、ホワイトボード部620が生成した静止画(音)データとしての各フレームデータを、エンコーダブリッジ部630における変換部661(図31参照)に出力する。この際、変換部661は、回線適応制御部627で計算された動作条件を考慮して各処理を行なう。エンコーダブリッジ部630については、図31および図32を用いて、さらに詳細に説明する。図31は、エンコーダブリッジ部の詳細図である。また、図32は、変換部の各機能を示す機能ブロック図である。
図31に示されているように、エンコーダブリッジ部630は、作成・選択・転送部660、および選択部670と、これらの間に複数の変換部(661a,661b,661c)が構築されている。ここでは、3つの変換部を示したが、1−2個であってもよいし、4個以上であってもよい。以下、任意の変換部を「変換部661」として表す。
さらに、変換部661は、ホワイトボード部620によって生成された静止画(音)データとしての各フレームデータのデータ形式を、通信ネットワーク9を介して通信端末500に配信できるH.264等のデータ形式に変換する。そのため、変換部661は、図32に示されているように、トリミング部662、リサイズ部663、分割部664、およびエンコード部665を有することで、フレームデータに各種処理を施す。トリミング部662、リサイズ部663、および分割部664は、音データの場合は、処理を行わない。
このうち、トリミング部662は、静止画の一部だけを切り出す処理を行う。リサイズ部663は、静止画の縮尺を変更する。分割部664は、図27に示されているように、静止画を分割する。
また、エンコード部665は、ホワイトボード部620で生成された、静止画(音)データとしての各フレームデータをエンコードすることにより、通信ネットワーク9を介して通信端末500に映像(音)データを配信できるように変換する。また、エンコード部665は、映像が動かなければ(フレーム間で更新(変化)がなければ)、以降、映像が動くまでスキップフレーム(「フレームスキップ」ともいう)データを挿入することで帯域をセーブする。
なお、レンダリングにより静止画データと共に音データが生成される場合には、これら両方のデータがエンコードされるが、音データだけが生成される場合には、トリミングやリサイズ、分割は行われることはなく、エンコードだけが行われてデータ圧縮される。
また、作成・選択・転送部660は、新たに変換部661を作成したり、既に作成されている変換部661に対して入力させる静止画(音)データとしてのフレームデータを選択したり、変換部661にフレームデータを転送したりする。作成する場合としては、作成・選択・転送部660は、通信端末500における映像(音)データの再生能力に応じた変換が可能な変換部661を作成する。また、選択する場合としては、作成・選択・転送部660は、既に作成されている変換部661を選択する。例えば、通信端末500aへの配信に加えて通信端末500bへの配信を開始するにあたって、通信端末500aへ配信している映像(音)データと同じ映像(音)データを通信端末500bへ配信する場合がある。このような場合で、さらに、通信端末500bが通信端末500aにおける映像(音)データの再生能力と同じ再生能力を有する場合には、作成・選択・転送部660は通信端末500b用に新たな変換部661bを作成せずに、通信端末500a用に既に作成している変換部661aを利用する。また、転送する場合としては、作成・選択・転送部660は、送信用FIFO624に記憶されているフレームデータを、変換部661に転送する。
一方、選択部670は、既に作成されている変換部661から所望のものを選択する。これら作成・選択・転送部660と選択部670による選択によって、図28に示したような様々なパターンの配信を行うことができる。
図30に戻り説明を続ける。送受信部631は、通信端末500との間で、追加メッセージ通信ポートを介して各種データや要求等の送受信を行う。この送受信部631が、クラウド上から通信ネットワーク9を介して通信端末500に各種データや要求等を送信することで、配信制御装置600は通信端末500に対して、各種データや要求等を配信することができる。
例えば、送受信部631は、通信端末500のログイン処理において、通信端末500の送受信部651に対し、ユーザにログイン要求を促すための認証画面データを送信する。また、送受信部631は、通信端末500から、ユーザによる操作を示す操作データを追加メッセージ通信ポートを介して受信する。さらに、送受信部631は、変換部661によって静止画(音)データとしての各フレームデータが通信ネットワーク9を介して通信端末500に配信可能なデータ形式に変換されたフレームデータ(変換映像データ)を追加メッセージ通信ポートを介して通信端末500に送信する。送受信部631が、受信部と送信部に相当する。
その他に、送受信部631は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して画像処理システム1000の独自のプロトコルにより、通信端末500のユーザアプリや通信端末500のデバイスアプリへのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信制御装置600と通信端末との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部631は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、およびジェスチャ変換を行う。
このうち、送信レスポンス制御は、配信制御装置600から通信端末500にデータを送信するために、通信端末500からリクエスト(要求)されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持する。送受信部631は、通信端末500に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末500からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部631を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
リアルタイムのデータ作成は、図32におけるエンコード部665で生成された圧縮映像(および圧縮音)のデータに独自のヘッダを付与して、HTTPSのBody部に書き込む処理である。
コマンド送信は、通信端末500に送信するコマンドデータを生成し、通信端末500へのHTTPSのBody部に書き込む処理である。
受信レスポンス制御は、配信制御装置600が通信端末500からデータを受信するために、通信端末500からリクエストされたHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持される。通信端末500は、配信制御装置600の送受信部631に送るデータを動的にリクエストのBody部に書き込む。
受信データ分析は、通信端末500から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
ジェスチャ変換は、ユーザが電子黒板としての通信端末500fに電子ペンや手書きにより入力したジェスチャイベントを、ホワイトボード部620が受け取れる形式のデータに変換する処理である。
また、受信用FIFO634は、デコード部640でデコードされた後の映像(音)データを格納するバッファである。
認識部635は、通信端末500から受信する画像(音)データに対しての処理を行う。具体的には、認識部635は、例えば、サイネージ向けにカメラ562で撮影された画像から人や動物の顔、年齢、および性別などを認識する。また、認識部635は、オフィス向けに、カメラ562で撮影された画像から顔認識による名前タグ付けや背景画像の差し替え処理などを行う。認識部635は、認識した内容を示す認識情報を記憶部2000に記憶させる。この認識部635は、認識拡張ボードで処理を行うことで高速化が実現される。
遅延情報取得部637aは、下り用の回線適応制御の処理に用いられる通信端末500側の遅延情報取得部557に対応して、上り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部637aは、デコード部640から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部637bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。送信遅延時間情報(d1)は、映像(音)データが通信端末500によって送信されてから配信制御装置600によって受信されるまでの時間を示す。
回線適応制御部637bは、下り用の回線適応制御の処理に用いられる回線適応制御部627に対応して、上り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部637bは、送信遅延時間情報(d)に基づいて、通信端末500側のエンコード部560の動作条件を計算する。また、回線適応制御部637bは、送受信部631および送受信部651を介して通信端末500のエンコード部560に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
デコード部640は、通信端末500から送信されて来た映像(音)データをデコードする。
また、デコード部640は、送信遅延時間d1を示す送信遅延時間情報(d1)を遅延情報取得部637aに出力する。
(通信端末の機能構成)
次に、図33を用いて、通信端末500の機能構成について説明する。図33は、本実施の形態に係る通信端末500の各機能を示す機能ブロック図である。通信端末500は、ユーザが画像処理システム1000へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
次に、図33を用いて、通信端末500の機能構成について説明する。図33は、本実施の形態に係る通信端末500の各機能を示す機能ブロック図である。通信端末500は、ユーザが画像処理システム1000へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
図33に示されているように、通信端末500は、図29に示されているCPU601等のハードウェア構成およびプログラムによって、図33に示されている各機能構成を有する。ここで、プログラムは、電子会議システム用プログラムと、電子黒板用プログラムとが用意されてもよい。この場合、電子会議システム用プログラムと、電子黒板用プログラムとが協調してCPU601を動作させる。また、ドングルを差し込まれることで通信端末500が通信ネットワーク9を介して他の端末やシステムと通信可能となる場合には、図29に示されているハードウェア構成およびプログラムによって、図33に示されている各機能構成を有する。
具体的に、通信端末500は、デコード部550、送受信部551、操作部552、再生制御部553、レンダリング部555、時刻制御部556、遅延情報取得部557、表示部558、およびエンコード部560を有している。さらに、通信端末500は、図29に示されているRAM603によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報(Δ)、および通信端末500における時刻tを示す時刻情報(t)が記憶される。
このうち、デコード部550は、配信制御装置600から配信され、再生制御部553から出力された映像(音)データをデシリアライズし、デコードする。デコードした映像(音)データに音声が含まれている場合は、スピーカ561により出力する。
送受信部551は、配信制御装置600の送受信部531、および管理装置700との間で、各種データや要求等の送受信を行う。例えば、送受信部551は、通信端末500のログイン処理において、操作部552による通信端末500の起動に基づき、管理装置700にログイン要求を行う。
操作部552は、ユーザの操作入力を受け付ける処理を行い、例えば、電源スイッチ、キーボード、マウス、電子ペンP等による入力や選択等を受け付け、操作データとして配信制御装置600のホワイトボード制御部622に送信する。
再生制御部553は、送受信部551から受けた映像(音)データ(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Uを考慮してデコード部550に出力する。また、再生制御部553は、送信遅延時間D1を示す送信遅延時間情報(D1)を算出し、遅延情報取得部557に出力する。
レンダリング部555は、デコード部550によってデコードされたデータをレンダリングする。
時刻制御部556は、配信制御装置600の時刻取得部626と連携して、時刻調整の処理を行う。具体的には、時刻制御部556は、記憶部5000から通信端末500における時刻tを示す時刻情報(t)を取得する。また、時刻制御部556は、送受信部551および送受信部531を介して、配信制御装置600の時刻取得部626に、配信制御装置600における時刻Tを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。
遅延情報取得部557は、再生制御部553から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部551および送受信部531を介して回線適応制御部627に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。送信遅延時間情報(D)は、例えば、100フレームに1回送信される。
表示部558は、レンダリング部555によってレンダリングされたデータを再生する。
エンコード部560は、内蔵されたマイク613や、外付けのカメラ562およびマイク563から取得してエンコードし、テキスト化することによってシリアライズした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末500における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)を、送受信部551および送受信部531を介して、配信制御装置600のデコード部640に送信する。時刻差Δとは、配信制御装置600独自で管理されている時刻と通信端末500独自で管理されている時刻との差である。
また、エンコード部560は、回線適応制御部637bから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部560の動作条件を変更する。さらに、エンコード部560は、新たな動作条件に従って、カメラ562およびマイク563から取得してエンコードしテキスト化することによってシリアライズした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末500における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)とを、コミュニケーション用アプリケーションを使用して送受信部551および送受信部531を介して、追加メッセージ通信ポートから配信制御装置600のデコード部640に送信する。
なお、内蔵されたマイク613、外付けのカメラ562およびマイク563等は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像(音)データの他に、触覚(touch)データや嗅覚(smell)データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
<動作または処理>
続いて、図34〜37を用いて、本実施の形態の動作または処理について説明する。これらの処理は、配信制御装置600、通信端末500、および管理装置700における各CPUが、それぞれに格納されているプログラムに従って動作することにより実行される処理である。
続いて、図34〜37を用いて、本実施の形態の動作または処理について説明する。これらの処理は、配信制御装置600、通信端末500、および管理装置700における各CPUが、それぞれに格納されているプログラムに従って動作することにより実行される処理である。
(基本的な配信処理)
まず、図34を用いて、図25に示されている基本的な配信方法における具体的な配信処理を説明する。図34は、本実施の形態に係る配信制御装置の基本的な配信処理を示したシーケンス図である。ここでは、通信端末500aを用いてログイン要求する場合について説明するが、通信端末500a以外の通信端末500を用いてログインしてもよい。
まず、図34を用いて、図25に示されている基本的な配信方法における具体的な配信処理を説明する。図34は、本実施の形態に係る配信制御装置の基本的な配信処理を示したシーケンス図である。ここでは、通信端末500aを用いてログイン要求する場合について説明するが、通信端末500a以外の通信端末500を用いてログインしてもよい。
図34に示されているように、通信端末500aにおいてユーザが電源オンにすると、通信端末500aの送受信部551は、管理装置700にログイン要求を送信する(ステップS51)。これにより、管理装置700は、ログイン要求を受信し、通信端末500aの認証を行う(ステップS52)。ここでは、通信端末500aが画像処理システム1000における正当な端末であると認証された場合について、以下に続けて説明する。
管理装置700は、通信端末500aの送受信部551に、配信制御装置600のIPアドレスを送信する(ステップS53)。配信制御装置600のIPアドレスは、予め、管理装置700によって配信制御装置600から取得されて記憶されている。
次に、管理装置700は、配信制御装置600の送受信部621に、配信処理の開始要求を行う(ステップS54)。これにより、送受信部621は、配信制御装置処理の開始要求を受信する。そして、ホワイトボード制御部622は、送受信部621によって受信された開始要求に基づいて、ホワイトボード部620を制御する。
次に、エンコーダブリッジ部630の作成・選択・転送部660は、通信端末500aの再生能力(ディスプレイの解像度等)およびコンテンツの種類に従って変換部661を作成する(ステップS55)。ここで、通信端末500aの送受信部551は、配信制御装置600にメッセージ通信ポート追加要求を送信するようにしてもよい。ここで、メッセージ通信ポート追加要求でポート番号が指定されてもよいし、メッセージ通信ポート追加要求によって追加するポート番号が予め設定されていてもよい。配信制御装置600は、通信端末500aによって送信されたメッセージ通信ポート追加要求に応じて、メッセージ通信ポートを開き、メッセージ通信ポートを開いたことを通信端末500aに通知する。
次に、送受信部621は、ホワイトボード部620の命令に従い、任意の通信端末500から追加メッセージ通信ポートを介してコンテンツデータ〔A〕を取得する(ステップS56)。
次に、ホワイトボード部620が、送受信部621によって取得されたコンテンツデータ〔A〕をレンダリングすることにより、静止画(音)データとしての各フレームデータを生成して、送信用FIFO624に出力する(ステップS57)。そして、変換部661が、送信用FIFO624に格納された各フレームデータをエンコードし、テキスト化することによってシリアライズし、通信端末500aに配信すべき映像(音)データ〔A〕に変換する(ステップS58)。
次に、送受信部631は、追加メッセージ通信ポートから通信端末500aの送受信部651に映像(音)データ〔A〕を送信する(ステップS59)。これにより、通信端末500aの送受信部551は、映像(音)データ〔A〕を受信して、再生制御部553に出力する。
次に、通信端末500aでは、デコード部550が再生制御部553から映像(音)データ〔A〕を取得してデコードし、デシリアライズする(ステップS60)。その後、スピーカ561は、デコードされた音データ〔A〕に基づいて音を再生すると共に、表示部558は、レンダリング部555によってデコード部550から取得されてレンダリングされた映像データ〔A〕に基づいて映像を再生する(ステップS61)。
(複数の通信端末を使った複合配信の処理)
次に、図35を用いて、配信制御装置を介して複数の通信端末を使った通信の処理を説明する。図35は、実施の形態に係る配信制御装置600を介して複数の通信端末500を使った配信の処理を示すシーケンス図である。ここでは、複数の通信端末500として、図28に示されているパターンについて具体的な処理を説明する。図35では、図34におけるステップS51〜S55と同様のログイン処理、開始要求、および変換部の作成を行った後の処理とする。
次に、図35を用いて、配信制御装置を介して複数の通信端末を使った通信の処理を説明する。図35は、実施の形態に係る配信制御装置600を介して複数の通信端末500を使った配信の処理を示すシーケンス図である。ここでは、複数の通信端末500として、図28に示されているパターンについて具体的な処理を説明する。図35では、図34におけるステップS51〜S55と同様のログイン処理、開始要求、および変換部の作成を行った後の処理とする。
通信端末500f1のエンコード部560が、カメラ562およびマイク563から映像(音)データ〔E〕としてのコンテンツデータの入力を受け付けると(ステップS71)、エンコード部560はコンテンツデータ〔E〕をエンコードする(ステップS72)。送受信部551は、エンコード部560によってエンコードされたコンテンツデータ〔E〕を、配信制御装置600の送受信部631に送信する(ステップS73)。これにより、配信制御装置600の送受信部631は、コンテンツデータ〔E〕を受信する。
次に、配信制御装置600のデコード部640は、送受信部631によって受信されたコンテンツデータ〔E〕をデコードして、受信用FIFO634に出力する(ステップS74)。そして、ホワイトボード部620が、受信用FIFO634に格納されたコンテンツデータ〔E〕をレンダリングすることにより、静止画(音)データとしてのフレームデータ〔E〕を生成して、送信用FIFO624に出力する(ステップS75)。この場合、ホワイトボード部620は、既に取得しているコンテンツデータがあった場合、コンテンツデータ〔E〕を結合したレイアウトにして出力する。
さらに、通信端末500f1の操作部552が、電子ペンP1によるストローク操作の入力を受け付けると(ステップS76)、送受信部551は、操作部552によって受け付けられたストローク操作の内容を示す操作データ〔p〕を、配信制御装置600の送受信部631に送信する(ステップS77)。これにより、配信制御装置600の送受信部631は、操作データ〔p〕を受信する。そして、ホワイトボード制御部622は、送受信部631によって受信された操作データ〔p〕をホワイトボード部620に出力する。
次に、ホワイトボード部620は、操作データ〔p〕をレンダリングすることにより、静止画(音)データとしてのフレームデータ〔p〕を生成して、送信用FIFO624に出力する(ステップS78)。この場合、ホワイトボード部620は、既に取得しているコンテンツデータ〔E〕に対して、操作データ〔p〕を結合したレイアウトにして出力する。
次に、変換部661が、送信用FIFO624に格納された静止画(音)データとしての各フレームデータ(〔E〕,〔p〕)をエンコードし、テキスト化することによってシリアライズすることで、通信端末500aに配信すべき映像(音)データ(〔E〕,〔p〕)に変換する(ステップS79)。
次に、送受信部631は、変換部661を含むエンコーダブリッジ部630からエンコード後の映像(音)データ(〔E〕,〔p〕)を取得し、通信端末500f1の送受信部551に追加メッセージ通信ポートを介して送信する(ステップS80−1)。これにより、通信端末500f1の送受信部551は、映像(音)データ(〔E〕,〔p〕)を追加メッセージ通信ポートを介して受信し、通信端末500f1の再生制御部553が送受信部551から映像(音)データ(〔E〕,〔p〕)を取得する。
そして、通信端末500f1では、デコード部550が再生制御部553から映像(音)データ(〔E〕,〔p〕)を取得してデコードする(ステップS81−1)。その後、スピーカ561は、デコードされた音データ〔E〕に基づいて音を再生すると共に、表示部558は、レンダリング部555によってデコード部550から取得されてレンダリングされた映像データ(〔E〕,〔p〕)に基づいて映像を再生する(ステップS82−1)。
また、通信端末500f2に対しても、ステップS80−1と同様に、送受信部531は、エンコーダブリッジ部630からエンコード後の映像(音)データ(〔E〕,〔p〕)を取得し、通信端末500f2の送受信部551に送信する(ステップS80−2)。これにより、通信端末500f2の再生制御部553が映像(音)データ(〔E〕,〔p〕)を取得する。
そして、通信端末500f2では、デコード部550が再生制御部553から映像(音)データ(〔E〕,〔p〕)を取得してデコードする(ステップS81−2)。その後、スピーカ561は、デコードされた音データ〔E〕に基づいて音を再生すると共に、表示部558は、レンダリング部555によってデコード部550から取得されてレンダリングされた映像データ(〔E〕,〔p〕)に基づいて映像を再生する(ステップS82−2)。
以上より、通信端末500f1で出力される映像(音)と同じ映像(音)が、通信端末500f2でも出力されることになる。
次に、図35のステップS78におけるホワイトボード部620のレンダリング処理の詳細について説明する。図36は、本実施の形態に係る配信制御装置のホワイトボード部によるレンダリング処理の流れを示すフローチャートである。
まず、ホワイトボード制御部622は、送受信部631によって受信したデータが操作データ〔p〕であるか否かを判断する(ステップS91)。受信したデータが操作データでなかった場合(ステップS91:No)、すなわちコンテンツデータ〔E〕であった場合、ホワイトボード部620は、コンテンツデータ〔E〕をレンダリングする(ステップS99)。この処理が図35におけるステップS75のレンダリング処理となる。
一方、受信したデータが操作データであった場合(ステップS91:Yes)、ホワイトボード制御部622は、操作データに含まれるコマンドがストロークコマンドか否かを判断する(ステップS92)。操作データに含まれるコマンドがストロークコマンドであった場合(ステップS92:Yes)、ホワイトボード制御部622は、マウスアップイベントを受信したか否かを判断する(ステップS93)。
マウスアップイベントを受信していない場合(ステップS93:No)、ホワイトボード制御部622は、送信IDとともに操作データに含まれる座標を座標蓄積部122に保存する(ステップS94)。送信IDとは、スクロールコマンドを含む操作データを受信した際に付される識別番号である。
ここで、座標蓄積部122には、図37に示すように、操作データに含まれる色、太さのようなメタストローク情報を蓄積してもよい。また、座標はX,Y座標に加え、時刻や圧力の情報を含んで構成してもよい。以下では、ストロークデータはメタストローク情報と座標列とから生成されているものとする。
一方、ステップS93において、マウスアップイベントを受信した場合(ステップS93:Yes)、ホワイトボード制御部622は、座標蓄積部122に送信IDに関連する座標が蓄積されているか否かを判断する(ステップS95)。座標蓄積部122に送信IDに関連する座標が蓄積されていない場合(ステップS95:No)、何もせず処理を終了する。
一方、座標蓄積部122に送信IDに関する座標が蓄積されている場合(ステップS95:Yes)、ホワイトボード制御部622は、座標蓄積部122に蓄積されている全ての座標を取り出し、取り出した全ての座標からストロークを示すストロークデータを生成する(ステップS96)。なお、ホワイトボード制御部622は、取り出した座標は座標蓄積部122から削除する。
次に、ホワイトボード制御部622は、生成したストロークデータをホワイトボード部620に出力する(ステップS97)。ホワイトボード部620は、取得したストロークデータをデータ管理部120に保存する(ステップS97)。そして、ホワイトボード部620は、取得したストロークデータをレンダリングする(ステップS99)。
ステップS92において、操作データに含まれるコマンドがストロークコマンドでなかった場合(ステップS92:No)、ホワイトボード制御部622は、操作データに含まれるコマンドがページコマンドか否かを判断する(ステップS100)。
操作データに含まれるコマンドがページコマンドであった場合(ステップS100:Yes)、ホワイトボード制御部622は、追加ページをホワイトボード部620に出力する(ステップS101)。ホワイトボード部620は、取得したページをデータ管理部120に保存し(ステップS102)、レンダリングする(ステップS99)。
一方、操作データに含まれるコマンドがページコマンドでなかった場合(ステップS100:No)、ホワイトボード制御部622は、操作データに含まれるコマンドが画像コマンドか否かを判断する(ステップS103)。
操作データに含まれるコマンドが画像コマンドであった場合(ステップS103:Yes)、ホワイトボード制御部622は、追加画像をホワイトボード部620に出力する(ステップS104)。ホワイトボード部620は、取得した画像をデータ管理部120に保存し(ステップS105)、レンダリングする(ステップS99)。
一方、操作データに含まれるコマンドが画像コマンドでなかった場合(ステップS103:No)、ホワイトボード制御部622は、マウスイベントとしてホワイトボード部620に出力し(ステップS106)、ホワイトボード部620がレンダリングする(ステップS99)。なお、データ管理部120でのデータ登録時に、ホワイトボード部620は、全ページからPDFデータを生成し、バックアップデータとしてデータ管理部120に保存する。
本実施の形態に係る配信制御装置600では、通信端末500のディスプレイに入力された座標を保存し、蓄積した全ての座標からユーザからの操作によるストロークを示すストロークデータを生成する。そして、生成されたストロークデータを保存した上で、取得したストロークデータをレンダリングすることにより、静止画(音)データとしてのフレームデータを生成する。この時、既に取得しているコンテンツデータがあった場合、当該コンテンツデータに対して、操作データであるストロークデータを結合したレイアウトにして出力する。そして、静止画(音)データとしての各フレームデータを通信端末500に配信可能なデータ形式に変換されたフレームデータを通信端末500に送信すると、通信端末500のディスプレイに再生される。このように、フレームデータ(映像データ)の配信時におけるユーザによる操作入力を保存することで、フレームデータの配信後もストローク等の操作入力をディスプレイに表示でき、利便性を向上させる。
本実施の形態に係る配信制御装置600で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施の形態に係る配信制御装置600で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態に係る配信制御装置600で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施の形態に係る配信制御装置600で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施の形態に係る配信制御装置600で実行されるプログラムは、上述した各部(送受信部621、ホワイトボード制御部622、送信用FIFO624、時刻管理部625、時刻取得部626、回線適応制御部627、エンコーダブリッジ部630、送受信部631、受信用FIFO634、認識部635、遅延情報取得部637a、回線適応制御部637b、デコード部640)を含むモジュール構成となっている。さらに、本実施の形態に係る配信制御装置600は、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。また、例えば、上述した各部の機能のうちの一部または全部が専用のハードウェア回路で実現されてもよい。
本実施の形態に係る画像処理システムによれば、電子会議システムと、電子黒板を使用する通信システムで共通のメッセージ通信ポートを設定することによって通信経路を設定する。これによって、電子会議システムに、電子黒板を導入した場合に、使用する通信ポートが増加しないため、ネットワーク資源が圧迫されることを防止できる。このため、ネットワーク資源を有用に利用することができる。さらに、配信制御装置を設けたことによって、電子黒板などの通信端末の処理負荷を低減できる。
上述した実施の形態を適宜組み合わせることも可能である。
上述した実施例において、画像形成システムは情報処理システムの一例であり、通信端末500、電子黒板2は情報処理装置の例であり、第1の情報処理システムは会議システムの一例であり、第2の情報処理システムは電子黒板2を用いた通信システムの一例である。また、遠隔開始処理部61、遠隔参加処理部62は設定部の例であり、映像重畳部28、表示重畳部36はコンテンツ処理部の例であり、座標検知部22、接触検知部24は操作受付部の例であり、電子黒板2用のプログラムは情報処理プログラムの一例である。
本発明は特定の実施例、変形例を参照しながら説明されてきたが、各実施例、変形例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に従った装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウエアでまたはそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。
本国際特許出願は、2015年5月7日に出願した日本国特許出願第2015−094654号に基づきその優先権を主張するものであり、日本国特許出願第2015−094654号の全内容を参照によりここに援用する。
1、1000 画像処理システム
2 電子黒板
3 ディスプレイ
4 電子ペン
5 USBメモリ
6 ノートPC
7 テレビ会議端末
8 PC
9 通信ネットワーク
50 伝送管理システム
500 通信端末
600 配信制御装置
700 管理装置
2 電子黒板
3 ディスプレイ
4 電子ペン
5 USBメモリ
6 ノートPC
7 テレビ会議端末
8 PC
9 通信ネットワーク
50 伝送管理システム
500 通信端末
600 配信制御装置
700 管理装置
【0002】
することが必要となる。このため、電子黒板の導入先において、ネットワーク資源を圧迫するおそれがある。
[0006]
以上は、テレビ会議システムなどの第1の情報処理システムに電子黒板などの第2の情報処理システムの機能を導入する場合に当てはまる。
[0007]
本発明は上記の問題点に鑑み提案されたものであり、その目的とするところは、第1の情報処理システムである電子会議システムに第2の情報処理システムである電子黒板を使用する通信システムの機能を導入した場合にネットワーク資源を有用に利用することにある。
課題を解決するための手段
[0008]
開示の一実施の形態の情報処理装置は、
通信ネットワークを介して接続される情報処理装置であって、
第1のコンテンツの第1のコンテンツデータを送信するために、前記情報処理装置と他の情報処理装置との間で通信ポートを開くことによって通信経路を設定する設定部と、
第1の情報処理システムである電子会議システムにしたがって前記第1のコンテンツの前記第1のコンテンツデータを送信するために前記情報処理装置と前記他の情報処理装置との間で通信ポートを開くことにより設定された前記通信経路から、該他の情報処理装置に第2の情報処理システムである電子黒板を使用する通信システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部
を有する。
発明の効果
[0009]
開示の実施の形態によれば、第1の情報処理システムである電子会議システムに第2の情報処理システムである電子黒板を使用する通信システムの機能を導入した場合にネットワーク資源を有用に利用することができる。
図面の簡単な説明
[0010]
[図1]本実施の形態に係る画像処理システムの全体構成図である。
[図2]電子黒板のハードウェア構成図である。
[図3]伝送管理システムのハードウェア構成図である。
[図4]電子黒板の機能ブロック図である。
[図5]ファイル処理部の機能ブロック図である。
[図6]サーバ部及び通信制御部の機能ブロック図である。
[図7]ページデータを示す概念図である。
することが必要となる。このため、電子黒板の導入先において、ネットワーク資源を圧迫するおそれがある。
[0006]
以上は、テレビ会議システムなどの第1の情報処理システムに電子黒板などの第2の情報処理システムの機能を導入する場合に当てはまる。
[0007]
本発明は上記の問題点に鑑み提案されたものであり、その目的とするところは、第1の情報処理システムである電子会議システムに第2の情報処理システムである電子黒板を使用する通信システムの機能を導入した場合にネットワーク資源を有用に利用することにある。
課題を解決するための手段
[0008]
開示の一実施の形態の情報処理装置は、
通信ネットワークを介して接続される情報処理装置であって、
第1のコンテンツの第1のコンテンツデータを送信するために、前記情報処理装置と他の情報処理装置との間で通信ポートを開くことによって通信経路を設定する設定部と、
第1の情報処理システムである電子会議システムにしたがって前記第1のコンテンツの前記第1のコンテンツデータを送信するために前記情報処理装置と前記他の情報処理装置との間で通信ポートを開くことにより設定された前記通信経路から、該他の情報処理装置に第2の情報処理システムである電子黒板を使用する通信システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部
を有する。
発明の効果
[0009]
開示の実施の形態によれば、第1の情報処理システムである電子会議システムに第2の情報処理システムである電子黒板を使用する通信システムの機能を導入した場合にネットワーク資源を有用に利用することができる。
図面の簡単な説明
[0010]
[図1]本実施の形態に係る画像処理システムの全体構成図である。
[図2]電子黒板のハードウェア構成図である。
[図3]伝送管理システムのハードウェア構成図である。
[図4]電子黒板の機能ブロック図である。
[図5]ファイル処理部の機能ブロック図である。
[図6]サーバ部及び通信制御部の機能ブロック図である。
[図7]ページデータを示す概念図である。
Claims (8)
- 通信ネットワークを介して接続される情報処理装置であって、
第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部
を有する、情報処理装置。 - 前記第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で通信経路を設定する設定部
を有する、請求項1に記載の情報処理装置。 - 前記情報処理装置に入力される前記第1のコンテンツを表示するコンテンツ処理部と、
前記第1のコンテンツに対する操作を受け付ける操作受付部と、
該操作受付部によって受け付けた操作に基づいて、前記第2のコンテンツの第2のコンテンツデータを作成する操作処理部と
を有する、請求項1または2に記載の情報処理装置。 - 前記操作処理部は、前記第2のコンテンツデータを直列化し、
前記送信部は、前記直列化した前記第2のコンテンツデータを前記通信経路から前記他の情報処理装置に送信する、請求項3に記載の情報処理装置。 - 前記設定部は、前記他の情報処理装置との間で通信ポートを追加することによって、前記通信経路を設定する、請求項2に記載の情報処理装置。
- 前記操作処理部は、前記第1のコンテンツに対する操作に基づいて入力された座標からストロークを示すストロークデータを生成する、請求項3または4に記載の情報処理装置。
- 通信ネットワークを介して接続される情報処理装置によって実行される情報処理方法であって、
第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するためのセッションを確立した他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する、情報処理方法。 - 請求項7に記載の情報処理方法を情報処理装置に実行させるための情報処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094654 | 2015-05-07 | ||
JP2015094654 | 2015-05-07 | ||
PCT/JP2016/062362 WO2016178365A1 (ja) | 2015-05-07 | 2016-04-19 | 情報処理装置、情報処理方法および情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016178365A1 true JPWO2016178365A1 (ja) | 2018-05-24 |
JP6460228B2 JP6460228B2 (ja) | 2019-02-06 |
Family
ID=57217888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017516580A Active JP6460228B2 (ja) | 2015-05-07 | 2016-04-19 | 情報処理装置、情報処理方法および情報処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10419618B2 (ja) |
EP (1) | EP3293955A4 (ja) |
JP (1) | JP6460228B2 (ja) |
CN (1) | CN107534704B (ja) |
WO (1) | WO2016178365A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6747025B2 (ja) * | 2016-04-13 | 2020-08-26 | セイコーエプソン株式会社 | 表示システム、表示装置、及び、表示システムの制御方法 |
US10387747B2 (en) * | 2017-06-26 | 2019-08-20 | Huddly As | Intelligent whiteboard collaboratio systems and methods |
TWI657369B (zh) * | 2018-03-08 | 2019-04-21 | 和碩聯合科技股份有限公司 | 傳送連續資料的方法及資料傳輸系統 |
CN110062275B (zh) * | 2018-06-21 | 2021-07-09 | 安徽赛迈特光电股份有限公司 | 一种液晶显示屏远程控制装置及方法 |
JP2020076908A (ja) * | 2018-11-09 | 2020-05-21 | セイコーエプソン株式会社 | 表示装置及び表示装置の制御方法 |
JP7234612B2 (ja) * | 2018-11-30 | 2023-03-08 | 株式会社リコー | 情報処理システム及び情報処理方法 |
CN111381918A (zh) * | 2018-12-29 | 2020-07-07 | 中兴通讯股份有限公司 | 一种实现远程协助的方法及相关设备 |
WO2020147032A1 (zh) * | 2019-01-16 | 2020-07-23 | 永信科技股份有限公司 | 网络安全管理系统及其方法 |
US11132122B2 (en) | 2019-04-11 | 2021-09-28 | Ricoh Company, Ltd. | Handwriting input apparatus, handwriting input method, and non-transitory recording medium |
US11551480B2 (en) | 2019-04-11 | 2023-01-10 | Ricoh Company, Ltd. | Handwriting input apparatus, handwriting input method, program, and input system |
CN110446002A (zh) * | 2019-07-30 | 2019-11-12 | 视联动力信息技术股份有限公司 | 一种视频会议的处理方法、系统及装置和存储介质 |
JP7373712B2 (ja) * | 2019-08-19 | 2023-11-06 | 株式会社リコー | 通信端末、通信システム、データ共有方法およびプログラム |
CN110798650B (zh) * | 2019-09-24 | 2022-02-22 | 福建星网智慧科技有限公司 | 一种基于rtp的多系统媒体流传输控制方法和装置 |
WO2021064784A1 (ja) * | 2019-09-30 | 2021-04-08 | シャープNecディスプレイソリューションズ株式会社 | 設備管理装置、設備管理方法、及びプログラム |
US11733830B2 (en) | 2019-11-20 | 2023-08-22 | Ricoh Company, Ltd. | Display apparatus for displaying handwritten data with displayed operation menu |
JP7396136B2 (ja) * | 2020-03-13 | 2023-12-12 | 株式会社リコー | 通信管理装置、通信システム、通信方法およびプログラム |
CN111522438A (zh) * | 2020-03-25 | 2020-08-11 | 华为技术有限公司 | 内容传输方法、设备及介质 |
US11349888B2 (en) | 2020-03-31 | 2022-05-31 | Ricoh Company, Ltd. | Text data transmission-reception system, shared terminal, and method of processing information |
CN113055635A (zh) * | 2021-02-05 | 2021-06-29 | 福建中会智通信息科技有限公司 | 一种进行终端会议的方法和系统 |
EP4113262A4 (en) | 2021-03-12 | 2023-10-04 | BOE Technology Group Co., Ltd. | METHOD FOR INTERACTION BETWEEN A DISPLAY DEVICE AND A TERMINAL DEVICE, AND STORAGE MEDIUM AND ELECTRONIC DEVICE |
US20220391055A1 (en) * | 2021-05-28 | 2022-12-08 | Ricoh Company, Ltd. | Display apparatus, display system, and display method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002116729A (ja) * | 2000-10-04 | 2002-04-19 | Internatl Business Mach Corp <Ibm> | データ変換方法、画像表示方法、画像処理装置、画像表示装置、画像表示システムおよび画像処理システム |
JP2012081112A (ja) * | 2010-10-13 | 2012-04-26 | Toshiba Corp | 画像データ圧縮システム及び画像データ圧縮方法 |
JP2014195183A (ja) * | 2013-03-29 | 2014-10-09 | Brother Ind Ltd | プログラム、通信装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63138893A (ja) * | 1986-12-01 | 1988-06-10 | Nec Corp | テレビ会議システム |
JP4321203B2 (ja) * | 2002-10-29 | 2009-08-26 | 富士ゼロックス株式会社 | 遠隔会議システム及び遠隔会議支援方法、並びにコンピュータ・プログラム |
KR20090011436A (ko) * | 2007-07-26 | 2009-02-02 | 삼성전자주식회사 | 디스플레이장치와, 디스플레이장치의 제어방법 및 이를포함하는 디스플레이시스템 |
CN101286865B (zh) * | 2008-05-14 | 2010-11-10 | 华为技术有限公司 | 音视频会议中实现电子白板的方法、装置及系统 |
CN101370115A (zh) | 2008-10-20 | 2009-02-18 | 深圳华为通信技术有限公司 | 会议终端、会议服务器、会议系统及数据处理方法 |
CN101646056B (zh) * | 2009-08-28 | 2011-07-27 | 华为终端有限公司 | 实现视频会议和数据会议协同工作的方法、装置及系统 |
JP5668365B2 (ja) * | 2009-11-20 | 2015-02-12 | 株式会社リコー | 描画処理システム、サーバ装置、ユーザ端末、描画処理方法、プログラム及び記録媒体 |
JP6069898B2 (ja) | 2011-11-25 | 2017-02-01 | 株式会社リコー | 画像処理装置、画像処理システム、方法およびプログラム |
US20150365244A1 (en) | 2013-02-22 | 2015-12-17 | Unify Gmbh & Co. Kg | Method for controlling data streams of a virtual session with multiple participants, collaboration server, computer program, computer program product, and digital storage medium |
JP6323048B2 (ja) * | 2013-03-15 | 2018-05-16 | 株式会社リコー | 配信システム、配信方法、及びプログラム |
JP6398215B2 (ja) * | 2013-03-15 | 2018-10-03 | 株式会社リコー | 配信制御システム、配信システム、配信制御方法、及びプログラム |
WO2016031549A1 (ja) | 2014-08-26 | 2016-03-03 | 株式会社リコー | セッション制御システム、通信端末、通信システム、セッション制御方法、及びプログラム |
-
2016
- 2016-04-19 EP EP16789501.0A patent/EP3293955A4/en not_active Withdrawn
- 2016-04-19 JP JP2017516580A patent/JP6460228B2/ja active Active
- 2016-04-19 CN CN201680025383.5A patent/CN107534704B/zh not_active Expired - Fee Related
- 2016-04-19 WO PCT/JP2016/062362 patent/WO2016178365A1/ja unknown
-
2017
- 2017-11-01 US US15/800,227 patent/US10419618B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002116729A (ja) * | 2000-10-04 | 2002-04-19 | Internatl Business Mach Corp <Ibm> | データ変換方法、画像表示方法、画像処理装置、画像表示装置、画像表示システムおよび画像処理システム |
JP2012081112A (ja) * | 2010-10-13 | 2012-04-26 | Toshiba Corp | 画像データ圧縮システム及び画像データ圧縮方法 |
JP2014195183A (ja) * | 2013-03-29 | 2014-10-09 | Brother Ind Ltd | プログラム、通信装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6460228B2 (ja) | 2019-02-06 |
EP3293955A1 (en) | 2018-03-14 |
CN107534704B (zh) | 2020-11-06 |
EP3293955A4 (en) | 2018-03-21 |
US20180069962A1 (en) | 2018-03-08 |
US10419618B2 (en) | 2019-09-17 |
CN107534704A (zh) | 2018-01-02 |
WO2016178365A1 (ja) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6460228B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP6354764B2 (ja) | 配信管理装置、配信方法、及びプログラム | |
JP6326855B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6398215B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
US9723337B2 (en) | Distribution control system and distribution system | |
US9578079B2 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
JP6369043B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6354195B2 (ja) | 配信システム、配信方法、及びプログラム | |
US20140280446A1 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
US20150082359A1 (en) | Distribution management apparatus and distribution management system | |
US20150029196A1 (en) | Distribution management apparatus | |
JP2014199652A (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
US9596435B2 (en) | Distribution control apparatus, distribution control method, and computer program product | |
JP5754117B2 (ja) | 外部入力装置、表示データ作成方法、プログラム | |
JP6248488B2 (ja) | 通信端末及び通信方法 | |
US9596282B2 (en) | Delivery managing device, terminal, and delivery managing method | |
JP2015056046A (ja) | 配信管理システム、配信システム、配信管理方法、及びプログラム | |
US9525901B2 (en) | Distribution management apparatus for distributing data content to communication devices, distribution system, and distribution management method | |
JP2016063247A (ja) | 配信システム及び配信方法 | |
JP6248492B2 (ja) | 配信管理装置、配信管理システム、及び配信管理方法 | |
JP2016058812A (ja) | 配信制御システム、配信システム、配信制御システムの制御方法、及びプログラム | |
JP6442832B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP2015201695A (ja) | 配信管理装置 | |
JP2016054375A (ja) | 配信システム、配信制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181217 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6460228 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |