JPWO2017110505A1 - 画像処理装置、画像表示方法、プログラム - Google Patents

画像処理装置、画像表示方法、プログラム Download PDF

Info

Publication number
JPWO2017110505A1
JPWO2017110505A1 JP2017557866A JP2017557866A JPWO2017110505A1 JP WO2017110505 A1 JPWO2017110505 A1 JP WO2017110505A1 JP 2017557866 A JP2017557866 A JP 2017557866A JP 2017557866 A JP2017557866 A JP 2017557866A JP WO2017110505 A1 JPWO2017110505 A1 JP WO2017110505A1
Authority
JP
Japan
Prior art keywords
image
unit
display
input
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017557866A
Other languages
English (en)
Other versions
JP6583432B2 (ja
Inventor
加藤 喜永
喜永 加藤
笠谷 潔
潔 笠谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPWO2017110505A1 publication Critical patent/JPWO2017110505A1/ja
Application granted granted Critical
Publication of JP6583432B2 publication Critical patent/JP6583432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

外部機器が入力する入力映像を表示する画像処理装置は、記憶手段に記憶された第一の画像を取得する第一の画像取得手段と、前記入力映像から第二の画像を取得する第二の画像取得手段と、前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断する画像判断手段と、前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳する画像重畳手段と、前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示する表示手段と、を有する。

Description

本発明は、画像処理装置、画像表示方法及びプログラムに関する。
大型のフラットパネルディスプレイにタッチパネルが搭載された電子黒板が知られている。電子黒板は黒板の役割をする画面を表示し、電子ペンや指など指示体が接触した座標をタッチパネルで検出し、座標の軌跡を手書き内容として画面に描画する。したがって、ユーザは画面を黒板のように使用することができる。
また、PC(Personal Computer)と接続することができる電子黒板では、PCと同じ画面をディスプレイに表示して手書き内容を重畳して描画することができる(例えば、特許文献1参照。)。特許文献1には、外部の情報処理装置から送信された動画を画像データに変換して保存したり再表示させたりする表示装置について開示されている。
電子黒板はディスプレイに表示した映像を取り込む(キャプチャする)機能を有しており、手書き内容に限られずPCから入力された映像を静止画として取り込むことができる。
しかしながら、電子黒板のディスプレイに表示された映像のうち会議などへの参加者が所望する映像を取り込むことができない場合があるという問題がある。以下、具体的な例を説明する。
まず、電子黒板が使用される際、PCなどからの映像とは別に半透明の任意の画像を表示したいという要請がある。例えば、任意の画像を半透明にして電子黒板が表示すれば、会議への参加者等は半透明の画像を見ながら手書き内容等を見ることができる。半透明の画像に「Confidential」や「秘」という文字が記載されていれば、参加者等はディスプレイに表示されている情報の秘匿性が高いことを常に意識できる。
しかし、半透明の画像が常に表示されていると、参加者は半透明の画像が邪魔になって、静止画として取り込みたいPCの映像を特定しにくい場合がある。例えば、PCの映像のうち参加者がよく見たい場所に「Confidential」等の文字が重なっている場合、参加者はPCの映像を取り込んでよいかどうかを確認しづらい。
本発明は、上記課題に鑑み、表示中の画像の見やすさが低下することを抑制することができる電子黒板を提供することを目的とする。
上記課題に鑑み、本発明の一つの実施形態によれば、外部機器が入力する入力映像を表示する画像処理装置は、記憶手段に記憶された第一の画像を取得する第一の画像取得手段と、前記入力映像から第二の画像を取得する第二の画像取得手段と、前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断する画像判断手段と、前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳する画像重畳手段と、前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示する表示手段と、を有する。
表示中の画像の見やすさが低下することを抑制することができる画像処理装置を提供することができる。
電子黒板の動作の概略の例を説明する図である。 電子黒板の動作の概略の例を説明する図である。 電子黒板の動作の概略の例を説明する図である。 電子黒板の動作の概略の例を説明する図である。 画像処理システムの全体構成図の一例である。 電子黒板のハードウェア構成図の一例である。 電子黒板の機能ブロック図の一例である。 ファイル処理部の機能ブロック図の一例である。 サーバ部とクライアント部の機能ブロック図の一例である。 各画像レイヤの構成図の一例である。 各電子黒板の処理を示したシーケンス図の一例である。 各電子黒板の処理を示したシーケンス図の一例である。 透かし画像のアップロード時に表示される画面の例を説明する図である。 透かし画像のアップロード時に表示される画面の例を説明する図である。 透かし画像の一例を示す図である。 透かし画像の別の例を示す図である。 透明度の設定方法を説明するフローチャートの一例である。 透明度の設定画面の例を示す図である。 透明度の設定画面の例を示す図である。 透かし画像生成部が透かし画像を有効とするか無効とするかの制御手順を示すフローチャートの一例である。 透かし画像の有効/無効が設定される有効無効設定画面の一例を示す図である。 透かし画像生成部が透かし画像を有効とするか無効とするかの制御手順を示すフローチャートの一例である。 レイアウト管理部が映像の入力の有無に応じて透かし画像の表示と非表示を切り替える手順を示すフローチャートの一例である。 映像が入力されている場合に静止画の取得操作が行われた場合の動作を示すフローチャートの一例である。 ディスプレイに表示された画像の例を示す図である。 ディスプレイに表示された画像の例を示す図である。 静止画を取り込み時の電子黒板の動作の例を説明する図である。 静止画を取り込み時の電子黒板の動作の例を説明する図である。 静止画を取り込み時の電子黒板の動作の例を説明する図である。 レイアウト管理部が映像の入力の有無に応じて透かし画像(E)の表示と非表示を切り替える手順を示すフローチャートの変形例である。
以下、本発明を実施する形態の一例の装置である電子黒板2と電子黒板2が行う画像表示方法について図面を参照しながら説明する。
<動作の概略>
図1A−図1Dは、本実施形態の電子黒板2の動作の概略を説明する図の一例である。図1Aは電子黒板2に対し外部機器となるノートPC6(Personal Computer)と電子黒板2が接続されていない状態を示す。ノートPC6は自機のディスプレイに映像を表示しているがこの映像は電子黒板2には出力されていない。電子黒板2は半透明の画像(以下、透かし画像という)を表示する機能を有しており、透かし画像を利用して「Confidential」という文字を表示している。透かし画像(文字「Confidential」)は半透明であるため、会議などへの参加者(以下、電子黒板2を使用する者という意味でユーザという場合がある)はディスプレイ3に表示されている各種の情報を目視できる。
例えば、プレゼンテーションなどで機密情報が公開される場合、発表者が参加者と秘密保持契約(NDA:Non-disclosure agreement)を結ぶことが困難な場合がある。このような場合、電子黒板2に「Confidential」と表示されていれば、発表者と参加者は秘密保持契約を結んだと推定されるため、プレゼンテーション等を円滑に行うことができるという利点がある。
図1Bは本実施形態の電子黒板2と比較される比較例の動作を示す点に注意されたい。図1BはノートPC6と電子黒板2が接続されている状態を示す。図1Bに示すように、ノートPC6がディスプレイ3に表示する映像(これを出力画像(C)という)がディスプレイ3に出力されている。透かし画像(E)はノートPC6の映像より手前であるが、半透明なのでユーザは透かし画像越しにノートPC6の映像を目視できる。しかし、電子黒板2のディスプレイ3においては、「Confidential」という文字が常に表示されているため、ノートPC6の映像の視認性が低下してしまう。例えば、ノートPC6がディスプレイ3に動画を表示させている場合、映像が時間と共に変化するため、「Confidential」という文字と映像が重なっている部分も時間と共に変化する。ユーザは動画としての変化と、透かし画像と動画の重なり部分の変化を見てしまうため、ノートPC6の映像を取り込むタイミングを把握しにくい。
図1Cは本実施形態の電子黒板2がノートPC6の映像を表示する場合の動作を説明する図である。ノートPC6からの映像が入力された電子黒板2は、透かし画像(E)を非表示に切り替える。これにより、図1Cに示すように「Confidential」という文字がディスプレイ3に表示されない。ノートPC6の映像が「Confidential」という文字と重なることがないので、ユーザは静止画として保存しておきたい映像が表示されたタイミングでノートPC6の映像を静止画として取り込むことができる。
図1Dは本実施形態の電子黒板2がノートPC6の映像を表示しない場合の動作を説明する図である。ノートPC6からの映像が入力されない電子黒板2は、透かし画像(E)をディスプレイ3に表示する。ユーザが操作しなくても、透かし画像(E)の表示と非表示をノートPC6の映像の入力の有無により切り替えることができる。
以上説明したように、ノートPC6から映像(入力映像)が入力されていない場合、電子黒板2は、電子黒板2に(予め)記憶された第一画像(例えば、文字「Confidential」などの透かし画像)をディスプレイ3に表示する。この場合、ノートPC6の映像はディスプレイ3に表示されない。また、図20等において後述するように、ノートPC6から入力された映像(入力映像)が所定の条件を満たさない場合、電子黒板2は第一画像(文字「Confidential」などの透かし画像)を表示せずにノートPC6から入力された映像をディスプレイ3に表示し、ノートPC6から入力された映像(入力映像)が所定の条件を満たす場合、電子黒板2は第一画像(文字「Confidential」などの透かし画像)とノートPC6から入力された映像とをディスプレイ3に表示する。なお、例えば、図20に示すように、ノートPC6から入力された映像が動画である場合、所定の条件は満たされない。例えば、ノートPC6から入力された映像が動画ではない場合、所定の条件は満たされる。
このように電子黒板2が透かし画像の表示と非表示を制御することで、ノートPC6の映像が入力されていない場合は透かし画像を活用でき、ノートPC6の映像が入力されている場合にはノートPC6の映像を高画質に表示できる。
<用語について>
特許請求の範囲の外部機器は、電子黒板2に対し外部の機器であればよく、ケーブル、ネットワーク、又はインタフェースを介して接続できる機器を言う。例えば、ノートPC6及びこれと同等の機器が外部機器の一例である。また、可搬性の記憶媒体も外部機器に相当する。
画像処理装置は画像を表示する装置である。上記した電子黒板2は画像処理装置の一例である。画像処理装置は、ディスプレイを有していてもよいし、プロジェクタを使って画像を投影してもよい。本実施形態では、画像処理装置を電子黒板2という用語で説明する。
表示部はディスプレイやプロジェクタなど、画像を表示する手段をいう。画像処理装置がディスプレイを有する場合、ディスプレイが、画像処理装置に(予め)記憶された文字「Confidential」などの画像(第一画像)及びノートPC6などの外部機器から入力された画像(第二の画像)を表示することが可能な表示部である。画像処理装置がプロジェクタを使って画像を投影する場合、画像が投影される部分(被投影面)が表示部である。
<システムの概要>
図2は、本実施形態の画像処理システム1の全体構成図である。なお、図2では、説明を簡略化するために、2台の電子黒板2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の電子黒板2や電子ペン等を利用してもよい。
図2に示されているように、画像処理システム1は、複数の電子黒板2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、ノートPC6(Personal Computer)6a,6b、テレビ(ビデオ)会議端末7a,7b、及びPC8を有する。また、電子黒板2a,2b、及びPC8は、通信ネットワーク9を介して通信可能に接続されている。更に、複数の電子黒板2a,2bには、それぞれディスプレイ3a,3bが設けられている。
また、電子黒板2aには、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)による描画された画像を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザの手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。
また、電子黒板2aには、USBメモリ5aが接続可能であり、電子黒板2aはUSBメモリ5aからPDF等の電子ファイルを読み出したり、電子黒板2aはUSBメモリ5aに電子ファイルを記録したりすることができる。また、電子黒板2aには、DisplayPort(登録商標)、DVI(Digital Visual Interface)、HDMI(登録商標。High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、電子黒板2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。同じく、電子黒板2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。
一方、電子黒板2bが設置されている他の拠点では、上記と同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
これにより、一の拠点で電子黒板2aのディスプレイ3a上に描画された画像は、他の拠点で電子黒板2bのディスプレイ3b上にも表示され、逆に他の拠点で電子黒板2bのディスプレイ3b上に描画された画像は、一の拠点で電子黒板2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
なお、以下では、複数の電子黒板2のうち任意の電子黒板2を示す場合には「電子黒板2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPC6のうち任意のノートPC6を示す場合には「ノートPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。
また、本実施形態では、画像処理装置の一例として、電子黒板2を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等であってもよい。また、情報処理端末の一例として、ノートPC6を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、スマートフォン、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。
<電子黒板2のハードウェア構成>
続いて、図3を用いて、本実施形態の電子黒板2のハードウェア構成を説明する。なお、図3は、電子黒板2のハードウェア構成図である。
図3に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、電子黒板2用のプログラム等の各種データを記憶するSSD104、通信ネットワーク9との通信を制御するネットワークコントローラ105、及び、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。
また、電子黒板2は、ノートPC6のディスプレイに対して映像情報を静止画又は動画として表示させるキャプチャデバイス111、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112、及び、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ113を備えている。
更に、電子黒板2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。この接触センサ115は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。
また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
また、電子黒板2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
更に、電子黒板2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116を、図4に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
なお、電子黒板2用のプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
<電子黒板2の機能構成>
続いて、図4〜図7を用いて、電子黒板2の機能構成について説明する。なお、先ずは、図4を用いて、電子黒板2の全体的な機能構成について説明する。図4は、電子黒板2の機能ブロック図である。
電子黒板2は、図4に示されているハードウェア構成及びプログラムによって、図4に示されている各機能構成を有する。電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板2は、大きく分けて、クライアント部20及びサーバ部90の両方によって構成されている。クライアント部20及びサーバ部90は、電子黒板2の1台の筐体内で実現される機能である。そして、電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20とサーバ部90が実現される。また、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現されるが、サーバ部90は実現されない。即ち、図3において、電子黒板2aが主催装置で、電子黒板2bが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2bのクライアント部20と通信を行う。一方、電子黒板2bのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2aのクライアント部と通信を行う。
<<クライアント部20の機能構成>>
続いて、主に図4から図7を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
このうち、映像取得部21は、ケーブル10に接続された映像出力機器の出力画像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。
座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。
自動調整部23は、電子黒板2の起動時(再起動時と表現してもよい)に起動され、座標検知部22が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部22がセンサーカメラの画像を処理する際のパラメータを調整する。
接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。
イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「ストローク描画」は、ディスプレイ3上に図7に示されている後述のストローク画像(B)が表示されている場合に、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
「UI操作」は、ディスプレイ3上に図7に示されている後述のUI画像(A)が表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
「ジェスチャ操作」は、ディスプレイ3上に図7に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素にしたがって、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として表示部29に対して表示する。表示部29はディスプレイ3により実現される表示機能を示す。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部28は、ピクチャーインピクチャーされて表示部29の一部に表示された映像を、表示部29の全体に表示させるための切り替えを行う。
画像処理部30は、図7に示されているような各画像レイヤの重畳処理等を行う。この画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、透かし画像生成部38、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、及び遠隔ライセンス管理テーブル310を有している。
このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、図7に示されている映像出力機器(ノートPC6等)からの出力画像(C)に相当する。
ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図7に示されているストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部840に記憶される。
UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図7に示されているUI画像(A)に相当する。
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、図7に示されている背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。
透かし画像生成部38は、電子黒板2の記憶手段としてページデータ記憶部300に記憶されている透かし画像データを表示重畳部36に出力する。この透かし画像データは、図7に示されている透かし画像(E)に相当する。透かし画像の詳細は後述されるが、透かし画像生成部38はページデータ記憶部300の透かし画像データをディスプレイ3の解像度やアスペクト比に合わせるなどの処理を行って透かし画像データを生成する。透明度は予め透かし画像データが保持していてもよいし、ユーザが電子黒板2で設定してもよい。別の言い方をすれば、透かし画像(E)に関する透かし画像データは、少なくとも透かし画像(E)の透明度に関する情報を有していてもよい。
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、UI画像生成部33(又は背景生成部34)及び透かし画像生成部38から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)、ストローク画像(B)及び透かし画像(E)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、UI画像生成部33(背景生成部34)及び透かし画像生成部38から出力された各画像のレイアウト(重ね合わせ)を行う。
ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、図7に示されているストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。出力画像(C)のデータは、図7に示されているメディアデータIDで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
また、ページ処理部37は、ページデータ記憶部300に記憶された透かし画像データを透かし画像生成部38に送出する。透かし画像生成部38は透かし画像を表示重畳部36に送信する。
表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、背景生成部34からの背景画像(D)、及び透かし画像生成部38からの透かし画像(E)を、レイアウト管理部35によって指定されたレイアウトにしたがって重畳する。これにより、図7に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、透かし画像(E)、出力画像(C)、及び背景画像(D)の各レイヤの構成となっている。
また、表示重畳部36は、図7に示されている出力画像(C)と背景画像(D)を切り替えて、UI画像(A)、ストローク画像(B)及び透かし画像(E)に対して排他的に重畳することも可能である。例えば、当初、UI画像(A)、ストローク画像(B)及び出力画像(C)が表示されている状態で、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、出力画像(C)を重畳対象から外し、背景画像(D)を表示させることができる。この場合、レイアウト管理部35は透かし画像(E)を非表示から表示に切り替える。また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
ページデータ記憶部300は、表1に示されているようなページデータを記憶する。
Figure 2017110505
表1は、ページデータを概念的に示す。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、表1〜表4に分けて、ページデータの内容を説明する。
ページデータは、表1に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、後述の図7に示されているストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、後述の図7に示されている背景画像(D)がディスプレイ3上に表示されるためのデータである。
このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
Figure 2017110505
また、ストローク配列データは、表2に示されているように詳細な情報を示している。表2は、ストローク配列データを概念的に示す。表2に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。
Figure 2017110505
更に、この座標配列データは、表3に示されているように詳細な情報を示している。表3は、座標配列データを概念的に示す。表3に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、表3に示されている1点の集まりが、表2に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
また、表1に示されているページデータのうちのメディアデータは、表4に示されているように詳細な情報を有している。
Figure 2017110505
表4は、メディアデータを概念的に示す。表4に示されているように、メディアデータは、表1に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。
図4に戻って説明する。ページデータ記憶部300には、透かし画像データが記憶されている。透かし画像データは表5に示されているような情報を有している。
Figure 2017110505
表5は、ページデータ記憶部300に記憶された透かし画像データを概念的に示す。表5に示されているように、透かし画像データはファイルとして保持されており、ファイル名、更新日時、種類、及び、作成者の各情報を対応付けて保持している。これらは情報処理装置がファイルの属性として有する項目であり、この他、ファイルが持ちうる属性が登録されていてよい。また、表5では3つのファイルが登録されているが、ファイルは1つ以上登録されていればよい。また、1つもファイルが登録されていない場合もあり得る(透かし画像は表示できない)。複数のファイルが登録されている場合、最後に表示された透かし画像データ、ユーザが選択した透かし画像データ、更新日時が最も新しい(又は古い)透かし画像データ、又は、電子黒板2にログインしたユーザを作成者とする透かし画像データが適宜、選択して使用される。
ファイルの種類は透明度を扱える透過PNG(以下、単にPNGという)であるが、透過GIFなど透明度を表すことができるファイルであればよい。また、ファイルの機能として透明度を保持できなくても透かし画像生成部38が、JPEGなどから透明度が制御された透かし画像を作成してもよい。
次に、遠隔ライセンス管理テーブル310について説明する。遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル310では、表6に示されているように、電子黒板2のプロダクトID、認証に用いられるライセンスID、及びライセンスの有効期限が関連付けて管理されている。
Figure 2017110505
(ファイル処理部40の機能構成)
続いて、図5を用いて、図4に示されているファイル処理部40の機能構成を説明する。なお、図5は、ファイル処理部の機能ブロック図である。ファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a、及び設定ファイル出力部49bを有している。更に、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、及び接続先管理テーブル440を有している。
このうち、リカバリ処理部41は、電子黒板2が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがPDFファイルとしてファイル処理部40を介してUSB5に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部41は、ページデータ記憶部300からページデータを読み出すことで復旧させる。
ファイル入力部42aは、USBメモリ5から、PDFファイルを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。ファイル変換部43は、ページデータ記憶部300に記憶されているページデータを、PDF形式のファイルに変換する。また、ファイル入力部42aは、透かし画像データを読み取り、ページデータ記憶部300に記憶する。電子黒板2に装着されたUSBメモリ5からPNGなど所定の種類のファイルを自動で読み取ってもよいし、ユーザが指定するファイルをファイル入力部42aがUSBメモリ5からページデータ記憶部300にコピーしてもよい。
また、ユーザが任意の端末を操作して電子黒板2と通信し、電子黒板2が用意したWebページを使って透かし画像データを電子黒板2にアップロードで入力してもよい。この場合、ファイル入力部42aはWebサーバとして機能する。任意の端末はブラウザ等で電子黒板2のIPアドレスを指定してファイル送信が可能なHTMLデータを電子黒板2から受信する。ブラウザはユーザによるファイルの選択を受け付けるので、ユーザが選択した透かし画像データのファイルを任意の端末がファイル入力部42aに送信する。ファイル入力部42aは透かし画像データのファイルをページデータ記憶部300に記憶させる。別の言い方をすれば、ファイル入力部42aは、透かし画像(E)の透明度に関する情報を有する透かし画像データを、外部から取り込む(取得する)ことができ、その透かし画像データをページデータ記憶部300に記憶することができる。
ファイル出力部42bは、ファイル変換部43によって出力されたPDFファイルをUSBメモリ5に記録する。
ファイル送信部44は、ファイル変換部43によって生成されたPDFファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部36によってディスプレイ3上にアドレス帳管理テーブル410の内容を表示し、ファイル送信部44がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル410には、表7に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。
Figure 2017110505
また、ファイル送信部44が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。
アドレス帳入力部45は、USBメモリ5から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル410に管理する。
バックアップ処理部46は、ファイル出力部42bによって出力されたファイルや、ファイル送信部44によって送信されたファイルを、バックアップデータ記憶部420に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、表8に示されているように、PDF形式で記憶される。
Figure 2017110505
バックアップ出力部47は、バックアップされたファイルをUSBメモリ5に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティのためにパスコードが入力される。
設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はDNS(Domain Name System)の設定等である。
設定ファイル出力部49bは、電子黒板2の各種設定情報を、設定ファイルとしてUSBメモリ5に記録させる。なお、設定ファイルはセキュリティによって、ユーザは中身を見ることができない。
設定ファイル入力部49aは、USBメモリ5に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板2の各種設定に反映させる。
アドレス帳入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧ファイルを読み込み、接続先管理テーブル440に管理する。接続先管理テーブル440の一例を表9に示す。
Figure 2017110505
接続先管理テーブル440は、電子黒板2が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板2のIPアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル440では、参加されることが可能な主催装置としての電子黒板2が設置されている拠点の名称、及び主催装置としての電子黒板2のIPアドレスが関連付けて管理されている。
なお、接続先管理テーブル440は、無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のIPアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のIPアドレスを知得する。
(通信制御部60の機能構成)
次に、図6を用いて、通信制御部60の機能構成について説明する。図6は、サーバ部90とクライアント部20の機能ブロック図の一例である。通信制御部60は、通信ネットワーク9を介して、他の電子黒板2と行う通信や、サーバ部90における後述の通信制御部70と行う通信を制御する。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、及び参加拠点管理テーブル610を有している。
このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ部90に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部90から要求の結果を受信する。この場合、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照し、ライセンス情報(プロダクトID、ライセンスID、及び有効期限)が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
参加拠点管理テーブル610は、電子黒板2が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板2を管理するテーブルである。参加拠点管理テーブル610の一例を表10に示す。
Figure 2017110505
この参加拠点管理テーブル610では、参加中の電子黒板2が設置されている拠点の名称及び当該電子黒板2のIPアドレスが関連付けて管理されている。
遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置としての電子黒板2のサーバ部90における遠隔接続要求受信部71に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル440を参照して、参加先の電子黒板2のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板2のIPアドレスが入力されてもよい。
遠隔画像送信部63は、映像取得部21から画像取得部31を介して送られて来た出力画像(C)を、サーバ部90に送信する。
遠隔画像受信部64は、サーバ部90から、他の電子黒板2に接続された映像出力機器からの画像データを受信し、表示重畳部36に出力することで、遠隔共有処理を可能にする。
遠隔操作送信部65は、遠隔共有処理に必要な各種操作データをサーバ部90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部66は、サーバ部90から、他の電子黒板2で入力された操作データを受信し、画像処理部30に出力することで、遠隔共有処理を行う。
<<サーバ部の機能構成>>
続いて、図6を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、及びデータ管理部80を有している。
(通信制御部70の機能構成)
次に、図6を用いて、通信制御部70の機能構成について説明する。
通信制御部70は、同じ電子黒板2内のクライアント部20における通信制御部70、及び通信ネットワーク9を介して他の電子黒板2内のクライアント部20における通信制御部70との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
更に詳細に説明すると、通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、及び遠隔操作送信部76を有している。
このうち、遠隔接続要求受信部71は、遠隔開始処理部61からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部62からの遠隔共有処理に対する参加要求を受信したりする。遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部62へ遠隔共有処理に対する参加要求の結果を送信したりする。
遠隔画像受信部73は、遠隔画像送信部63からの画像データ(出力画像(C)のデータ)を受信し、後述の遠隔画像処理部82に送信する。遠隔画像送信部74は、遠隔画像処理部82から画像データを受信し、遠隔画像受信部64に対して、この画像データを送信する。
遠隔操作受信部75は、遠隔操作送信部65からの操作データ(ストローク画像(B)等のデータ)を受信し、後述の遠隔操作処理部83に送信する。遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、この操作データを送信する。
(データ管理部の機能構成)
次に、図6を用いて、データ管理部80の機能構成について説明する。データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、及びページ処理部85を有している。更に、サーバ部90は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、及びページデータ記憶部850を有している。
このうち、遠隔接続処理部81は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部81は、クライアント部としての他の電子黒板2からの参加要求が予め定められた参加可能数を超えていないかを確認する。
更に、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、主催装置としての電子黒板2のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。
また、電子黒板2が主催装置の場合、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部90の参加拠点管理テーブル820に記憶する。そして、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。遠隔接続結果送信部72は、同じ主催装置のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。遠隔開始処理部61は、参加拠点管理テーブルに610に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部20及びサーバ部90の両方で、遠隔拠点情報を管理することになる。
遠隔画像処理部82は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板2のクライアント部を含む)に接続された映像出力機器(ノートPC6等)からの画像データ(出力画像(C))を受信して画像データ記憶部830に記憶すると共に、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像データの表示順を判断する。また、遠隔画像処理部82は、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部を含む)に、通信制御部70(遠隔画像送信部74)を介して、上記判断した順番で画像データを送信する。
遠隔操作処理部83は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板2のクライアント部を含む)で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を受信し、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像の表示順を判断する。なお、各種操作データは、上記の各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部を含む)に操作データを送信する。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、この合成結果としての操作データを、操作データ記憶部840に記憶すると共に遠隔操作処理部83に戻す。この操作データは、遠隔操作送信部76から、主催装置である電子黒板2のクライアント部、及び参加装置である電子黒板2のクライアント部のそれぞれに送信されることで、各電子黒板2で同じ操作データに係る画像が表示される。操作データの一例を表11に示す。
Figure 2017110505
操作データは、表11に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No.、操作データの送信先である電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のクライアント部(Port No.:50001)でストロークが描画されると、同じ主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータID「p005」、及び、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)から、参加装置である他の電子黒板2(IPアドレス:192.0.0.1)のクライアント部(Port No.:50001)に、操作データが送られたことが示されている。
なお、操作合成処理部84は、この操作合成処理部84に操作データが入力された順に合成を行うため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板2のディスプレイ3にストローク画像(B)が表示される。
ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ部90でも、表1から表3に示されているページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容であるため、その説明を省略する。
<実施形態の処理又は動作>
続いて、図8及び図9を用いて、本実施形態の処理又は動作について説明する。なお、図8及び図9は、各電子黒板2の処理を示したシーケンス図である。図8及び図9に示す実施形態では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部及びクライアント部)としての役割を果たしており、電子黒板2b,2cが遠隔共有処理に参加する参加装置(クライアント部)としての役割を果たす場合について説明する。また、ここでは、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが接続され、更に、それぞれノートPC6a,6b,6cが接続されている。また、電子黒板2a,2b,2cでは、それぞれ電子ペン4a,4b,4cが使用される。
(参加の処理)
まずは、図8を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
ユーザが電子黒板2aの電源スイッチをオンにすると、電子黒板2aのクライアント部20が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部90を起動させる操作をすると、クライアント部20の遠隔開始処理部61から同じ電子黒板2aのサーバ部90における遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなくサーバ部90も各種処理を開始可能となる(ステップS21)。
次に、電子黒板2aのクライアント部20におけるUI画像生成部33が電子黒板2aとの接続を確立するための接続情報を生成し、映像重畳部28が、UI画像生成部33から表示重畳部36を介して得た接続情報をディスプレイ3aに表示させる(ステップS22)。
この接続情報には、主催装置のIPアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部810に記憶されているパスコードは、図7に示されている遠隔接続処理部81によって読み出され、遠隔接続結果送信部72、遠隔開始処理部61の順に送信される。更に、パスコードは、遠隔開始処理部61を含む通信制御部60から、図5に示されている画像処理部30に送信され、最終的にUI画像生成部33に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板2aのユーザによって、電話や電子メールにより、電子黒板2b,2cのユーザに伝えられる。なお、接続先管理テーブル440があれば、接続情報には、主催装置のIPアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
次に、電子黒板2b,2cでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板2a,2bのクライアント部20における遠隔参加処理部62が、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90における通信制御部70に対してパスコードを送信して参加要求を行う(ステップS23,S24)。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b,2cから、参加要求(パスコードを含む)を受信し、このパスコードを遠隔接続処理部81に出力する。
次に、遠隔接続処理部81は、各電子黒板2b,2cから受信したパスコードに対し、パスコード管理部810で管理されているパスコードを用いて認証する(ステップS25)。
そして、遠隔接続結果送信部72が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS26,S27)。
ステップS25の認証により、各電子黒板2b,2cが正当な電子黒板2であると判断されていた場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b,2cとの遠隔共有処理の通信が確立され、各電子黒板2b,2cのクライアント部20における遠隔参加処理部62が、それぞれ他の電子黒板2との間の遠隔共有処理の開始を可能にする(ステップS28,S29)。
(出力画像の表示)
続いて、図8を用いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
まず、電子黒板2bは、ディスプレイ3bに出力画像(C)を表示する(ステップS30)。具体的には、電子黒板2bの画像取得部31が、ノートPC6bから映像取得部21を介して、ノートPC6bで表示されている出力画像(C)のデータを受信し、表示重畳部36及び映像重畳部28を介してディスプレイ3bに送信することで、ディスプレイ3bは出力画像(C)を表示する。
次に、電子黒板2bの画像取得部31を含む画像処理部30が、遠隔画像送信部63に出力画像(C)のデータを送信することで、遠隔画像送信部63を含む通信制御部60が通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70に出力画像(C)のデータを送信する(ステップS31)。これにより、電子黒板2aの遠隔画像受信部73は、出力画像(C)のデータを受信し、遠隔画像処理部82に出力することで、遠隔画像処理部82が画像データ記憶部830に出力画像(C)のデータを記憶する。
次に、主催装置である電子黒板2aは、ディスプレイ3aに出力画像(C)を表示する(ステップS32)。具体的には、電子黒板2aの遠隔画像処理部82は、遠隔画像受信部73から受信した出力画像(C)のデータを、遠隔画像送信部74に出力する。遠隔画像送信部74は、同じ主催装置である電子黒板2aのクライアント部20における遠隔画像受信部64に、出力画像(C)のデータを出力する。遠隔画像受信部64は、表示重畳部36に出力画像(C)のデータを出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3aに出力画像(C)のデータを出力する。これにより、ディスプレイ3aは、出力画像(C)を表示する。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔画像送信部74を含む通信制御部70は、通信ネットワーク9を介して、出力画像(C)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に出力画像(C)のデータを送信する(ステップS33)。これにより、参加装置である電子黒板2cの遠隔画像受信部64は、出力画像(C)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに出力画像(C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔画像受信部64が、上記ステップS33によって受信された出力画像(C)のデータを、電子黒板2cの表示重畳部36に出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3cに出力画像(C)のデータを出力する。これにより、ディスプレイ3cは、出力画像(C)を表示する。
なお、出力画像(C)のデータだけでなく、UI画像(A)、ストローク画像(B)及び透かし画像(E)の各画像が、映像重畳部28に入力されている場合には、表示重畳部36により、重畳画像(A,B,C)が生成され、映像重畳部28はディスプレイ3cに重畳画像(A,B,C)のデータを出力する。後述するように、透かし画像(E)は表示されない。また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(F)のデータが送られて来ている場合には、映像重畳部28は、重畳画像(A,B,C)にピクチャーインピクチャーによりテレビ会議用の映像(F)のデータを重畳して、ディスプレイ3cに出力する。
なお、透かし画像(E)に関しては主催装置と参加装置の間で送受信されない。したがって、透かし画像(E)が表示されるかどうかは電子黒板2によって異なる。また、各電子黒板2が表示する透かし画像(E)も電子黒板2によって異なっていてよい(同じ場合もある)。
また、透かし画像データは電子黒板2の間で送受信されてもよい。電子黒板2は、電子黒板2の動作に関する設定が記述された設定情報を伝達する機能を有している。設定情報とは、例えば、電子黒板2が適切に動作するための設定(同期時刻、再起動時刻など)、電子黒板2の動作を許可又は制限するための設定(パスコードなどのセキュリティに関する設定)、各機能のオン/オフの設定、ネットワークを介してインターネットや他の機器と通信するための設定(IPアドレス等)、などを含む。設定情報を伝達する機能を利用して、設定情報と共に透かし画像データを電子黒板2の間で共有できる。
(重畳画像の表示)
続いて、図9を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
まず、電子黒板2bは、ユーザが電子ペン4bを用いて電子黒板2bにストローク画像(B)を描画する(ステップS41)。
次に、電子黒板2bの表示重畳部36は、図7に示されているように、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳し、映像重畳部28が電子黒板2bのディスプレイ3b上に、重畳された重畳画像(A,B,C)を表示させる(ステップS42)。具体的には、電子黒板2bのストローク処理部32が座標検知部22及び接触検知部24からイベント振分部25を介して、操作データとしてのストローク画像(B)のデータを受信し、表示重畳部36に送信する。これにより、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳することができ、映像重畳部28が電子黒板2bのディスプレイ3b上に重畳画像(A,B,C)を表示させることができる。
次に、電子黒板2bのストローク処理部32を含む画像処理部30が、遠隔操作送信部65にストローク画像(B)のデータを送信することで、電子黒板2bの遠隔操作送信部65は、通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70にストローク画像(B)のデータを送信する(ステップS43)。
これにより、電子黒板2aの遠隔操作受信部75は、ストローク画像(B)のデータを受信し、遠隔操作処理部83に出力することで、遠隔操作処理部83が操作合成処理部84にストローク画像(B)のデータを出力する。このようにして、電子黒板2bで描画されたストローク画像(B)のデータは、描画される度に、主催装置である電子黒板2aの遠隔操作処理部83に順次送信される。このストローク画像(B)のデータは、図8に示されているストロークデータID毎に示されるデータである。よって、例えば、上記したように、ユーザが電子ペン4によってアルファベット「T」を描く場合は二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(B)のデータが順次送信される。
次に、主催装置である電子黒板2aは、ディスプレイ3aに、電子黒板2bから送られて来たストローク画像(B)のデータが含まれた重畳画像(A,B,C)を表示する(ステップS44)。具体的には、電子黒板2aの操作合成処理部84は、遠隔操作処理部83を介して順次送られて来た複数のストローク画像(B)のデータを合成して、操作データ記憶部840に記憶すると共に遠隔操作処理部83に戻す。これにより、遠隔操作処理部83は、操作合成処理部84から受信した、合成後のストローク画像(B)のデータを、遠隔操作送信部76に出力する。遠隔操作送信部76は、同じ主催装置である電子黒板2aのクライアント部20における遠隔操作受信部66に、合成後のストローク画像(B)のデータを出力する。遠隔操作受信部66は、画像処理部30における表示重畳部36に、合成後のストローク画像(B)のデータを出力する。よって、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、合成後のストローク画像(B)を重畳する。最後に、映像重畳部28が、表示重畳部36によって重畳された重畳画像(A,B,C)をディスプレイ3a上に表示させる。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔操作送信部76を含む通信制御部70は、通信ネットワーク9を介して、ストローク画像(B)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に、合成後のストローク画像(B)のデータを送信する(ステップS45)。これにより、参加装置である電子黒板2cの遠隔操作受信部66は、合成後のストローク画像(B)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに重畳画像(A,B,C)を表示する(ステップS46)。具体的には、電子黒板2cの遠隔操作受信部66が、上記ステップS45によって受信された合成後のストローク画像(B)のデータを、電子黒板2cの画像処理部30に出力する。画像処理部30の表示重畳部36は、UI画像(A)、及び出力画像(C)の各データと、合成後のストローク画像(B)のデータを重畳し、映像重畳部28に重畳画像(A,B,C)のデータを出力する。映像重畳部28は、ディスプレイ3cに重畳画像(A,B,C)のデータを出力する。これにより、ディスプレイ3cは、重畳画像(A,B,C)を表示する。
なお、上記処理では、ディスプレイ3上に出力画像(C)が表示されているが、この出力画像(C)に代えて、背景画像(D)を表示してもよい。また、出力画像(C)と背景画像(D)との排他的な関係をやめて、出力画像(C)と背景画像(D)との両方を同時にディスプレイ3上に表示させてもよい。
(参加の終了)
続いて、図9を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図9に示す実施形態では、電子黒板2cが参加を終了する処理が示されている。
まず、電子黒板2cでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部62は、主催装置としての電子黒板2aのサーバ部90における通信制御部70に、参加の終了要求を行う(ステップS47)。これにより、通信制御部70の遠隔接続要求受信部71は、電子黒板2cから、参加の終了要求を受信し、遠隔接続処理部81に、電子黒板2cのIPアドレスと共に参加の終了要求を出力する。そして、電子黒板2aの遠隔接続処理部81は、遠隔接続要求受信部71から送られて来たIPアドレスに基づいて、参加拠点管理テーブル820から、参加の終了要求を行った電子黒板2cのIPアドレス及び電子黒板2cが設置されている拠点の名称を削除し、遠隔接続結果送信部72に、電子黒板2cのIPアドレス及び削除した旨の通知を出力する。
次に、遠隔接続結果送信部72を含んだ通信制御部70が、通信ネットワーク9を介して、電子黒板2cのクライアント部20における通信制御部60に、参加の終了を指示する(ステップS48)。これにより、電子黒板2cにおける通信制御部60の遠隔参加処理部62が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する(ステップS49)。
<透かし画像のアップロード>
上記のように例えば管理者は管理者端末を使って電子黒板2と通信し、透かし画像のファイルを電子黒板2にアップロードできる。
図10Aは管理者端末の画面例を示す。図10Aは電子黒板2のWebサーバが提供するWebページの一部を示す。以下、図10Aに示す画面をアップロード画面601という。アップロード画面601はポート番号欄602、IPID欄603、及びアップロードボタン604を有する。ポート番号欄602には電子黒板2が各種の設定を受け付けるポート番号が設定される。IPID欄603にはIPIDが入力される。IPIDは電子黒板2のIPアドレスを特定する情報であり、電子黒板2のIDと同じ値である。管理者はIPアドレスでなくIPIDを入力すればよいので透かし画像のアップロードをすることが容易になる。電子黒板2のIDとIPアドレスが対応付けられたテーブルは電子黒板2から送信されるか管理者端末が記憶している。なお、IPアドレスを入力してもよい。なお、図10Aのアドレス入力欄には対象となる電子黒板を特定するため、対象となる電子黒板と関連付けられたIPアドレスやホスト名を入力することがよくある。このような場合には、既にIPアドレスが特定されているため、IPID欄はなくてもよい。
管理者がアップロードボタン604を押下すると、図10Bのファイル選択画面611が表示される。ファイル選択画面611はファイル一覧部612、及び開くボタン613を有している。管理者はファイル一覧部612から透かし画像のファイルを選択し、開くボタン613を押下する。これにより、透かし画像のファイルが電子黒板2に送信される。
<透かし画像について>
図11Aは透かし画像の一例を示す。図11Bは、透かし画像の別の例を示す。図11Aは「Confidential」という文字を表示する透かし画像であり、図11Bは全体が均一色の透かし画像である。なお、説明の便宜上、図11A及び図11Bは、UI画像(A)、ストローク画像(B)、出力画像(C)及び背景画像(D)が表示されていない状態を示している。
図11Aの透かし画像がディスプレイ3に表示された場合、ストローク画像(B)及び背景画像(C)が機密事項であることをディスプレイ3を見ている1以上のユーザに報知できる。また、図11Bの透かし画像がディスプレイ3に表示された場合、通常は白色のディスプレイ3をより輝度の小さい色合いで表示できるためユーザがまぶしく感じることを抑制できる。ディスプレイ3の明るさを下げると画面を暗く感じるおそれがあるが、透かし画像(E)を使えばディスプレイ3の明るさを下げずにまぶしく感じにくくすることができる。例えば、グリーンや黒色(完全な黒でなくてもよい)の均一色とすれば、チョークで文字等が描かれる黒板に似た色合いとなる。透明な均一色の透かし画像であれば、全体が暗くなるためコントラストを調整するような効果も得られる。
図11のような透かし画像(E)が出力画像(C)よりも手前にあるため、ユーザは透かし画像(E)越しに出力画像(C)を視認できる。上記したように、電子黒板2に記憶された透かし画像(E)は、例えば、図11Aに示すような1以上の所定の文字を有する画像または、図11Bに示すような均一な色の画像であってもよい。
ユーザは、透明度を百分率で設定することができる。また、PNGは画素単位で透明度が設定される機能を持つ。本実施形態では、0%が完全な透明、100%が完全な不透明であるものとする。一般の言葉の解釈と逆なのは、PNGの透明度の定義にしたがっているためであり、0%が完全な不透明、100%が完全な透明であると定義してもよい。
図11Aは「Confidential」という文字の部分(画素単位)の透明度が20%、それ以外を透明度が0%の透かし画像である。図11Bは全体が白い画像に全体が黒く透明度が20%の透かし画像を重ね合わせた例である。
図11Aの文字や図11Bの均一画像は一例に過ぎない。電子黒板2は種々の文字を透かし画像で表示できるし、種々の風景や写真などを透かし画像で表示できる。また、透かし画像は動画でもよい。上記したように、操作処理部26は、透かし画像(E)の一部又は全部の透明度の設定(設定値)を受け付けることができる。透かし画像(E)は設定された透明度で表示される。
図12は透明度の設定方法を説明するフローチャートの一例である。適宜、図13A及びBを参照して説明する。まず、ユーザは透かし画像の透明度を選択するメニューをUI画像(A)から選択する。複数の透かし画像データがページデータ記憶部300に記憶されている場合、ユーザは透明度を設定したい透かし画像データを一覧から選択する。これにより、透かし画像生成部38はディスプレイ3に透かし画像(E)を表示させる(ステップS10)。
また、透かし画像生成部38は透明度を設定する色又は領域の設定を受け付ける(ステップS20)。より詳細には座標検知部22が電子ペン4又は指が接触した座標を検知すると、イベント振分部25がUI操作が行われたと判断し、操作処理部26に通知する。操作処理部26は電子ペン4又は指が接触した座標により操作内容を判断し(色又は領域の設定操作)、透かし画像生成部38に通知する。
次に、透かし画像生成部38は透明度の設定を受け付ける(ステップS30)。例えば、透かし画像の透明度は、ユーザにより設定される。座標検知部22から透かし画像生成部38までの処理の流れはステップS20と同様である。透かし画像生成部38はステップS20で指定された色又は領域の透明度をステップS30で設定された透明度で再表示する。
透かし画像生成部38はユーザが透明度の設定を終了するまでステップS20〜S40の処理を繰り返す(ステップS50)。
図13Aは、色の指定を受け付けて透明度の設定を受け付ける透明度設定画面501の一例を示す。透明度設定画面501は、透かし画像が表示される透かし画像欄502、色設定部503、透明度スライダ504、及び透明度入力欄505を有する。
ユーザは電子ペン4又は指で透明度を変更する色を指定する。例えば、「Confidential」という文字の透明度を変更する場合は、ユーザは「Confidential」のどこでも一部を電子ペン4又は指でタッチする。座標検知部22によりタッチされた画素が分かる(検知できる)ので、透かし画像生成部38はこの画素の色を検出できる。
次に、ユーザが透明度スライダ504又は透明度入力欄505を操作して透明度を設定すると、透かし画像生成部38がこれを受け付け、同じ色を持つ全ての画素を設定された透明度に設定する。透明度は画素ごとに透かし画像データに記録される。
このように文字の部分を指定して透明度を変更できるので、2色以上の色(文字の部分とその他)を有する透かし画像データの全体の透明度を変えることなく文字のみの透明度を変更できる。別の言い方をすれば、ユーザは透かし画像の透明度を部分的に及び全体的に変更(設定)することができる。
また、ユーザは「Confidential」という文字や背景の色を変更することができる。ユーザが電子ペン4又は指で色設定部503を押下すると透かし画像生成部38がこれを受け付け、色パレットを表示する。ユーザは色パレットから任意の色を選択して、電子ペン4又は指のタッチで指定した画素の色を選択した色を変更できる。
図13Bは、領域の指定を受け付けて透明度の設定を受け付ける透明度設定画面501の一例を示す。ユーザは電子ペン4又は指で透明度を変更する領域506を指定する。例えば、ユーザは、2点を指定して矩形領域を描画したり、円を描画したり、自由筆記で領域506を描画する。透かし画像生成部38は座標検知部22を介して領域506の座標を取得するのでこの領域内の画素を特定できる。
次に、ユーザが透明度スライダ504又は透明度入力欄505を操作して透明度を設定すると、透かし画像生成部38がこれを受け付け、指定された領域の画素を設定された透明度に設定する。図13Bの透明度設定画面501では、均一の色を有する透かし画像データや色数が多い複雑な透かし画像データの任意の領域を指定して透明度を設定できる。なお、図13Aと同様に、ユーザが指定した領域の色を変更することも可能である。領域506として透かし画像の全体を選択すれば透かし画像の全体の透明度を設定できる。
図13Aの設定方法と図13Bの設定方法は、両方とも電子黒板2に実装されており、ユーザが任意に選択できる。
<透かし画像データの有効化>
電子黒板2が透かし画像を表示するか否かの制御について説明する。透かし画像データがページデータ記憶部300に記憶されている場合、電子黒板2が自動的に(ユーザの操作がなくても)ディスプレイ3に透かし画像(E)を表示すれば、ユーザが透かし画像(E)を表示し忘れたりすることがなく便利である。そこで、電子黒板2は透かし画像(E)が記憶されている場合、透かし画像(E)を有効にするものとする。
透かし画像(E)を有効にするとは、透かし画像(E)を表示する条件(表示条件)が成立した場合は自動的に透かし画像(E)を表示することを言う。すなわち、透かし画像(E)が有効であっても表示条件が成立しない場合、電子黒板2は透かし画像(E)を表示しない。表示条件は例えば映像が入力されていることである。表示条件の詳細は後述する。
図14は、透かし画像生成部38が透かし画像(E)を有効とするか無効とするかの制御手順を示すフローチャートの一例である。図14の処理は、例えば電子黒板2の起動時、又は、起動中に定期的に実行される。
まず、透かし画像生成部38は、ページ処理部37を介してページデータ記憶部300に透かし画像データが記憶されているか否かを判断する(ステップS10)。透かし画像データがページデータ記憶部300の所定のフォルダ又はディレクトリに記憶されている場合、ページデータ記憶部300は該フォルダ又はディレクトリのファイルの有無を判断する。更に、所定の拡張子(*.png)のデータが記憶されているか否か又は所定のファイル名のデータが記憶されているか否かに基づいて、透かし画像生成部38は、ページデータ記憶部300に透かし画像データが記憶されているか否かを判断してもよい。
ステップS10の判断がYesの場合、透かし画像生成部38は、ページ処理部37を介して透かし画像データをページ処理部37から取得する(ステップS20)。透かし画像が複数ある場合は、例えば図15のような画面で選択された透かし画像データを取得する。別の言い方をすれば、操作処理部26は複数の透かし画像をディスプレイ3に表示し、複数の透かし画像から選択された一つの画像を使用(表示)されるべき透かし画像として受け付ける。
そして、透かし画像生成部38は、レイアウト管理部35に対し透かし画像を有効に設定する(ステップS30)。レイアウト管理部35は透かし画像(E)が有効なので、表示重畳部36に対し透かし画像(E)のレイヤを表示するよう要求する。透かし画像生成部38が透かし画像を表示重畳部36に送出すれば、ディスプレイ3に透かし画像(E)が表示される。
ステップS10の判断がNoの場合、透かし画像生成部38は、レイアウト管理部35に対し透かし画像(E)のレイヤを無効に設定する(ステップS40)。透かし画像(E)が無効なので、レイアウト管理部35は表示重畳部36に対し透かし画像(E)のレイヤを表示しないよう要求する。透かし画像生成部38が透かし画像を表示重畳部36に送出しても、ディスプレイ3に透かし画像(E)は表示されない。
なお、図14の判断は透かし画像生成部38ではなくレイアウト管理部35が行ってもよい。
このように自動的に透かし画像の有効又は無効が設定されることで、ユーザが透かし画像(E)を表示したい場合に透かし画像(E)を有効に設定する必要がない。しかしながら、ユーザが透かし画像を表示したくない場合も存在すると考えられる。この場合、ユーザはページデータ記憶部300から透かし画像データを削除すればよいが、ユーザにとっては手間となる場合がある。そこで、以下のようにユーザが有効/無効を選択できることが有効である。
図15は、透かし画像の有効/無効が設定される有効無効設定画面511の一例を示す図である。有効無効設定画面511は、縮小透かし画像データ欄512、データ選択ボタン513、有効設定欄514、及び有効設定ボタン515を有している。有効無効設定画面511はユーザが所定の操作を行うことで例えばUI画像生成部33が表示させる。
ユーザは透かし画像データの一覧の中から透かし画像データを1つ選択する。データ選択ボタン513は排他ボタンであるのでユーザは任意の1つのボタン(1つの透かし画像)のみを選択できる。また、ユーザは透かし画像を有効とする場合は「はい」の前にある有効設定ボタン515を選択する。ユーザは、透かし画像を無効とする場合は「いいえ」の前にある有効設定ボタン515を選択する。有効設定ボタン515も排他ボタンである。このようにユーザは透かし画像を選択できると共に有効とするか無効とするかを電子黒板2のディスプレイ3で設定できる。なお、選択された透かし画像データ、及び、有効か無効かの設定内容はページデータ記憶部300に記憶される。
図16は、透かし画像生成部38が透かし画像(E)を有効とするか無効とするかの制御手順を示すフローチャートの一例である。図16の説明では図14との相違を説明する。
図16では、透かし画像生成部38はページデータ記憶部300に記憶されているユーザの設定内容を参照し、透かし画像が有効に設定されているか否かを判断する(ステップS5)。
ステップS5の判断がYesの場合、処理はステップS10に進み、ステップS5の判断がNoの場合、処理はステップS40に進む。以降は、図14の処理と同様に処理が実行される。したがって、ユーザが透かし画像を表示したくない場合は、透かし画像データがページデータ記憶部300に記憶されていても透かし画像を表示させない。ユーザが透かし画像を表示させたい場合、透かし画像データがページデータ記憶部300に記憶されていれば、表示条件が成立した場合に自動的に透かし画像データを表示させることができる。
<映像入力の有無に基づく透かし画像の表示と非表示の切り替え>
以上のように、透かし画像データが有効に設定された場合、表示重畳部36は透かし画像(E)をディスプレイ3に表示することができる。しかし、透かし画像が邪魔になる場合があるため、以下のようにレイアウト管理部35は表示条件が成立するか否かを判断し、透かし画像(E)の表示と非表示を切り替える。
図17は、レイアウト管理部35が映像の入力の有無に応じて透かし画像(E)の表示と非表示を切り替える手順を示すフローチャートの一例である。図17は、透かし画像が有効である場合に例えば定期的に実行される。
まず、レイアウト管理部35はノートPC6から映像が入力されているか否かを判断する(ステップS10)。ノートPC6からの映像は映像取得部21が取得し画像取得部31が取得する。レイアウト管理部35は画像取得部31に映像の入力の有無を問い合わせる。あるいは、レイアウト管理部35は、表示重畳部36に、画像取得部31から出力画像(C)が出力されているか否かを問い合わせてもよい。また、このような判断は説明の便宜を考慮したもので、キャプチャデバイス111が映像の信号を検出するか否かにより判断されてよい。
なお、映像が入力されていない場合とは、ノートPC6と電子黒板2が映像のケーブル(D−Sub、HDMI(登録商標)、DVI等)で接続されていないことをいう。映像のケーブルでノートPC6が電子黒板2に接続されていても、ノートPC6の電源がOFFであるなど映像を入力することができない場合は、映像が入力されていないと判断される。
ステップS10の判断がYesの場合、レイアウト管理部35は、透かし画像(E)のレイヤを非表示にして、出力画像(C)のレイヤを表示するように表示重畳部36に通知(要求)する(ステップS20)。なお、出力画像(C)のレイヤは、映像が入力されていれば表示されている場合が多く、出力画像(C)のレイヤを表示させる通知はなくてもよい。
ステップS10の判断がNoの場合、レイアウト管理部35は、透かし画像(E)のレイヤを表示にして、出力画像(C)のレイヤを非表示するように表示重畳部36に通知(要求)する(ステップS30)。なお、出力画像(C)のレイヤは、映像が入力されていなければ表示されないので、出力画像(C)のレイヤを非表示にする通知はなくてもよい。
このように、出力画像(C)が表示される場合は透かし画像(E)が表示されないので、ユーザが透かし画像が邪魔になることがなく、静止画として取り込みたいノートPC6の映像を特定しやすい。出力画像(C)が表示されない場合は透かし画像(E)が表示されるので、「Confidential」と表示されればユーザはストローク画像(B)及び背景画像(D)の秘匿性が高いことを把握できる。また、均一な透かし画像が表示されれば、好みの色合いやコントラストでストローク画像(B)及び背景画像(D)を目視できる。
<静止画の取得処理>
ノートPC6から電子黒板2に映像が入力されている場合の静止画の取得処理について説明する。
図18Aは映像が入力されている場合に静止画の取得操作が行われた場合の動作を示すフローチャートの一例である。図18BとCはディスプレイ3に表示された画像の例である。映像が入力されているので、図18Aの処理のスタート時、透かし画像(E)は表示されていない。なお、見やすくするため、UI画像(A)とストローク画像(B)は表示していない。
まず、ユーザがUI画像(A)を操作して静止画を取り込む操作を行う。操作処理部26はこの操作を受け付ける(ステップS10)。図18Bは静止画の取り込み時の出力画像(C)を示す。
静止画として取得されるのは、ストローク画像(B)及び出力画像(C)である。UI画像(A)は取得の対象とならず、透かし画像(E)は表示されていない(表示されていても透かし画像(E)は取り込みの対象ではない)。出力画像(C)が表示されているので背景画像(D)も表示されていない。ページ処理部37は画像取得部31から出力画像(C)を取得し、ストローク処理部32からストローク画像(B)を取得し、背景画像(D)としてページデータ記憶部300に記憶する。また、背景画像(D)が取得されたのでユーザが背景画像(D)を見たいと判断し、ページ処理部37は背景生成部34に背景画像(D)を送出し、背景生成部34は表示重畳部36に背景画像(D)送出する(ステップS20)。
また、レイアウト管理部35は、背景画像(D)を優先するため出力画像(C)を非表示にし、更に透かし画像(E)のレイヤを表示させるように表示重畳部36に通知する(ステップS30)。
図18Cは背景画像(D)として表示された静止画と透かし画像(E)を示す。このように、静止画(背景画像(D))を取得した後は、電子黒板2は再び、透かし画像(E)を表示させることができる。「Confidential」等の文字により、出力画像(C)では透かし画像(E)が表示されていなくても背景画像(D)の秘匿性が高いことをユーザに把握させることができる。
<<静止画を取り込み後の遷移>>
図18Cに示すように背景画像(D)と透かし画像(E)が表示されている間もノートPC6から映像が入力されている。一定時間の経過後、再び、図17の処理が実行され、ディスプレイ3の表示状態が、背景画像(D)と透かし画像(E)を表示する状態から出力画像(C)を表示する状態に切り替わる。一定時間が経過する前にディスプレイ3の表示状態を切り替えるには、ユーザは背景画像(D)及び透かし画像(E)から出力画像(C)に切り替える操作を行う。
図19を用いて説明する。図19AはノートPC6の映像を電子黒板2が全画面で表示している出力画像(C)を示す。電子黒板2が出力画像(C)を表示している場合、ノートPC6の映像を取り込むための映像アイコン622が強調表示される。例えば、映像アイコン622に所定の色の枠が表示されたり、枠が太くなったり、点滅したりする。
次に、ユーザがカメラアイコン621を押下すると、図19Bに示すように、出力画像(C)が静止画として取り込まれる。図19Bは、図18Aの終了時の段階を示す。つまり、背景画像(D)と透かし画像(E)が表示されている。静止画が取り込まれると新しいページが生成され、ディスプレイ3の下部にサムネイル623が表示される。また、出力画像(C)が表示されていないので、映像アイコン622が強調表示されなくなる。また、現在表示中のサムネイル623が強調表示されていることから、ユーザは背景画像(D)であることを把握できる。
この図19Bの状態で一定時間(たとえば30秒)が経過すると、図17の処理の開始に移行する。図19Cは図17の処理が実行された状態を示す。背景画像(D)と透かし画像(E)が出力画像(C)に切り替わっている。このため、映像アイコン622が強調表示される。また、現在表示中のサムネイル623が強調表示されないことから、ユーザはディスプレイ3に表示された画像が出力画像(C)であることを把握できる。
以上説明したように、ユーザにより行われる所定の操作に応答して、ページ処理部37は、ディスプレイ3に表示されている第二の画像(ノートPC6から電子黒板2に入力された映像)を静止画として取得(キャプチャ)する。所定の操作が行われた後に、映像重畳部28は、ディスプレイ3に、取得された静止画と第一画像(文字「Confidential」)を所定時間表示する。所定時間が経過した後に、映像重畳部28は再び第二の画像(ノートPC6から電子黒板2に入力された映像)を表示する。
図19Bの状態で一定時間が経過する前に図19Cの状態にディスプレイ3の表示状態を移行させるには、ユーザが映像アイコン622を押下する。
<<映像が入力されていない場合>>
映像が入力されていない場合、出力画像(C)は非表示で透かし画像(E)が表示されている。また、ディスプレイ3の表示状態は、ユーザが手書きしたストローク画像(B)が表示され、背景画像(D)も表示されている状態である。映像が入力されていない場合、ユーザは取り込む操作を行えない。
<映像の入力に対する透かし画像の表示と非表示の切り替えの変形例>
図17の処理では、映像が入力されていれば透かし画像(E)を非表示にして、映像が入力されていなければ透かし画像(E)を表示した。更に、ノートPC6から電子黒板2に入力された映像が動画か否かに基づいて、透かし画像(E)の表示と非表示を切り替えてもよい。つまり、動画が入力されているかどうかが表示条件となる。
図20は、レイアウト管理部35が映像の入力の有無に応じて透かし画像(E)の表示と非表示を切り替える手順を示すフローチャートの変形例である。なお、図20の説明では図17との相違を主に説明する。
映像が入力されている場合(ステップS10のYes)、レイアウト管理部35は入力されている映像(入力映像)が動画か否かを判断する(ステップS15)。この動画は、例えば、一定時間間隔で撮影された一連の画像を連続表示する映像でもよい。また、動画は、ユーザがノートPC6を操作することで時間的に変化する映像でもよい。例えば、画面を切り替えたりブラウザソフトウェアでスクロールしたりするような場合も、映像は動画である。
映像が動画であるかどうかは、画像取得部31が取得する時系列のフレームの差分演算により判断できる。フレームの全体で差分演算を行うと負荷が高いような場合は、フレームの一部にのみ行ってもよい。
映像が動画であると判断した場合(ステップS15においてYes)、レイアウト管理部35は、透かし画像(E)のレイヤを非表示にして、出力画像(C)のレイヤを表示するように表示重畳部36に通知(要求)する(ステップS20)。したがって、この場合、映像重畳部28は、透かし画像(E)を表示せずに出力画像(C)を表示する。
映像が動画ではないと判断した場合(ステップS15においてNo)、レイアウト管理部35は、透かし画像(E)のレイヤと出力画像(C)のレイヤをどちらも表示するように表示重畳部36に通知(要求)する(ステップS40)。したがって、この場合、映像重畳部28は、透かし画像(E)と出力画像(C)を表示する。より具体的には、表示重畳部36は透かし画像(E)と出力画像(C)を重畳し、映像重畳部28は、表示重畳部36により重畳された透かし画像(E)と出力画像(C)をディスプレイ3に表示する。別の言い方をすれば、映像重畳部28は、透かし画像(E)と出力画像(C)を重畳することで得られた画像を表示する。
動画が入力される場合は、ユーザがどの映像を見たいのか不明であるし、映像を探すために透かし画像(E)が邪魔になるおそれがあるが、図20の処理によれば動画が入力される場合は透かし画像(E)を非表示にできる。別の言い方をすれば、透かし画像(E)に妨げられることなく、ユーザは、ノートPC6から入力された動画を構成する複数の画像を見ることができる。これにより、例えば、ユーザは、複数の画像のうちの一つの画像を、所望のタイミング(時点)で取得(キャプチャ)することができる。また、静止画が入力される場合は、ユーザがゆっくりと映像を見ることができるので、電子黒板2は、透かし画像(E)はそれほど邪魔にならないと判断し、透かし画像(E)と出力画像(C)を表示する。したがって、出力画像(C)を表示したまま、映像が変化している場合は透かし画像(E)を非表示にして、映像が変化しなくなると透かし画像(E)を表示させるような電子黒板2の使い方が可能になる。映像が静止すると例えば「Confidential」という文字を表示できるので、映像が入力されている場合でも静止画なら透かし画像(E)を表示できる。別の言い方をすれば、ノートPC6から入力された映像(入力画像)がディスプレイ3上において所定時間以上変化しない場合には、映像重畳部28は透かし画像(E)と出力画像(C)をディスプレイ3に重畳して表示してもよい。ノートPC6から入力された映像(入力画像)がディスプレイ3上において所定時間未満の間隔で変化する場合には、映像重畳部28は透かし画像(E)を表示せずに出力画像(C)をディスプレイ3に表示してもよい。
<まとめ>
以上説明したように、本実施形態の電子黒板2は、ユーザが操作しなくても、透かし画像の表示と非表示をノートPC6の映像の入力の有無により切り替えることができる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、透かし画像は、白地に文字又は均一色に限られず、画像が含む情報に関係なく画像であれば透かし画像となりうる。
また、本実施形態では、電子黒板2に有線でノートPC6が接続された場合を説明したが、ノートPC6は無線で映像を電子黒板2に入力してもよい。この場合、映像の入力の有無は無線LANなどの通信装置が映像を受信したか否かにより判断される。
更に、ノートPC6と電子黒板2が1対1で接続又は通信する場合だけでなく、ネットワーク(有線又は無線)で通信する場合も本実施形態を適用できる。
また、図4などの構成例は、電子黒板2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。電子黒板2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
なお、透かし画像生成部38は第一の画像取得手段の一例であり、画像取得部31は第二の画像取得手段の一例であり、レイアウト管理部35は画像判断手段の一例であり、表示重畳部36は画像重畳手段の一例であり、映像重畳部28は表示手段の一例である。また、透かし画像は第一の画像の一例であり、出力画像は第二の画像の一例であり。ファイル入力部42aは画像取り込み手段の一例であり、操作処理部26は透明度受付手段の一例であり、ページ処理部37は静止画取得手段の一例である。
なお、上記した実施形態に係る画像処理装置は、1以上のプログラムを記憶したデバイスメモリーと、1以上のプロセッサによって実現されてもよい。1以上のプロセッサは、1以上のプログラムを実行することで、実施形態において記載された処理を実行する。例えば、デバイスメモリーと1以上のプロセッサは、実施形態に記載されたような機能を実現(実装)することができる。例えば、デバイスメモリーと1以上のプロセッサは、実施形態において記載されたようなハードウェア要素によって実現(実装)されてもよい。また、画像処理装置などのコンピュータに処理を実行させるための1以上のプログラムは、不揮発性の記録媒体に記憶されていてもよい。
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
本願は、日本特許庁に2015年12月25日に出願された基礎出願2015−253020号及び日本特許庁に2016年10月25日に出願された基礎出願2016−209023号の優先権を主張するものであり、その全内容を参照によりここに援用する。
2 電子黒板
3 ディスプレイ
4 電子ペン
30 画像処理部
31 画像取得部
33 UI画像生成部
34 背景生成部
35 レイアウト管理部
36 表示重畳部
37 ページ処理部
38 透かし画像生成部
特開2013-210957号公報

Claims (11)

  1. 外部機器が入力する入力映像を表示する画像処理装置であって、
    記憶手段に記憶された第一の画像を取得する第一の画像取得手段と、
    前記入力映像から第二の画像を取得する第二の画像取得手段と、
    前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断する画像判断手段と、
    前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳する画像重畳手段と、
    前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示する表示手段と、を有する画像処理装置。
  2. 前記第一の画像取得手段は、少なくとも一部に透明度に関する情報を有する前記第一の画像を取得する請求項1に記載の画像処理装置。
  3. 外部から透明度に関する情報を有する前記第一の画像を取り込み、前記記憶手段に記憶させる画像取り込み手段を有する請求項1又は2に記載の画像処理装置。
  4. 前記第一の画像は、所定の文字を有するか又は均一色である請求項2又は3に記載の画像処理装置。
  5. 前記第一の画像の一部又は全体の透明度の設定を受け付ける透明度受付手段を有する請求項2〜4のいずれか1項に記載の画像処理装置。
  6. 前記透明度受付手段は、複数の画像を表示し、前記複数の画像から選択された一つの画像を前記第一の画像として受け付け、
    前記第一の画像取得手段は選択された前記第一の画像を前記記憶手段から取得する請求項5に記載の画像処理装置。
  7. 前記画像判断手段は、前記外部機器から入力された前記入力映像が動画である場合、前記第一の画像を表示せず、前記第二の画像を表示させると判断し、
    前記画像判断手段は、前記外部機器から入力された前記入力映像が動画でない場合、前記第一の画像及び前記第二の画像を表示させると判断する請求項1〜6のいずれか1項に記載の画像処理装置。
  8. 所定の操作により前記第二の画像を静止画として取得する静止画取得手段を有し、
    前記静止画取得手段が前記静止画を取得した場合、前記入力映像が入力されていても、前記画像判断手段は前記第二の画像を表示せず、前記静止画と共に前記第一の画像を表示させると判断する請求項1〜7のいずれか1項に記載の画像処理装置。
  9. 所定の操作に応答して前記第二の画像を静止画として取得する静止画取得手段を有し、
    前記所定の操作が行われた後に、前記表示手段は前記静止画と前記第一の画像を所定時間表示し、
    前記所定時間が経過した後に、前記表示手段は前記第二の画像を表示する請求項1〜7のいずれか1項に記載の画像処理装置。
  10. 外部機器が入力する入力映像を表示する画像処理装置が行う画像表示方法であって、
    第一の画像取得手段が、記憶手段に記憶された第一の画像を取得するステップと、
    第二の画像取得手段が、前記入力映像から第二の画像を取得するステップと、
    画像判断手段が、前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断するステップと、
    画像重畳手段が、前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳するステップと、
    表示手段が、前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示するステップと、を有する画像表示方法。
  11. 外部機器が入力する入力映像を表示する画像処理装置を、
    記憶手段に記憶された第一の画像を取得する第一の画像取得手段と、
    前記入力映像から第二の画像を取得する第二の画像取得手段と、
    前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断する画像判断手段と、
    前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳する画像重畳手段と、
    前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示する表示手段、として機能させるためのプログラム。
JP2017557866A 2015-12-25 2016-12-08 画像処理装置、画像表示方法、プログラム Active JP6583432B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015253020 2015-12-25
JP2015253020 2015-12-25
JP2016209023 2016-10-25
JP2016209023 2016-10-25
PCT/JP2016/086581 WO2017110505A1 (ja) 2015-12-25 2016-12-08 画像処理装置、画像表示方法、プログラム

Publications (2)

Publication Number Publication Date
JPWO2017110505A1 true JPWO2017110505A1 (ja) 2018-10-04
JP6583432B2 JP6583432B2 (ja) 2019-10-02

Family

ID=59090097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017557866A Active JP6583432B2 (ja) 2015-12-25 2016-12-08 画像処理装置、画像表示方法、プログラム

Country Status (5)

Country Link
US (1) US20180292951A1 (ja)
EP (1) EP3396510B1 (ja)
JP (1) JP6583432B2 (ja)
CN (1) CN108475160A (ja)
WO (1) WO2017110505A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
CN110087098B (zh) 2018-01-26 2021-12-03 阿里巴巴(中国)有限公司 水印处理方法及装置
JP2020160654A (ja) 2019-03-26 2020-10-01 セイコーエプソン株式会社 表示装置の制御方法及び表示装置
US11132122B2 (en) 2019-04-11 2021-09-28 Ricoh Company, Ltd. Handwriting input apparatus, handwriting input method, and non-transitory recording medium
US11551480B2 (en) 2019-04-11 2023-01-10 Ricoh Company, Ltd. Handwriting input apparatus, handwriting input method, program, and input system
CN111176531A (zh) * 2020-01-03 2020-05-19 京东方科技集团股份有限公司 电子设备及其交互方法、计算机可读存储介质
CN111352557B (zh) * 2020-02-24 2021-09-14 北京字节跳动网络技术有限公司 一种图像处理方法、组件、电子设备及存储介质
CN113630606B (zh) * 2020-05-07 2024-04-19 百度在线网络技术(北京)有限公司 视频水印处理方法、装置、电子设备及存储介质
CN111930653B (zh) * 2020-07-13 2022-06-24 四川钛阁科技有限责任公司 一种usb设备的远程分配使用方法及装置
CN115618812A (zh) * 2021-07-16 2023-01-17 富泰华工业(深圳)有限公司 基于色彩编码的用户信息嵌入方法、电子设备及存储介质
TWI796265B (zh) * 2022-07-27 2023-03-11 友達光電股份有限公司 顯示裝置以及影像顯示方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3898651B2 (ja) * 2003-02-25 2007-03-28 株式会社東芝 情報表示装置、情報表示方法および情報表示システム
US20070041608A1 (en) * 2003-05-28 2007-02-22 Oki Electric Industry Co., Ltd. Watermark information embedding apparatus, image processing device, watermark information embedding method and image processing method
US7546528B2 (en) * 2004-12-20 2009-06-09 Ricoh Co., Ltd. Stamp sheets
JP4596156B2 (ja) * 2005-08-11 2010-12-08 ブラザー工業株式会社 情報処理装置及びプログラム
US20100259560A1 (en) * 2006-07-31 2010-10-14 Gabriel Jakobson Enhancing privacy by affecting the screen of a computing device
EP1981274A1 (en) * 2007-04-12 2008-10-15 Alcatel Lucent Multimedia descriptions for adding additional multimedia
EP2071822A1 (en) * 2007-12-13 2009-06-17 Thomson Licensing Method and apparatus for inserting a removable visible watermark in an image and method and apparatus for removing such watermarks
JP5335368B2 (ja) * 2008-10-27 2013-11-06 シャープ株式会社 画像表示装置、携帯端末
US20130128120A1 (en) * 2011-04-06 2013-05-23 Rupen Chanda Graphics Pipeline Power Consumption Reduction
KR101311286B1 (ko) * 2011-10-11 2013-09-25 주식회사 파수닷컴 워터마크를 화면상에 표시하는 장치 및 방법
US20140176562A1 (en) * 2012-12-21 2014-06-26 Appsense Limited Systems and methods for providing a software application privacy screen
JP2015069284A (ja) * 2013-09-27 2015-04-13 株式会社リコー 画像処理装置

Also Published As

Publication number Publication date
CN108475160A (zh) 2018-08-31
WO2017110505A1 (ja) 2017-06-29
EP3396510B1 (en) 2020-06-03
JP6583432B2 (ja) 2019-10-02
EP3396510A4 (en) 2018-12-05
EP3396510A1 (en) 2018-10-31
US20180292951A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6583432B2 (ja) 画像処理装置、画像表示方法、プログラム
JP6094550B2 (ja) 情報処理装置、プログラム
JP2015069284A (ja) 画像処理装置
JP6493546B2 (ja) 電子黒板、記憶媒体、及び情報表示方法
JP6402826B2 (ja) 情報処理装置、画像表示方法、プログラム
US11294495B2 (en) Electronic whiteboard, method for image processing in electronic whiteboard, and recording medium containing computer program of electronic whiteboard
JP2019186946A (ja) 電子黒板
JP2016208394A (ja) 情報処理装置、画像表示方法
CN107037939B (zh) 电子黑板和图像处理方法
JP2016139322A (ja) 画像処理装置及びそれを備えた電子黒板
JP6143100B2 (ja) 画像処理装置及び画像処理システム
JP6631643B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP6036621B2 (ja) システム、情報処理装置
JP6589621B2 (ja) 表示装置、カメラ位置制御方法、およびプログラム
JP7298224B2 (ja) 表示装置、及び表示方法
JP7363064B2 (ja) 画像処理装置、方法、およびプログラム
WO2015186453A1 (ja) 座標検知装置、画像処理装置、及び座標検知方法
JP2015056038A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190819

R151 Written notification of patent or utility model registration

Ref document number: 6583432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151