JPWO2013121455A1 - プロジェクタ、図形入力・表示装置、携帯端末およびプログラム。 - Google Patents

プロジェクタ、図形入力・表示装置、携帯端末およびプログラム。 Download PDF

Info

Publication number
JPWO2013121455A1
JPWO2013121455A1 JP2013558576A JP2013558576A JPWO2013121455A1 JP WO2013121455 A1 JPWO2013121455 A1 JP WO2013121455A1 JP 2013558576 A JP2013558576 A JP 2013558576A JP 2013558576 A JP2013558576 A JP 2013558576A JP WO2013121455 A1 JPWO2013121455 A1 JP WO2013121455A1
Authority
JP
Japan
Prior art keywords
terminal
line
data
projector
terminals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013558576A
Other languages
English (en)
Other versions
JP6161544B2 (ja
Inventor
清水 宏
宏 清水
▲吉▼澤 和彦
和彦 ▲吉▼澤
鈴木 基之
基之 鈴木
西島 英男
英男 西島
益岡 信夫
信夫 益岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Maxell Energy Ltd
Original Assignee
Hitachi Maxell Energy Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Energy Ltd filed Critical Hitachi Maxell Energy Ltd
Priority to JP2013558576A priority Critical patent/JP6161544B2/ja
Priority claimed from PCT/JP2012/000927 external-priority patent/WO2013121455A1/ja
Publication of JPWO2013121455A1 publication Critical patent/JPWO2013121455A1/ja
Application granted granted Critical
Publication of JP6161544B2 publication Critical patent/JP6161544B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

白板へ記入する参加者の位置による白板の閲覧の妨げを防止し、記入した記録の途中経過を含めた経緯を、後に利用するために参加者全員の記入記録経緯を保存する。参加者全員の端末が、入力された任意の線画を、線分に分割して前記コントローラに逐次送信し、また前記コントローラから送信された線画情報を、タッチパネル付端末のディスプレイ上に表示する機能を有するタッチパネル付端末を有し、また、各タッチパネル付端末から送信された線画情報を、逐次データベースに記録しつつ、白板イメージのビデオイメージメモリに追記し、前記ビデオイメージメモリ内容を前記液晶プロジェクタにより壁面に投影すると同時に、前記データベースを、各タッチパネル付端末に送信する機能を有するコントローラを内蔵もしくは接続可能な液晶プロジェクタを用いる。

Description

本発明は、会議や発表会等において、複数の参加者により、同時に手書き入力による自由な書き込みや修正が出来る電子的に構築した図形入力・表示装置に関するものである。
通常、特に新たな事項を提案しつつ進行することが求められる会議や発表会では、黒板のように大サイズの画面で、手書きによる直接書き込みや訂正、消去や変更などが出来、参加者全員が同時に閲覧できる画面が存在することが望ましい。
一般に小規模から中規模の会議等で使用されるものとして、白色のパネルに水性ペンによる記入や訂正、消去が出来る白板が有効利用されている。この白板には、さらに記入したものの最終結果をイメージスキャナにより読み取り、紙に印刷して会議結果の控えを残す機能を有するものも利用されている。
さらに会議結果の控えを電子的な情報として保存・管理する方法として、先行技術文献の特許文献1に、複数の手書き入力装置を備えた端末装置と、各端末装置にて手書き入力された情報をサーバに集結し、該サーバの表示ウィンドウ内の特定エリアごとに各端末の手書き入力エリアを設定し、それぞれの端末で入力した情報を表示する発明が記載されている。
また、特許文献2には、テレライティング装置にて入力した手書き線を、静止画通信装置によりデジタル信号で送信するに適したデータフォーマットが記載されている。
特開2008−269525号公報 特開平6−296210号公報
本発明にて解決しようとする課題は、参加者全員が一斉に閲覧できる白板への記入や編集作業により、白板の閲覧を妨げないこと。また、記入した記録の途中経過までを含めた経緯を、後に閲覧するための手段を設け、有効な会議の進行や会議の結果を踏まえた活動のために、会議での議論等の情報を、より有用に活用可能とするための手段を提供することである。
そこで本発明の目的は、プロジェクタおよび端末を利用した会議等におけるユーザの使い勝手を向上することを目的とする。
本発明の目的は、その一例として特許請求の範囲に記載の構成により達成できる。
本発明によれば、プロジェクタおよび端末を利用した会議等におけるユーザの使い勝手を向上することができる。
図形入力・表示装置、携帯端末を構成する、各機器間の接続と、具体的な動作イメージを示す説明図である。 図形入力・表示装置、携帯端末における、複数の線分を同時に入力して表示するためのデータの取り扱いとフォーマットを説明した説明図である。 図形入力・表示装置、携帯端末の、各端末からのデータパケットの出力とプロジェクタへのデータ送信、そしてプロジェクタから端末へのデータパケットの再配布を示した説明図である。 図形入力・表示装置、携帯端末における、タッチパネル付端末装置に線画を入力する際の、表示方法を示した説明図である。 図形入力・表示装置の、携帯端末のシステム構造を示すブロック図の例である。 図形入力・表示装置、携帯端末の、インテリジェント液晶プロジェクタのシステム構造を示すブロック図の例である。 図形入力・表示装置の、ソフトウェアの構造とハードウェアの関係を示す第一の実施例を説明する説明図である。 図形入力・表示装置、携帯端末の、ソフトウェアの構造とハードウェアの関係を示す第二の実施例を説明する説明図である。 図形入力・表示装置、携帯端末の構成機器を用いて、会議中に特定の端末同士の間のみの会話を行うUIを示した説明図である。 図形入力・表示装置、携帯端末で、描画が進行している線がどの利用者により書かれているかを表示する方法を示した説明図である。 図図形入力・表示装置、携帯端末にて取り扱う描画データの流れを示した説明図である。 図形入力・表示装置、携帯端末にて取り扱う描画データの流れを操作する動作をフローチャートで示した説明図である。 図形入力・表示装置、携帯端末の会議進行途中の白板イメージの巻き戻し再生動作を示した説明図である。 図形入力・表示装置、携帯端末において、参加者が描画する一定単位の線画をすべて描画してから、まとめて表示する方法を示した説明図である。 図形入力・表示装置、携帯端末の、端末の表示画面の例を示す説明図である。 図形入力・表示装置、携帯端末の、特定の端末による記入・削除の禁止状態を示した説明図である。 図形入力・表示装置、携帯端末の、端末の操作を操作者の意思により一時的に停止する方法を示した説明図である。 図図形入力・表示装置、携帯端末の、各端末の操作者が個人的にメモを記録する場合の画面を示した説明図である。 図形入力・表示装置、携帯端末の、標準的な図形を自動的に清書する画面を示した説明図である。 図形入力・表示装置、携帯端末の、文字入力における画面例を示す説明図である。 図形入力・表示装置、携帯端末の、会議参加者のID表示の例を示す説明図である。 図形入力・表示装置、携帯端末の、会議開始時の画面を事前設定する場合の例を示した説明図である。 図形入力・表示装置、携帯端末の、構成機器を用いて、会議中に特定の端末同士の間のみの会話を行う場合の端末内構造を示す説明図である。 図形入力・表示装置、携帯端末の、自動スケール変更に関する動作を示した説明図である。 図形入力・表示装置、携帯端末の、カメラを用いた参加者確認動作を示した説明図である。 図形入力・表示装置、携帯端末の、カメラを用いた参加者確認のカメラ部の具体的動作を示した説明図である。
以下、本発明による図形入力・表示装置の具体的な実施例を、図を用いて説明する。
図1は、本発明による図形入力・表示装置、携帯端末を構成する、各機器間の接続と、具体的な動作イメージを示す説明図である。
白板を壁面やスクリーンに投射するデバイスは、インテリジェント液晶プロジェクタ10010である。これは液晶プロジェクタ10020と、コントローラ10030により構成され、液晶プロジェクタ10020と、コントローラ10030は、同一筐体内への内蔵でも、別体で構成して、コントローラ10030より投射イメージデータを液晶プロジェクタ10020にアナログもしくはデジタル信号により伝送する方式のいずれでもよい。伝送された投射イメージは、壁面に投射され(10011)、大画面のイメージとして会議の参加者全員が閲覧することが出来る。
会議の参加者は、各自タッチパネル及び同寸のディスプレイを一体としたタッチパネル付端末(10040〜10070)を有し、タッチパネルにペン(10041、10042)により、手書き線画の入力や編集を行うことが出来る。
インテリジェント液晶プロジェクタ10010内のコントローラと、各タッチパネル付端末(10040〜10070)の間は、本実施例においては、無線で構成されるLAN(Local Area Network)により接続されている。このLAN環境は、一般のオフィスなどで共有利用されている無線LAN環境を用いてもよいが、本実施例では、コントローラ10030をルータとして、該コントローラからIPアドレスを提供されて接続される各タッチパネル付端末(10040〜10070)の間だけに接続環境がクローズされるLANにて構成される。会議開始時の動作は、既にコントローラにMACアドレス等が登録されている複数のタッチパネル付端末との間でのIPアドレスの配信や、会議参加者が持ち込んだタッチパネル付端末を、コントローラに設けた操作スイッチや、コントローラから液晶プロジェクタにより投影されたIDコードなどを端末に入力することで、通信接続環境が構築される。
具体的な動作を以下に説明する。各タッチパネル付端末(10040〜10070)にペン(10041、10042)で入力された線は、この例において、タッチパネル付端末(10040)及びタッチパネル付端末(10070)の二台で、同時に線画の入力が行われている状態である。即ち、最終的に表示される白板イメージ上では、二本の線画が同時に伸び続けており、あたかも二名の参加者が同時に従来の白板に物理的に記入をしているのと同じ状態で表示される。
投射された白板イメージ10011と同一のイメージは、各タッチパネル付端末(10040〜10070)に同時に表示され、会議参加者は、最新の白板イメージを見ながら、そこに加筆・修正を行うことが出来る。
投射及びタッチパネル付端末(10040〜10070)に表示されたイメージには、会議に参加している参加者の各タッチパネル付端末(10040〜10070)の状況を示すアイコン10012が重畳表示されている。本実施例では4台の端末が参加しているが、この例での会議システムでは最大6台の端末が参加可能であり、そのうち4番目と6番目は参加者が欠席もしくはタッチパネル付端末が稼動していない状態である。会議に参加している参加者が有する各タッチパネル付端末(10040〜10070)は、ここでは端末ID#1(10040)、端末ID#2(10050)、端末ID#3(10060)、端末ID#5(10070)として識別され、このうちID#1(10040)及びID#2(10050)の端末が、同時に線画を入力している状態となっている。
図2は、本発明による図形入力・表示装置、携帯端末における、複数の線分を同時に入力して表示するためのデータの取り扱いとフォーマットを説明した説明図である。
図2(a)に示すように、タッチパネル付端末にペン20001により入力された線画20000は、端末内での変換処理20010により、複数の直線で構成される線分20030の集合体20020に変換される。
各々の線分は、始点Xstart(以下、Xsと呼称)、Ystart(以下、Ysと呼称)、Xend(以下、Xeと呼称)、Yend(以下、Yeと呼称)として取り扱われる。
図2(b)は入力された線画を分割した各線分を、線分毎にデータパケット20040として取り扱うデータフォーマットを示している。各データパケットは、その線分を入力した端末の端末ID、始点と終点の座標、後述する線の太さや色、種類、また消しゴムやレーザーポインタなどの多彩な利用方法に応じた線種のデータにより構成される。
これらの線分データは各端末より時間軸20050に従って入力される。各々の端末において、利用者は一本の線画(図2(a)20060)として一回のストロークで入力しているつもりで筆記をしているつもりでの入力が可能であるが、実際には所定のサンプリング時間間隔で分割された線分毎に、端末1からの入力(20060)と、端末2からの入力(20070)が混在した状態で、前記コントローラ10030が受信する。
受信したパケット20040は、コントローラ10030内で、受信順にデータリストとして保存され、ここから受信した順に時系列で白板イメージを構築する図示しない映像メモリや、各タッチパネル付端末に向けて出力される(20080)。出力を受けた映像メモリは、受信したパケットデータ順に、自己映像メモリ内に各線分データをイメージデータとして記入。また受信した各端末も同様に、自身の映像メモリ内に各線分をイメージデータとして構築して出力する。
この方法により、複数の参加者が同時に記入した線画を、見かけ上同時に複数の線が画面上で伸び続けているように見せる処理を行うことが出来る。
図3に、本発明による図形入力・表示装置、携帯端末の、各端末からのデータパケットの出力とプロジェクタへのデータ送信、そしてプロジェクタから端末へのデータパケットの再配布を示した説明図である。
端末#1(30001)から出力される線分データを示すデータパケットは、所定のサンプリングタイミングごとに生成され、30010、30011、30012のように、各線分単位でインテリジェント液晶プロジェクタのコントローラ30003に送信される。この送信データとは非同期で、端末#2より、同様に所定のサンプリングタイミングで静止された線分データを示すデータパケットは、30020、30021のように、コントローラ30003に向けて送信される。
コントローラはこれを、受信順に受け取って保存し、その順序に従って、液晶プロジェクタに表示すると共に、各端末30004に再配布する。この配布タイミングは所定のタイミング間隔にて動作し、例えばプロジェクタや各端末の表示部の表示デバイスのフレームタイミングに合わせた速度にて送信する。
これによって、大画面で壁面に投影されたプロジェクタイメージや、各参加者のタッチパネル付端末装置の表示部に、端末#1と端末#2で同時に記入され、且つ記入につれて伸びていく線が、同じ画面で同時に伸びていくように表示され、見かけ上複数の端末から入力した線画が同時に表示されるように見ることが出来る。
図4は、本発明の図形入力・表示装置、携帯端末における、タッチパネル付端末装置に線画を入力する際の、表示方法を示した説明図である。
図3にて説明したように、各端末のタッチパネルで入力した線分データは、一度コントローラに送信され、他の端末からの入力と合成された後、各端末に再送されて、表示される。この場合、ペンでタッチパネルに線を書いてから、実際に表示されるまで、コントローラへのデータの往復、さらにコントローラによるデータの合成にかかる時間だけ、ペンによる線の入力時刻と実際に端末に表示される線の表示時刻の間に、わずかな遅れが生じ、線を描いてもすぐに表示されず、使いづらいものとなってしまう。
本実施例では、まず図4(a)において、タッチパネル付端末装置は、ペンで入力された線画データに基づいて、即時の線の表示を行う。この端末内データ表示40000により、前記した時間差がなく、ペンで描いたとおりの線画が即時表示されるため、あたかも鉛筆で紙に直接線画を記載した如く、自然な入力を行うことが出来る。
次に、コントローラから再配布されてきた線分データを表示する。受信データ表示40010は、既にペンで書いたときに表示された線画をなぞるように、前記の遅れ時間差を持って追いかけるように、線画を表示する。基本的にこの線は最初にペンで線画を記入したときと同じ線を表示するが、端末内での表示と区別するように、色や太さなど、表示書式を分けた線で受信した線を表示する。この後から表示された受信データ表示40010が、正式に白板に記入された線画である。
図5は、本発明による図形入力・表示装置、携帯端末の、携帯端末のシステム構造を示すブロック図の例である。
本実施例において、携帯端末は一般的なコンピュータシステムの構成を用いており、CPU50000を中心として、各種ハードウェアがバス50001を用いて接続されており、各ハードウェアは図示しないハードウェアインタフェースを内蔵して、データの入力や保存、出力等の制御を、CPU上で動作するプログラムの制御に従って行う。
端末はCPUを核として、表示デバイスであるLCD50010、表示デバイスで表示するイメージを構築するV-RAM(Video-RAM)50050、LCDの上に重なった状態でペンや指の接触を座標値として検出するタッチパネル50020、CPU50000が実行するプログラムや基本データを保存したフラッシュメモリ50060、端末の電源ON/OFFやバックライトの調整などを行う各種スイッチ50030、CPU50000がワークエリアとして使用するRAM50070、例えばカメラ50040などの前記タッチパネル以外のイメージデータの入力デバイス、そして入力した線画を変換した線分データを送受信する無線LAN50080により構成される。各々のデバイスには、前記したように図示しないインタフェースがあり、CPUバス50001と接続することで、各々のデバイスへの入出力データを、CPU上で動作するプログラムが扱うことが出来る。
図6は、本発明による図形入力・表示装置、携帯端末の、インテリジェント液晶プロジェクタのシステム構造を示すブロック図の例である。
本実施例においても、インテリジェント液晶プロジェクタは、図5で示した端末と同様に、一般的なコンピュータシステムの構成を用いており、CPU60000を中心として、各種ハードウェアがバス60001を用いて接続されており、各ハードウェアは図示しないハードウェアインタフェースを内蔵して、データの入力や保存、出力等の制御を、CPU上で動作するプログラムの制御に従って行う。
インテリジェント液晶プロジェクタはCPUを核として、内蔵もしくは外付けのプロジェクタ60010、プロジェクタに送信して表示するイメージを構築するV-RAM(Video-RAM)60040、電源ON/OFFや各種の操作を行う各種スイッチ60020、CPU60000が実行するプログラムや基本データを保存したフラッシュメモリ60050、CPU60000がワークエリアとして利用するRAM60060、そして各タッチパネル付端末にIPアドレスを付与してLANを構築し、各端末から送信された線分パケットの受信や再送信を行う無線LANルータ60030により構成される。各々のデバイスには、前記したように図示しないインタフェースがあり、CPUバス60001と接続することで、各々のデバイスへの入出力データを、CPU上で動作するプログラムが扱うことが出来る。
図7は、本発明による図形入力・表示装置、携帯端末の、ソフトウェアの構造とハードウェアの関係を示す第一の実施例を説明する説明図である。
図7(a)は端末装置の構成を示しており、オペレーティングシステム(以下OSと呼称)70010の全体制御で動作しており、そのOSの管理下で、白板アプリケーション70000が実行されている。白板アプリケーションとOSの間は、各ハードウェアごとにアプリケーションインタフェース(以下、APIと呼称)70001、70002、70003で接続され、白板アプリケーションはOSを介して、各ハードウェアとデータの送受信を行う。
タッチパネル70021にて入力された手書き線画を構成するデータは、タッチパネルドライバ70011によりOSに入力され、API70001を経由して白板アプリケーションに入力される。このとき、図3で説明したサンプリングタイミングは、白板アプリケーションからOSへのタッチパネル上の座標取り込み指示のタイミングにて行われ、ペンまたは指がタッチパネルに触れているか離れているか、触れている場合の座標を取り込み、図2で説明した線分毎のパケットデータに変換し、API70003、OS70010、LCDドライバ70013を経由して、LCDに表示する(70023)。同時に、API70002、OS70010、無線LANドライバ70012を経由して、無線LAN70022よりインテリジェント液晶プロジェクタに向けて送信される。
図7(b)はインテリジェント液晶プロジェクタの構成、特にコントローラの構成を示しており、OS70050の全体制御で動作しており、そのOSの管理下で、白板アプリケーション70040が実行されている。白板アプリケーションとOSの間は、各ハードウェアごとにアプリケーションインタフェース(以下、APIと呼称)70041、70042で接続され、白板アプリケーションはOSを介して、各ハードウェアとデータの送受信を行う。
無線LANルータ80062にて、各端末と接続し、接続した端末より送信された入力された手書き線画を構成する線分データは、無線LANドライバ70052によりOSに入力され、API70042を経由して白板アプリケーションに入力される。このデータは複数の端末から送信されるが、それらを受信した時系列順にデータリスト化し、白板アプリケーションにて保存を行うと同時に、API70041、OS70050を経由して、液晶プロジェクタドライバ70051により液晶プロジェクタハードウェアに送信し、投影画面70061として表示する。
同時に、複数の端末から受信した線分データの集合は、API70042、OS70050を経由して、無線LANドライバ70052により無線LANルータ70062からの電波発信にて、各端末に再配布される。
図2で説明した線分毎のパケットデータに変換し、API70003、OS70010、LCDドライバ70013を経由して、LCDに表示する(70023)。同時に、API70002、OS70010、無線LANドライバ70012を経由して、無線LAN70022よりインテリジェント液晶プロジェクタに向けて送信される。
ここで、図7(b)で保存されたデータパケットは、液晶プロジェクタによる表示及び各端末への再送信を行った時点で破棄してもよいが、会議中のすべてのデータを保存することにより、会議の白板への記入を時系列に保存した会議記録として残すことが可能であり、また会議に途中参加した端末が発生した場合にも、会議開始時からのデータパケットを送信することで、参加時点以前での議論を白板記載情報で確認することが出来る。これは、図7(a)で示した各端末上での保存も行うことで、会議途中で会議開始時からの議事進行をいつでも再確認することが出来、また各端末ごとに会議記録として残すことも可能になる。
図8は、本発明による図形入力・表示装置、携帯端末の、ソフトウェアの構造とハードウェアの関係を示す第二の実施例を示す説明図である。
図8(a)は、図7(b)のインテリジェント液晶プロジェクタ、特にコントローラ部の構成を示しており、その構造は図7(b)の構造と同じであり、詳細な説明は省略する。
本実施例において、液晶プロジェクタに表示する表示イメージを処理するプログラムに、白板アプリケーション80000ではなく、汎用の表示プログラムであるwebブラウザを使うことが特徴である。
HTML5というホームページ記述言語には、従来までの画像データによるグラフィックイメージ表示の他に、図8(b)に示すように線分の始点と終点、色や幅などの属性を設定して、任意の線分を表示する機能がある。これを用いて、白板アプリケーションより出力された線分データは、HTML5の記述言語に変換された後、API80002、OS80010、API80031を介して、ブラウザ80030に入力され、ブラウザ80030は、API80031、OS80010、液晶プロジェクタドライバ80013を介して、白板イメージ80023として投射される。
図8で図示していないが、端末装置も同様で、図7(a)にブラウザとAPIを組み込むことで、汎用のブラウザを使うことが出来、特に出力デバイスのハードウェア仕様に依存しない形態の機器を提供することが可能になる。
図9は、本発明による図形入力・表示装置、携帯端末の構成機器を用いて、会議中に特定の端末同士の間のみの会話を行うUIを示した説明図である。
ハードウェア及び通信アプリケーションの動作は図示しないが、無線LANルータによりIPアドレスを配布され、個別のIPアドレスを有する端末が、例えば端末1から端末5に会話のリクエストと会話を行う場合、当該IPアドレス同士の直接通信を行うか、白板アプリケーションを経由した通信ルートでの通信を行うか、いずれの方法を用いても良い。
本実施例では、2台の端末のUIの例を示す。ここでは端末1から端末5に呼び出しをかけた場合の事例を示す。
図1で説明したように、端末の画面(90000)上部には、同じ会議に参加している端末のID名90002が、アイコンの形状で並んでいる。各端末の違いは、番号のほかに、アイコンの色でも区別され、さらに参加していないか電源が入っていない端末は×印で消した形で表示している。そして自端末はアイコンの周囲の枠線を太線で表示している。
図9(a)において、左側の端末1が、端末5の利用者と連絡を取りたい場合は、ペン90001にて、端末5のアイコンをタッチする。右側の端末5の画面90010は、まだ呼び出しを受けていない状態なので、図1等で説明したように投射された白板と同じ画面が表示されている(90010)。
図9(b)で端末1から端末5への呼出が開始されると、端末1の画面には、呼び出し中である旨の窓90020が表示される。そして、端末5の画面には、端末1より呼び出したあった旨を表示する窓90021が表示される。同時に、端末1の画面では端末5のアイコンが、また端末5の画面では端末1のアイコンが点滅をして、利用者に呼び出しの発生を明示する表示を行う。
ここで、端末5が端末1からの呼出に応じる場合は、例えば点滅している端末1のアイコンをタッチすればよく、また呼出をキャンセルしたい場合は、端末1からの呼び出し窓90021をタッチしてもよい。端末1も呼び出しを途中で中断したい場合は、窓90020をタッチしてもよく、また、図示していないが、呼出中に窓もしくは画面の隅などに別途表示される、呼び出しに応じることを示すアイコン、呼び出しを拒否するアイコン、また呼び出した側が呼び出しを中断するアイコンを表示して、それをタッチしてもよい。
図9(c)は、端末5が端末1からの呼び出しに応じて、連絡を開始した画面である。両者の端末にはそれぞれCHAT−1、CHAT-5と表示された窓90030、90031が表示される。この窓は、図9(b)の呼び出し表示窓がそのまま遷移してもよい。この窓は端末1と端末5の間だけで表示が行われる白板と同様の機能を持つ入力画面となり、2台の端末は、この窓に手書きで文字を入力することで、相互の連絡を行うことが出来る。このときのデータの送受信方法は、図1、図2に示した図形入力・表示装置の入力した線画を線分に分割して送受信する方法と同一の方法で実現できる。
窓90030、90031は、ここでは会議全体の白板を覆う形で表示されており、従って二台の端末間による連絡中は白板の閲覧が出来ない表示となってしまう。この場合、例えば両端末に表示された窓の上部にある「CHAT-#5」、「CHAT-#1」と書かれた部分をペンや指で触れた状態でドラッグすることで、窓の位置を動かして、背面の会議全体の白板を参照することも可能で、また図示しないが、窓が半透明でタッチパネル全体を覆った表示形態とすることで、会議全体の白板に追記する形で二台の端末間のみでの連絡を行うという動作も可能である。これらの動作は、図7に示した白板アプリケーションにより実行することが出来る。
図10は、本発明による図形入力・表示装置、携帯端末で、描画が進行している線がどの利用者により書かれているかを表示する方法を示した説明図である。
図10(a)は端末#1の表示画面100000を示しており、ペン100001により画面左側の描線を記入している最中の状態である。
図10(b)は、図形入力・表示装置により投影された画面及び、他の端末で表示されている画面であり、左側が端末#1により描線されている最中の画面、右側が端末#1による描線の完了、具体的にはペンが離れてから所定の時間が経過した後の画面である。
描画を行っている最中の線は、端末#1を指し示す色、具体的には端末#1のアイコンを表示している色で描線が行われる。そして、描線が完了すると、その線の色は、予め端末#1が指定した色、通常の場合は、物理的に書き込む白板で利用しているペンの色、例えば全員が同じ色、例えば黒を使って書いている場合は、黒の色に描線された線の色が切り替わる。この時点で、端末#1の描線は完了しており、会議の議事進行において、議論するための画面として取り扱うことになる。
ここで、仮に端末#1と端末#2など、二台以上の端末が同時に描線をしている場合は、左側の図において、それぞれ描画中の線の色は、描画中の端末IDを示すアイコンと同じ色で進行し、描画が終わってそれぞれ所定時間が経過したところで、各端末が設定した色に変化して、描画が完了したことを示す。
図10(c)は、同時に複数の端末が描画を行ったときの、描画表示を行う図10(b)とは異なった方法を示した例である。画面左側の描線は端末#1により、画面右側の描線は端末#2により描線されている最中を示す。
このとき、各描線の終点、即ち線が時間の経過につれて各端末の描画に従って伸びている端点には、端末#1が描画していることを示す吹き出しメッセージ100030及び100040が表示され、端点の移動につれてメッセージの位置も移動する。そして、描画完了後、所定の時間が経過したところで、図10(b)と同様に色が変化し、会議の議事進行において、議論するための画面として取り扱うことになる。
図11は、本発明の図形入力・表示装置、携帯端末にて取り扱う描画データの流れを示した説明図である。
本図の説明ではデータの流れを説明しており、従ってデータが移動する先はソフトウェアとハードウェアが混在した図面となっている。
まず、タッチパネル110032に入力された手書き描画は、タッチパネルドライバ110030を経由して、アプリケーション110000に入力される。ここで描画データは図2で説明した線分に分割され、無線LANドライバ110040を経由して無線LAN110041より、インテリジェント液晶プロジェクタのコントローラに送信される。
コントローラは無線LAN110051により送信された線分パケットデータを受信し、無線LANドライバ110050を経て、アプリケーション110010内に入り、線分データパケット110001にまとめて保存される。保存された線分データパケットは図2(b)で示したように、複数の端末から入力された線分パケットデータが混在した状態で保存される。
保存された線分パケットデータは保存された順に呼び出され(110005)、プロジェクタドライバ110060を経てプロジェクタ110061に入力され、大画面白板イメージ110062として投射される。同時に無線LANドライバ110050及び無線LAN110051を経由して、各端末に再配布され(110004)、各端末の無線LAN110041及び無線LANドライバ110040を経て、端末内の線分パケットデータ110001にまとめて保存される。そして、コントローラと同様にそのデータは入力順に呼び出され、ディスプレイドライバ110010を経て、端末のLCD110020に表示される。
ここで、図4(a)に示したように、手書き入力した描画データがコントローラに一度送信されてから、再配送されたデータを描画した場合、手書きのタイミングと表示のタイミングに時差が生じ、描画操作に違和感が生じてしまうのを防ぐために、点線110002で示したように、タッチパネル110032で入力したデータを、コントローラに送信すると同時にLCD110020にも表示する。その後、返送してきたデータを表示することで、図4(b)に示したように、リアルタイムの描画線の伸びを追いかけるように再配布された描画データが描かれていくという表示を行うことが出来る。
図12は、本発明の図形入力・表示装置、携帯端末にて取り扱う描画データの流れを操作する動作をフローチャートで示した説明図である。
図12(a)は、タッチパネル付端末における、描画データの入力と送信を行う部分であり、図11の110003に相当する。即ち、タッチパネルにて受け付けた描画を線分として受信し(120000)、それを線分毎に送信する(120001)。
図12(b)は、同じくタッチパネル付端末における、描画データの入力と送信を行う部分である。こちらは図4(a)のような端末内で一度描画データを表示する場合であって、図11の110002を含んでいる。即ち、タッチパネルにて受け付けた描画を線分として受信し(120010)、それを端末のLCDに表示(120011)し、そして線分毎に送信する(120012)。
図12(c)は、プロジェクタから再送信されてきた線分データを受け付ける端末の動作を示したものであり、図11の線分パケットデータ110001への保存と読み出しを中心とする動作に相当する。端末はまず線分データを受信し(120020)、それを線分パケットデータに保存(120021)、そしてそのデータを読み出して(120022)、読み出した線分データをLCDに表示する(120023)。
図12(d)は、プロジェクタの受信動作例であり、図11の線分パケットデータ110011への保存と読み出しを中心とする動作に相当する。プロジェクタは各端末から送信されてきた線分データを受信し(120030)、それをひとつのパケットの受信の都度、線分パケットデータにスタックして保存する(120031)。
図12(e)は、プロジェクタによるデータの再送信を示したものであり、図11の1100004に相当する。線分パケットデータにスタックして保存された線分データは、この時点で複数の端末からの線分データが混在しているが、それを書き込まれた順に読み出し(120040)、そして、各端末からのデータが混在した読み出しデータを、それぞれの端末に再配布する。
図13は、本発明による図形入力・表示装置、携帯端末の会議進行途中の白板イメージの巻き戻し再生動作を示した説明図である。
図7(b)で説明した線分データパケットは、図11、図12で説明したように会議の最初からすべて記録することによって、例えば会議途中から参加した参加者が会議冒頭からの白板記入の進行を再確認したりすることが可能であり、また最初から参加している参加者も、会議冒頭からの記録をプレイバックすることも可能となる。本実施例ではその操作を行うためのUIについて説明する。
図13(a)は、図1の各タッチパネル付端末の画面を示している。ここでは、画面左下に巻き戻し指示(130010)ボタンを設けて表示していることが特徴となる。会議の途中で巻き戻し指示ボタンにタッチすると、画面は図13(b)のように変化する。ここでは画面下に横軸が会議開始から現在までの時間を横軸とした時間軸を示すバー130020が表示され、その上に、ポインタ130040が表示される。このポインタをペンで指定して左右にドラッグすることで、表示している画面を最新のものから所定時間さかのぼった時点での画面に変化させることが出来る。さかのぼった時間は、130050のように表示され、ここでは最新時点から12分前の画面を表示している状態となっている。
これらの動作は、図7に示した白板アプリケーションにより実行することが出来る。
図14は、本発明による図形入力・表示装置、携帯端末において、参加者が描画する線をリアルタイムで描画中も含めて表示せず、一定単位の線画をすべて描画してから、まとめて表示する方法を示した説明図である。
図14(a)は、ある端末の表示画面140000を示している。ここで、右側の描線140011は参加者がこの端末を用いてペン140011によって線画を入力している最中でああることを示す。ここで、この端末の動作モードは図15にて後述する方法で、SUBMITモードに切り替えてあり、この状態では、端末にて描画した線は、即時線分に分割されつつ送信されず、端末の操作者がひととおりの描画を完了してから、まとめて送信するまで端末は送信を行わない。
図14(b)は、図14(a)において参加者が描画中のときのプロジェクタの投影画面140030を示している。前記したように、端末から描画データが送信されていないので、プロジェクタにはなにも表示されない。
図14(c)は、図14(a)において操作者が一連の描画を完了して、表示を希望して「SUBMIT」ボタンをペンや指でタッチした後の画面を示している。この画面はプロジェクタや他の端末でも同一であり、図14(a)にて入力された一定端の線画が一括描画され(140040)、表示される。そのとき端末#2のユーザーが入力したことを示すために、ここでは図10(c)に示したように、一括描画後に所定時間の間、端末#2が描画したことを示す吹き出しメッセージ140041が表示され、これは既に説明した実施例と同様に、所定時間の表示の後、吹き出しメッセージは消え、予め設定した色の線として表示される。
図15は、本発明による図形入力・表示装置、携帯端末の、端末の表示画面の例を示す説明図である。
これまでの図面では省略していたが、手書き描画を行うタッチパネル付端末装置であり、手書き線の種類等を指定するメニュー画面150010が選択可能な形で画面150000上の、本実施例では左側に表示している。
表示されたメニューの構成要素は、線種(直線、点線2種)に加え、消しゴム、レーザーポインタモードの選択メニューである。ここでは描画する線の種類に加え、ペンを消しゴム代わりにすることで、既に記載された描画を消去することも可能である。このとき、消しゴムによる消去も線分の移動データとして保存することで、消去以前の記述も保存することが出来、図13で示したプレイバック再生時に、過去の記述を再確認することが出来る。またレーザーポインタモードは、プロジェクタ投影画像への直接のレーザーポインタ照射の他に、手元のタッチパネル付端末の画面で同じ操作をすることが出来ることを特徴とする。
次の構成要素は、線の太さ、そして線の色で各々3種類を事例として記述そている。その次は、「DRAW」モードと「SUBMIT」モードの切替ボタンで、SUBMITモードを選択することで、図14に示したような一括描画を行うモードに切り替えることが出来る。
最後は、「ENABLE」で、これは他の端末、特にホストの端末を設定した場合や、プロジェクタのコントローラを、液晶プロジェクタとは別体で一台のタッチパネル付端末で構成した場合、その端末がホスト役となり、そこからの指示で、特定の端末の白板記入・削除の許可/禁止を制御することが出来、その状況を表示している。
図16は、本発明による図形入力・表示装置、携帯端末の、特定の端末による記入・削除の禁止状態を示した説明図である。
図16(a)は、図15において、白板への記入・削除の禁止を受けた端末の画面を示しており、図16で示した「ENABLE」の文字が「DISABLE」となっている(160030)。同時に入力モードを示す「DRAW」「SUBMIT」ボタンもマスクされ、端末への入力が出来なくなっていることを示す。
図16(b)は、図16(a)において端末#2が、記入・削除禁止状態になっているときの、プロジェクタ表示160050を示しており、これは他の端末にも同じものが表示される。
端末#2のアイコンが所定の色よりさらに暗く塗りつぶされ、端末#2の記入参加が出来ない状態になっていることが、他の端末やプロジェクタ表示により、他の参加者にわかるようにしている。
図17は、本発明による図形入力・表示装置、携帯端末の、端末の操作を操作者の意思により一時的に停止する方法を示した説明図である。
図17(a)は、会議中に中座する操作者の端末画面170000で、操作者が操作する項目を、メニュー画面170010内に表示している。「OFFLINE」を操作者が選択することで、この端末での記入・削除操作は不可能となり、また画面に表示されている白板イメージも見えなくなるように制御する。これにより、操作者が中座により席を離れたとき、例えば端末をそのまま置いておいたときに、他の参加者から記入や削除などの操作がされないように、また操作者が端末を持ち出して、例えば自席に置いたときに、無線LANにより通信は接続されていても、会議の参加者以外による白板の閲覧と、記入や削除が出来ないようにすることが出来る。
図17(b)は、会議中に中座するために、「OFFLINE」を押した後の、端末の画面である。本実施例では、各中座ごとに、個別にロックをかける機能を達成するために、離席指示画面170020を表示して、参加者に中座からの復帰時に使用する電子サインの入力を促す。電子サインを入力して、離席指示画面の右下の「ENTER」を押すことで、端末画面は中座状態の画面となり、離席指示画面と同様のレイアウトで白板の描画を全部隠す位置に、再開指示画面を表示した状態となる。入力された電子サインはその特徴点を検出してデータ保存し、図17(c)に示す再開指示で入力した電子サインとの照合に用いられる。
図17(c)は、再開指示画面170040への電子サインの入力を示した図であり、ここでは電子サインを異なったものを入れた場合を示す。電子サインを入力して「ENTER」を押しても、電子サインが図17(b)と異なるため、端末は「INVALID!」と表示され、再開を許可しない。正しく電子サインを入れた場合は、再開指示画面は消え、白板の表示を行う離席前の画面に戻る。
図18は、本発明による図形入力・表示装置、携帯端末の、各端末の操作者が個人的にメモを記録する場合の画面を示した説明図である。
図18(a)において、本実施例では、メニュー画面180000の一部に「MEMO」ボタンを設け、このボタンを押すことで「MEMO」モードに切り替わることを示している。
図18(b)は、「MEMO」モードにおける端末への記入画面であり、180030に記載した線画が、当該端末の操作者だけのメモである。このメモは図18(c)に示したプロジェクタ画面180040や、他の端末には表示されない。
図示しないが、このメモデータは、書式は図2以降で示した線分パケットデータと同一であり、特に別途保存してある白板の線分パケットデータのどの時刻(どのパケットの表示時)に記入されたかの、時間軸方向の関係を示すリンク情報をパケットデータに追加して保有している。メモの表示を行うときにも、図13に示したようなプレイバックと重ね合わせた表示が出来、会議の全員が参照する白板イメージと、自身のメモを、現在時点の画面のみならず、過去の画面における表示をプレイバックして行うことも可能である。
図19は、本発明による図形入力・表示装置、携帯端末の、標準的な図形を自動的に清書する画面を示した説明図である。
端末画面190000において、会議中に描画の上で注目すべき点を、丸印で囲ったり、文字の場合は二本線のアンダーラインなどで強調したりという、標準的な描画形状の線を利用する場合がある。
これらは特に描画線の微妙な形状の違いに意味合いを持つものではなく、逆にきちんと正しく書かれた図形のほうが、効果的な種類の描画である。本実施例では、手書き線画190010に示すような、図形の一部を強調するように記載した丸印を、図形ではなく強調するサインと自動的に認識して、清書結果190020として正確な楕円に書き直すことで、白板記入の手書きによるレイアウトの崩れをきちんと保つことが出来るようになる。この清書は図19(c)に示すように、プロジェクタにも表示される。
図示しないが、保存されるデータパケットには、線分に分割してから保存する方法の他に、標準的な図形を現すような中心点座標地や直径値を含むパケットデータとして保存してもよい。
図20は、本発明による図形入力・表示装置、携帯端末の、文字入力における画面例を示す説明図である。
白板を使った会議では、基本的にすべて手書きで記入を行うが、文字の入力の場合、デジタル情報として線画を扱っているので、筆者の文字の良否による判読障害を防ぐ処理が可能となる。
図20(a)は、まず手書きによる文字入力をした端末画面200000である。手書き線画200010で文字を入力しているので、筆者の個性は出るものの、決して読みやすい文字にはならないことが多い。ここで、図19(b)のように、入力した文字を自動的もしくは記入者による選択・変換により、OCR(Optiocal Character Reader)に付随する線画・文字変換機能を利用して、文字コードに変換し、当該文字コードに対応した文字列を清書して表示する(20020)。これにより、判読困難な文字入力を時には自動的に変換してくれることで、より白板を活用した会議の環境を改善することが出来る。
図示しないが、入力した文字は、線画ではなく文字コードとして、図19(c)で説明したと同様に、保存されるデータパケットに、文字列の始点座標、文字サイズ、文字コード列というフォーマットで保存すればよい。
図20(c)は、文字入力の際に最初から手書き入力を使わず、ソフトウェアキーボードによる直接文字入力で清書する方法を示している。例えば特に汎用の携帯端末を本会議に用いた場合は、標準装備で搭載されているソフトウェアキーボード200030を用いて、専用のAPIを通してOS経由で白板アプリケーションに取り入れるようにプログラムを構成すれば、清書された文字の表示(200040)は容易に実現できる。入力した文字データの保存方法は、図20(b)で記載したものと同じでよい。
図21は、本発明による図形入力・表示装置、携帯端末の、会議参加者のID表示の例を示す説明図である。
前記まで説明していた図では、プロジェクタや端末で表示する会議参加者を、端末ID番号で示していた。これを会議開始時、もしくは各自が自身の保有する携帯端末を持ち寄って使用する場合は、端末IDではなく参加者の名前を直接個人名アイコン210010として表示することが出来る。これは会議の開始時に、図20に示した方法で各自が名前を入力することで実現することが出来る。
図22は、本発明による図形入力・表示装置、携帯端末の、会議開始時の画面を事前設定する場合の例を示した説明図である。
従来までの白板を使った会議でも、会議開始前に主催者が、題目や日付、議事リストなどを事前に白板に記載してから会議を行うことも多い。本実施例では、会議開始前に特定の参加者(主催者)が、予め手書き描画や、図20などの清書機能を用いて、議事に必要な書類を事前に記載して(220010)、会議を開催する機能を示す。
事前に記載する情報は、文字や描画の他に、表計算ソフトのページからコピーをした、工程管理表のような図面を用意することも出来る。勿論、前回の会議の続きという形で、前回までに保存してある線分パケットデータを描画してもよい。
ここで、図示しないが、図22に示したような表に個人名を入れる場合、図21に示した個人名アイコンに名前が記載されているので、これをペンでドラッグして、表中の「Member」に持ってくることで直接記入するようなUIも設けると、使い勝手がよい。これらはすべて図形入力・表示装置アプリケーションの処理で実現することが可能である。
図23は、本発明による図形入力・表示装置、携帯端末の構成機器を用いて、会議中に特定の端末同士の間のみの会話を行う場合の端末内構造を示す説明図である。
本実施例では、図9にて説明した特定の端末間の会話を行う際の、端末内のデータの構成とデータの流れを示している。左側の第一の端末のアプリケーション内には、線分データパケット1100001、右側の第二の端末のアプリケーション内には、線分データパケット1100003があり、これは図11で説明した、コントローラ及び全タッチパネル付端末が共有して保有している白板に表示する描画データを保存したデータパケットである。
本実施例では、このデータパケット以外に、第一の端末と第二の端末が図9(c)で説明したチャットボードに記載した線画を、白板データと同様に保存する線分データパケット(2300001、2300011)を有している。このデータパケットは、前述の白板に表示する描画データを保存したデータパケットとは独立したものであり、白板に表示することなく、第一の端末及び第二の端末の間での線画による会話を記録するデータパケットである。
このデータパケット(2300001、2300011)は、図9(d)の右側の端末のように、同時に複数の端末と会話を行っているときは、相手の端末の数だけ保有する。
さらに、このチャットボードに記載した線画を示す線分データパケットは、図14で示した一括描画の動作と同じ方法で、第一の端末と第二の端末の打合せ結果を、そのまま全員が共有している白板データに送信することで、白板及び全員の端末の画面に表示し、会議の議事データとしての線分データパケットに保存することも出来る。
図24は、本発明による図形入力・表示装置、携帯端末の、自動スケール変更に関する動作を示した説明図である。
本実施例において、会議の参加者全員が共有する白板イメージのサイズは、携帯端末や白板のサイズに合わせた固定の画素数のサイズではなく、さらに大きなイメージサイズを持っている場合の動作を示したものである。
図24(a)は、これまで説明したタッチパネル付端末装置の画面を示している。ここで図24(b)のように線をさらに引いて、図24(a)の画面の外にはみ出すような線を引いた場合、タッチパネル付端末装置の画面は、自動的にスクロールし、さらに大きなイメージサイズの白板への記入を行う。
このときプロジェクタにより投影される白板イメージは、図24(c)に示すように、描かれた線画の全体が表示されるように自動的にサイズ縮小表示を行う。他の端末も白板と同様に縮小表示に自動的に遷移するが、各端末の図示しないメニューから、拡大表示に切り替えることも可能であり、また各端末からコントローラに拡大表示の指示を出して、図24(c)のような縮小表示から、図24(b)の端末表示と同様な拡大表示に切り替えることも可能である。
図25は、本発明による図形入力・表示装置、携帯端末の、カメラを用いた参加者確認動作を示した説明図である。
インテリジェント液晶プロジェクタ10010や、会議の参加者が使用するタッチパネル付端末(10040〜10070)の動作は、図1と同様であるので、ここでの説明は省略する。
本実施例において、参加者250002の各タッチパネル付端末(10040〜10070)の状況を示すアイコン10012が、各参加者が使用するタッチパネル付端末(10040〜10070)に内蔵もしくは装着されたカメラ250001により撮影された、参加者自身の画像を表示していることを特徴とする。
この画像は、会議開始時に一度撮影した静止画でも、会議中常時撮影している動画像でもよく、会議参加者の顔ぶれが全員で共有情報として表示され、参加者が誰か、また参加してはいけない人が参加していないかの確認を、全員がすることが出来る。
図26は、本発明による図形入力・表示装置、携帯端末の、カメラを用いた参加者確認のカメラ部の具体的動作を示した説明図である。
図26(a)に示すように、本実施例におけるタッチパネル付端末10070には、他の用途、例えばTV電話などに利用可能なように、タッチパネル側にカメラ25001が内蔵もしくは搭載可能となっている。カメラ25001の向きは通常は可動せず固定として、部品点数を削減しており、その場合、カメラ25001で撮影される範囲があまり限定されないように、その撮影画角26001は、広角レンズによりかなり広く撮影できるようになっている。
このカメラで、参加者を撮影すると、図26(b)に示すように、カメラの撮影エリア260002に対して、参加者250002はかなり小さく写ることになる。本実施例では、カメラの顔検出機能として知られる技術を利用して、撮影エリア260002の中で、参加者の顔近辺の映像260003を抽出・切り出しを行い、図25に示すアイコン10012に表示する。これにより、画面全体に比して小さなアイコンの面積を有用に活用し、参加者の顔を各参加者が確認することが出来るようになる。
図25で示したように、撮影した画像は静止画像でも動画像でもよく、静止画像であれば通信トラフィックの画像転送における占有度は、会議開始時の一時的なもので済む。また、動画像の場合は、会議途中で参加者が入れ替わったり、どの参加者がその時点でのプレゼンやホワイトボード記入内容に注視しているかなどの状況も、他の参加者が確認することが出来、より円滑な会議推進が可能となる。
なお、本実施例は以下のようにも表現できる。すなわち、携帯端末にインストールされ、識別情報により特定される他の携帯端末およびプロジェクタと通信するために実行されるプログラムであって、タッチパネルから入力された線画情報を所定の間隔で線分に分割して、該線分の始点と終点の座標値及び描画線の種類、色等の属性情報と共に線分データパケットを生成し、プロジェクタに送信するよう、タッチパネル手段、表示手段および送受信手段を制御し、この表示手段にさきの識別情報により識別された他の携帯端末のユーザ情報が表示され、該ユーザ情報を特定し、タッチパネルから入力された線画情報を所定の間隔で線分に分割して、該線分の始点と終点の座標値及び描画線の種類、色等の属性情報と共に線分データパケットを生成し、該他の携帯端末のユーザに送信するよう、タッチパネル手段、表示手段および送受信手段を制御し、表示手段に識別情報により識別された他の携帯端末のユーザからの受信データを表示するよう表示手段および送受信手段を制御するプログラムとして機能させることもできる。また、上述のプログラムにおいて、複数の携帯端末上にて、前記他の携帯端末もしくはプロジェクタより配信されたデータを、前記端末内のメモリに保存し、携帯端末の操作により、線分データパケットにより描画される線が伸びていく過程を、時間軸に沿って過去に戻って再生する機能を実行可能であるプログラムであっても構わない。また、上述のプログラムであって、複数の携帯端末のうちの、任意の端末である第一の携帯端末と、同じく任意の端末である第二の携帯端末の間でのみ交わす直接の交信を行うための呼び出し処理をかける機能を有し、呼び出しを受けた第二の携帯端末のプログラムは、第一の携帯端末のプログラムによる呼び出し処理に応答する機能を有し、第一の端末と第二の端末のプログラムは、前記呼出処理と応答が完了した時点から、端末上のタッチパネル及びディスプレイを用いて、前記文字及び図形の始点と終点の座標値及び描画線の種類、色等の属性情報を含むデータを当該端末の間でのみ送受信して表示する機能が実行可能であっても構わない。また、上述のプログラムであって、このプログラムは、プログラムを実行する携帯端末の画面上に、ネットワークに接続している携帯端末のIDのリストを、ID番号、色、模様、映像のいずれかもしくは複数を利用して表示する機能を実行可能であっても構わない。また、上述のプログラムであって、プログラムは、利用者に向く方向にカメラが、携帯端末に内蔵もしくは搭載されている場合に、前記カメラを制御して、利用者を特定可能な映像を撮影し、前記表示した携帯端末のIDのリストには、前記タッチパネルを利用している利用者の特定が可能な映像を表示する機能を実行可能であっても構わない。また、上述のプログラムであって、携帯端末に内蔵もしくは搭載されたカメラにより撮影する、利用者を特定可能な映像は、撮影した画像より、利用者を特定可能な部位を自動検出して切り出した映像を生成し、利用する処理が実行可能な構成でも構わない。なお、上述のプログラムは本実施例の一例であって、本実施例のハード構成をソフト構成としたプログラムが実行する構成ももちろん本実施例に含まれる。
10010 インテリジェント液晶プロジェクタ
10040 タッチパネル付端末
20040 線分パケットデータ

Claims (17)

  1. 複数の携帯端末と通信可能なプロジェクタであって、
    前記複数の携帯端末とデータの送受信を行う送受信手段と、
    前記複数の携帯端末より入力された文字および図形を解析する解析手段と、
    前記解析手段が解析した文字および図形を外部出力する出力手段と、
    前記送受信手段、出力手段および解析手段を制御するコントローラと、
    を有し、
    前記コントローラは、
    前記複数の携帯端末のうち一つの携帯端末より入力された文字および図形に関するデータを受信し、該受信データに含まれる文字および図形の始点と終点の座標値及び描画線の種類、色等の属性情報を解析し、該解析データをもとに前記一つの携帯端末より入力された文字および図形を逐次出力手段に出力すると共に、前記複数の携帯端末に送信する、
    プロジェクタ。
  2. 請求項1記載のプロジェクタであって、
    前記受信した文字および図形の始点と終点の座標値及び描画線の種類、色等の属性情報を含むデータを、受信した時系列順に出力及び前記複数の携帯端末に送信する、
    プロジェクタ。
  3. 請求項2記載のプロジェクタであって、
    前記受信した文字および図形の始点と終点の座標値及び描画線の種類、色等の属性情報を含むデータを、受信した時系列順に出力及び前記複数の携帯端末に送信すると共に、前記受信したデータを受信した時系列順に保存する、
    プロジェクタ。
  4. 請求項1記載のプロジェクタであって、
    前記コントローラに、前記複数の携帯端末が、無線通信より接続され、
    前記コントローラは、前記複数の携帯端末の各々に個別のアドレスを付与し、
    前記アドレスを用いて前記複数の携帯端末をネットワーク上で区別して情報の通信を行うように、コントローラ及び前記複数の携帯端末のみで構成されるローカル・エリア・ネットワーク環境を構築する、
    プロジェクタ。
  5. 請求項4記載のプロジェクタであって、
    前記外部出力または前記携帯端末に送信する文字および図形で構成される画面上に、ネットワークに接続している携帯端末のIDのリストを、ID番号、色、模様、映像のいずれかもしくは複数を利用して表示する、
    プロジェクタ。
  6. 識別情報により特定される他の携帯端末およびプロジェクタと通信可能な携帯端末であって、
    文字および図形を表示する表示手段と、
    ユーザからの指示を受付けるタッチパネルと、
    前記他の携帯端末およびプロジェクタとデータの送受信を行う送受信手段と、
    前記データの解析を行う解析手段と、
    を有し、
    前記タッチパネルから入力された線画情報を所定の間隔で線分に分割して、該線分の始点と終点の座標値及び描画線の種類、色等の属性情報と共に線分データパケットを生成し、プロジェクタに送信し、
    前記解析手段は、前記プロジェクタから送信されたデータに含まれる文字及び図形の始点と終点の座標値及び描画線の種類、色等の属性情報を解析し、
    前記表示手段には、前記解析情報に基づいた文字及び線分を表示する、
    携帯端末。
  7. 請求項6記載の携帯端末であって、
    前記複数の携帯端末は、前記他の携帯端末もしくはプロジェクタより配信されたデータを、前記端末内のメモリに保存し、
    前記携帯端末の操作により、線分データパケットにより描画される線が伸びていく過程を、時間軸に沿って過去に戻って再生する、
    携帯端末。
  8. 請求項6記載の携帯端末であって、
    前記複数の携帯端末のうちの、任意の端末である第一の携帯端末は、同じく任意の端末である第二の携帯端末に、第一の端末と第二の端末の間でのみ交わす直接の交信を行うための呼び出し処理をかける機能を有し、
    呼び出しを受けた第二の携帯端末は、第一の携帯端末の呼び出し処理に応答する機能を有し、
    第一の端末と第二の端末は、前記呼出処理と応答が完了した時点から、端末上のタッチパネル及びディスプレイを用いて、前記文字及び図形の始点と終点の座標値及び描画線の種類、色等の属性情報を含むデータを当該端末の間でのみ送受信して表示する機能を有する、
    携帯端末。
  9. 請求項6記載の携帯端末であって、
    前記携帯端末の画面上に、ネットワークに接続している携帯端末のIDのリストを、ID番号、色、模様、映像のいずれかもしくは複数を利用して表示する携帯端末。
  10. 請求項9記載の携帯端末であって、
    前記携帯端末は、利用者に向く方向にカメラを内蔵もしくは搭載が可能であり、前記カメラにより、利用者を特定可能な映像を撮影し、前記表示した携帯端末のIDのリストには、前記タッチパネルを利用している利用者の特定が可能な映像を表示する機能を有する、
    携帯端末。
  11. 請求項10記載の携帯端末であって、
    前記携帯端末に内蔵もしくは搭載されたカメラにより撮影する、利用者を特定可能な映像は、撮影した画像より、利用者を特定可能な部位を自動検出して切り出した映像を生成し、利用する、
    携帯端末。
  12. 携帯端末にインストールされ、識別情報により特定される他の携帯端末およびプロジェクタと通信するために実行されるプログラムであって、
    タッチパネルから入力された線画情報を所定の間隔で線分に分割して、該線分の始点と終点の座標値及び描画線の種類、色等の属性情報と共に線分データパケットを生成し、プロジェクタに送信するよう、タッチパネル手段、表示手段および送受信手段を制御し、
    前記表示手段に前記識別情報により識別された他の携帯端末のユーザ情報が表示され、該ユーザ情報を特定し、前記タッチパネルから入力された線画情報を所定の間隔で線分に分割して、該線分の始点と終点の座標値及び描画線の種類、色等の属性情報と共に線分データパケットを生成し、該他の携帯端末のユーザに送信するよう、タッチパネル手段、表示手段および送受信手段を制御し、
    前記表示手段に前記識別情報により識別された他の携帯端末のユーザからの受信データを表示するよう、表示手段および送受信手段を制御する、
    プログラム。
  13. 請求項12記載のプログラムであって、
    前記複数の携帯端末上にて、前記他の携帯端末もしくはプロジェクタより配信されたデータを、前記端末内のメモリに保存し、
    前記携帯端末の操作により、線分データパケットにより描画される線が伸びていく過程を、時間軸に沿って過去に戻って再生する機能を実行可能である、プログラム。
  14. 請求項12記載のプログラムであって、
    前記複数の携帯端末のうちの、任意の端末である第一の携帯端末と、同じく任意の端末である第二の携帯端末の間でのみ交わす直接の交信を行うための呼び出し処理をかける機能を有し、
    呼び出しを受けた第二の携帯端末のプログラムは、第一の携帯端末のプログラムによる呼び出し処理に応答する機能を有し、
    第一の端末と第二の端末のプログラムは、前記呼出処理と応答が完了した時点から、端末上のタッチパネル及びディスプレイを用いて、前記文字及び図形の始点と終点の座標値及び描画線の種類、色等の属性情報を含むデータを当該端末の間でのみ送受信して表示する機能が実行可能である、
    プログラム。
  15. 請求項12記載のプログラムであって、
    前記プログラムは、該プログラムを実行する携帯端末の画面上に、ネットワークに接続している携帯端末のIDのリストを、ID番号、色、模様、映像のいずれかもしくは複数を利用して表示する機能を実行可能である、
    プログラム。
  16. 請求項15記載のプログラムであって、
    前記プログラムは、利用者に向く方向にカメラが、携帯端末に内蔵もしくは搭載されている場合に、前記カメラを制御して、利用者を特定可能な映像を撮影し、前記表示した携帯端末のIDのリストには、前記タッチパネルを利用している利用者の特定が可能な映像を表示する機能を実行可能である、
    プログラム。
  17. 請求項16記載のプログラムであって、
    前記携帯端末に内蔵もしくは搭載されたカメラにより撮影する、利用者を特定可能な映像は、撮影した画像より、利用者を特定可能な部位を自動検出して切り出した映像を生成し、利用する処理が実行可能な、
    プログラム。
JP2013558576A 2012-02-13 2012-02-13 携帯端末 Active JP6161544B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013558576A JP6161544B2 (ja) 2012-02-13 2012-02-13 携帯端末

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013558576A JP6161544B2 (ja) 2012-02-13 2012-02-13 携帯端末
PCT/JP2012/000927 WO2013121455A1 (ja) 2012-02-13 2012-02-13 プロジェクタ、図形入力・表示装置、携帯端末およびプログラム。

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016050681A Division JP2016148858A (ja) 2016-03-15 2016-03-15 システム、プロジェクタ装置および携帯端末

Publications (2)

Publication Number Publication Date
JPWO2013121455A1 true JPWO2013121455A1 (ja) 2015-05-11
JP6161544B2 JP6161544B2 (ja) 2017-07-12

Family

ID=53194833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013558576A Active JP6161544B2 (ja) 2012-02-13 2012-02-13 携帯端末

Country Status (1)

Country Link
JP (1) JP6161544B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63283271A (ja) * 1987-05-14 1988-11-21 Fujitsu Ltd 表示装置
JPH05233995A (ja) * 1992-02-24 1993-09-10 Matsushita Electric Ind Co Ltd テレライティング装置
JP2002055771A (ja) * 2000-08-10 2002-02-20 Brother Ind Ltd 通信システム
JP2004317583A (ja) * 2003-04-11 2004-11-11 Canon Inc 描画装置
JP2007243919A (ja) * 2006-02-09 2007-09-20 Mitsubishi Electric Corp ビジュアル会議システム
JP2008116874A (ja) * 2006-11-08 2008-05-22 Seiko Epson Corp マルチディスプレイシステム、及びこのシステム上で実行されるプログラム
JP2011028619A (ja) * 2009-07-28 2011-02-10 Dainippon Printing Co Ltd ストローク再生装置及びプログラム
JP2012011245A (ja) * 2011-10-18 2012-01-19 Square Enix Co Ltd 通信端末および通信方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63283271A (ja) * 1987-05-14 1988-11-21 Fujitsu Ltd 表示装置
JPH05233995A (ja) * 1992-02-24 1993-09-10 Matsushita Electric Ind Co Ltd テレライティング装置
JP2002055771A (ja) * 2000-08-10 2002-02-20 Brother Ind Ltd 通信システム
JP2004317583A (ja) * 2003-04-11 2004-11-11 Canon Inc 描画装置
JP2007243919A (ja) * 2006-02-09 2007-09-20 Mitsubishi Electric Corp ビジュアル会議システム
JP2008116874A (ja) * 2006-11-08 2008-05-22 Seiko Epson Corp マルチディスプレイシステム、及びこのシステム上で実行されるプログラム
JP2011028619A (ja) * 2009-07-28 2011-02-10 Dainippon Printing Co Ltd ストローク再生装置及びプログラム
JP2012011245A (ja) * 2011-10-18 2012-01-19 Square Enix Co Ltd 通信端末および通信方法

Also Published As

Publication number Publication date
JP6161544B2 (ja) 2017-07-12

Similar Documents

Publication Publication Date Title
WO2013121455A1 (ja) プロジェクタ、図形入力・表示装置、携帯端末およびプログラム。
US20180020181A1 (en) Video information terminal device and video display system
US9980008B2 (en) Meeting system that interconnects group and personal devices across a network
US9335860B2 (en) Information processing apparatus and information processing system
US8244233B2 (en) Systems and methods for operating a virtual whiteboard using a mobile phone device
JP4517827B2 (ja) 画面共有システム及び情報処理装置
US11294495B2 (en) Electronic whiteboard, method for image processing in electronic whiteboard, and recording medium containing computer program of electronic whiteboard
JP2007280235A (ja) 電子会議支援プログラム、電子会議支援方法、電子会議システムにおける情報端末装置
JP2016134014A (ja) 電子情報ボード装置、情報処理方法およびプログラム
CN110609654B (zh) 数据同步显示方法、装置、设备以及远程会议系统
JP2010239469A (ja) 手書き入力表示装置及びホワイトボード共用システム
CN107037939B (zh) 电子黑板和图像处理方法
JP2004317583A (ja) 描画装置
JP2013232123A (ja) 電子会議システム、端末、およびファイル提供サーバ
JP2016085513A (ja) 電子機器、処理方法およびプログラム
JP4348831B2 (ja) 手書き入力データ表示システム,座標データ入力装置,表示装置及び手書き入力データ表示装置
CN116301520A (zh) 会话管理方法、装置及电子设备
JP6161544B2 (ja) 携帯端末
JP2016148858A (ja) システム、プロジェクタ装置および携帯端末
JP2013232124A (ja) 電子会議システム
JP2016076056A (ja) 情報処理システム、情報処理装置、および情報処理方法
JP2017097852A (ja) 投射型画像表示装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170613

R150 Certificate of patent or registration of utility model

Ref document number: 6161544

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250