JP6959529B2 - 入力情報管理プログラム、入力情報管理方法、および情報処理装置 - Google Patents

入力情報管理プログラム、入力情報管理方法、および情報処理装置 Download PDF

Info

Publication number
JP6959529B2
JP6959529B2 JP2018027850A JP2018027850A JP6959529B2 JP 6959529 B2 JP6959529 B2 JP 6959529B2 JP 2018027850 A JP2018027850 A JP 2018027850A JP 2018027850 A JP2018027850 A JP 2018027850A JP 6959529 B2 JP6959529 B2 JP 6959529B2
Authority
JP
Japan
Prior art keywords
information
user
input
content
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018027850A
Other languages
English (en)
Other versions
JP2019144800A (ja
Inventor
伊織 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018027850A priority Critical patent/JP6959529B2/ja
Priority to US16/274,461 priority patent/US10885366B2/en
Publication of JP2019144800A publication Critical patent/JP2019144800A/ja
Application granted granted Critical
Publication of JP6959529B2 publication Critical patent/JP6959529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、入力情報管理プログラム、入力情報管理方法、および情報処理装置に関する。
コンピュータのユーザインタフェース(UI:User Interface)に関する技術の1つとして、部屋全体にUI機能を持たせる空間UI技術がある。空間UI技術では、例えばプロジェクタによって投影された画像領域内で、赤外線を出力する電子ペンを用いて、ユーザが文字記入などの動作を行う。するとコンピュータは、赤外線カメラによる撮影画像から赤外線の照射先の軌跡を読み取り、その軌跡に基づいて、ユーザが行った動作の意味を解釈し、その動作に応じた処理を実行する。例えばユーザが、電子ペンによって、テーブル上に文字を書く動作を行えば、書かれた文字をコンピュータが認識する。そしてコンピュータは、プロジェクタによってテーブル上に該当する文字を表示する。
UIに関しては、ユーザの利便性向上のための様々な技術が考えられている。例えば操作方法の習得度に関わらず快適に操作でき、誤動作の発生を抑制するデータ入力装置がある。また表示面に表示された画像の特定の位置を指示する位置指示操作の操作性を向上した表示装置がある。さらに同一のオブジェクトに対する1または複数のユーザの処理指示操作を矛盾なく適正に処理し、その操作結果をオブジェクトの処理内容に効率よく的確に反映するオブジェクト操作装置がある。ユーザにコンピュータ操作を要求することなく、簡単にユーザのプロファイルを生成することを可能にするプロファイル生成装置もある。ウィンドウの内側の領域であるウィンドウ内側領域に対するユーザ操作と、ウィンドウの外側の領域であるウィンドウ外側領域に対するユーザ操作とで、実行される機能の割り当てを異ならせる情報表示装置もある。
特開2016−186809号公報 特開2014−120023号公報 特開2010−033363号公報 特開2008−129925号公報 国際公開第2014/061095号
コンピュータでは、通常、ファイルなどの単位で、入力情報の作成者が管理されている。入力情報の作成者に関する情報は、例えば入力情報に対するアクセス権限の管理などに利用される。しかし空間UIに関する従来技術では、電子ペンによる照射先の軌跡を追跡して文字などの入力情報の入力を認識した場合において、入力情報の入力の主体が誰なのかを識別することができない。そのため、例えば入力情報に対するアクセス権限の適切な管理ができない。
1つの側面では、本発明は、情報を入力した主体を判別できるようにすることを目的とする。
1つの案では、対象物上での入力動作を検出すると、入力動作に応じた情報を記憶部に記憶する処理を、コンピュータに実行させる入力情報管理プログラムが提供される。
コンピュータは、まず、対象物上の範囲の指定動作と、指定動作の動作主体を識別する情報の入力とを受け付けると、検出した入力動作に応じた情報のうち、指定された範囲での入力動作に応じた情報を取得する。そしてコンピュータは、取得した情報を、受け付けた動作主体を識別する情報に対応付けて記憶する。
1態様によれば、情報を入力した主体の判別が可能となる。
第1の実施の形態に係る入力情報管理方法の一例を示す図である。 第2の実施の形態のシステム構成の一例を示す図である。 空間UIによる入出力の例を示す図である。 プレイスサーバのハードウェアの一構成例を示す図である。 各装置の機能の一例を示すブロック図である。 コンテンツ管理情報の一例を示す図である。 拠点管理テーブルの一例を示す図である。 ユーザ管理テーブルの一例を示す図である。 ユーザ登録方法の一例を示す図である。 ユーザ登録処理の手順の一例を示すフローチャートである。 パーソナルスペースの設定方法の一例を示す図である。 パーソナルスペース設定処理の手順の一例を示すフローチャートである。 コンテンツ設定例を示す図である。 コンテンツ設定処理の手順の一例を示すフローチャートである。 コンテンツへのアクセス権限の設定例を示す図である。 コンテンツダウンロード処理の手順の一例を示すフローチャートである。
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
まず、第1の実施の形態について説明する。第1の実施の形態では、空間UIにおいて入力された情報の作成者を判別可能な入力情報管理方法を実現する。
図1は、第1の実施の形態に係る入力情報管理方法の一例を示す図である。第1の実施の形態では、情報処理装置10が、空間UIを用いた動作主体であるユーザ2bによって入力された入力情報6を、その入力情報6の作成者であるユーザ2bの識別子に関連付けて記憶する。情報処理装置10には、プロジェクタ1aとカメラ2aとが接続されている。情報処理装置10は、プロジェクタ1aにより、対象物1b上に画像(投影画像1c)を表示させる。カメラ2aは、電子ペン2cが出力する波長の光を撮影する。電子ペン2cは、先端から光線を出力することができる。電子ペン2cから出力される光線は、可視光または不可視光である。不可視光は、例えば赤外線である。電子ペン2cが赤外線の光線を出力する場合、カメラ2aは、赤外線を撮影する赤外線カメラである。情報処理装置10は、カメラ2aにより、投影画像1cの表示範囲内を撮影し、撮影画像3を取得する。
なお図1では、撮影画像3内に、可視光で表示された投影画像1c内のオブジェクト(個人使用領域4、識別子入力領域5、入力情報6など)も示しているが、撮影画像3には、少なくとも照射点2dが写っていればよい。処理部12は、撮影画像3内に写った照射点2dの位置を、指定位置3a,3cと判断できる。また処理部12は、指定位置3a,3cの時間変化により、指定位置3a,3cの軌跡3b,3dを取得することができる。
情報処理装置10は、記憶部11と処理部12とを有する。記憶部11は、例えば情報処理装置10が有するメモリ、またはストレージ装置である。処理部12は、例えば情報処理装置10が有するプロセッサ、または演算回路である。
記憶部11は、入力動作に応じた情報を記憶する。例えば記憶部11は、ユーザ2bの識別子と、ユーザ2bが入力した入力情報6とを関連付けて記憶する。なお、処理部12がプロセッサの場合、記憶部11には、処理部12に実行させる入力情報管理プログラムが格納される。
処理部12は、対象物1b上の範囲(個人使用領域4)の指定動作と、指定動作の動作主体を識別する情報の入力とを受け付けると、検出した入力動作に応じた情報のうち、指定された範囲での入力動作に応じた情報を取得する。そして処理部12は、取得した情報を、受け付けた動作主体を識別する情報に対応付けて、記憶部11に格納する。
例えば、処理部12は、ユーザ2bによって入力された入力情報6に対して、その入力情報6の作成者であるユーザ2bの識別子を関連付ける。なお処理部12がプロセッサの場合、処理部12は、記憶部11に格納された入力情報管理プログラムに従って、入力情報6に対するユーザ2bの識別子の関連付け処理を実行する。
関連付け処理では、処理部12は、まず、投影画像1cが表示された対象物1bに対するユーザ2bの入力動作で指定された、投影画像1c内の指定位置3aを検出する。ユーザ2bの入力動作は、例えば、電子ペン2cを用いて、対象物1bにおける投影画像1cの表示領域内の位置を指定し、指定した位置の軌跡によって、文字または図形を描く動作である。この場合、処理部12は、カメラ2aから、対象物1b上に表示された投影画像1cの表示領域を撮影した撮影画像3を取得する。そして処理部12は、撮影画像3に基づいて、ユーザ2bが使用する電子ペン2cから出力された光線の対象物1b上での照射点2dの位置を、指定位置3aとして検出する。
指定位置3aを検出すると、処理部12は、指定位置3aの軌跡3bに基づいて、投影画像1c内におけるユーザの個人使用領域4を特定する。例えば処理部12は、指定位置3aの軌跡3bによって描かれた所定の図形を検出し、その図形に囲まれた領域を、個人使用領域4として特定する。
次に処理部12は、個人使用領域4に関連付けて対象物1b上に表示された識別子入力領域5内での指定位置3cの軌跡3dに基づいて、ユーザ2bの識別子を取得する。例えばユーザ2bが、個人使用領域4内に電子ペン2cを用いて名前を記入する。すると処理部12は、指定位置3cの軌跡3dに対する手書き文字認識処理を行い、ユーザ2bの名前を示す文字の文字コードに変換する。
さらに処理部12は、個人使用領域4内での指定位置の軌跡に基づいて、ユーザ2bによる入力情報6を取得し、取得した入力情報6を、取得した識別子に対応付けて記憶部11に格納する。
このようにして、入力情報6の作成者(情報を入力した主体)を情報処理装置10において管理することができる。その結果、例えば作成者であるユーザ2bの意思に従って、情報処理装置10以外の機器からの、入力情報6へのアクセス権限を設定することができる。
例えば処理部12は、入力情報6に関連付けて対象物1b上に表示されたアクセス権限設定領域内での指定位置に基づいて、情報処理装置10以外の機器に対して、入力情報6へのアクセス権限を設定する。アクセス権限設定領域には、例えば情報処理装置10にネットワークで接続された機器の機器名が表示される。ユーザ2bは、表示された機器名の中から、アクセスを許可する機器の機器名を、電子ペン2cを用いて選択する。例えばユーザ2bは、電子ペン2cが発する光線の照射点2dを、アクセスを許可する機器の機器名の上で一定期間停止させる。処理部12は、照射点2dが一定期間停止したときに照射点2dの位置に表示されている機器名を取得し、その機器名に対応する機器に対して、入力情報6へのアクセス権限を設定する。
アクセス権限の設定対象となる機器は、例えば、情報処理装置10が設置された拠点とは別の拠点に設置された他のコンピュータである。別の拠点に設定されたコンピュータにアクセス権限を設定することで、入力情報6を、別の拠点で表示させることができる。
また処理部12は、ユーザ2bと異なる他のユーザ、またはそのユーザが使用する端末装置に対して、入力情報6へのアクセス権限を設定することもできる。これにより、ユーザ2bは、例えば他のユーザが端末装置を用いて入力情報6をダウンロードすることを許可するか否かを指定することができる。
〔第2の実施の形態〕
次に第2の実施の形態について説明する。第2の実施の形態は、遠隔地にある複数の拠点間をネットワークで接続して会議を行う際に、空間UI技術を用いて、複数の拠点において情報を共有するものである。
図2は、第2の実施の形態のシステム構成の一例を示す図である。複数の拠点30,40それぞれには、空間UIクライアント200,300が設置されている。
空間UIクライアント200は、拠点30内の現実空間(例えば会議室の室内)に重ね合わせて定義した仮想空間を管理するコンピュータである。空間UIクライアント200には、プロジェクタ31と赤外線カメラ32とが接続されている。空間UIクライアント200は、仮想空間内に配置されたオブジェクトの画像を、プロジェクタ31によって拠点30内の現実空間に表示する。また空間UIクライアント200は、現実空間内の赤外線の様子を赤外線カメラ32で撮影し、撮影された画像に基づいて認識した情報を、仮想空間に反映する。
空間UIクライアント300は、拠点40内の現実空間に重ね合わせて定義した仮想空間を管理するコンピュータである。空間UIクライアント300には、プロジェクタ41と赤外線カメラ42とが接続されている。空間UIクライアント300は、仮想空間内に配置されたオブジェクトの画像を、プロジェクタ41によって拠点40内の現実空間に表示する。また空間UIクライアント300は、現実空間内の赤外線の様子を赤外線カメラ42で撮影し、撮影された画像に基づいて認識した情報を、仮想空間に反映する。
空間UIクライアント200,300は、ネットワーク20を介してプレイスサーバ100に接続されている。プレイスサーバ100は、拠点30,40間の情報を中継するハブとして機能するコンピュータである。例えばプレイスサーバ100は、空間UIクライアント200,300それぞれが管理する仮想空間内の情報を同期させる。またプレイスサーバ100は、複数の拠点30,40それぞれで入力を行うユーザ34,35,44,45に関する情報を管理する。
複数のユーザ34,35,44,45は、それぞれ電子ペン36,37,46,47と端末装置38,39,48,49とを所持している。電子ペン36,37,46,47は、ペン先から赤外線を出力する。端末装置38,39,48,49は、プレイスサーバ100との通信に用いる携帯型のコンピュータである。複数の拠点30,40それぞれには、ネットワーク20に接続された、無線通信用のアクセスポイント33,43が設置されており、端末装置38,39,48,49は、アクセスポイント33,43を介してプレイスサーバ100と通信することができる。
図3は、空間UIによる入出力の例を示す図である。図3の例では、拠点30に置かれたテーブル51の上面に、プロジェクタ31によって投影画像52が映し出されている。ユーザ34は、電子ペン36を用いて、例えば、テーブル51上の投影画像52の表示領域(仮想空間内の平面)内に線54を描くことができる。具体的には、ユーザ34は、電子ペン36のペン先から赤外線53を出力させ、投影画像52の表示領域内に、電子ペン36のペン先を、線54を描くように移動させる。
投影画像52の表示領域内は、赤外線カメラ32で撮影されている。空間UIクライアント200は、赤外線カメラ32が撮影した画像から、電子ペン36のペン先の軌跡を抽出する。例えば空間UIクライアント200は、撮影画像の輝度が周囲より高い点(赤外線が強い部分)の移動軌跡を、ペン先の軌跡として抽出する。空間UIクライアント200は、抽出した軌跡を表す仮想空間内のオブジェクトを生成し、プロジェクタ31によって、テーブル51の上に生成したオブジェクト(線54)を表示する。
このような空間UIによる入出力が、他方の拠点40でも同様に行われる。そして拠点30において入力された情報を、空間UIクライアント200から空間UIクライアント300に送信して、拠点30内の仮想空間内に表示することもできる。
図4は、プレイスサーバのハードウェアの一構成例を示す図である。プレイスサーバ100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス109を介してメモリ102と複数の周辺機器が接続されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、またはDSP(Digital Signal Processor)である。プロセッサ101がプログラムを実行することで実現する機能の少なくとも一部を、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現してもよい。
メモリ102は、プレイスサーバ100の主記憶装置として使用される。メモリ102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ102には、プロセッサ101による処理に利用する各種データが格納される。メモリ102としては、例えばRAM(Random Access Memory)などの揮発性の半導体記憶装置が使用される。
バス109に接続されている周辺機器としては、ストレージ装置103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107およびネットワークインタフェース108がある。
ストレージ装置103は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置103は、コンピュータの補助記憶装置として使用される。ストレージ装置103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置103としては、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)を使用することができる。
グラフィック処理装置104には、モニタ21が接続されている。グラフィック処理装置104は、プロセッサ101からの命令に従って、画像をモニタ21の画面に表示させる。モニタ21としては、有機EL(Electro Luminescence)を用いた表示装置や液晶表示装置などがある。
入力インタフェース105には、キーボード22とマウス23とが接続されている。入力インタフェース105は、キーボード22やマウス23から送られてくる信号をプロセッサ101に送信する。なお、マウス23は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク24に記録されたデータの読み取りを行う。光ディスク24は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク24には、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。
機器接続インタフェース107は、プレイスサーバ100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース107には、メモリ装置25やメモリリーダライタ26を接続することができる。メモリ装置25は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ26は、メモリカード27へのデータの書き込み、またはメモリカード27からのデータの読み出しを行う装置である。メモリカード27は、カード型の記録媒体である。
ネットワークインタフェース108は、ネットワーク20に接続されている。ネットワークインタフェース108は、ネットワーク20を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
以上のようなハードウェア構成によって、第2の実施の形態の処理機能を実現することができる。なお、空間UIクライアント200,300も、プレイスサーバ100と同様のハードウェアによって実現することができる。第1の実施の形態に示した情報処理装置10も、図4に示したプレイスサーバ100と同様のハードウェアにより実現することができる。
プレイスサーバ100は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。プレイスサーバ100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、プレイスサーバ100に実行させるプログラムをストレージ装置103に格納しておくことができる。プロセッサ101は、ストレージ装置103内のプログラムの少なくとも一部をメモリ102にロードし、プログラムを実行する。またプレイスサーバ100に実行させるプログラムを、光ディスク24、メモリ装置25、メモリカード27などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ101からの制御により、ストレージ装置103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
ここで、図2に示したように、空間UIクライアント200,300を用いて、複数の拠点30,40において、ユーザ34,35,44,45が情報を共有しながら会議を行う場合を想定する。このとき、ユーザ34,35,44,45のいずれかが、電子ペン36,37,46,47を用いて入力した情報について、誰による入力情報なのかが判別できないと、以下のような不都合が生じる。
例えば会議において発案されたアイデアの発案者が誰なのかが管理できなくなる。各拠点での会議の参加者が少数であれば、同じ拠点にいるユーザ間では、誰の書き込んだアイデアなのかが分かるが、他の拠点のユーザからは分からない。同じ拠点にいるユーザ間でも、参加者が多数の場合には、すべての入力情報について、誰が入力したのかをすべて把握するのは困難である。
またアイデアの投稿者が誰なのかが分からないと、後日、そのアイデアについての詳細な聞き取りを行うことができない。さらに、アイデアが価値ある発明であったとき、アイデアの投稿者が分からないと、発案者としての地位(例えば、発明者として地位)を守ることができない。
なお、電子ペン36,37,46,47の個別認識をして、その電子ペン36,37,46,47のユーザを特定することは可能である。例えば、Bluetooth(登録商標)により電子ペン36,37,46,47と空間UIクライアント200,300とを接続する。これにより、ユーザごとに使用している電子ペン36,37,46,47を特定できるが、赤外線カメラ32,42で撮影した画像に写る赤外線が、どの電子ペンから発光された赤外線なのかが分からない。そのため赤外線の照射点の軌跡と、ユーザとを結びつけることができない。
そこで電子ペン36,37,46,47それぞれに、異なる波長の赤外線を出力させて、波長の違いによってユーザを特定することも考えられる。しかし、出力する波長の異なる電子ペン36,37,46,47を多数用意するのは、コスト的に現実的ではない。また空間UIクライアント200,300に撮影画像から波長の異なる照射点を区別して抽出させた場合、空間UIクライアント200,300の処理負担が過大となる。
また、赤外線カメラ32,42を利用して、ユーザ34,35,44,45の位置を特定し、ユーザ34,35,44,45の位置の所定範囲内で登録されたコンテンツの作成者を、その位置にいるユーザとみなすことも考えられる。しかし、赤外線カメラ32,42は、電子ペン36,37,46,47の位置を正確に捉えるために、テーブル51の上面を上方から見下ろすように配置されている。そのため、ユーザ34,35,44,45の認証が可能な顔や手などは、赤外線カメラ32,42と電子ペン36,37,46,47との間に位置する。しかもユーザ34,35,44,45は、赤外線カメラ32,42に背を向ける姿勢となることが多くなる。そのため、赤外線カメラ32,42でのユーザ34,35,44,45の認識も困難である。
なお、1つの拠点に複数台のカメラ(例えば可視光を撮影するカメラ)を配置して、様々な方向から撮影すれば、顔認識によりユーザ34,35,44,45を個別認識することは可能である。しかし空間UIを利用しているユーザ34,35,44,45の位置を把握するためだけに複数台のカメラを用意するのはコスト的に難しい場合が多い。しかも空間UIクライアント200,300は、複数のカメラで撮影された画像を解析することとなり、空間UIクライアント200,300の処理負担が過大となる。
そこで、第2の実施の形態では、過大な設備を用いず、かつ空間UIクライアント200,300に過大な処理負担をかけずに、電子ペン36,37,46,47を用いて入力された情報と、その情報を入力したユーザとを関連付ける。
以下に、電子ペン36,37,46,47を用いて入力された情報と、その情報を入力したユーザとを関連付けるために、プレイスサーバ100と空間UIクライアント200,300が有する機能について説明する。
図5は、各装置の機能の一例を示すブロック図である。プレイスサーバ100は、記憶部110、コンテンツ管理部120、および拠点・ユーザ管理部130を有する。
記憶部110は、コンテンツ管理情報111、拠点管理テーブル112、ユーザ管理テーブル113、および複数のコンテンツデータ114,115,・・・を記憶する。記憶部110は、例えばメモリ102またはストレージ装置103の記憶領域の一部である。コンテンツ管理情報111は、コンテンツの作成者や、コンテンツの各拠点への表示の有無、ユーザごとのコンテンツへのアクセス権限などに関する情報である。拠点管理テーブル112は、拠点に設定された空間UIクライアントに関する情報である。ユーザ管理テーブル113は、電子ペンを用いてコンテンツを登録するユーザに関する情報である。コンテンツデータ114,115,・・・は、コンテンツ管理情報111に示されたコンテンツについての、具体的なデータ(例えばイメージデータ)である。
以下、図6〜図8を参照して、コンテンツ管理情報111、拠点管理テーブル112、およびユーザ管理テーブル113について、詳細に説明する。
図6は、コンテンツ管理情報の一例を示す図である。図6の例では、コンテンツ管理情報111には、JSON(JavaScript(登録商標) Object Notation)形式のフォーマットで、仮想空間に表示するコンテンツに関する情報が記述されている。
コンテンツ管理情報111のキー“place”には、コンテンツが配置された拠点の名称(拠点名)が設定される。キー“ip-address”には、コンテンツが配置された拠点の空間UIクライアントのIPアドレスが設定される。キー“Contents”には、配置されたコンテンツの情報が設定される。
キー“Contents”内に示されるキー“id”には、コンテンツの識別子が設定される。キー“Author”には、コンテンツの作成者の名前が設定される。キー“type”には、コンテンツの種別が設定される。キー“data”には、コンテンツとして表示するオブジェクトを示す情報が設定される。例えば画像を表示する場合、キー“imagepath”によって、その画像のイメージデータであるコンテンツデータの位置情報が設定される。キー“coordinates”には、仮想空間内に設定された表示領域内でのコンテンツの表示位置が設定される。キー“size”には、コンテンツを表示する際の幅と高さとが設定される。
キー“security”には、コンテンツへのアクセス権限などの管理情報が設定される。例えばキー“users”によって、特定のユーザのアクセス権限が設定される。キー“userId”には、アクセス権限の設定対象のユーザの識別子が設定される。キー“username”には、該当ユーザのユーザ名が設定される。キー“permission”には、該当ユーザに与えられる権限の内容が設定される。例えばキー“fullcontrole”の値が「true」であれば、該当ユーザは、更新(内容の変更および削除を含む)、参照、書き込み(データの追加)の権限を有する。キー“update”の値が「true」であれば、該当ユーザは、更新の権限を有する。キー“read”の値が「true」であれば、該当ユーザは、参照の権限を有する。キー“write”の値が「true」であれば、該当ユーザは、書き込みの権限を有する。例えばユーザがコンテンツに対する参照の権限を有していれば、ユーザは、自身が所持する端末装置にそのコンテンツをダウンロードすることができる。
なお図6の例では、キー“security”の値として、ユーザに対するアクセス権限が設定されているが、同様の形式で、空間UIクライアント200,300に対するアクセス権限を設定することができる。例えば他の拠点に対する表示を許可するコンテンツには、その拠点の拠点名またはIPアドレスに対応付けて、参照の許可を示すアクセス権限が設定される。
図7は、拠点管理テーブルの一例を示す図である。拠点管理テーブル112には、拠点名に対応付けて、その拠点に配置されている空間UIクライアントのIPアドレスが設定されている。
図8は、ユーザ管理テーブルの一例を示す図である。ユーザ管理テーブル113には、ユーザのユーザIDに対応付けて、そのユーザのパスワードが設定されている。パスワードは、文字列、または画面上のドットの選択順を示すパターンである。図8の例では、パターンによりパスワードが設定された例が示されている。なお図8では、ドットをなぞる順番を、矢印で示している。パスワードとしてドットの選択順のパターンを用いた場合でも、データ上は、選択された各ドットの示す記号の配列が、パスワードとしてユーザ管理テーブル113に登録される。
以下、図5の説明に戻る。
コンテンツ管理部120は、空間UIクライアント200,300それぞれにおいて仮想空間内に設定されたコンテンツを取得する。そしてコンテンツ管理部120は、取得したコンテンツを記憶部110に格納する。またコンテンツ管理部120は、取得したコンテンツが、コンテンツの送信元とは別の拠点での表示が許可されている場合、このコンテンツを、表示が許可されている拠点の空間UIクライアントに送信する。
拠点・ユーザ管理部130は、拠点管理テーブル112とユーザ管理テーブル113とを管理する。例えば拠点・ユーザ管理部130は、空間UIクライアント200,300からの要求に応じて、拠点管理テーブル112またはユーザ管理テーブル113へ、レコードを追加する。また拠点・ユーザ管理部130は、空間UIクライアント200,300からの要求に応じて、拠点管理テーブル112またはユーザ管理テーブル113から拠点名またはユーザIDを取得し、空間UIクライアント200,300に送信する。
空間UIクライアント200は、ペン認識部210、空間表示部220、空間管理部230、コンテンツ設定部240、およびユーザ設定部250を有する。
ペン認識部210は、赤外線カメラ32で撮影した赤外線の画像に基づいて、電子ペン36,37から出力された赤外線の照射位置を検出する。そしてペン認識部210は、赤外線の照射位置の軌跡を示すオブジェクトを生成する。ペン認識部210は、生成したオブジェクトを空間管理部230に送信する。
空間表示部220は、空間管理部230から仮想空間の情報を取得し、仮想空間内の表示対象のオブジェクトを含む投影画像52を生成する。そして空間表示部220は、プロジェクタ31を介して、拠点30内の所定の位置(例えばテーブル51の上面)に、生成した投影画像52を表示させる。
空間管理部230は、拠点30に定義した仮想空間を管理する。例えば空間管理部230は、ペン認識部210から取得したオブジェクトを、テーブル51の上面に合致する仮想空間内の平面上に設定する。また空間管理部230は、コンテンツ設定部240から、表示したオブジェクトがコンテンツであると指定された場合、そのオブジェクトを、管理対象のコンテンツとして認識する。空間管理部230は、仮想空間内のコンテンツを示すコンテンツ情報を、プレイスサーバ100のコンテンツ管理部120に送信する。コンテンツ情報には、コンテンツの内容を示すコンテンツデータ(例えばイメージデータ)や、コンテンツの表示位置やサイズを示す情報が含まれる。また空間管理部230は、コンテンツ管理部120から、他の拠点40で設定されたコンテンツを示すコンテンツ情報を受信すると、仮想空間内に他の拠点40のコンテンツを設定する。
コンテンツ設定部240は、仮想空間に設定されたオブジェクトに基づいて、コンテンツの設定領域を認識し、その設定領域内に設定されたオブジェクトをコンテンツとして仮想空間に設定する。例えばコンテンツ設定部240は、四角のオブジェクトが仮想空間内に設定されると、そのオブジェクト内をコンテンツの設定領域と認識する。
またコンテンツ設定部240は、仮想空間に設定されたオブジェクトに基づいて、パーソナルスペースを認識する。なお、パーソナルスペースは、第1の実施の形態に示した個人使用領域4(図1参照)の一例である。例えばコンテンツ設定部240は、アルファベットの「P」形のオブジェクトが仮想空間内に設定されると、「P」の形状の線で囲まれた部分を、パーソナルスペースとして認識する。コンテンツ設定部240は、パーソナルスペースを設定した場合、ユーザ設定部250による、パーソナルスペースの使用ユーザの設定を受け付ける。コンテンツ設定部240は、パーソナルスペース内にコンテンツを設定した場合、そのコンテンツに対して、パーソナルスペースの使用ユーザのユーザ情報を設定する。
さらにコンテンツ設定部240は、コンテンツに対し、他の拠点40の空間UIクライアント300、またはユーザ34,35,44,45が所持する端末装置38,39,48,49からのコンテンツへアクセス権限を設定する。
ユーザ設定部250は、プレイスサーバ100へのユーザ登録、およびパーソナルスペースへのユーザの関連付け処理を行う。例えばユーザ設定部250は、アルファベットの「R」形のオブジェクトが仮想空間内に設定されると、ユーザ登録要求が行われたと認識し、ユーザ情報入力用オブジェクトを仮想空間内に設定する。すると空間表示部220によって、ユーザ情報入力用オブジェクトが、例えばテーブル51上に表示される。そしてユーザ設定部250は、ユーザ情報入力用オブジェクト内への電子ペンによる入力に基づいて、ユーザ情報を認識する。ユーザ設定部250は、認識したユーザ情報を、プレイスサーバ100の拠点・ユーザ管理部130に送信する。
またユーザ設定部250は、コンテンツ設定部240がパーソナルスペースを認識したとき、そのパーソナルスペースを使用するユーザのユーザ情報入力用オブジェクトを仮想空間内に設定する。すると、空間表示部220によって、ユーザ情報入力用オブジェクトが、例えばテーブル51上に表示される。ユーザ設定部250は、ユーザ情報入力用オブジェクト内への電子ペンによる入力に基づいて、ユーザ情報を取得する。そしてユーザ設定部250は、ユーザ情報に対応するユーザがプレイスサーバ100に登録されていることを確認し、登録されている場合、そのユーザのユーザIDを、パーソナルスペースの使用者のユーザIDとしてコンテンツ設定部240に通知する。
なお、図5に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。
以下、空間UIを用いたコンテンツの管理処理について詳細に説明する。まず、ユーザ登録方法について説明する。
図9は、ユーザ登録方法の一例を示す図である。例えばユーザ登録を行うユーザ34は、電子ペン36を用いて、テーブル51上に、ユーザ登録用図形61(図9の例では「R」の文字)を描く。するとテーブル51上にユーザ情報入力用オブジェクト62が映し出される。なお、ユーザ情報入力用オブジェクト62は、第1の実施の形態における識別子入力領域5(図1参照)の一例である。ユーザ情報入力用オブジェクト62には、ユーザID設定部62aとパスワード設定部62bとが含まれる。パスワード設定部62bには、パスワード入力用のドットのパターンが表示されている。
ユーザ34は、電子ペン36を用いて、ユーザID設定部62a内にユーザIDを記入する。例えばユーザ34は、ユーザ34自身の名前を、ユーザIDとしてユーザID設定部62aに記入する。次にユーザ34は、パスワード設定部62bに表示されているドットのパターンを電子ペン36でなぞることで、パスワードを入力する。ユーザ34によって入力されたユーザIDとパスワードとの組が、ユーザ34のユーザ情報としてプレイスサーバ100に登録される。
図10は、ユーザ登録処理の手順の一例を示すフローチャートである。以下、図10に示す処理をステップ番号に沿って説明する。
[ステップS101]ユーザ設定部250は、仮想空間内にユーザ登録用図形61を検出したか否かを判断する。ユーザ設定部250は、ユーザ登録用図形61を検出した場合、処理をステップS102に進める。またユーザ設定部250は、ユーザ登録用図形61を検出していなければ、ステップS101の処理を繰り返す。
[ステップS102]ユーザ設定部250は、ユーザ情報入力用オブジェクト62を表示させる。例えばユーザ設定部250は、ユーザ情報入力用オブジェクト62を、空間管理部230が管理する仮想空間内に設定する。すると空間表示部220によって、ユーザ情報入力用オブジェクト62を含む投影画像が、プロジェクタ31を介してテーブル51の上面に表示される。
[ステップS103]ユーザ設定部250は、ユーザIDとパスワードとが入力されたか否かを判断する。ユーザ設定部250は、ユーザIDとパスワードとが入力された場合、処理をステップS104に進める。またユーザ設定部250は、ユーザIDとパスワードとの入力が完了していなければ、ステップS103の処理を繰り返す。
[ステップS104]ユーザ設定部250は、入力されたユーザIDとパスワードとの組を、ユーザ情報としてプレイスサーバ100に登録する。例えば、ユーザ設定部250は、ユーザIDとパスワードとを含むユーザ情報登録要求を、プレイスサーバ100に送信する。プレイスサーバ100では、拠点・ユーザ管理部130がユーザ情報登録要求を受信する。そして拠点・ユーザ管理部130は、受信したユーザ情報登録要求に示されたユーザIDとパスワードとの組を含むレコードを、ユーザ情報として記憶部110のユーザ管理テーブル113に追加登録する。
このようにして、ユーザ34のユーザ情報がプレイスサーバ100に登録される。ユーザ登録を行ったユーザ34は、仮想空間内にユーザ34のパーソナルスペースを設定できる。
次に、パーソナルスペースの設定方法について説明する。
図11は、パーソナルスペースの設定方法の一例を示す図である。例えばユーザ登録を行うユーザ34は、電子ペン36を用いて、テーブル51上に、パーソナルスペース作成用図形63(図11の例では「P」の文字)を描く。するとテーブル51上にユーザ情報入力用オブジェクト62が映し出される。
ユーザ34は、電子ペン36を用いて、ユーザ情報入力用オブジェクト62のユーザID設定部62a内にユーザIDを記入する。次にユーザ34は、ユーザ情報入力用オブジェクト62のパスワード設定部62bに表示されているドットのパターンを、ユーザ登録時と同じように電子ペン36でなぞることで、パスワードを入力する。ユーザ34によって入力されたユーザIDとパスワードとの組が、認証用のユーザ情報となる。ユーザ設定部250は、認証用のユーザ情報によるユーザ認証を、プレイスサーバ100に要求する。そして認証に成功した場合、ユーザ設定部250は、コンテンツ設定部240に、ユーザIDを通知する。
ユーザIDの通知を受けたコンテンツ設定部240は、パーソナルスペース作成用図形63によって囲われた領域を、そのユーザIDに対応するユーザのパーソナルスペース64に設定する。このとき、コンテンツ設定部240は、例えばパーソナルスペース64の内の背景色を、他の領域と異なる色に設定する。そしてコンテンツ設定部240は、パーソナルスペース64にユーザIDを設定する。その結果、背景色が変えられ、ユーザID65が付与されたパーソナルスペース64が、例えばテーブル51上に表示される。
図12は、パーソナルスペース設定処理の手順の一例を示すフローチャートである。以下、図12に示す処理をステップ番号に沿って説明する。
[ステップS111]コンテンツ設定部240は、仮想空間内にパーソナルスペース作成用図形63を検出したか否かを判断する。コンテンツ設定部240は、パーソナルスペース作成用図形63を検出した場合、ユーザ設定部250にユーザIDの取得要求を送信し、処理をステップS112に進める。またユーザ設定部250は、パーソナルスペース作成用図形63を検出していなければ、ステップS111の処理を繰り返す。
[ステップS112]ユーザ設定部250は、ユーザIDの取得要求に応じて、ユーザ情報入力用オブジェクト62を表示させる。例えばユーザ設定部250は、ユーザ情報入力用オブジェクト62を、空間管理部230が管理する仮想空間内に設定する。すると空間表示部220によって、ユーザ情報入力用オブジェクト62を含む投影画像が、プロジェクタ31を介してテーブル51の上面に表示される。
[ステップS113]ユーザ設定部250は、ユーザIDとパスワードとが入力されたか否かを判断する。ユーザ設定部250は、ユーザIDとパスワードとが入力された場合、処理をステップS114に進める。またユーザ設定部250は、ユーザIDとパスワードとの入力が完了していなければ、ステップS113の処理を繰り返す。
[ステップS114]ユーザ設定部250は、入力されたユーザIDとパスワードとの組を含む認証要求を、プレイスサーバ100に送信する。プレイスサーバ100では、拠点・ユーザ管理部130が認証要求を受信する。そして拠点・ユーザ管理部130は、認証要求に含まれるユーザ情報が、予め記憶部110に格納されているユーザ情報と一致した場合、ユーザ34を正当なユーザであると認証する。拠点・ユーザ管理部130は、認証結果を、ユーザ設定部250に送信する。
[ステップS115]ユーザ設定部250は、認証に成功したか否かを判断する。例えばユーザ設定部250は、プレイスサーバ100から認証成功の応答を受け取った場合、認証に成功したと判断する。ユーザ設定部250は、認証に成功した場合、処理をステップS117に進める。またユーザ設定部250は、認証に失敗した場合、処理をステップS116に進める。
[ステップS116]ユーザ設定部250は、ユーザIDとパスワードとの再入力を要求するメッセージを、テーブル51上の投影画像52に表示させる。その後、ユーザ設定部250は、処理をステップS112に進める。
[ステップS117]ユーザ設定部250は、ユーザIDをコンテンツ設定部240に送信する。コンテンツ設定部240は、パーソナルスペース作成用図形63で囲われた領域を、入力されたユーザIDに対応するユーザのパーソナルスペース64として設定する。
[ステップS118]コンテンツ設定部240は、パーソナルスペース64にユーザID65を表示させると共に、パーソナルスペース64の背景色を変更する。
このようにして、個々のユーザのパーソナルスペース64を、投影画像52内に設定することができる。以後、パーソナルスペース64内に設定されたコンテンツには、パーソナルスペース64を使用しているユーザのユーザIDが、作成者として設定される。
図13は、コンテンツ設定例を示す図である。図13には、パーソナルスペース64内にコンテンツ入力領域66を設定した場合と、パーソナルスペース64外にコンテンツ入力領域67を設定した場合との、各コンテンツの取り扱いを示している。
例えばユーザ34が電子ペン36によってパーソナルスペース64内に矩形の領域を描くと、その領域がコンテンツ入力領域66として設定される。ユーザ34は、電子ペン36によって、コンテンツ入力領域66内に文字を書き込む。書き込まれた文字は、ペン認識部210によって、オブジェクトとして認識される。認識されたオブジェクトがコンテンツ入力領域66内にあることから、コンテンツ設定部240が、そのオブジェクトをコンテンツとして仮想空間内に設定する。
パーソナルスペース64内にコンテンツ入力領域66が設定された場合、ユーザ設定部250により、仮想空間内にパスワード入力用オブジェクト68が設定される。すると空間表示部220によって、投影画像52内にパスワード入力用オブジェクト68が表示される。ユーザ34は、パスワード入力用オブジェクト68に対して電子ペン36によってパスワードを入力する。入力されたパスワードは、ユーザ設定部250によって、パーソナルスペース64に設定されたユーザIDと共にプレイスサーバ100に送信される。プレイスサーバ100では、拠点・ユーザ管理部130が、受信したユーザIDとパスワードとの組により、認証処理を行う。そして拠点・ユーザ管理部130は、認証結果を、ユーザ設定部250に送信する。
ユーザ設定部250は、認証に成功した場合、パーソナルスペース64に設定されているユーザID65を、コンテンツの作成者のユーザIDとして、コンテンツに設定する。ユーザ設定部250は、認証に失敗した場合、コンテンツの作成者を「ゲスト」として登録する。作成者が「ゲスト」のコンテンツは、例えばすべてのユーザに、参照などのアクセス権限が付与される。
また、例えばユーザ35が、パーソナルスペース64外に電子ペン37を用いてコンテンツ入力領域67を設定したものとする。この場合、ユーザ設定部250は、パスワードの入力を要求することなく、コンテンツ入力領域67内に設定されたコンテンツの作成者を、「ゲスト」として登録する。
このようにして、パーソナルスペース64内に設定されたコンテンツに対して、作成者のユーザIDを設定することができる。すなわちコンテンツの作成者を管理することができる。作成者が管理されていることで、例えばコンテンツに対する空間UIクライアント200,300やユーザ34,35,44,45に対するアクセス権限を、作成者の意思で設定することができる。
図14は、コンテンツ設定処理の手順の一例を示すフローチャートである。以下、図14に示す処理をステップ番号に沿って説明する。
[ステップS121]コンテンツ設定部240は、仮想空間内にコンテンツ設定用図形を検出したか否かを判断する。コンテンツ設定用図形は、例えば四角の図形である。コンテンツ設定部240は、コンテンツ設定用図形を検出した場合、処理をステップS122に進める。またコンテンツ設定部240は、コンテンツ設定用図形を検出していなければ、ステップS121の処理を繰り返す。
[ステップS122]コンテンツ設定部240は、コンテンツ設定用図形内の領域を、コンテンツ入力領域66,67として設定する。例えばコンテンツ設定部240は、コンテンツ入力領域66,67を示すオブジェクト(例えば四角形のオブジェクト)を、空間管理部230が管理する仮想空間に追加する。コンテンツ入力領域66,67を示すオブジェクトは、空間表示部220によって、テーブル51の上面に表示される。
[ステップS123]コンテンツ設定部240は、コンテンツ入力領域66,67の設定位置がパーソナルスペース64内か否かを判断する。コンテンツ入力領域66,67の設定位置がパーソナルスペース64内である場合、処理をステップS124に進める。またコンテンツ設定部240は、コンテンツ入力領域66,67の設定位置がパーソナルスペース64外である場合、処理をステップS128に進める。
[ステップS124]ユーザ設定部250は、パスワード入力用オブジェクト68を表示させる。例えばユーザ設定部250は、パスワード入力用オブジェクト68(例えばパスワード入力用のドットが並べられたオブジェクト)を、空間管理部230が管理する仮想空間に追加する。追加されたオブジェクトは、空間表示部220によって、テーブル51の上面に表示される。
[ステップS125]ユーザ設定部250は、パスワード入力用オブジェクト68へのパスワードの入力を受け付ける。
[ステップS126]ユーザ設定部250は、正しいパスワードが入力されたか否かを判断する。例えばユーザ設定部250は、コンテンツが追加されたパーソナルスペース64に設定されているユーザIDと入力されたパスワードとの組(ユーザ情報)を含む認証要求を、プレイスサーバ100に送信する。プレイスサーバ100では、拠点・ユーザ管理部130が、認証要求に示されるユーザ情報と一致するユーザ情報が、ユーザ管理テーブル113に登録されているか否かを判断する。拠点・ユーザ管理部130は、一致するユーザ情報が登録されていれば、認証に成功した旨をユーザ設定部250に応答する。ユーザ設定部250には、認証に成功した旨の応答を受信した場合、パスワードが正しいと判断する。ユーザ設定部250は、正しいパスワードが入力された場合、ユーザ認証に成功した旨をコンテンツ設定部240に通知し、処理をステップS127に進める。またユーザ設定部250は、パスワードが正しくない場合、処理をステップS128に進める。
[ステップS127]コンテンツ設定部240は、コンテンツ入力領域66内に入力されるコンテンツの作成者として、パーソナルスペース64の使用者のユーザID65を設定する。このとき、コンテンツ設定部240は、例えば、コンテンツに、コンテンツ作成者によるそのコンテンツへのアクセス権限を設定する。例えば、コンテンツ設定部240は、作成者に対して、すべての種別のアクセスを許可するように、アクセス権限の設定を行う。その後、コンテンツ設定部240は、処理をステップS129に進める。
[ステップS128]コンテンツ設定部240は、コンテンツ入力領域66,67内に入力されるコンテンツの作成者を、ゲストユーザに設定する。
[ステップS129]コンテンツ設定部240は、コンテンツ入力領域66,67内に入力されたコンテンツを検出し、そのコンテンツを、空間管理部230が管理する仮想空間に登録する。この際、コンテンツ設定部240は、設定されたコンテンツに、ステップS127またはステップS128で設定された作成者の情報を付与する。仮想空間にコンテンツが登録されると、空間管理部230によって、そのコンテンツを示す情報が、プレイスサーバ100に送信される。プレイスサーバ100では、コンテンツ管理部120が、コンテンツを示す情報を受信し、その情報を、記憶部110に格納する。例えばコンテンツ管理部120は、受信した情報に基づいて、コンテンツ管理情報111を更新する。また受信した情報にイメージデータが含まれる場合、コンテンツ管理部120は、そのイメージデータを、コンテンツデータとして記憶部110に格納する。
図15は、コンテンツへのアクセス権限の設定例を示す図である。例えば、ユーザ34が電子ペン36によりコンテンツ入力領域66の選択操作を行うと、コンテンツ設定部240によって、アクセス権設定ダイアログ71のオブジェクトが仮想空間に設定される。これによりアクセス権設定ダイアログ71が表示される。アクセス権設定ダイアログ71には、例えば、システムが接続されている拠点の拠点名、およびダウンロード用の端末装置が登録されているユーザのユーザIDが表示される。例えばコンテンツ設定部240は、拠点・ユーザ管理部130に対して、拠点管理テーブル112内の拠点名と、ユーザ管理テーブル113内のユーザIDとの取得要求を送信する。拠点・ユーザ管理部130は、記憶部110から拠点管理テーブル112内の拠点名とユーザ管理テーブル113内のユーザ名とを取得し、取得した拠点名とユーザ名とをコンテンツ設定部240に送信する。コンテンツ設定部240は、受信した拠点名とユーザ名とを含むアクセス権設定ダイアログ71のオブジェクトを生成し、そのオブジェクトを、空間管理部230が管理する仮想空間に設定する。すると空間表示部220によって、設定されたアクセス権設定ダイアログ71を含む投影画像が、例えばテーブル51の上面に表示される。
ユーザ34は、電子ペン36を用いて、参照を許可する拠点の拠点名を選択する。図15の例では「拠点A」が選択されている。選択された拠点名には、例えばチェックマークが表示される。またユーザ34は、電子ペン36を用いて、ダウンロードを許可するユーザのユーザ名を選択する。図15の例では「F通花子」が選択されている。選択されたユーザ名には、例えばチェックマークが表示される。
拠点名またはユーザ名が選択されると、コンテンツ設定部240は、コンテンツ管理情報111内に、選択された拠点またはユーザに関するアクセス権限の設定情報を追加する。なお、コンテンツ入力領域66が作成された拠点が「拠点A」の場合、初期状態として「拠点A」には、キー“fullcontrole”が「true」に設定されているものとする。
図15の例では「拠点A」には、コンテンツ入力領域66内のコンテンツの参照が許可されている。そのため「拠点A」の投影画像52には、コンテンツ入力領域66内のコンテンツが含まれている。しかし「拠点B」には、コンテンツ入力領域66内のコンテンツの参照が許可されていない。そのため「拠点B」の投影画像72には、コンテンツ入力領域66、およびコンテンツ入力領域66内のコンテンツが含まれていない。
このように、仮想空間に設定された各コンテンツは、アクセス権限を有する空間UIクライアントのみで表示される。これにより、登録したコンテンツについて、どの拠点に対して公開するのかを、そのコンテンツの作成者が任意に設定することができる。
またコンテンツへのアクセス権限の設定により、一部のユーザのみにそのコンテンツのダウンロードを許可することができる。
図16は、コンテンツダウンロード処理の手順の一例を示すフローチャートである。以下、図16に示す処理をステップ番号に沿って説明する。
[ステップS131]コンテンツ管理部120は、端末装置からのログインを受け付ける。例えばコンテンツ管理部120は、端末装置からログイン要求を受信すると、ユーザIDとパスワードとの入力要求を、その端末装置に送信する。コンテンツ管理部120は、端末装置からユーザIDとパスワードを受信すると、受信したユーザIDとパスワードとの組とユーザ管理テーブル113内の各ユーザのユーザ情報とを照合する。コンテンツ管理部120は、該当するユーザ情報があれば、そのユーザ情報に示されているユーザIDによるプレイスサーバ100へのログインを許可する。
[ステップS132]コンテンツ管理部120は、端末装置から、ダウンロード対象コンテンツの指定を受け付ける。
[ステップS133]コンテンツ管理部120は、指定されたコンテンツに対して、ログインしたユーザがアクセス権限を有しているか否かを判断する。例えばコンテンツ管理部120は、コンテンツ管理情報111を参照し、ログインしたユーザのユーザIDに対応付けて設定されたアクセス権限を確認する。コンテンツ管理部120は、該当ユーザのアクセス権限として、コンテンツへの参照が許可されている場合、アクセス権限を有していると判断する。コンテンツ管理部120は、アクセス権限がある場合、処理をステップS134に進める。またコンテンツ管理部120は、アクセス権限がなければ、処理をステップS135に進める。
[ステップS134]コンテンツ管理部120は、端末装置へ指定されたコンテンツを送信する。その後、コンテンツダウンロード処理が終了する。
[ステップS135]コンテンツ管理部120は、アクセス権限がない旨のメッセージを端末装置に送信する。
このようにして、コンテンツに対して、参照の許可を示すアクセス権限が設定されたユーザであれば、該当コンテンツを端末装置にダウンロードすることが可能となる。それに対して、アクセス権限が設定されていないユーザは、コンテンツをダウンロードすることはできない。
以上説明したように、第2の実施の形態によれば、空間UIにおいて、ユーザは、電子ペンによる入力動作のみで、パーソナルスペースの設定と、そのパーソナルスペース内へのコンテンツの登録を行うことができる。パーソナルスペースにユーザのユーザIDを設定しておくことで、登録されたコンテンツには、作成したユーザのユーザIDが自動で付与される。その結果、空間UIにおいて登録されたコンテンツについて、誰が作成者なのかを判別可能となる。例えばコンテンツに示されたアイデアの詳細を確認する際に、誰に確認すればよいのかを、そのコンテンツに対応付けられたユーザIDに基づいて判別できる。
またコンテンツの作成者が管理されていることにより、作成者の意思で、そのコンテンツへのアクセス権限を自由に設定することが可能となる。例えば、コンテンツを作成したユーザの意思で、そのコンテンツの内容を他の拠点のユーザに非開示とすることができる。またコンテンツを作成したユーザの意思で、そのコンテンツをダウンロードすることができるユーザを限定することができる。
〔その他の実施の形態〕
第1および第2の実施の形態では、ユーザが使用する電子ペンの照射点に基づいて、ユーザの入力動作を検知しているが、他の方法で入力動作を検知することもできる。例えば、モーションキャプチャなどで用いるマーカをユーザの指先に取り付け、そのマーカの動きをカメラで捉えることで、ユーザの入力動作を検知することもできる。また、カメラでユーザを撮影し、画像解析によって、例えばユーザの指先の動きを判断し、ユーザの入力動作として検知することもできる。
また第1および第2の実施の形態では、テーブル上にプロジェクタで画像を表示しているが、テーブル上面に液晶または有機ELなどの表示装置を組み込んで、その表示装置で画像を表示してもよい。この場合、表示装置の表示面にタッチパネルを設けることで、タッチパネルへのユーザの接触位置を、ユーザの入力動作として検知することもできる。
第2の実施の形態では、コンテンツのダウンロード時に、端末装置からログインを受け付けることで、その端末装置の使用者を特定しているが、プレイスサーバ100において、予め端末装置の識別子とユーザとを対応付けて記憶しておいてもよい。この場合、端末装置からのコンテンツのダウンロード要求を受信したプレイスサーバ100は、その端末装置の識別子に基づいて、使用しているユーザを判別する。そしてプレイスサーバ100は、端末装置を使用しているユーザに対してコンテンツの参照が許容されていれば、そのコンテンツを端末装置に送信する。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
1a プロジェクタ
1b 対象物
1c 投影画像
2a カメラ
2b ユーザ
2c 電子ペン
2d 照射点
3 撮影画像
3a,3c 指定位置
3b,3d 軌跡
4 個人使用領域
5 識別子入力領域
6 入力情報
10 情報処理装置
11 記憶部
12 処理部

Claims (10)

  1. 対象物上での入力動作を検出すると、前記入力動作に応じた情報を記憶部に記憶する入力情報管理プログラムにおいて、
    前記対象物上の範囲の指定動作と、前記指定動作の動作主体を識別する情報の入力とを受け付けると、検出した前記入力動作に応じた情報のうち、指定された前記範囲での入力動作に応じた情報を取得し、
    取得した前記情報を、受け付けた前記動作主体を識別する情報に対応付けて記憶する、
    処理をコンピュータに実行させることを特徴とする入力情報管理プログラム。
  2. 指定された前記範囲での入力動作に応じた情報の取得では、検出した前記入力動作に応じて、前記対象物上に表示された画像内の指定位置を検出し、前記指定位置の軌跡に基づいて、指定された前記範囲を特定する、
    請求項1記載の入力情報管理プログラム。
  3. 指定された前記範囲の特定では、前記指定位置の軌跡によって描かれた所定の図形を検出し、前記図形に囲まれた領域を、指定された前記範囲として特定する、
    請求項2記載の入力情報管理プログラム。
  4. 指定された前記範囲での入力動作に応じた情報の取得では、指定された前記範囲に関連付けて前記対象物上に表示された識別子入力領域内での、前記指定位置の軌跡に基づいて、前記動作主体を識別する情報を取得する、
    請求項2または3記載の入力情報管理プログラム。
  5. 前記指定位置の検出では、前記対象物を撮影するカメラから、前記対象物上に表示された前記画像の表示領域を撮影した撮影画像を取得し、前記撮影画像に基づいて、前記動作主体が使用する電子ペンから出力された光線の前記対象物上での照射点の位置を、前記指定位置として検出する、
    請求項2ないし4のいずれかに記載の入力情報管理プログラム。
  6. 前記コンピュータに、さらに、
    前記対象物上に表示されたアクセス権限設定領域内への入力動作に基づいて、前記コンピュータ以外の機器に対して、取得した前記情報へのアクセス権限を設定する、
    処理を実行させる請求項1ないし5のいずれかに記載の入力情報管理プログラム。
  7. 前記アクセス権限の設定では、前記コンピュータが設置された拠点とは別の拠点に設置された他のコンピュータに対して、取得した前記情報への前記アクセス権限を設定する、
    請求項6記載の入力情報管理プログラム。
  8. 前記アクセス権限の設定では、前記動作主体と異なるユーザが使用する端末装置に対して、取得した前記情報への前記アクセス権限を設定する、
    請求項6または7記載の入力情報管理プログラム。
  9. 対象物上での入力動作を検出すると、前記入力動作に応じた情報を記憶部に記憶する入力情報管理方法において、
    コンピュータが、
    前記対象物上の範囲の指定動作と、前記指定動作の動作主体を識別する情報の入力とを受け付けると、検出した前記入力動作に応じた情報のうち、指定された前記範囲での入力動作に応じた情報を取得し、
    取得した前記情報を、受け付けた前記動作主体を識別する情報に対応付けて記憶する、
    ことを特徴とする入力情報管理方法。
  10. 対象物上での入力動作を検出すると、前記入力動作に応じた情報を記憶する情報処理装置において、
    前記情報を記憶する記憶部と、
    前記対象物上の範囲の指定動作と、前記指定動作の動作主体を識別する情報の入力とを受け付けると、検出した前記入力動作に応じた情報のうち、指定された前記範囲での入力動作に応じた情報を取得し、取得した前記情報を、受け付けた前記動作主体を識別する情報に対応付けて、前記記憶部に格納する処理部と、
    を有する情報処理装置。
JP2018027850A 2018-02-20 2018-02-20 入力情報管理プログラム、入力情報管理方法、および情報処理装置 Active JP6959529B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018027850A JP6959529B2 (ja) 2018-02-20 2018-02-20 入力情報管理プログラム、入力情報管理方法、および情報処理装置
US16/274,461 US10885366B2 (en) 2018-02-20 2019-02-13 Input information management apparatus and input information management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018027850A JP6959529B2 (ja) 2018-02-20 2018-02-20 入力情報管理プログラム、入力情報管理方法、および情報処理装置

Publications (2)

Publication Number Publication Date
JP2019144800A JP2019144800A (ja) 2019-08-29
JP6959529B2 true JP6959529B2 (ja) 2021-11-02

Family

ID=67616882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018027850A Active JP6959529B2 (ja) 2018-02-20 2018-02-20 入力情報管理プログラム、入力情報管理方法、および情報処理装置

Country Status (2)

Country Link
US (1) US10885366B2 (ja)
JP (1) JP6959529B2 (ja)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3994183B2 (ja) * 1998-07-28 2007-10-17 キヤノン株式会社 表示制御装置、表示制御方法、及び記憶媒体
JP2008129925A (ja) 2006-11-22 2008-06-05 Nippon Telegr & Teleph Corp <Ntt> ユーザプロファイルの生成方法、生成装置及び生成プログラム
US8210434B2 (en) * 2007-01-24 2012-07-03 Pioneer Corporation Error detecting apparatus and method, and computer program
JP2010033363A (ja) 2008-07-29 2010-02-12 Fujifilm Corp オブジェクト操作装置、方法およびプログラム
KR101651859B1 (ko) * 2009-06-05 2016-09-12 삼성전자주식회사 사용자별 ui 제공방법 및 이를 적용한 디바이스
WO2011104709A2 (en) * 2010-02-23 2011-09-01 Rami Parham A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
JP2013041350A (ja) * 2011-08-12 2013-02-28 Panasonic Corp タッチテーブルシステム
US10082950B2 (en) * 2011-11-09 2018-09-25 Joseph T. LAPP Finger-mapped character entry systems
CN104067209B (zh) * 2011-11-11 2017-03-22 原相科技股份有限公司 交互式输入系统及方法
JP2013125553A (ja) * 2011-12-15 2013-06-24 Toshiba Corp 情報処理装置、記録プログラム
JP5666545B2 (ja) * 2011-12-15 2015-02-12 株式会社東芝 情報処理装置、画像取得プログラム
TWI637312B (zh) * 2012-09-19 2018-10-01 三星電子股份有限公司 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體
WO2014061095A1 (ja) 2012-10-16 2014-04-24 三菱電機株式会社 情報表示装置および情報表示装置における操作制御方法
US9164596B1 (en) * 2012-10-22 2015-10-20 Google Inc. Method and apparatus for gesture interaction with a photo-active painted surface
JP6098153B2 (ja) 2012-12-18 2017-03-22 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US20140267019A1 (en) * 2013-03-15 2014-09-18 Microth, Inc. Continuous directional input method with related system and apparatus
JP2016006613A (ja) * 2014-06-20 2016-01-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6487694B2 (ja) * 2014-12-26 2019-03-20 株式会社ワコム 位置指示器及び信号処理装置
JP6724358B2 (ja) * 2015-12-18 2020-07-15 株式会社リコー 電子黒板、プログラム、データ表示方法、画像処理システム
JP6230666B2 (ja) 2016-06-30 2017-11-15 シャープ株式会社 データ入力装置、データ入力方法、及びデータ入力プログラム
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments

Also Published As

Publication number Publication date
US10885366B2 (en) 2021-01-05
US20190258887A1 (en) 2019-08-22
JP2019144800A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6364241B2 (ja) 点検支援装置、点検支援方法、点検支援プログラム
US8390568B2 (en) Display system
US11176522B2 (en) Conference information management system, information processing apparatus, and control method
JP2008176802A (ja) 座標入力/検出装置および電子黒板システム
US20200382567A1 (en) Information processing apparatus, information processing system, information processing method, and non-transitory recording medium
US20160054806A1 (en) Data processing apparatus, data processing system, control method for data processing apparatus, and storage medium
JP6959529B2 (ja) 入力情報管理プログラム、入力情報管理方法、および情報処理装置
JP2015046094A (ja) 情報処理装置、プログラム
US10997410B2 (en) Information processing device and information processing system
JP2019159423A (ja) 情報処理装置、データ表示方法、プログラム、通信システム、通信方法、登録情報管理装置
JP7211039B2 (ja) 情報処理装置、情報処理システム、電子黒板装置、制御方法、およびプログラム
JP7398945B2 (ja) 拡張現実の文書編集方法、プログラム及びシステム
JP2019003339A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7081195B2 (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2018074429A (ja) 情報処理装置、情報処理方法、プログラム
JP7207028B2 (ja) 情報処理装置、情報処理システム、電子黒板装置、制御方法、およびプログラム
JP6115673B2 (ja) 装置、及びプログラム
JP2010079529A (ja) 情報処理装置、情報処理方法、そのプログラム及および記録媒体
US11470132B2 (en) Information processing apparatus, information processing system, electronic blackboard apparatus, control method, and program
JP7003761B2 (ja) 電子黒板、処理方法、プログラム、通信システム
JP7524700B2 (ja) 情報処理装置、情報処理システム及び遠隔共有方法
JP6398407B2 (ja) 認証装置、認証システム及びプログラム
US11675496B2 (en) Apparatus, display system, and display control method
JP6705988B2 (ja) 情報処理システム、その制御方法、及びプログラム
JP7388001B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201110

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20201126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R150 Certificate of patent or registration of utility model

Ref document number: 6959529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150