JP6233314B2 - 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP6233314B2
JP6233314B2 JP2014545628A JP2014545628A JP6233314B2 JP 6233314 B2 JP6233314 B2 JP 6233314B2 JP 2014545628 A JP2014545628 A JP 2014545628A JP 2014545628 A JP2014545628 A JP 2014545628A JP 6233314 B2 JP6233314 B2 JP 6233314B2
Authority
JP
Japan
Prior art keywords
information
input
work space
virtual object
extended work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014545628A
Other languages
English (en)
Other versions
JPWO2014073346A1 (ja
Inventor
俊一 笠原
俊一 笠原
脩 繁田
脩 繁田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014073346A1 publication Critical patent/JPWO2014073346A1/ja
Application granted granted Critical
Publication of JP6233314B2 publication Critical patent/JP6233314B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Description

本開示は、情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体に関する。
紙の上にペンで文字を書く、キッチンの上で食材を切る、カードゲームで遊ぶといった、実際に触ることのできる実体を伴った行為と、パソコンやスマートフォンのようにデジタル情報を用いて行う行為とは、同一空間で行うことができない。しかし、将来的には実世界の上に例えばプロジェクタ等を用いてデジタル情報を重畳することで、実世界とデジタル情報の世界とを融合した空間での作業ができるようになると考えられる。例えば、紙の上に数式を記述することでグラフを自動生成する、料理に合わせて食材を適切に切られるようカットラインをプロジェクションすることが考えられる。このような処理を実現するためのＡＲアプリケーションとして、例えば特許文献１等に開示された技術がある。
実世界の上にデジタル情報を提示する先行技術としては、例えば、プロジェクタや、シースル型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、スマートフォン等のカメラ内蔵型ディスプレイなどを用いた技術がある。このような実世界とデジタル情報とが融合された作業空間を、以下、拡張作業空間と称する。
特開２０１０−２３８０９８号公報
実世界での入力情報をデジタル情報としてダイレクトに取得できる入力システムのひとつに、手書きの筆跡を認識してデジタル情報とする手書き筆跡入力システムがある。この入力システムは、赤外線信号もしくは超音波信号を発信する電子ペンから発信される各信号を受信部で受信し、各信号の受信結果より電子ペンの位置座標を算出することで、電子ペンの筆跡をデジタル情報で表すものである。このような入力システムを用いることで、実世界とデジタル情報とが融合された拡張作業空間内で実施可能な作業のバリエーションをさらに増やすことができると考えられる。
そこで、本開示では、拡張作業空間で行われる手書き入力内容に応じてインタラクティブに作業を実施することの可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提案する。
本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、入力情報に対応する付加情報を決定する解析部と、入力情報への新たな操作入力を受けて、付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、を備える、情報処理装置が提供される。
本開示によれば、拡張作業空間において認識された入力情報に対応する付加情報を拡張作業空間に反映するとともに、反映された付加情報に対する操作入力に応じて仮想オブジェクトの表示を制御する。このような情報の表示制御によるフィードバックにより、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供することができる。
また、本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、入力情報に対応する付加情報を決定すること、入力情報への新たな操作入力を受けて、付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行うこと、を含む、情報処理方法が提供される。
さらに、本開示によれば、コンピュータに上記情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体が提供される。
以上説明したように本開示によれば、拡張作業空間で行われる手書き入力内容に応じてインタラクティブに作業を実施することの可能な情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提供することができる。
本開示の実施形態に係る拡張作業空間システムの一構成例を示す説明図である。 同実施形態に係る情報認識表示装置およびペン入力検出デバイスの機能構成を示すブロック図である。 同実施形態に係る情報フィードバック処理を示すフローチャートである。 同実施形態に係る情報フィードバック処理を適用した情報表示例を示す説明図である。 同実施形態に係る情報フィードバック処理を適用した学習アシスト機能を示す説明図である。 デジタル情報により表示された電卓における情報フィードバック処理の一例を示す説明図である。 拡張作業空間システムにおけるキャリブレーション方法を示す説明図である。 同実施形態に係る情報認識表示装置によるデジタル情報のトラッキング表示処理を示すフローチャートである。 同実施形態に係る情報認識表示装置によるデジタル情報のトラッキング表示の一例を示す説明図である。 デジタル情報の消去方法の一例を示す説明図である。 リモート機能を用いた作業アシスタントの一例として、実際にテキストブックを用いて勉強している生徒の学習アシスタントを行う例を示す説明図である。 物体の物理的操作によるデジタル情報の消去方法の一例を示す説明図である。 物体の物理的操作による物体へのデジタル情報表示の一例を示す説明図である。 物体の物理的操作による物体の動きに応じたデジタル情報の移動の一例を示す説明図である。 情報処理部の一ハードウェア構成を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．拡張作業空間システムの構成例
１．２．情報認識表示装置の機能構成
１．３．入力情報に対応した情報フィードバック処理
１．４．キャリブレーションへの適用
１．５．デジタル情報のトラッキング表示
１．６．リモート機能
１．７．デジタル情報の物理的操作
２．ハードウェア構成例
＜１．本開示の実施形態＞
［１．１．拡張作業空間システムの構成例］
まず、図１を参照して、本開示の実施形態に係る拡張作業空間システムの構成例について説明する。なお、図１は、本実施形態に係る拡張作業空間システムの一構成例を示す説明図である。
本実施形態に係る拡張作業空間システムは、実世界に存在する実物を認識可能であるとともに、デジタル情報を実世界に重畳し、実世界とデジタル情報とが融合する拡張作業空間を構築するシステムである。拡張作業空間システムは、例えば、デジタル情報を拡張作業空間に投影するプロジェクタや、拡張作業空間を撮影するカメラ、拡張作業空間で行われたタッチやピンチイン、ピンチアウト等のジェスチャ認識を行うセンシングデバイス、無線通信装置から構成される。
例えば図１に示すように、卓上を作業面２とし、プロジェクタ、カメラ、無線通信装置、センシングデバイスを備えた情報認識表示装置１００を卓上に設置して作業面２にデジタル情報を投影することで、拡張作業空間を構築することができる。情報認識表示装置１００は、作業面２を含む空間をカメラで撮影し、作業面２で行われるユーザのジェスチャをセンシングデバイスにより認識する。また、プロジェクタによりデジタル情報を作業面２に投影し、実世界に存在する物体にデジタル情報を重畳する。
拡張作業空間システムにおいて、図１の例では、卓上にプロジェクタを備える情報認識表示装置１００を設置して作業面２にデジタル情報を投影しているが、プロジェクタは卓上に設置されるデスクライトスタンドや天井照明、あるいは壁等に設置してもよい。また、プロジェクタによりデジタル情報を投影する代わりに、例えば、カメラが内蔵されたＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）やシースル型のＨＭＤ等のようにメガネ型のデバイスを用いてもよい。このとき、拡張作業空間に重畳されるデジタル情報は、ユーザが装着するメガネ型のディスプレイ上に重畳される。また、プロジェクタの代替としてカメラおよびディスプレイが内蔵されたスマートフォン等のデバイスを用いて、ディスプレイに表示された、カメラにより撮影されているスルー画像の上に、デジタル情報を重畳して表示してもよい。
また、センシングデバイスには、例えば作業面２に対して並行に照射された赤外線を検出するＩＲカメラや、ステレオカメラ、奥行き情報を取得可能な特殊センサ等で用いてもよい。また、センシングデバイスには、指等の作業面２への接触を検出するタッチセンサや、図１に示すように、超音波と赤外線とを用いてデジタルペン２００による筆跡の座標を取得可能なペン入力検出デバイス２１０を用いてもよい。なお、筆跡の座標は、デジタルペン２００を用いなくとも、通常のペンの筆跡をカメラ等の別のセンサで検出してもよい。
無線通信装置には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ‐ｆｉ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の外部デバイスと通信可能な装置が用いられる。
なお、本実施形態に係る拡張作業空間システムにおいては、プロジェクタの投影領域と、デジタルペン２００の動きをトラッキングする領域とが同一空間に存在し、これらの関係が既知であるとする。これらの関係は、キャリブレーションにより取得することができる。
［１．２．情報認識表示装置の機能構成］
次に、図２に基づいて、情報認識表示装置１００およびペン入力検出デバイス２１０の機能構成について説明する。なお、図２は、本実施形態に係る情報認識表示装置１００およびペン入力検出デバイス２１０の機能構成を示すブロック図である。まず、本実施形態に係る情報認識表示装置１００は、投影部１１０と、検出部１２０と、撮像部１３０と、情報処理部１４０と、通信部１５０とから構成される。
投影部１１０は、デジタル情報を拡張作業空間に投影する機能部であり、図１で説明したプロジェクタ等により実現される。投影部１１０は、後述する情報処理部１４０からの表示指示を受けて、投影部１１０が設置されている拡張作業空間にデジタル情報を表示する。
検出部１２０は、拡張作業空間における動き情報を検出する。検出部１２０は、例えば図１で説明したセンシングデバイス等により実現される。検出部１２０は、検出結果を後述する情報処理部１４０へ出力する。
撮像部１３０は、拡張作業空間を撮影する機能部であり、図１で説明したカメラ等により実現される。撮像部１３０は、撮像画像を後述する情報処理部１４０へ出力する。
情報処理部１４０は、拡張作業空間における物体の位置や動きを解析し、解析結果に対応して当該拡張作業空間におけるデジタル情報の表示処理を行う。情報処理部１４０は、図２に示すように、解析部１４２と、座標処理部１４４と、表示制御部１４６と、設定記憶部１４８とを備える。
解析部１４２は、検出部１２０の検出結果および撮像部１３０による撮像画像のうち少なくともいずれか一方の情報に基づいて、拡張作業空間における物体の位置や動きを解析する。例えば、解析部１４２は、検出部１２０による検出結果よりユーザの手の動きの変化を算出する。そして、解析部１４２は、設定記憶部１４８を参照し、特定したユーザの手の動きの変化から、拡張作業空間においてユーザが行ったタッチやピンチイン、ピンチアウト等のジェスチャを特定する。解析部１４２による解析結果はユーザが拡張作業空間で行った操作入力情報であり、当該解析結果に基づいて仮想作業空間へデジタル情報が表示される。
また、解析部１４２には、通信部１５０を介して、後述するデジタルペン２００の入力を検出するペン入力検出デバイス２１０からの入力情報が入力される。ユーザがデジタルペン２００を用いて文字列や図形等を描くと、ペン入力検出デバイス２１０によって描いた内容が認識され、認識された内容が入力情報として情報認識表示装置１００へ出力される。解析部１４２は、デジタルペン２００による入力情報より、拡張作業空間内に投影されているデジタル情報および同空間内にある実物との位置関係を解析し、デジタルペン２００による入力情報をこれらに対応付ける。解析部１４２は、解析結果を座標処理部１４４および表示制御部１４６へ出力する。なお、入力情報は、予め実体に記載されている情報を物体認識して取得してもよい。
座標処理部１４４は、拡張作業空間内にあるデジタル情報や実物、デジタルペン２００による入力情報について、空間内での位置を同一座標系に変換する。座標処理部１４４により同一座標系で各情報の表示位置を把握することで、異なる情報の表示位置を同時に同一方向に移動させる等の表示処理を容易にすることができる。座標処理部１４４は、座標処理結果を表示制御部１４６へ出力する。
表示制御部１４６は、解析部１４２の解析結果に基づいて、拡張作業空間のデジタル情報の表示処理を行う。表示制御部１４６は、例えばデジタルペン２００からの入力情報に対してユーザが動作を行ったとき、動作に応じたフィードバックを行う。表示制御部１４６のフィードバック内容は、投影部１１０を介して拡張作業空間に表示される。
設定記憶部１４８は、情報処理部１４０にて行われる解析や各種情報の座標系を統一するために必要な情報を記憶する。設定記憶部１４８に記憶された情報を参照して、例えば解析部１４２はユーザが拡張作業空間で行った操作入力情報を特定し、座標処理部１４４は拡張作業空間における各情報の座標変換処理を行う。
通信部１５０は、ペン入力検出デバイス２１０と情報の送受信をする。これにより、デジタルペン２００による手書き入力情報も拡張作業空間内の情報の１つとして認識することができる。また、通信部１５０は、他の拡張作業空間の情報認識表示装置１００とも情報の送受信をする。通信部１５０により、他の拡張作業空間の情報認識表示装置１００との情報のやり取りが可能となることで、互いの拡張作業空間の状況をそれぞれの空間に反映させることができる。
次に、本実施形態に係る拡張作業空間で使用されるデジタルペン２００およびペン入力検出デバイス２１０の構成について説明する。
デジタルペン２００は、ユーザが文字等を書くために用いる筆記用機器であり、実際にインクを吐出するペン先を紙等に押し付けることで文字等を書くことができる。デジタルペン２００は、筆記中にペン先から赤外線信号および超音波信号を発信しており、ペン入力検出デバイス２１０により受信される。
また、本実施形態に係るデジタルペン２００は、ペン先からインクを吐出するオン状態と、ペン先からインクを吐出しないオフ状態とを切り替え可能に構成してもよい。これにより、紙等に文字を記載するときにはデジタルペン２００をオン状態とし、タップやドラッグ等の操作を行うときにはデジタルペン２００をオフ状態として使用することで、デジタルペン２００により入力可能な情報を広げることができる。デジタルペン２００のオンオフの切り替え機構には、例えばペン先と反対側にスイッチ機構を設けたノック式や把持部分近辺にボタンを設けるボタン式等を用いることができる。
ペン入力検出デバイス２１０は、デジタルペン２００から出力される信号を受信して、デジタルペン２００のペン先の動きを割り出す装置である。ペン入力検出デバイス２１０は、信号受信部２１２と、信号処理部２１４と、入力情報送信部２１６とからなる。信号受信部２１２は、デジタルペン２００から出力された赤外線信号および超音波信号を受信し、信号処理部２１４へ出力する。信号処理部２１４は、所定の時間間隔で、赤外線信号および超音波信号の受信時間差に基づきペン先の動きを算出する。信号処理部２１４は、この演算によりペン先の位置を都度特定する。特定された位置を点として連続的に表示することにより、滑らかな線を表すことができる。信号処理部２１４により特定されたペン先の位置情報は入力情報送信部２１６へ出力され、入力情報送信部２１６から情報認識表示装置１００の通信部１５０を介して解析部１４２へ送信される。
［１．３．入力情報に対応した情報フィードバック処理］
本実施形態に係る拡張作業空間システムでは、拡張作業空間において認識された入力情報に対応する付加情報を拡張作業空間に反映するとともに、反映された付加情報に対する操作入力に応じて仮想オブジェクトの表示を制御する。このような情報の表示制御によるフィードバックにより、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供することができる。
まず、図３および図４に基づいて、本実施形態に係る情報フィードバック処理について説明する。なお、図３は、本実施形態に係る情報フィードバック処理を示すフローチャートである。図４は、本実施形態に係る情報フィードバック処理を適用した情報表示例を示す説明図である。なお、以下では、入力情報を認識して設定されるデジタル情報を付加情報とし、入力情報に対する操作入力を受けて付加情報を用いて表示されるデジタル情報を仮想オブジェクトとする。
本実施形態に係る情報フィードバック処理では、図３に示すように、まず、情報認識表示装置１００により、拡張作業空間における入力情報が認識される（Ｓ１００）。ステップＳ１００では、デジタルペン２００等により実際に紙に書かれた文字や図形等を入力情報として認識する。例えば、図４上に示すように、紙４にデジタルペン２００で絵３００が描かれるとする。このとき、デジタルペン２００から発信される各信号はペン入力検出デバイス２１０で受信され、筆跡が入力情報として情報認識表示装置１００へ出力される。
入力情報を受けた情報認識表示装置１００は、認識した入力情報に対応する付加情報が解析部１４２によって拡張作業空間に反映される（Ｓ１１０）。すなわち、情報認識表示装置１００は、入力情報を認識すると、当該入力情報への操作入力に対するフィードバックを行うために、付加情報を拡張作業空間に与える。付加情報は、ユーザが視認可能な情報であってもよく、視認できない情報であってもよい。図４の例では、解析部１４２は、紙４に描かれた絵３００の輪郭で囲まれた領域を認識領域３１０として設定し、情報を付加する。情報認識表示装置１００は、認識領域３１０として設定したことをユーザに明示するために認識領域３１０内あるいは輪郭に色を付ける等してもよく、認識領域３１０を明示的に示さなくてもよい。
その後、情報認識表示装置１００は、入力情報に対して操作入力が行われたか否かを定期的に判定し（Ｓ１２０）、操作入力があったと判定したとき、付加情報を用いて操作入力に応じた情報を表示制御によりフィードバックする（Ｓ１３０）。フィードバックされる情報は、入力情報の内容とその入力情報に対する付加情報とに基づき決定されており、設定記憶部１４８に予め記憶されている。図４には２つのフィードバック例を示している。例えば、ユーザが紙４に記載された絵３００の内部、すなわち認識領域３１０に指をタッチさせると、吹き出し３２０が表示するフィードバックをしてもよい（パターン１）。あるいは、同様にユーザが紙４に記載された絵３００の内部に指をタッチさせると、絵３００の色を変更するフィードバックをしてもよい（パターン２）。
以上、本実施形態に係る情報フィードバック処理について説明した。ユーザが手書きで入力した情報に対して、新たな情報をフィードバックすることで、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供することができる。また、本技術は、情報認識表示装置１００が認識する入力情報と、付加情報が付加された後に当該入力情報に対して入力される操作入力とは内容的に独立した、直接的な関連性がないものであってもよい。例えば、図３のように、描かれた絵という入力情報と、吹き出しを表示させるために絵にタッチするという操作入力とは、連続した内容ではない。しかし、これにより、最初に入力された情報に対して新たな情報を提供することができ、拡張作業空間における情報の展開をより一層広げることが可能となる。
このような情報フィードバック処理は、図４に示した例以外にも、例えば、図５に示すように教育用アプリケーションへ適用することもできる。図５の例では、紙４に実際にインクで書かれた内容（３０１ａ、３０１ｂ）に対して、補助的情報をデジタル情報（細線で示す情報、４０１ａ、４０１ｂ）により表示して、ユーザの作業をアシストしている。数学の例では、答案用紙に記載された数式に回答を表示したり、図形に補助線を示したりして、正解を伝えたり正解を導くための情報を提供している。また、スペルガイドの例では、紙４上に正しいスペルをデジタル情報４０２で表示し、ユーザにデジタル情報の上をペンでなぞらせる（符号３０２で示す線）というようにユーザをアシストしている。あるいは、ドローイングの例では、絵の下書きをデジタル情報４０３で表示してユーザにデジタル情報の上をペンでなぞらせたり（符号３０３で示す線）、描きかけの絵に対して完成に近づけるためのラインをデジタル情報で表示したりして、ユーザをアシストしている。
また、本実施形態に係る情報フィードバック処理は、図６に示すような手書きの入力装置において、ユーザがタッチした領域に対してフィードバックする処理にも適用できる。図６には、紙４に手書きで記載された電卓３０４を示している。この電卓３０４は、拡張作業空間内において、情報認識表示装置１００により各キーが認識され、それぞれに対して付加情報として認識領域が設定される。その後ユーザが紙４上のキーにタッチすると、タッチした認識領域に対応するキーの色が変わるというフィードバックがある。このように、本実施形態に係る情報フィードバック処理により、ユーザに自身の操作入力をわかりやすく伝えることもできる。
［１．４．キャリブレーションへの適用］
上述したように、本実施形態に係る拡張作業空間システムにおいては、プロジェクタの投影領域と、デジタルペン２００の動きをトラッキングする領域とが同一空間に存在し、これらの関係を、キャリブレーションにより予め取得しておく。キャリブレーションの方法としては、例えば、図７上に示すように、拡張作業空間に置かれた紙４の四隅に指定されている４つのポイントＰ１〜Ｐ４をデジタルペンで指定する方法がある。
また、本実施形態に係る拡張作業空間システムでは、上述の情報フィードバック処理を応用して、図形トレースによるキャリブレーションを実施することもできる。かかるキャリブレーション方法では、例えば拡張作業空間に紙４が置かれたときに当該紙４上に任意の図形４０５をプロジェクタにより投影し表示させる。そして、表示された図形をデジタルペン２００や指等によってなぞらせることでキャリブレーションを実施する。
デジタル情報の投影面に傾きがある場合、情報認識表示装置１００を設置する度に当該キャリブレーションを実行する必要がある。図形トレースによるキャリブレーションは、ユーザが簡単に行うことができるとともに、例えば拡張作業空間における入力のアンロック状態を解除するためのジェスチャ入力としても用いることもできる。この場合、ユーザは１つのジェスチャ入力を行うことでキャリブレーションと入力アンロック状態解除という２つの処理を実行させることができ、ユーザの入力負荷を軽減することもできる。
［１．５．デジタル情報のトラッキング表示］
本実施形態に係る拡張作業空間システムでは、デジタルペン２００を用いた情報の入力が可能である。上述したように、本実施形態に係るデジタルペン２００は、オンオフの切り替え機構によりインクの吐出を制御することができる。ユーザは、インクを吐出させて紙４に実際に文字等を書くことも可能であり、インクを吐出させずにタッチ等の入力操作を行ったり実際のインクではなくデジタル情報として表示される文字等を書いたりすることも可能である。
インクの吐出をオフ状態にした場合、情報認識表示装置１００は、デジタルペン２００の用途をユーザに確認する確認情報を拡張作業空間に表示させてもよい。確認情報は、例えば「手書き入力を行いますか？」という問いに対してＹＥＳ／ＮＯで用途を選択できるようなものであってもよい。ＹＥＳが選択されれば、情報認識表示装置１００は、デジタルペン２００の動きを解析した結果、手書き入力された情報を、デジタル情報として拡張作業空間に表示する。一方、ＮＯが選択されれば、情報認識表示装置１００は、デジタルペン２００の動きは操作入力としてのものであると認識し、操作入力に応じた処理を実行する。
ここで、インクの吐出をオフにした状態でデジタルペン２００による手書き入力が行われている状態を考える。このとき、デジタルペン２００での手書き入力に対応して表示されるデジタル情報が拡張作業空間内の物体に投影されていると、当該物体とデジタル情報とは独立しているため、物体を移動してもデジタル情報は現在の表示位置に残り続けることになる。そうすると、ユーザが物体に文字をデジタル情報として書いたつもりであっても、物体の移動とともに文字が移動しないというユーザの意図しない状況が生じる可能性がある。
そこで、本実施形態に係る情報認識表示装置１００は、拡張作業空間内の物体を認識し、デジタルペン２００による手書き入力が行われている物体をトラッキングする。情報認識表示装置１００は、当該物体に手書き入力されたデジタル情報を、トラッキングしている物体の移動に合わせて移動させる処理を行うことで、物体に書かれた情報として当該デジタル情報をユーザに認識させる。以下、図８および図９に基づいて、かかる処理を詳細に説明する。なお、図８は、本実施形態に係る情報認識表示装置１００によるデジタル情報のトラッキング表示処理を示すフローチャートである。図９は、本実施形態に係る情報認識表示装置１００によるデジタル情報のトラッキング表示の一例を示す説明図である。
まず、図８に示すように、情報認識表示装置１００は、拡張作業空間内の物体を認識する（Ｓ２００）。ステップＳ２００では、拡張作業空間内にある、例えば紙やテキスト、本等の物体を認識する、物体認識は、画像認識等により行うことができる。このとき、拡張作業空間における物体の位置および姿勢は、投影部１１０であるプロジェクタの投影座標系で認識されている。
一方、ペン入力検出デバイス２１０は、デジタルペン２００のペン先の位置情報より、デジタルペン２００で手書き入力されたデジタル情報の入力座標を、情報認識表示装置１００へ送信する（Ｓ２１０）。デジタルペン２００により入力されたデジタル情報の入力座標は、デジタルペン２００の動きを検出するペン入力検出デバイス２１０により定義されるデジタルペン入力座標系で表されている。
ペン入力検出デバイス２１０からデジタルペン２００により入力されたデジタル情報の入力座標を受信した情報認識表示装置１００は、入力座標をデジタルペン入力座標系からプロジェクタ投影座標系に変換する（Ｓ２２０）。ステップＳ２２０では、デジタル情報の入力座標と物体の位置姿勢情報との座標系を合わせる処理を行っている。
さらに情報認識表示装置１００は、プロジェクタ投影座標系に変換されたデジタル情報の入力座標を、ステップＳ２００で認識した物体の位置姿勢情報に基づき、当該物体中心の座標系に変換する（Ｓ２３０）。情報認識表示装置１００は、ステップＳ２２０の処理により物体とデジタル情報との位置関係を把握することができる。そして、ステップＳ２３０にてデジタル情報の入力位置を当該物体基準の座標系で表すことで、物体が拡張作業空間内で移動したとしても、この物体の座標系でデジタル情報を表示することで、当該デジタル情報が物体とともに移動したように表示されるようになる。
例えば、図９上に示すように、情報認識表示装置１００により構築される拡張作業空間があり、その作業面２にデジタルペン２００の出力信号を受信するペン入力検出デバイス２１０と紙４とが置かれている。紙４には、デジタルペン２００によりデジタル情報として手書き入力された文字４０６が表示されている。すなわち、文字４０６は実際に紙４に記載されたものではなく、紙４とは独立している。このとき、情報認識表示装置１００は、プロジェクタ座標系における紙４の位置姿勢情報を取得するとともに、文字４０６の入力座標をデジタルペン入力座標系からプロジェクタ座標系に変換した後、さらに紙４を中心とする座標系に変換する。
このような状態で、情報認識表示装置１００は紙４をトラッキングしている。そして、図９下に示すように紙４が回転されると、情報認識表示装置１００は紙４の回転を検出してプロジェクタ座標系における紙４の新たな位置姿勢情報を取得する。そして、情報認識表示装置１００は、紙４の位置姿勢の変化に伴って、変化量分だけ紙４の中心座標系に基づき文字４０６の表示位置を変更する。これにより、紙４の上に表示されている文字４０６も紙４と一体に移動して表示されるので、違和感のない表示をユーザに提供することができる。
なお、例えばデジタルペン２００によりデジタル情報として手書き入力された文字等は、デジタルペン２００による入力と、情報認識表示装置１００により認識されるユーザの手や腕等の形状等を組み合わせることで、消去できるようにしてもよい。例えば、図１０に示すように、拡張作業空間の作業面２に、デジタルペン２００により手書き入力されたデジタル情報の図形４０７が投影部１１０により表示されているとする。ここで、ユーザが指を作業面２に接触させて図形４０７上で指を周期的に動かしていることが認識されると、情報認識表示装置１００は、指が動かされている部分の図形４０７を非表示とする。これにより、デジタルペン２００により入力されたデジタル情報が消去されたように表現することができる。
［１．６．リモート機能］
本実施形態に係る拡張作業空間システムは、複数の拡張作業空間の情報を互いに表示するリモート機能を備えてもよい。リモート機能により、遠隔にあるユーザによる協調作業や作業アシスタントが可能となる。リモート機能を用いた作業アシスタントの一例として、図１１に実際にテキストブックを用いて勉強している生徒の学習アシスタントを行う例を示す。
図１１左に示すように、生徒が数学のテキストブック５を用いて勉強しているとする。テキストブック５は、情報認識表示装置１００により構築される拡張作業空間の作業面２に置かれている。生徒の学習の様子は、情報認識表示装置１００の撮像部１２０によって、遠隔にある教師が見ることができるようになっている。このとき、教師側にも情報認識表示装置が設置されて拡張作業空間が構築されており、生徒側の情報認識表示装置１００と教師側の情報認識表示装置とは情報を通信可能に接続されている。
教師は、生徒の学習が進まない様子を見ると、教師側の拡張作業空間でデジタルペンなどを用いて問題を解くためのヒントとなる情報を書く。教師の入力情報は、教師側の情報認識表示装置から生徒側の情報認識表示装置１００へ送信され、図１１中央に示すように、生徒側の拡張作業空間に教示される。このとき、教師側と生徒側では拡張作業空間のプロジェクタ座標系を一致させておくことで、テキストブック５の内容に対応した位置に教師の入力情報が表示される。このようにリモート機能を用いることで、遠隔にある教師が生徒の学習をアシストすることが可能になる。
また、生徒の学習補助機能として、例えば図１１右に示すように、図６に示したような電卓３０４を必要に応じて拡張作業空間に表示させて使用することもできる。生徒は、例えばダブルタップ等の所定のジェスチャを行ったり、操作メニュー等を表示させて電卓表示の項目を選択したりして、電卓３０４を拡張作業空間の作業面に表示させる。このように、必要な機器をデジタル情報として表示して使用できることで、実際の機器を用意する必要がなくなり利便性を高めることができる。
［１．７．デジタル情報の物理的操作］
拡張作業空間に表示されるデジタル情報は、拡張作業空間内に存在する紙等の実際の物体を用いる物理法則に従った操作により操作できるようにしてもよい。この場合、情報認識表示装置１００は、拡張作業空間において認識された実際の物体と、当該物体に対して行われた操作とに基づいて、拡張作業空間に表示されているデジタル情報の表示処理を行う。
（１）デジタル情報の消去
例えば、図１２左に示すように、拡張作業空間にある紙４の上に、デジタル情報４１０が投影されているとする。なお、図１２左および右の図では、上側に拡張作業空間の作業面２を上から見た状態を示しており、下側に拡張作業空間を側面から見た状態を示している。また、図１２では、説明のため、紙４の上に表示されているデジタル情報４１０に厚みを持たせて示しているが、実際はデジタル情報４１０の厚みはなくてもよい。
図１２の例では、紙４に投影されたデジタル情報４１０の消去方法として、紙面が重力方向に対して直交する状態から紙４を傾けたとき、デジタル情報４１０を消去するようにしてもよい。仮にデジタル情報４１０を物体とすると、紙４を傾けることによって重力によって紙４上のデジタル情報４１０が傾斜に沿って落ちる。そこで、仮想の情報であるデジタル情報４１０についても、図１２右に示すように、紙４の傾きによってデジタル情報がこぼれ落ち紙４上から消えるようにすることで、ユーザは直観的にわかりやすい操作でデジタル情報を消去させることができる。
（２）物体へのデジタル情報表示
また、拡張作業空間に存在する実際の物体に対してデジタル情報を表示する際に、物体自体にデジタル情報が記載されているような表示方法を提示することもできる。例えば図１３に示すように、拡張作業空間の作業面２に、表面４ａに問題３１１が印字された紙４が置かれているとする。ユーザが紙４をめくり裏面４ｂをみると、裏面４ｂに問題３１１の解答がデジタル情報４１１により表示される。このように、実際には印字されていない紙４の裏面４ｂにデジタル情報４１１を表示させることで、ユーザに直観的に情報を提示することができる。
（３）物体の動きに応じたデジタル情報の移動
さらに、拡張作業空間に表示されたデジタル情報を、当該空間内にある物体によって移動させるようにしてもよい。例えば図１４上に示すように、拡張作業空間の作業面２にデジタル情報４１２が投影されているとする。次いで、実際の物体、例えば紙４が拡張作業空間に持ち込まれ、作業面２に投影されているデジタル情報４１２が当該紙４の上に表示されるように置かれたとする。図１４中央に示すように、デジタル情報４１２は紙４上に表示されると、情報認識表示装置１００は、デジタル情報４１２を紙４と一体に移動させるように取り扱う。
その後、図１４中央に示す状態から図１４下に示すように、紙４を左から右へ移動させると、紙４上に表示されているデジタル情報４１２も紙４の移動に伴って移動する。このような処理により、デジタル情報４１２を紙４の上に載せて運ぶような直観的な操作が実現でき、ユーザは直観的にわかりやすい操作でデジタル情報４１２を移動させることができる。なお、ここではデジタル情報４１２を紙４の上に載せて移動させるという処理を説明したが、図１４中央に示す状態においてデジタル情報４１２を紙４にコピーさせる処理を行うようにしてもよい。この場合、図１４下に示すように紙４を移動させると、紙４とともに移動するデジタル情報４１２が紙４上に表示されているとともに、作業面２の元の表示位置にもデジタル情報４１２が表示される。
図１２〜図１４に示したようなデジタル情報の操作において、デジタル情報を操作する物体は紙４以外であってもよく、例えばタブレット端末やスマートフォン、電子ペーパー等であってもよい。
＜２．ハードウェア構成例＞
上述の実施形態に係る情報認識表示装置１００の情報処理部１４０による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、情報処理部１４０は、図１５に示すように構成することもできる。以下、図１５に基づいて、情報処理部１４０の一ハードウェア構成例について説明する。
情報処理部１４０は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理部１４０は、図１５に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、情報処理部１４０は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置（ＨＤＤ）９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理部１４０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。
ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
ストレージ装置９０８は、情報処理部１４０の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理部１４０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網１０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、上記実施形態において、情報処理部１４０は情報認識表示装置１００に設けたが、本技術はかかる例に限定されず、例えばネットワークに接続されたサーバ上に設けてもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
（１） 実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定する解析部と、
前記入力情報への新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、
を備える、情報処理装置。
（２） 前記解析部は、前記拡張作業空間内においてユーザが手書き入力した筆跡を認識し、当該入力情報に対応する前記付加情報を決定する、前記（１）に記載の情報処理装置。
（３） 前記解析部は、ユーザが手書き入力した前記筆跡を、手書き入力を行う筆記用機器から発信される信号処理を行う入力検出デバイスから受信する、前記（２）に記載の情報処理装置。
（４） 前記筆記用機器は、仮想的な筆記入力が可能であり、
前記解析部は、前記仮想的な筆記入力の筆跡を認識し、当該筆跡を前記付加情報とする、前記（３）に記載の情報処理装置。
（５） 前記解析部は、前記拡張作業空間内に存在する実体に含まれる情報を入力情報として認識し、当該入力情報に対応する前記付加情報を決定する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６） 前記付加情報は、前記仮想オブジェクトを表示するか否かを判定するための情報である、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７） 前記仮想オブジェクトは、前記解析部により認識された前記入力情報に関連する情報である、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８） 前記拡張作業空間内において実体に対して表示されている仮想オブジェクトの位置情報を、当該仮想オブジェクトに関連する前記拡張作業空間内の実体に固有の物体座標系に変換する座標処理部をさらに備え、
前記拡張作業空間において前記実体を移動する操作入力があったとき、前記表示制御部は、当該物体の移動に応じて前記仮想オブジェクトの表示位置を移動させる、前記（１）に記載の情報処理装置。
２ 作業面
１００ 情報認識表示装置
１１０ 投影部
１２０ 検出部
１３０ 撮像部
１４０ 情報処理部
１４２ 解析部
１４４ 座標処理部
１４６ 表示制御部
１４８ 設定記憶部
１５０ 通信部
２００ デジタルペン
２１０ ペン入力検出デバイス
２１２ 信号受信部
２１４ 信号処理部
２１６ 入力情報送信部

Claims (10)

  1. 実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定する解析部と、
    前記入力情報に基づく第１の仮想オブジェクトを前記拡張作業空間に表示するとともに、前記入力情報に基づく前記第１の仮想オブジェクトへの新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される第２の仮想オブジェクトの表示制御を行う表示制御部と、
    を備える、情報処理装置。
  2. 前記解析部は、前記拡張作業空間内においてユーザが手書き入力した筆跡を認識し、当該入力情報に対応する前記付加情報を決定する、請求項１に記載の情報処理装置。
  3. 前記解析部は、ユーザが手書き入力した前記筆跡を、手書き入力を行う筆記用機器から発信される信号処理を行う入力検出デバイスから受信する、請求項２に記載の情報処理装置。
  4. 前記筆記用機器は、仮想的な筆記入力が可能であり、
    前記解析部は、前記仮想的な筆記入力の筆跡を認識し、当該筆跡を前記入力情報とする、請求項３に記載の情報処理装置。
  5. 前記解析部は、前記拡張作業空間内に存在する実体に含まれる情報を入力情報として認識し、当該入力情報に対応する前記付加情報を決定する、請求項１〜４のいずれか１項に記載の情報処理装置。
  6. 前記付加情報は、前記第２の仮想オブジェクトを表示するか否かを判定するための情報である、請求項１〜５のいずれか１項に記載の情報処理装置。
  7. 前記第２の仮想オブジェクトは、前記解析部により認識された前記入力情報に関連する情報である、請求項１〜６のいずれか１項に記載の情報処理装置。
  8. 前記拡張作業空間内において実体に対して表示されている前記第１の仮想オブジェクトの位置情報を、当該第１の仮想オブジェクトに関連する前記拡張作業空間内の実体に固有の物体座標系に変換する座標処理部をさらに備え、
    前記拡張作業空間において前記実体を移動する操作入力があったとき、前記表示制御部は、当該実体の移動に応じて前記第１の仮想オブジェクトの表示位置を移動させる、請求項１に記載の情報処理装置。
  9. 実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定すること、
    前記入力情報に基づく第１の仮想オブジェクトを前記拡張作業空間に表示すること、
    前記入力情報に基づく前記第１の仮想オブジェクトへの新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される第２の仮想オブジェクトの表示制御を行うこと、
    を含む、情報処理方法。
  10. コンピュータに、
    実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定する解析部と、
    前記入力情報に基づく第１の仮想オブジェクトを前記拡張作業空間に表示するとともに、前記入力情報に基づく前記第１の仮想オブジェクトへの新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される第２の仮想オブジェクトの表示制御を行う表示制御部と、
    を備える、情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2014545628A 2012-11-09 2013-10-16 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 Active JP6233314B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012247842 2012-11-09
JP2012247842 2012-11-09
PCT/JP2013/078102 WO2014073346A1 (ja) 2012-11-09 2013-10-16 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2014073346A1 JPWO2014073346A1 (ja) 2016-09-08
JP6233314B2 true JP6233314B2 (ja) 2017-11-22

Family

ID=50684458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014545628A Active JP6233314B2 (ja) 2012-11-09 2013-10-16 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (2) US9632593B2 (ja)
EP (1) EP2919104B1 (ja)
JP (1) JP6233314B2 (ja)
WO (1) WO2014073346A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101714050B1 (ko) * 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
WO2015005242A1 (ja) * 2013-07-11 2015-01-15 シャープ株式会社 表示装置
KR20150031384A (ko) * 2013-09-13 2015-03-24 현대자동차주식회사 맞춤형 인터페이스 시스템 및 그 동작 방법
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US10126822B2 (en) 2013-12-16 2018-11-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual configuration
CN103729096A (zh) * 2013-12-25 2014-04-16 京东方科技集团股份有限公司 交互识别系统以及显示装置
JP2016053774A (ja) * 2014-09-03 2016-04-14 コニカミノルタ株式会社 手書き入力装置及び手書き情報取得方法並びに手書き情報取得プログラム
KR101648446B1 (ko) * 2014-10-07 2016-09-01 삼성전자주식회사 전자 회의 시스템 및 이의 제어 방법, 그리고 디지털 펜
KR101797682B1 (ko) * 2015-12-08 2017-11-15 (주)뮤테이션 사용자와의 상호 작용을 기반으로 한 학습 방법 및 장치
JP2018028804A (ja) * 2016-08-18 2018-02-22 株式会社デンソーテン 入力制御装置、入力制御方法、入力制御プログラムおよび入力制御システム
US20190287285A1 (en) * 2016-12-12 2019-09-19 Sony Corporation Information processing device, information processing method, and program
KR101963867B1 (ko) * 2016-12-23 2019-07-31 (주)뮤테이션 이러닝 서버, 이를 포함하는 이러닝 시스템 및 그 서비스 방법
EP3435250A1 (en) * 2017-07-27 2019-01-30 Vestel Elektronik Sanayi ve Ticaret A.S. Method, apparatus and computer program for overlaying a web page on a 3d object
JP2019061590A (ja) 2017-09-28 2019-04-18 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP7119338B2 (ja) * 2017-10-30 2022-08-17 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11538205B2 (en) * 2018-09-19 2022-12-27 Chegg, Inc. Augmented reality mathematics in learning platforms
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
US11487400B1 (en) * 2021-08-13 2022-11-01 International Business Machines Corporation Aggregated multidimensional user interface display with electronic pen for holographic projection

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH075978A (ja) * 1993-06-18 1995-01-10 Sony Corp 入力装置
JPH11144024A (ja) * 1996-11-01 1999-05-28 Matsushita Electric Ind Co Ltd 画像合成装置、画像合成方法及び媒体
JPH1145149A (ja) * 1997-07-28 1999-02-16 Sony Corp データ表示装置及び方法並びに記録媒体、データ送信装置及び方法
JP2001154781A (ja) * 1999-11-29 2001-06-08 Nec Corp デスクトップ情報装置
EP1315120A1 (de) * 2001-11-26 2003-05-28 Siemens Aktiengesellschaft Stifteingabesystem
JP4769942B2 (ja) * 2006-03-14 2011-09-07 国立大学法人電気通信大学 ３ｄデザイン支援システム及び３ｄデザイン支援方法
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
JP2010512693A (ja) * 2006-12-07 2010-04-22 アダックス，インク． データの付加、記録および通信のためのシステムと方法
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
JP5315111B2 (ja) 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
KR101559178B1 (ko) * 2009-04-08 2015-10-12 엘지전자 주식회사 명령어 입력 방법 및 이를 적용한 이동 통신 단말기
JP2011028629A (ja) * 2009-07-28 2011-02-10 Sanyo Electric Co Ltd プレゼンテーションシステム
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
JP5741079B2 (ja) * 2011-03-09 2015-07-01 セイコーエプソン株式会社 画像生成装置およびプロジェクター
US8806352B2 (en) * 2011-05-06 2014-08-12 David H. Sitrick System for collaboration of a specific image and utilizing selected annotations while viewing and relative to providing a display presentation
US9164603B2 (en) * 2011-10-28 2015-10-20 Atmel Corporation Executing gestures with active stylus
JP5533837B2 (ja) * 2011-11-02 2014-06-25 コニカミノルタ株式会社 手書き入力装置及び手書き入力制御プログラム

Also Published As

Publication number Publication date
US11132063B2 (en) 2021-09-28
EP2919104B1 (en) 2019-12-04
EP2919104A4 (en) 2016-07-13
JPWO2014073346A1 (ja) 2016-09-08
US9632593B2 (en) 2017-04-25
US20150277583A1 (en) 2015-10-01
EP2919104A1 (en) 2015-09-16
WO2014073346A1 (ja) 2014-05-15
US20170205895A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
JP6233314B2 (ja) 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
JP5451599B2 (ja) マルチモーダルスマートペンのコンピューティングシステム
US9304599B2 (en) Gesture controlled adaptive projected information handling system input and output devices
US8860675B2 (en) Drawing aid system for multi-touch devices
US9348420B2 (en) Adaptive projected information handling system output devices
JP6902234B2 (ja) 文字列に文字を挿入するための方法および対応するデジタルデバイス
US9736137B2 (en) System and method for managing multiuser tools
JP6991486B2 (ja) 文字列に文字を挿入するための方法およびシステム
EP2919103A1 (en) Information processing device, information processing method and computer-readable recording medium
JP2014062962A (ja) 情報処理装置、筆記具、情報処理方法およびプログラム
JP6595896B2 (ja) 電子機器及び表示制御方法
US20150268731A1 (en) Interactive Projected Information Handling System Support Input and Output Devices
CN113703631A (zh) 书写控制方法、装置、电子设备及存储介质
JP6056263B2 (ja) 端末装置、電子ペンシステム及びプログラム
JP5165661B2 (ja) 制御装置、制御方法、制御プログラム、及び記録媒体
Tian et al. An exploration of pen tail gestures for interactions
JP2021197024A (ja) 表示装置、表示方法及びプログラム
US11782594B2 (en) Display apparatus, display system, and display method
JP6241060B2 (ja) コンピュータ装置及びプログラム
JP6244647B2 (ja) コンピュータ装置及びプログラム
JP7030529B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
CA2929900C (en) System and method for managing multiuser tools
Karthick et al. Artificial Intelligence Based Enhanced Virtual Mouse Hand Gesture Tracking Using Yolo Algorithm
JP2022146853A (ja) 表示装置、プログラム、表示方法、表示システム
CN115993894A (zh) 一种触控响应方法、装置、交互平板及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171009

R151 Written notification of patent or utility model registration

Ref document number: 6233314

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250