JP7294350B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7294350B2 JP7294350B2 JP2020554794A JP2020554794A JP7294350B2 JP 7294350 B2 JP7294350 B2 JP 7294350B2 JP 2020554794 A JP2020554794 A JP 2020554794A JP 2020554794 A JP2020554794 A JP 2020554794A JP 7294350 B2 JP7294350 B2 JP 7294350B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- operating body
- image
- information processing
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
- G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03542—Light pens for emitting or receiving light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、テレビ受像機(以下、単にTVと称する)およびプロジェクタ等の固定型表示機器、ならびにスマートフォンおよびノートPC(Personal Computer)等のモバイル型表示機器といった多様な表示機器が開発されている。また、表示機器の開発に伴い、装置を制御するためのインタフェースや操作方法も多様化してきている。
例えばプロジェクタに関しては、従来のホームシアターに代表されるような、地面に垂直なスクリーンに投影するものの他、プロジェクションマッピング技術の台頭により、テーブル面や、壁、天井など、あらゆる場所に映像を投影するケースが増えてきている。
また、プロジェクタにより投影した画像を指示する指示棒などを利用してプレゼンテーションが行われる場合もある。この際、赤外光を出力する指示棒を利用する場合がある。また、IR(infrared spectroscopy)光を出力するデジタルペンを用いて、プロジェクタによってデジタルペンによる軌跡を表示(投影)するシステムも提案されている。特に教育現場における板書のデジタル化に有用である。
例えば下記特許文献1では、指示ペンから出力された光信号(赤外光)を、プロジェクタに搭載されたIRカメラにより撮像し、所定の閾値以上の信号レベルの光信号が検出されたとき、光信号の位置情報を出力する技術について開示されている。
ここで、IR光を出力する電子ペン等の操作体が正常に動作していても、投影領域とユーザとカメラとの位置関係によっては、電子ペンのIR光をユーザ自身(操作者)が遮蔽してしまい、カメラで検出できないといったことが起こり得る。しかしながら、カメラの位置や検出の仕組みを把握していない一般的なユーザは、なぜ描画できなくなったのかが分からず、不便を強いられていた。
本開示によれば、投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、を行う制御部を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、を行う制御部として機能させるための、プログラムを提案する。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成例
2-1.出力装置200
2-2.カメラ300
2-3.操作体400
2-4.情報処理装置100
3.動作処理
3-1.誘導画像の表示
3-2.認識不可の要因に応じた誘導画像の表示
4.変形例
5.まとめ
1.本開示の一実施形態による情報処理システムの概要
2.構成例
2-1.出力装置200
2-2.カメラ300
2-3.操作体400
2-4.情報処理装置100
3.動作処理
3-1.誘導画像の表示
3-2.認識不可の要因に応じた誘導画像の表示
4.変形例
5.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムは、図1に示すように、画像を投影するプロジェクタ210、投影領域211を撮像するカメラ300(図1では、カメラ300による撮影領域(いわゆる画角)を認識領域301として図示する)、および、プロジェクタ210による画像の投影を制御する情報処理装置100を含む。
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムは、図1に示すように、画像を投影するプロジェクタ210、投影領域211を撮像するカメラ300(図1では、カメラ300による撮影領域(いわゆる画角)を認識領域301として図示する)、および、プロジェクタ210による画像の投影を制御する情報処理装置100を含む。
また、ユーザが操作体400(いわゆる電子ペン)を用いて投影領域211に対して描画操作を行うと、操作体400のペン先に設けられた発光部(例えば、IR_LED(Light Emitting Diode))が発光し(具体的には例えばペン先の押圧により発光部が発光する)、情報処理装置100は、カメラ300により撮像された撮像画像から発光箇所を検出して操作体400の位置(すなわち描画位置)を認識することが可能となる。カメラ300は、プロジェクタ210の投影領域211と同じか、それより少し広めの範囲を撮像範囲(認識領域301)として予め設定され、操作体400による発光(例えばIR光)を撮像する。情報処理装置100は、カメラ300の撮像画像に基づいて操作体400の位置を継続的に認識し、操作体400に対する描画操作の軌跡を示す軌跡画像Lを生成し、プロジェクタ210により投影させる。
これにより、本システムでは、テーブル面や壁、床など、あらゆる場所(投影領域211)に、操作体400を用いて自由に描画することが可能となる。
なお、操作体400の発光部は、上述したように、IR_LEDにより実現してもよい。この場合、操作体400によるIR発光以外の光による誤動作を避けるため、カメラ300は、可視光カットフィルタを介して撮像する構成としてもよい(すなわちカメラ300としてIRカメラを用いる)。この場合、カメラ300の撮像画像からは、ペン先のIR光しか検出されない。
しかしながら、IR光を何らかの遮蔽物により遮蔽したり、カメラ300の画角外(図1に示す認識領域301外)に描画したりすると、システムはIR光を検出することができず、軌跡画像を投影することができない。
ここで、操作体400を用いて描画を行う際に想定される遮蔽問題について説明する。
図2は、本実施形態によるプロジェクタ210と投影面(投影領域211)との間にユーザが位置する場合の遮蔽(プロジェクタ210の遮蔽)について説明する図である。図2に示す例では、ユーザの影によって、投影領域211に投影不可領域(遮蔽領域213)が生じる。通常、プロジェクタ210により投影した場合はユーザの影が出るため、ユーザは自分がプロジェクタ210を遮蔽していることに比較的気付き易い。
一方、カメラ300の遮蔽では影が出ないため、ユーザは自分がカメラ300の遮蔽をしていることに気付くことが難しい。以下図3を参照して説明する。
図3は、本実施形態によるカメラと操作体との間にユーザが位置する場合の遮蔽(カメラ300の遮蔽)について説明する図である。この場合、ユーザの身体によって隠れてしまい、操作体400のIR発光が検出できない領域(遮蔽領域303)が生じる。この場合、情報処理装置100はIR発光の位置(軌跡)を認識できず、軌跡画像Lが生成できないため、ユーザは操作体400を正常に操作しても描画することができないこととなる。なお遮蔽領域303には、プロジェクタ210の遮蔽のように影が出ないため、ユーザは自身が遮蔽物となっていることに気付き難い。
また、軌跡画像を投影するシステムの場合、何も描いていない状況ではどの場所に描画することができるのか分からず、カメラ300の画角外(認識領域外)で描き始めてしまい、描くことができないといったことも生じ得る。
従来、このような遮蔽等により操作体400は正常に動作しているがカメラ300で認識できないといった問題に関し、ユーザにフィードバックすることは行われておらず、ユーザはなぜ描けなくなったのか自分で判断する必要があった。カメラ300の位置を確認して自分の立ち位置を変更する等の行動により改善できる場合もあるが、検出の仕組みを知らないユーザや、他の理由(ユーザの遮蔽ではなく例えば操作体400の電池切れ、他の什器や可動物(カーテンなど)による遮蔽など)により描けないこととの切り分けが難しく、不便を強いられていた。
そこで、本開示では、操作体の位置が認識できない領域で操作されている場合に、適切に認識できる領域へ誘導することで、ユーザの利便性を高めることが可能な仕組みを提案する。
<<2.構成例>>
図4は、本実施形態に係る情報処理システムの全体構成の一例を示すブロック図である。図4に示すように、本実施形態に係る情報処理システムは、情報処理装置100、出力装置200、カメラ300、および操作体400を含む。
図4は、本実施形態に係る情報処理システムの全体構成の一例を示すブロック図である。図4に示すように、本実施形態に係る情報処理システムは、情報処理装置100、出力装置200、カメラ300、および操作体400を含む。
<2-1.出力装置200>
出力装置200は、プロジェクタ210、TV220、タブレット230、スマートフォン240、およびPC250を含む。なお、本システムは、出力装置200として、これらのうち一つ又は複数の組み合わせを含んでも良いし、同一種類の装置を複数含んでも良い。図1に示す例では、一例としてプロジェクタ210を用いるシステム構成について図示している。
出力装置200は、プロジェクタ210、TV220、タブレット230、スマートフォン240、およびPC250を含む。なお、本システムは、出力装置200として、これらのうち一つ又は複数の組み合わせを含んでも良いし、同一種類の装置を複数含んでも良い。図1に示す例では、一例としてプロジェクタ210を用いるシステム構成について図示している。
プロジェクタ210は、空間の任意の場所に画像を投影する投影装置である。プロジェクタ210は、例えば固定型の広角プロジェクタであってもよいし、Pan/Tilt駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。投影面は平面に限定されず、曲面であってもよいし、複数の面に分かれていてもよい。また、プロジェクタ210は、複数台により実現されてもよい。
TV220は、テレビジョン放送の電波を受信して、画像及び音声を出力する装置である。タブレット230は、典型的にはスマートフォン240より大きな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。スマートフォン240は、典型的にはタブレット230より小さな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。PC250は、固定型のデスクトップPCであってもよいし、モバイル型のノートPCであってもよく、画像及び音声等を出力可能である。
出力装置200は、情報処理装置100による制御に基づいて情報を出力する。情報処理装置100は、出力する情報の内容に加えて、出力方法も制御可能である。例えば、情報処理装置100は、プロジェクタ210の投影方向を制御することができる。
また、出力装置200は、上述した構成要素以外の任意の出力が可能な構成要素を含んでいてもよい。例えば、出力装置200は、スピーカ、及び単一指向性スピーカを含んでもよい。スピーカは、DAC(Digital Analog Converter)およびアンプを介して、音声データをアナログ信号に変換し、出力(再生)する。単一指向性スピーカは、単一の方向に指向性を形成可能なスピーカである。情報処理装置100は、単一指向性スピーカの指向性を制御し得る。
また、出力装置200は、照明装置、空調装置、又は音楽再生装置等を含んでいてもよい。
<2-2.カメラ300>
カメラ300は、操作体400に設けられたIR_LEDを認識するIR認識用のカメラであって、IRフィルタを介して撮像し、IR光だけを検出できるセンサ装置の一例である。
カメラ300は、操作体400に設けられたIR_LEDを認識するIR認識用のカメラであって、IRフィルタを介して撮像し、IR光だけを検出できるセンサ装置の一例である。
なお本システムは、カメラ300の他、様々な情報をセンシングする他のセンサを含んでいてもよい。例えば、本システムは、RGBカメラ、デプスセンサ、及びマイクロフォン等を含み、ユーザ及びユーザがいる空間に関する情報をセンシングしてもよい。デプスセンサは、赤外線測距装置、超音波測距装置、LiDAR(Laser Imaging Detection and Ranging)又はステレオカメラ等の深度情報を取得する装置である。また、高精度な距離画像を取得できるToF(Time Of Flight)カメラであってもよい。マイクロフォンは、周囲の音を収音し、アンプおよびADC(Analog Digital Converter)を介してデジタル信号に変換した音声データを出力する装置である。マイクロフォンは、アレイマイクであってもよい。
センサ装置は、情報処理装置100による制御に基づいて情報をセンシングする。例えば、情報処理装置100は、カメラ300のズーム率及び撮像方向を制御することができる。
また、センサ装置は、さらに上述した構成要素以外の任意のセンシングが可能な構成要素を含んでいてもよい。例えば、センサ装置は、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって情報が入力される装置を含んでいてもよい。また、センサ装置は、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、照度センサ、力センサ、超音波センサ、気圧センサ、ガスセンサ(Co2)、サーモカメラ(遠赤外線カメラ)等の各種のセンサを含み得る。
以上説明した出力装置及びセンサ装置は、複数であってもよい。
<2-3.操作体400>
操作体400は、ユーザによって保持され、ユーザが投影領域211に軌跡を描画する際に利用される。具体的には、操作体400の先端(ペン先)には発光部の一例としてIR_LED430が設けられ、ペン先を壁等の投影領域211に接触させて描画する際、ペン先の押し込みによりスイッチ440(センサ)がONとなり、CPU420によりIR_LED430が点灯制御される。一方、ペン先を壁等の投影領域211から離すと、ペン先の押し込みが解除され、スイッチ440がOFFとなり、CPU420によりIR_LED430が消灯制御される。
操作体400は、ユーザによって保持され、ユーザが投影領域211に軌跡を描画する際に利用される。具体的には、操作体400の先端(ペン先)には発光部の一例としてIR_LED430が設けられ、ペン先を壁等の投影領域211に接触させて描画する際、ペン先の押し込みによりスイッチ440(センサ)がONとなり、CPU420によりIR_LED430が点灯制御される。一方、ペン先を壁等の投影領域211から離すと、ペン先の押し込みが解除され、スイッチ440がOFFとなり、CPU420によりIR_LED430が消灯制御される。
なお、ここでは一例としてペン先の接地面への押圧によりIR_LED430が発光する構成について説明したが、本実施形態はこれに限定されず、操作体400に設けられたボタン又はスイッチ等による操作検出、又は操作体が有するモーションセンサを用いた操作体への操作検出等によりIR_LED430が発光する構成であってもよい。
また、操作体400は、通信モジュール410を有する。通信モジュール410は、情報処理装置100と有線又は無線接続し、データの送受信を行い得る。例えば通信モジュール410は、有線/無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信等により情報処理装置100と通信接続する。
CPU420は、操作体400に設けられたボタン又はスイッチのユーザ操作、又はペンの動き等に基づく所定のコマンドを情報処理装置100に送信する。具体的には、CPU420は、スイッチ440で検知されたセンサデータ(すなわち先端の押し込みによりスイッチがONになっていることを示すデータであって、操作体400に対する操作(描画操作)が行われたことを示すものである)を、通信モジュール410から情報処理装置100にリアルタイムで送信する。
なお、ここでは、一例として操作体400を用いて軌跡を描く描画操作を行う場合について主に説明したが、本実施形態による操作体400を用いた操作はこれに限定されず、表示された画像に対するクリック操作、ドラッグ&ドロップ操作、ページめくり、スクロール操作等の各種操作を行うことも可能である。
<2-4.情報処理装置100>
情報処理装置100は、I/F(Interface)部110、発光認識部120、記憶部130、操作検出部140、画像生成部150、座標変換部160、表示制御部170、およびユーザ位置認識部180を含む。
情報処理装置100は、I/F(Interface)部110、発光認識部120、記憶部130、操作検出部140、画像生成部150、座標変換部160、表示制御部170、およびユーザ位置認識部180を含む。
・I/F部110
I/F部110は、情報処理装置100と他の機器とを接続するための接続装置である。I/F部110は、例えばUSB(Universal Serial Bus)コネクタ、有線/無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等により実現され、出力装置200、カメラ300、及び操作体400との間で情報の入出力を行う。I/F部110を介してこれらの装置と通信を行うことにより、情報処理装置100は出力装置200、カメラ300、及び操作体400の制御を行うことが可能である。より具体的には、例えば情報処理装置100は、出力装置200、カメラ300、及び操作体400に対し、I/F部110を介して制御信号を出力することで、これらの制御を行い得る。
I/F部110は、情報処理装置100と他の機器とを接続するための接続装置である。I/F部110は、例えばUSB(Universal Serial Bus)コネクタ、有線/無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等により実現され、出力装置200、カメラ300、及び操作体400との間で情報の入出力を行う。I/F部110を介してこれらの装置と通信を行うことにより、情報処理装置100は出力装置200、カメラ300、及び操作体400の制御を行うことが可能である。より具体的には、例えば情報処理装置100は、出力装置200、カメラ300、及び操作体400に対し、I/F部110を介して制御信号を出力することで、これらの制御を行い得る。
・発光認識部120
発光認識部120は、カメラ300により撮像された撮像画像(IR撮像画像)からIR光を検出し、検出したIR光の位置座標(例えば輝点の位置座標)を認識し、記憶部130に蓄積すると共に、IR光が検出できたこと(例えば輝点の位置が認識できたこと)を画像生成部150に出力する。また、発光認識部120は、検出したIR光の移動を追跡し、IR光の軌跡を取得する機能(トラッキング機能)も有する。
発光認識部120は、カメラ300により撮像された撮像画像(IR撮像画像)からIR光を検出し、検出したIR光の位置座標(例えば輝点の位置座標)を認識し、記憶部130に蓄積すると共に、IR光が検出できたこと(例えば輝点の位置が認識できたこと)を画像生成部150に出力する。また、発光認識部120は、検出したIR光の移動を追跡し、IR光の軌跡を取得する機能(トラッキング機能)も有する。
・記憶部130
記憶部130は、発光認識部120により認識された発光位置座標を記憶する。また、記憶部130は、出力装置200およびカメラ300の設置位置情報、空間認識情報、ユーザ位置情報、および、各種センサデータを記憶していてもよい。空間認識情報とは、情報処理装置100が、センサ装置(不図示)から取得した各種センサデータ(カメラや俯瞰カメラによる撮像画像(可視光画像、赤外線画像)、デプスセンサによる深度情報、測距センサによる距離情報、サーモセンサによる温度情報、マイクロフォンによる音声情報等)に基づいて、投影空間(投影環境)から取得/認識した情報である。具体的には、例えば情報処理装置100は、投影空間(投影環境)の3次元形状や、投影空間に存在する実物体の3次元形状、3次元位置、投影可能領域(所定の広さを有する平面領域など)、および、ユーザの3次元位置、姿勢、ジェスチャ、発話音声等を認識し、空間認識情報として、記憶部130に記憶してもよい。
記憶部130は、発光認識部120により認識された発光位置座標を記憶する。また、記憶部130は、出力装置200およびカメラ300の設置位置情報、空間認識情報、ユーザ位置情報、および、各種センサデータを記憶していてもよい。空間認識情報とは、情報処理装置100が、センサ装置(不図示)から取得した各種センサデータ(カメラや俯瞰カメラによる撮像画像(可視光画像、赤外線画像)、デプスセンサによる深度情報、測距センサによる距離情報、サーモセンサによる温度情報、マイクロフォンによる音声情報等)に基づいて、投影空間(投影環境)から取得/認識した情報である。具体的には、例えば情報処理装置100は、投影空間(投影環境)の3次元形状や、投影空間に存在する実物体の3次元形状、3次元位置、投影可能領域(所定の広さを有する平面領域など)、および、ユーザの3次元位置、姿勢、ジェスチャ、発話音声等を認識し、空間認識情報として、記憶部130に記憶してもよい。
・操作検出部140
操作検出部140は、操作体400から受信したセンサデータに基づいて、操作体に対する操作が行われたことを検出する機能を有する。具体的には、例えば操作検出部140は、操作体400に設けられたスイッチ440により検知されたセンサデータ(すなわち先端の押し込みによりスイッチがONになっていることを示すデータ)を受信した場合、操作体400に対する操作(ここでは、描画操作)が行われたことを検出することができる。また、操作検出部140は、操作検出結果を、画像生成部150に出力する。
操作検出部140は、操作体400から受信したセンサデータに基づいて、操作体に対する操作が行われたことを検出する機能を有する。具体的には、例えば操作検出部140は、操作体400に設けられたスイッチ440により検知されたセンサデータ(すなわち先端の押し込みによりスイッチがONになっていることを示すデータ)を受信した場合、操作体400に対する操作(ここでは、描画操作)が行われたことを検出することができる。また、操作検出部140は、操作検出結果を、画像生成部150に出力する。
・画像生成部150
画像生成部150は、出力装置200により表示させる画像を生成する。例えば画像生成部150は、操作体400による描画操作に応じて、操作体400で描かれた軌跡を表示する映像(軌跡画像L)を生成する。具体的には、画像生成部150は、座標変換部160から取得したIR光の軌跡に対応する表示座標情報に基づいて、その軌跡を表示する画像を生成し、表示制御部170に出力する。
画像生成部150は、出力装置200により表示させる画像を生成する。例えば画像生成部150は、操作体400による描画操作に応じて、操作体400で描かれた軌跡を表示する映像(軌跡画像L)を生成する。具体的には、画像生成部150は、座標変換部160から取得したIR光の軌跡に対応する表示座標情報に基づいて、その軌跡を表示する画像を生成し、表示制御部170に出力する。
また、本実施形態による画像生成部150は、操作検出部140により操作体400に対する操作(ここでは、描画操作)が検出されているにも関わらず、発光認識部120により発光が認識されない(すなわち操作体400の位置が認識されない)場合、投影領域211内かつカメラ300により認識できる領域(以下、「描画可能な領域」とも称す)に操作体400を誘導する画像(誘導画像)を、生成する。操作体400に対する操作が検出されているにも関わらず発光が認識されない場合、例えば、ユーザがカメラ300の認識領域301外で操作している場合や、ユーザまたは什器や可動物(カーテン等)により操作体400のIR光が遮蔽されている場合が想定される。
ここで、図5に、本実施形態による誘導画像の一例を示す。上述したように、操作体400に対する操作が検出されているにも関わらず発光が認識されない場合、操作体400は正常に利用できる状態(電池切れ等ではない)であって、描画可能な状況であるため、描画可能であることが直感的に分かるイラストやアイコン、ガイド等を誘導画像として表示することが望ましい。具体的には、例えば図5の誘導画像422a、422bに示すようなペンのイラスト画像やアイコン、または、「描いてみよう!」等の描画を促すガイド表示を、描画可能な領域に表示するようにしてもよい。
・座標変換部160
座標変換部160は、画像生成部150からの要求に応じて、記憶部130から対象の軌跡の情報を呼び出し、軌跡の情報から当該対象に対する映像を表示する座標を算出し、算出した座標を画像生成部150に出力する。
座標変換部160は、画像生成部150からの要求に応じて、記憶部130から対象の軌跡の情報を呼び出し、軌跡の情報から当該対象に対する映像を表示する座標を算出し、算出した座標を画像生成部150に出力する。
・表示制御部170
表示制御部170は、画像生成部150により生成された画像を、I/F部110を介して出力装置200に出力し、出力装置200により表示させる制御を行う。例えば表示制御部170は、画像生成部150により生成された軌跡画像を、プロジェクタ210により投影させる制御を行う。また、表示制御部170は、画像生成部150により生成された誘導画像を、プロジェクタ210により投影させる制御を行う。誘導画像は、描画可能な領域の端など、所定の位置に表示させるようにしてもよいし、最後にIR光を認識できた位置に表示させるようにしてもよいし、カメラ300またはプロジェクタ210の設置方向に応じた位置(例えばカメラ300が描画可能な領域の右方向に位置している場合は右端など)に表示させるようにしてもよい。これにより、適切に認識できる領域へ誘導することができ、ユーザの利便性を高めることが可能となる。
表示制御部170は、画像生成部150により生成された画像を、I/F部110を介して出力装置200に出力し、出力装置200により表示させる制御を行う。例えば表示制御部170は、画像生成部150により生成された軌跡画像を、プロジェクタ210により投影させる制御を行う。また、表示制御部170は、画像生成部150により生成された誘導画像を、プロジェクタ210により投影させる制御を行う。誘導画像は、描画可能な領域の端など、所定の位置に表示させるようにしてもよいし、最後にIR光を認識できた位置に表示させるようにしてもよいし、カメラ300またはプロジェクタ210の設置方向に応じた位置(例えばカメラ300が描画可能な領域の右方向に位置している場合は右端など)に表示させるようにしてもよい。これにより、適切に認識できる領域へ誘導することができ、ユーザの利便性を高めることが可能となる。
・ユーザ位置認識部180
ユーザ位置認識部180は、撮像画像に基づいてユーザの位置を認識する機能を有する。例えば本システムにおいて、カメラ300としてRGB IRカメラを用いた場合、可視光画像とIR画像を同時に取得することが可能となる。この場合、ユーザ位置認識部180は、可視光画像からボーン推定等により人物の位置を認識することができる。認識されたユーザの位置と、IR画像に基づく発光認識の可否に基づいて、情報処理装置100は、操作体400の発光がユーザにより遮蔽されていることを判断することが可能となる。なお可視光画像に基づくボーン推定の際、フレーム間差分法を用いることで、ボーン位置のみならず、人体の領域を取得することも可能である。またさらに、発光認識用のIRカメラとは別に、サーモカメラ、デプスカメラ、または、ToFセンサを用意し、これによりユーザの輪郭(人体の領域)を抽出するようにしてもよい(これらのセンサの光軸はIRカメラに極力近付けることが望ましい)。
ユーザ位置認識部180は、撮像画像に基づいてユーザの位置を認識する機能を有する。例えば本システムにおいて、カメラ300としてRGB IRカメラを用いた場合、可視光画像とIR画像を同時に取得することが可能となる。この場合、ユーザ位置認識部180は、可視光画像からボーン推定等により人物の位置を認識することができる。認識されたユーザの位置と、IR画像に基づく発光認識の可否に基づいて、情報処理装置100は、操作体400の発光がユーザにより遮蔽されていることを判断することが可能となる。なお可視光画像に基づくボーン推定の際、フレーム間差分法を用いることで、ボーン位置のみならず、人体の領域を取得することも可能である。またさらに、発光認識用のIRカメラとは別に、サーモカメラ、デプスカメラ、または、ToFセンサを用意し、これによりユーザの輪郭(人体の領域)を抽出するようにしてもよい(これらのセンサの光軸はIRカメラに極力近付けることが望ましい)。
以上説明した発光認識部120、操作検出部140、画像生成部150、座標変換部160、表示制御部170、および、ユーザ位置認識部180は、情報処理装置100に設けられる制御部(不図示)により実現され得る。制御部は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。制御部は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による情報処理装置100の構成は、図4に示す例に限定されない。例えば情報処理装置100は、複数の装置により構成されていてもよいし、図4に示す情報処理装置100の機能構成のうち少なくとも一部が出力装置200またはカメラ300、操作体400側に設けられていてもよい。また、情報処理装置100は、図4に示す機能構成を全て有していなくともよい。
また、情報処理装置100は、PC、スマートフォン、エッジサーバ、中間サーバ、またはクラウドサーバ等により実現されてもよい。
<<3.動作処理>>
続いて、本実施形態による誘導画像の表示処理の流れの一例について図面を用いて説明する。
続いて、本実施形態による誘導画像の表示処理の流れの一例について図面を用いて説明する。
<3-1.誘導画像の表示>
図6は、本実施形態による誘導画像の表示処理の流れの一例を示すフローチャートである。図6に示すように、まず、情報処理装置100は、操作検出部140により、操作体400から送信されたセンサデータに基づいて、ペン先のスイッチ440が(描画操作により)押し込まれたか否かを判断する(ステップS103)。
図6は、本実施形態による誘導画像の表示処理の流れの一例を示すフローチャートである。図6に示すように、まず、情報処理装置100は、操作検出部140により、操作体400から送信されたセンサデータに基づいて、ペン先のスイッチ440が(描画操作により)押し込まれたか否かを判断する(ステップS103)。
次に、ペン先のスイッチ440が押し込まれたと判断された場合(ステップS103/Yes)、発光認識部120は、カメラ300の撮像画像(IR画像)からIR光を認識する(ステップS106)。ここでは一例としてペン先のスイッチ440が押し込まれたことが検出された際にIR光の認識処理を実行しているが、本実施形態はこれに限定されず、IR光の認識処理は継続的に(常時)行うようにしてもよい。
次いで、IR光を認識できた場合(ステップS106/Yes)、情報処理装置100は、軌跡描画を行う(ステップS109)。具体的には、情報処理装置100は、画像生成部150により、IR光の位置座標に応じて軌跡画像を生成し、表示制御部170によりプロジェクタ210で表示(投影)する制御を行う。
一方、IR光を認識できない場合(ステップS106/No)、情報処理装置100は、書ける場所(投影領域211内であって、かつ、カメラ300による認識が可能な、描画可能な領域)に操作体400を誘導するUI(誘導画像)を、当該書ける場所に表示する(ステップS112)。具体的には、情報処理装置100は、誘導画像を生成し(または予め用意された誘導画像を取得し)、表示制御部170によりプロジェクタ210で表示(投影)する制御を行う。これによりユーザは、操作体400の電池切れやシステムの不具合ではなく、描画は可能であることや、誘導画像が表示されている周辺で描画できることを、直感的に理解することが可能となる。
そして、情報処理装置100は、ペン先のスイッチ440が押し込まれ続けている間(操作検出部140により、操作体400における操作が検出され続けている間)、以上説明したステップS106~S112に示す処理を繰り返す(ステップS115)。
<3-2.認識不可の要因に応じた誘導画像の表示>
本実施形態による情報処理装置100は、さらに、ユーザの位置に基づいて、IR光を認識できない要因がユーザによる遮蔽であると判断した場合、ユーザによる遮蔽が生じていることを誘導画像として通知し、適切な行動を促すことが可能である。
本実施形態による情報処理装置100は、さらに、ユーザの位置に基づいて、IR光を認識できない要因がユーザによる遮蔽であると判断した場合、ユーザによる遮蔽が生じていることを誘導画像として通知し、適切な行動を促すことが可能である。
図7は、認識不可の要因に応じた誘導画像の表示処理の流れの一例を示すフローチャートである。
図7に示すステップS103~S109では、図6を参照して説明した同ステップと同様の処理を行う。すなわち、情報処理装置100は、操作体400のペン先のスイッチ440が(描画操作により)押し込まれた場合(ステップS103)、IR光を認識し(ステップS106)、軌跡描画(軌跡画像の生成、表示)を行う(ステップS109)。
次に、情報処理装置100は、IR光がユーザ位置で認識できなくなったか否かを判断する(ステップS120)。具体的には、操作検出部140により描画操作が検出されているにも関わらず、発光認識部120によりIR発光が認識できなくなり、かつ、IR発光が認識できなくなった場所が、ユーザ位置認識部180で認識されたユーザ位置の場合、ユーザによりIR光が遮蔽されていることが分かる。図8は、ユーザ位置の認識と、ユーザによる遮蔽について説明するための図である。例えば本システムにおいて、カメラ300としてRGB IRカメラを用いた場合、図8に示すような可視光画像304が取得でき、ユーザ位置認識部180は、当該可視光画像304に基づいてボーン推定等によりユーザ位置を認識する。そして、発光認識部120により追跡していたIR光が(描画している途中で)、ユーザ位置と認識している領域に向かって移動して認識できなくなった(見失った)場合、画像生成部150は、IR光がユーザにより遮蔽されていると判断できる。
次いで、IR光がユーザ位置で認識できなくなった場合(ステップS120/Yes)、画像生成部150は、IR光がユーザにより遮蔽されていると判断し、その旨を通知する画像(誘導画像)を生成し、表示制御部170は、当該生成された誘導画像をプロジェクタ210で投影するよう制御する(ステップS123)。ここで、図9に、本実施形態によるユーザの遮蔽を通知する誘導画像の一例を示す。例えば、図9の誘導画像422dは、ユーザがカメラの画角内に入って邪魔になっている様子を示すアイコン画像である。また、図9の誘導画像422eは、「あなたの影になっています」といったガイド表示である。このような誘導画像を表示することで、ユーザは、自分の立ち位置が原因で描画ができない(認識されない)ことを直感的に理解し、カメラ300の位置を確認して自分の立ち位置を変更する等して改善することが可能となる。
また、表示制御部170は、誘導画像を、描画可能な領域に表示するよう制御する。ここで、図10を参照して、本実施形態による描画可能な領域について説明する。図10に示すように、カメラ300による撮像範囲に相当する認識領域301は、投影領域211と同じかそれより少し広めの範囲を範囲となるよう予め設定され得る。本実施形態では、投影領域211かつ認識領域301であって、さらに、遮蔽領域213(プロジェクタ210による投影領域211をユーザが遮蔽している領域)と遮蔽領域303(カメラ300による認識領域301をユーザが遮蔽している領域)を除いた領域を、描画可能な領域421とする。表示制御部170は、誘導画像422を、描画可能な領域421の端など、所定の位置に表示させるようにしてもよいし、最後にIR光を認識できた位置に表示させるようにしてもよいし、カメラ300またはプロジェクタ210の設置方向に応じた位置(例えばカメラ300が描画可能な領域の右方向に位置している場合は右端など)に表示させるようにしてもよい。
遮蔽領域213および遮蔽領域303は、可視光カメラにより取得した可視光画像、ユーザの3次元位置、カメラ300の3次元位置、プロジェクタ210の3次元位置、投影領域211の3次元位置、認識領域301の3次元位置、これらの位置関係、距離等から、適宜、算出することが可能である。
ここで、遮蔽領域213の場所にはリアルな影が生じるが、カメラ300を遮蔽している遮蔽領域303の場所には影が出ないため、情報処理装置100は、画像生成部150により、遮蔽領域303(少なくとも遮蔽領域303の輪郭)を示す仮想的な影画像を誘導画像として生成して表示するようにしてもよい。図11は、仮想的な影画像を誘導画像として表示する場合について説明する図である。図11に示すように、描画可能な領域421において、プロジェクタ210による投影をユーザが遮蔽している遮蔽領域213にはリアルな影が出る一方、カメラ300による撮影をユーザが遮蔽している遮蔽領域303には影が出ないため、仮想的な影画像422fを生成し、遮蔽領域303の位置にプロジェクタ210により表示する。これによりユーザは、自身の影になっている場所では描画ができないことを直感的に理解することができ、立ち位置を変更する等で改善することが可能となる。なお、ここでは遮蔽領域303の輪郭を示す画像を誘導画像として生成、表示する例について説明したが、本実施形態はこれに限定されない。例えば情報処理装置100の画像生成部150は、誘導画像として、遮蔽領域303の位置及び大きさに対応した画像(例えば遮蔽領域303を含む単なる矩形画像)を生成してもよい。例えば輪郭抽出よりも処理負荷を軽くすることが可能な処理が適している場合、情報処理装置100の画像生成部150は、遮蔽領域の位置及び大きさに対応した矩形画像の生成、表示を行うようにしてもよい。
また、通常、プロジェクタ210により投影した場合はユーザの影が出るため、ユーザは自分がプロジェクタ210を遮蔽していることに比較的気付き易いが、投影される画像の背景色が黒であり、表示する情報が白の場合、投影領域にはデフォルトで何も投影されていないため、影が出ない。この場合、情報処理装置100は、プロジェクタ210の遮蔽領域213にも、仮想的な影を表示するようにしてもよい。プロジェクタ210の遮蔽領域213は、ユーザ位置とプロジェクタ210の設置位置、および、投影領域の場所に基づいて算出してもよい。若しくは、プロジェクタ210とカメラ300の設置位置が近く、両者の光軸が極力近付いている又は同軸の場合、カメラ300の遮蔽領域303を仮想的な影として表現することで、ユーザにはプロジェクタ210の遮蔽とも認識させることができる。なおこの場合も、プロジェクタ210の遮蔽領域213を示す誘導画像としては、輪郭抽出した画像に限定されない。例えば情報処理装置100の画像生成部150は、遮蔽領域213の位置及び大きさに対応した画像(例えば遮蔽領域213を含む単なる矩形画像)を生成してもよい。
そして、ユーザが立ち位置を変更する等により遮蔽が改善された場合(すなわち、発光認識部120により再びIR光が認識できるようになった場合)(ステップS126/Yes)、情報処理装置100は、再び軌跡画像を生成し、表示する制御を行う(ステップS129)。
一方、IR光を認識できない場合(ステップS106/No)、または、IR光を認識していた途中(描画の途中)で、ユーザ位置以外で認識できなくなった場合(ステップS120/No)、情報処理装置100は、図6を参照して説明した実施形態と同様に、書ける場所(描画可能な領域)に操作体400を誘導するUI(図5に示すような誘導画像422a~422c)を、当該書ける場所に表示する(ステップS112)。ユーザ位置以外で認識できなくなった場合とは、認識領域301から外れた場合(画角外に移動した場合)や、ユーザ以外の遮蔽物、例えば什器や可動物により遮蔽されている場合が想定される。これによりユーザは、操作体400の電池切れやシステムの不具合ではなく、描画は可能であることや、誘導画像が表示されている周辺で描画できることを、直感的に理解することが可能となる。なお、撮像画像に基づく物体認識等により遮蔽物が認識できた場合や、何らかの遮蔽物により遮蔽されていることが認識できた場合、情報処理装置100は、遮蔽の旨を通知する誘導画像を表示するようにしてもよい。
以上説明したステップS106~S112、S120~S129に示す処理を、情報処理装置100は、ペン先のスイッチ440が押し込まれ続けている間、繰り返す(ステップS132)。
<<4.変形例>>
続いて、本実施形態の変形例について説明する。
続いて、本実施形態の変形例について説明する。
<4-1.誘導画像による描画可能な領域の天地方向の明示>
本実施形態による誘導画像は、さらにプロジェクタ210やカメラ300の設置位置に応じて描画可能な領域の天地方向を示すものであってもよい。
本実施形態による誘導画像は、さらにプロジェクタ210やカメラ300の設置位置に応じて描画可能な領域の天地方向を示すものであってもよい。
図12は、本実施形態の変形例による描画可能な領域の天地方向について説明する図である。図12に示すように、例えばテーブル20の天面が投影領域になっており、ユーザはどの方向からも描画することができる場合を想定する。
テーブル20の周辺には、テーブル20の天面に軌跡画像を投影するプロジェクタ210と、操作体400a、400bのIR発光(描画)を撮像するカメラ300が設置されている。
ここで、プロジェクタ210およびカメラ300とユーザの位置関係によっては、ユーザによる遮蔽が発生し易い場所(すなわち、望ましくない、不利な立ち位置)が生じ得る。
例えば、図12に示すように、ユーザU1の立ち位置では遮蔽は生じないが、ユーザU2の立ち位置では、ユーザU2の後方から投影しているプロジェクタ210の投影を遮蔽して遮蔽領域213が生じ、また、カメラ300の撮像も遮蔽して遮蔽領域303が生じている。遮蔽領域213、遮蔽領域303では描画ができず(認識、投影ができず)、描画可能な領域421が狭くなるといった不利益が生じる。
そこで、本変形例では、望ましい立ち位置(描画方向)をユーザに明示するため、遮蔽が生じた場合(例えばユーザU2が利用する操作体400bに対して操作が行われているが、発光が認識できない場合等)、情報処理装置100は、天地方向が分かる誘導画像を表示するようにしてもよい。天地方向は、プロジェクタ210およびカメラ300の位置に応じて決定し得る。すなわち、天地方向が分かる誘導画像は、プロジェクタ210およびカメラ300の位置に対応した望ましい有利な立ち位置(方向)にユーザを誘導するものである。
図13は、本変形例による描画可能な領域の天地方向を明示する誘導画像の一例を示す図である。例えば図13に示すように、動物等の天地が分かるイラストを含む額縁的な誘導画像422gを表示してもよい。また、その他天地が分かるイラスト、アイコン、ガイド表示(文字)等を表示するようにしてもよい。これによりユーザは、好ましい立ち位置(描き込み方向)を直感的に理解することが可能となる。
<4-2.プロジェクタ210とカメラ300の配置>
上述した実施形態では、プロジェクタ210とカメラ300が離れて設置されている場合について説明したが、本実施形態はこれに限定されず、プロジェクタ210の光軸中心とカメラ300の光軸中心を極力近付け、又は同軸に設置することで、プロジェクタ210の遮蔽をカメラ300の遮蔽と捉えて誘導表示処理を行うようにしてもよい。
上述した実施形態では、プロジェクタ210とカメラ300が離れて設置されている場合について説明したが、本実施形態はこれに限定されず、プロジェクタ210の光軸中心とカメラ300の光軸中心を極力近付け、又は同軸に設置することで、プロジェクタ210の遮蔽をカメラ300の遮蔽と捉えて誘導表示処理を行うようにしてもよい。
すなわち、プロジェクタ210の光軸中心とカメラ300の光軸中心を極力近付け、又は同軸に設置した場合、カメラ300の撮像をユーザが遮蔽した場合の遮蔽領域303の場所は、プロジェクタ210の投影をユーザが遮蔽した場合の遮蔽領域213の場所とほぼ同じとなることが予想される。このため、情報処理装置100は、ユーザの影の場所(プロジェクタ210の遮蔽領域213)をカメラ300の遮蔽領域303とみなし、その周辺でIR光の認識ができなくなった場合、図9に示したように、ユーザが要因になっている旨を通知するようにしてもよい。
<<5.まとめ>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置100、出力装置200、カメラ300、又は操作体400に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置100、出力装置200、カメラ300、又は操作体400の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部を備える、情報処理装置。
(2)
前記制御部は、
前記投影領域の端の所定位置に、前記誘導するための画像を投影させる投影制御処理を行う、
前記(1)に記載の情報処理装置。
(3)
前記制御部は、
遮蔽物による遮蔽領域を認識し、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記遮蔽領域を除く位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記(1)または(2)に記載の情報処理装置。
(4)
前記遮蔽領域は、前記投影領域内において、遮蔽物により投影ができない領域、または、前記遮蔽物により前記操作体の位置が認識できない領域を含む、前記(3)に記載の情報処理装置。
(5)
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記撮像画像を取得する撮像装置または前記投影を行う投影装置の設置位置に応じた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記操作体の位置が最後に認識できた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記(1)~(5)のいずれか1項に記載の情報処理装置。
(7)
前記制御部は、
前記遮蔽物を認識し、
認識した前記遮蔽物の位置に基づいて、前記操作体の位置が認識されない要因が当該遮蔽物による遮蔽であると判断した場合、前記誘導するための画像として、当該要因を通知する画像を前記投影部に投影させる投影制御処理を行う、
前記(3)または(4)に記載の情報処理装置。
(8)
前記遮蔽物は、前記操作体を操作しているユーザである、前記(7)に記載の情報処理装置。
(9)
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の位置及び大きさに対応した画像を前記投影部に投影させる投影制御処理を行う、
前記(7)または(8)に記載の情報処理装置。
(10)
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の輪郭を示す画像を前記投影部に投影させる投影制御処理を行う、
前記(9)に記載の情報処理装置。
(11)
前記制御部は、
前記投影領域に対する撮像装置および投影装置の位置関係に応じて、前記誘導するための画像として、天地方向を示す画像を前記投影部に投影させる投影制御処理を行う、
前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、
前記撮像画像から、前記操作体に設けられた発光部による発光を検出することで、前記投影領域内の前記操作体の位置座標を認識する、
前記(1)~(11)のいずれか1項に記載の情報処理装置。
(13)
前記制御部は、
前記センサデータに基づき、前記操作体に対する操作として、ユーザによる前記操作体を用いた前記投影領域に対する描画操作が行われていることを検出する、
前記(1)~(12)のいずれか1項に記載の情報処理装置。
(14)
前記情報処理装置は、
前記投影部に制御信号を出力するインタフェース部をさらに備える、
前記(1)~(13)のいずれか1項に記載の情報処理装置。
(15)
プロセッサが、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、
前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、
を含む、情報処理方法。
(16)
コンピュータを、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部として機能させるための、プログラム。
(1)
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部を備える、情報処理装置。
(2)
前記制御部は、
前記投影領域の端の所定位置に、前記誘導するための画像を投影させる投影制御処理を行う、
前記(1)に記載の情報処理装置。
(3)
前記制御部は、
遮蔽物による遮蔽領域を認識し、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記遮蔽領域を除く位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記(1)または(2)に記載の情報処理装置。
(4)
前記遮蔽領域は、前記投影領域内において、遮蔽物により投影ができない領域、または、前記遮蔽物により前記操作体の位置が認識できない領域を含む、前記(3)に記載の情報処理装置。
(5)
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記撮像画像を取得する撮像装置または前記投影を行う投影装置の設置位置に応じた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記操作体の位置が最後に認識できた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記(1)~(5)のいずれか1項に記載の情報処理装置。
(7)
前記制御部は、
前記遮蔽物を認識し、
認識した前記遮蔽物の位置に基づいて、前記操作体の位置が認識されない要因が当該遮蔽物による遮蔽であると判断した場合、前記誘導するための画像として、当該要因を通知する画像を前記投影部に投影させる投影制御処理を行う、
前記(3)または(4)に記載の情報処理装置。
(8)
前記遮蔽物は、前記操作体を操作しているユーザである、前記(7)に記載の情報処理装置。
(9)
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の位置及び大きさに対応した画像を前記投影部に投影させる投影制御処理を行う、
前記(7)または(8)に記載の情報処理装置。
(10)
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の輪郭を示す画像を前記投影部に投影させる投影制御処理を行う、
前記(9)に記載の情報処理装置。
(11)
前記制御部は、
前記投影領域に対する撮像装置および投影装置の位置関係に応じて、前記誘導するための画像として、天地方向を示す画像を前記投影部に投影させる投影制御処理を行う、
前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、
前記撮像画像から、前記操作体に設けられた発光部による発光を検出することで、前記投影領域内の前記操作体の位置座標を認識する、
前記(1)~(11)のいずれか1項に記載の情報処理装置。
(13)
前記制御部は、
前記センサデータに基づき、前記操作体に対する操作として、ユーザによる前記操作体を用いた前記投影領域に対する描画操作が行われていることを検出する、
前記(1)~(12)のいずれか1項に記載の情報処理装置。
(14)
前記情報処理装置は、
前記投影部に制御信号を出力するインタフェース部をさらに備える、
前記(1)~(13)のいずれか1項に記載の情報処理装置。
(15)
プロセッサが、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、
前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、
を含む、情報処理方法。
(16)
コンピュータを、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部として機能させるための、プログラム。
100 情報処理装置
110 I/F部
120 発光認識部
130 記憶部
140 操作検出部
150 画像生成部
160 座標変換部
170 表示制御部
180 ユーザ位置認識部
200 出力装置
210 プロジェクタ
211 投影領域
213 遮蔽領域
220 TV
230 タブレット
240 スマートフォン
250 PC
300 カメラ
301 認識領域
303 遮蔽領域
304 可視光画像
400 操作体
410 通信モジュール
421 描画可能な領域
422(422a~422g) 誘導画像
430 IR_LED
440 スイッチ
110 I/F部
120 発光認識部
130 記憶部
140 操作検出部
150 画像生成部
160 座標変換部
170 表示制御部
180 ユーザ位置認識部
200 出力装置
210 プロジェクタ
211 投影領域
213 遮蔽領域
220 TV
230 タブレット
240 スマートフォン
250 PC
300 カメラ
301 認識領域
303 遮蔽領域
304 可視光画像
400 操作体
410 通信モジュール
421 描画可能な領域
422(422a~422g) 誘導画像
430 IR_LED
440 スイッチ
Claims (16)
- 投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部を備える、情報処理装置。 - 前記制御部は、
前記投影領域の端の所定位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
請求項1に記載の情報処理装置。 - 前記制御部は、
遮蔽物による遮蔽領域を認識し、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記遮蔽領域を除く位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
請求項1に記載の情報処理装置。 - 前記遮蔽領域は、前記投影領域内において、遮蔽物により投影ができない領域、または、前記遮蔽物により前記操作体の位置が認識できない領域を含む、請求項3に記載の情報処理装置。
- 前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記撮像画像を取得する撮像装置または前記投影を行う投影装置の設置位置に応じた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
請求項1に記載の情報処理装置。 - 前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記操作体の位置が最後に認識できた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
請求項1に記載の情報処理装置。 - 前記制御部は、
前記遮蔽物の位置を認識し、
認識した前記遮蔽物の位置に基づいて、前記操作体の位置が認識されない要因が当該遮蔽物による遮蔽であると判断した場合、前記誘導するための画像として、当該要因を通知する画像を前記投影部に投影させる投影制御処理を行う、
請求項3に記載の情報処理装置。 - 前記遮蔽物は、前記操作体を操作しているユーザである、請求項7に記載の情報処理装置。
- 前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の位置及び大きさに対応した画像を前記投影部に投影させる投影制御処理を行う、
請求項7に記載の情報処理装置。 - 前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の輪郭を示す画像を前記投影部に投影させる投影制御処理を行う、
請求項9に記載の情報処理装置。 - 前記制御部は、
前記投影領域に対する撮像装置および投影装置の位置関係に応じて、前記誘導するための画像として、天地方向を示す画像を前記投影部に投影させる投影制御処理を行う、
請求項1に記載の情報処理装置。 - 前記制御部は、
前記撮像画像から、前記操作体に設けられた発光部による発光を検出することで、前記投影領域内の前記操作体の位置座標を認識する、
請求項1に記載の情報処理装置。 - 前記制御部は、
前記センサデータに基づき、前記操作体に対する操作として、ユーザによる前記操作体を用いた前記投影領域に対する描画操作が行われていることを検出する、
請求項1に記載の情報処理装置。 - 前記情報処理装置は、
前記投影部に制御信号を出力するインタフェース部をさらに備える、
請求項1に記載の情報処理装置。 - プロセッサが、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、
前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、
を含む、情報処理方法。 - コンピュータを、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部として機能させるための、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018206588 | 2018-11-01 | ||
JP2018206588 | 2018-11-01 | ||
PCT/JP2019/035108 WO2020090227A1 (ja) | 2018-11-01 | 2019-09-06 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020090227A1 JPWO2020090227A1 (ja) | 2021-10-07 |
JP7294350B2 true JP7294350B2 (ja) | 2023-06-20 |
Family
ID=70464008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020554794A Active JP7294350B2 (ja) | 2018-11-01 | 2019-09-06 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11435856B2 (ja) |
EP (1) | EP3876083A4 (ja) |
JP (1) | JP7294350B2 (ja) |
CN (1) | CN112912829A (ja) |
WO (1) | WO2020090227A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022034744A1 (ja) * | 2020-08-11 | 2022-02-17 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2023047512A1 (ja) * | 2021-09-24 | 2023-03-30 | 株式会社ワコム | 情報処理装置、プログラム及びシステム |
CN114245093B (zh) * | 2022-02-25 | 2022-05-24 | 北京深光科技有限公司 | 基于红外和热感的投影操作方法、电子设备及存储介质 |
CN117119160B (zh) * | 2023-10-24 | 2024-02-06 | 合肥联宝信息技术有限公司 | 一种投影控制方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012053603A (ja) | 2010-08-31 | 2012-03-15 | Sanyo Electric Co Ltd | 情報表示システム |
JP2014199633A (ja) | 2013-03-15 | 2014-10-23 | 株式会社リコー | 座標検出装置、座標検出システム、座標検出方法、および座標検出プログラム |
JP2016024518A (ja) | 2014-07-17 | 2016-02-08 | 株式会社リコー | 座標検出システム、座標検出方法、情報処理装置及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346230A (ja) * | 2004-06-01 | 2005-12-15 | Canon Inc | 光学式座標入力装置 |
US8682030B2 (en) * | 2010-09-24 | 2014-03-25 | Microsoft Corporation | Interactive display |
GB2486445B (en) * | 2010-12-14 | 2013-08-14 | Epson Norway Res And Dev As | Camera-based multi-touch interaction apparatus system and method |
JP5796733B2 (ja) | 2011-03-23 | 2015-10-21 | ソニー株式会社 | 光信号出力装置、信号処理装置、信号処理方法、信号処理システム、撮像装置、プロジェクタ、およびプログラム |
JP5672126B2 (ja) * | 2011-04-14 | 2015-02-18 | セイコーエプソン株式会社 | インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター |
JP6064319B2 (ja) * | 2011-12-27 | 2017-01-25 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
JP6232730B2 (ja) * | 2013-04-16 | 2017-11-22 | セイコーエプソン株式会社 | プロジェクターおよび制御方法 |
JP6437654B2 (ja) * | 2015-07-29 | 2018-12-12 | マクセル株式会社 | 映像表示システム |
CN106406684B (zh) * | 2016-04-22 | 2019-07-02 | 法法汽车(中国)有限公司 | 投影处理方法、装置及投影仪 |
CN106095133B (zh) * | 2016-05-31 | 2019-11-12 | 广景视睿科技(深圳)有限公司 | 一种交互投影的方法及系统 |
JP2018198858A (ja) | 2017-05-29 | 2018-12-20 | 株式会社三共 | 遊技機 |
JP2020042322A (ja) * | 2018-09-06 | 2020-03-19 | セイコーエプソン株式会社 | 画像表示装置及びその制御方法 |
-
2019
- 2019-09-06 CN CN201980070428.4A patent/CN112912829A/zh active Pending
- 2019-09-06 US US17/287,751 patent/US11435856B2/en active Active
- 2019-09-06 JP JP2020554794A patent/JP7294350B2/ja active Active
- 2019-09-06 WO PCT/JP2019/035108 patent/WO2020090227A1/ja unknown
- 2019-09-06 EP EP19878410.0A patent/EP3876083A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012053603A (ja) | 2010-08-31 | 2012-03-15 | Sanyo Electric Co Ltd | 情報表示システム |
JP2014199633A (ja) | 2013-03-15 | 2014-10-23 | 株式会社リコー | 座標検出装置、座標検出システム、座標検出方法、および座標検出プログラム |
JP2016024518A (ja) | 2014-07-17 | 2016-02-08 | 株式会社リコー | 座標検出システム、座標検出方法、情報処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11435856B2 (en) | 2022-09-06 |
WO2020090227A1 (ja) | 2020-05-07 |
CN112912829A (zh) | 2021-06-04 |
US20210397296A1 (en) | 2021-12-23 |
JPWO2020090227A1 (ja) | 2021-10-07 |
EP3876083A1 (en) | 2021-09-08 |
EP3876083A4 (en) | 2021-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7294350B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US9740338B2 (en) | System and methods for providing a three-dimensional touch screen | |
US8887043B1 (en) | Providing user feedback in projection environments | |
US11373650B2 (en) | Information processing device and information processing method | |
US20110242054A1 (en) | Projection system with touch-sensitive projection image | |
US20130135199A1 (en) | System and method for user interaction with projected content | |
JP6689559B2 (ja) | 画像投影装置、システム、画像投影方法およびプログラム | |
KR20150130495A (ko) | 적어도 두 개의 제어 객체들에 의해 수행되는 제스처의 검출 | |
US10672187B2 (en) | Information processing apparatus and information processing method for displaying virtual objects in a virtual space corresponding to real objects | |
US10048808B2 (en) | Input operation detection device, projection apparatus, interactive whiteboard, digital signage, and projection system | |
JP2002091692A (ja) | ポインティングシステム | |
CN105323520A (zh) | 投影仪设备、交互系统和交互控制方法 | |
US20160191875A1 (en) | Image projection apparatus, and system employing interactive input-output capability | |
US11698578B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US20170357336A1 (en) | Remote computer mouse by camera and laser pointer | |
TWI607343B (zh) | 資訊科技裝置輸入系統及相關方法 | |
US20140055354A1 (en) | Multi-mode interactive projection system, pointing device thereof, and control method thereof | |
WO2014181587A1 (ja) | 携帯端末装置 | |
CN111033606A (zh) | 信息处理装置、信息处理方法和程序 | |
JP2007200353A (ja) | 情報処理装置及び情報処理方法 | |
JP6693495B2 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
JP2017009664A (ja) | 画像投写装置、及び対話型入出力システム | |
KR102023187B1 (ko) | 디스플레이 장치에 설치되는 착탈식 터치 패널 장치 | |
JP7287156B2 (ja) | 表示装置、表示方法、プログラム | |
KR20030055411A (ko) | 카메라를 이용한 포인팅장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7294350 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |