JPWO2020090227A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2020090227A1
JPWO2020090227A1 JP2020554794A JP2020554794A JPWO2020090227A1 JP WO2020090227 A1 JPWO2020090227 A1 JP WO2020090227A1 JP 2020554794 A JP2020554794 A JP 2020554794A JP 2020554794 A JP2020554794 A JP 2020554794A JP WO2020090227 A1 JPWO2020090227 A1 JP WO2020090227A1
Authority
JP
Japan
Prior art keywords
projection
operating body
image
information processing
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020554794A
Other languages
English (en)
Other versions
JP7294350B2 (ja
Inventor
佑理 日下部
佑理 日下部
青木　悠
悠 青木
健太郎 井田
健太郎 井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020090227A1 publication Critical patent/JPWO2020090227A1/ja
Application granted granted Critical
Publication of JP7294350B2 publication Critical patent/JP7294350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

操作体の位置が認識できない領域で操作されている場合に、適切に認識できる領域へ誘導することで、ユーザの利便性を高めることが可能な情報処理装置、情報処理方法、およびシステムを提供する。投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、を行う制御部（１２０、１４０、１７０）を備える、情報処理装置。

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、テレビ受像機（以下、単にＴＶと称する）およびプロジェクタ等の固定型表示機器、ならびにスマートフォンおよびノートＰＣ（Personal Computer）等のモバイル型表示機器といった多様な表示機器が開発されている。また、表示機器の開発に伴い、装置を制御するためのインタフェースや操作方法も多様化してきている。
例えばプロジェクタに関しては、従来のホームシアターに代表されるような、地面に垂直なスクリーンに投影するものの他、プロジェクションマッピング技術の台頭により、テーブル面や、壁、天井など、あらゆる場所に映像を投影するケースが増えてきている。
また、プロジェクタにより投影した画像を指示する指示棒などを利用してプレゼンテーションが行われる場合もある。この際、赤外光を出力する指示棒を利用する場合がある。また、ＩＲ（infrared spectroscopy）光を出力するデジタルペンを用いて、プロジェクタによってデジタルペンによる軌跡を表示（投影）するシステムも提案されている。特に教育現場における板書のデジタル化に有用である。
例えば下記特許文献１では、指示ペンから出力された光信号（赤外光）を、プロジェクタに搭載されたＩＲカメラにより撮像し、所定の閾値以上の信号レベルの光信号が検出されたとき、光信号の位置情報を出力する技術について開示されている。
特開２０１８−１９８８５８号公報
ここで、ＩＲ光を出力する電子ペン等の操作体が正常に動作していても、投影領域とユーザとカメラとの位置関係によっては、電子ペンのＩＲ光をユーザ自身（操作者）が遮蔽してしまい、カメラで検出できないといったことが起こり得る。しかしながら、カメラの位置や検出の仕組みを把握していない一般的なユーザは、なぜ描画できなくなったのかが分からず、不便を強いられていた。
本開示によれば、投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、を行う制御部を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、を行う制御部として機能させるための、プログラムを提案する。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態によるプロジェクタと投影面との間にユーザが位置する場合の遮蔽について説明する図である。 本実施形態によるカメラと操作体との間にユーザが位置する場合の遮蔽について説明する図である。 本実施形態に係る情報処理システムの全体構成の一例を示すブロック図である。 本実施形態による誘導画像の一例を示す図である。 本実施形態による誘導画像の表示処理の流れの一例を示すフローチャートである。 本実施形態による認識不可の要因に応じた誘導画像の表示処理の流れの一例を示すフローチャートである。 本実施形態によるユーザ位置の認識と、ユーザによる遮蔽について説明するための図である。 本実施形態によるユーザの遮蔽を通知する誘導画像の一例を示す図である。 本実施形態による描画可能な領域について説明する図である。 本実施形態による仮想的な影画像を誘導画像として表示する場合について説明する図である。 本実施形態の変形例による描画可能な領域の天地方向について説明する図である。 本実施形態の変形例による描画可能な領域の天地方向を明示する誘導画像の一例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成例
２−１．出力装置２００
２−２．カメラ３００
２−３．操作体４００
２−４．情報処理装置１００
３．動作処理
３−１．誘導画像の表示
３−２．認識不可の要因に応じた誘導画像の表示
４．変形例
５．まとめ
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムは、図１に示すように、画像を投影するプロジェクタ２１０、投影領域２１１を撮像するカメラ３００（図１では、カメラ３００による撮影領域（いわゆる画角）を認識領域３０１として図示する）、および、プロジェクタ２１０による画像の投影を制御する情報処理装置１００を含む。
また、ユーザが操作体４００（いわゆる電子ペン）を用いて投影領域２１１に対して描画操作を行うと、操作体４００のペン先に設けられた発光部（例えば、ＩＲ＿ＬＥＤ（Light Emitting Diode））が発光し（具体的には例えばペン先の押圧により発光部が発光する）、情報処理装置１００は、カメラ３００により撮像された撮像画像から発光箇所を検出して操作体４００の位置（すなわち描画位置）を認識することが可能となる。カメラ３００は、プロジェクタ２１０の投影領域２１１と同じか、それより少し広めの範囲を撮像範囲（認識領域３０１）として予め設定され、操作体４００による発光（例えばＩＲ光）を撮像する。情報処理装置１００は、カメラ３００の撮像画像に基づいて操作体４００の位置を継続的に認識し、操作体４００に対する描画操作の軌跡を示す軌跡画像Ｌを生成し、プロジェクタ２１０により投影させる。
これにより、本システムでは、テーブル面や壁、床など、あらゆる場所（投影領域２１１）に、操作体４００を用いて自由に描画することが可能となる。
なお、操作体４００の発光部は、上述したように、ＩＲ＿ＬＥＤにより実現してもよい。この場合、操作体４００によるＩＲ発光以外の光による誤動作を避けるため、カメラ３００は、可視光カットフィルタを介して撮像する構成としてもよい（すなわちカメラ３００としてＩＲカメラを用いる）。この場合、カメラ３００の撮像画像からは、ペン先のＩＲ光しか検出されない。
しかしながら、ＩＲ光を何らかの遮蔽物により遮蔽したり、カメラ３００の画角外（図１に示す認識領域３０１外）に描画したりすると、システムはＩＲ光を検出することができず、軌跡画像を投影することができない。
ここで、操作体４００を用いて描画を行う際に想定される遮蔽問題について説明する。
図２は、本実施形態によるプロジェクタ２１０と投影面（投影領域２１１）との間にユーザが位置する場合の遮蔽（プロジェクタ２１０の遮蔽）について説明する図である。図２に示す例では、ユーザの影によって、投影領域２１１に投影不可領域（遮蔽領域２１３）が生じる。通常、プロジェクタ２１０により投影した場合はユーザの影が出るため、ユーザは自分がプロジェクタ２１０を遮蔽していることに比較的気付き易い。
一方、カメラ３００の遮蔽では影が出ないため、ユーザは自分がカメラ３００の遮蔽をしていることに気付くことが難しい。以下図３を参照して説明する。
図３は、本実施形態によるカメラと操作体との間にユーザが位置する場合の遮蔽（カメラ３００の遮蔽）について説明する図である。この場合、ユーザの身体によって隠れてしまい、操作体４００のＩＲ発光が検出できない領域（遮蔽領域３０３）が生じる。この場合、情報処理装置１００はＩＲ発光の位置（軌跡）を認識できず、軌跡画像Ｌが生成できないため、ユーザは操作体４００を正常に操作しても描画することができないこととなる。なお遮蔽領域３０３には、プロジェクタ２１０の遮蔽のように影が出ないため、ユーザは自身が遮蔽物となっていることに気付き難い。
また、軌跡画像を投影するシステムの場合、何も描いていない状況ではどの場所に描画することができるのか分からず、カメラ３００の画角外（認識領域外）で描き始めてしまい、描くことができないといったことも生じ得る。
従来、このような遮蔽等により操作体４００は正常に動作しているがカメラ３００で認識できないといった問題に関し、ユーザにフィードバックすることは行われておらず、ユーザはなぜ描けなくなったのか自分で判断する必要があった。カメラ３００の位置を確認して自分の立ち位置を変更する等の行動により改善できる場合もあるが、検出の仕組みを知らないユーザや、他の理由（ユーザの遮蔽ではなく例えば操作体４００の電池切れ、他の什器や可動物（カーテンなど）による遮蔽など）により描けないこととの切り分けが難しく、不便を強いられていた。
そこで、本開示では、操作体の位置が認識できない領域で操作されている場合に、適切に認識できる領域へ誘導することで、ユーザの利便性を高めることが可能な仕組みを提案する。
＜＜２．構成例＞＞
図４は、本実施形態に係る情報処理システムの全体構成の一例を示すブロック図である。図４に示すように、本実施形態に係る情報処理システムは、情報処理装置１００、出力装置２００、カメラ３００、および操作体４００を含む。
＜２−１．出力装置２００＞
出力装置２００は、プロジェクタ２１０、ＴＶ２２０、タブレット２３０、スマートフォン２４０、およびＰＣ２５０を含む。なお、本システムは、出力装置２００として、これらのうち一つ又は複数の組み合わせを含んでも良いし、同一種類の装置を複数含んでも良い。図１に示す例では、一例としてプロジェクタ２１０を用いるシステム構成について図示している。
プロジェクタ２１０は、空間の任意の場所に画像を投影する投影装置である。プロジェクタ２１０は、例えば固定型の広角プロジェクタであってもよいし、Ｐａｎ／Ｔｉｌｔ駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。投影面は平面に限定されず、曲面であってもよいし、複数の面に分かれていてもよい。また、プロジェクタ２１０は、複数台により実現されてもよい。
ＴＶ２２０は、テレビジョン放送の電波を受信して、画像及び音声を出力する装置である。タブレット２３０は、典型的にはスマートフォン２４０より大きな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。スマートフォン２４０は、典型的にはタブレット２３０より小さな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。ＰＣ２５０は、固定型のデスクトップＰＣであってもよいし、モバイル型のノートＰＣであってもよく、画像及び音声等を出力可能である。
出力装置２００は、情報処理装置１００による制御に基づいて情報を出力する。情報処理装置１００は、出力する情報の内容に加えて、出力方法も制御可能である。例えば、情報処理装置１００は、プロジェクタ２１０の投影方向を制御することができる。
また、出力装置２００は、上述した構成要素以外の任意の出力が可能な構成要素を含んでいてもよい。例えば、出力装置２００は、スピーカ、及び単一指向性スピーカを含んでもよい。スピーカは、ＤＡＣ（Digital Analog Converter）およびアンプを介して、音声データをアナログ信号に変換し、出力（再生）する。単一指向性スピーカは、単一の方向に指向性を形成可能なスピーカである。情報処理装置１００は、単一指向性スピーカの指向性を制御し得る。
また、出力装置２００は、照明装置、空調装置、又は音楽再生装置等を含んでいてもよい。
＜２−２．カメラ３００＞
カメラ３００は、操作体４００に設けられたＩＲ＿ＬＥＤを認識するＩＲ認識用のカメラであって、ＩＲフィルタを介して撮像し、ＩＲ光だけを検出できるセンサ装置の一例である。
なお本システムは、カメラ３００の他、様々な情報をセンシングする他のセンサを含んでいてもよい。例えば、本システムは、ＲＧＢカメラ、デプスセンサ、及びマイクロフォン等を含み、ユーザ及びユーザがいる空間に関する情報をセンシングしてもよい。デプスセンサは、赤外線測距装置、超音波測距装置、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）又はステレオカメラ等の深度情報を取得する装置である。また、高精度な距離画像を取得できるＴｏＦ（Time Of Flight）カメラであってもよい。マイクロフォンは、周囲の音を収音し、アンプおよびＡＤＣ（Analog Digital Converter）を介してデジタル信号に変換した音声データを出力する装置である。マイクロフォンは、アレイマイクであってもよい。
センサ装置は、情報処理装置１００による制御に基づいて情報をセンシングする。例えば、情報処理装置１００は、カメラ３００のズーム率及び撮像方向を制御することができる。
また、センサ装置は、さらに上述した構成要素以外の任意のセンシングが可能な構成要素を含んでいてもよい。例えば、センサ装置は、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって情報が入力される装置を含んでいてもよい。また、センサ装置は、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、照度センサ、力センサ、超音波センサ、気圧センサ、ガスセンサ（Co2）、サーモカメラ（遠赤外線カメラ）等の各種のセンサを含み得る。
以上説明した出力装置及びセンサ装置は、複数であってもよい。
＜２−３．操作体４００＞
操作体４００は、ユーザによって保持され、ユーザが投影領域２１１に軌跡を描画する際に利用される。具体的には、操作体４００の先端（ペン先）には発光部の一例としてＩＲ＿ＬＥＤ４３０が設けられ、ペン先を壁等の投影領域２１１に接触させて描画する際、ペン先の押し込みによりスイッチ４４０（センサ）がＯＮとなり、ＣＰＵ４２０によりＩＲ＿ＬＥＤ４３０が点灯制御される。一方、ペン先を壁等の投影領域２１１から離すと、ペン先の押し込みが解除され、スイッチ４４０がＯＦＦとなり、ＣＰＵ４２０によりＩＲ＿ＬＥＤ４３０が消灯制御される。
なお、ここでは一例としてペン先の接地面への押圧によりＩＲ＿ＬＥＤ４３０が発光する構成について説明したが、本実施形態はこれに限定されず、操作体４００に設けられたボタン又はスイッチ等による操作検出、又は操作体が有するモーションセンサを用いた操作体への操作検出等によりＩＲ＿ＬＥＤ４３０が発光する構成であってもよい。
また、操作体４００は、通信モジュール４１０を有する。通信モジュール４１０は、情報処理装置１００と有線又は無線接続し、データの送受信を行い得る。例えば通信モジュール４１０は、有線／無線ＬＡＮ（Local Area Network）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信等により情報処理装置１００と通信接続する。
ＣＰＵ４２０は、操作体４００に設けられたボタン又はスイッチのユーザ操作、又はペンの動き等に基づく所定のコマンドを情報処理装置１００に送信する。具体的には、ＣＰＵ４２０は、スイッチ４４０で検知されたセンサデータ（すなわち先端の押し込みによりスイッチがＯＮになっていることを示すデータであって、操作体４００に対する操作（描画操作）が行われたことを示すものである）を、通信モジュール４１０から情報処理装置１００にリアルタイムで送信する。
なお、ここでは、一例として操作体４００を用いて軌跡を描く描画操作を行う場合について主に説明したが、本実施形態による操作体４００を用いた操作はこれに限定されず、表示された画像に対するクリック操作、ドラッグ＆ドロップ操作、ページめくり、スクロール操作等の各種操作を行うことも可能である。
＜２−４．情報処理装置１００＞
情報処理装置１００は、Ｉ／Ｆ（Interface）部１１０、発光認識部１２０、記憶部１３０、操作検出部１４０、画像生成部１５０、座標変換部１６０、表示制御部１７０、およびユーザ位置認識部１８０を含む。
・Ｉ／Ｆ部１１０
Ｉ／Ｆ部１１０は、情報処理装置１００と他の機器とを接続するための接続装置である。Ｉ／Ｆ部１１０は、例えばＵＳＢ（Universal Serial Bus）コネクタ、有線／無線ＬＡＮ（Local Area Network）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long Term Evolution）、３Ｇ（第３世代の移動体通信方式））等により実現され、出力装置２００、カメラ３００、及び操作体４００との間で情報の入出力を行う。Ｉ／Ｆ部１１０を介してこれらの装置と通信を行うことにより、情報処理装置１００は出力装置２００、カメラ３００、及び操作体４００の制御を行うことが可能である。より具体的には、例えば情報処理装置１００は、出力装置２００、カメラ３００、及び操作体４００に対し、Ｉ／Ｆ部１１０を介して制御信号を出力することで、これらの制御を行い得る。
・発光認識部１２０
発光認識部１２０は、カメラ３００により撮像された撮像画像（ＩＲ撮像画像）からＩＲ光を検出し、検出したＩＲ光の位置座標（例えば輝点の位置座標）を認識し、記憶部１３０に蓄積すると共に、ＩＲ光が検出できたこと（例えば輝点の位置が認識できたこと）を画像生成部１５０に出力する。また、発光認識部１２０は、検出したＩＲ光の移動を追跡し、ＩＲ光の軌跡を取得する機能（トラッキング機能）も有する。
・記憶部１３０
記憶部１３０は、発光認識部１２０により認識された発光位置座標を記憶する。また、記憶部１３０は、出力装置２００およびカメラ３００の設置位置情報、空間認識情報、ユーザ位置情報、および、各種センサデータを記憶していてもよい。空間認識情報とは、情報処理装置１００が、センサ装置（不図示）から取得した各種センサデータ（カメラや俯瞰カメラによる撮像画像（可視光画像、赤外線画像）、デプスセンサによる深度情報、測距センサによる距離情報、サーモセンサによる温度情報、マイクロフォンによる音声情報等）に基づいて、投影空間（投影環境）から取得／認識した情報である。具体的には、例えば情報処理装置１００は、投影空間（投影環境）の３次元形状や、投影空間に存在する実物体の３次元形状、３次元位置、投影可能領域（所定の広さを有する平面領域など）、および、ユーザの３次元位置、姿勢、ジェスチャ、発話音声等を認識し、空間認識情報として、記憶部１３０に記憶してもよい。
・操作検出部１４０
操作検出部１４０は、操作体４００から受信したセンサデータに基づいて、操作体に対する操作が行われたことを検出する機能を有する。具体的には、例えば操作検出部１４０は、操作体４００に設けられたスイッチ４４０により検知されたセンサデータ（すなわち先端の押し込みによりスイッチがＯＮになっていることを示すデータ）を受信した場合、操作体４００に対する操作（ここでは、描画操作）が行われたことを検出することができる。また、操作検出部１４０は、操作検出結果を、画像生成部１５０に出力する。
・画像生成部１５０
画像生成部１５０は、出力装置２００により表示させる画像を生成する。例えば画像生成部１５０は、操作体４００による描画操作に応じて、操作体４００で描かれた軌跡を表示する映像（軌跡画像Ｌ）を生成する。具体的には、画像生成部１５０は、座標変換部１６０から取得したＩＲ光の軌跡に対応する表示座標情報に基づいて、その軌跡を表示する画像を生成し、表示制御部１７０に出力する。
また、本実施形態による画像生成部１５０は、操作検出部１４０により操作体４００に対する操作（ここでは、描画操作）が検出されているにも関わらず、発光認識部１２０により発光が認識されない（すなわち操作体４００の位置が認識されない）場合、投影領域２１１内かつカメラ３００により認識できる領域（以下、「描画可能な領域」とも称す）に操作体４００を誘導する画像（誘導画像）を、生成する。操作体４００に対する操作が検出されているにも関わらず発光が認識されない場合、例えば、ユーザがカメラ３００の認識領域３０１外で操作している場合や、ユーザまたは什器や可動物（カーテン等）により操作体４００のＩＲ光が遮蔽されている場合が想定される。
ここで、図５に、本実施形態による誘導画像の一例を示す。上述したように、操作体４００に対する操作が検出されているにも関わらず発光が認識されない場合、操作体４００は正常に利用できる状態（電池切れ等ではない）であって、描画可能な状況であるため、描画可能であることが直感的に分かるイラストやアイコン、ガイド等を誘導画像として表示することが望ましい。具体的には、例えば図５の誘導画像４２２ａ、４２２ｂに示すようなペンのイラスト画像やアイコン、または、「描いてみよう！」等の描画を促すガイド表示を、描画可能な領域に表示するようにしてもよい。
・座標変換部１６０
座標変換部１６０は、画像生成部１５０からの要求に応じて、記憶部１３０から対象の軌跡の情報を呼び出し、軌跡の情報から当該対象に対する映像を表示する座標を算出し、算出した座標を画像生成部１５０に出力する。
・表示制御部１７０
表示制御部１７０は、画像生成部１５０により生成された画像を、Ｉ／Ｆ部１１０を介して出力装置２００に出力し、出力装置２００により表示させる制御を行う。例えば表示制御部１７０は、画像生成部１５０により生成された軌跡画像を、プロジェクタ２１０により投影させる制御を行う。また、表示制御部１７０は、画像生成部１５０により生成された誘導画像を、プロジェクタ２１０により投影させる制御を行う。誘導画像は、描画可能な領域の端など、所定の位置に表示させるようにしてもよいし、最後にＩＲ光を認識できた位置に表示させるようにしてもよいし、カメラ３００またはプロジェクタ２１０の設置方向に応じた位置（例えばカメラ３００が描画可能な領域の右方向に位置している場合は右端など）に表示させるようにしてもよい。これにより、適切に認識できる領域へ誘導することができ、ユーザの利便性を高めることが可能となる。
・ユーザ位置認識部１８０
ユーザ位置認識部１８０は、撮像画像に基づいてユーザの位置を認識する機能を有する。例えば本システムにおいて、カメラ３００としてＲＧＢ ＩＲカメラを用いた場合、可視光画像とＩＲ画像を同時に取得することが可能となる。この場合、ユーザ位置認識部１８０は、可視光画像からボーン推定等により人物の位置を認識することができる。認識されたユーザの位置と、ＩＲ画像に基づく発光認識の可否に基づいて、情報処理装置１００は、操作体４００の発光がユーザにより遮蔽されていることを判断することが可能となる。なお可視光画像に基づくボーン推定の際、フレーム間差分法を用いることで、ボーン位置のみならず、人体の領域を取得することも可能である。またさらに、発光認識用のＩＲカメラとは別に、サーモカメラ、デプスカメラ、または、ＴｏＦセンサを用意し、これによりユーザの輪郭（人体の領域）を抽出するようにしてもよい（これらのセンサの光軸はＩＲカメラに極力近付けることが望ましい）。
以上説明した発光認識部１２０、操作検出部１４０、画像生成部１５０、座標変換部１６０、表示制御部１７０、および、ユーザ位置認識部１８０は、情報処理装置１００に設けられる制御部（不図示）により実現され得る。制御部は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。制御部は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
また、本実施形態による情報処理装置１００の構成は、図４に示す例に限定されない。例えば情報処理装置１００は、複数の装置により構成されていてもよいし、図４に示す情報処理装置１００の機能構成のうち少なくとも一部が出力装置２００またはカメラ３００、操作体４００側に設けられていてもよい。また、情報処理装置１００は、図４に示す機能構成を全て有していなくともよい。
また、情報処理装置１００は、ＰＣ、スマートフォン、エッジサーバ、中間サーバ、またはクラウドサーバ等により実現されてもよい。
＜＜３．動作処理＞＞
続いて、本実施形態による誘導画像の表示処理の流れの一例について図面を用いて説明する。
＜３−１．誘導画像の表示＞
図６は、本実施形態による誘導画像の表示処理の流れの一例を示すフローチャートである。図６に示すように、まず、情報処理装置１００は、操作検出部１４０により、操作体４００から送信されたセンサデータに基づいて、ペン先のスイッチ４４０が（描画操作により）押し込まれたか否かを判断する（ステップＳ１０３）。
次に、ペン先のスイッチ４４０が押し込まれたと判断された場合（ステップＳ１０３／Ｙｅｓ）、発光認識部１２０は、カメラ３００の撮像画像（ＩＲ画像）からＩＲ光を認識する（ステップＳ１０６）。ここでは一例としてペン先のスイッチ４４０が押し込まれたことが検出された際にＩＲ光の認識処理を実行しているが、本実施形態はこれに限定されず、ＩＲ光の認識処理は継続的に（常時）行うようにしてもよい。
次いで、ＩＲ光を認識できた場合（ステップＳ１０６／Ｙｅｓ）、情報処理装置１００は、軌跡描画を行う（ステップＳ１０９）。具体的には、情報処理装置１００は、画像生成部１５０により、ＩＲ光の位置座標に応じて軌跡画像を生成し、表示制御部１７０によりプロジェクタ２１０で表示（投影）する制御を行う。
一方、ＩＲ光を認識できない場合（ステップＳ１０６／Ｎｏ）、情報処理装置１００は、書ける場所（投影領域２１１内であって、かつ、カメラ３００による認識が可能な、描画可能な領域）に操作体４００を誘導するＵＩ（誘導画像）を、当該書ける場所に表示する（ステップＳ１１２）。具体的には、情報処理装置１００は、誘導画像を生成し（または予め用意された誘導画像を取得し）、表示制御部１７０によりプロジェクタ２１０で表示（投影）する制御を行う。これによりユーザは、操作体４００の電池切れやシステムの不具合ではなく、描画は可能であることや、誘導画像が表示されている周辺で描画できることを、直感的に理解することが可能となる。
そして、情報処理装置１００は、ペン先のスイッチ４４０が押し込まれ続けている間（操作検出部１４０により、操作体４００における操作が検出され続けている間）、以上説明したステップＳ１０６〜Ｓ１１２に示す処理を繰り返す（ステップＳ１１５）。
＜３−２．認識不可の要因に応じた誘導画像の表示＞
本実施形態による情報処理装置１００は、さらに、ユーザの位置に基づいて、ＩＲ光を認識できない要因がユーザによる遮蔽であると判断した場合、ユーザによる遮蔽が生じていることを誘導画像として通知し、適切な行動を促すことが可能である。
図７は、認識不可の要因に応じた誘導画像の表示処理の流れの一例を示すフローチャートである。
図７に示すステップＳ１０３〜Ｓ１０９では、図６を参照して説明した同ステップと同様の処理を行う。すなわち、情報処理装置１００は、操作体４００のペン先のスイッチ４４０が（描画操作により）押し込まれた場合（ステップＳ１０３）、ＩＲ光を認識し（ステップＳ１０６）、軌跡描画（軌跡画像の生成、表示）を行う（ステップＳ１０９）。
次に、情報処理装置１００は、ＩＲ光がユーザ位置で認識できなくなったか否かを判断する（ステップＳ１２０）。具体的には、操作検出部１４０により描画操作が検出されているにも関わらず、発光認識部１２０によりＩＲ発光が認識できなくなり、かつ、ＩＲ発光が認識できなくなった場所が、ユーザ位置認識部１８０で認識されたユーザ位置の場合、ユーザによりＩＲ光が遮蔽されていることが分かる。図８は、ユーザ位置の認識と、ユーザによる遮蔽について説明するための図である。例えば本システムにおいて、カメラ３００としてＲＧＢ ＩＲカメラを用いた場合、図８に示すような可視光画像３０４が取得でき、ユーザ位置認識部１８０は、当該可視光画像３０４に基づいてボーン推定等によりユーザ位置を認識する。そして、発光認識部１２０により追跡していたＩＲ光が（描画している途中で）、ユーザ位置と認識している領域に向かって移動して認識できなくなった（見失った）場合、画像生成部１５０は、ＩＲ光がユーザにより遮蔽されていると判断できる。
次いで、ＩＲ光がユーザ位置で認識できなくなった場合（ステップＳ１２０／Ｙｅｓ）、画像生成部１５０は、ＩＲ光がユーザにより遮蔽されていると判断し、その旨を通知する画像（誘導画像）を生成し、表示制御部１７０は、当該生成された誘導画像をプロジェクタ２１０で投影するよう制御する（ステップＳ１２３）。ここで、図９に、本実施形態によるユーザの遮蔽を通知する誘導画像の一例を示す。例えば、図９の誘導画像４２２ｄは、ユーザがカメラの画角内に入って邪魔になっている様子を示すアイコン画像である。また、図９の誘導画像４２２ｅは、「あなたの影になっています」といったガイド表示である。このような誘導画像を表示することで、ユーザは、自分の立ち位置が原因で描画ができない（認識されない）ことを直感的に理解し、カメラ３００の位置を確認して自分の立ち位置を変更する等して改善することが可能となる。
また、表示制御部１７０は、誘導画像を、描画可能な領域に表示するよう制御する。ここで、図１０を参照して、本実施形態による描画可能な領域について説明する。図１０に示すように、カメラ３００による撮像範囲に相当する認識領域３０１は、投影領域２１１と同じかそれより少し広めの範囲を範囲となるよう予め設定され得る。本実施形態では、投影領域２１１かつ認識領域３０１であって、さらに、遮蔽領域２１３（プロジェクタ２１０による投影領域２１１をユーザが遮蔽している領域）と遮蔽領域３０３（カメラ３００による認識領域３０１をユーザが遮蔽している領域）を除いた領域を、描画可能な領域４２１とする。表示制御部１７０は、誘導画像４２２を、描画可能な領域４２１の端など、所定の位置に表示させるようにしてもよいし、最後にＩＲ光を認識できた位置に表示させるようにしてもよいし、カメラ３００またはプロジェクタ２１０の設置方向に応じた位置（例えばカメラ３００が描画可能な領域の右方向に位置している場合は右端など）に表示させるようにしてもよい。
遮蔽領域２１３および遮蔽領域３０３は、可視光カメラにより取得した可視光画像、ユーザの３次元位置、カメラ３００の３次元位置、プロジェクタ２１０の３次元位置、投影領域２１１の３次元位置、認識領域３０１の３次元位置、これらの位置関係、距離等から、適宜、算出することが可能である。
ここで、遮蔽領域２１３の場所にはリアルな影が生じるが、カメラ３００を遮蔽している遮蔽領域３０３の場所には影が出ないため、情報処理装置１００は、画像生成部１５０により、遮蔽領域３０３（少なくとも遮蔽領域３０３の輪郭）を示す仮想的な影画像を誘導画像として生成して表示するようにしてもよい。図１１は、仮想的な影画像を誘導画像として表示する場合について説明する図である。図１１に示すように、描画可能な領域４２１において、プロジェクタ２１０による投影をユーザが遮蔽している遮蔽領域２１３にはリアルな影が出る一方、カメラ３００による撮影をユーザが遮蔽している遮蔽領域３０３には影が出ないため、仮想的な影画像４２２ｆを生成し、遮蔽領域３０３の位置にプロジェクタ２１０により表示する。これによりユーザは、自身の影になっている場所では描画ができないことを直感的に理解することができ、立ち位置を変更する等で改善することが可能となる。なお、ここでは遮蔽領域３０３の輪郭を示す画像を誘導画像として生成、表示する例について説明したが、本実施形態はこれに限定されない。例えば情報処理装置１００の画像生成部１５０は、誘導画像として、遮蔽領域３０３の位置及び大きさに対応した画像（例えば遮蔽領域３０３を含む単なる矩形画像）を生成してもよい。例えば輪郭抽出よりも処理負荷を軽くすることが可能な処理が適している場合、情報処理装置１００の画像生成部１５０は、遮蔽領域の位置及び大きさに対応した矩形画像の生成、表示を行うようにしてもよい。
また、通常、プロジェクタ２１０により投影した場合はユーザの影が出るため、ユーザは自分がプロジェクタ２１０を遮蔽していることに比較的気付き易いが、投影される画像の背景色が黒であり、表示する情報が白の場合、投影領域にはデフォルトで何も投影されていないため、影が出ない。この場合、情報処理装置１００は、プロジェクタ２１０の遮蔽領域２１３にも、仮想的な影を表示するようにしてもよい。プロジェクタ２１０の遮蔽領域２１３は、ユーザ位置とプロジェクタ２１０の設置位置、および、投影領域の場所に基づいて算出してもよい。若しくは、プロジェクタ２１０とカメラ３００の設置位置が近く、両者の光軸が極力近付いている又は同軸の場合、カメラ３００の遮蔽領域３０３を仮想的な影として表現することで、ユーザにはプロジェクタ２１０の遮蔽とも認識させることができる。なおこの場合も、プロジェクタ２１０の遮蔽領域２１３を示す誘導画像としては、輪郭抽出した画像に限定されない。例えば情報処理装置１００の画像生成部１５０は、遮蔽領域２１３の位置及び大きさに対応した画像（例えば遮蔽領域２１３を含む単なる矩形画像）を生成してもよい。
そして、ユーザが立ち位置を変更する等により遮蔽が改善された場合（すなわち、発光認識部１２０により再びＩＲ光が認識できるようになった場合）（ステップＳ１２６／Ｙｅｓ）、情報処理装置１００は、再び軌跡画像を生成し、表示する制御を行う（ステップＳ１２９）。
一方、ＩＲ光を認識できない場合（ステップＳ１０６／Ｎｏ）、または、ＩＲ光を認識していた途中（描画の途中）で、ユーザ位置以外で認識できなくなった場合（ステップＳ１２０／Ｎｏ）、情報処理装置１００は、図６を参照して説明した実施形態と同様に、書ける場所（描画可能な領域）に操作体４００を誘導するＵＩ（図５に示すような誘導画像４２２ａ〜４２２ｃ）を、当該書ける場所に表示する（ステップＳ１１２）。ユーザ位置以外で認識できなくなった場合とは、認識領域３０１から外れた場合（画角外に移動した場合）や、ユーザ以外の遮蔽物、例えば什器や可動物により遮蔽されている場合が想定される。これによりユーザは、操作体４００の電池切れやシステムの不具合ではなく、描画は可能であることや、誘導画像が表示されている周辺で描画できることを、直感的に理解することが可能となる。なお、撮像画像に基づく物体認識等により遮蔽物が認識できた場合や、何らかの遮蔽物により遮蔽されていることが認識できた場合、情報処理装置１００は、遮蔽の旨を通知する誘導画像を表示するようにしてもよい。
以上説明したステップＳ１０６〜Ｓ１１２、Ｓ１２０〜Ｓ１２９に示す処理を、情報処理装置１００は、ペン先のスイッチ４４０が押し込まれ続けている間、繰り返す（ステップＳ１３２）。
＜＜４．変形例＞＞
続いて、本実施形態の変形例について説明する。
＜４−１．誘導画像による描画可能な領域の天地方向の明示＞
本実施形態による誘導画像は、さらにプロジェクタ２１０やカメラ３００の設置位置に応じて描画可能な領域の天地方向を示すものであってもよい。
図１２は、本実施形態の変形例による描画可能な領域の天地方向について説明する図である。図１２に示すように、例えばテーブル２０の天面が投影領域になっており、ユーザはどの方向からも描画することができる場合を想定する。
テーブル２０の周辺には、テーブル２０の天面に軌跡画像を投影するプロジェクタ２１０と、操作体４００ａ、４００ｂのＩＲ発光（描画）を撮像するカメラ３００が設置されている。
ここで、プロジェクタ２１０およびカメラ３００とユーザの位置関係によっては、ユーザによる遮蔽が発生し易い場所（すなわち、望ましくない、不利な立ち位置）が生じ得る。
例えば、図１２に示すように、ユーザＵ１の立ち位置では遮蔽は生じないが、ユーザＵ２の立ち位置では、ユーザＵ２の後方から投影しているプロジェクタ２１０の投影を遮蔽して遮蔽領域２１３が生じ、また、カメラ３００の撮像も遮蔽して遮蔽領域３０３が生じている。遮蔽領域２１３、遮蔽領域３０３では描画ができず（認識、投影ができず）、描画可能な領域４２１が狭くなるといった不利益が生じる。
そこで、本変形例では、望ましい立ち位置（描画方向）をユーザに明示するため、遮蔽が生じた場合（例えばユーザＵ２が利用する操作体４００ｂに対して操作が行われているが、発光が認識できない場合等）、情報処理装置１００は、天地方向が分かる誘導画像を表示するようにしてもよい。天地方向は、プロジェクタ２１０およびカメラ３００の位置に応じて決定し得る。すなわち、天地方向が分かる誘導画像は、プロジェクタ２１０およびカメラ３００の位置に対応した望ましい有利な立ち位置（方向）にユーザを誘導するものである。
図１３は、本変形例による描画可能な領域の天地方向を明示する誘導画像の一例を示す図である。例えば図１３に示すように、動物等の天地が分かるイラストを含む額縁的な誘導画像４２２ｇを表示してもよい。また、その他天地が分かるイラスト、アイコン、ガイド表示（文字）等を表示するようにしてもよい。これによりユーザは、好ましい立ち位置（描き込み方向）を直感的に理解することが可能となる。
＜４−２．プロジェクタ２１０とカメラ３００の配置＞
上述した実施形態では、プロジェクタ２１０とカメラ３００が離れて設置されている場合について説明したが、本実施形態はこれに限定されず、プロジェクタ２１０の光軸中心とカメラ３００の光軸中心を極力近付け、又は同軸に設置することで、プロジェクタ２１０の遮蔽をカメラ３００の遮蔽と捉えて誘導表示処理を行うようにしてもよい。
すなわち、プロジェクタ２１０の光軸中心とカメラ３００の光軸中心を極力近付け、又は同軸に設置した場合、カメラ３００の撮像をユーザが遮蔽した場合の遮蔽領域３０３の場所は、プロジェクタ２１０の投影をユーザが遮蔽した場合の遮蔽領域２１３の場所とほぼ同じとなることが予想される。このため、情報処理装置１００は、ユーザの影の場所（プロジェクタ２１０の遮蔽領域２１３）をカメラ３００の遮蔽領域３０３とみなし、その周辺でＩＲ光の認識ができなくなった場合、図９に示したように、ユーザが要因になっている旨を通知するようにしてもよい。
＜＜５．まとめ＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置１００、出力装置２００、カメラ３００、又は操作体４００に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１００、出力装置２００、カメラ３００、又は操作体４００の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部を備える、情報処理装置。
（２）
前記制御部は、
前記投影領域の端の所定位置に、前記誘導するための画像を投影させる投影制御処理を行う、
前記（１）に記載の情報処理装置。
（３）
前記制御部は、
遮蔽物による遮蔽領域を認識し、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記遮蔽領域を除く位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記（１）または（２）に記載の情報処理装置。
（４）
前記遮蔽領域は、前記投影領域内において、遮蔽物により投影ができない領域、または、前記遮蔽物により前記操作体の位置が認識できない領域を含む、前記（３）に記載の情報処理装置。
（５）
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記撮像画像を取得する撮像装置または前記投影を行う投影装置の設置位置に応じた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記操作体の位置が最後に認識できた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記制御部は、
前記遮蔽物を認識し、
認識した前記遮蔽物の位置に基づいて、前記操作体の位置が認識されない要因が当該遮蔽物による遮蔽であると判断した場合、前記誘導するための画像として、当該要因を通知する画像を前記投影部に投影させる投影制御処理を行う、
前記（３）または（４）に記載の情報処理装置。
（８）
前記遮蔽物は、前記操作体を操作しているユーザである、前記（７）に記載の情報処理装置。
（９）
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の位置及び大きさに対応した画像を前記投影部に投影させる投影制御処理を行う、
前記（７）または（８）に記載の情報処理装置。
（１０）
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の輪郭を示す画像を前記投影部に投影させる投影制御処理を行う、
前記（９）に記載の情報処理装置。
（１１）
前記制御部は、
前記投影領域に対する撮像装置および投影装置の位置関係に応じて、前記誘導するための画像として、天地方向を示す画像を前記投影部に投影させる投影制御処理を行う、
前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記制御部は、
前記撮像画像から、前記操作体に設けられた発光部による発光を検出することで、前記投影領域内の前記操作体の位置座標を認識する、
前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、
前記センサデータに基づき、前記操作体に対する操作として、ユーザによる前記操作体を用いた前記投影領域に対する描画操作が行われていることを検出する、
前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記情報処理装置は、
前記投影部に制御信号を出力するインタフェース部をさらに備える、
前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
プロセッサが、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、
前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、
を含む、情報処理方法。
（１６）
コンピュータを、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部として機能させるための、プログラム。
１００ 情報処理装置
１１０ Ｉ／Ｆ部
１２０ 発光認識部
１３０ 記憶部
１４０ 操作検出部
１５０ 画像生成部
１６０ 座標変換部
１７０ 表示制御部
１８０ ユーザ位置認識部
２００ 出力装置
２１０ プロジェクタ
２１１ 投影領域
２１３ 遮蔽領域
２２０ ＴＶ
２３０ タブレット
２４０ スマートフォン
２５０ ＰＣ
３００ カメラ
３０１ 認識領域
３０３ 遮蔽領域
３０４ 可視光画像
４００ 操作体
４１０ 通信モジュール
４２１ 描画可能な領域
４２２（４２２ａ〜４２２ｇ） 誘導画像
４３０ ＩＲ＿ＬＥＤ
４４０ スイッチ

Claims (16)

  1. 投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
    前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
    前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
    を行う制御部を備える、情報処理装置。
  2. 前記制御部は、
    前記投影領域の端の所定位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
    請求項１に記載の情報処理装置。
  3. 前記制御部は、
    遮蔽物による遮蔽領域を認識し、
    前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記遮蔽領域を除く位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
    請求項１に記載の情報処理装置。
  4. 前記遮蔽領域は、前記投影領域内において、遮蔽物により投影ができない領域、または、前記遮蔽物により前記操作体の位置が認識できない領域を含む、請求項３に記載の情報処理装置。
  5. 前記制御部は、
    前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記撮像画像を取得する撮像装置または前記投影を行う投影装置の設置位置に応じた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
    請求項１に記載の情報処理装置。
  6. 前記制御部は、
    前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記操作体の位置が最後に認識できた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
    請求項１に記載の情報処理装置。
  7. 前記制御部は、
    前記遮蔽物の位置を認識し、
    認識した前記遮蔽物の位置に基づいて、前記操作体の位置が認識されない要因が当該遮蔽物による遮蔽であると判断した場合、前記誘導するための画像として、当該要因を通知する画像を前記投影部に投影させる投影制御処理を行う、
    請求項３に記載の情報処理装置。
  8. 前記遮蔽物は、前記操作体を操作しているユーザである、請求項７に記載の情報処理装置。
  9. 前記制御部は、
    前記誘導するための画像として、前記投影領域内の遮蔽領域の位置及び大きさに対応した画像を前記投影部に投影させる投影制御処理を行う、
    請求項７に記載の情報処理装置。
  10. 前記制御部は、
    前記誘導するための画像として、前記投影領域内の遮蔽領域の輪郭を示す画像を前記投影部に投影させる投影制御処理を行う、
    請求項９に記載の情報処理装置。
  11. 前記制御部は、
    前記投影領域に対する撮像装置および投影装置の位置関係に応じて、前記誘導するための画像として、天地方向を示す画像を前記投影部に投影させる投影制御処理を行う、
    請求項１に記載の情報処理装置。
  12. 前記制御部は、
    前記撮像画像から、前記操作体に設けられた発光部による発光を検出することで、前記投影領域内の前記操作体の位置座標を認識する、
    請求項１に記載の情報処理装置。
  13. 前記制御部は、
    前記センサデータに基づき、前記操作体に対する操作として、ユーザによる前記操作体を用いた前記投影領域に対する描画操作が行われていることを検出する、
    請求項１に記載の情報処理装置。
  14. 前記情報処理装置は、
    前記投影部に制御信号を出力するインタフェース部をさらに備える、
    請求項１に記載の情報処理装置。
  15. プロセッサが、
    投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、
    前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、
    前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、
    を含む、情報処理方法。
  16. コンピュータを、
    投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
    前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
    前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
    を行う制御部として機能させるための、プログラム。
JP2020554794A 2018-11-01 2019-09-06 情報処理装置、情報処理方法、およびプログラム Active JP7294350B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018206588 2018-11-01
JP2018206588 2018-11-01
PCT/JP2019/035108 WO2020090227A1 (ja) 2018-11-01 2019-09-06 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020090227A1 true JPWO2020090227A1 (ja) 2021-10-07
JP7294350B2 JP7294350B2 (ja) 2023-06-20

Family

ID=70464008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554794A Active JP7294350B2 (ja) 2018-11-01 2019-09-06 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11435856B2 (ja)
EP (1) EP3876083A4 (ja)
JP (1) JP7294350B2 (ja)
CN (1) CN112912829A (ja)
WO (1) WO2020090227A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022034744A1 (ja) * 2020-08-11 2022-02-17 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2023047512A1 (ja) * 2021-09-24 2023-03-30 株式会社ワコム 情報処理装置、プログラム及びシステム
CN114245093B (zh) * 2022-02-25 2022-05-24 北京深光科技有限公司 基于红外和热感的投影操作方法、电子设备及存储介质
CN117119160B (zh) * 2023-10-24 2024-02-06 合肥联宝信息技术有限公司 一种投影控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053603A (ja) * 2010-08-31 2012-03-15 Sanyo Electric Co Ltd 情報表示システム
JP2014199633A (ja) * 2013-03-15 2014-10-23 株式会社リコー 座標検出装置、座標検出システム、座標検出方法、および座標検出プログラム
JP2016024518A (ja) * 2014-07-17 2016-02-08 株式会社リコー 座標検出システム、座標検出方法、情報処理装置及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346230A (ja) * 2004-06-01 2005-12-15 Canon Inc 光学式座標入力装置
US8682030B2 (en) * 2010-09-24 2014-03-25 Microsoft Corporation Interactive display
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
JP5796733B2 (ja) 2011-03-23 2015-10-21 ソニー株式会社 光信号出力装置、信号処理装置、信号処理方法、信号処理システム、撮像装置、プロジェクタ、およびプログラム
JP5672126B2 (ja) * 2011-04-14 2015-02-18 セイコーエプソン株式会社 インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター
JP6064319B2 (ja) * 2011-12-27 2017-01-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6232730B2 (ja) * 2013-04-16 2017-11-22 セイコーエプソン株式会社 プロジェクターおよび制御方法
WO2017017812A1 (ja) * 2015-07-29 2017-02-02 日立マクセル株式会社 映像表示システム
CN106406684B (zh) * 2016-04-22 2019-07-02 法法汽车(中国)有限公司 投影处理方法、装置及投影仪
CN106095133B (zh) * 2016-05-31 2019-11-12 广景视睿科技（深圳）有限公司 一种交互投影的方法及系统
JP2018198858A (ja) 2017-05-29 2018-12-20 株式会社三共 遊技機
JP2020042322A (ja) * 2018-09-06 2020-03-19 セイコーエプソン株式会社 画像表示装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053603A (ja) * 2010-08-31 2012-03-15 Sanyo Electric Co Ltd 情報表示システム
JP2014199633A (ja) * 2013-03-15 2014-10-23 株式会社リコー 座標検出装置、座標検出システム、座標検出方法、および座標検出プログラム
JP2016024518A (ja) * 2014-07-17 2016-02-08 株式会社リコー 座標検出システム、座標検出方法、情報処理装置及びプログラム

Also Published As

Publication number Publication date
JP7294350B2 (ja) 2023-06-20
US20210397296A1 (en) 2021-12-23
WO2020090227A1 (ja) 2020-05-07
EP3876083A4 (en) 2021-12-29
EP3876083A1 (en) 2021-09-08
CN112912829A (zh) 2021-06-04
US11435856B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
US20230205151A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
JP7294350B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10671846B1 (en) Object recognition techniques
US9740338B2 (en) System and methods for providing a three-dimensional touch screen
US20140247216A1 (en) Trigger and control method and system of human-computer interaction operation command and laser emission device
US9632592B1 (en) Gesture recognition from depth and distortion analysis
US20130135199A1 (en) System and method for user interaction with projected content
US11373650B2 (en) Information processing device and information processing method
US9703371B1 (en) Obtaining input from a virtual user interface
US10672187B2 (en) Information processing apparatus and information processing method for displaying virtual objects in a virtual space corresponding to real objects
US9874977B1 (en) Gesture based virtual devices
US10048808B2 (en) Input operation detection device, projection apparatus, interactive whiteboard, digital signage, and projection system
US20190049558A1 (en) Hand Gesture Recognition System and Method
JP2019220145A (ja) 操作端末、音声入力方法、及びプログラム
CN111033606A (zh) 信息处理装置、信息处理方法和程序
US20140055354A1 (en) Multi-mode interactive projection system, pointing device thereof, and control method thereof
TW201435656A (zh) 資訊科技裝置輸入系統及相關方法
US11698578B2 (en) Information processing apparatus, information processing method, and recording medium
KR102023187B1 (ko) 디스플레이 장치에 설치되는 착탈식 터치 패널 장치
JP6693495B2 (ja) 情報処理装置、情報処理方法及び記録媒体
CN111492339A (zh) 信息处理设备、信息处理方法以及记录介质
WO2015156068A1 (ja) 画像処理装置及び画像処理方法
WO2019082520A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN115212554A (zh) 一种虚拟现实头显设备及其定位装置
JP2019207451A (ja) 映像表示装置、映像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R151 Written notification of patent or utility model registration

Ref document number: 7294350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151