JPWO2015105044A1 - インターフェース装置、可搬装置、制御装置、モジュール、制御方法およびコンピュータプログラム - Google Patents
インターフェース装置、可搬装置、制御装置、モジュール、制御方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JPWO2015105044A1 JPWO2015105044A1 JP2015556783A JP2015556783A JPWO2015105044A1 JP WO2015105044 A1 JPWO2015105044 A1 JP WO2015105044A1 JP 2015556783 A JP2015556783 A JP 2015556783A JP 2015556783 A JP2015556783 A JP 2015556783A JP WO2015105044 A1 JPWO2015105044 A1 JP WO2015105044A1
- Authority
- JP
- Japan
- Prior art keywords
- projection
- projected
- image
- video
- operation object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/26—Projecting separately subsidiary matter simultaneously with main image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1662—Details related to the integrated keyboard
- G06F1/1673—Arrangements for projecting a virtual keyboard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
- Input From Keyboards Or The Like (AREA)
Abstract
認識精度の高い入力機能を有するインターフェースを提供すべく、本発明のインターフェース装置100は、撮像部110と制御部120と投射部130とを備える。投射部130は投射映像300を投射する。撮像部110は投射映像300が投射される領域を撮像する。制御部120は、撮像部110が撮像した映像である撮像映像に投射映像300が映っていると共に操作物体400が映っている場合には、撮影映像における投射映像300が映っている撮像位置と操作物体400が映っている撮像位置との関係に基づいて、操作物体400による操作情報を認識する。
Description
本発明は、インターフェースにおける技術に関する。
近年、バーチャルキーボード、バーチャルマウスなどのインターフェース装置の研究開発が行われている。そのインターフェース装置は、例えば、投射部と撮像部を有し、投射部による例えばキーボードや情報の表示(投射)と、撮像部により撮影された画像の画像処理とにより、インターフェース機能を実現している。このようなインターフェース装置は、投射部および撮像部における近年の小型化により、一般的なキーボードやマウス等の入力装置よりも小型化が容易であり、持ち運び易くなってきている。
非特許文献1は、バーチャルキーボードの一例を開示する。非特許文献1が開示するバーチャルキーボードを実現する装置は、赤色半導体レーザと、赤外半導体レーザと、カメラとを備える。この装置(バーチャルキーボード)においては、赤色半導体レーザがキーボードの映像を投射し、それと共に、赤色半導体レーザが、そのキーボードが投射されている領域にスクリーン状の赤外線ビームを照射する。そして、その投射されているキーボードのキーを操作者が指で押す動作を行うと、スクリーン状の赤外線ビームが指に当たり反射する。カメラがその反射による赤外光を撮像することにより、装置(バーチャルキーボード)は、その撮像された画像に基づいて、かかる指の位置を認識する。
非特許文献2は、インターフェース装置の一例を開示する。非特許文献2が開示するインターフェース装置は、操作者の肩の部位に配置される投射装置と3D(three-dimensional)深度認識装置との組合せにより構成される。投射装置がキーのパターンなどを投射し、キーが押されたことを3D深度認識装置、通称Kinect (Kinectはマイクロソフトの登録商標)が3次元位置検出機能を用いて認識する。
バーチャルキーボード、[平成26年1月10日検索]、インターネット(URL: http://ex4.sakura.ne.jp/kb/main_vkb.htm)
Hrvoje Benko、Scott Saponas、「Omnitouch」、Microsoft、[平成26年1月10日検索]、インターネット(URL: http://research.microsoft.com/en-us/news/features/touch-101711.aspx)
小館香椎子、神谷武志、「回折光学素子の数値解析とその応用」、丸善出版株式会社、2011年12月、p.175-179
Edward Buckley,"Holographic Laser Projection Technology", Proc, SID Symposium 70.2, pp.1074-1079, 2008
非特許文献1が開示するバーチャルキーボードでは、キーボードの投射位置(操作面)に基づいて、スクリーン状の赤外線ビームを照射する必要がある。このため、キーボードの投射位置(操作面)と装置の位置関係が一義的に決まってしまうという課題がある。近年、普及がめざましいタブレットなどの携帯端末は、画面を横向きにしても縦向きにしてもユーザが見やすい方向に映像を回転して表示するという便利な機能を有している。しかし、非特許文献1が開示するバーチャルキーボードをタブレットなどの携帯端末に搭載した場合には、携帯端末としての便利な機能があるのにも拘わらず、バーチャルキーボードを利用する場合には、その機能を活かすことができないという問題が発生する。つまり、バーチャルキーボードを有効利用するためには、携帯端末とキーボードの投射位置との間隔を予め定められた適切な間隔とする必要があることから、携帯端末の位置が定まってしまう。しかも、キーボードの投射面に対して携帯端末を決められた角度で設置する必要があることから、携帯端末の姿勢の自由度が小さくなってしまう。
また、非特許文献1が開示する技術には、装置が誤動作することが多いという基本的な課題もある。すなわち、通常のキーボードを使う場合は基本位置のキーに指を置いて使うが、このバーチャルキーボードの場合は指を浮かしたままにしておかなくてはならない。このため誤って必要以上に指を操作面に近づけると、装置が打鍵と認識してしまう。
非特許文献2が開示するインターフェース装置にも認識精度に関わる課題がある。3次元的に指と面の位置を検出して打鍵を認識するという動作にはきわめて精度の高い認識技術が必要である。このため、非特許文献2が開示するインターフェース装置は、手の向きや環境光の影響などにより誤認識を防ぐことが難しいと思われる。
本発明は上述した課題を解決するために考え出された。すなわち、本発明の主な目的は、認識精度の高い入力機能を有するインターフェース装置を提供することにある。
上述した目的を達するために、本発明のインターフェース装置は、その一つの様相として、
第1の投射映像を投射する投射手段と、
前記第1の投射映像が投射されている領域を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像に前記第1の投射映像が映っていると共に操作物体が映っている場合には、前記撮影映像における前記第1の投射映像が映っている撮像位置と前記操作物体が映っている撮像位置との関係に基づいて、前記操作物体による操作情報を認識する制御手段と、
を備える。
第1の投射映像を投射する投射手段と、
前記第1の投射映像が投射されている領域を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像に前記第1の投射映像が映っていると共に操作物体が映っている場合には、前記撮影映像における前記第1の投射映像が映っている撮像位置と前記操作物体が映っている撮像位置との関係に基づいて、前記操作物体による操作情報を認識する制御手段と、
を備える。
また、本発明のインターフェース装置は、その別の様相の一つとして、
投射映像を投射する投射手段と、
前記投射映像が投射されている領域を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている撮像位置の情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と、
を備える。
投射映像を投射する投射手段と、
前記投射映像が投射されている領域を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている撮像位置の情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と、
を備える。
本発明の可搬装置は、その一つの様相として、
本発明のインターフェース装置を備えている。
本発明のインターフェース装置を備えている。
本発明の制御装置は、その一つの様相として、
制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、当該操作情報に応じて前記投射手段を制御する。
制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、当該操作情報に応じて前記投射手段を制御する。
本発明のモジュールは、その一つの様相として、
上述した本発明における制御装置と、
当該制御装置により制御される投射手段と
を備える。
上述した本発明における制御装置と、
当該制御装置により制御される投射手段と
を備える。
本発明の制御方法は、その一つの様相として、
制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、
当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、
前記操作情報に応じて前記投射手段を制御する。
制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、
当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、
前記操作情報に応じて前記投射手段を制御する。
本発明のプログラム記憶媒体は、その一つの様相として、
コンピュータに、
制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識する処理と、
前記操作情報に応じて前記投射手段を制御する処理と、
を実行させるコンピュータプログラムを保持している。
コンピュータに、
制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識する処理と、
前記操作情報に応じて前記投射手段を制御する処理と、
を実行させるコンピュータプログラムを保持している。
なお、本発明の前記目的は、本発明のインターフェース装置に対応する本発明の制御方法によっても達成される。さらに、本発明の前記目的は、本発明のインターフェース装置および本発明の制御方法に対応するコンピュータプログラムおよび当該コンピュータプログラムを格納するプログラム記憶媒体によっても達成される。
本発明によれば、認識精度の高い入力機能を有するインターフェース装置を提供することができる。
以下、本発明に係る実施形態について図面を参照して説明する。なお、全ての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、各ブロック図に表される区分(区分け)は、説明の便宜上により表されている構成である。従って、各実施形態を例に説明された本発明は、その実装に際して、各ブロック図に表される構成には限定されない。
<< 第1実施形態 >>
−− 概要の説明 −−
図1は、本発明に係る第1実施形態のインターフェース装置の構成を表すブロック図である。図1に表されるように、インターフェース装置100は、撮像部(撮像手段)110と、制御部(制御手段)120と、投射部(投射手段)130とを備える。
−− 概要の説明 −−
図1は、本発明に係る第1実施形態のインターフェース装置の構成を表すブロック図である。図1に表されるように、インターフェース装置100は、撮像部(撮像手段)110と、制御部(制御手段)120と、投射部(投射手段)130とを備える。
投射部130は、制御部120が決定した投射映像300を、制御部120が決定した位置または方向に投射する機能を持つ。以下、投射部130が投射する映像を“投射映像”と表現する。また、投射映像が投射される面を操作面200と表現する。
図1においては、投射映像300の一例として上下左右の向きを表す矢印の映像を表している。以下、投射部130が投射する映像全体を指して“投射映像”と表現する場合と、投射部130が投射する映像の一部(例えば図1に示す投射映像300の例において左向きの矢印の部分など)を指して“投射映像”と表現する場合とがある。投射部130が投射する光は、可視光である。なお、投射部130が投射する光は、可視光に加えて紫外光や赤外光が含まれていてもよい。
操作物体400は、投射部130による投射映像を指し示す物体であり、例えば、インターフェース装置100を利用するユーザの手または指である。あるいは、操作物体400は、ペンなどのような物体であってもよいし、レーザポインターから投射された光であってもよい。操作物体400は、撮像部110によって撮像され得るものであれば、指や手などには限定されずに、適宜な物体を採用してもよい。なお、ここでは、投射部130による投射映像を指し示す手段として、上述したようなレーザポインター等による光を採用していても、便宜上、光も操作物体400に含まれることとする。
撮像部110は、カメラにより構成される。撮像部110は、投射映像300と操作物体400との両方を含む映像を撮像可能である。以下、撮像部110が撮像した映像を“撮影映像”と表現する場合がある。撮像部110は、可視光を撮像する。なお、撮像部110は、可視光に加えて紫外光または赤外光までをも撮像できるカメラにより構成されていてもよい。また、インターフェース装置100に対して要求される機能によっては、撮像部110は3D深度測定装置等の他機能装置を含んでもよい。
撮像部110は、操作面200に投射された投射映像300と、それを指し示す操作物体400との両方を含む映像を撮像できるように、投射部130との位置関係が考慮されて配置される。
好ましくは、撮像部110と投射部130は互いに近接して設置されることが望ましい。それというのは、インターフェース装置100の小型化という観点で有利であるからである。また、撮像部110の画角と投射部130の画角とは揃えることが好ましいことから、撮像部110と投射部130とが互いに近接して設置されることは、その観点からも有利となる。なお、図1においては、撮像部110の画角を点線で示し、投射部130の画角を一点鎖線で示している。
制御部120は、撮像部110による撮影画像を画像処理することによって、投射映像300に含まれている例えば文字や図形等の映像が映っている位置(撮像位置)と操作物体400が映っている位置(撮像位置)との位置関係を算出する。制御部120は、その算出した位置関係に基づいて操作物体400が投射映像300の何れの映像を指し示しているかを検知することによって、操作物体400による操作情報を認識する。例えば、インターフェース装置100には、操作に応じて順次投射していく投射映像の情報が操作情報に関連付けられた状態で与えられる。この場合には、制御部120は、認識した操作情報と、当該操作情報に関連付けられている投射映像の情報とに基づいて、投射部130によって次に投射する投射映像300およびその投射位置を決定する。そして、制御部120は、決定した投射映像300が、決定した投射位置に投射されるように投射部130を制御する。
インターフェース装置100のユーザは、例えば、操作面200に投射された投射映像300に対する操作物体400の相対的な位置を変化させることにより、操作情報をインターフェース装置100に入力する。操作物体400による操作の典型的な例は、投射映像300が投射されている操作面200の面上で、ユーザが操作物体400を動かすことである。あるいは、操作物体400が投射映像300と共に撮像部110により撮像されることができれば、ユーザが操作物体400を操作面200と間隔を介した位置で動かしてもよい。
次に、制御部120の詳細を説明する。図2は、制御部120の詳細を説明するブロック図である。図2に表されるように、制御部120は、第1の検出部(検出手段)121と、第2の検出部(検出手段)122と、処理部(処理手段)123と、映像決定部(映像決定手段)124と、位置決定部(位置決定手段)125とを備える。
第1の検出部121は、撮像映像において操作物体400が映っている位置(撮像位置)を画像処理により検出する機能を備えている。第1の検出部121は、操作物体400の動き(例えば、速度または加速度など)を例えば物体追跡処理を利用して検出する機能を備えていてもよい。さらに、第1の検出部121は、操作物体400の形状を例えば輪郭抽出処理により検出する機能を備えていてもよい。例えば、操作物体400がインターフェース装置100を利用するユーザの手である場合には、第1の検出部121は、手の形を検出する機能を有していてもよい。
第2の検出部122は、撮像映像において、投射映像300に含まれている例えば文字や図形等の映像(つまり、操作情報に関連する映像)が映っている位置(撮像位置)を画像処理により検出する機能を備えている。
処理部123は、第1の検出部121による操作物体400の撮像位置情報と、第2の検出部122による映像の撮像位置情報とに基づき、撮像映像における、投射映像300に含まれている映像と操作物体400との位置関係を検知する機能を備えている。そして、処理部123は、その検知した位置関係に基づいて、操作物体400による操作情報を認識する(換言すれば、ユーザが操作物体400を利用して、どのような指示を出したかを検知する)機能を備えている。さらに、処理部123は、例えば、物体の輪郭のデータ、および、撮像画像を画像処理することにより得られた輪郭の情報に基づいて、撮像映像に映った物体を認識する物体認識機能を備えていてもよい。さらにまた、処理部123は、例えば、操作物体400の動きと当該動きに対応する操作情報とが関連付けられているデータ、および、第1の検出部121による操作物体400の動きの情報に基づいて、操作物体400による操作情報を認識してもよい。
映像決定部124は、操作情報に応じた投射映像300の集合データ、および、処理部123による認識された操作情報に基づいて、投射部130が次に投射すべき投射映像300を決定する機能を備えている。
位置決定部125は、操作情報に応じて投射される投射映像300の投射位置(または投射方向)を表すデータ、および、処理部123により認識された操作情報に基づき、映像決定部124により決定された投射映像300の投射位置(投射方向)を決定する機能を備えている。また、位置決定部125は、映像決定部124により決定された投射映像300が、その決定した位置または方向に投射されるように、投射部130を制御する機能を備えている。
図2に表される構成を持つ制御部120は、上述したように構成されている。なお、インターフェース装置100が他の装置に実装される(組み込まれる)場合には、制御部120は、その他の装置との間で情報のやり取りをする機能を有していてもよい。
また、制御部120は必ずしも撮像部110または投射部130と近接して設置される必要はない。例えば、撮像部110と投射部130は、電源と無線部を備えるモバイル装置に組み込まれ、制御部120は、そのモバイル装置とは別の装置に実装されてもよい。この場合には、制御部120は、無線通信技術を利用して撮像部110および投射部130と通信することによって、前述した機能を実現する。
次に、制御部120の動作の一例を、図3を用いて説明する。図3は、撮像部110が撮像した撮像映像の一例を表す図である。図3には、撮像映像として、投射映像303および操作物体400が映っている。
図3における投射映像303は、複数のキー状の映像を含んでおり、文字を入力するインターフェースをユーザに提供する。
処理部123は、撮像映像において、操作物体400の撮像位置と、投射映像303に含まれている映像の撮像位置との位置関係に基づいて、操作物体400による操作情報を認識する。図3の例では、操作物体400はキー“SPC(space)”を選択している(指し示している)と、処理部123は認識する。
図3に表されている撮像映像では、キー“SPC(space)”、キー“SEL(select)”、および、キー“RET(return)”という、合計3つのキーが、操作物体400と重なっている。この場合における処理部123の認識動作の一具体例を説明する。なお、次に述べる具体例は、理解を容易にすることを目的としており、この具体例は処理部123の動作を限定するものではない。
例えば、第1の検出部121が、撮像映像を画像処理することによって、操作物体(指)400の先端(指先)の撮像位置を検出する。処理部123は、その操作物体400の指先の撮像位置と、投射映像303に含まれている各キーの映像の撮像位置との位置関係に基づき、操作物体400の指先が投射映像303における何れのキーと重なっているかを検出する。そして、処理部123は、指先と重なっているキーが、操作物体400により選択されている(指し示されている)キーであると認識する。これにより、図3に表されるような撮像映像に基づいて、操作物体400がキー“SPC(space)”を選択していることを、処理部123は認識できる。
処理部123の動作のその他の具体例を説明する。処理部123は、撮像映像において操作物体400とキーがオーバーラップしている部分の面積に基づき、操作物体400がどのキーを選択しているのかを認識する。つまり、この場合には、制御部120には、各キーの面積あるいは各キーの輪郭を表すデータが与えられる。処理部123は、そのデータと、例えば第1の検出部121により検出された操作物体400の輪郭の情報と、各キーの撮像位置と操作物体400の撮像位置との位置関係とに基づいて、操作物体400とキーとのオーバーラップ部分の面積を算出する。そして、処理部123は、その算出したオーバーラップ部分の面積、および、予め定めたルールに基づいて、操作物体400が選択しているキーを検知(認識)する。具体的には、図3の例では、キー“SPC(space)”は、その7割〜8割ほどの面積が操作物体400と重なっているのに対して、キー“SEL(select)”やキー“RET(return)”では、そのほぼ全ての面積が操作物体400と重なっている。例えば、“キーの面積のうち6割以上かつ9割未満の面積が操作物体400と重なっているキーは、操作物体400により選択されているとみなす”といったルールが処理部123に与えられている。処理部123は、操作物体400とキーとのオーバーラップ部分の面積と、そのルールとに基づいて、図3の例では、操作物体400はキー“SPC(space)”を選択していることを検知できる。
上述したように、制御部120は、撮像映像における、投射映像300に含まれている映像の撮像位置と操作物体400の撮像位置との位置関係に基づいて、操作物体400による操作情報を認識する。
第1実施形態のインターフェース装置100は、1つの撮像部110および1つの投射部130を実装していれば、操作物体400による操作情報を認識することが可能である。すなわち、第1実施形態のインターフェース装置100は、少ない部品点数でもって実現可能であるので、小型化、軽量化および省電力化を促進することができる。
また、ユーザはインターフェース装置100を操作する際、必ずしも操作手段(指)400を操作面200に直接接触させる必要はない。つまり、操作物体400が投射映像300における操作内容に応じた部分を指示しているように見える映像を撮像部110により撮像できれば、操作物体400が操作面200に接触していなくとも、制御部120は操作物体400による操作情報を認識できる。
例えばタッチパネルにおいては、その操作面にユーザの指が直接接触する。このために、タッチパネルが不特定多数のユーザに用いられる場合には、不特定多数のユーザの指がタッチパネルの操作面に触れることになる。この場合には、神経質なユーザは安心してタッチパネルを利用することができない。また、汚れたタッチパネルを介して感染症が蔓延するリスクなどが考えられる。
これに対し、インターフェース装置100においては、ユーザが操作面200に指を直接触れなくともよいので、当該インターフェース装置100は、衛生面において優れている。これにより、神経質なユーザであっても安心してインターフェース装置100を利用することができる。また、インターフェース装置100は、タッチパネルのインターフェース装置とは異なり、手袋等を装着しているユーザも支障無く使用することができる。
− キャリブレーション処理の説明 −
以下、第1実施形態のインターフェース装置100におけるキャリブレーション処理を図1と図4〜図10を用いて説明する。
以下、第1実施形態のインターフェース装置100におけるキャリブレーション処理を図1と図4〜図10を用いて説明する。
インターフェース装置100において、仮に、撮像部110を実現する光学系の光軸と投射部130を実現する光学系の光軸とが同軸である場合には、投射部130による投射映像300の中心位置と撮像部110による撮像映像の中心位置とは一致する。この場合には、インターフェース装置100と操作面200との間隔や操作面200の傾きが変化しても、投射部130による投射映像300の投射方向が変動しなければ、撮像部110による撮影映像において、投射映像300に含まれている映像の撮像位置は変化しない。
しかしながら、実際には、撮像部110の光軸と投射部130の光軸とは同軸ではない。この場合には、投射部130による投射映像300の投射方向が同じであっても、インターフェース装置100と操作面200との間隔や操作面200の傾きの変化に応じて、撮像映像において、投射映像300に含まれている映像の撮像位置が変化してしまう。このため、制御部120は、撮像部110による撮像映像に基づいて、投射映像300における、操作物体400により指し示されている部分を正確に把握するために、撮像部110と操作面200との三次元空間における位置関係を把握している必要がある。
制御部120が、撮像部110と操作面200との三次元空間における位置関係を把握する処理を、以下、“キャリブレーション処理”と呼ぶ。
ここで、一般に行われるキャリブレーション処理と、第1実施形態におけるキャリブレーション処理との違いを説明する。
まず、一般に行われるキャリブレーション処理をインターフェース装置100に適用した場合について説明する。一般に行われるキャリブレーション処理では、操作面200に描かれた模様などが利用される。ここでは、操作面200をスクリーンと考えると分かり易い。すなわち、一般に行われるキャリブレーション処理では、スクリーンそのものに描かれた模様などに基づいて4点以上の点の位置が読み取られる。そして、その読み取られた点の位置と、撮像映像における点の位置とを整合することにより、キャリブレーション処理が行われる。このような方法では、撮像部110に対する操作面200の位置や傾きが変わる度に、キャリブレーション処理を行う必要がある。
これに対し、第1実施形態におけるキャリブレーション処理は次のように行われる。第1実施形態におけるキャリブレーション処理は、操作面200そのものに描かれた模様などを利用するのではなく、操作面200に投射した投射映像300を利用してキャリブレーション処理を行う。
この処理を、図4を用いて説明する。図4は、第1実施形態におけるキャリブレーション処理を説明する図である。図4においては、撮像部110の画角を点線で表し、投射部130の画角を一点鎖線で表している。図4に表されるように、撮像部110の光軸と投射部130の光軸とが同軸でない(同一直線上に配置されていない)ために、撮像部110による撮影範囲の中心位置と、投射部130による投射映像の中心位置とが異なる。このため、投射部130による投射映像300の投射方向が変動しなくとも、操作面200の位置が変化すると、撮像部110による撮像映像において、投射映像300に含まれる映像の撮像位置は異なってしまう。
つまり、操作面200が図4に表される位置200Aにある場合に、投射映像(点の映像)304が図4に表される位置304Aに投射されるとする。この場合には、撮像部110による撮影映像において、投射映像304は、上下方向の中心部よりも上側に位置している。
これに対し、操作面200が位置200Aよりも撮像部110に近い位置200Bにある場合には、投射映像304は位置304Bに投射される。この場合には、撮像部110による撮影映像において、投射映像304は、上下方向のほぼ中央部に位置する。
このように、投射部130による投射映像304の投射方向が同じであっても、操作面200の位置や傾きに応じて、撮像映像における、投射映像300に含まれる映像の撮像位置は異なることになる。第1実施形態における制御部120は、この撮像位置の異なり(ズレ)を利用してキャリブレーション処理を行う。これにより、インターフェース装置100は撮像部110と操作面200との三次元空間における位置関係を把握する。
すなわち、制御部120は、撮像映像における映像の撮像位置に基づいて、撮像部110と操作面200との三次元空間における位置関係を把握することができる。その具体的な方法の一例を説明する。例えば、インターフェース装置100には、次のような計算式が予め与えられる。この計算式とは、撮像部110による撮像映像において投射映像300に含まれている文字や図形等の映像の撮像位置に基づき、撮像部110と操作面200との三次元空間における位置関係を算出する計算式である。なお、その計算式の代わりに、例えばルックアップテーブルがインターフェース装置100に与えられていてもよい。このような計算式またはルックアップテーブルは、以下に表すような作業により得られる。
例えば、インターフェース装置100と操作面200との三次元空間における位置関係を複数の点において取得する。そして、それら点のうちのいくつかの点(以下、測定点と記載する)における位置関係を変更しながら、撮像部110による撮像映像における各測定点の撮像位置を例えばインターフェース装置100が測定(検出)する。例えば、インターフェース装置100には、位置関係を算出する計算式あるいはルックアップテーブルを生成するためにフォーマットが予め与えられている。インターフェース装置100は、そのフォーマットと、測定(検出)により得られたデータとに基づいて、前述した計算式あるいはルックアップテーブルを生成する。
第1実施形態におけるインターフェース装置100は、前述したように、操作面200に投射した映像の撮像位置に基づいてキャリブレーション処理を行う。このため、操作面200に、キャリブレーションを行う際に目印となるような模様などが描かれていなくても、インターフェース装置100は、容易にキャリブレーション処理を実行できる。
また、インターフェース装置100は、最初にキャリブレーション処理を行うことによって撮像部110と操作面200との三次元空間における位置関係を得ておけば、投射映像の撮像位置を分析するだけで、操作面200の実際の位置を特定可能である。このため、インターフェース装置100は、その後のキャリブレーション処理を容易に実行できる。インターフェース装置100は、操作面200との位置関係が動的に変化する場合であっても、キャリブレーション処理を周期的に行うことにより、撮像部110と操作面200との三次元空間における位置関係を把握し続けることができる。
図5は、制御部120がキャリブレーション処理に用いる、投射部130による投射映像の一例を表す図である。図5に表される投射映像305は、図3に表される投射映像303と同一の投射映像である。
投射映像305には線の交点が多数あるので、制御部120は、これらの交点をキャリブレーション処理に利用する。例えば、制御部120は、図5に表される点3051、点3052、点3053および点3054をキャリブレーション処理に利用する。このような点を利用する理由は、映像の中心部にある点よりも最外郭にある点を利用した方が、操作面200の位置や傾きの変動に対する点の撮像位置の変化が大きいことにより、キャリブレーション処理の精度が良くなるからである。制御部120は、撮像映像における、点3051、点3052、点3053および点3054の撮像位置に基づいて、前述の如く、撮像部110と操作面200との三次元空間における位置関係を検知する。
図6は、制御部120がキャリブレーション処理に用いる、投射部130による投射映像のその他の例を表す図である。図6に表される投射映像306は、操作物体400が利用する領域3061(以下、“操作領域3061”と記載する)と、キャリブレーション処理に利用する部分3062(以下、“マーカー3062”と記載する)とを含む。操作領域3061は、操作物体400によって指し示されることにより、インターフェース装置100がその操作物体400による操作情報を認識する映像部分である。図6の例では、操作領域3061の映像は、図5に表される投射映像305と同様の映像である。
図6に表されるように、投射映像306は、操作領域3061とは別に、マーカー3062を含んでいる。これにより、制御部120は、マーカー3062を利用してキャリブレーション処理を実行することにより、操作領域3061がどのような形状の映像であっても、精度良くキャリブレーション処理を実行できる。
マーカー3062は、投射映像306における周縁部分において互いに間隔を介して複数(図6の例では4個)映し出される映像であって、かつ、操作面200における投射位置が特定できる部分に投射されることが好ましい。また、マーカー3062の形状は、例えば円や楕円の形状であることが好ましい。その理由は、制御部120がマーカーの中心点を算出することが容易であるためである。
ここで、図7、図8および図9を用いて、操作領域3061と、マーカー3062とを別々に分けることによる利点を説明する。
図7には、インターフェース装置100の撮像部110や投射部130の光軸に対して傾いている姿勢の操作面200が表されている。このように傾いている操作面200に対して、例えば図6に表されている投射映像306を投射すると、本来、長方形である操作領域3061は、上底の長さが下底の長さよりも長い台形に変形する。また、4つのマーカー3062は、本来、仮想的な長方形状の角に位置している。しかしながら、4つのマーカー3062は仮想的な台形形状の角に位置している。つまり、上2つのマーカー3062間の間隔が、下2つのマーカー3062間の間隔よりも広くなっている。このように、4つのマーカー3062は、操作面200の傾きにより、相対的な位置関係が変化する。このような変形の理由は、インターフェース装置100から操作面200までの距離が離れるほど投射映像306が拡大するためである。
制御部120は、複数のマーカー3062間における基準となる相対的な位置関係に基づき、撮像映像におけるマーカー3062間の相対的な位置関係がずれている(変化している)ことを検出することにより、操作面200が傾いていることを認識できる。
また、投射部130の光軸に対する操作面200が傾いていることに起因して、前記の如く、操作領域3061の形状が変形する(歪む)という問題が発生する。つまり、四角形状の操作領域3061を操作面200に映し出したいのにも拘わらず、操作面200の傾きに起因して当該操作面200に映し出された操作領域3061が台形形状になってしまうという問題が発生する。この問題を防止するために、制御部120は、例えば図8に表されるような予め変形させた操作領域3061を含む投射映像308を投射面200に投射するように投射部130を制御する。
図8に表されるような投射映像308が操作面200に投射された場合、図7に表される操作面200を見ているインターフェース装置100のユーザは、図9に表されるような映像が見えるはずである。このように、操作面200が投射部130の光軸に対して傾いていても、その操作面200の傾きを考慮した形状の操作領域3061を投射することにより、操作領域3061は操作面200に形状の歪み無く映し出される。
上述したように、この第1実施形態では、操作面200の傾き等の変動による投射映像300の変形(歪み)を利用して、キャリブレーション処理を行う。ここで、キャリブレーション処理に利用するマーカー3062を操作領域3061とは別に設けておくことで、次のような効果を得ることができる。すなわち、その効果とは、マーカー3062を用いてキャリブレーション処理を実行できると共に、傾いている操作面200に、図9に表されるような歪みのない操作領域3061の映像を映し出すことができるという効果である。これに対し、投射映像300の全体が操作領域3061である場合には、操作領域3061の一部に、キャリブレーション処理のために操作面200の傾きに応じた変形が許容され、他の部分は、変形無く操作面200に映し出される状態にすることは難しい。
このように、実際に使用する投射映像300において、マーカー3062を利用してキャリブレーション処理を実行すること共に、歪みの無い操作領域3061を操作面200に写すことができる。
上述したようなキャリブレーション処理を制御部120が実行し終えた場合、インターフェース装置100は、キャリブレーション処理が実行済みであることをユーザが認識できる投射映像300を投射してもよい。
図10はその一例を表す図である。インターフェース装置100は、例えば、制御部120がキャリブレーション処理を実行した後に、マーカー3062を図6に表される形態から図10に表される形態に変更する。このマーカー3062の変更により、ユーザは、キャリブレーション処理が実行されたことを認識できる。
なお、マーカー3062は必ずしも可視光による映像でなくてもよい。例えば撮像部110が赤外線を撮像できるカメラにより構成されている場合には、マーカー3062は赤外線による映像であってもよい。例えば、操作領域3061は可視光による映像であり、マーカー3062は赤外線による映像である、としてもよい。
−− 第1実施形態におけるインターフェース装置100の動作の一例 −−
次に、第1実施形態におけるインターフェース装置100の動作の一例を、図11を用いて説明する。図11は、インターフェース装置100の動作の一例を示すフローチャートである。
次に、第1実施形態におけるインターフェース装置100の動作の一例を、図11を用いて説明する。図11は、インターフェース装置100の動作の一例を示すフローチャートである。
インターフェース装置100は、撮像映像における操作物体400の撮像位置を検出する(ステップS101)。これに基づき、インターフェース装置100は、投射映像300を、操作物体400の周辺領域(操作物体400を含む)に投射する(ステップS102)。然る後に、インターフェース装置100は、キャリブレーション処理を行う(ステップS103)。これにより、インターフェース装置100は、操作面200と撮像部110との位置関係を把握する。そして、インターフェース装置100は、投射映像300の投射方向等を調整し、この調整後に、ステップS102において投射した投射映像300と同じ又は異なる投射映像300を投射する。ステップS102からその調整後の投射映像300を投射するまでの動作は1フレームか2フレーム程度で完結するので、ユーザから見れば投射映像300が瞬時に切り換わるように見える場合もある。
その後、インターフェース装置100は、撮像映像における操作物体400の撮像位置と投射映像300の撮像位置との位置関係を検出する(ステップS104)。そして、インターフェース装置100は、投射映像300に含まれている文字や図形等の映像と当該映像に関連付けられている操作情報との関係データと、前記検出した位置関係とに基づいて、操作物体400による操作情報を認識する(ステップS105)。
その後、インターフェース装置100は、ステップS105において認識した操作情報に基づいて、次に投射する投射映像300およびその投射方向等を決定する(ステップS106)。そして、インターフェース装置100は、その決定した投射映像300を、決定した方向に投射する(ステップS107)。
なお、インターフェース装置100における上述した各動作の順番は、上述した順番に限定されず、支障のない範囲で変更することができる。例えば、上述したステップS101の動作およびステップS102の動作は、必ずしもこの順番で行われるとは限らない。例えば、インターフェース装置100は、撮像映像において操作物体400が映っている位置を検出する前に、投射映像300を所定の方向に照射してもよい。
−− インターフェースの具体例の説明 −−
ここから、インターフェース装置100が提供するインターフェースの具体例をいくつか説明する。説明を分かり易くするために、以下の説明では、制御部120が実行する動作の詳細を適宜省略する。例えば、制御部120が投射映像300およびその投射方向を決定し、これに基づいた制御部120の制御動作によって投射部130が投射映像300を、決定された投射方向に投射することを、単に、投射部130が投射映像300を投射する、というように表現する。また、撮像部110が映像を撮像し、撮像映像における操作物体400の撮像位置と投射映像300の撮像位置との関係に基づいて制御部120が操作物体400による操作情報を認識することを、単に、制御部120が操作情報を認識する、と表現する。
ここから、インターフェース装置100が提供するインターフェースの具体例をいくつか説明する。説明を分かり易くするために、以下の説明では、制御部120が実行する動作の詳細を適宜省略する。例えば、制御部120が投射映像300およびその投射方向を決定し、これに基づいた制御部120の制御動作によって投射部130が投射映像300を、決定された投射方向に投射することを、単に、投射部130が投射映像300を投射する、というように表現する。また、撮像部110が映像を撮像し、撮像映像における操作物体400の撮像位置と投射映像300の撮像位置との関係に基づいて制御部120が操作物体400による操作情報を認識することを、単に、制御部120が操作情報を認識する、と表現する。
さらに、インターフェース装置100のユーザが、操作面200に投射された投射映像300の上方に操作物体400を近づけ、投射映像300の上方で操作物体400を動かすことを、操作物体400が投射映像300を操作する、と表現する場合がある。さらにまた、操作物体400が投射映像300を操作することによってインターフェース装置100に情報が入力され、これにより制御部120等が実行する機能を、投射映像300が提供する機能と、表現する場合がある。
さらに、以下の説明では、理解を容易にするために、インターフェース装置100のユーザの視点からインターフェース装置100の動作を説明する場合がある。また、以下の説明においては、キャリブレーション処理が行われる場合であっても当該キャリブレーション処理に関わる説明を割愛する場合がある。
− 第1具体例 −
図12および図13を参照して、第1具体例にかかるインターフェースを説明する。撮像部110による撮像映像に操作物体400(この場合は指先)が撮像されると、インターフェース装置100は、操作物体400の周辺領域(操作物体400も含まれる)に投射映像312を投射する。この様子が図12に表されている。上述したように、インターフェース装置100は、操作物体400の周辺領域に投射映像312をまず投射する。そして、インターフェース装置100は、撮像映像における投射映像312の撮像位置に基づき、操作面200と撮像部110との位置関係(例えば、撮像部110と操作面200との間の間隔や、撮像部110の光軸に対する操作面200の傾き等)を把握(検出)する。そして、インターフェース装置100は、その検出結果を利用して投射映像312の投射方向等を調整し、調整後に、投射映像312を操作物体400(指先)の周辺に投射し直す。
図12および図13を参照して、第1具体例にかかるインターフェースを説明する。撮像部110による撮像映像に操作物体400(この場合は指先)が撮像されると、インターフェース装置100は、操作物体400の周辺領域(操作物体400も含まれる)に投射映像312を投射する。この様子が図12に表されている。上述したように、インターフェース装置100は、操作物体400の周辺領域に投射映像312をまず投射する。そして、インターフェース装置100は、撮像映像における投射映像312の撮像位置に基づき、操作面200と撮像部110との位置関係(例えば、撮像部110と操作面200との間の間隔や、撮像部110の光軸に対する操作面200の傾き等)を把握(検出)する。そして、インターフェース装置100は、その検出結果を利用して投射映像312の投射方向等を調整し、調整後に、投射映像312を操作物体400(指先)の周辺に投射し直す。
その後、例えば、撮像映像において、操作物体400が、投射映像312における文字“B“の映像に向かう方向に動いたことを制御部120が検出した場合には、制御部120は、文字“B”が選択されたと検知する。そして、制御部120は、操作物体400の周辺に、選択された文字“B”に関連している図13に表されているような別の投射映像313が投射されるように、投射部130を制御する。ユーザから見ると、文字“B”を選択するように操作物体400を動かすと、投射映像312が消え、別の投射映像313が操作物体400の周辺に表示される。投射映像313は、選択された文字“B”と共に、当該文字“B”に関連する選択肢、すなわち、文字“B1”、“B2”、“B3”および“B4”を表す映像である。換言すれば、投射映像313は、投射映像312において選択された選択肢に関連する選択肢を表示する映像である。このように、インターフェース装置100には、例えば、選択肢の映像を含む複数の互いに異なる投射映像の情報と、それら投射映像の表示順を制御する情報とが与えられる。
投射映像313を含む撮像映像において、操作物体400が投射映像313における文字“B3”の映像に向かう方向に動いたことを制御部120が検出した場合には、制御部120は、文字“B3”を入力結果(選択結果(情報))として受け付ける。そして、制御部120は、再度、図12に表されるような投射映像312が操作物体400の周辺領域に投射されるように投射部130を制御する。このようにして、制御部120は、入力結果(選択結果)である文字“B3”に関連付けられている操作情報を操作物体400による操作情報として認識する。
一方、図13に表されている投射映像313が投射されている状態において、例えば、操作物体400が文字の映像から離れる方向に移動する場合がある。この場合には、制御部120は、投射映像313が表示している何れの選択肢も選択されなかったとし、何れの操作情報をも認識することなく、再度、投射映像312が操作物体400の周辺に投射されるよう投射部130を制御する。
このように、インターフェース装置100が提供するインターフェースの第1具体例においては、制御部120は、まず、第1の投射映像300(投射映像312)に対する操作物体400による選択情報を検知する。そして、制御部120は、その選択情報に応じて、次の選択情報を得るために第2の投射映像300(投射映像313)を投射するように投射部130を制御する。その後、制御部120は、第2の投射映像300(投射映像313)に対する操作物体400の選択情報を検知することにより、操作物体400による操作情報を認識する。
このように、インターフェース装置100は、多段階の操作により操作情報を得る構成とすることにより、選択肢の数が多い場合でも、投射映像300の大きさを抑えることができる。その理由は、第1の投射映像300に全ての選択肢の映像を表示しなくて済むからである。投射映像300の大きさが大きいと、撮像部110の画角に投射映像300が入りきらなかったり、投射映像300を小さい操作面200に投射しきれなかったり、操作物体400を大きく動かす必要が生じて操作しづらいというような不都合が生じる。これに対し、第1具体例におけるインターフェースは、選択肢を多段階で順に表示していく構成とすることにより、そのような不都合な事態が発生することを防止できる。
− 第2の具体例 −
図14乃至図16を参照して、第2具体例にかかるインターフェースを説明する。図14に表される投射映像314は、図5に表される投射映像305と同様の、複数のキー状の映像が表されている映像であり、文字入力に関わるインターフェースをユーザに提供する映像である。第2具体例では、その投射映像314がメイン映像として投射部130により投射される。
図14乃至図16を参照して、第2具体例にかかるインターフェースを説明する。図14に表される投射映像314は、図5に表される投射映像305と同様の、複数のキー状の映像が表されている映像であり、文字入力に関わるインターフェースをユーザに提供する映像である。第2具体例では、その投射映像314がメイン映像として投射部130により投射される。
制御部120は、撮像映像における、操作手段(指先)400の撮像位置と投射映像314に含まれる各キーの撮像位置との位置関係を検出する。例えば、制御部120は、撮像映像における操作物体400の先端位置を画像処理により検出する。そして、制御部120は、次のようなルール(基準)に基づいて、操作物体400がどのような操作を行っているのかを認識する。そのルールとは、例えば、“あるキーと操作物体400の先端とが重なっている状態が所定時間以上継続している場合には、操作物体400はその先端と重なっているキーを選択しているとみなす”というようなルールである。以下、その内容のルールを第1ルールとも記載する。
図14に表されているように、操作物体400の先端が投射映像314におけるキー“JKL”に重なっていることにより、制御部120が、操作物体400によってキー“JKL”が選択されていることを認識したとする。この認識に基づき、制御部120は、投射部130を制御し、これにより、インターフェース装置100は、図15に表されるような投射映像を投射する。
図15に表されている投射映像においては、メイン映像である投射映像314に、選択されたキーに関連する映像315が重なって表示されている。図15の例では、映像315は、操作物体400により選択されたキー“JKL”に関連する選択肢であるキー“J”、キー“K”およびキー“L”を、ユーザに対して展開して表す映像である。
そして、図16に表されるように、操作物体400がキー(選択肢)“K”に向かう方向に素早く移動したことを制御部120が検出した場合には、制御部120は、文字“K”が選択されたことを検知し、これにより、文字“K”の入力が指示されたことを認識する。
また、例えば、制御部120は、次のようなルールに基づいて、操作物体400がどのような操作を行っているのかを認識してもよい。そのルールとは、例えば、“投射映像315が投射されている状態において、操作物体400が閾値以上の速度(または加速度)でもって投射映像315として映し出されているキーの一つに向かって移動し、操作物体400がそのキーと重なる位置で停止した場合に、操作物体400はそのキーを選択しているとみなす”というようなルールである。なお、以下、その内容のルールを第2ルールとも記載する。また、上述したように、操作物体400の速度(または加速度)を利用する場合には、制御部120は、例えば画像処理による追跡処理を利用して操作物体400の速度(または加速度)を算出する機能を実行する。また、インターフェース装置100には、操作物体400による選択情報に基づいて順次表示していく多数の映像と、それら映像を表示していく表示順に関わる情報とが予め与えられる。
さらに、図15に表されているような投射映像315が投射されている状態において、例えば操作物体400がキー“K”の位置にゆっくりと移動してその場に所定時間以上留まったとする。この操作物体400の動きを制御部120が検出した場合には、制御部120は、キー“K”ではなく、キー“K”に重畳されているキーであるキー“@#/&”が操作物体400により選択されたと判断してもよい。この場合は、制御部120は、文字“K”が選択されたとは認識しない。
制御部120は、キー“@#/&”が選択されたことを検知した場合には、前記同様に、キー“@#/&”に関連する選択肢をユーザに対して展開して表す映像がキー“@#/&”の近傍(操作物体400の周辺)に投射されるように、投射部130を制御する。
このように、第2具体例では、インターフェース装置100は、操作物体400の撮像位置と投射映像300の撮像位置との位置関係に加えて、操作物体400の動き(速度または加速度)も併せて検出することにより、操作物体400による操作情報を認識する。
また、第2具体例においては、投射映像314(第1の投射映像)に対する操作物体400の操作内容を判断するルール(第1ルール)と、投射映像315(第2の投射映像)に対する操作物体400の操作内容を判断するルール(第2ルール)とが互いに異なる。
第2具体例におけるインターフェース装置100は、前記の如く、撮像画像における位置関係だけでなく、操作物体400の動きも考慮して操作物体400による操作情報を認識する。このため、第2具体例におけるインターフェース装置100は、第1具体例における効果に加えて、さらに、誤入力を減らすことができるという効果を奏する。その理由を以下に説明する。
例えば、図14に表されているような投射映像314が投射されている状態において、操作物体400が、投射映像314上で、しばらくの間、動き続ける場合があることが想定される。そのような場合に、操作物体400が例えばキー“JKL”の上に来たとする。この場合には、操作物体400がキー“JKL”を選択したのか、あるいは、キー“JKL”の上を通過している最中にすぎないのか、制御部120は、撮像画像における位置関係を利用しただけでは、正確に判断することが難しい。
ここで、仮に、キー“JKL”の上を通過している最中にすぎないのにも拘わらず、操作物体400がキー“JKL”を選択したとインターフェース装置100(制御部120)が判断したとする。この場合には、インターフェース装置100が文字を誤入力した状態となってしまい、ユーザは、その誤入力された文字を削除する等の操作が必要となる。つまり、インターフェース装置100は、ユーザに操作の煩雑さによる不快感を与えてしまう虞がある。
これに対し、第2具体例では、インターフェース装置100は、上述したように、操作物体400がキー“JKL”を選択したと誤判断したとしても、そのキーに関連する選択肢を、ユーザに提示する映像(投射映像315)が展開されるだけである。この場合には、ユーザは、操作物体400をゆっくりと他のキーに向けて移動するだけで、投射映像314における別のキーを選択しなおすことができる。そして、ユーザは、要求通りにインターフェース装置100により表示された投射映像315における所望のキーに向けて素早く操作物体400を移動させれば、所望の文字を入力することができる。
図15に表される例では、投射映像315に関連して表示される選択肢の数を投射映像314に含まれている選択肢(キー)の数よりも、その投射映像314に重ねて表示される投射映像315に含まれている選択肢(キー)の数は少なくなっている。これにより、制御部120は、“操作物体400がキーまで素早く移動した”という動作を、ほとんど誤りなく検出できる。
なお、撮像映像において或るキーの撮像位置と操作物体400の先端の撮像位置とが重なっている状態(キー選択状態)が所定時間以上継続していることを制御部120が検出する方法には様々な方法があり、適宜に選択された手法が採用される。
その具体例を述べると、例えば、制御部120は、撮像映像において操作物体400の先端の撮像位置が変化しない状態が所定フレーム数(ここでは、N(ただし、Nは正の整数)とする)以上継続したことを検出する。そして、制御部120は、その検出をトリガーとして、その次のフレーム(操作物体400の先端の撮像位置が変化しなくなってから(N+1)番目のフレーム)の撮像映像(すなわち静止画としての撮像映像)を分析する。これにより、制御部120は、撮像映像におけるキーの撮像位置と操作物体400の先端の撮像位置との位置関係を検出し、この検出した位置関係に基づいて、前述したキー選択状態を検出してする。あるいは、制御部120は、既知の動画像認識処理技術を利用することにより、動画像としての撮像映像を分析し、これにより、キーと操作物体400の先端とが重なっている状態(キー選択状態)が所定時間以上継続していることを検出してもよい。なお、制御部120がキー選択状態を検出する手法(動作)はそのような具体例に限定されない。
また、制御部120が、撮像映像において操作物体400が閾値以上の速度でキーに向かって移動したことを検出する手法には様々な手法があり、それら手法の中から適宜に選択された手法が採用される。
その具体例を述べると、例えば、制御部120は、フレームごとの撮像映像(すなわち静止画としての撮像映像)を分析し、各フレームの撮像映像における操作物体400の撮像位置を追跡することによって、操作物体400の移動速度を検出する。また、制御部120は、操作物体400の移動方向と、投射映像315に含まれている各キーの撮像位置とを検出する。そして、制御部120は、その検出した移動速度と閾値との比較結果、操作物体400の移動方向およびキーの撮像位置に基づいて、操作物体400が閾値以上の速度で或るキーに向かって移動していることを検出する。あるいは、制御部120は、既知の動画像認識処理技術により動画像としての撮像映像を分析することによって操作物体400の移動速度を検出する。そして、制御部120は、その検出した移動速度を利用して、上記同様に、操作物体400が閾値以上の速度で或るキーに向かって移動していることを検出してもよい。なお、制御部120がそのような操作物体400の移動を検知する手法(動作)はそのような具体例に限定されない。
− 第2具体例のバリエーション -
図17は、操作物体400が投射映像314におけるキー“;’()”を選択した場合に投射される投射映像315の一例を表す図である。インターフェース装置100は、ディスプレイ装置の画面に情報(映像)を表示するのではなく、情報(映像)を投射する構成であり、その投射映像のサイズの制約が緩い。このため、インターフェース装置100は、図17に表されるような投射映像314の欄外にはみ出すような投射映像315を容易に表示することができる。
図17は、操作物体400が投射映像314におけるキー“;’()”を選択した場合に投射される投射映像315の一例を表す図である。インターフェース装置100は、ディスプレイ装置の画面に情報(映像)を表示するのではなく、情報(映像)を投射する構成であり、その投射映像のサイズの制約が緩い。このため、インターフェース装置100は、図17に表されるような投射映像314の欄外にはみ出すような投射映像315を容易に表示することができる。
− 第3具体例 −
図18乃至図22を参照して、第3具体例におけるインターフェースを説明する。第3具体例におけるインターフェースは、数字の入力を受け付けるインターフェースである。ユーザは、0から9までの数字のうち選択候補の数字を表示させる第1の操作と、第1の操作により表示された数字の一つを選択する第2の操作とを繰り返すことにより、インターフェース装置100に数字を入力する。
図18乃至図22を参照して、第3具体例におけるインターフェースを説明する。第3具体例におけるインターフェースは、数字の入力を受け付けるインターフェースである。ユーザは、0から9までの数字のうち選択候補の数字を表示させる第1の操作と、第1の操作により表示された数字の一つを選択する第2の操作とを繰り返すことにより、インターフェース装置100に数字を入力する。
図18は、投射部130による投射映像318の一例を表す図である。投射映像318は、入力が確定した数字を表示する領域318A(以下、確定領域318Aと記載する)と、操作物体400による操作を認識するために利用する領域318B(以下、操作領域318Bと記載する)とを含む。
操作領域318Bは、図18の例では、線状あるいは棒状(帯状)の形状をした映像である。操作領域318Bは、操作物体400が動くべき範囲を規定している。すなわち、ユーザは操作領域318Bに沿って操作物体400を動かすことにより、インターフェース装置100を操作する。なお、操作領域318Bは、図18に表される形状には限定されない。例えば、図19に表されるように、操作領域318Bは、操作物体400が動くべき範囲を表す線あるいは棒と、その両端のそれぞれと間隔を介して配置される丸とを有する映像であってもよい。
投射映像318を利用した操作物体400による第1の操作(0から9までの数字のうち選択候補の数字を表示させる操作)を、図19および図20を用いて説明する。ユーザは、操作領域318Bに沿って操作物体400を動かす(スライド移動する)ことにより0から9までの数字のうちから所望の数字を選ぶ。例えば、操作領域318Bにおける線(棒)の左端が0に対応し、線(棒)の左側から右側にかけて対応する数が順に大きくなり、線(棒)の右端が9に対応する。
図19および図20は、操作物体400が操作領域318Bの左側から右側へとスライド移動することに応じて、選択候補の数字が順に変化する様子を表している。例えば、図19においては、操作物体400は操作領域318Bの左側に位置している。制御部120は、撮像映像における操作領域318Bの撮像位置と操作物体400の撮像位置との位置関係を把握し、把握した位置関係に基づいて、操作物体400が数字“2”に対応する位置にあると判断する。そして、制御部120が投射部130を制御し、この制御に従って、投射部130が、数字“2”を表す映像318Cを操作物体400の近傍に投射する。この時点では、数字“2”は、選択候補として表示されただけであり、まだ選択されてはいない。
そして、図20に表されるように、操作物体400が、さらに、操作領域318Bに沿って右側にスライド移動したとする。この場合においても、上記同様に、制御部120は、撮像映像における操作領域318Bの撮像位置と操作物体400の撮像位置との位置関係を把握し、把握した位置関係に基づいて、操作物体400が数字“8”に対応する位置にあると判断する。そして、制御部120が投射部130を制御し、この制御に従って、投射部130が、数字“8”を表す映像318Dを操作物体400の近傍に投射する。この時点においては、数字“8”は、選択候補として表示されただけであり、まだ選択されてはいない。
次に、操作物体400による第2の操作(第1の操作により表示された数字の一つを選択する操作)を図21乃至図23を用いて説明する。図21は、操作物体400によって、数字が選択される操作の一例を説明する図である。図21に表されるように、数字“8”が投射されている状態において、ユーザが、操作物体400を数字“8”に向かってスライド移動する。インターフェース装置100(制御部120)は、撮像部110による撮像映像を画像処理した結果を利用して、その操作物体400の操作(動き)を検出した場合には、数字“8”が選択されたと判断する。そして、インターフェース装置100(制御部120)は、投射部130を制御し、投射部130によって数字“8”を確定領域318Aに投射する。この時点でインターフェース装置100への数字“8”の入力が確定されても良いし、別途、ユーザが所望の桁数の数字を決定した後にまとめてインターフェース装置100への入力を確定するようなステップが準備されていてもよい。
図22は、操作物体400によって、数字が選択される操作のその他の例を説明する図である。図22に表される例では、数字“8”が投射されている状態において、ユーザが、操作物体400を、数字“8”から操作領域318Bに向う方向にスライド移動する。インターフェース装置100(制御部120)は、上記同様に、その動きを検出した場合には、数字“8”が選択されたと判断する。そして、インターフェース装置100(制御部120)は、投射部130を制御し、投射部130によって数字“8”を確定領域318Aに投射する。
あるいは、操作物体400によって、数字が選択される操作のさらにその他の具体例としては、例えば、ユーザが、操作物体400を、選択した数字に対応する位置に所定時間(例えば1.5秒)以上留めておく。インターフェース装置100(制御部120)は、上記同様に、その動きを検出した場合には、数字“8”が選択されたと判断する。そして、インターフェース装置100(制御部120)は、投射部130を制御し、例えば、図23に表されているように、数字“8”が拡大した後に爆発して消えるというようなアニメーションを投射し、その後に、数字“8”を確定領域318Aに投射する。このような表示にすることにより、ユーザは数字“8”が選択されたことを明確に認識できるようになる。
図18乃至図23を用いて説明した第3具体例におけるインターフェースによれば、第1具体例のインターフェースが奏する効果に加えて、さらに、誤入力を減らすことができるという効果を奏することができる。その理由を以下に説明する。
第3具体例では、インターフェース装置100は、撮像映像における操作物体400の撮像位置と操作領域(第1の投射映像)318Bの撮像位置との位置関係に基づいて、複数の選択肢のうちから選択候補が選ばれたことを認識する。そして、インターフェース装置100(制御部120)は、その選択候補の選択肢に対応する映像(第2の投射映像)318C,318Dを操作物体400の近傍に投射するように投射部130を制御する。インターフェース装置100は、選択候補の映像(第2の投射映像)318C,318Dが投射されている状態において、操作物体400が、その選択候補を選択する予め定められた操作を検出した場合に、その選択候補が選択されたことを認識する。
つまり、第3具体例では、複数の選択肢の中から選択された選択候補の選択を確定する操作を操作物体400が実行する際には、その選択候補以外の選択肢は、表示(投射)されていない。このため、第3具体例を適用したインターフェース装置100は、選択する数字以外の数字が誤って選択されてしまうという誤入力を防ぐことができる。
− 第4具体例 −
図24を参照して、第4具体例におけるインターフェースを説明する。
図24を参照して、第4具体例におけるインターフェースを説明する。
第4具体例におけるインターフェース装置100の制御部120には、手(操作物体400)の形を検出し、それぞれの指の形および動作を検出する映像処理エンジンが与えられている。
図24は、操作手段(右手)400の近傍に投射映像324が投射されている様子を表す図である。図24に表されている投射映像324には、領域324A、領域324Bおよび領域324Cが含まれる。領域324Aは、図15に表されている投射映像314と同様の機能を有する映像である。ただし、図24に示した領域324Aにおいては、投射映像314とは異なり、“SPC(スペース)”、“×(削除)”および“RET(リターン)”などの操作に関係するキーが省略されている。領域324Bは、図15に表されている投射映像315と同様の機能を有する映像である。領域324Cは、“SPC(スペース)”、“×(削除)”または“RET(リターン)”などの操作に関連するキーを表す映像である。
制御部120は、前述した映像処理エンジンにより、撮像映像に含まれる操作物体400の親指401と人指し指402とをそれぞれ区別して検出する。そして、制御部120は、図24に表されるように、人差し指402の近傍に領域324Aおよび領域324Bが投射され、かつ、親指401の近傍に領域342Cが投射されるように、投射部130を制御する。
制御部120は、撮像映像における投射映像300の撮像位置と、親指401または人差し指402の撮像位置との位置関係に基づいて、操作物体400による操作情報を認識する。
図24を用いて説明した第4具体例を適用したインターフェース装置100は、第1具体例のインターフェース装置100が奏する効果に加えて、更に、高速な入力が可能になるという効果を奏する。その理由は、制御部120が親指401の位置および動き、並びに、人差し指402の位置および動きをそれぞれ検出し、それらの情報に基づいて操作物体400による操作情報を認識するからである。
− 第5具体例 −
図25および図26を参照して、第5具体例におけるインターフェースを説明する。第5具体例におけるインターフェースは、単語の入力を受け付けるインターフェースである。図25に表される投射映像325には、領域325A、領域325Bおよび領域325Cが含まれる。領域325Aは、第2具体例における投射映像314と同様の機能を有する領域である。領域325Bは、領域325Aを利用して入力された文字を表示する領域である。図25の例では、領域325Bには、“vege”という文字列が表示されている。
図25および図26を参照して、第5具体例におけるインターフェースを説明する。第5具体例におけるインターフェースは、単語の入力を受け付けるインターフェースである。図25に表される投射映像325には、領域325A、領域325Bおよび領域325Cが含まれる。領域325Aは、第2具体例における投射映像314と同様の機能を有する領域である。領域325Bは、領域325Aを利用して入力された文字を表示する領域である。図25の例では、領域325Bには、“vege”という文字列が表示されている。
領域325Cは、いわゆる予測入力の機能を提供する映像が投射される領域である。つまり、図25の例では、領域325Bに、“vege”という文字列が表示されている状態において、操作物体400がキー“SEL(select)”を選択すると、人差し指402の近傍に、入力が予測される単語候補(入力予測候補)の映像325Cが投射される。図25の例では、“vege”で始まる単語の候補、“vegeburger”、“vegemite”および“vegetable”が表示されている(vegemiteは登録商標)。例えば、この状態で、人差し指402によって“vegetable”が指示されたことを制御部120が前述したように検出した場合には、インターフェース装置100は“vegetable”という単語が入力されたことを認識する。なお、操作物体400における親指401と人差し指402の位置および動きを区別して検出する場合には、制御部120には、第4具体例と同様な映像処理エンジンが与えられる。
ところで、図25に表されている投射映像325Cには、“vegetarian”という単語が入力予測候補として表示されていない。このため、例えば、ユーザがその“vegetarian”という単語を入力したいと考えている場合には、図25における投射映像325Cの状態のままでは、ユーザは、その単語を入力することができない。そこで、第5具体例のインターフェース装置100は、ユーザがその親指401を動かすことにより、投射映像325Cにより表示(投射)される単語の候補を変更できる構成を備えている。
図26を用いてこの詳細を説明する。制御部120は、撮像部110による撮像映像に基づいて親指401が動いたことを検出した場合には、投射部130によって、“vege”で始まる単語の他の候補を表す投射映像325Cを図26のように投射させる。これによりユーザは、単語の候補が、図25に表される候補から図26に表される候補へと変化したように見える。ユーザは、人差し指402によって“vegetarian”を指示することにより、インターフェース装置100に“vegetarian”という単語を入力する。
このように、制御部120は、撮像映像における投射映像300に含まれる映像の撮像位置と操作物体400の撮像位置との位置関係によって、操作物体400による操作情報を認識するとは限らない。つまり、この第5具体例で説明したように、制御部120は、そのような位置関係に関係無く、親指401の動きを検出した場合に、操作物体400による操作情報を認識し、これにより、投射映像325Cを切り替えている。
なお、上述した第5具体例における文字入力のインターフェースは、例えば日本語入力における漢字変換機能等にも応用することができる。
− 第6具体例 −
図27乃至図30を参照して、第6具体例におけるインターフェースを説明する。第6具体例におけるインターフェースは、フルキーボードの機能を提供するインターフェースである。第6具体例を実現するインターフェース装置100の制御部120は、撮像映像における複数の手の指を検出し、かつ、それらの動きも検出する機能を有している。
図27乃至図30を参照して、第6具体例におけるインターフェースを説明する。第6具体例におけるインターフェースは、フルキーボードの機能を提供するインターフェースである。第6具体例を実現するインターフェース装置100の制御部120は、撮像映像における複数の手の指を検出し、かつ、それらの動きも検出する機能を有している。
第6具体例では、制御部120は、撮像映像における操作物体400の右手403および左手404の位置を検出する。そして、制御部120は、右手403および左手404の近傍に投射映像327Aが投射されるように、投射部130を制御する。投射映像327Aは、キー“SP(スペース)”と、キー“S(シフト)”と、キー“R(改行)”と、キー“B(バックスペース)”と、を含む。投射映像327Aには、フルキーボードを構成するアルファベットキーは含まれていない。
図27に表される状態において、制御部120は、撮像映像に基づき、図28に表されるように左手404の中指の先端側が手のひら側に動いたことを検出した場合には、左手404の中指の近傍に投射映像327Bが投射されるように投射部130を制御する。図28に表される投射映像327Bには、キー“e”と、キー“d”と、キー“c”とが含まれる。これら3つのキーは、通常のフルキーボードにおいて、左手404の中指に割り当てられるキーである。
制御部120は、そのように投射映像327Bが投射されている状態において、撮像映像に基づいて、左手404の中指が何れかのキーに向かって動いたことを検知した場合には、その中指が向かったキーに対応する文字を入力対象の文字として認識する。また、制御部120は、撮像映像に基づいて、左手404の中指の先端側がさらに手のひら側に動いたり、別の指の先端側が手のひら側に動いたことを検出した場合には、投射映像327Bの表示を止める。
通常のフルキーボードにおいて、右手人差し指には、キー“y”と、キー“h”と、キー“n”と、キー“u”と、キー“j”と、キー“m”との計6つのキーが割り当てられている。制御部120は、撮像映像に基づいて、右手403の人差し指の先端側が手のひら側に動いたことを検出した場合には、右手403の人指し指の近傍に図28に表されるような投射映像327Cが投射されるように、投射部130を制御する。投射映像327Cには、例えば“y”のキーと、“u”のキーとが含まれる。
例えば、制御部120は、撮像映像に基づいて、右手403の人差し指がキー“y”に向かって動いたことを検出した場合には、右手403の人指し指の近傍に、キー“y”に関連付けられているキーの映像が投射されるように、投射部130を制御する。なお、キー“y”に関連付けられているキーとは、例えば、キー“h”と、キー“n”とを含み、これらキーの映像が、上述のように、キー“y”の映像と共に投射される。
次に、第6具体例における、フルキーボードに含まれるその他のキーの操作に関わる機能を説明する。制御部120は、図29に表されるように右手403と左手404の親指が同時にユーザの胴体に向う方向に動いたことを検出した場合には、両手の親指の近傍に、図30に表されるような投射映像327Dが投射されるように、投射部130を制御する。投射映像327Dには、エスケープキー(E)と、タブキー(T)と、コントロールキー(Ctl)と、オルトキー(A)と、ファンクションキー(F)と、デリートキー(D)とが含まれる。
制御部120は、そのように投射されたキーが選択されたことを前述したように検出した場合には、その選択されたキーに基づいて、操作物体400による操作情報を認識し、当該操作情報に基づいた動作(機能)を実行する。
なお、図27乃至図30を用いて説明した具体例は一例にすぎない。インターフェース装置100は、複数の指のそれぞれの動きに応じて、前記同様に、色々な選択肢の表示が可能である。
− 第7具体例 −
図31乃至図34を参照して、インターフェース装置100が提供する第7具体例のインターフェースを説明する。第7具体例におけるインターフェースは、マウス(コンピュータに情報を入力する入力装置の一種(補助入力デバイス))に相当する機能を提供するインターフェースである。
図31乃至図34を参照して、インターフェース装置100が提供する第7具体例のインターフェースを説明する。第7具体例におけるインターフェースは、マウス(コンピュータに情報を入力する入力装置の一種(補助入力デバイス))に相当する機能を提供するインターフェースである。
投射部130は、制御部120の制御によって、まず、操作面200に図31に表されるような投射映像331Aを投射する。投射映像331Aは、例えば、長方形の枠状の映像である。制御部120は、撮影映像に基づいて、投射映像331Aの上に操作物体(手)400が置かれたことを検出した場合には、撮像映像における操作物体400全体の撮像位置、および人差し指402の撮像位置を検出する。制御部120は、人差し指402の近傍に、図31に表されるような投射映像331Bが投射されるように、投射部130を制御する。
投射映像331Bには、“Lボタン”と“Rボタン”とが含まれる。投射映像331Bにおける“Lボタン”は、一般的なマウスのLボタンに相当する機能を提供する。投射映像331Bにおける“Rボタン”は、一般的なマウスのRボタンに相当する機能を提供する。
ここで、ユーザが操作物体400の位置を、図31に表される位置から図32に表される位置まで移動したとする。制御部120は、撮像映像に基づいて、操作物体400のそのような動きを検出した場合には、操作物体400の位置情報の変化を操作情報として認識する。これにより、第7具体例にかかるインターフェースは、マウスなどが持つ位置情報入力機能と同様の機能を提供する。図32に表されるように操作物体400が動くと、制御部120は、撮像映像に基づいて、その操作物体400の動きを検出し、これにより、投射映像331Bの投射位置を操作物体400の動きに付随させるように投射部130を制御する。
制御部120は、例えば、撮像映像に基づいて、操作物体400の人指し指が投射映像331Bにおける“Lボタン”の方向に動いたことを検出した場合には、マウスの左クリックの操作に応じた機能と同様の機能を実行する。制御部120は、同様に、例えば、撮像映像に基づいて、操作物体400の人指し指が投射映像331Bにおける“Rボタン”の方向に動いたことを検出した場合には、マウスの右クリックの操作に応じた機能と同様の機能を実行する。制御部120は、上記同様に、指の動きを検出することで、例えばマウスのダブルクリックやドラッグの操作に応じた機能と同様の機能を実行してもよい。
なお、インターフェース装置100のユーザが左利きである場合を考慮して、制御部120は、投射映像331Bにおける“Lボタン”と“Rボタン”とが図31や図32に表されている状態とは左右逆に投射されるように投射部130を制御する機能を備えていてもよい。また、制御部120は、ユーザの親指の近傍の領域およびユーザの中指の近傍の領域のうちの一方の領域に“Lボタン”が投射され、他方の領域に“Rボタン”が投射されるように投射部130を制御する機能を備えていてもよい。
− 第7具体例のバリエーションその1 −
図33は、第7具体例の応用例1(バリエーションその1)を表す図である。この例では、制御部120は、親指401の撮像位置(あるいは動き)と、投射映像331Bの撮像位置との位置関係に基づいて、マウスにおける左クリックあるいは右クリックに対応する操作に応じた機能と同様の機能を実行する。また、制御部120は、人差し指402の動きを検出し、この人差し指402の動きに応じて、例えば、カーソル等の配置位置を指定する位置情報を認識する。この例では、制御部120は、人差し指402の動きによって位置情報を認識するが、選択肢の選択情報は認識しない。このため、仮に、操作物体(手)400が高速に移動することにより、人差し指402が投射映像331Bにおける“Rボタン”や“Lボタン”の位置を単に通過した場合に、 “Rボタン”や“Lボタン”が選択されたと、制御部120が誤認識することを防止できる。
図33は、第7具体例の応用例1(バリエーションその1)を表す図である。この例では、制御部120は、親指401の撮像位置(あるいは動き)と、投射映像331Bの撮像位置との位置関係に基づいて、マウスにおける左クリックあるいは右クリックに対応する操作に応じた機能と同様の機能を実行する。また、制御部120は、人差し指402の動きを検出し、この人差し指402の動きに応じて、例えば、カーソル等の配置位置を指定する位置情報を認識する。この例では、制御部120は、人差し指402の動きによって位置情報を認識するが、選択肢の選択情報は認識しない。このため、仮に、操作物体(手)400が高速に移動することにより、人差し指402が投射映像331Bにおける“Rボタン”や“Lボタン”の位置を単に通過した場合に、 “Rボタン”や“Lボタン”が選択されたと、制御部120が誤認識することを防止できる。
− 第7具体例のバリエーションその2 −
図34は、第7具体例の応用例2(バリエーションその2)を表す図である。この例では、複数の指で作る形に意味を持たせる。つまり、制御部120は、撮像映像における操作物体400の形を検出し、検出した操作物体400の形に応じた操作情報を認識する。例えば、操作物体(手)400の形が、親指401を人差し指402につけた形である場合、制御部120は、ドラッグ操作の開始を認識する。なお、ドラッグ操作とは、入力装置の一種であるマウスを利用する操作の一つであり、例えば、マウスのボタンを押したままマウスを移動することにより、範囲を指定する等の情報をコンピュータに入力する操作である。
図34は、第7具体例の応用例2(バリエーションその2)を表す図である。この例では、複数の指で作る形に意味を持たせる。つまり、制御部120は、撮像映像における操作物体400の形を検出し、検出した操作物体400の形に応じた操作情報を認識する。例えば、操作物体(手)400の形が、親指401を人差し指402につけた形である場合、制御部120は、ドラッグ操作の開始を認識する。なお、ドラッグ操作とは、入力装置の一種であるマウスを利用する操作の一つであり、例えば、マウスのボタンを押したままマウスを移動することにより、範囲を指定する等の情報をコンピュータに入力する操作である。
図34に表されるように、制御部120は、操作物体400の形に基づいて、ドラッグ操作の開始を認識した場合には、親指401および人差し指402の近傍に投射映像334が投射されるように、投射部130を制御する。投射映像334は、ドラッグ操作の開始が認識されたことをユーザに対して表す映像である。
制御部120は、投射映像334が投射されている状態において、撮像映像に基づいて、操作物体400が移動していることを検出した場合には、ドラッグ操作による情報(例えば指定範囲の情報)を認識する。図34に表されている矢印はドラッグの軌跡である。このようなドラッグ操作に係る制御は、前述した色々な具体例における制御手法と組み合わせることが可能である。
−− ハードウェア構成の説明 −−
− 制御部120のハードウェア構成の一例 −
図35は、制御部120を実現可能なハードウェア構成の一例を説明するブロック図である。
− 制御部120のハードウェア構成の一例 −
図35は、制御部120を実現可能なハードウェア構成の一例を説明するブロック図である。
制御部120(コンピュータ)を構成するハードウェアは、CPU(Central Processing Unit)1と、記憶部2を備える。制御部120は、入力装置(図示せず)や出力装置(図示せず)を備えていてもよい。制御部120の各種機能は、例えばCPU1が、記憶部2から読み出したコンピュータプログラム(ソフトウェアプログラム、以下単に“プログラム”と記載する)を実行することにより実現される。
制御部120は、図示しない通信インターフェース(I/F (InterFace))を備えていてもよい。制御部120は、通信インターフェースを介して外部装置にアクセスし、当該外部装置から取得した情報に基づいて、投射する像を決定してもよい。
なお、第1実施形態および後述する各実施形態を例として説明される本発明は、かかるプログラムが格納されたコンパクトディスク等の不揮発性の記憶媒体によっても構成される。なお、制御部120は、インターフェース装置100に専用の制御部であってもよいし、インターフェース装置100を含む装置に備えられている制御部の一部が制御部120として機能してもよい。制御部120のハードウェア構成は、上述の構成に限定されない。
− 投射部130のハードウェア構成の一例 −
次に、投射部130のハードウェア構成の一例を説明する。投射部130は、制御部120からの制御により投射映像300を投射する機能を有していればよい。
次に、投射部130のハードウェア構成の一例を説明する。投射部130は、制御部120からの制御により投射映像300を投射する機能を有していればよい。
以下に、インターフェース装置100の小型化および省電力化に寄与することができる投射部130を実現するハードウェア構成の一例を説明する。下記に説明する例は、あくまで投射部130の一つの具体例であり、投射部130のハードウェア構成を限定するものではない。
図36は、投射部130を実現可能なハードウェア構成の一具体例を説明する図である。図36の例では、投射部130は、レーザ光源131と、第1の光学系132と、素子133と、第2の光学系134とを有して構成される。
レーザ光源131から照射されたレーザ光は、第1の光学系132により、後の位相変調に適する態様に整形される。具体例を挙げると、第1の光学系132は、例えばコリメータを有し、当該コリメータにより、レーザ光を、素子133に適した態様(つまり、平行光)にする。また、第1の光学系132は、レーザ光の偏光を、後の位相変調に適するように調整する機能を備える場合もある。つまり、素子133が位相変調型である場合には、当該素子133には、製造段階で定まる設定の偏光方向を持つ光を照射する必要がある。レーザ光源131が半導体レーザである場合には、半導体レーザから出射される光は偏光していることから、素子133に入射する光の偏光方向が設定の偏光方向に合うようにレーザ光源131(半導体レーザ)を設置すればよい。これに対し、レーザ光源131から出射される光が偏光していない場合には、第1の光学系132は、例えば偏光板を備え、当該偏光板によって素子133に入射する光の偏光方向が設定の偏光方向となるように調整する必要がある。第1の光学系132が偏光板を備える場合には、例えば、その偏光板は、コリメータよりも素子133側に配置される。このような第1の光学系132から素子133に導かれたレーザ光は、素子133の受光面に入射する。素子133は、複数の受光領域を有している。制御部200は、素子133の各受光領域の光学的特性(例えば屈折率)を、照射しようとする像の画素毎の情報に応じて、例えば各受光領域に印加する電圧を可変することによって、制御する。素子133により位相変調されたレーザ光は、フーリエ変換レンズ(図示せず)を透過し、また、第2の光学系134に向けて集光される。第2の光学系134は、例えば、投射レンズを有し、その集光された光は、第2の光学系134によって結像され、外部に照射される。
なお、図36の例では、投射部130を実現する素子133は、光を反射するタイプであるが、投射部130は、透過型の素子133を用いて実現されてもよい。
ここで、素子133について説明する。上述したように、素子133には、レーザ光源131が出射するレーザ光が第1の光学系132を介して入射する。素子133は、入射したレーザ光の位相を変調し当該変調後のレーザ光を出射する。素子133は、空間光位相変調器(Spatial Light Phase Modulator)または位相変調型空間変調素子とも呼ばれる。以下、詳細に説明する。
素子133は、複数の受光領域を備える(詳細は後述する)。受光領域は、素子133を構成するセルである。受光領域は、例えば、1次元または2次元のアレイ状に配列される。制御部120は、制御情報に基づいて、素子133を構成する複数の受光領域のそれぞれについて、当該受光領域に入射された光の位相と当該受光領域から出射する光の位相との差分を決定付けるパラメータが変化するように制御する。
具体的には、制御部120は、複数の受光領域のそれぞれについて、例えば屈折率または光路長などの光学的特性が変化するように制御する。素子133に入射した入射光の位相の分布は、各受光領域の光学的特性の変化に応じて変化する。これにより、素子133は、制御部120による制御情報を反映した光を出射する。
素子133は、例えば、強誘電性液晶、ホモジーニアス液晶、または、垂直配向液晶などを有し、例えばLCOS(Liquid Crystal On Silicon)を用いて実現される。この場合には、制御部120は、素子133を構成する複数の受光領域のそれぞれについて、受光領域に印加する電圧を制御する。受光領域の屈折率は、印加された電圧に応じて変化する。このため、制御部120は、素子133を構成する各受光領域の屈折率を制御することにより、受光領域間に屈折率の差を発生させることができる。素子133では、制御部120の制御による受光領域間の屈折率の差に基づいて、入射されたレーザ光が各受光領域において適宜に回折する。
素子133は、例えば、MEMS(Micro Electro Mechanical System)の技術によって実現することもできる。図37は、MEMSにより実現される素子133の構造を説明する図である。素子133は、基板133Aと、当該基板上の各受光領域に割り当てられた複数のミラー133Bとを備える。素子133が有する複数の受光領域のそれぞれは、ミラー133Bによって構成される。基板133Aは、例えば、素子133の受光面に平行、あるいは、レーザ光の入射方向に略垂直である。
制御部120は、素子133が備える複数のミラー133Bのそれぞれについて、基板133Aとミラー133Bとの距離を制御する。これにより、制御部120は、受光領域毎に、入射した光が反射する際の光路長を変更する。素子133は、回折格子と同様の原理により入射した光を回折する。
素子133は、入射したレーザ光を回折することにより、理論上、どのような像も形成できる。このような回折光学素子については、例えば、非特許文献3に詳しく説明されている。また、制御部120が素子133を制御して、任意の像を形成する方法については、例えば非特許文献4に説明されている。そのため、ここでは説明を省略する。
投射部130を実現するハードウェア構成は、上述した例に限られるものではないが、投射部130を上述したハードウェア構成により実現すると、下記に示す効果が得られる。
上述したハードウェア構成を持つ投射部130は、MEMSの技術を利用して製造される素子133を備えることにより、小型化かつ軽量化を図ることができる。また、上述したハードウェア構成を持つ投射部130が投射する像は、光の回折によりレーザ光の強度が強くなっている領域により形成されるため、この投射部130は遠くにある投射面200に対しても、明るい像を投射することができる。
−インターフェース装置100の適用例−
以下、インターフェース装置100が適用された装置の具体例を説明する。上述した通り、インターフェース装置100は、サイズ、重量および消費電力の観点から、従来型のインターフェース装置よりも優れている。本発明者は、これらの利点を活かして、インターフェース装置100を携帯端末に適用することを考えた。また、本発明者は、ウェアラブル端末として利用することも考えた。
以下、インターフェース装置100が適用された装置の具体例を説明する。上述した通り、インターフェース装置100は、サイズ、重量および消費電力の観点から、従来型のインターフェース装置よりも優れている。本発明者は、これらの利点を活かして、インターフェース装置100を携帯端末に適用することを考えた。また、本発明者は、ウェアラブル端末として利用することも考えた。
図38は、インターフェース装置100をタブレット(可搬装置)に適用した具体例を示している。図38に表されるように、タブレット100Aは、撮像部110Aと投射部130Aを有する。投射部130Aは、投射映像338を操作面200(例えば机の天板)に投射する。投射映像338は、例えばキーボードの機能を提供する投射映像300である。タブレット100Aのユーザは、操作面200に投射された投射映像338を利用して、タブレット100Aを操作する。このタブレット100Aにおいては、ディスプレイの一部にキーボードを表示することなく、ディスプレイの全面に例えばインターネットのサイトの映像を表示しながら、ユーザがキーボード(投射映像338)を利用して文字等を入力することができる。
すなわち、図39に表されるように、通常のタブレット100A-1にあっては、キーボード100Keyは、ディスプレイ100Disの一部に表示される。このため、キーボード100Keyが表示されている状態では、ディスプレイ100Disにおいて、映像や文字等の情報が表示される領域が狭くなる。これにより、ユーザは、ディスプレイ100Disに表示させた映像等を参照しながら、キーボード100Keyを用いて文字を入力するという作業を行い難く、不便を感じることがある。これに対し、インターフェース装置100を搭載したタブレット100Aにあっては、上述したように、ユーザは、ディスプレイの全面に表示された映像を参照しながら、キーボード(投射映像338)を利用して文字等を入力することができる。つまり、このタブレット100Aは、ユーザの使い勝手をより良くすることができる。
図40はインターフェース装置100をスマートフォン(可搬装置)に適用した具体例を表している。
図40に表すスマートフォン100Bは、撮像部110Bと投射部130Bを備えている。投射部130Bは、投射映像340を操作面200に投射する。投射映像340は、例えば入力キーの機能を提供する投射映像300である。スマートフォン100Bのユーザは、操作面200に投射された投射映像340を利用してスマートフォン100Bを操作する。なお、操作面200は、例えば、机の天板面であってもよいし、図40に表されているような、スマートフォン100Bに取り付けられているスクリーン101Bであってもよい。
スマートフォン100Bにおいても、タブレット100Aと同様に、使い勝手を向上することができる。つまり、ユーザは、スマートフォン100Bのディスプレイ全面に表示される情報を参照しながら(あるいは、カーソル102Bを目視しながら)、投射映像340を操作することが可能になり、これにより、スマートフォン100Bの使い勝手が向上する。
図41は、インターフェース装置100を種々の小型端末(可搬装置)に適用した例を表す図である。小型端末100Cは、インターフェース装置100を実装したネームプレート状の端末である。小型端末100Dは、インターフェース装置100を実装したペン状の端末である。小型端末100Eは、インターフェース装置100を実装した携帯音楽端末である。小型端末100Fは、インターフェース装置100を実装したペンダント状端末である。インターフェース装置100は、実装対象の装置が小型端末であることに限定されないが、構造が簡単で小型化が容易なために、このような小型端末への適用が有効である。
図42は、インターフェース装置100をリストバンド型の装置(可搬装置(装身具))100Gに実装した具体例を表す図である。図43は、インターフェース装置100を眼鏡、サングラス等のアイウェア(eyewear)に実装した装置(可搬装置(装身具))100Hを表す図である。また、インターフェース装置100は、靴、ベルト、ネクタイまたは帽子などに実装されてウェアラブル端末(可搬装置(装身具))を構成してもよい。
図38乃至図43に表されるインターフェース装置100においては、撮像部110と投射部130とが互いに別々の位置に設けられている。しかし、撮像部110と投射部130とは、互いに同軸となるように設計されていてもよい。
また、インターフェース装置100は、そのサイズの小ささ、または、軽さの利点を活かして、天井からぶら下げて用いたり、壁に掛けて用いたりすることも考えられる。
− 応用例その1 −
以下に、物品を選別する作業にインターフェース装置100を利用する具体例を図44乃至図47を参照しながら説明する。
以下に、物品を選別する作業にインターフェース装置100を利用する具体例を図44乃至図47を参照しながら説明する。
図44に表されるように、例えば、作業者は、サンドイッチ405を手に持ち、インターフェース装置100をサンドイッチ405に向けて、撮像部110によってサンドイッチ405を撮像する。制御部120は、その撮像部110による撮像映像を画像処理し、この画像処理結果と、予め与えられているサンドイッチに関する情報(例えば輪郭情報)とに基づいて、撮像映像にサンドイッチ405が映っていることを認識する。制御部120は、更に、サンドイッチ405に貼られたラベル406を認識し、当該ラベル406の情報に基づいて、サンドイッチ405の賞味期限が切れているか否かを判定する。
制御部120は、サンドイッチ405の賞味期限が切れていると判定した場合には、サンドイッチ405に図45に表されるような投射映像345が投射されるように、投射部130を制御する。投射映像345は、期限切れである旨を作業者に示す映像である。
例えば、作業者は、次のようにして、サンドイッチ405を廃棄するための伝票処理を行うことができる。すなわち、制御部120は、サンドイッチ405に図46に表されるような投射映像346が投射されるように、投射部130を制御する。投射映像346は、作業者からサンドイッチ405を廃棄するか否かの選択を受け付ける映像である。
作業者は、投射映像346に対して操作物体(指)400により操作する。制御部120は、撮像映像において、操作物体400が“Y(Yes)”を表す領域に向かって動いたことを検出した場合には、サンドイッチ405を廃棄することが作業者により選択されたことを認識する。
また、制御部120は、撮像映像において、操作物体400が“N(No)”を表す領域に向かって動いたことを検出した場合には、何もせずに処理を終了する。
一方、前記の如く、サンドイッチ405を廃棄することが作業者により選択されたことを認識した場合には、例えば、制御部120は、予め指定されている店舗のサーバと通信し、当該店舗のサーバに向けてサンドイッチ405が廃棄される旨の情報を送信する。これにより、作業者が行う伝票処理が終了する。すなわち、作業者は、投射映像346における“Y(Yes)”を選択しただけで伝票処理を終了することができる。なお、ここで述べられているインターフェース装置100は、上述したようにサーバと無線通信あるいは有線通信するために、通信機能を備えている。
なお、サンドイッチ405が廃棄される旨の情報を受信した店舗のサーバは、例えば、インターフェース装置100に向けてサンドイッチ405の廃棄に係る伝票処理を終了した旨の情報を送信(返信)する。インターフェース装置100は、当該情報を受信すると、サンドイッチ405に図47に表されるような投射映像347が投射されるように、投射部130を制御する。投射映像347は、伝票処理が完了することを作業者に通知する映像である。
作業者は、投射映像347を確認すると、サンドイッチ405を廃棄用のカゴなどに入れることにより、サンドイッチ405の廃棄処理を実行する。
例えば、作業者がチェックシートを用いて廃棄処理を行った場合、廃棄しなければならない食品を残してしまった等の間違いを作業者は起こしやすい。これに対し、インターフェース装置100を用いて、1つ1つサンドイッチ405の廃棄に関しチェックしていくことで、作業者は、上述したような間違いを防ぐことができる。
− 応用例その2 −
以下に、部品管理に係る作業にインターフェース装置100を利用する具体例を図48乃至図50を参照しながら説明する。
以下に、部品管理に係る作業にインターフェース装置100を利用する具体例を図48乃至図50を参照しながら説明する。
インターフェース装置100を身につけた作業者が、図48に表されるような部品棚407の前に立つと、撮像部110によって部品棚407を撮像する。制御部120は、その撮像映像を画像処理することにより、撮像映像における備品棚407を認識する。インターフェース装置100は、通信機能を備え、当該通信機能を利用してサーバと通信可能となっている。インターフェース装置100は、サーバに対して部品棚407に収納されている部品の種類とその数を問い合わせる。これにより、サーバは、インターフェース装置100に向けて、例えば部品Aが8個、部品棚407に収納されている旨の情報を送信(返信)する。
インターフェース装置100がその情報を受信すると、制御部120は、部品棚407の例えば扉に図48に表されるような投射映像348が投射されるように、投射部130を制御する。投射映像348は、作業者に対して、部品棚407に部品Aが8個収納されている旨を示す映像である。
例えば、作業者は、部品棚407から部品Aを3個ピックアップしたいと考えているとする。あるいは、インターフェース装置100に、部品Aを3個ピックアップすべきである旨の指示がサーバから通知されてもよい。作業者は、部品棚407から部品Aを3個ピックアップした後、投射映像348を、ピックアップした部品の個数に応じて3回タップする。この場合、作業者から見ると、作業者が1回投射映像348をタップする毎に、図49に表されているように投射映像349に表示される数字がカウントアップされていくように見える。図49の例では、作業者が投射映像349を3回タップしたので、“3”という表示が投射されている。
または、インターフェース装置100が、例えば第3具体例で表した数字入力に関する機能を備えている場合には、その機能を利用して、作業者は、部品棚407からピックアップされた部品Aの個数をインターフェース装置100に入力する。
作業者は、その後、予め定められている確定操作を行って、数字“3”をインターフェース装置100に入力する(認識させる)数字として確定させる。その結果、インターフェース装置100(制御部120)は、“3”という数字の入力を認識し、部品棚407に収納されていた部品Aの個数“8”から、作業者によりピックアップされた個数“3”を差し引いて“5”を算出する。制御部120は、その算出結果が反映された図50に表されるような投射映像350が作業棚407の例えば扉に投射されるように、投射部130を制御する。
作業者がその投射映像350を見て、投射映像350に映し出されている部品Aの個数と作業棚407に収納されている部品Aの個数とが合致していることを確認することにより、部品管理に関する作業は完了する。また、インターフェース装置100は、部品棚407から部品Aが3個ピックアップされた旨の情報をサーバに向けて送信する。これにより、サーバで保持している部品管理データが更新される。
このように、インターフェース装置100を用いれば、作業者に分かりやすい作業が可能であるばかりでなく、その場で電子的な部品管理に関する作業が完了する。
− 応用例その3 −
以下に、携帯音楽端末の操作にインターフェース装置100を利用する具体例を図51乃至図53を参照しながら説明する。携帯音楽端末は広く普及しており、どこでも音楽を聴くことのできる便利な装置であるが、操作のためにいちいち鞄などから出す必要があるなどの不便さがある。イヤホンなどに付属した小さな装置で一部の操作を行うことも可能であるが、情報量や操作の内容は限られるし、そもそも小さすぎて操作しづらいという問題もある。インターフェース装置100を用いることによりそれらの不都合を解消することができる。
以下に、携帯音楽端末の操作にインターフェース装置100を利用する具体例を図51乃至図53を参照しながら説明する。携帯音楽端末は広く普及しており、どこでも音楽を聴くことのできる便利な装置であるが、操作のためにいちいち鞄などから出す必要があるなどの不便さがある。イヤホンなどに付属した小さな装置で一部の操作を行うことも可能であるが、情報量や操作の内容は限られるし、そもそも小さすぎて操作しづらいという問題もある。インターフェース装置100を用いることによりそれらの不都合を解消することができる。
インターフェース装置100は、携帯音楽端末と一体として実装されていてもよいし、あるいは、携帯音楽端末と別体に設けられ、当該携帯音楽端末と通信可能に構成されていてもよい。または、インターフェース装置100は、制御部120および投射部130を備えるモジュールと、当該モジュールと通信可能な携帯電話のカメラ(つまり、撮像部110として機能するカメラ)とによって構成されていてもよい。この場合には、例えば、制御部120は携帯音楽端末と通信可能になっている。あるいは、インターフェース装置100は、外部のカメラ(撮像部110)および外部のプロジェクタ(投射部130)と、それらと通信可能な制御部120として機能する制御装置とによって構成されていてもよい。この場合には、制御部120は携帯音楽端末と、外部のカメラと、外部のプロジェクタとそれぞれ通信可能になっている。
例えば、制御部120は、撮影部110による撮影映像に手が映し出されていることを認識すると、手のひらに図51に表されるような投射映像351が投射されるように、投射部130を制御する。投射映像351には、選択中の楽曲の情報351Aおよび状態選択バー351Bが含まれる。状態選択バー351Bには、各種の選択肢が表示されている。
前述した第3具体例と同様に、図52に表されるように、操作物体400が状態選択バー351Bに沿ってスライド移動することにより、制御部120の制御に基づいた投射部130によって、操作物体400の位置に応じた選択肢が投影される。図52の例では、操作物体400(ユーザ)は再生(三角マーク)を選択している。制御部120がその選択情報を認識し、当該情報を例えば携帯音楽端末の制御部に送信することによって、携帯音楽端末により音楽が再生される。
また、例えば、制御部120は、図53に表されるように、左側の丸印の位置に操作物体400が位置していることを認識した場合には、投射映像が、曲目リストの映像(選曲画面)に切り替わるように、投射部130を制御する。さらに、制御部120は、操作物体400が左側の選択用バーに沿ってスライド移動していることを認識している場合には、その操作物体400のスライド位置に応じて、選択対象の曲目が次々と強調表示されるように、投射部130を制御する。さらに、制御部120は、その強調表示された曲目の位置に操作物体400が位置していることを認識した場合には、その曲目が選択されたことを認識する。さらにまた、制御部120は、その選択された曲目の情報を例えば携帯音楽端末の制御部に送信する。
上述したような情報表示等に関わる機能は、例えば、楽曲に関する情報の表示にも応用することができる。さらに、当該機能は、例えば電話に登録されている電話帳の電話番号表示およびその選択機能にも応用することができる。このように、当該機能は様々な機能に応用することができる。
− 応用例その4 −
以下に、テレビなどのリモコンにインターフェース装置100を利用する具体例を図54および図55を参照しながら説明する。ここでは、インターフェース装置100は、リモコンと一体として実装されていてもよいし、リモコンとは別体に設けられ、リモコンと通信可能に構成されていてもよい。あるいは、インターフェース装置100は、外部のカメラ(撮像部110)と、外部のプロジェクタ(投射部130)と、制御部120として機能する制御装置とを有して構成されていてもよい。この場合には、制御装置(制御部120)は、外部のカメラおよび外部のプロジェクタと通信可能になっている。
以下に、テレビなどのリモコンにインターフェース装置100を利用する具体例を図54および図55を参照しながら説明する。ここでは、インターフェース装置100は、リモコンと一体として実装されていてもよいし、リモコンとは別体に設けられ、リモコンと通信可能に構成されていてもよい。あるいは、インターフェース装置100は、外部のカメラ(撮像部110)と、外部のプロジェクタ(投射部130)と、制御部120として機能する制御装置とを有して構成されていてもよい。この場合には、制御装置(制御部120)は、外部のカメラおよび外部のプロジェクタと通信可能になっている。
図54に表すように、インターフェース装置100は、操作面200に対して投射映像354を投射する。投射映像354には、音量制御バー354Aが含まれる。第3具体例と同様に、音量制御バー354Aに沿って操作物体400がスライド移動すると、制御部120は、音量制御バー354Aにおける操作物体400の位置に応じた選択肢を表す投射映像354Bが投射されるように、投射部130を制御する。図54の例では、選択肢(投射映像354B)の映像として、“MUTE(消音)”や、音量レベルを表す“8”が表示されている。
また、投射映像354には、さらに、選局バー355Aが含まれる。上記同様に、図55に表されるように選局バー355Aに沿って操作物体400がスライド移動すると、制御部120は、選局バー355Aにおける操作物体400の位置に応じた選択肢を表す投射映像355Bが投射されるように、投射部130を制御する。図55の例では、選択肢(投射映像355B)の映像として、テレビ放送のチャンネル名を表す“ABC”が表示されている。
なお、インターフェース装置100は、上述したようなテレビのリモコンと同様に、空調機や照明器具等の装置(機器)のリモコンとしての機能を実現することができる。また、リモコンは、通常、赤外線を利用して、テレビ等の本体と通信するのに対し、インターフェース装置100からそのような赤外線を投射してもよい。
− 応用例その5 −
以下に、日本語入力機能を備えた装置にインターフェース装置100を適用する具体例を図56および図57を参照しながら説明する。
以下に、日本語入力機能を備えた装置にインターフェース装置100を適用する具体例を図56および図57を参照しながら説明する。
この具体例では、制御部120の制御に基づいて、投射部130は、図56に表されるような投射映像356を操作面200に投射している。投射映像356は、日本語を入力するために表示される映像であり、投射映像356Aと投射映像356Bとを含んでいる。投射映像356Aは、複数のキー状の映像が表されている映像である。この例では、投射映像356Aは、日本語の平仮名である“あ”、“か”、“さ”、“た”、“な”、“は”、“ま”、“や”、“ら”、“わ”がそれぞれ表示される複数の仮名キーの映像を含んでいる。また、投射映像356Aは、さらに、空白という意味を持つ日本語(片仮名)“スペース”が表されているキーと、改行することを意味する日本語(漢字)“改行”が表されているキーとが含まれている。なお、投射映像356Aにて表される平仮名“あ”、“か”、“さ”、“た”、“な”、“は”、“ま”、“や”、“ら”、“わ”は、何れも、発音する際に母音“あ”が含まれる文字である。
投射映像356Bは、投射映像356Aにおける複数の仮名キーのうち、操作物体400により指示された仮名キーに関連付けられている複数の選択肢を展開して表す映像である。図56の例では、操作物体400は、投射映像356Aにおける仮名キー“な”を指示している。これにより、投射映像356Bとして、仮名キー“な”に関連する複数の選択肢である日本語の平仮名“な”、“に”、“ぬ”、“ね”、“の”がそれぞれ表されているキーの映像が投射されている。
制御部120は、撮像部110による撮像映像に基づいて、投射映像356Bにおける複数の選択肢のキーのうちの一つが操作物体400により指示されたことを検知した場合に、その選択されたキーに対応する文字を入力文字として認識する。
ここで、スマートフォン等におけるいわゆるフリック入力と、この例で述べた日本語入力との差異を説明する。フリック入力では、例えば、操作物体400が投射映像356Aにおける一つのキーの位置で留まると、そのキーに表示されている文字が入力文字として装置に認識される。また、操作物体400が投射映像356Aにおける一つのキーの位置に一旦止まった後に、例えば、或る方向にスライド移動するという動きをする場合がある。この場合には、その操作物体400が一旦止まった位置のキーと、その後のスライド移動した方向とに基づいて定まる文字が入力文字として装置に認識される。このフリック入力においては、次のような誤入力の問題が発生しやすい。つまり、例えば、操作物体400が投射映像356Aにおける一つのキーの位置で留まったことにより、例えば日本語平仮名“な”が入力文字として認識されたとする。しかしながら、実際には、ユーザは、日本語平仮名“な”に関連する日本語平仮名“ね”を入力したかったという場合(誤入力)がある。
これに対し、この具体例では、操作物体400が投射映像356Aにおける一つのキーの位置で留まると、そのキーに表示されている文字に関連する複数の選択肢の映像(投射映像356B)が投射される。この投射映像356Bには、投射映像356Aにて操作物体400が指示した文字も選択肢として含まれる。そして、この投射されている映像と、操作物体400が指示している選択肢の位置とに基づいて定まる文字が入力文字として装置(制御部120)に認識される。つまり、この具体例では、投射映像356Aに対する操作物体400の操作だけでは文字は入力されず、その投射映像356Aに対する操作物体400の操作に応じた投射映像356Bに対する操作物体400の操作によって入力文字が認識される。換言すれば、この具体例では、投射映像356Aに対する操作物体400の操作を認識する基準と、投射映像356Bに対する操作物体400の操作を認識する基準とが異なる。
この具体例では、上述したように、投射映像356Aではなく、選択肢を表す投射映像356Bに基づいて、入力される文字が認識され、かつ、その投射映像356Bの選択肢には、投射映像356Aにて指示されたキーの文字も含まれている。これらのことによって、この具体例のインターフェース装置100は、文字の誤入力を防止することができる。
なお、図57は、図56における投射映像356のその他の例を表す図である。この図57の例では、操作物体400は、投射映像356Aにおける日本語平仮名“は”のキーを指示している。これにより、制御部120の制御に基づいた投射部130によって、日本語平仮名“は”に関連する図57のような複数の選択肢のキー状の映像が投射映像356Bとして投射される。図57の例では、選択肢として、日本語の平仮名“は”、“ば”、“ぱ”、“ひ”、“び”、“ぴ”、“ふ”、“ぶ”、“ぷ”、“へ”、“べ”、“ぺ”、“ほ”、“ぼ”、“ぽ”がそれぞれ表されている。このように、濁音、半濁音を含む文字をも一括表示することにより、インターフェース装置100は、文字を高速に入力できるインターフェースを提供することができる。なお、この図56および図57を利用して説明した具体例では、インターフェース装置100は、日本語文字を表示する例を説明している。これに代えて、例えば、インターフェース装置100は、日本語文字の表示だけでなく、アルファベットや、ウムラウト等の記号、また、それらを組み合わせた文字(顔文字)などを投射映像356Bの選択肢として表示してもよい。このように、この具体例のインターフェース装置100は、様々な種類の文字入力のインターフェースに適用することができる。
<< 第2実施形態 >>
図58は、本発明に係る第2実施形態のインターフェース装置100Iの構成を簡略化して表すブロック図である。このインターフェース装置100Iは、撮像部110Iと、制御部120Iと、投射部130Iとを備える。
図58は、本発明に係る第2実施形態のインターフェース装置100Iの構成を簡略化して表すブロック図である。このインターフェース装置100Iは、撮像部110Iと、制御部120Iと、投射部130Iとを備える。
投射部130Iは、第1の投射映像を投射する。撮像部110Iは、自装置を操作する操作物体と第1の投射映像とを少なくとも含む映像を撮像可能である。制御部120Iは、撮像部110Iが撮像した映像である撮像映像における操作物体の撮像位置と第1の投射映像の撮像位置との関係に基づいて、操作物体による操作情報を認識する。また、制御部120Iは、その認識した操作情報に応じて投射部130Iを制御する。
<< 第3実施形態 >>
図59は、本発明に係る第3実施形態のモジュール500の構成を簡略化して表すブロック図である。図59に表されるように、モジュール500は、電子部品800と通信可能に接続した状態で用いられる。
図59は、本発明に係る第3実施形態のモジュール500の構成を簡略化して表すブロック図である。図59に表されるように、モジュール500は、電子部品800と通信可能に接続した状態で用いられる。
電子部品800は、撮像部810を備える。
モジュール500は、制御部120Jと、投射部130Jとを備える。投射部130Jは、第1の投射映像を投射する。制御部120Jは、電子部品800から、撮像部810が撮像した撮像映像を受信する。そして、制御部120Jは、その撮像映像における操作物体の撮像位置と第1の投射映像の撮像位置との位置関係に基づいて、操作物体の操作情報を認識する。さらに、制御部120Jは、その操作情報に応じて投射部130Jを制御する。
<< 第4実施形態 >>
図60は、本発明に係る第4実施形態の制御装置600の構成を簡略化して表すブロック図である。制御装置600は電子部品900と通信可能に接続される。
図60は、本発明に係る第4実施形態の制御装置600の構成を簡略化して表すブロック図である。制御装置600は電子部品900と通信可能に接続される。
電子部品900は、撮像部910と、投射部930とを備える。なお、撮像部910と、投射部930とは、それぞれ別々の電子部品900に実装されていてもよい。この場合、制御装置600は、撮像部910を備える電子部品900および投射部930を備える別の電子部品900と、通信ネットワークを介して通信可能に接続される。
制御装置600は、制御部120Kを備える。制御部120Kは、撮像部910が撮像した撮像映像を受信する。そして、制御部120Kは、その撮像映像における操作物体の撮像位置と第1の投射映像の撮像位置との関係に基づいて、操作物体による操作情報を認識する。さらに、制御部120Kは、その操作情報に応じて投射部930を制御する。
<< 第5実施形態 >>
図61は、本発明に係る第5実施形態のインターフェース装置100Lの構成を簡略化して表すブロック図である。インターフェース装置100Lは、撮像部110Lと、制御部120Lと、投射部130Lとを備える。
図61は、本発明に係る第5実施形態のインターフェース装置100Lの構成を簡略化して表すブロック図である。インターフェース装置100Lは、撮像部110Lと、制御部120Lと、投射部130Lとを備える。
投射部130Lは、投射映像を投射する。撮像部110Lは、投射映像を撮像する。制御部120Lは、撮像部110Lが撮像した撮像映像における投射映像の撮像位置に基づいて、投射映像が投射されている面(操作面)と撮像部110Lとの位置関係を算出する。
<< 第6実施形態 >>
図62は、本発明に係る第6実施形態のモジュール500Mの構成を簡略化して表すブロック図である。このモジュール500Mは、電子部品800Mと通信可能に接続される。
図62は、本発明に係る第6実施形態のモジュール500Mの構成を簡略化して表すブロック図である。このモジュール500Mは、電子部品800Mと通信可能に接続される。
電子部品800Mは、撮像部810Mを備える。モジュール500Mは、制御部120Mと、投射部130Mとを備える。投射部130Mは、投射映像を投射する。制御部120Mは、撮像部810Mが撮像した撮像映像における投射映像の撮像位置に基づいて、投射映像が投射されている面(操作面)と撮像部810Mとの位置関係を算出する。
<< 第7実施形態 >>
図63は、本発明に係る第7実施形態の制御装置600Nの構成を簡略化して表すブロック図である。制御装置600Nは、電子部品900Nと通信可能に接続される。
図63は、本発明に係る第7実施形態の制御装置600Nの構成を簡略化して表すブロック図である。制御装置600Nは、電子部品900Nと通信可能に接続される。
電子部品900Nは、撮像部910Nと、投射部930Nとを備える。制御装置600Nは制御部120Nを備える。なお、撮像部910Nと、投射部930Nとは、それぞれ別々の電子部品900Nに実装されていてもよい。この場合、制御装置600Nは、撮像部910Nを備える電子部品900Nおよび投射部930Nを備える別の電子部品900Nと、通信ネットワークを介して通信可能に接続される。
制御部120Nは、撮像部910Nが撮像した撮像映像における投射映像の撮像位置の情報に基づいて、投射映像が投射されている面(操作面)と撮像部910Nとの位置関係を算出する。
上述した各実施形態は、適宜組み合わせて実施することが可能である。また、上述した各具体例および各応用例は、適宜組み合わせて実施することが可能である。
また、各ブロック図に表したブロック分けは、説明の便宜上から表されている。各実施形態を例に説明された本発明は、その実装に際して、各ブロック図に示した構成には限定されない。
以上、本発明を実施するための形態について説明したが、上述した実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して認識するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2014年1月10日に出願された日本出願特願2014−003224を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以下、参考形態の例を付記する。
(付記1)
第1の投射映像を投射する投射手段と、
自装置を操作する操作物体と前記第1の投射映像とを少なくとも含む映像を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて、前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する制御手段と、
を備えるインターフェース装置。
第1の投射映像を投射する投射手段と、
自装置を操作する操作物体と前記第1の投射映像とを少なくとも含む映像を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて、前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する制御手段と、
を備えるインターフェース装置。
(付記2)
前記制御手段は、前記操作を受け付けたことに応じて、第2の投射映像を投射するよう前記投射手段を制御し、
前記制御手段は更に、前記撮像映像における、前記操作物体が映っている位置と前記投射手段が投射する前記第2の投射映像が映っている位置との関係に基づいて、前記受け付けた操作の次の操作を受け付ける、
付記1に記載のインターフェース装置。
前記制御手段は、前記操作を受け付けたことに応じて、第2の投射映像を投射するよう前記投射手段を制御し、
前記制御手段は更に、前記撮像映像における、前記操作物体が映っている位置と前記投射手段が投射する前記第2の投射映像が映っている位置との関係に基づいて、前記受け付けた操作の次の操作を受け付ける、
付記1に記載のインターフェース装置。
(付記3)
前記第1の投射映像は、複数の選択肢を表示するための映像であり、
前記制御手段は、前記撮像映像における、前記操作物体の位置と前記第1の投射映像の位置との関係に基づいて、前記複数の選択肢のうちの第1の選択肢を選択する操作を受け付け、
前記第2の投射映像は、前記第1の選択肢に関連する選択肢を表示するための映像である、
付記2に記載のインターフェース装置。
前記第1の投射映像は、複数の選択肢を表示するための映像であり、
前記制御手段は、前記撮像映像における、前記操作物体の位置と前記第1の投射映像の位置との関係に基づいて、前記複数の選択肢のうちの第1の選択肢を選択する操作を受け付け、
前記第2の投射映像は、前記第1の選択肢に関連する選択肢を表示するための映像である、
付記2に記載のインターフェース装置。
(付記4)
前記制御手段は、前記撮像映像における、前記操作物体が映っている位置と前記投射映像が映っている位置との関係、および、前記操作物体の動きに基づいて前記操作物体による操作を受け付け、
前記制御手段は、前記第1の投射映像との関係において操作を受け付ける場合と、前記第2の投射映像との関係において操作を受け付ける場合とで、互いに異なる基準に従って操作を受け付ける、
付記3に記載のインターフェース装置。
前記制御手段は、前記撮像映像における、前記操作物体が映っている位置と前記投射映像が映っている位置との関係、および、前記操作物体の動きに基づいて前記操作物体による操作を受け付け、
前記制御手段は、前記第1の投射映像との関係において操作を受け付ける場合と、前記第2の投射映像との関係において操作を受け付ける場合とで、互いに異なる基準に従って操作を受け付ける、
付記3に記載のインターフェース装置。
(付記5)
前記制御手段は、前記第2の投射映像が前記第1の投射映像に重畳された態様で投射されるよう前記投射手段を制御し、
前記制御手段は、撮像映像に前記第2の投射映像が映っている場合において、撮像映像における前記操作物体の速度または加速度に基づいて、
前記第2の投射映像が示している複数の選択肢のうち前記第1の選択肢に対応する情報の入力を受け付ける処理を実行するか、
あるいは、
再度前記第1の投射映像を投射するよう前記投射手段を制御する処理を実行する、
付記4に記載のインターフェース装置。
前記制御手段は、前記第2の投射映像が前記第1の投射映像に重畳された態様で投射されるよう前記投射手段を制御し、
前記制御手段は、撮像映像に前記第2の投射映像が映っている場合において、撮像映像における前記操作物体の速度または加速度に基づいて、
前記第2の投射映像が示している複数の選択肢のうち前記第1の選択肢に対応する情報の入力を受け付ける処理を実行するか、
あるいは、
再度前記第1の投射映像を投射するよう前記投射手段を制御する処理を実行する、
付記4に記載のインターフェース装置。
(付記6)
複数の前記操作物体によって自装置が操作される場合に、
前記制御手段は、前記複数の操作物体のうち第1の操作物体の近傍に前記第1の投射映像を投射し、前記第1の操作物体とは異なる第2の操作物体の近傍に、前記第2の投射映像を投射するよう前記投射手段を制御する、
付記2ないし5のいずれかに記載のインターフェース装置。
複数の前記操作物体によって自装置が操作される場合に、
前記制御手段は、前記複数の操作物体のうち第1の操作物体の近傍に前記第1の投射映像を投射し、前記第1の操作物体とは異なる第2の操作物体の近傍に、前記第2の投射映像を投射するよう前記投射手段を制御する、
付記2ないし5のいずれかに記載のインターフェース装置。
(付記7)
前記撮像手段は、前記第1の操作物体、前記第1の投射映像、前記第2の操作物体、および、前記第2の投射映像を含む映像を撮像し、
前記制御手段は、前記撮像映像における、前記第1の操作物体が映っている位置と前記第1の投射映像が映っている位置との関係、および、前記撮像映像における、前記第2の操作物体が映っている位置と前記第2の投射映像が映っている位置との関係に基づいて操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行する、
付記6に記載のインターフェース装置。
前記撮像手段は、前記第1の操作物体、前記第1の投射映像、前記第2の操作物体、および、前記第2の投射映像を含む映像を撮像し、
前記制御手段は、前記撮像映像における、前記第1の操作物体が映っている位置と前記第1の投射映像が映っている位置との関係、および、前記撮像映像における、前記第2の操作物体が映っている位置と前記第2の投射映像が映っている位置との関係に基づいて操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行する、
付記6に記載のインターフェース装置。
(付記8)
前記制御手段は、複数の選択肢のうちから、前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて定まるある選択肢の選択を受け付け、前記ある選択肢に対応する映像である第2の投射映像を前記操作物体の近傍に投射するよう前記投射手段を制御し、
前記制御手段は更に、
前記撮像映像に前記第2の投射映像が含まれている状態において、前記撮像映像において前記操作物体による特定の動作を検出した場合に、前記ある選択肢に対応する情報の入力を受け付ける、
付記1に記載のインターフェース装置。
前記制御手段は、複数の選択肢のうちから、前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて定まるある選択肢の選択を受け付け、前記ある選択肢に対応する映像である第2の投射映像を前記操作物体の近傍に投射するよう前記投射手段を制御し、
前記制御手段は更に、
前記撮像映像に前記第2の投射映像が含まれている状態において、前記撮像映像において前記操作物体による特定の動作を検出した場合に、前記ある選択肢に対応する情報の入力を受け付ける、
付記1に記載のインターフェース装置。
(付記9)
前記特定の動作は、
前記撮像映像において、前記操作物体が映っている位置が前記第1の投射映像が映っている位置との関係において前記特定の選択肢に対応する位置に所定時間以上留まる動作、
または、
前記撮像映像において、前記操作物体が映っている位置が、前記第2の投射映像の映っている方向若しくは前記第2の投射映像の映っている方向とは反対の方向に向かって、所定の速度以上若しくは加速度以上で変化する動作
である、付記8に記載のインターフェース装置。
前記特定の動作は、
前記撮像映像において、前記操作物体が映っている位置が前記第1の投射映像が映っている位置との関係において前記特定の選択肢に対応する位置に所定時間以上留まる動作、
または、
前記撮像映像において、前記操作物体が映っている位置が、前記第2の投射映像の映っている方向若しくは前記第2の投射映像の映っている方向とは反対の方向に向かって、所定の速度以上若しくは加速度以上で変化する動作
である、付記8に記載のインターフェース装置。
(付記10)
前記操作物体は、前記インターフェース装置を操作するユーザの人指し指であり、
前記制御手段は、前記撮像映像において前記第1の投射映像と前記ユーザの人指し指とが映っていることを検出すると、前記ユーザの人指し指の近傍であり当該ユーザの親指の近傍の領域および当該ユーザの中指の近傍の領域のうちの一方の領域に第2の投射映像を投射し、前記ユーザの人指し指の近傍であり当該ユーザの親指の近傍の領域および当該ユーザの中指の近傍の領域のうちの他方の領域に第3の投射映像を投射するよう前記投射手段を制御し、
前記制御手段は更に、
前記撮像映像における、前記第2の投射映像が映っている位置と前記ユーザの人指し指が映っている位置との位置関係に応じて、第1の操作を受け付け、
前記撮像映像における、前記第3の投射映像が映っている位置と前記ユーザの人指し指が映っている位置との位置関係に応じて第2の操作を受け付ける、
付記1に記載のインターフェース装置。
前記操作物体は、前記インターフェース装置を操作するユーザの人指し指であり、
前記制御手段は、前記撮像映像において前記第1の投射映像と前記ユーザの人指し指とが映っていることを検出すると、前記ユーザの人指し指の近傍であり当該ユーザの親指の近傍の領域および当該ユーザの中指の近傍の領域のうちの一方の領域に第2の投射映像を投射し、前記ユーザの人指し指の近傍であり当該ユーザの親指の近傍の領域および当該ユーザの中指の近傍の領域のうちの他方の領域に第3の投射映像を投射するよう前記投射手段を制御し、
前記制御手段は更に、
前記撮像映像における、前記第2の投射映像が映っている位置と前記ユーザの人指し指が映っている位置との位置関係に応じて、第1の操作を受け付け、
前記撮像映像における、前記第3の投射映像が映っている位置と前記ユーザの人指し指が映っている位置との位置関係に応じて第2の操作を受け付ける、
付記1に記載のインターフェース装置。
(付記11)
投射映像を投射する投射手段と、
前記投射映像を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における、前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と、
を備えるインターフェース装置。
投射映像を投射する投射手段と、
前記投射映像を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における、前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と、
を備えるインターフェース装置。
(付記12)
前記撮像手段は、自装置を操作する操作物体、および、前記投射映像を含む映像を撮像し、
前記制御手段は、前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行し、
前記投射映像は、前記操作物体との位置関係に基づいて前記インターフェース装置に対する操作に利用される第1の領域と、前記第1の領域とは異なる領域であって前記射映像が投射されている面と前記撮像手段との位置関係を算出するのに利用される第2の領域とを含む、
付記11に記載のインターフェース装置。
前記撮像手段は、自装置を操作する操作物体、および、前記投射映像を含む映像を撮像し、
前記制御手段は、前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行し、
前記投射映像は、前記操作物体との位置関係に基づいて前記インターフェース装置に対する操作に利用される第1の領域と、前記第1の領域とは異なる領域であって前記射映像が投射されている面と前記撮像手段との位置関係を算出するのに利用される第2の領域とを含む、
付記11に記載のインターフェース装置。
(付記13)
前記投射手段は、
レーザ光を照射するレーザ光源と、
前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、を含み、
前記制御手段は、前記受け付けた操作の内容に応じて、前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する、
付記1ないし12のいずれかに記載のインターフェース装置。
前記投射手段は、
レーザ光を照射するレーザ光源と、
前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、を含み、
前記制御手段は、前記受け付けた操作の内容に応じて、前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する、
付記1ないし12のいずれかに記載のインターフェース装置。
(付記14)前記素子は、複数の受光領域を有し、それぞれの前記受光領域は、当該受光領域に入射されたレーザ光の位相を変調して出射し、
前記制御手段は、それぞれの前記受光領域について、当該受光領域に入射された光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータを変化させるよう前記素子を制御する、
付記13に記載のインターフェース装置。
前記制御手段は、それぞれの前記受光領域について、当該受光領域に入射された光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータを変化させるよう前記素子を制御する、
付記13に記載のインターフェース装置。
(付記15)
付記1から14のいずれかに記載のインターフェース装置が組み込まれた、携帯電子機器。
付記1から14のいずれかに記載のインターフェース装置が組み込まれた、携帯電子機器。
(付記16)
付記1から14のいずれかに記載のインターフェース装置が組み込まれた、装身具。
付記1から14のいずれかに記載のインターフェース装置が組み込まれた、装身具。
(付記17)
電子機器に組み込まれて用いられるモジュールであって、
第1の投射映像を投射する投射手段と、
自装置を操作する操作物体と前記第1の投射映像とを少なくとも含む映像を受信し、前記受信した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行する制御手段と、
を具備するモジュール。
電子機器に組み込まれて用いられるモジュールであって、
第1の投射映像を投射する投射手段と、
自装置を操作する操作物体と前記第1の投射映像とを少なくとも含む映像を受信し、前記受信した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行する制御手段と、
を具備するモジュール。
(付記18)
第1の投射映像を投射する投射手段を制御する制御装置であって、
自装置を操作する操作物体と第1の投射映像とを少なくとも含む映像を受信し、前記受信した映像である撮像映像における前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する信号を前記投射手段に送信する、制御装置。
第1の投射映像を投射する投射手段を制御する制御装置であって、
自装置を操作する操作物体と第1の投射映像とを少なくとも含む映像を受信し、前記受信した映像である撮像映像における前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する信号を前記投射手段に送信する、制御装置。
(付記19)
撮像手段と、第1の投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータによって実行される制御方法であって、
自装置を操作する操作物体と前記第1の投射映像とを少なくとも含む映像を撮像するよう前記撮像手段を制御し、
前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行する、
制御方法。
撮像手段と、第1の投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータによって実行される制御方法であって、
自装置を操作する操作物体と前記第1の投射映像とを少なくとも含む映像を撮像するよう前記撮像手段を制御し、
前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行する、
制御方法。
(付記20)
撮像手段と、第1の投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータに、
自装置を操作する操作物体と前記第1の投射映像とを少なくとも含む映像を撮像するよう前記撮像手段を制御する処理と、
前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理と、
を実行させるプログラム。
撮像手段と、第1の投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータに、
自装置を操作する操作物体と前記第1の投射映像とを少なくとも含む映像を撮像するよう前記撮像手段を制御する処理と、
前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第1の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理と、
を実行させるプログラム。
(付記21)
撮像手段を備える電子機器に組み込まれて用いられるモジュールであって、
投射映像を投射する投射手段と、
前記撮像手段が撮像した映像である撮像映像における、前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と、
を具備するモジュール。
撮像手段を備える電子機器に組み込まれて用いられるモジュールであって、
投射映像を投射する投射手段と、
前記撮像手段が撮像した映像である撮像映像における、前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と、
を具備するモジュール。
(付記22)
撮像手段と、投射映像を投射する投射手段と、を備える電子機器を制御する制御装置であって、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する、制御装置。
撮像手段と、投射映像を投射する投射手段と、を備える電子機器を制御する制御装置であって、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する、制御装置。
(付記23)
撮像手段と、投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータによって実行される制御方法であって、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する、制御方法。
撮像手段と、投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータによって実行される制御方法であって、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する、制御方法。
(付記24)
撮像手段と、投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータに、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する処理を実行させる、プログラム。
撮像手段と、投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータに、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する処理を実行させる、プログラム。
本発明は例えば、認識精度の高い入力機能を有するインターフェース装置の実現に応用することができる。
1 CPU
2 記憶部
100 インターフェース装置
110 撮像部
120 制御部
130 投射部
200 操作面
300 投射映像
400 操作物体
500 モジュール
600 制御装置
800 電子部品
900 電子部品
2 記憶部
100 インターフェース装置
110 撮像部
120 制御部
130 投射部
200 操作面
300 投射映像
400 操作物体
500 モジュール
600 制御装置
800 電子部品
900 電子部品
Claims (18)
- 第1の投射映像を投射する投射手段と、
前記第1の投射映像が投射されている領域を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像に前記第1の投射映像が映っていると共に操作物体が映っている場合には、前記撮影映像における前記第1の投射映像が映っている撮像位置と前記操作物体が映っている撮像位置との位置関係に基づいて、前記操作物体による操作情報を認識する制御手段と、
を備えるインターフェース装置。 - 前記制御手段は、前記操作情報に応じて、第2の投射映像を投射するように前記投射手段を制御し、
前記制御手段は、さらに、前記撮像映像における前記操作物体の撮像位置と前記投射手段による前記第2の投射映像の撮像位置との位置関係に基づいて、前記操作物体による次の操作情報を認識する請求項1に記載のインターフェース装置。 - 前記第1の投射映像は、複数の選択肢が表示されている映像であり、
前記制御手段は、前記撮像映像における前記操作物体の撮像位置と前記第1の投射映像の撮像位置との位置関係に基づいて、前記複数の選択肢のうちの一つが選択された操作の情報を認識し、
前記第2の投射映像は、前記第1の選択肢に関連する選択肢が表示されている映像である請求項2に記載のインターフェース装置。 - 前記撮影映像における前記第1の投射映像の撮像位置を利用して前記操作物体による操作情報を認識する場合に前記制御手段が用いる基準と、前記撮影映像における前記第2の投射映像の撮像位置を利用して前記操作物体による操作情報を認識する場合に前記制御手段が用いる基準とが異なっている請求項3に記載のインターフェース装置。
- 前記投射手段は、前記第2の投射映像を前記第1の投射映像に重畳する態様でもって投射する請求項2又は請求項3又は請求項4に記載のインターフェース装置。
- 前記制御手段は、前記位置関係に加えて、前記操作物体の動きの情報をも利用して、前記操作物体による操作情報を認識する請求項1乃至請求項5の何れか一つに記載のインターフェース装置。
- 前記制御手段は、前記操作物体が所定時間以上留まっている動作を検出した場合には、その操作物体が留まっている位置に投射されている前記投射映像に基づいて前記操作物体による操作情報を認識するか、あるいは、
前記制御手段は、前記操作物体が所定の速度以上あるいは所定の加速度以上で直線状に移動している動作を検出した場合には、その操作物体が向かっている方向に位置する前記投射映像に基づいて前記操作物体による操作情報を認識するか、あるいは、
前記制御手段は、前記操作物体が所定の速度以上あるいは所定の加速度以上で直線状に移動している動作を検出した場合には、その操作物体がその動きを開始した位置に投射されている前記投射映像に基づいて前記操作物体による操作情報を認識する請求項6記載のインターフェース装置。 - 前記制御手段は、複数種の前記操作物体を識別する機能を有し、
前記制御手段は、前記撮影映像に、複数種の前記操作物体が映し出されている場合には、前記各操作物体の近傍にそれぞれ別々の投射映像が投射されるように、前記投射手段を制御する請求項1乃至請求項7の何れか一つに記載のインターフェース装置。 - 前記操作物体の一つは、ユーザの親指であり、前記操作物体の別の一つは、前記ユーザの人差し指であり、
前記制御手段は、前記ユーザの前記親指と前記人差し指を含む領域に前記第1の投射映像が投射されるように前記投射手段を制御し、また、前記親指の近傍と、前記人差し指の近傍とには、それぞれ、互いに異なる投射映像が投射されるように前記投射手段を制御し、
さらに、前記制御手段は、前記親指の撮像位置と前記親指の近傍に投射されている前記投射映像の撮像位置との位置関係に基づいて、前記親指による操作情報を認識し、また、前記人差し指の撮像位置と前記人差し指の近傍に投射されている前記投射映像の撮像位置との位置関係に基づいて、前記人差し指による操作情報を認識する請求項8に記載のインターフェース装置。 - 投射映像を投射する投射手段と、
前記投射映像が投射されている領域を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている撮像位置の情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と
を備えるインターフェース装置。 - 前記制御手段は、前記撮像手段が撮像した映像である撮像映像に前記投射映像が映っていると共に操作物体が映っている場合には、前記撮影映像における前記投射映像が映っている撮像位置と前記操作物体が映っている撮像位置との位置関係に基づいて、前記操作物体による操作情報を認識し、
さらに、前記投射手段による前記投射映像には、前記操作物体による前記操作情報を認識する処理にて利用される映像領域と、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する処理にて利用される映像領域とが含まれている請求項10に記載のインターフェース装置。 - 前記投射手段は、レーザ光を照射するレーザ光源と、入射した前記レーザ光の位相を変調し当該変調後のレーザ光を出射する素子とを含み、
前記制御手段は、前記認識した操作情報に応じて、前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する請求項1乃至請求項11の何れか一つに記載のインターフェース装置。 - 前記素子は、複数の受光領域を有し、前記各受光領域は、当該受光領域に入射したレーザ光の位相を変調して出射し、
前記制御手段は、前記各受光領域について、当該受光領域に入射した光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータが変化するように前記素子を制御する請求項12に記載のインターフェース装置。 - 請求項1乃至請求項13の何れか一つのインターフェース装置を備えた可搬装置。
- 制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、当該操作情報に応じて前記投射手段を制御する制御装置。
- 請求項15に記載の制御装置と、
当該制御装置により制御される投射手段と
を備えるモジュール。 - 制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、
当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、
前記操作情報に応じて前記投射手段を制御する制御方法。 - 制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識する処理と、
前記操作情報に応じて前記投射手段を制御する処理と、
をコンピュータに実行させるコンピュータプログラムを保持しているプログラム記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014003224 | 2014-01-10 | ||
JP2014003224 | 2014-01-10 | ||
PCT/JP2015/000030 WO2015105044A1 (ja) | 2014-01-10 | 2015-01-07 | インターフェース装置、可搬装置、制御装置、モジュール、制御方法およびプログラム記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2015105044A1 true JPWO2015105044A1 (ja) | 2017-03-23 |
Family
ID=53523874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015556783A Pending JPWO2015105044A1 (ja) | 2014-01-10 | 2015-01-07 | インターフェース装置、可搬装置、制御装置、モジュール、制御方法およびコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20160349926A1 (ja) |
JP (1) | JPWO2015105044A1 (ja) |
WO (1) | WO2015105044A1 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11106314B2 (en) | 2015-04-21 | 2021-08-31 | Dell Products L.P. | Continuous calibration of an information handling system projected user interface |
US9983717B2 (en) | 2015-04-21 | 2018-05-29 | Dell Products L.P. | Disambiguation of false touch inputs at an information handling system projected user interface |
US9804733B2 (en) | 2015-04-21 | 2017-10-31 | Dell Products L.P. | Dynamic cursor focus in a multi-display information handling system environment |
US9791979B2 (en) | 2015-04-21 | 2017-10-17 | Dell Products L.P. | Managing inputs at an information handling system by adaptive infrared illumination and detection |
US9804718B2 (en) * | 2015-04-21 | 2017-10-31 | Dell Products L.P. | Context based peripheral management for interacting with an information handling system |
US9690400B2 (en) | 2015-04-21 | 2017-06-27 | Dell Products L.P. | Information handling system interactive totems |
US11243640B2 (en) | 2015-04-21 | 2022-02-08 | Dell Products L.P. | Information handling system modular capacitive mat with extension coupling devices |
US9921644B2 (en) | 2015-04-21 | 2018-03-20 | Dell Products L.P. | Information handling system non-linear user interface |
JP6354653B2 (ja) * | 2015-04-25 | 2018-07-11 | 京セラドキュメントソリューションズ株式会社 | 拡張現実操作システムおよび拡張現実操作プログラム |
JP6631181B2 (ja) * | 2015-11-13 | 2020-01-15 | セイコーエプソン株式会社 | 画像投射システム、プロジェクター、及び、画像投射システムの制御方法 |
EP3377358B1 (en) * | 2015-11-20 | 2021-04-21 | Harman International Industries, Incorporated | Dynamic reconfigurable display knobs |
CN107015736B (zh) * | 2016-01-27 | 2020-08-21 | 北京搜狗科技发展有限公司 | 一种按键处理方法和装置、一种用于按键处理的装置 |
JP6763434B2 (ja) * | 2016-10-27 | 2020-09-30 | 日本電気株式会社 | 情報入力装置および情報入力方法 |
US10139973B2 (en) | 2016-11-09 | 2018-11-27 | Dell Products L.P. | Information handling system totem tracking management |
US10139951B2 (en) | 2016-11-09 | 2018-11-27 | Dell Products L.P. | Information handling system variable capacitance totem input management |
US10146366B2 (en) | 2016-11-09 | 2018-12-04 | Dell Products L.P. | Information handling system capacitive touch totem with optical communication support |
US10496216B2 (en) | 2016-11-09 | 2019-12-03 | Dell Products L.P. | Information handling system capacitive touch totem with optical communication support |
US10139930B2 (en) | 2016-11-09 | 2018-11-27 | Dell Products L.P. | Information handling system capacitive touch totem management |
US20190369807A1 (en) * | 2017-02-13 | 2019-12-05 | Sony Corporation | Information processing device, information processing method, and program |
FR3063821B1 (fr) * | 2017-03-10 | 2021-07-30 | Inst Mines Telecom | Interface homme machine |
JP6859863B2 (ja) * | 2017-06-15 | 2021-04-14 | コニカミノルタ株式会社 | 情報処理装置及びプログラム |
US10459528B2 (en) | 2018-02-28 | 2019-10-29 | Dell Products L.P. | Information handling system enhanced gesture management, control and detection |
US10795502B2 (en) | 2018-06-28 | 2020-10-06 | Dell Products L.P. | Information handling system touch device with adaptive haptic response |
US10664101B2 (en) | 2018-06-28 | 2020-05-26 | Dell Products L.P. | Information handling system touch device false touch detection and mitigation |
US10852853B2 (en) | 2018-06-28 | 2020-12-01 | Dell Products L.P. | Information handling system touch device with visually interactive region |
US10635199B2 (en) | 2018-06-28 | 2020-04-28 | Dell Products L.P. | Information handling system dynamic friction touch device for touchscreen interactions |
US10761618B2 (en) | 2018-06-28 | 2020-09-01 | Dell Products L.P. | Information handling system touch device with automatically orienting visual display |
US10817077B2 (en) | 2018-06-28 | 2020-10-27 | Dell Products, L.P. | Information handling system touch device context aware input tracking |
JP7247519B2 (ja) * | 2018-10-30 | 2023-03-29 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
KR102207067B1 (ko) * | 2018-12-28 | 2021-01-25 | 이진우 | 홀로그램 기반의 문자 인식 방법 및 그 장치 |
CN111093066A (zh) * | 2019-12-03 | 2020-05-01 | 耀灵人工智能(浙江)有限公司 | 一种动态平面投影方法及系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006104132A1 (ja) * | 2005-03-28 | 2006-10-05 | Matsushita Electric Industrial Co., Ltd. | ユーザインタフェイスシステム |
JP2006268209A (ja) * | 2005-03-23 | 2006-10-05 | Akinori Yoshino | ユーザの身体動作による遠隔命令入力装置 |
JP2008134793A (ja) * | 2006-11-28 | 2008-06-12 | Fujifilm Corp | 電子的手書入力装置 |
US20100199232A1 (en) * | 2009-02-03 | 2010-08-05 | Massachusetts Institute Of Technology | Wearable Gestural Interface |
JP2010534895A (ja) * | 2007-07-27 | 2010-11-11 | ジェスチャー テック,インコーポレイテッド | 高度なカメラをベースとした入力 |
JP2012108771A (ja) * | 2010-11-18 | 2012-06-07 | Panasonic Corp | 画面操作システム |
WO2012173001A1 (ja) * | 2011-06-13 | 2012-12-20 | シチズンホールディングス株式会社 | 情報入力装置 |
JP2013008235A (ja) * | 2011-06-24 | 2013-01-10 | Toshiba Corp | 情報処理装置 |
JP2013061552A (ja) * | 2011-09-14 | 2013-04-04 | Ricoh Co Ltd | プロジェクタ装置および操作検出方法 |
JP2013074601A (ja) * | 2011-09-29 | 2013-04-22 | Manabu Chijimatsu | 類推型注視点検出及び携帯情報端末操作 |
JP2013182342A (ja) * | 2012-02-29 | 2013-09-12 | Sharp Corp | 入力装置、入力装置の制御方法、制御プログラム、および記録媒体 |
JP2013218430A (ja) * | 2012-04-05 | 2013-10-24 | Seiko Epson Corp | 入力装置、プロジェクター、表示システム、及び入力方法 |
WO2014155885A1 (ja) * | 2013-03-27 | 2014-10-02 | シャープ株式会社 | 入力装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8890903B2 (en) * | 2010-12-21 | 2014-11-18 | Syndiant, Inc. | Spatial light modulator with storage reducer |
-
2015
- 2015-01-07 JP JP2015556783A patent/JPWO2015105044A1/ja active Pending
- 2015-01-07 US US15/110,486 patent/US20160349926A1/en not_active Abandoned
- 2015-01-07 WO PCT/JP2015/000030 patent/WO2015105044A1/ja active Application Filing
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006268209A (ja) * | 2005-03-23 | 2006-10-05 | Akinori Yoshino | ユーザの身体動作による遠隔命令入力装置 |
WO2006104132A1 (ja) * | 2005-03-28 | 2006-10-05 | Matsushita Electric Industrial Co., Ltd. | ユーザインタフェイスシステム |
JP2008134793A (ja) * | 2006-11-28 | 2008-06-12 | Fujifilm Corp | 電子的手書入力装置 |
JP2010534895A (ja) * | 2007-07-27 | 2010-11-11 | ジェスチャー テック,インコーポレイテッド | 高度なカメラをベースとした入力 |
US20100199232A1 (en) * | 2009-02-03 | 2010-08-05 | Massachusetts Institute Of Technology | Wearable Gestural Interface |
JP2012108771A (ja) * | 2010-11-18 | 2012-06-07 | Panasonic Corp | 画面操作システム |
WO2012173001A1 (ja) * | 2011-06-13 | 2012-12-20 | シチズンホールディングス株式会社 | 情報入力装置 |
JP2013008235A (ja) * | 2011-06-24 | 2013-01-10 | Toshiba Corp | 情報処理装置 |
JP2013061552A (ja) * | 2011-09-14 | 2013-04-04 | Ricoh Co Ltd | プロジェクタ装置および操作検出方法 |
JP2013074601A (ja) * | 2011-09-29 | 2013-04-22 | Manabu Chijimatsu | 類推型注視点検出及び携帯情報端末操作 |
JP2013182342A (ja) * | 2012-02-29 | 2013-09-12 | Sharp Corp | 入力装置、入力装置の制御方法、制御プログラム、および記録媒体 |
JP2013218430A (ja) * | 2012-04-05 | 2013-10-24 | Seiko Epson Corp | 入力装置、プロジェクター、表示システム、及び入力方法 |
WO2014155885A1 (ja) * | 2013-03-27 | 2014-10-02 | シャープ株式会社 | 入力装置 |
Also Published As
Publication number | Publication date |
---|---|
US20160349926A1 (en) | 2016-12-01 |
WO2015105044A1 (ja) | 2015-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015105044A1 (ja) | インターフェース装置、可搬装置、制御装置、モジュール、制御方法およびプログラム記憶媒体 | |
US11816296B2 (en) | External user interface for head worn computing | |
US11886638B2 (en) | External user interface for head worn computing | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
US20170336872A1 (en) | External user interface for head worn computing | |
US20170100664A1 (en) | External user interface for head worn computing | |
US20170017323A1 (en) | External user interface for head worn computing | |
US20160026239A1 (en) | External user interface for head worn computing | |
JP4681629B2 (ja) | 表示デバイスのキャリブレーション方法及び装置 | |
US20160027211A1 (en) | External user interface for head worn computing | |
US20150205351A1 (en) | External user interface for head worn computing | |
US20160180594A1 (en) | Augmented display and user input device | |
CN106575151A (zh) | 用于头戴式计算的外部用户接口 | |
WO2015179877A2 (en) | External user interface for head worn computing | |
US20150220149A1 (en) | Systems and methods for a virtual grasping user interface | |
WO2017015093A1 (en) | External user interface for head worn computing | |
US9678663B2 (en) | Display system and operation input method | |
KR102360176B1 (ko) | 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 | |
JP2013171529A (ja) | 操作入力装置、操作判定方法およびプログラム | |
US12032754B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
CN117480483A (zh) | 用于增强现实设备的文本输入方法 | |
CN110291495B (zh) | 信息处理系统、信息处理方法及程序 | |
JP6481360B2 (ja) | 入力方法、入力プログラムおよび入力装置 | |
JP6169462B2 (ja) | 情報処理装置及び情報処理方法 | |
CN111061372B (zh) | 设备控制方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190416 |