JP6816727B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6816727B2
JP6816727B2 JP2017557769A JP2017557769A JP6816727B2 JP 6816727 B2 JP6816727 B2 JP 6816727B2 JP 2017557769 A JP2017557769 A JP 2017557769A JP 2017557769 A JP2017557769 A JP 2017557769A JP 6816727 B2 JP6816727 B2 JP 6816727B2
Authority
JP
Japan
Prior art keywords
input
detection
operating body
estimated
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017557769A
Other languages
English (en)
Other versions
JPWO2017110257A1 (ja
Inventor
忠義 村上
忠義 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017110257A1 publication Critical patent/JPWO2017110257A1/ja
Application granted granted Critical
Publication of JP6816727B2 publication Critical patent/JP6816727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、情報処理装置および情報処理方法に関する。
近年、入力操作に用いられる操作体の多様化に伴い、当該操作体に適応した様々な入力装置が開発されている。具体的には、ペン（スタイラス）もしくは手指またはその両方を操作体とし、当該操作体の検出面への近接すなわち接近または接触に基づき入力を検出する入力装置が製品化されている。
このようなペンおよび手指の両方を操作体とする入力装置のうち、特に表示部と入力部とが一体化した入力装置が、手作業で画像を製作するクリエイタによって利用されるようになってきている。これは、当該入力装置が、表示画面上にペンで直接的に入力することができることによる入力の繊細さおよび紙に描くような直感性、ならびに物を介さずに手指で直接的に入力することができることによる操作の簡易性を有するためであると考えられる。
他方で、当該ペンおよび手指の両方を操作体とする入力装置では、ユーザの意図しない入力が検出されることがある。具体的には、ペンおよび手指の両方が感圧方式で検出される場合、ペンによる接触と手指（人体）による接触とを区別することが困難である。なお、これは静電容量方式であっても生じる場合がある。そのため、例えばペンによる入力中において当該ペンを持つ手が入力検出面上に接触した際に、ペンおよび手の両方の接触が入力として検出される。従って、ユーザの意図しない入力が検出されることになる。
これに対し、当該ユーザの意図しない入力が検出されることを抑制し、または当該ユーザの意図しない入力を無効化するための、いわゆるパームリジェクション（またはパームキャンセル）と呼ばれる技術が提供されている。例えば、特許文献１では、タッチパネルと、当該タッチパネルにおけるタッチ位置とパームリジェクションエリアとの対応関係を記憶するメモリと、当該対応関係に基づいて、検出されるタッチ位置に対応するパームリジェクションエリア内のタッチ操作を無効にするプロセッサを備える電子機器に係る発明が開示されている。
特開２０１２−２２１３５８号公報
しかし、特許文献１で開示される電子機器であっても、入力を操作するユーザの意図に沿わない処理が行われる場合がある。例えば、予め記憶される、タッチ位置と対応するパームリジェクションエリアと異なる場所にユーザの意図しない接触（以下、パームの接触とも称する。）が生じる場合、当該パームの接触により検出されるタッチ操作は無効にされない。その結果、当該タッチ操作に基づいてユーザの意図しない表示処理等が実行されてしまう。
そこで、本開示では、入力を操作するユーザの意図に沿った処理を行わせることが可能な仕組みを提案する。
本開示によれば、操作体の近接に応じた入力の検出結果に基づく前記入力の検出位置に係る情報と、前記操作体を被写体とする撮像により得られる画像情報を用いて推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御する制御部、を備える、情報処理装置が提供される。
また、本開示によれば、プロセッサにより、操作体の近接に応じた入力の検出結果に基づく前記入力の検出位置に係る情報と、前記操作体を被写体とする撮像により得られる画像情報を用いて推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御すること、を含む、情報処理方法が提供される。
また、本開示によれば、操作体の近接に応じた入力の検出結果に基づく前記入力の検出位置に係る情報と、前記操作体を被写体とする撮像により得られる画像情報を用いて推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御する制御機能、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、入力を操作するユーザの意図に沿った処理を行わせることが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の外観構成の例を概略的に示す図である。 従来の接触面積に基づくパームリジェクション技術を説明するための図である。 従来の検出位置に基づくパームリジェクション技術を説明するための図である。 従来の複数の検出方式を併用したパームリジェクション技術を説明するための図である。 本開示の第１の実施形態に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 同実施形態に係る情報処理装置におけるＩＲマーカの設置例を示す図である。 同実施形態における空間座標系の設定例を示す図である。 同実施形態におけるユーザの入力操作の例を示す図である。 ユーザが操作する様子を検出面に対して前述したＺ軸方向から見下ろした図である。 ユーザが操作する様子を検出面に対して前述したＸ軸方向から見た図である。 同実施形態に係る情報処理装置の処理の概要を概念的に示すフローチャートである。 同実施形態に係る情報処理装置における既知の接触点に係る処理を概念的に示すフローチャートである。 同実施形態に係る情報処理装置における新規の接触点に係る処理を概念的に示すフローチャートである。 ペンによる入力の例を示す図である。 手指による入力の例および入力補間の例を示す図である。 ペンを持つ手の指による入力操作の例を示す図である。 ペンを持つ手の指による入力操作が行われることを考慮しない場合における処理の例を説明するための図である。 本開示の第２の実施形態に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 同実施形態におけるユーザの入力操作の例を示す図である。 本開示の第３の実施形態におけるマルチタッチ操作の例を示す図である。 同実施形態に係る情報処理装置におけるマルチタッチの入力判定処理を概念的に示すフローチャートである。 本開示の第４の実施形態に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 １つの推定位置に基づいて設定される有効検出領域の例を示す図である。 複数の推定位置に基づいて設定される有効検出領域の例を示す図である。 同実施形態に係る情報処理装置の処理を説明するための図である。 同実施形態に係る情報処理装置の処理を説明するための図である。 同実施形態に係る情報処理装置の処理を説明するための図である。 同実施形態に係る情報処理装置の処理を説明するための図である。 同実施形態の変形例に係る情報処理装置において設定される有効検出領域の例を示す図である。 同実施形態の変形例に係る情報処理装置において設定される有効検出領域の他の例を示す図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る情報処理装置の概要
２．第１の実施形態（基本形態）
２−１．装置の構成
２−２．装置の処理
２−３．第１の実施形態のまとめ
２−４．変形例
３．第２の実施形態（ペンの姿勢に基づく処理）
３−１．装置の構成
３−２．第２の実施形態のまとめ
３−３．変形例
４．第３の実施形態（複数同時入力の判定）
４−１．装置の構成
４−２．装置の処理
４−３．第３の実施形態のまとめ
５．第４の実施形態（タッチ入力についての有効検出領域の設定）
５−１．装置の構成
５−２．装置の処理
５−３．第４の実施形態のまとめ
５−４．変形例
６．本開示の一実施形態に係る情報処理装置のハードウェア構成
７．むすび
＜１．本開示の一実施形態に係る情報処理装置の概要＞
まず、図１を参照して、本開示の一実施形態に係る情報処理装置１００の概要について説明する。図１は、本開示の一実施形態に係る情報処理装置１００の外観構成の例を概略的に示す図である。
情報処理装置１００は、入力検出機能および表示出力機能を備える。具体的には、入力検出機能は、検出面を有し、当該検出面へのユーザの入力を検出する。また、表示出力機能は、入力検出機能により検出された入力に基づき画像を出力する。そのため、情報処理装置１００は、ユーザの入力に係る操作に応じた画像を出力することができる。
例えば、情報処理装置１００は、図１に示したように、入力検出機能の一部を担うタッチ入力部１０６および表示出力機能の一部を担う投影部１１２を備える。情報処理装置１００は、タッチ入力部１０６によって例えばペン２００による入力を検出し、検出された入力に基づいて投影部１１２に画像をタッチ入力部１０６の検出面に投影させる。
ここで、タッチパネル等を用いた入力についての操作体としては、ペンおよび手指がある。これらの操作体が併用されることにより画像の描画についての操作性が向上することは前述の通りである。
しかし、上述したように、当該ペンおよび手指の両方が操作体として用いられる場合には、ユーザの意図しない入力が検出されることがある。これに対し、パームリジェクションと呼ばれる技術によれば、当該ユーザの意図しない入力の検出が回避され、または検出された入力が無効にされる。以下に、従来のパームリジェクション技術について、図２〜図４を参照して説明する。図２は、従来の接触面積に基づくパームリジェクション技術を説明するための図であり、図３は、従来の検出位置に基づくパームリジェクション技術を説明するための図であり、図４は、従来の複数の検出方式を併用したパームリジェクション技術を説明するための図である。
パームリジェクション技術としては、検出された入力に係る接触面積の大きさに基づいてペンおよび手指のいずれによる入力であるかを判定し、当該ペンおよび手指のいずれにもよらない入力を無効にする技術がある。例えば、図２に示したようにペン２００でユーザが入力している場合において、当該ペン２００の先端と検出面との接触点Ｔ１の接触面積が予め記憶されるペン２００の接触面積に相当するため、当該接触点Ｔ１について検出される入力は有効な入力として処理される。また、当該ペン２００を持つ手の側面と検出面との接触点Ｔ３の接触面積はペン２００の接触面積よりも大きいため、当該接触点Ｔ３について検出される入力は無効な入力として処理される。
しかし、当該技術では、検出された入力に係る接触面積がペンおよび手指の接触面積に相当する場合には、当該検出された入力がユーザの意図しない入力であっても無効にされない。例えば、図２に示したような当該ペン２００を持つ手の指と検出面との接触点Ｔ２の接触面積がペン２００の接触面積に相当すると判定される場合には、当該接触点Ｔ２について検出される入力が有効な入力として処理されてしまう。
また、他のパームリジェクション技術としては、複数の入力が検出された場合に、検出位置が他のいずれの入力の検出位置よりも所定の方向に離れている入力を有効にし、他の入力を無効にする技術がある。例えば、ペン２００と検出面との接触点は、他の接触点よりもユーザから離れる方向に位置すると考えられる。そのため、当該技術では、当該他の接触点よりもユーザから離れる方向に位置する接触点に係る入力が有効な入力として処理され、当該他の接触点に係る入力は無効な入力として処理される。
しかし、当該技術では、ペン２００を持つ手の手首が曲がっている場合には、ユーザの意図に沿わない入力の有効または無効の判定が行われることがある。例えば、図３に示したように、ペン２００を持つ手の手首がユーザに向かう方向に（内側に巻き込むように）曲げられる場合、ペン２００と検出面との接触点Ｔ１よりもユーザから離れる方向に手指との接触点Ｔ２が位置することがある。これは、特に左利きのユーザに多くみられる。この場合、接触点Ｔ１に係る入力は無効な入力として処理され、接触点Ｔ２に係る入力が有効な入力として処理されてしまう。
また、別の他のパームリジェクション技術としては、操作体の種類に応じて異なる検出方式を用いる技術がある。例えば、ペンによる入力の検出には電磁誘導方式が用いられ、手指による入力の検出には静電容量方式が用いられる。この場合、例えば、図４に示したようなペン２００と検出面との接触点Ｔ１に係る入力は、ペン２００による入力として処理される。また、手指と検出面との接触点Ｔ４およびＴ５に係る入力は、手指による入力として処理される。
このように、当該技術では、ペンによる入力および手指による入力は区別可能なため、ペンによる入力のみをユーザが行いたい場合には手指による入力の検出機能を停止させることにより、より確実なパームリジェクションが可能となる。また、反対に手指による入力の検出のみを行わせることも可能である。
しかし、当該技術においても、ペンによる入力と手指による入力が併用される場合には、やはりユーザの意図しない処理が発生することがある。これは、ユーザが入力を意図して手指を検出面に接触させた接触点と、ユーザが入力を意図しなかった手指または身体の他の部位が接触した接触点とを区別することが困難であるためである。その結果、ユーザの意図しない処理が発生してしまう。なお、これに対し、当該処理を原因とするストレスおよび作業効率の低下を避けるため、ペンによる入力での作業においては手指による入力の検出機能を停止させるユーザも存在すると考えられる。従って、ペンによる入力と手指による入力との併用には技術的な課題が残されているともいえる。
このように、従来のパームリジェクション技術では、ペンによる入力と手指による入力が併用される場合にユーザの意図に沿わない処理が行われる可能性がある。
そこで、本開示では、情報処理装置１００は、操作体の近接に基づく入力の検出結果に基づく当該入力の検出位置に係る情報と、当該操作体を被写体とする撮像により得られる画像情報を用いて推定される当該操作体の位置に係る情報と、に基づいて当該入力に応じた処理を制御する。
例えば、図１に示したように、情報処理装置１００は、タッチ入力部１０６および投影部１１２に加えて撮像部１０２を備える。情報処理装置１００は、ペン２００または手指による入力の検出結果をタッチ入力部１０６から取得する。また、情報処理装置１００は、撮像部１０２の撮像により得られる、ペン２００または手指を被写体とする画像を取得する。次に、情報処理装置１００は、当該入力の検出結果から入力が検出された位置を特定し、当該画像から当該ペン２００または手指の位置を推定する。そして、情報処理装置１００は、検出位置と推定位置の２次元的な位置とが相当しない場合には当該検出位置に係る入力について処理を行わず、検出位置と推定位置の２次元的な位置とが相当する場合には当該検出位置について当該入力に基づく処理を行う。
このため、操作体の近接による入力の検出結果に加えて操作体の映る画像情報に基づいて入力に応じた処理が決定されることにより、操作体の近接による入力の検出結果のみを用いる場合と比べて、処理の正確性を向上させることができる。従って、入力を操作するユーザの意図に沿った処理を行わせることが可能となる。以下、情報処理装置１００の詳細について説明する。なお、説明の便宜上、第１〜第４の実施形態に係る情報処理装置１００を、情報処理装置１００−１〜情報処理装置１００−４のように、末尾に実施形態に対応する番号を付することにより区別する。
なお、各実施形態における用語は下記のように意味する。
推定位置：画像情報に基づいて推定される操作体の位置を意味し、３次元的な位置であり、入力の検出面に対応する位置（２次元的な位置）を含む。
推定接触領域（推定領域）：推定位置の２次元的な位置を内包する、入力の検出面における領域を意味する。
入力の検出位置（検出位置）：操作体の近接に基づき検出される入力の検出面における位置を意味する。
有効検出領域（検出領域）：入力が検出される検出面における領域を意味する。
＜２．第１の実施形態（基本形態）＞
以上、本開示の一実施形態に係る情報処理装置１００の概要について説明した。次に、本開示の第１の実施形態に係る情報処理装置１００−１について説明する。
＜２−１．装置の構成＞
まず、図５を参照して、本開示の第１の実施形態に係る情報処理装置１００−１の機能構成について説明する。図５は、本開示の第１の実施形態に係る情報処理装置１００−１の概略的な機能構成の例を示すブロック図である。
情報処理装置１００−１は、図５に示したように、撮像部１０２、入力位置推定部１０４、タッチ入力部１０６、入力判定部１０８、アプリケーション１１０および投影部１１２を備える。
（撮像部）
撮像部１０２は、操作体が被写体となるように撮像する。具体的には、撮像部１０２は、タッチ入力部１０６の検出面および当該検出面の周辺が撮像範囲となるように設置され、撮像により得られる画像を入力位置推定部１０４に提供する。なお、撮像部１０２は、可視光カメラまたはＩＲ（Infrared）カメラであってもよく、当該可視光カメラおよびＩＲカメラの組合せであってもよい。また、撮像部１０２は複数設けられてもよい。また、撮像部１０２の代わりにまたはそれに加えて、操作体の３次元的な測位が可能な任意のセンサシステムに係るセンサにより実現される測定部が備えられてもよい。
また、撮像部１０２は、少なくとも２つのカメラ（ＩＲカメラ）を構成要素とするステレオカメラにより実現されてもよい。
（入力位置推定部）
入力位置推定部１０４は、制御部の一部として、操作体を被写体とする撮像により得られる画像情報に基づいて操作体の位置を推定する。具体的には、当該操作体の位置は、検出面に近接する位置または当該検出面に近接しない位置である。以下、推定される操作体の位置を推定位置とも称する。また、操作体は、ユーザにより操作される物体、例えばペン形状の物体またはユーザの手もしくは指を含み、それに対応して、入力位置推定部１０４は、ペン入力位置推定機能と手指入力位置推定機能とを有する。さらに、図６〜図８を参照して、入力位置推定機能について詳細に説明する。図６は、本実施形態に係る情報処理装置１００−１におけるＩＲマーカの設置例を示す図であり、図７は、本実施形態における空間座標系の設定例を示す図である。また、図８は、本実施形態におけるユーザの入力操作の例を示す図である。
まず、入力位置推定部１０４は、タッチ入力部１０６の検出面の位置を推定する。例えば、当該検出面には、図６に示したように、赤外線発光体であるＩＲマーカＭ１〜Ｍ４が配置される。
次に、入力位置推定部１０４は、推定される検出面の位置に基づいて空間座標系を設定する。例えば、入力位置推定部１０４は、図７に示したように、当該検出面の中心を原点Ｏとし、当該検出面の長辺方向をＸ軸、当該検出面の短辺方向をＹ軸、当該検出面に対する垂直方向をＺ軸とする空間座標系を設定する。
その後、入力位置推定部１０４は、撮像部１０２から提供される画像から操作体の位置を推定する。
具体的には、入力位置推定部１０４は、ペン入力検出機能を用いて、推定されるペン２００−１の位置（以下、ペン入力推定位置とも称する。）を決定する。より具体的には、入力位置推定出部１０４は、画像に映る赤外線発光体であるＩＲマーカに基づいてペン２００−１を検出し、検出されたペン２００−１の入力が行われる部位（以下、入力部位とも称する。）の位置を推定する。例えば、図６に示したように、ペン２００−１の両端にＩＲマーカＭ５およびＭ６が取り付けられる。そこで、入力位置推定部１０４は、当該ＩＲマーカＭ５およびＭ６の有無に基づいてペン２００−１を検出する。そして、当該ステレオ画像に映るＩＲマーカＭ５およびＭ６の位置および撮像部１０２を実現するカメラ間の視差から、ペン２００−１の空間位置と姿勢が特定される。例えば、図８に示したようなペン２００−１の先端がペン入力推定位置Ｐ１として決定される。なお、操作体の全体または大部分が入力部位となる場合は、入力部位の特定は省略されてもよい。
また、入力位置推定部１０４は、手指入力検出機能を用いて、手指の位置を推定する。以下、推定される手指の位置を手指入力推定位置とも称する。具体的には、入力位置推定部１０４は、撮像部１０２から提供されるステレオ画像に基づいて生成されるデプスマップに基づいて操作体としての手指を検出し、検出された手指の位置を推定する。例えば、入力位置推定部１０４は、ステレオ画像および当該ステレオ画像から生成されるデプスマップを利用して画像認識処理を行うことにより手指を検出する。そして、入力位置推定部１０４は、検出された手指の先端の位置すなわちＸＹＺ軸座標を手指入力推定位置として決定する。例えば、図８に示したような左手の人差し指の先端が手指入力推定位置Ｆ２として決定される。なお、この際、操作体以外の物体が検出されてもよい。例えば、操作体以外の物体としては、腕等の手および指以外の他の人体の部位または人体でない物体がある。また、ユーザの手または指以外の人体の他の部位が操作体として認識されてもよい。
なお、当該ＩＲマーカは脱着可能であってもよい。また、当該ＩＲマーカの発光または受光有無は、ユーザの設定操作等に基づいて切り替えられてもよい。また、ユーザの手指はペン２００−１と同様にＩＲマーカを用いて検出されてもよい。例えば、図６に示したようなＩＲマーカを装着した手指による入力が行われる場合には、入力位置推定部１０４は、当該ＩＲマーカの有無に基づいて手指を検出する。また、反対に、ペン２００−１は手指と同様に画像認識処理を用いて検出されてもよい。
また、入力位置推定部１０４は、当該画像情報に基づいて推定位置の入力の検出面に対応する位置すなわち当該検出面を基準とする２次元的な位置を含む領域（以下、推定接触領域とも称する。）を推定領域として決定する。図８を参照して、推定接触領域について詳細に説明する。
入力位置推定部１０４は、撮像部１０２の撮像により得られる画像情報に基づいて操作体の位置が推定されると、推定される操作体の位置の入力の検出面に対応する位置を含む推定接触領域を決定する。具体的には、入力位置推定部１０４は、操作体の位置が推定されると、推定される操作体の検出面を基準とする２次元的な位置を中心とした所定の距離の範囲を推定接触領域として決定する。例えば、入力位置推定部１０４は、図８に示したようなペン２００−１の先端がペン入力推定位置Ｐ１として決定されると、当該ペン入力推定位置Ｐ１の２次元的な位置を中心とした破線の円の内部をペン２００−１による入力に係る推定接触領域（以下、ペン入力推定接触領域とも称する。）ＰＡ１として決定する。また、入力位置推定部１０４は、図８に示したような左手の人差し指の先端が手指入力推定位置Ｆ２として決定されると、当該手指入力推定位置Ｆ２の２次元的な位置を中心とした点線の円の内部を手指による入力に係る推定接触領域（以下、手指入力推定接触領域とも称する。）ＦＡ２として決定する。
なお、推定接触領域の大きさは推定位置の正確性または精度に応じて変更されてもよい。例えば、推定位置と検出位置とのずれが小さいほど、または推定位置のばらつきが小さいほど、推定接触領域が小さく設定される。また、推定接触領域は動的に変更されてもよい。また、推定接触領域の形状は円形に限定されず、他の任意の形状であってもよい。例えば、推定接触領域の形状は、楕円形もしくは他の曲線形または多角形等であってもよい。
また、入力位置推定部１０４は、操作体がペン形状の物体である場合には、当該操作体以外の他の操作体による入力を無視する領域（以下、ペン入力占有領域とも称する。）を決定する。例えば、入力位置推定部１０４は、図８に示したようなペン入力推定位置Ｐ１についてのペン入力占有領域ＯＡ１を設定する。ペン入力占有領域ＯＡ１は、一例として、検出されたペン２００−１の中心点から所定の距離の範囲の領域として設定される。
（タッチ入力部）
タッチ入力部１０６は、検出装置として、操作体による入力を検出する。具体的には、タッチ入力部１０６は、操作体の近接（接近または接触）に基づいて入力を検出する。そして、タッチ入力部１０６は、入力の検出位置が特定される検出結果を入力判定部１０８に提供する。より具体的には、タッチ入力部１０６は、感圧方式を用いて入力を検出する。例えば、タッチ入力部１０６は、操作体の接触による圧力の有無または圧力の大きさに基づいて入力を検出する。なお、タッチ入力部１０６は、静電容量方式または電磁誘導方式といった別の入力検出方式を用いてもよい。また、タッチ入力部１０６は、複数の入力検出方式を用いてもよく、操作体の種類毎に異なる入力検出方式を用いてもよい。
また、タッチ入力部１０６は、検出された入力に係る接触点を示す情報（以下、接触点情報とも称する。）を生成し、生成される接触点情報を入力判定部１０８に提供する。例えば、接触点情報は、接触点の検出面上の位置すなわち検出面上の座標を示す情報および接触点を識別するためのＩＤ等の識別情報を含む。なお、タッチ入力部１０６は、後述する既知の接触点については、同じ識別情報を有する接触点情報の接触点の位置を示す情報を更新する。
（入力判定部）
入力判定部１０８は、制御部の一部として、タッチ入力部１０６から得られる入力の検出結果の示す入力の検出位置と、入力位置推定部１０４により推定される操作体の位置である推定位置とに基づいて入力に応じた処理を制御する。具体的には、入力判定部１０８は、当該推定位置が当該検出位置に相当するかに応じて当該処理の検出面に対応する位置を制御する。当該推定位置が当該検出位置に相当するかは、当該推定位置の当該入力の検出面に対応する位置を含む推定接触領域に当該検出位置が含まれるかに基づいて判定される。さらに、図８を参照して、入力判定部１０８の機能について詳細に説明する。
まず、入力判定部１０８は、タッチ入力部１０６から入力検出結果として接触点情報を取得し、入力位置推定部１０４から推定位置を示す情報を取得する。そして、入力判定部１０８は、接触点情報の各々について、以下の接触点判定処理を行う。
入力判定部１０８は、推定位置の２次元的な位置が検出位置に相当する場合、検出位置を処理の位置として判定する。例えば、入力判定部１０８は、図８に示したようなペン２００−１のペン入力推定位置Ｐ１についてのペン入力推定接触領域ＰＡ１に含まれる検出位置である接触点Ｔ６をペン２００−１による入力に係る有効な接触点（以下、ペン入力接触点とも称する。）として判定する。なお、ペン入力接触点として判定された接触点は、アプリケーション１１０に通知される。
また、入力判定部１０８は、推定位置の２次元的な位置が検出位置に相当しない場合、検出位置を処理の位置に決定しない。例えば、図８に示したようなペン入力推定位置Ｐ１についてのペン入力推定接触領域ＰＡ１に含まれない接触点Ｔ７は、ペン入力接触点として判定されず、無効接触点として判定される。すなわち、当該接触点Ｔ７は、アプリケーション１１０に通知されない。
同様に、操作体ではない物体がタッチ入力部１０６の検出面に設置され、入力が検出される場合であっても、当該入力に係る接触点が推定接触領域に含まれない限り、当該物体に係る接触点は無効接触点として判定される。例えば、図８に示したような操作体以外の物体１０が検出面に設置され、接触点Ｔ１２〜Ｔ１５が存在する場合であっても、当該Ｔ１２〜Ｔ１５は、ペン入力推定接触領域ＰＡ１または後述する手指入力推定接触領域ＦＡ１〜ＦＡ３のいずれにも含まれないため、ペン入力接触点としても後述する手指入力接触点としても判定されない。すなわち、当該接触点Ｔ１２〜Ｔ１５はアプリケーションに通知されず、当該接触点Ｔ１２〜Ｔ１５における入力に基づく処理は行われない。
なお、操作体が手指であっても同様に処理が行われる。例えば、図８に示したような左手の人差し指および親指の手指入力推定位置Ｆ２およびＦ３についての手指入力推定接触領域ＦＡ２およびＦＡ３にそれぞれ含まれる接触点Ｔ９およびＴ１０は、手指による入力に係る有効な接触点（以下、手指入力接触点とも称する。）として判定される。以下、ペン入力接触点と手指入力接触点とを区別しない場合には、有効接触点と総称する。
さらに、入力判定部１０８は、操作体がユーザにより操作される物体であるかに応じて、当該ユーザにより操作される物体の周辺で検出される入力について処理の位置を制御する。具体的には、入力判定部１０８は、操作体がペン形状の物体である場合に、当該ペン形状の物体の周辺で検出される入力のうち、当該ペン形状の物体による入力以外の入力に係る検出位置を無効接触点と判定する。
例えば、入力判定部１０８は、図８に示したようなペン入力推定位置Ｐ１についてのペン入力占有領域ＯＡ１に含まれる接触点Ｔ７を無効接触点と判定する。また、操作体の誤検出により手指の位置と推定された位置Ｆ１についての推定接触領域ＦＡ１に含まれる接触点Ｔ８についても、当該接触点Ｔ８はペン入力占有領域ＯＡ１に含まれるため、入力判定部１０８は無効接触点と判定する。
また、推定される操作体の位置に応じて処理の位置が制御されてもよい。具体的には、入力判定部１０８は、推定位置と検出面との位置関係に基づいて処理の位置を制御する。さらに、図９Ａおよび図９Ｂを参照して、推定位置と検出面との位置関係に基づく処理の位置の制御について説明する。図９Ａは、ユーザが操作する様子を検出面に対して前述したＺ軸方向から見下ろした図であり、図９Ｂは、ユーザが操作する様子を検出面に対して前述したＸ軸方向から見た図である。
推定される操作体の位置のうち検出面と平行な二次元の位置に基づいて処理の位置が制御される場合を考える。なお、ここでは、説明の便宜上、撮像部１０２の光軸が検出面に対して垂直であることを前提とする。例えば、図９Ａに示したような検出面と平行なＸＹ軸方向の位置のみに基づいて処理の位置が制御される場合、手指入力推定位置Ｆ４について推定接触領域が設定されると、物体１０の接触点Ｔ１６が当該手指による入力であると実質的に判定され、手指入力接触点として判定される。しかし、実際には、図９Ｂに示したように物体１０の上方に手指が位置し、ユーザは当該手指による入力を意図してない場合がある。なお、上記では、操作体が手指である例を説明したが、操作体がペン２００−１である場合についても同様である。
そこで、入力判定部１０８は、推定される操作体の位置と検出面との位置関係に基づいて処理の位置を制御する。具体的には、入力判定部１０８は、推定位置と検出面との間の距離に基づいて推定接触領域の設定有無を制御する。例えば、入力判定部１０８は、推定位置と検出面との間の距離が所定の長さ以上である場合、推定接触領域を設定しない。これにより、検出面に操作体でない物体が設置され、当該物体の上方または周辺に操作体が位置する場合であっても、当該物体に係る接触点に基づいて処理が行われることを抑制することができる。なお、上記では、推定位置と検出面との距離を用いて推定接触領域の設定有無が制御される例を説明したが、推定位置のＺ軸方向の座標情報を用いて当該推定接触領域の設定有無が制御されてもよい。
以上、入力判定部１０８の基本的な機能について説明した。ここで、上記の基本的な機能は、推定される操作体の位置と検出位置とにずれが無いか、または当該ずれがあっても検出位置が推定接触領域内に収まる程度に小さい場合を想定した機能となっている。
しかし、操作体の動きが速いほど上記ずれが大きくなる。これは、推定位置の決定処理はタッチ入力の検出処理に比して複雑であることにより、タッチ入力の検出処理に対する推定位置の決定処理の遅延が大きいためである。その結果、入力が継続中であるのに有効接触点が推定接触領域から外れてしまうことがある。そして、有効接触点であった接触点が無効接触点として判定されることにより、入力に基づく処理が中断され、ひいてはユーザの意図しない結果が生じる可能性がある。
そこで、入力判定部１０８は、過去に検出され、継続して検出されている入力に係る接触点（以下、既知の接触点とも称する。）と、新たに検出された入力に係る接触点（以下、新規の接触点とも称する。）と、で異なる接触点判定処理を行う。具体的には、入力判定部１０８は、既知の接触点については、当該既知の接触点に係る推定位置についての推定接触領域の有無に基づいて接触点の属性を判定する。
例えば、ペン入力接触点として判定された既知の接触点については、入力判定部１０８は、当該ペン入力接触点に係るペン入力推定位置についてのペン入力推定接触領域が存続しているかどうかに基づいて、当該既知の接触点が継続してペン入力接触点であるかどうかを判定する。他方、新規の接触点については、一度も接触点判定処理が行われていないため、上述したような基本機能による接触点判定処理が行われる。なお、手指入力接触点の場合も同様である。
このため、推定接触領域が継続して存在すれば接触点の有効性が維持されることにより、操作体が高速に動く場合であっても、入力に基づく処理が中断されない。従って、ユーザの意図しない処理結果が生じることを抑制しながら、高速な操作が可能となる。
なお、推定位置は、過去の推定位置に基づいて補正されてもよい。例えば、推定位置は時系列に記憶され、入力判定部１０８は、当該記憶される時系列の推定位置から動き予測処理を用いて現在の推定位置を補正する。例えば、動き予測処理は、カルマンフィルタ等を用いた補間処理であってもよい。また、当該推定位置の補正は、入力位置推定部１０４によって行われてもよい。また、推定位置のうちの検出面を基準とする２次元的な位置のみが補正されてもよい。
（アプリケーション）
図５を参照して、情報処理装置１００−１の構成の説明に戻ると、アプリケーション１１０は、入力判定部１０８から得られる入力判定結果に基づいて処理を行う。具体的には、アプリケーション１１０は、入力判定部１０８から通知される接触点について、当該接触点に係る入力に基づく処理を行う。例えば、アプリケーション１１０は、当該処理として、通知された接触点に係る入力に応じて、文字、図形、記号または写真といった表示オブジェクトを含む画像を生成し、生成される画像を投影部１１２に投影させる。また、アプリケーション１１０は、当該処理として、通知された接触点に係る入力に応じた内部処理、例えば記憶処理、計算処理または通信処理等を行ってもよい。
（投影部）
投影部１１２は、アプリケーション１１０から提供される画像を投影する。具体的には、投影部１１２は、タッチ入力部１０６の検出面に画像を投影する。なお、投影先である検出面の形状に沿った画像がアプリケーションから提供され、例えばプロジェクションマッピングのように当該画像が投影されてもよい。
＜２−２．装置の処理＞
次に、本実施形態に係る情報処理装置１００−１の処理について説明する。
（処理の概要）
まず、図１０を参照して、本実施形態に係る情報処理装置１００−１の処理の概要について説明する。図１０は、本実施形態に係る情報処理装置１００−１の処理の概要を概念的に示すフローチャートである。
情報処理装置１００−１は、タッチ入力についての接触点情報を取得する（ステップＳ３０２）。具体的には、タッチ入力部１０６は、新規の接触点については新たに接触点情報を生成し、既知の接触点情報については接触点の座標情報を更新する。そして、入力判定部１０８は、生成されまたは更新された接触点情報を取得する。
次に、情報処理装置１００−１は、ペン入力推定位置を決定する（ステップＳ３０４）。具体的には、入力位置推定部１０４は、撮像部１０２の撮像により得られるＩＲステレオ画像からペン２００−１を検出し、検出されるペン２００−１の先端をペン入力推定位置として決定する。
次に、情報処理装置１００−１は、ペン入力推定位置についてのペン入力推定接触領域およびペン入力占有領域を設定する（ステップＳ３０６）。具体的には、入力位置推定部１０４は、決定されたペン入力推定位置に基づいてペン入力推定接触領域を設定する。また、入力位置推定部１０４は、検出されたペン２００−１の位置に基づいてペン入力占有領域を設定する。
次に、情報処理装置１００−１は、手指入力推定位置を決定する（ステップＳ３０８）。具体的には、入力位置推定部１０４は、撮像部１０２の撮像により得られるステレオ画像から手指を検出し、検出される手指の先端を手指入力推定位置に決定する。
次に、情報処理装置１００−１は、手指入力推定位置についての手指入力推定接触領域を設定する（ステップＳ３１０）。具体的には、入力位置推定部１０４は、決定された手指入力推定位置に基づいて手指入力推定接触領域を設定する。
次に、情報処理装置１００−１は、既知の接触点について有効性を判定する（ステップＳ３１２）。具体的には、入力判定部１０８は、取得された接触点情報のうちの既知の接触点に係る接触点情報に基づいて当該既知の接触点の有効性を判定する。処理の詳細については後述する。
次に、情報処理装置１００−１は、新規の接触点について有効性を判定する（ステップＳ３１４）。具体的には、入力判定部１０８は、取得された接触点情報のうちの新規の接触点に係る接触点情報に基づいて当該新規の接触点の有効性を判定する。処理の詳細については後述する。
次に、情報処理装置１００−１は、有効接触点に関する情報をアプリケーション１１０に提供する（ステップＳ３１６）。具体的には、入力判定部１０８は、既知の接触点および新規の接触点のうち有効接触点と判定された接触点に関する情報をアプリケーション１１０に提供する。例えば、接触点に関する情報は、接触点の座標情報および属性情報といった情報を含む。なお、有効接触点に関する情報だけでなく、無効接触点に関する情報がアプリケーション１１０に提供されてもよい。
（既知の接触点に係る処理）
続いて、図１１を参照して、既知の接触点に係る処理について説明する。図１１は、本実施形態に係る情報処理装置１００−１における既知の接触点に係る処理を概念的に示すフローチャートである。
情報処理装置１００−１は、未判定の既知の接触点の有無を判定する（ステップＳ４０２）。具体的には、入力判定部１０８は、接触点の有効性が未判定の既知の接触点が存在するかを判定する。
未判定の既知の接触点が存在すると判定されると、情報処理装置１００−１は、未判定の既知の接触点を１つ選択する（ステップＳ４０４）。具体的には、入力判定部１０８は、未判定の既知の接触点が複数存在する場合には、当該複数の既知の接触点のうちの１つを選択する。未判定の既知の接触点が単一である場合は、当該単一の既知の接触点が選択される。
次に、情報処理装置１００−１は、当該既知の接触点が前回にペン入力接触点と判定されたかを判定する（ステップＳ４０６）。具体的には、入力判定部１０８は、選択された既知の接触点の属性がペン入力接触点であるかを判定する。
当該既知の接触点が前回にペン入力接触点と判定されたと判定されると、情報処理装置１００−１は、ペン入力推定接触領域の有無を判定する（ステップＳ４０８）。具体的には、入力判定部１０８は、ペン入力推定接触領域が設定されているかを判定する。なお、複数のペン入力推定接触領域が設定される場合もあるため、入力判定部１０８は、ペン入力接触点であった当該既知の接触点に対応するペン入力推定接触領域の有無を判定してもよい。
ペン入力推定接触領域が存在すると判定されると、情報処理装置１００−１は、当該既知の接触点をペン入力接触点と判定する（ステップＳ４１０）。具体的には、入力判定部１０８は、ペン入力推定接触領域が設定されていた場合、当該既知の接触点の属性を維持する。
ペン入力推定接触領域が存在しないと判定されると、情報処理装置１００−１は、当該既知の接触点を無効接触点と判定する（ステップＳ４１２）。具体的には、入力判定部１０８は、ペン入力推定接触領域が設定されていない場合、当該既知の接触点の属性を無効接触点に変更する。
また、ステップＳ４０６にて当該既知の接触点が前回にペン入力接触点と判定されなかったと判定されると、情報処理装置１００−１は、当該既知の接触点が前回に手指入力接触点と判定されたかを判定する（ステップＳ４１４）。具体的には、入力判定部１０８は、当該既知の接触点の属性がペン入力接触点でないと判定されると、当該既知の接触点の属性が手指接触点であるかを判定する。
当該既知の接触点が前回に手指入力接触点と判定されたと判定されると、情報処理装置１００−１は、手指入力推定接触領域の有無を判定する（ステップＳ４１６）。具体的には、入力判定部１０８は、当該既知の接触点の属性が手指接触点であると判定されると、手指入力推定接触領域が設定されているかを判定する。なお、ペン入力推定接触領域の場合と同様に、入力判定部１０８は、手指入力接触点であった当該既知の接触点に対応する手指入力推定接触領域の有無を判定してもよい。
手指入力推定接触領域が存在すると判定されると、情報処理装置１００−１は、当該既知の接触点を手指入力接触点と判定する（ステップＳ４１８）。具体的には、入力判定部１０８は、手指入力推定接触領域が設定されていた場合、当該既知の接触点の属性を維持する。
手指入力推定接触領域が存在しないと判定されると、情報処理装置１００−１は、当該既知の接触点を無効接触点と判定する（ステップＳ４２０）。具体的には、入力判定部１０８は、手指入力推定接触領域が設定されていない場合、当該既知の接触点の属性を無効接触点に変更する。
（新規の接触点についての処理）
続いて、図１２を参照して、新規の接触点に係る処理について説明する。図１２は、本実施形態に係る情報処理装置１００−１における新規の接触点に係る処理を概念的に示すフローチャートである。
情報処理装置１００−１は、未判定の新規の接触点の有無を判定する（ステップＳ５０２）。具体的には、入力判定部１０８は、接触点の有効性が未判定の新規の接触点が存在するかを判定する。
未判定の新規の接触点が存在すると判定されると、情報処理装置１００−１は、未判定の新規の接触点を１つ選択する（ステップＳ５０４）。具体的には、入力判定部１０８は、未判定の新規の接触点が複数存在する場合には、当該複数の新規の接触点のうちの１つを選択する。未判定の新規の接触点が単一である場合は、当該単一の新規の接触点が選択される。
次に、情報処理装置１００−１は、ペン入力推定接触領域の有無を判定する（ステップＳ５０６）。具体的には、入力判定部１０８は、ペン入力推定接触領域が設定されているかを判定する。
ペン入力推定接触領域が存在すると判定されると、情報処理装置１００−１は、ペン入力接触点が判定済みであるかを判定する（ステップＳ５０８）。具体的には、入力判定部１０８は、ペン入力推定接触領域が設定されている場合、ペン入力接触点を属性とする他の接触点の有無を判定する。なお、ペン入力推定接触領域が複数設定される場合には、入力判定部１０８は、全てのペン入力推定接触領域について、ペン入力推定接触領域と対応するペン入力接触点を属性とする接触点の有無を判定する。
ペン入力接触点が判定済みでないと判定されると、情報処理装置１００−１は、当該新規の接触点がペン入力推定接触領域に含まれるかを判定する（ステップＳ５１０）。具体的には、入力判定部１０８は、ペン入力接触点を属性とする接触点が存在しない場合、当該ペン入力推定接触領域に当該新規の接触点が含まれるかを判定する。なお、ペン入力推定接触領域が複数設定される場合には、入力判定部１０８は、ペン入力接触点を属性とする接触点が存在しない全てのペン入力推定接触領域について、当該ペン入力推定接触領域に当該新規の接触点が含まれるかを判定する。
当該新規の接触点が手指入力接触領域に含まれると判定されると、情報処理装置１００−１は、当該新規の接触点がペン入力推定位置に最も近い接触点であるかを判定する（ステップＳ５１２）。具体的には、入力判定部１０８は、当該新規の接触点がペン入力推定接触領域に含まれる場合、当該新規の接触点が他のいずれの接触点よりも当該ペン入力推定接触領域に係るペン入力推定位置の２次元的な位置に近いかを判定する。
当該新規の接触点がペン入力推定位置に最も近い接触点であると判定されると、情報処理装置１００−１は、当該新規の接触点をペン入力接触点と判定する（ステップＳ５１４）。具体的には、入力判定部１０８は、当該新規の接触点が他のいずれの接触点よりも当該ペン入力推定接触領域に係るペン入力推定位置の２次元的な位置に近い場合、当該新規の接触点の属性をペン入力接触点に設定する。
また、ステップＳ５０８にてペン入力接触点が判定済みであると判定された場合、ステップＳ５１０にて当該新規の接触点がペン入力推定接触領域に含まれないと判定された場合、またはステップＳ５１２にて当該新規の接触点がペン入力推定位置の２次元的な位置に最も近いと判定されなかった場合、情報処理装置１００−１は、当該新規の接触点がペン入力占有領域に含まれるかを判定する（ステップＳ５１６）。具体的には、入力判定部１０８は、当該新規の接触点がペン入力占有領域に含まれるかを判定する。
当該新規の接触点がペン入力占有領域に含まれると判定されると、情報処理装置１００−１は、当該新規の接触点を無効接触点と判定する（ステップＳ５１８）。具体的には、入力判定部１０８は、当該新規の接触点がペン入力占有領域に含まれる場合、当該新規の接触点の属性を無効接触点に設定する。
また、ステップＳ５０６にてペン入力推定接触領域が存在しないと判定された場合、またはステップＳ５１６にて当該新規の接触点がペン入力占有領域に含まれないと判定された場合、情報処理装置１００−１は、手指入力推定接触領域の有無を判定する（ステップＳ５２０）。具体的には、入力判定部１０８は、手指入力推定接触領域が設定されているかを判定する。
手指入力推定接触領域が存在すると判定されると、情報処理装置１００−１は、手指入力接触点が判定済みであるかを判定する（ステップＳ５２２）。具体的には、入力判定部１０８は、手指入力推定接触領域が設定されている場合、手指入力接触点を属性とする他の接触点の有無を判定する。なお、手指入力推定接触領域が複数設定される場合には、入力判定部１０８は、全ての手指入力推定接触領域について、手指入力推定接触領域と対応する手指入力接触点を属性とする接触点の有無を判定する。
手指入力推定接触領域が判定済みでないと判定されると、情報処理装置１００−１は、当該新規の接触点が手指入力推定接触領域に含まれるかを判定する（ステップＳ５２４）。具体的には、入力判定部１０８は、手指入力接触点を属性とする接触点が存在しない場合、当該手指入力推定接触領域に当該新規の接触点が含まれるかを判定する。なお、手指入力推定接触領域が複数設定される場合には、入力判定部１０８は、手指入力接触点を属性とする接触点が存在しない全ての手指入力推定接触領域について、当該手指入力推定接触領域に当該新規の接触点が含まれるかを判定する。
当該新規の接触点が手指入力推定接触領域に含まれると判定されると、情報処理装置１００−１は、当該新規の接触点を手指入力接触点と判定する（ステップＳ５２６）。具体的には、入力判定部１０８は、当該手指入力推定接触領域に当該新規の接触点が含まれると判定される場合、当該新規の接触点の属性を手指入力接触点に設定する。
また、ステップＳ５２０にて手指入力推定接触領域が存在しないと判定された場合、ステップＳ５２２にて手指入力接触点が判定済みであると判定された場合、またはステップＳ５２４にて当該新規の接触点が手指入力推定接触領域に含まれないと判定された場合、情報処理装置１００−１は、当該新規の接触点を無効接触点と判定する（ステップＳ５２８）。具体的には、入力判定部１０８は、当該新規の接触点の属性を無効接触点に設定する。
＜２−３．第１の実施形態のまとめ＞
このように、本開示の第１の実施形態によれば、情報処理装置１００−１は、操作体の近接に応じた入力の検出結果に基づく当該入力の検出位置に係る情報と、当該操作体を被写体とする撮像により得られる画像情報を用いて推定される当該操作体の位置（推定位置）に係る情報と、に基づいて当該入力に応じた処理を制御する。このため、操作体の近接による入力の検出結果に加えて操作体の映る画像に基づいて入力に応じた処理が実行されることにより、操作体の近接による入力の検出結果のみを用いる場合と比べて、処理の正確性を向上させることができる。従って、入力を操作するユーザの意図に沿った処理を行わせることが可能となる。また、本実施形態によれば、操作中の操作体について入力位置が推定されるため、実際に行われている操作に応じた処理対象となる入力の選別が可能である。従って、ユーザが毎回異なる態様で操作を行う場合であっても、当該ユーザが意図する入力に応じた処理をアプリケーション１１０等に行わせることができる。
また、上記推定位置は、上記入力の検出面に近接しない位置を含む。ここで、撮像により得られる画像の処理は、タッチ入力の検出処理に比べて遅いため、タッチ入力が検出された時点と画像処理の完了時点との間にタイムラグが生じる場合がある。例えば、タッチ入力の検出時点の画像処理結果において用いられた画像は当該タッチ入力の検出前の撮像により得られた画像である場合がある。かかる場合に、入力が実際に行われている状態の操作体の位置が推定されるとすれば、当該タッチ入力の検出時点では操作体の位置の推定が行われず、タッチ入力の検出と操作体の位置の推定との間にタイムラグが生じる。これに対し、本構成によれば、当該タイムラグの発生が抑制されることにより、当該タイムラグによる操作性の低下を抑制することが可能となる。
また、情報処理装置１００−１は、上記推定位置が上記検出位置に相当するかに応じて上記処理の位置を制御する。このため、複数の推定位置が存在する場合であっても、２次元的な位置が検出位置に相当する推定位置が選択されることにより、ユーザの意図しない検出位置が処理の位置として決定されにくくすることができる。従って、ユーザの意図に沿わない処理の発生を抑制することが可能となる。
また、上記推定位置が検出位置に相当するかは、当該推定位置を含む推定領域に当該検出位置が含まれるかに基づいて判定される。ここで、入力が行われる環境または状況によっては推定位置の精度および正確性を確保することが困難な場合がある。かかる場合に、推定位置と検出位置との一致が厳密に要求されると、検出位置が処理の位置として決定されにくくなり、操作性が低下する可能性がある。これに対し、本構成によれば、検出位置と推定位置とのずれが所定の範囲内で許容されることにより、ユーザの意図に即して処理が行われやすくなる。従って、操作性を向上させることができる。
また、上記操作体は、ユーザにより操作される物体を含み、情報処理装置１００−１は、当該操作体が当該ユーザにより操作される物体であるかに応じて、当該ユーザにより操作される物体の周辺で検出される上記入力について上記処理の位置を制御する。ここで、ペン２００−１による入力が行われる際には、当該ペン２００−１を持つ手が検出面に触れやすいため、入力の誤判定が生じやすい。他方で、ペン２００−１を用いて操作が行われる場合、ペン２００−１を持つ手の指を用いた操作は行われにくい。これに対し、本構成によれば、ペン２００−１の周辺で検出される手指の位置が処理の位置として選択されないことにより、ペン２００−１を持つ手の検出面への接触による入力の誤判定が抑制される。従って、ユーザの意図しない処理の発生をさらに抑制することができる。
また、上記操作体は、ユーザの手または指を含む。このため、ユーザは直感的な入力操作を行うことができる。また、ペン２００−１による操作と手指による操作とを組み合わせることにより、作業効率を向上させることができる。
また、情報処理装置１００−１は、上記推定位置と上記入力の検出面との位置関係に基づいて上記処理の位置を制御する。このため、検出面に操作体でない物体が設置され、当該物体の上方または周辺に操作体が位置する場合であっても、当該物体に係る接触点に基づいて処理が行われることを抑制できる。
＜２−４．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
本実施形態の変形例として、情報処理装置１００−１は、入力が検出されていない位置について入力を補間してもよい。まず、図１３および図１４を参照して、入力の補間が有用であるケースについて説明する。図１３は、ペン２００−１による入力の例を示す図であり、図１４は、手指による入力の例および入力補間の例を示す図である。
タッチ入力部１０６が感圧センサである場合、概して操作体の種類に応じて接触の仕方が異なる。例えば、操作体の種類に応じて接触点の形状、面積または押圧力等が異なる。このため、いずれかの操作体に合わせて検出パラメタが設定されると、他の操作体による入力が検出されにくくなる場合がある。
例えば、ペン２００−１に合わせて検出パラメタが設定される場合を考える。この場合、図１３に示したように、ユーザが円を描くようにペン２００−１を操作すると、ペン２００−１による入力は途切れることなく円状に検出される。
これに対し、検出パラメタはペン２００−１に合わせて設定されたまま、手指による入力が行われた場合を考える。この場合、ペン２００−１による入力と同様にユーザが円を描くように手指を操作すると、図１４の左図に示したように、当該手指による入力は一部が途切れた形状で検出されることがある。この理由として、ペン２００−１による入力に比べて手指による入力は押圧力が弱いことが一因として挙げられる。具体的には、ペン２００−１の押圧力に合わせて検出閾値が設定されることにより、押圧力がペン２００−１よりも弱い手指による入力は、押圧力が検出閾値を下回りやすくなる。その結果、図１４の左図に示したように検出される入力が途切れてしまう。
そこで、本変形例では、情報処理装置１００−１は、入力が断続的に検出される場合、検出位置の間隔における推定位置と当該検出位置とに基づいて入力に応じた処理の位置を決定する。具体的には、入力判定部１０８は、入力位置推定部１０４から得られる推定位置の２次元的な位置に基づいて一連の入力の形状を推定する。次に、入力判定部１０８は、タッチ入力部１０６から得られる接触点情報に基づいて、推定される一連の入力の形状において接触点が対応しない形状の部分を特定する。そして、入力判定部１０８は、接触点が対応しない形状の部分に相当する位置を入力に応じた処理の位置として決定する。例えば、図１４の右図の点線で示した位置が有効接触点として追加される。
このように、本実施形態の変形例によれば、情報処理装置１００−１は、入力が断続的に検出される場合、検出位置の間隔における推定位置と当該検出位置とに基づいて入力に応じた処理の位置を決定する。このため、推定位置の２次元的な位置の軌跡に基づいて検出位置が補間されることにより、ユーザの意図した入力を実現することができる。また、ペン２００−１を用いる場合と手指を用いる場合とで検出パラメタを変更することなく、操作性を維持することができる。従って、検出パラメタの切り替え等の操作が省略されることにより、利便性を向上させることが可能となる。
なお、情報処理装置１００−１は、操作体の種類に応じて検出パラメタを変更してもよい。例えば、入力位置推定部１０４は、撮像部１０２の撮像により得られる画像から操作体の種類を判定し、判定結果を後述するタッチ入力制御部１４０に通知する。そして、タッチ入力制御部１４０は、判定される当該操作体の種類に応じて検出パラメタを設定する。この場合、ユーザが検出パラメタを設定する手間を省くことができる。なお、本構成のように操作体の種類に応じて個別に適切な検出パラメタが設定される場合であっても、検出される入力が途切れる可能性があるため、上述した本変形例の入力補間機能はなお有用である。
＜３．第２の実施形態（ペンの姿勢に基づく処理）＞
以上、本開示の第１の実施形態に係る情報処理装置１００−１について説明した。続いて、本開示の第２の実施形態に係る情報処理装置１００−２について説明する。まず、図１５および図１６を参照して、第２の実施形態の背景について説明する。図１５は、ペン２００−２を持つ手の指による入力操作の例を示す図であり、図１６は、ペン２００−２を持つ手の指による入力操作が行われることを考慮しない場合における処理の例を説明するための図である。
情報処理装置１００では、ペン２００−２による入力および手指による入力の両方が許容される。このような場合、ペン２００−２を持つ手はペン２００−２による入力を行い、他方の手は手指による入力を行うことが想定される。しかし、実際には、ペン２００−２を持つ手で手指による入力が行われることがある。例えば、図１５に示したように、ペン２００−２が指で把持されたまま他の指を用いて入力が行われる。
このようなペン２００−２を持つ手の指による入力が行われる場合が考慮されないときには、入力の誤判定が生じかねない。例えば、図１６に示したように、ペン２００−２を把持したまま人差し指および親指で入力が行われる場合、手指入力推定位置Ｆ６およびＦ７が決定され、手指入力推定接触領域ＦＡ６およびＦＡ７が設定される。そのため、当該手指入力推定接触領域ＦＡ６に含まれる接触点Ｔ１７および手指入力推定接触領域ＦＡ７に含まれる接触点Ｔ１８が、それぞれ手指入力接触点と判定されるようにも思える。
しかし、画像にはペン２００−２も映っているため、当該ペン２００−２による入力に係るペン入力推定位置Ｐ２が決定され、ペン入力推定接触領域ＰＡ２およびペン入力占有領域ＯＡ２が設定される。そのため、接触点Ｔ１７は、ペン入力推定接触領域ＰＡ２に含まれるためペン入力接触点と判定され、接触点Ｔ１８は、ペン入力推定接触領域ＰＡ２に含まれずペン入力占有領域ＯＡ２に含まれるため無効接触点と判定されてしまう。その結果、ユーザが意図する手指による入力に応じた処理が行われず、逆にユーザの意図しないペン２００−２による入力に応じた処理が行われることになる。
そこで、本開示の第２の実施形態に係る情報処理装置１００−２は、操作体がユーザにより操作される物体、例えばペン形状の物体である場合、当該ペン形状の物体の姿勢に基づいて当該ペン形状の物体による入力についての処理の位置を制御する。これにより、上述のようなペン２００−２を持つ手の指による入力をユーザの意図通りに処理することが可能となる。以下、情報処理装置１００−２の詳細について説明する。
＜３−１．装置の構成＞
まず、図１７を参照して、本開示の第２の実施形態に係る情報処理装置１００−２の機能構成について説明する。図１７は、本開示の第２の実施形態に係る情報処理装置１００−２の概略的な機能構成の例を示すブロック図である。なお、第１の実施形態に係る機能構成と実質的に同一の機能構成については説明を省略する。
情報処理装置１００−２は、図１７に示したように、撮像部１０２、入力位置推定部１０４、タッチ入力部１０６、入力判定部１０８、アプリケーション１１０および投影部１１２に加えて通信部１２０を備える。
（通信部）
通信部１２０は、ペン２００−２と通信する。具体的には、通信部１２０は、ペン２００−２から当該ペン２００−２の姿勢が特定される情報（以下、姿勢情報とも称する。）を受信する。例えば、通信部１２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）といった無線通信方式を用いてペン２００−２と通信する。なお、通信部１２０は、有線通信方式でペン２００−２と通信してもよい。
（入力位置推定部）
入力位置推定部１０４は、ペン２００−２の姿勢情報に基づいて推定位置に係る処理を制御する。具体的には、入力位置推定部１０４は、操作体がペン形状の物体である場合、当該ペン形状の物体の姿勢に基づいて当該ペン形状の物体に係る推定位置に係る処理を制御する。図１８を参照して、姿勢情報に基づく推定位置に係る処理を詳細に説明する。図１８は、本実施形態におけるユーザの入力操作の例を示す図である。
まず、入力位置推定部１０４は、撮像部１０２の撮像により得られる画像から操作体を検出する。例えば、入力位置推定部１０４は、得られた画像からペン２００−２および手指を検出する。
次に、入力位置推定部１０４は、検出される操作体がペン形状の物体であるかを判定する。例えば、入力位置推定部１０４は、検出された操作体がペン２００−２であるかを判定する。
操作体がペン２００−２であると判定されると、入力位置推定部１０４は、通信部１２０から提供される姿勢情報に基づいてペン入力推定位置の決定有無を判定する。例えば、入力位置推定部１０４は、ペン２００−２が検出されると、通信部１２０から提供される姿勢情報からペン２００−２の検出面に対する傾きを算出する。算出された傾きが所定の角度以下である場合、入力位置推定部１０４は、当該ペン２００−２について入力位置を推定しないと判定する。言い換えると、当該ペン２００−２についてのペン入力推定位置の決定処理を行わないことが判定される。
次に、入力位置推定部１０４は、検出された操作体について推定位置を決定する。具体的には、入力位置推定部１０４は、検出された手指について手指入力推定位置の決定処理を行う。なお、上記にてペン入力推定位置を決定しない旨が判定されたペン２００−２についてはペン入力推定位置の決定処理が行われない。例えば、図１８に示したように、手指入力推定位置Ｆ８およびＦ９が決定され、ペン２００−２についてのペン入力推定位置は決定されない。
次に、入力位置推定部１０４は、推定位置についての推定接触領域を決定する。例えば、入力位置推定部１０４は、決定された手指入力推定位置Ｆ８およびＦ９について、図１８に示したようにそれぞれ手指入力推定接触領域ＦＡ８およびＦＡ９を設定する。なお、ペン２００−２についてのペン入力推定位置が決定されていないため、ペン入力推定接触領域およびペン入力占有領域は設定されない。
このため、入力判定部１０８の処理において、図１８に示したような接触点Ｔ１９およびＴ２０は手指入力接触点と判定される。その結果、ユーザの意図する手指による入力に基づいて処理が行われる。従って、ユーザはペン２００−２を持つ手の指によっても入力を行うことができ、操作性を向上させること、ひいては作業効率を向上させることが可能となる。
（ペン）
なお、ペン２００−２の機能構成についても説明する。ペン２００−２は、図示されていないが、ペン２００−２の姿勢を検出するセンサおよび情報処理装置１００−２と通信する通信モジュールを備える。
センサは、ペン２００−２の姿勢を検出する。例えば、センサは、角速度センサまたは加速度センサである。また、通信モジュールは、センサにより検出された姿勢が特定される姿勢情報を情報処理装置１００−２に送信する。なお、姿勢情報は、所定の時間間隔で更新され、更新される度に情報処理装置１００−２に送信されてもよい。
＜３−２．第２の実施形態のまとめ＞
このように、本開示の第２の実施形態によれば、情報処理装置１００−２は、操作体がユーザにより操作される物体である場合、当該ユーザにより操作される物体の姿勢に基づいて当該ユーザにより操作される物体による入力についての処理の位置を制御する。このため、操作体として用いられていないペン２００−２による入力についての推定位置に係る処理が行われないことにより、入力の誤判定を回避することができる。従って、上述したようなペン２００−２を持つ手の指による入力をユーザの意図通りに処理することが可能となる。
また、上記ユーザにより操作される物体の姿勢が特定される情報は、通信を介して得られる。このため、情報処理装置１００−２においてペン２００−２の姿勢を特定するための構成を備えずに済み、処理負荷およびコストの低減が可能となる。
なお、本実施形態では、姿勢情報が通信を介して得られる例を説明したが、姿勢情報は情報処理装置１００−２内で生成されてもよい。例えば、入力位置推定部１０４は、撮像部１０２の撮像により得られたペン２００−２の映る画像に基づいてペン２００−２の姿勢を推定し、推定される姿勢について姿勢情報を生成してもよい。この場合、情報処理装置１００−２において、姿勢を検出するセンサおよび姿勢情報を送信する通信モジュールを備えないペンを利用することができる。従って、ユーザはペン２００−２を自由に選択することができる。また、センサから得られる姿勢情報が利用される場合と比べて、姿勢情報の精度が向上する可能性がある。従って、入力に応じた処理の正確性を向上させることが可能となる。
＜３−３．変形例＞
以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
本実施形態の変形例として、情報処理装置１００−２は、ペン２００−２の姿勢情報を用いて推定位置を補間してもよい。ここで、ペン２００−２に装着されるＩＲマーカは、当該ペン２００−２を持つ手または当該ペン２００−２の軸等によって隠され、画像に映らない場合がある。このような現象はオクルージョンとも呼ばれる。この場合、入力位置推定部１０４はペン２００−２に係るペン入力推定位置が決定することができず、実際には入力が継続されているときであっても、当該入力に係る接触点は無効接触点と判定され、入力に応じた処理が中止されてしまう。
そこで、入力位置推定部１０４は、姿勢情報と過去の推定位置とに基づいて現在の推定位置を決定する。具体的には、入力位置推定部１０４は、角速度情報または加速度情報といった姿勢情報からペン２００−２の回転量または移動量を算出し、前回に決定された推定位置と算出される回転量または移動量とに基づいて現在の推定位置を決定する。なお、決定される現在の推定位置が検出面を外れる場合には、入力操作が終了したと判定されてもよい。
このように、本実施形態の変形例によれば、情報処理装置１００−２は、姿勢情報と過去の推定位置とに基づいて現在の推定位置を決定する。このため、上述したようなオクルージョンが発生した場合であっても、ペン２００−２のおおよその位置が推定されることにより、入力が途切れることを防止できる。従って、ユーザのペン２００−２の扱い方が限定されず、ペン２００−２の操作性を維持することが可能となる。
＜４．第３の実施形態（複数同時入力の判定）＞
以上、本開示の第２の実施形態に係る情報処理装置１００−２について説明した。続いて、本開示の第３の実施形態に係る情報処理装置１００−３について説明する。本実施形態に係る情報処理装置１００−３は、複数の操作体による同時入力（以下、マルチタッチとも称する。）の判定機能を有する。
＜４−１．装置の構成＞
まず、本開示の第３の実施形態に係る情報処理装置１００−３の機能構成について説明する。なお、情報処理装置１００−３の構成は、情報処理装置１００−１または１００−２の構成と実質的に同一であるため説明を省略し、情報処理装置１００−１および１００−２の機能と異なる機能についてのみ説明する。
（入力判定部）
入力判定部１０８は、上述したマルチタッチの入力判定を行う。具体的には、入力判定部１０８は、検出位置に相当する推定位置に係る第１の操作体以外の第２の操作体と入力の検出面との位置関係に基づいて当該第２の操作体についての処理の位置を制御する。なお、第２の操作体は、第１の操作体と同じ種類の操作体であってもよい。例えば、第２の操作体は、第１の操作体が親指である場合の当該親指以外の他の指（人差し指、中指、薬指、小指）であってもよい。また、当然ながら、第１の操作体と第２の操作体とは種類が異なってもよい。さらに、図１９を参照して、マルチタッチの入力判定処理について詳細に説明する。図１９は、マルチタッチ操作の例を示す図である。
入力判定部１０８は、検出された接触点についての接触点判定処理を行う。例えば、入力判定部１０８は、第１の実施形態において説明したような接触点判定処理を行う。その結果、例えば、ユーザが親指、人差し指および中指を用いたマルチタッチを試みた場合に、図１９に示したような接触点Ｔ２１は、親指（第１の操作体）に係る手指入力推定位置Ｆ１０についての手指入力接触点と判定される。
次に、入力判定部１０８は、有効接触点と判定された接触点に係る推定位置について検出面からの距離Ｄｔを算出する。例えば、入力判定部１０８は、有効接触点と判定された接触点Ｔ２１に係る手指入力推定位置Ｆ１０のＺ軸座標を取得し、検出面との距離Ｄｔを算出する。これは、上述したタイムラグを一因として、有効接触点と判定された接触点であっても当該接触点に係る推定位置が検出面に接触しているとは限らないからである。
次に、入力判定部１０８は、当該有効接触点と判定された接触点に係る第１の推定位置以外の第２の推定位置について検出面からの距離Ｄｉを算出する。例えば、入力判定部１０８は、図１９に示したような手指入力推定位置Ｆ１０以外の人差し指および中指（第２の操作体）に係る手指入力推定位置Ｆ１１〜Ｆ１４について、それぞれＺ軸座標を取得し、検出面との距離Ｄ１１〜Ｄ１４を算出する。
次に、入力判定部１０８は、算出された距離Ｄｉが距離Ｄｔと所定の距離Δとの和以下である当該他の推定位置について、当該有効接触点に付随するマルチタッチ有効接触点であると判定する。例えば、入力判定部１０８は、算出された距離Ｄ１１〜Ｄ１４のうち（Ｄｔ＋Δ）以下である距離に係る手指入力推定位置Ｆ１１およびＦ１２を、後に接触が予測される推定位置として、有効接触点Ｔ２１に付随するマルチタッチ有効接触点と判定する。なお、手指入力推定位置Ｆ１３およびＦ１４は、後の接触が予測されない推定位置として判定され、マルチタッチ有効接触点と判定されない。
次に、入力判定部１０８は、マルチタッチ有効接触点と判定された接触点数に基づいてマルチタッチの同時入力数を決定する。例えば、入力判定部１０８は、マルチタッチ有効接触点の数に１を加えて得られる数をマルチタッチの同時入力数として決定する。
なお、上記では、片手のマルチタッチの例を説明したが、両手でマルチタッチが行われてもよい。また、上記では、手指による入力に係るマルチタッチについて説明したが、ペン２００−３による入力に係るマルチタッチであってもよく、手指による入力およびペン２００−３による入力の両方が混在してもよい。また、上記の所定の距離Δは、予め設定された値であってもよく、変更されてもよい。
＜４−２．装置の処理＞
次に、図２０を参照して、マルチタッチの入力判定処理について説明する。図２０は、本実施形態に係る情報処理装置１００−３におけるマルチタッチの入力判定処理を概念的に示すフローチャートである。
情報処理装置１００−３は、推定位置を取得する（ステップＳ６０２）。具体的には、入力判定部１０８は、入力位置推定部１０４によって決定された推定位置を取得する。
次に、情報処理装置１００−３は、接触点の判定結果を取得する（ステップＳ６０４）。具体的には、入力判定部１０８は、上述した接触点判定処理の結果を取得する。なお、当該ステップで接触点判定処理が行われてもよい。
次に、情報処理装置１００−３は、有効接触点の有無を判定する（ステップＳ６０６）。具体的には、入力判定部１０８は、接触点の判定結果に基づいて有効接触点の有無を判定する。
有効接触点が存在すると判定されると、情報処理装置１００−３は、有効接触点に係る推定位置と検出面との距離Ｄｔを算出する（ステップＳ６０８）。具体的には、入力判定部１０８は、有効接触点が存在する場合、当該有効接触点に係る推定位置とタッチ入力部１０６の検出面とのＺ軸上の距離Ｄｔを算出する。
次に、情報処理装置１００−３は、他の推定位置の有無を判定する（ステップＳ６１０）。具体的には、入力判定部１０８は、当該有効接触点に係る推定位置以外の他の推定位置の有無を判定する。
当該有効接触点以外の他の推定位置が存在すると判定されると、情報処理装置１００−３は、当該他の推定位置と検出面との距離Ｄｉを算出する（ステップＳ６１２）。具体的には、入力判定部１０８は、当該他の推定位置が存在する場合、当該他の推定位置と検出面とのＺ軸上の距離Ｄｉを算出する。なお、当該他の推定位置が複数である場合、全ての当該他の推定位置について距離Ｄｉが算出される。
次に、情報処理装置１００−３は、距離Ｄｉが距離Ｄｔと所定の距離Δの和以下である推定位置を計数する（ステップＳ６１４）。具体的には、入力判定部１０８は、Ｄｉ＜（Ｄｔ＋Δ）を満たす距離Ｄｉに係る推定位置を計数する。
次に、情報処理装置１００−３は、計数により得られる数を同時入力数に決定する（ステップＳ６１６）。具体的には、入力判定部１０８は、計数により得られる数をマルチタッチにおける同時入力数として決定する。
ステップＳ６１０にて他の推定位置が存在しないと判定された場合、情報処理装置１００−３は、同時入力数を１に決定する（ステップＳ６１８）。具体的には、入力判定部１０８は、マルチタッチにおける同時入力数を１に決定する。なお、同時入力無しとして処理が進められてもよい。
また、ステップＳ６０６にて有効接触点が存在しないと判定された場合、情報処理装置１００−３は、同時入力数を０に決定する（ステップＳ６２０）。具体的には、入力判定部１０８は、マルチタッチにおける同時入力数を０に決定する。なお、入力無しとして処理が進められてもよい。
＜４−３．第３の実施形態のまとめ＞
このように、本開示の第３の実施形態によれば、情報処理装置１００−３は、検出位置に相当する第１の推定位置に係る操作体以外の第２の操作体と入力の検出面との位置関係に基づいて第２の操作体についての処理の位置を制御する。ここで、入力操作の形態の一つである、複数の操作体による同時入力すなわちマルチタッチにおいては、同時に意図する入力が検出されることが望ましい。しかし、意図する入力に係る複数の操作体の間で入力の検出タイミングがずれることがある。その場合、マルチタッチとして処理が行われない可能性がある。これに対し、本実施形態によれば、直後の接触が予測される操作体については接触したとして扱うことにより、入力の検出タイミングのずれが補間される。従って、マルチタッチの操作性を向上させることが可能となる。
＜５．第４の実施形態（タッチ入力についての有効検出領域の設定）＞
以上、本開示の第３の実施形態に係る情報処理装置１００−３について説明した。続いて、本開示の第４の実施形態に係る情報処理装置１００−４について説明する。本実施形態に係る情報処理装置１００−４は、タッチ入力部１０６の入力検出機能を制御する機能を有する。
＜５−１．装置の構成＞
まず、図２１を参照して、本開示の第４の実施形態に係る情報処理装置１００−４の機能構成について説明する。図２１は、本開示の第４の実施形態に係る情報処理装置１００−４の概略的な機能構成の例を示すブロック図である。なお、第１〜第３の実施形態に係る機能構成と実質的に同一の機能構成については説明を省略する。
情報処理装置１００−４は、図２１に示したように、撮像部１０２、入力位置推定部１０４、タッチ入力部１０６、入力判定部１０８、アプリケーション１１０、投影部１１２および通信部１２０に加えて、タッチ入力制御部１４０を備える。
（タッチ入力部）
タッチ入力部１０６は、タッチ入力制御部１４０により設定される検出パラメタに基づいて入力を検出する。具体的には、タッチ入力部１０６は、タッチ入力制御部１４０により設定される検出領域（以下、有効検出領域とも称する。）についてのみ入力を検出する。例えば、タッチ入力部１０６は、入力検出周期の単位で設定される検出パラメタに適応する。なお、検出パラメタは、有効検出領域の大きさまたは形状のみならず、有効検出領域における入力の検出感度等であってもよい。
（タッチ入力制御部）
タッチ入力制御部１４０は、制御部の一部として、タッチ入力部１０６の入力検出機能を制御する。具体的には、タッチ入力制御部１４０は、推定位置の２次元的な位置を含むように有効検出領域を設定する。さらに、図２２Ａおよび図２２Ｂを参照して、有効検出領域について詳細に説明する。図２２Ａは、１つの推定位置の２次元的な位置に基づいて設定される有効検出領域の例を示す図であり、図２２Ｂは、複数の推定位置の２次元的な位置に基づいて設定される有効検出領域の例を示す図である。
タッチ入力制御部１４０は、推定位置の２次元的な位置に基づいて有効検出領域を設定する。具体的には、タッチ入力制御部１４０は、推定位置に係る推定接触領域からの距離に基づいて有効検出領域を設定する。例えば、図２２Ａに示したように、ペン入力推定接触領域の水平方向（Ｘ軸方向）の左右に所定の距離Ｄｐをそれぞれ加えた距離を水平方向の長さとし、当該ペン入力推定接触領域の垂直方向（Ｙ軸方向）の上下に所定の距離Ｄｐをそれぞれ加えた距離を垂直方向の長さとする領域が有効検出領域として設定される。
また、推定接触領域が隣接する場合、タッチ入力制御部１４０は、隣接する当該推定接触領域の全てまたは一部を含む有効検出領域を設定する。例えば、図２２Ｂに示したように、左上の手指入力推定接触領域の垂直上方向に所定の距離Ｄｆを加え、右下の手指入力推定接触領域の垂直下方向に所定の距離Ｄｆを加えた距離を垂直方向の長さとし、左上の手指入力推定接触領域の水平左方向に所定の距離Ｄｆを加え、右下の手指入力推定接触領域の水平右方向に距離Ｄｆを加えた距離を水平後方の長さとする領域が有効検出領域として設定される。
なお、図２２Ａおよび図２２Ｂでは有効検出領域が矩形である例を説明したが、有効検出領域の形状はこれに限定されず任意の形状である。例えば、有効検出領域は、円形、楕円形もしくは他の曲線形または矩形以外の多角形等であり得る。
また、タッチ入力制御部１４０は、有効検出領域においてのみ入力が検出されるようにタッチ入力部１０６を制御する。具体的には、タッチ入力制御部１４０は、タッチ入力部１０６に入力の検出範囲を設定される有効検出領域に設定させる。その結果、有効検出領域の範囲内でのみ入力が検出されるため、当該有効検出領域に含まれる検出位置と推定位置とに基づいて処理の位置が制御されることになる。
なお、タッチ入力制御部１４０は、タッチ入力部１０６から得られる入力の検出結果について有効検出領域を適用してもよい。具体的には、タッチ入力制御部１４０は、得られた入力の検出位置のうち有効検出領域に含まれる検出位置についてのみ、検出結果を入力判定部１０８に提供する。この場合、タッチ入力部１０６が検出領域を変更する機能を有しなくても、入力判定部１０８の処理で用いられる検出位置を有効検出領域内の検出位置のみにすることができる。従って、入力判定部１０８の処理量が削減されることにより、入力判定部１０８の処理負荷を低減することが可能となる。
また、タッチ入力制御部１４０は、操作体の種類に応じて異なる有効検出領域についての検出パラメタを設定してもよい。具体的には、当該検出パラメタは、上述したような有効検出領域の大きさまたは形状のみならず、有効検出領域における入力の検出感度等である。例えば、図２２Ａに示したようなペン入力推定接触領域に係る有効検出領域における所定の距離Ｄｐと、図２２Ｂに示したような手指入力推定接触領域に係る有効検出領域における所定の距離Ｄｆと、が異なる長さに設定される。
＜５−２．装置の処理＞
次に、図２３〜図２６を参照して、情報処理装置１００−４の処理について説明する。図２３〜図２６は、本実施形態に係る情報処理装置１００−４の処理を説明するための図である。
まず、図２３を参照して、操作体による入力前の処理について説明する。例えば、ユーザはペン２００−４を持つ右手および何も持たない左手をタッチ入力部１０６の検出面の上方に持っていく。なお、ペン２００−４および手指は検出面に接触していないが、両手の付け根が検出面に接触している。また、物体１０が検出面に設置されている。
この場合、入力位置推定部１０４は、撮像により得られた画像からペン２００−４に係るペン入力推定位置Ｐ４を決定し、ペン入力推定接触領域ＰＡ４およびペン入力占有領域ＯＡ４を設定する。そして、タッチ入力制御部１４０は、設定されるペン入力推定接触領域ＰＡ４に基づいて有効検出領域ＤＡ１を設定する。そのため、当該有効検出領域ＤＡ１に含まれない接触点Ｔ２２〜Ｔ２７については入力が検出されない。
次に、図２４を参照して、ペン入力処理について説明する。例えば、ユーザはペン２００−４を検出面に接触させる。手指は検出面に接触していないが、ペン２００−４を持つ右手の側面が検出面と接触している。
この場合、ペン入力推定位置Ｐ４、ペン入力推定接触領域ＰＡ４およびペン入力占有領域ＯＡ４ならびに有効検出領域ＤＡ１は設定されたままである。これらに加えて、入力位置推定部１０４は、ペン２００−４を持つ右手の甲における手指の誤検出に基づいて、手指入力推定位置Ｆ１４を決定し、手指入力推定接触領域ＦＡ１４を設定する。また、タッチ入力制御部１４０は、手指入力推移位置Ｆ１４がペン入力占有領域ＯＡ４に含まれるため、当該手指入力推定接触領域について有効検出領域を設定しない。そのため、当該右手の甲付近の接触点Ｔ２９は、手指入力推定接触領域ＦＡ１４に含まれるが、接触点Ｔ２３〜Ｔ２７と同様に検出されない。これに対し、接触点Ｔ２８は、有効検出領域ＤＡ１に含まれるため検出され、ペン入力推定接触領域に含まれるためペン入力接触点と判定される。
次に、図２５を参照して、手指入力処理について説明する。例えば、ユーザは右手で持つペン２００−４による入力を中断し、ペン２００−４を持たない左手の指による入力を開始する。なお、入力操作を行っていない左手の指の一部が検出面に接触している。
この場合、ペン入力推定位置Ｐ４、ペン入力推定接触領域ＰＡ４およびペン入力占有領域ＯＡ４ならびに有効検出領域ＤＡ１は設定されたままである。これらに加えて、入力位置推定部１０４は、手指入力推定位置Ｆ１５およびＦ１６を決定し、手指入力推定接触領域ＦＡ１５およびＦＡ１６を設定する。また、タッチ入力制御部１４０は、手指入力推定接触領域ＦＡ１５およびＦＡ１６に基づいて有効検出領域ＤＡ２を設定する。そのため、接触点Ｔ３０〜Ｔ３２は検出され、その他の接触点Ｔ２３〜Ｔ２７は検出されない。また、接触点Ｔ３０およびＴ３１は、それぞれ手指入力推定接触領域ＦＡ１５およびＦＡ１６に含まれるため、手指入力接触点と判定される。しかし、接触点Ｔ３２は、いずれの手指入力推定接触領域にも含まれないため、無効接触点と判定される。
次に、図２６を参照して、ペン２００−４を持つ手の指による入力の処理について説明する。例えば、ユーザは左手の指による入力を中断し、ペン２００−４を持つ右手の指による入力を開始する。なお、当該右手の手首が検出面に接触している。
この場合、手指入力推定位置Ｆ１５およびＦ１６、手指入力推定接触領域ＦＡ１５およびＦＡ１６ならびに有効検出領域ＤＡ２は設定されたままである。これらに加えて、入力位置推定部１０４は、手指入力推定位置Ｆ１７を決定し、手指入力推定接触領域ＦＡ１７を設定する。また、タッチ入力制御部１４０は、手指入力推定接触領域ＦＡ１７に基づいて有効検出領域ＤＡ３を設定する。なお、ペン２００−４の姿勢が検出面に対して所定の傾きであるため、ペン２００−４による入力に係るペン入力推定位置等は設定されない。そのため、接触点Ｔ３３は、手指入力推定接触領域ＦＡ１７に含まれるため、手指入力接触点と判定される。しかし、接触点Ｔ３４およびＴ２４〜２７は、有効検出領域ＤＡ２およびＤＡ３のいずれにも含まれないため、検出されない。
＜５−３．第４の実施形態のまとめ＞
このように、本開示の第４の実施形態によれば、情報処理装置１００−４は、上記推定位置の上記入力の検出面に対応する位置（推定位置の２次元的な位置）を含む、入力が検出される有効検出領域を設定し、当該有効検出領域に含まれる検出位置と当該推定位置の２次元的な位置とに基づいて入力に応じた処理の位置を制御する。このため、入力検出範囲が適切に縮小されることにより、操作性を維持したまま、入力に対する応答速度の向上および入力判定処理における負荷の低減が可能となる。また、検出装置すなわちタッチ入力部１０６の処理速度の向上および処理負荷の低減が可能となる。
また、情報処理装置１００−４は、上記有効検出領域においてのみ入力が検出されるように、入力を検出する検出装置を制御する。このため、検出装置の検出速度の短縮および検出における処理負荷を低減することができる。その結果、入力から入力に応じた処理が実行されるまでの時間が短縮され、入力操作に対する応答性を向上させることが可能となる。
また、上記有効検出領域に関するパラメタは、操作体の種類に応じて異なる。このため、操作体の種類に応じて適切な検出パラメタが設定されることにより、操作体毎の操作性の差が生じることを抑制することができる。
また、上記検出領域に関するパラメタは、当該有効検出領域の大きさおよび形状ならびに当該有効検出領域における入力の検出感度の少なくとも１つを含む。このため、操作体に応じて検出の正確性が変化し得るパラメタに基づいて有効検出領域が設定されることにより、操作体の個性により対応した有効検出領域を設定することができる。従って、操作体毎の操作性の差をユーザにより感じさせにくくさせることが可能となる。
＜５−４．変形例＞
以上、本開示の第４の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
本実施形態の変形例として、情報処理装置１００−４は、操作体に関する情報以外の情報に基づいて有効検出領域が設定されてもよい。具体的には、タッチ入力制御部１４０は、操作体以外の物体の検出結果に基づいて有効検出領域を設定する。さらに、図２７を参照して、操作体以外の物体の検出結果に基づく有効検出領域の設定について説明する。図２７は、本変形例に係る情報処理装置１００−４において設定される有効検出領域の例を示す図である。
まず、入力位置推定部１０４は、撮像部１０２の撮像により得られる画像から操作体以外の物体を検出する。例えば、入力位置推定部１０４は、図２７に示したような物体１０Ａおよび１０Ｂを検出する。そして、入力位置推定部１０４は、検出された物体１０Ａおよび１０Ｂの占める領域を設定する。
次に、タッチ入力制御部１４０は、検出された物体の位置に基づいて有効検出領域を設定する。例えば、タッチ入力制御部１４０は、入力位置推定部１０４によって設定された物体１０Ａおよび１０Ｂの占める領域を含まない領域を有効検出領域ＤＡ４として設定する。
また、タッチ入力制御部１４０は、入力に応じた処理を行うアプリケーション１１０に係る情報に基づいて有効検出領域を設定してもよい。具体的には、アプリケーション１１０に係る情報は、アプリケーション１１０によって表示される領域についての入力に係る属性が特定される情報を含む。さらに、図２８を参照してアプリケーション１１０に係る情報に基づく有効検出領域の設定について詳細に説明する。図２８は、本変形例に係る情報処理装置１００−４において設定される有効検出領域の他の例を示す図である。
まず、タッチ入力制御部１４０は、アプリケーション１１０から表示領域の属性情報を取得する。具体的には、タッチ入力制御部１４０は、表示領域が特定される情報および当該表示領域における入力有無を示す情報をアプリケーション１１０から取得する。例えば、これらの情報は画面レイアウトに係る情報として取得される。
次に、タッチ入力制御部１４０は、取得された表示領域の属性情報に基づいて有効検出領域を設定する。例えば、図２８に示したような描画操作対象の画面２０Ａ〜２０Ｃが表示される場合、タッチ入力制御部１４０は、当該画面２０Ａ〜２０Ｃを含む領域をそれぞれ有効検出領域ＤＡ５〜ＤＡ７として設定する。なお、表示領域は、撮像により得られる画像から検出されてもよい。
また、アプリケーション１１０に係る情報は、アプリケーション１１０の種類が特定される情報であってもよい。具体的には、タッチ入力制御部１４０は、アプリケーション１１０からアプリケーション１１０の種類を含むアプリケーション１１０の属性情報を取得する。そして、タッチ入力制御部１４０は、取得される属性情報の示す種類に応じた有効検出領域を設定する。例えば、アプリケーション１１０の種類が描画用アプリケーションである場合、タッチ入力制御部１４０は、有効検出領域の大きさを他の種類において設定される有効検出領域よりも大きくする。
なお、上記の操作体に関する情報以外の情報に基づいて設定される有効検出領域（以下、第２の有効検出領域とも称する。）は、操作体に関する情報すなわち推定接触領域に基づく有効検出領域の設定処理に利用されてもよい。例えば、入力位置推定部１０４は、推定接触領域に基づいて設定された有効検出領域のうち、第２の有効検出領域と重複する部分を有効検出領域から外してもよい。この場合、より状況に適した有効検出領域が設定されることにより、操作性を損なわずに応答性をより向上させることが可能となる。
また、上記では、第２の有効検出領域の形状についてのみ言及したが、第２の有効検出領域の他の検出パラメタが設定対象とされてもよい。また、当然ながら、本変形例の処理は本実施形態において説明した有効検出領域の設定処理と併用されてもよい。
このように、本実施形態の変形例によれば、情報処理装置１００−４は、操作体以外の物体の検出結果に基づいて有効検出領域を設定する。このため、操作体以外の物体に係る接触点が検出されないことにより、当該物体周辺に操作体が位置する場合に誤判定が発生することを防止できる。
また、情報処理装置１００−４は、入力に応じた処理を行うアプリケーション１１０に係る情報に基づいて有効検出領域を設定する。このため、アプリケーション１１０にとって適切に入力が得られる範囲で有効検出領域が設定されることにより、処理に影響を与えることなく、入力操作に対する応答性を向上させることが可能となる。
また、上記アプリケーション１１０に係る情報は、アプリケーション１１０の種類が特定される情報を含む。ここで、操作に対する応答性への要求ならびに操作内容および操作速度はアプリケーション１１０の種類によって異なることが多い。そのため、本構成によれば、アプリケーション１１０の種類に応じて適切な有効検出領域が設定されることにより、アプリケーション１１０毎の操作性および応答性のばらつきを防止することができる。また、他の複雑な処理を伴わないことにより、有効検出領域の設定処理を簡素化することができる。従って、有効検出領域の設定に係る処理負荷を低減し、処理速度を向上させることが可能となる。
また、上記アプリケーション１１０に係る情報は、当該アプリケーション１１０によって表示される領域についての入力に係る属性が特定される情報を含む。ここで、表示内容によっては表示領域における入力可能な領域が検出面に対して小さい場合がある。そのため、本構成によれば、入力可能な領域のみが有効検出領域として設定されることにより、検出範囲が縮小される。従って、検出にかかる処理負荷および処理速度を低減することが可能となる。
＜６．本開示の一実施形態に係る情報処理装置のハードウェア構成＞
以上、本開示の各実施形態に係る情報処理装置１００について説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現される。
図２９は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図２９に示したように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）１５２と、ＲＯＭ（Read Only Memory）１５４と、ＲＡＭ（Random Access Memory）１５６と、ブリッジ１５８と、バス１６０と、インターフェース１６２と、カメラモジュール１６４、入力装置１６６と、出力装置１６８と、ストレージ装置１７０と、ドライブ１７２と、接続ポート１７４と、通信装置１７６とを備える。
ＣＰＵ１５２は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の入力位置推定部１０４、入力判定部１０８、アプリケーション１１０、タッチ入力制御部１４０の動作を実現する。また、ＣＰＵ１５２は、マイクロプロセッサであってもよく、ＧＰＵ（Graphics Processing Unit）であってもよい。ＲＯＭ１５４は、ＣＰＵ１５２が使用するプログラムまたは演算パラメタ等を記憶する。ＲＡＭ１５６は、ＣＰＵ１５２の実行にいて使用するプログラムまたは実行において適宜変化するパラメタ等を一時記憶する。ＲＯＭ１５４およびＲＡＭ１５６により、情報処理装置１００内の記憶部の一部を実現する。ＣＰＵ１５２、ＲＯＭ１５４およびＲＡＭ１５６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。なお、入力位置推定部１０４と入力判定部１０８とは別個のＩＣ（Integrated Circuit）チップで実現されてもよい。
カメラモジュール１６４は、撮像光学系および信号変換素子を備え、撮像部１０２の機能を実現する。例えば、カメラモジュール１６４は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の信号変換素子を備える。
入力装置１６６は、例えば、マウス、キーボード、タッチパネル（タッチセンサ）、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１５２に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、入力装置１６６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置１６８は、例えば情報処理装置１００内の投影部１１２の一例として、プロジェクタ、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置、ランプなどの装置への出力を行う。さらに、出力装置１６８は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
ストレージ装置１７０は、データ格納用の装置である。ストレージ装置１７０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置１７０は、ＣＰＵ１５２が実行するプログラムや各種データを格納する。
ドライブ１７２は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１７２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１５４に出力する。また、ドライブ１７２は、リムーバブル記憶媒体に情報を書込むこともできる。
接続ポート１７４は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１７４は、ＵＳＢ（Universal Serial Bus）であってもよい。
通信装置１７６は、例えば、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。通信装置１７６は、概してＢｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ（Local Area Network）対応通信装置であるが、赤外線通信対応装置であっても、ＬＴＥ（Long Term Evolution）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
＜７．むすび＞
以上、本開示の第１の実施形態によれば、操作体の近接による入力の検出結果に加えて操作体の映る画像に基づいて入力位置すなわち入力に応じた処理の位置が決定されることにより、操作体の近接による入力の検出結果のみを用いる場合と比べて、処理の位置の正確性を向上させることができる。従って、入力を操作するユーザの意図に沿った処理を行わせることが可能となる。また、本実施形態によれば、操作中の操作体について入力位置が推定されるため、実際に行われている操作に応じた処理対象となる入力の選別が可能である。従って、ユーザが毎回異なる態様で操作を行う場合であっても、当該ユーザが意図する入力に応じた処理をアプリケーション１１０等に行わせることができる。
また、本開示の第２の実施形態によれば、操作体として用いられていないペン２００−２による入力についての推定位置に係る処理が行われないことにより、入力の誤判定を回避することができる。従って、上述したようなペン２００−２を持つ手の指による入力をユーザの意図通りに処理することが可能となる。
また、本開示の第３の実施形態によれば、直後の接触が予測される操作体については接触したとして扱うことにより、入力の検出タイミングのずれが補間される。従って、マルチタッチの操作性を向上させることが可能となる。
また、本開示の第４の実施形態によれば、入力検出範囲が適切に縮小されることにより、操作性を維持したまま、入力に対する応答速度の向上および入力判定処理における負荷の低減が可能となる。また、検出装置すなわちタッチ入力部１０６の処理速度の向上および処理負荷の低減が可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、情報処理装置１００に撮像部１０２、タッチ入力部１０６および投影部１１２が備えられるとしたが、本技術はかかる例に限定されない。例えば、撮像部１０２、タッチ入力部１０６および投影部１１２は、外部装置に備えられ、情報処理装置１００と外部装置との通信を介して情報の授受または制御が行われてもよい。
また、上記実施形態では、情報処理装置１００に出力部として投影部１１２が備えられる例を説明したが、投影部１１２の代わりにまたはそれに加えて、ディスプレイ等の表示部が備えられてもよい。また、投影部１１２または表示部等による表示出力の代わりにまたはそれに加えて、音声出力が行われてもよい。
また、上記実施形態では、操作体はペン２００または手指である例を説明したが、操作体は他の物体であってもよい。例えば、手指以外の手または腕といった人体の他の部位であってもよい。
また、上記実施形態では、操作体の位置（特にＺ軸方向の位置）を推定するためにステレオカメラが用いられる例を説明したが、ステレオカメラの代わりにまたはそれに加えて被写体の３次元的な位置が測定可能な任意のセンサが用いられてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
操作体の近接に応じた入力の検出結果に基づく前記入力の検出位置に係る情報と、前記操作体を被写体とする撮像により得られる画像情報を用いて推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御する制御部、
を備える、情報処理装置。
（２）
前記推定される前記操作体の位置は、前記入力の検出面に近接しない位置を含む、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記推定される前記操作体の位置の前記入力の検出面に対応する位置を含む、前記入力が検出される検出領域を設定し、
前記検出領域に含まれる前記検出位置と前記推定される前記操作体の位置の前記入力の検出面に対応する位置とに基づいて前記処理の位置情報を制御する、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、前記検出領域においてのみ前記入力が検出されるように、前記入力を検出する検出装置を制御する、前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記操作体以外の物体の検出結果および前記入力に応じた処理を行うアプリケーションに係る情報の少なくとも一方に基づいて前記検出領域を設定する、前記（３）または（４）に記載の情報処理装置。
（６）
前記アプリケーションに係る情報は、前記アプリケーションの種類が特定される情報を含む、前記（５）に記載の情報処理装置。
（７）
前記アプリケーションに係る情報は、前記アプリケーションによって表示される領域についての前記入力に係る属性が特定される情報を含む、前記（５）または（６）に記載の情報処理装置。
（８）
前記検出領域に関するパラメタは、前記操作体の種類に応じて異なる、前記（３）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記検出領域に関するパラメタは、前記検出領域の大きさ、前記検出領域の形状および前記検出領域における前記入力の検出感度の少なくとも１つを含む、前記（８）に記載の情報処理装置。
（１０）
前記制御部は、前記検出位置に相当する前記推定される前記操作体の位置に係る第１の操作体以外の第２の操作体と前記入力の検出面との位置関係に基づいて前記第２の操作体についての前記処理の位置情報を制御する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記制御部は、前記推定される前記操作体の位置が前記検出位置に相当するかに応じて前記処理を制御する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記推定される前記操作体の位置が前記検出位置に相当するかは、前記推定される前記操作体の位置の前記入力の検出面に対応する位置を含む推定領域に前記検出位置が含まれるかに基づいて判定される、前記（１１）に記載の情報処理装置。
（１３）
前記制御部は、前記入力が断続的に検出される場合、前記検出位置の間隔における前記推定される前記操作体の位置と前記検出位置とに基づいて前記処理を決定する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記操作体は、ユーザにより操作される物体を含み、
前記制御部は、前記操作体が前記ユーザにより操作される物体であるかに応じて、前記ユーザにより操作される物体の周辺で検出される前記入力について前記処理を制御する、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、前記操作体が前記ユーザにより操作される物体である場合、前記ユーザにより操作される物体の姿勢に基づいて前記ユーザにより操作される物体による前記入力についての前記処理を制御する、前記（１４）に記載の情報処理装置。
（１６）
前記ユーザにより操作される物体の姿勢が特定される情報は、通信を介して得られる、前記（１５）に記載の情報処理装置。
（１７）
前記操作体は、ユーザの手または指を含む、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記制御部は、前記推定される前記操作体の位置と前記入力の検出面との位置関係に基づいて前記処理を制御する、前記（１）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
プロセッサにより、
操作体の近接に応じた入力の検出結果に基づく前記入力の検出位置に係る情報と、前記操作体を被写体とする撮像により得られる画像情報を用いて推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御すること、
を含む、情報処理方法。
（２０）
操作体の近接に応じた入力の検出結果に基づく前記入力の検出位置に係る情報と、前記操作体を被写体とする撮像により得られる画像情報を用いて推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御する制御機能、
をコンピュータに実現させるためのプログラム。
（２１）
操作体の近接に基づく入力を検出する検出装置と、
前記操作体を被写体とする撮像を行う撮像装置と、
前記検出装置から前記入力の検出結果を得て、前記撮像装置から前記撮像により得られる画像情報を得る取得部と、前記画像情報に基づいて前記操作体の位置を推定する推定部と、前記検出結果に基づく前記入力の検出位置に係る情報と、推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御する制御部と、を備える、情報処理装置と、
前記処理に基づいて出力を行う出力装置と、
を備える、情報処理システム。
１００ 情報処理装置
１０２ 撮像部
１０４ 入力位置推定部
１０６ タッチ入力部
１０８ 入力判定部
１１０ アプリケーション
１１２ 投影部
１２０ 通信部
１４０ タッチ入力制御部

Claims (19)

  1. 操作体の近接に応じた入力の検出結果に基づく前記入力の検出位置に係る情報と、前記操作体を被写体とする撮像により得られる画像情報を用いて推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御する制御部を備え、
    前記制御部は、前記入力が断続的に検出される場合、前記検出位置の間隔における前記推定される前記操作体の位置と前記検出位置とに基づいて前記処理を決定する、
    情報処理装置。
  2. 前記推定される前記操作体の位置は、前記入力の検出面に近接しない位置を含む、請求項１に記載の情報処理装置。
  3. 前記制御部は、前記推定される前記操作体の位置の前記入力の検出面に対応する位置を含む、前記入力が検出される検出領域を設定し、
    前記検出領域に含まれる前記検出位置と前記推定される前記操作体の位置の前記入力の検出面に対応する位置とに基づいて前記処理の位置情報を制御する、請求項１又は２に記載の情報処理装置。
  4. 前記制御部は、前記検出領域においてのみ前記入力が検出されるように、前記入力を検出する検出装置を制御する、請求項３に記載の情報処理装置。
  5. 前記制御部は、前記操作体以外の物体の検出結果および前記入力に応じた処理を行うアプリケーションに係る情報の少なくとも一方に基づいて前記検出領域を設定する、請求項３又は４に記載の情報処理装置。
  6. 前記アプリケーションに係る情報は、前記アプリケーションの種類が特定される情報を含む、請求項５に記載の情報処理装置。
  7. 前記アプリケーションに係る情報は、前記アプリケーションによって表示される領域についての前記入力に係る属性が特定される情報を含む、請求項５又は６に記載の情報処理装置。
  8. 前記検出領域に関するパラメタは、前記操作体の種類に応じて異なる、請求項３〜７のいずれか１項に記載の情報処理装置。
  9. 前記検出領域に関するパラメタは、前記検出領域の大きさ、前記検出領域の形状および前記検出領域における前記入力の検出感度の少なくとも１つを含む、請求項８に記載の情報処理装置。
  10. 前記制御部は、前記検出位置に相当する前記推定される前記操作体の位置に係る第１の操作体以外の第２の操作体と前記入力の検出面との位置関係に基づいて前記第２の操作体についての前記処理の位置情報を制御する、請求項１〜９のいずれか１項に記載の情報処理装置。
  11. 前記制御部は、前記推定される前記操作体の位置が前記検出位置に相当するかに応じて前記処理を制御する、請求項１〜１０のいずれか１項に記載の情報処理装置。
  12. 前記推定される前記操作体の位置が前記検出位置に相当するかは、前記推定される前記操作体の位置の前記入力の検出面に対応する位置を含む推定領域に前記検出位置が含まれるかに基づいて判定される、請求項１１に記載の情報処理装置。
  13. 前記操作体は、ユーザにより操作される物体を含み、
    前記制御部は、前記操作体が前記ユーザにより操作される物体であるかに応じて、前記ユーザにより操作される物体の周辺で検出される前記入力について前記処理を制御する、請求項１〜１２のいずれか１項に記載の情報処理装置。
  14. 前記制御部は、前記操作体が前記ユーザにより操作される物体である場合、前記ユーザにより操作される物体の姿勢に基づいて前記ユーザにより操作される物体による前記入力についての前記処理を制御する、請求項１３に記載の情報処理装置。
  15. 前記ユーザにより操作される物体の姿勢が特定される情報は、通信を介して得られる、請求項１４に記載の情報処理装置。
  16. 前記操作体は、ユーザの手または指を含む、請求項１〜１５のいずれか１項に記載の情報処理装置。
  17. 前記制御部は、前記推定される前記操作体の位置と前記入力の検出面との位置関係に基づいて前記処理を制御する、請求項１〜１６のいずれか１項に記載の情報処理装置。
  18. プロセッサにより、
    操作体の近接に応じた入力の検出結果に基づく前記入力の検出位置に係る情報と、前記操作体を被写体とする撮像により得られる画像情報を用いて推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御すること、
    を含み、
    前記入力が断続的に検出される場合、前記検出位置の間隔における前記推定される前記操作体の位置と前記検出位置とに基づいて前記処理を決定する、
    情報処理方法。
  19. 操作体の近接に応じた入力の検出結果に基づく前記入力の検出位置に係る情報と、前記操作体を被写体とする撮像により得られる画像情報を用いて推定される前記操作体の位置に係る情報と、に基づいて前記入力に応じた処理を制御する制御機能、
    をコンピュータに実現させるためのプログラムであって、
    前記制御機能は、前記入力が断続的に検出される場合、前記検出位置の間隔における前記推定される前記操作体の位置と前記検出位置とに基づいて前記処理を決定する、
    プログラム。
JP2017557769A 2015-12-21 2016-11-02 情報処理装置、情報処理方法及びプログラム Active JP6816727B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015248231 2015-12-21
JP2015248231 2015-12-21
PCT/JP2016/082581 WO2017110257A1 (ja) 2015-12-21 2016-11-02 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2017110257A1 JPWO2017110257A1 (ja) 2018-10-04
JP6816727B2 true JP6816727B2 (ja) 2021-01-20

Family

ID=59089250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017557769A Active JP6816727B2 (ja) 2015-12-21 2016-11-02 情報処理装置、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US20180373392A1 (ja)
EP (1) EP3396499A4 (ja)
JP (1) JP6816727B2 (ja)
KR (1) KR20180096606A (ja)
CN (1) CN108475134A (ja)
WO (1) WO2017110257A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP2021033543A (ja) * 2019-08-22 2021-03-01 株式会社ワコム 入力装置
JP6850334B1 (ja) * 2019-11-19 2021-03-31 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及びその入力制御方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW528981B (en) * 2001-10-25 2003-04-21 Compal Electronics Inc Portable computer and related method for preventing input interruption by write-tracking input region
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US8610744B2 (en) * 2009-07-10 2013-12-17 Adobe Systems Incorporated Methods and apparatus for natural media painting using proximity-based tablet stylus gestures
KR101811636B1 (ko) * 2011-04-05 2017-12-27 삼성전자주식회사 디스플레이 장치 및 이의 오브젝트 표시 방법
JP5774350B2 (ja) 2011-04-12 2015-09-09 シャープ株式会社 電子機器、手書き入力方法、および手書き入力プログラム
CN103150100A (zh) * 2011-12-06 2013-06-12 联想(北京)有限公司 信息处理方法和电子设备
CN103324352A (zh) * 2012-03-22 2013-09-25 中强光电股份有限公司 指示单元、指示装置及指示方法
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US20130300672A1 (en) * 2012-05-11 2013-11-14 Research In Motion Limited Touch screen palm input rejection
US20130300696A1 (en) * 2012-05-14 2013-11-14 N-Trig Ltd. Method for identifying palm input to a digitizer
KR102040857B1 (ko) * 2012-07-17 2019-11-06 삼성전자주식회사 펜 인식 패널을 포함한 단말기의 기능 운용 방법 및 이를 지원하는 단말기
WO2014065203A1 (ja) * 2012-10-26 2014-05-01 シャープ株式会社 座標入力装置、及びそれを備えた表示装置
JP2014174801A (ja) * 2013-03-11 2014-09-22 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9542040B2 (en) * 2013-03-15 2017-01-10 Smart Technologies Ulc Method for detection and rejection of pointer contacts in interactive input systems
JP2015022442A (ja) * 2013-07-17 2015-02-02 株式会社東芝 電子機器、電子機器の制御方法、電子機器の制御プログラム
US10108305B2 (en) * 2013-08-13 2018-10-23 Samsung Electronics Company, Ltd. Interaction sensing
CN105745606B (zh) * 2013-09-24 2019-07-26 惠普发展公司，有限责任合伙企业 基于图像识别触摸敏感表面的目标触摸区域
US9563956B2 (en) * 2014-03-26 2017-02-07 Intel Corporation Efficient free-space finger recognition
US9870083B2 (en) * 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
US10191603B2 (en) * 2014-06-26 2019-01-29 Sony Corporation Information processing device and information processing method
JP6340958B2 (ja) * 2014-07-02 2018-06-13 株式会社リコー プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法
US9804707B2 (en) * 2014-09-12 2017-10-31 Microsoft Technology Licensing, Llc Inactive region for touch surface based on contextual information
US9720446B2 (en) * 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration

Also Published As

Publication number Publication date
CN108475134A (zh) 2018-08-31
EP3396499A4 (en) 2018-12-05
KR20180096606A (ko) 2018-08-29
US20180373392A1 (en) 2018-12-27
EP3396499A1 (en) 2018-10-31
WO2017110257A1 (ja) 2017-06-29
JPWO2017110257A1 (ja) 2018-10-04

Similar Documents

Publication Publication Date Title
US8976136B2 (en) Proximity-aware multi-touch tabletop
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
EP2766793B1 (en) Enhanced target selection for a touch-based input enabled user interface
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US10572012B2 (en) Electronic device for performing gestures and methods for determining orientation thereof
CN106605187B (zh) 信息处理装置、信息处理方法以及程序
JP6618276B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JPWO2014119258A1 (ja) 情報処理方法及び情報処理装置
JP2010055510A (ja) 情報処理装置及び情報処理方法
US20150301647A1 (en) Touch panel-type input device, method for controlling the same, and storage medium
US10296096B2 (en) Operation recognition device and operation recognition method
JP6816727B2 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2017199289A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US11886643B2 (en) Information processing apparatus and information processing method
JP2017084307A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2022525326A (ja) ２次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
JP2017027311A (ja) 情報処理装置、その制御方法、プログラム、および記憶媒体
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
CN110291495B (zh) 信息处理系统、信息处理方法及程序
JP2017228216A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US20240134451A1 (en) Ray casting system and method
US20240231488A9 (en) Ray casting system and method
JP2015219609A (ja) 情報処理方法、情報処理装置及び記録媒体
JP2020149633A (ja) 表示装置、表示方法、表示プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201207

R151 Written notification of patent or utility model registration

Ref document number: 6816727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151