JPWO2016208099A1 - 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム - Google Patents

情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム Download PDF

Info

Publication number
JPWO2016208099A1
JPWO2016208099A1 JP2017524570A JP2017524570A JPWO2016208099A1 JP WO2016208099 A1 JPWO2016208099 A1 JP WO2016208099A1 JP 2017524570 A JP2017524570 A JP 2017524570A JP 2017524570 A JP2017524570 A JP 2017524570A JP WO2016208099 A1 JPWO2016208099 A1 JP WO2016208099A1
Authority
JP
Japan
Prior art keywords
key
electronic pen
information processing
processing apparatus
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017524570A
Other languages
English (en)
Inventor
森　健
健 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2016208099A1 publication Critical patent/JPWO2016208099A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

情報処理装置は、情報を表示する表示部と、表示部に対する位置指示体の接触または近接を検出する第１の検出部と、操作キーに対するユーザによる操作を検出する第２の検出部と、第２の検出部により操作が検出された操作キーに対するイベントを発行する制御部と、を備える。制御部は、第２の検出部により操作キーに対する操作が検出されたときに位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。

Description

本開示は、位置指示体及び操作キーによる情報入力が可能な情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラムに関する。
ペンと指タッチを組み合わせて情報の入力や操作が可能な情報処理装置がある。例えば、特許文献１は、ペンによってジェスチャや位置座標を入力するペン座標入力手段と、指タッチにより位置座標を入力する第２座標入力手段とを備える入力装置を開示する。この入力装置は、第２座標入力手段を介して指タッチによる位置の入力があった場合、この位置と、ペン座標入力手段を介してペンによって入力されたジェスチャとを入力イベントと決定する。一方、第２座標入力手段から位置の入力がなかった場合は、ペン座標入力手段から入力された位置及びジェスチャを入力イベントとして決定する。これにより、例えば利用者が左手の指により第２座標入力手段から位置を入力すると共に右手に持ったペンでペン座標入力手段からジェスチャを入力したり、右手に持ったペンのみでペン座標入力手段からジェスチャと位置の両者を入力したりと、自由に使い分けることができる。
特開平６−８３５２４号公報
本開示の第一の態様において、位置指示体と操作キーによる情報入力が可能な情報処理装置が提供される。情報処理装置は、情報を表示する表示部と、表示部に対する位置指示体の接触または近接を検出する第１の検出部と、操作キーに対するユーザによる操作を検出する第２の検出部と、第２の検出部により操作が検出された操作キーに対するイベントを発行する制御部と、を備える。制御部は、第２の検出部により操作キーに対する操作が検出されたときに位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
本開示の第二の態様において、位置指示体と操作キーを用いた情報処理装置に対する入力を制御する入力制御方法が提供される。入力制御方法は、情報処理装置の表示部に対する位置指示体の接触または近接を検出するステップと、操作キーに対するユーザによる操作を検出するステップと、操作が検出された操作キーに対するイベントを発行するステップと、を含む。イベントを発行するステップにおいて、操作キーに対する操作が検出されたときに、位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
本開示によれば、ユーザが違和感なく、位置指示体と操作キーとを組み合わせて入力操作を行うことが可能な情報処理装置を提供できる。
図１Ａは、実施の形態における情報処理装置の平面図である。 図１Ｂは、実施の形態における情報処理装置の構成を示す図である。 図２は、実施の形態における電子ペンの構成を示す図である。 図３Ａは、情報処理装置に表示されるオンスクリーンキーの表示例を示した図である。 図３Ｂは、情報処理装置に表示されるオンスクリーンキーの別の表示例を示した図である。 図４は、ＯＳと、キー入力ユーティリティと、アプリケーションとの関係を説明した図である。 図５Ａは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。 図５Ｂは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。 図６は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。 図７は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。 図８は、オンスクリーンキーが押下されたときの情報処理装置の動作を説明するための図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
以下に説明する実施の形態の情報処理装置は、ユーザの指及び電子ペンの両方またはいずれか一方による表示画面へのタッチにより情報の入力及び操作が可能な電子機器である。そのような電子機器の例として、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、電子黒板が考えられる。以下、添付の図面を用いて、実施の形態１の情報処理装置を説明する。
［１−１．構成］
［１−１−１．情報処理装置の構成］
図１Ａは、本実施の形態における情報処理装置の平面図である。図１Ａに示すように、本実施形態では、情報処理装置１０は一例としてタブレット端末で構成される。図１Ｂは、本実施の形態における情報処理装置１０の構成を示した図である。図１Ｂに示すように、情報処理装置１０は、ドットパターン付フィルム１００、カバーガラス１１０、タッチ検出用センサ１２０、液晶パネル１３０、タッチ検出部１４０、Ｂｌｕｅｔｏｏｔｈ制御部（「Ｂｌｕｅｔｏｏｔｈ」は登録商標で、以下「制御部」という）１５０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６０、液晶表示制御部１７０、メモリ１８０及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８５を備える。
ドットパターン付フィルム１００は、電子ペンの画像処理部（後述）で、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたフィルムである。カバーガラス１１０は、液晶パネル１３０や、タッチ検出用センサ１２０を保護するためのガラスである。タッチ検出用センサ１２０は、例えば、格子状に配置された透明電極と検出回路を備え、透明電極に対する電圧の変化等を監視することにより、指等の液晶パネル１３０の表示画面への接触を検出する。
液晶パネル１３０は、液晶表示制御部１７０が決定した表示パターンを表示する。液晶パネル１３０は、表示パターンに基づき、映像、各種アイコン等の画像、及びアプリケーションによる文字等の各種情報を表示する。
タッチ検出部１４０は、例えば、液晶パネル１３０上のタッチ検出用センサ１２０に対し電圧制御を行い、電圧の変化等を監視することにより、液晶パネル１３０に対する指やスタイラスペン等の接触を検出し、液晶パネル１３０上の接触位置情報（座標データ）を生成する回路である。なお、タッチ検出部１４０は、本実施の形態の電子ペンの液晶パネル１３０に対する接触は検知しない。すなわち、ユーザは、液晶パネル１３０に対して指やスタイラスペン等を接触させることで、情報処理装置に対して情報（座標データ）を入力することができる。
制御部１５０は、電子ペンのＢｌｕｅｔｏｏｔｈ制御部（「Ｂｌｕｅｔｏｏｔｈ」は登録商標で、以下制御部という）２３０（図２参照、後述する）から送信される、電子ペンが接触または近接した際の位置情報や筆圧センサ（後述する）の接触情報のデータを受信し、ＣＰＵ１６０に転送する。
ＣＰＵ１６０は、ＲＯＭ１８５に格納されたプログラムを読み出して実行し、情報処理装置１０の全体動作を制御する。ＣＰＵ１６０は、タッチ検出部１４０からタッチ位置情報を取得し、制御部１５０から電子ペンが接触または近接した際の位置情報を取得する。また、取得した電子ペンによる接触位置の軌跡を液晶パネル１３０に表示するように液晶表示制御部１７０に通知する。また、ＣＰＵ１６０は、タッチ検出部１４０からの検出信号に基づき、ユーザの指等によるタッチ操作によるタップ、フリック、ピンチイン、ピンチアウト等のジェスチャ操作を検出し、ジェスチャ操作に基づいた表示制御を行う。
液晶表示制御部１７０は、ＣＰＵ１６０から通知された表示パターンを生成し、液晶パネル１３０に表示する。液晶表示制御部１７０は、ＣＰＵ１６０で取得した電子ペンによる接触位置の軌跡を、液晶パネル１３０に表示する。
メモリ１８０、ＲＯＭ１８５は半導体メモリ素子で構成される。ＲＯＭ１８５はＣＰＵ１６０で実行されるプログラムを格納している。メモリ１８０はＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等で構成できる。
［１−１−２．電子ペンの構成］
図２は、情報処理装置１０に情報を入力するための電子ペンの構成を示した図である。
図２において、電子ペン２０は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２００、画像センサ（カメラ）２１０、画像処理部２２０、制御部２３０、及び筆圧センサ２４０を備える。
ＬＥＤ２００は、光を照射する。画像センサ２１０は、ＬＥＤ２００から照射された光からの反射光に基づき、電子ペン２０がドットパターン付フィルム１００に接触した際のペン先に位置するフィルム１００のドットパターンを読み取り、取ったパターンを含む画像データを画像処理部２２０に転送する。なお、画像センサ２１０は、電子ペン２０がドットパターン付フィルム１００に近接しておれば、ドットパターン付フィルム１００に接触していなくても、電子ペン２０のペン先の先にあるドットパターンを読み取ることができる。
画像処理部２２０は、画像センサ２１０から取得した画像データ（ドットパターン）を解析し、ペン先の接触位置の位置情報（座標データ）を生成して、制御部２３０に転送する。電子ペン２０がドットパターン付フィルム１００に接触せずに近接し、さらにドットパターン付フィルム１００に対して傾いて保持されている場合、画像センサ２１０は、電子ペン２０のペン先からドットパターン付フィルム１００に対して垂直に降ろした位置ではなく、その位置からずれた位置のドットパターンを読み取る。電子ペン２０がドットパターン付フィルム１００に対して接触せずに傾いて保持されている場合、画像センサ２１０で取得したドットパターンは、電子ペン２０の傾きに応じて、その形状が変化する。このため、画像処理部２２０は、その形状の変化から電子ペン２０の傾きを算出し、傾きに応じて位置の補正を行う。これにより、電子ペン２０のペン先からドットパターン付フィルム１００に対して垂直に降ろした位置の位置情報を生成することができる。
電子ペン２０の制御部２３０は、画像処理部２２０から転送された位置情報と、筆圧センサ２４０から転送される接触情報とを、情報処理装置１０の制御部１５０に送信する。
筆圧センサ２４０は、電子ペン２０のペン先が他の物体に接触しているかを検出し、その検出結果を示す接触情報を、電子ペン２０の制御部２３０に転送する。
［１−２．動作］
［１−２−１．指によるタッチ入力］
上述のように、液晶パネル１３０の画面に対してユーザの指を接触させると、タッチ検出部１４０によりその接触が検出され、接触位置情報（座標データ）が生成される。このように、ユーザは、液晶パネル１３０の画面に対して指によるタッチ操作を行うことで、情報処理装置１０に対して情報の入力を行うことができる。なお、ユーザの指の代わりにスタイラスペンを用いてもよい。
［１−２−２．電子ペンによる入力］
情報処理装置１０に対する電子ペン２０による入力動作について説明する。
電子ペン２０は、画像センサ２１０によりペン先の被写体を撮影し画像データを生成する。画像処理部２２０は、画像センサ２１０により生成された画像データからドットパターンを解析し、ペン先の接触位置の位置情報（座標データ）を生成する。
電子ペン２０がドットパターン付フィルム１００に接触または近接していないため、ドットパターンを取得できない場合、画像処理部２２０は、位置情報を生成しない。一方、電子ペン２０がドットパターン付フィルム１００に接触または近接していた場合、画像処理部２２０は、画像データからドットパターンを解析することができる。この場合、画像処理部２２０は、位置情報を生成し、制御部２３０に転送する。
制御部２３０は、画像処理部２２０から位置情報を取得した際、筆圧センサ２４０から接触情報が通知されているか判断する。
電子ペン２０が情報処理装置１０の表面に接触している場合には、筆圧センサ２４０から制御部２３０に対し接触情報が通知され、制御部２３０は、接触情報と位置情報とを、情報処理装置１０の制御部１５０に送信する。
電子ペン２０が情報処理装置１０の表面に接触していない場合、すなわち、筆圧センサ２４０から接触情報が通知されていない場合は、制御部２３０は、位置情報のみを情報処理装置１０（制御部１５０）に送信する。
情報処理装置１０のＣＰＵ１６０は、制御部１５０によって電子ペン２０から、位置情報及び接触通知を受信し、それらの受信した情報に基づき電子ペン２０により情報が入力された液晶パネル１３０上の位置を把握する。
以上のようにして、本実施の形態の情報処理装置１０では、指や電子ペン２０による情報の入力や操作を行うことができる。
［１−２−３．オンスクリーンキー］
本実施の形態の情報処理装置１０は、液晶パネル１３０上に仮想的な操作ボタン（以下「オンスクリーンキー」という）を表示し、オンスクリーンキーに対してなされたユーザ操作を入力する機能を有する。この機能は、ＣＰＵ１６０で実行されるキー入力ユーティリティにより実現される。すなわち、キー入力ユーティリティは、液晶パネル１３０上にオンスクリーンキーを表示し、そのオンスクリーンキーに対してなされたユーザ操作を検出する機能を実現するソフトウェアである。
図３Ａ及び図３Ｂは、キー入力ユーティリティにより液晶パネル１３０上に表示されるキーパッドの例を示した図である。図３Ａに示すキーパッドは、オンスクリーンキーとして、マウスにおける左クリックボタン、中ボタン、右クリックボタンのそれぞれに対応するオンスクリーンキー４１ａ、４１ｂ、４１ｃを含んでいる。図３Ｂに液晶パネル１３０上に表示される別のキーパッドの例を示す。図３Ｂに示すキーパッドは、「Ａｌｔ」「Ｅｓｃａｐｅ」「Ｃｔｒｌ」等のキーや、「Ｃｔｒｌ＋Ｃ」のような複数のキーを組み合わせたショートカットキーに対応するキーを含む。
図４は、情報処理装置１０のＣＰＵ１６０により機能的に実現されるキー入力ユーティリティと、ＯＳ（オペレーティングシステム）と、アプリケーションとの関係を説明した図である。
ＯＳ３１は、タッチ検出部１４０や制御部１５０によって検出された指や電子ペン２０の接触位置（操作位置）をアプリケーション３５やキー入力ユーティリティ３３に通知する。
キー入力ユーティリティ３３は、ＯＳ３１からの通知に基づき、液晶パネル１３０上に表示したオンスクリーンキーがユーザにより押下（操作）されたことを検出したときに、押下（操作）されたオンスクリーンキーを示すイベントを発行する。このイベントは、ＯＳ３１を介してアプリケーション３５に通知される。アプリケーション３５は、通知されたイベントに基づき、押下されたボタンの種類を把握して、押下されたボタンに応じた処理を実行する。
例えば、マウスの右クリックボタンに対応するオンスクリーンキー（マウスの右クリックボタン）４１ｃが押下された場合、キー入力ユーティリティは、マウスの右クリックボタンを示すイベントを発行する。アプリケーション３５は、このイベントをＯＳ３１を介して受信すると、マウスの右クリックボタンが操作されたことを認識し、マウスの右クリックボタンが操作されたときの所定の処理を実行する。
アプリケーション３５は、ＯＳ３１から通知されたイベントが示す操作キーに応じて所定の処理を実行する。
情報処理装置１０は、液晶パネル１３０上で表示されたオンスクリーンキーの操作と、電子ペン２０による操作とを同時に検出することができる。オンスクリーンキーと電子ペン２０とを組み合わせて操作することでマウスによる操作を代替することができる。オンスクリーンキーと電子ペンの組み合わせ操作により実現される機能の例を、以下の［例１］から［例３］に示す。
［例１］“ＭＯＵＳＥ Ｍ”のオンスクリーンキー押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの移動（ドラッグ）が実現される。
［例２］“ＭＯＵＳＥ Ｍ”のオンスクリーンキーと“ＭＯＵＳＥ Ｒ”のオンスクリーンキーの同時押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの回転が実現される。
［例３］“ＭＯＵＳＥ Ｍ”のオンスクリーンキーと“ＭＯＵＳＥ Ｒ”のオンスクリーンキーを同時押下後に“ＭＯＵＳＥ Ｒ”のオンスクリーンキーの解放と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの拡大、縮小が実現される。
図５Ａ及び図５Ｂを用いて、オンスクリーンキーと電子ペン２０を用いて液晶パネル１３０上に表示されたオブジェクトを移動させるときの操作（ドラッグ操作）を説明する。図５Ａに示すように、液晶パネル１３０上にオンスクリーンキー４１ａ〜４１ｃとオブジェクトＡが表示されている場合に、オブジェクトＡを移動させる場合の操作を説明する。ユーザは、移動対象のオブジェクトＡを電子ペン等により指定した後、まず、オンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂを一方の手の指でタッチする（図５Ｂ参照）。次に、ユーザは、オンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂをタッチした状態で、他方の手で把持した電子ペン２０を画面に接触させる。その後、ユーザは、電子ペン２０を画面に接触させた状態で、オブジェクトＡを移動させたい方向に電子ペン２０を移動させる。このような操作によりオブジェクトＡは、電子ペン２０の移動に応じた方向に、電子ペン２０が移動した量だけ移動する。
しかしながら、上記のような一連の操作を行った場合、従来以下のような問題があった。すなわち、一連の操作において、ユーザがオンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂを押下した後に電子ペン２０を画面上に接触させると、その接触させた瞬間にオブジェクトＡが移動するという問題があった。図６は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。
この問題について本発明者が鋭意検討したところ、ユーザが、最初にオンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂを押下した時点でオンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂの操作を示すイベントが発行されることに原因があることが判明した。すなわち、オンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂが押下されたときに、オンスクリーンキーすなわちマウスの中ボタンが押下されたことを示すイベントが発行される。オブジェクトＡを表示するアプリケーションは、マウスの中ボタンが押下されたことを示すイベントを受けたときに、カーソルの移動に応じてオブジェクトを移動する動作を行う「ドラッグモード」に入る。そのため、アプリケーションは、電子ペン２０が画面に接触されたときには既にドラッグモードに入っているため、ドラッグモードの動作にしたがい、電子ペン２０の接触位置（すなわち、新たなカーソル位置）へオブジェクトを移動させる。この場合、移動の始点はオンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂの押下時のカーソル５１の位置となる。このカーソル５１の位置は通常電子ペン２０の接触位置とは異なっていることから、電子ペン２０の画面への接触操作によりオブジェクトが移動するという現象が生じていた。
そこで、本発明者は、最初にオンスクリーンキーが押下された時点で、電子ペン２０が画面に接触されていないときにはオンスクリーンキーに対するイベントを発行せず、その後に電子ペン２０による画面への接触が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行することを考案した。これによって、電子ペン２０が画面に接触されたときに初めてオンスクリーンキーが操作されたことがアプリケーションに伝達されるため、電子ペン２０の接触が検出された時点から、オンスクリーンキーに応じた処理が開始される。よって、不自然なオブジェクトの移動を防止でき、ユーザにとって違和感のない操作が可能となる。
［１−２−４．キー入力ユーティリティの動作］
図７は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。図７のフローチャートを参照して、キー入力ユーティリティ３３の機能を説明する。キー入力ユーティリティの機能は、情報処理装置１０のＣＰＵ１６０により、所定のプログラムが実行されることにより実現される。図７に示す処理は、キー入力ユーティリティが有効に実行されている間、所定の周期で実行される。
キー入力ユーティリティ３３（ＣＰＵ１６０）は、オンスクリーンキーが押下されたか否かを判断する（Ｓ１）。キー入力ユーティリティ３３は、ユーザの指による画面上へのタッチ操作を検出した場合に、その接触位置に基づきオンスクリーンキーが押下されたか否かを判断できる。オンスクリーンキーが押下されていない場合（ステップＳ１でＮ）、メモリ１８０をクリアし、本処理は終了する。
オンスクリーンキーが押下されている場合（ステップＳ１でＹ）、キー入力ユーティリティ３３は、電子ペン２０による画面への操作がなされているか否かを判断する（Ｓ２）。具体的には、電子ペン２０が画面に接触しているか否かを判断する。
電子ペン２０の画面に対する接触が検出された場合（ステップＳ２でＹ）、キー入力ユーティリティ３３は、操作されたオンスクリーンキーに対応するキーを示す入力イベントをＯＳ３１に対して発行する（Ｓ３）。
一方、オンスクリーンキーの押下時に電子ペン２０の接触（すなわち、電子ペン２０による操作）が検出されていない場合（ステップＳ２でＮ）、キー入力ユーティリティ３３は、押下されたオンスクリーンキーの操作に関する情報（操作されたキーの種類及びその操作等を示す情報）をメモリ１８０に記憶し（Ｓ５）、ステップＳ１に戻る。ここで、今回操作されたオンスクリーンキーの種類及び操作の内容が前回操作のものと同じであれば、今回操作されたオンスクリーンキーの操作についてはメモリ１８０に記憶しない。今回操作されたオンスクリーンキーの種類と操作の内容の少なくともいずれかが前回と異なる場合に、既にメモリ１８０に記憶されている情報を保持したまま、今回操作されたオンスクリーンキーの操作に関する情報を追加的にメモリに記憶する。このように、オンスクリーンキーが一旦押下されてから電子ペン２０の接触（電子ペン２０による操作）が検出されるまでの間に新たに発生したオンスクリーンキーの操作に関する情報がメモリ１８０に記憶される。
その後、電子ペン２０の接触が検出されると（Ｓ２でＹ）、キー入力ユーティリティ３３は、メモリ１８０に記憶している全てのオンスクリーンキーの操作に関してイベントをＯＳ３１に対して発行する（Ｓ３）。
発行されたイベントはＯＳ３１の機能を介して実行中のアプリケーションに通知され、当該アプリケーションは、通知されたイベントが示す操作キーに応じた処理を実行する。
イベントの発行後、メモリ１８０はクリアされる（Ｓ４）。
以上のように本実施形態では、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン２０による画面への接触（電子ペン２０による操作）が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン２０による接触（操作）が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
また、一のオンスクリーンキー操作がなされてから、電子ペン２０によるタッチ操作が検出されるまでの間に他のオンスクリーンキー操作がなされた場合、それら複数のオンスクリーンキー操作を記憶しておく。そして、その後に、電子ペン２０によるタッチ操作がなされたときに、複数のオンスクリーンキー操作についてまとめてイベントを発行する。例えば、オブジェクトの拡大・縮小を行う場合、最初にマウスの中ボタンと右クリックボタンに対応するオンスクリーンキー４１ｂ、４１ｃが同時に押下され、その後マウスの右クリックボタンに対応するオンスクリーンキー４１ｃの押下が解除される操作が行われた状態で、電子ペン２０のタッチ操作がなされる。このような操作が行われた場合に、電子ペン２０の操作が検出された時に、マウスの中ボタンと右クリックボタンの同時押下操作を示す入力イベントと、その後のマウスの右クリックボタンの解除操作の入力イベントとを順に発行する。これにより、オンスクリーンキーの複数の操作の組み合わせをアプリケーションに伝えることができる。
図８は、オンスクリーンキーと電子ペン２０による入力操作がなされた場合における、ＯＳ３１、キー入力ユーティリティ３３及びアプリケーション３５間の操作情報のやりとりの一例を具体的に説明した図である。
キー入力ユーティリティ３３が起動されている場合、液晶パネル１３０上に図３Ａまたは図３Ｂに示すようなオンスクリーンキーを含むキーパッドが表示される（Ｓ１１）。この状態で、ユーザの指によりオンスクリーンキーが押下（操作）されると、ＯＳ３１は、キー入力ユーティリティ３３に、指の接触位置を示す情報を通知する（Ｓ１２）。キー入力ユーティリティ３３は、接触位置情報に基づきオンスクリーンキーが押下されたか否かを判断する。図８の例では、キー入力ユーティリティ３３は、オンスクリーンキーが押下されたと判断するが、電子ペン２０による接触が検出されていないため、直ぐにはオンスクリーンキーの押下に関するイベントを発行せず、操作されたオンスクリーンキーに関する情報をメモリ１８０に記憶し（Ｓ１３）、電子ペン２０の接触（電子ペン２０の操作）の検出を待つ。
その後、ユーザによる電子ペン２０による画面へのタッチ操作があると、ＯＳ３１は、電子ペン２０の接触に関する情報（接触情報、位置情報）をキー入力ユーティリティ３３及びアプリケーション３５に通知する（Ｓ１４、Ｓ１５）。
キー入力ユーティリティ３３は、電子ペン２０の接触に関する情報を受けると、メモリ１８０に記憶しているオンスクリーンキーの操作についてイベントを発行する（Ｓ１６）。これにより、当該オンスクリーンキーに対応するキーが操作されたことが、ＯＳ３１を介してアプリケーション３５に通知される（Ｓ１７）。アプリケーション３５は、通知されたキーと、電子ペン２０の接触位置とに基づいて所定の処理を行う。
その後、オンスクリーンキーが押下されている状態で、電子ペン２０が画面上で移動されると、ＯＳ３１からキー入力ユーティリティ３３に電子ペンの接触が連続して通知される。このとき、同時に、キー入力ユーティリティ３３は、ＯＳ３１から指の接触位置を示す情報が通知され、その情報に基づきオンスクリーンキーの押下を認識しつづける。オンスクリーンキーの押下が検出されたときに電子ペン２０の接触が検出されていることから、キー入力ユーティリティ３３は、即座にオンスクリーンキーに対応するイベントを発行する（Ｓ１９、Ｓ２０）。アプリケーション３５は、通知されたボタンを示す情報と、電子ペン２０のタッチ位置に基づいて所定の処理を行う。
［１−３．効果等］
以上のように、本実施の形態の情報処理装置１０は、情報を表示する液晶パネル１３０（表示部の一例）と、液晶パネル１３０に対する電子ペン２０（位置指示体の一例）の接触または近接を検出する制御部１５０（第１の検出部の一例）と、オンスクリーンキー（操作キーの一例）に対するユーザによる操作を検出するタッチ検出部１４０（第２の検出部の一例）及びキー入力ユーティリティ３３と、タッチ検出部１４０及びキー入力ユーティリティ３３により操作が検出されたオンスクリーンキーの種類を示すイベントを発行するＣＰＵ１６０と、を備える。ＣＰＵ１６０は、オンスクリーンキーに対する操作が検出されたときに電子ペン２０の接触（または近接）が検出されていない場合、当該オンスクリーンキーに対するイベントを発行せず、その後に、電子ペン２０の接触（または近接）が検出されたときに、オンスクリーンキーに対するイベントを発行する（図７のステップＳ２，Ｓ３）。
以上の構成により、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン２０による画面への接触（電子ペン２０による操作）が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン２０による接触（操作）が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
上記の実施の形態１では、表示部の一例として液晶パネル１３０を説明した。表示部は、情報を表示するものであればよい。したがって、表示部は、液晶パネル１３０に限定されない。ただし、表示部として液晶パネル１３０を用いれば、様々なサイズのパネルを安価に手に入れることができる。有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルや、プラズマパネルを表示部として用いてもよい。
上記の実施の形態１では、タッチ位置検知部の一例として、液晶パネル１３０上のタッチ検出用センサ１２０に対し電圧制御を行い、電圧の変化等を監視することにより指等のタッチを検出するタッチ検出部１４０を説明した。タッチ位置検知部は、ユーザによる表示部上のタッチ位置を検知するものであればよい。したがって、タッチ位置検知部は、上記方式に限定されない。表示部上のタッチ位置を検出する方式として、圧電素子を取り付けて振動波を発生させる表面弾性波方式や、赤外光の遮断による位置を検出する赤外線方式、又は指先の静電容量の変化を捉えて位置を検出する静電容量方式を用いてもよい。
上記の実施の形態１では、位置指示体の一例として、電子ペンを用いる方式を説明した。しかしながら、位置指示体は、表示部に対する接触または近接が第１の検出部により検出されることで、表示部上の位置（座標）を指示することができるものであれば、電子ペンに限定されるものではない。電子ペン以外の位置指示体の例としては、ユーザの指または手、静電タッチペンなどのポインティングデバイスが挙げられる。位置指示体として、ユーザの指あるいは静電タッチペンを利用する場合には、第１の検出部に、位置指示体と表示部との間に生じる静電容量を検出するセンサを採用することができる。
上記の実施の形態１では、電子ペンの一例として、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたドットパターン付フィルム１００から、画像センサ２１０を用いてドットパターンを読み取り、読み取ったドットパターンを解析して位置情報（座標データ）を生成する方式を説明した。電子ペンは、ユーザが表示部上で手書きした内容をデータ化し、表示部上に表示できるものであればよい。したがって、電子ペンは、上記方式に限定されない。電子ペンの方式として、表示部表面の磁界の上を、電子ペンを動かすことで発生する誘導信号を受信して電子ペンの軌跡を把握する電磁誘導方式や、電子ペンが発する赤外線・超音波を表示部側のセンサで感知する赤外線・超音波方式や、表示部側の光学センサで遮った電子ペンの軌跡を把握する光学式方式や、表示部側で押された静電容量の違いにより位置を検出する静電容量方式を用いてもよい。さらに電子ペンの方式として、プラズマの発光原理を活用して位置情報を把握する方式であってもよい。
上記の実施の形態１では、情報処理装置１０の制御部１５０と電子ペン２０の制御部２３０とが、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いて通信する方式を説明した。電子ペン２０は、接触または近接した際の位置情報や筆圧センサ２４０の接触情報のデータを、情報処理装置１０に送信できればよい。したがって、通信方式は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に限定されない。通信方式は、無線ＬＡＮであってもよいし、有線のＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）や有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。さらに、電子ペンの方式により、情報処理装置１０側で、電子ペン２０の接触または近接した位置情報を検出できる場合には、情報処理装置１０と電子ペン２０との間で通信を行わなくてもよい。
上記の実施形態１では、図７のステップＳ２において、電子ペン２０の操作の有無を判断するために、電子ペン２０が液晶パネル１３０の画面に接触したことを検出したが、電子ペン２０の接触を検出する代わりに電子ペン２０が液晶パネル１３０の画面に近接したことを検出してもよい。すなわち、ステップＳ２において電子ペン２０の位置情報が得られる程度に近接したことが検出されたときに、オンスクリーンキーのイベントを発行してもよい。
上記の実施の形態１においては、操作キーの一例として、液晶パネル１３０に表示される仮想的なキーであるオンスクリーンキーを用いる方式を説明した。しかしながら、操作キーは、オンスクリーンキーに限定されるものではなく、情報処理装置１０の外部に接続された又は情報処理装置１０内に組み込まれた、入力デバイス（キーパッド、キーボード、マウス、ポインティングデバイス等）であってもよい。その際、キー入力ユーティリティ３３は、マウスのクリックボタンや中ボタンのような特定のキー入力をフックし、電子ペン２０の接触の検出に基づいて特定のキーに対するイベントを発行するようにすればよい（図７のステップＳ２、Ｓ３）。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
したがって、添付図面及び詳細な説明に記載された構成要素の中には、必須な構成要素だけでなく、上記技術を例示するために、必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、位置指示体及び操作キーによる情報の入力が可能な電子機器に適用可能である。具体的には、スマートフォンやタブレット、電子黒板などの機器に、本開示は適用可能である。
１０ 情報処理装置
２０ 電子ペン
３１ ＯＳ
３３ キー入力ユーティリティ
３５ アプリケーション
４１ａ，４１ｂ，４１ｃ オンスクリーンキー
１００ ドットパターン付フィルム
１１０ カバーガラス
１２０ タッチ検出用センサ
１３０ 液晶パネル
１４０ タッチ検出部
１５０ Ｂｌｕｅｔｏｏｔｈ制御部
１６０ ＣＰＵ
１７０ 液晶表示制御部
１８０ メモリ
１８５ ＲＯＭ
２００ ＬＥＤ
２１０ 画像センサ（カメラ）
２２０ 画像処理部
２３０ Ｂｌｕｅｔｏｏｔｈ制御部
２４０ 筆圧センサ
本開示は、位置指示体及び操作キーによる情報入力が可能な情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラムに関する。
ペンと指タッチを組み合わせて情報の入力や操作が可能な情報処理装置がある。例えば、特許文献１は、ペンによってジェスチャや位置座標を入力するペン座標入力手段と、指タッチにより位置座標を入力する第２座標入力手段とを備える入力装置を開示する。この入力装置は、第２座標入力手段を介して指タッチによる位置の入力があった場合、この位置と、ペン座標入力手段を介してペンによって入力されたジェスチャとを入力イベントと決定する。一方、第２座標入力手段から位置の入力がなかった場合は、ペン座標入力手段から入力された位置及びジェスチャを入力イベントとして決定する。これにより、例えば利用者が左手の指により第２座標入力手段から位置を入力すると共に右手に持ったペンでペン座標入力手段からジェスチャを入力したり、右手に持ったペンのみでペン座標入力手段からジェスチャと位置の両者を入力したりと、自由に使い分けることができる。
特開平６−８３５２４号公報
本開示の第一の態様において、位置指示体と操作キーによる情報入力が可能な情報処理装置が提供される。情報処理装置は、情報を表示する表示部と、表示部に対する位置指示体の接触または近接を検出する第１の検出部と、操作キーに対するユーザによる操作を検出する第２の検出部と、第２の検出部により操作が検出された操作キーに対するイベントを発行する制御部と、を備える。制御部は、第２の検出部により操作キーに対する操作が検出されたときに位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
本開示の第二の態様において、位置指示体と操作キーを用いた情報処理装置に対する入力を制御する入力制御方法が提供される。入力制御方法は、情報処理装置の表示部に対する位置指示体の接触または近接を検出するステップと、操作キーに対するユーザによる操作を検出するステップと、操作が検出された操作キーに対するイベントを発行するステップと、を含む。イベントを発行するステップにおいて、操作キーに対する操作が検出されたときに、位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
本開示によれば、ユーザが違和感なく、位置指示体と操作キーとを組み合わせて入力操作を行うことが可能な情報処理装置を提供できる。
図１Ａは、実施の形態における情報処理装置の平面図である。 図１Ｂは、実施の形態における情報処理装置の構成を示す図である。 図２は、実施の形態における電子ペンの構成を示す図である。 図３Ａは、情報処理装置に表示されるオンスクリーンキーの表示例を示した図である。 図３Ｂは、情報処理装置に表示されるオンスクリーンキーの別の表示例を示した図である。 図４は、ＯＳと、キー入力ユーティリティと、アプリケーションとの関係を説明した図である。 図５Ａは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。 図５Ｂは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。 図６は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。 図７は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。 図８は、オンスクリーンキーが押下されたときの情報処理装置の動作を説明するための図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
以下に説明する実施の形態の情報処理装置は、ユーザの指及び電子ペンの両方またはいずれか一方による表示画面へのタッチにより情報の入力及び操作が可能な電子機器である。そのような電子機器の例として、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、電子黒板が考えられる。以下、添付の図面を用いて、実施の形態１の情報処理装置を説明する。
［１−１．構成］
［１−１−１．情報処理装置の構成］
図１Ａは、本実施の形態における情報処理装置の平面図である。図１Ａに示すように、本実施形態では、情報処理装置１０は一例としてタブレット端末で構成される。図１Ｂは、本実施の形態における情報処理装置１０の構成を示した図である。図１Ｂに示すように、情報処理装置１０は、ドットパターン付フィルム１００、カバーガラス１１０、タッチ検出用センサ１２０、液晶パネル１３０、タッチ検出部１４０、Ｂｌｕｅｔｏｏｔｈ制御部（「Ｂｌｕｅｔｏｏｔｈ」は登録商標で、以下「制御部」という）１５０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６０、液晶表示制御部１７０、メモリ１８０及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８５を備える。
ドットパターン付フィルム１００は、電子ペンの画像処理部（後述）で、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたフィルムである。カバーガラス１１０は、液晶パネル１３０や、タッチ検出用センサ１２０を保護するためのガラスである。タッチ検出用センサ１２０は、例えば、格子状に配置された透明電極と検出回路を備え、透明電極に対する電圧の変化等を監視することにより、指等の液晶パネル１３０の表示画面への接触を検出する。
液晶パネル１３０は、液晶表示制御部１７０が決定した表示パターンを表示する。液晶パネル１３０は、表示パターンに基づき、映像、各種アイコン等の画像、及びアプリケーションによる文字等の各種情報を表示する。
タッチ検出部１４０は、例えば、液晶パネル１３０上のタッチ検出用センサ１２０に対し電圧制御を行い、電圧の変化等を監視することにより、液晶パネル１３０に対する指やスタイラスペン等の接触を検出し、液晶パネル１３０上の接触位置情報（座標データ）を生成する回路である。なお、タッチ検出部１４０は、本実施の形態の電子ペンの液晶パネル１３０に対する接触は検知しない。すなわち、ユーザは、液晶パネル１３０に対して指やスタイラスペン等を接触させることで、情報処理装置に対して情報（座標データ）を入力することができる。
制御部１５０は、電子ペンのＢｌｕｅｔｏｏｔｈ制御部（「Ｂｌｕｅｔｏｏｔｈ」は登録商標で、以下制御部という）２３０（図２参照、後述する）から送信される、電子ペンが接触または近接した際の位置情報や筆圧センサ（後述する）の接触情報のデータを受信し、ＣＰＵ１６０に転送する。
ＣＰＵ１６０は、ＲＯＭ１８５に格納されたプログラムを読み出して実行し、情報処理装置１０の全体動作を制御する。ＣＰＵ１６０は、タッチ検出部１４０からタッチ位置情報を取得し、制御部１５０から電子ペンが接触または近接した際の位置情報を取得する。また、取得した電子ペンによる接触位置の軌跡を液晶パネル１３０に表示するように液晶表示制御部１７０に通知する。また、ＣＰＵ１６０は、タッチ検出部１４０からの検出信号に基づき、ユーザの指等によるタッチ操作によるタップ、フリック、ピンチイン、ピンチアウト等のジェスチャ操作を検出し、ジェスチャ操作に基づいた表示制御を行う。
液晶表示制御部１７０は、ＣＰＵ１６０から通知された表示パターンを生成し、液晶パネル１３０に表示する。液晶表示制御部１７０は、ＣＰＵ１６０で取得した電子ペンによる接触位置の軌跡を、液晶パネル１３０に表示する。
メモリ１８０、ＲＯＭ１８５は半導体メモリ素子で構成される。ＲＯＭ１８５はＣＰＵ１６０で実行されるプログラムを格納している。メモリ１８０はＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等で構成できる。
［１−１−２．電子ペンの構成］
図２は、情報処理装置１０に情報を入力するための電子ペンの構成を示した図である。
図２において、電子ペン２０は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２００、画像センサ（カメラ）２１０、画像処理部２２０、制御部２３０、及び筆圧センサ２４０を備える。
ＬＥＤ２００は、光を照射する。画像センサ２１０は、ＬＥＤ２００から照射された光からの反射光に基づき、電子ペン２０がドットパターン付フィルム１００に接触した際のペン先に位置するフィルム１００のドットパターンを読み取り、取ったパターンを含む画像データを画像処理部２２０に転送する。なお、画像センサ２１０は、電子ペン２０がドットパターン付フィルム１００に近接しておれば、ドットパターン付フィルム１００に接触していなくても、電子ペン２０のペン先の先にあるドットパターンを読み取ることができる。
画像処理部２２０は、画像センサ２１０から取得した画像データ（ドットパターン）を解析し、ペン先の接触位置の位置情報（座標データ）を生成して、制御部２３０に転送する。電子ペン２０がドットパターン付フィルム１００に接触せずに近接し、さらにドットパターン付フィルム１００に対して傾いて保持されている場合、画像センサ２１０は、電子ペン２０のペン先からドットパターン付フィルム１００に対して垂直に降ろした位置ではなく、その位置からずれた位置のドットパターンを読み取る。電子ペン２０がドットパターン付フィルム１００に対して接触せずに傾いて保持されている場合、画像センサ２１０で取得したドットパターンは、電子ペン２０の傾きに応じて、その形状が変化する。このため、画像処理部２２０は、その形状の変化から電子ペン２０の傾きを算出し、傾きに応じて位置の補正を行う。これにより、電子ペン２０のペン先からドットパターン付フィルム１００に対して垂直に降ろした位置の位置情報を生成することができる。
電子ペン２０の制御部２３０は、画像処理部２２０から転送された位置情報と、筆圧センサ２４０から転送される接触情報とを、情報処理装置１０の制御部１５０に送信する。
筆圧センサ２４０は、電子ペン２０のペン先が他の物体に接触しているかを検出し、その検出結果を示す接触情報を、電子ペン２０の制御部２３０に転送する。
［１−２．動作］
［１−２−１．指によるタッチ入力］
上述のように、液晶パネル１３０の画面に対してユーザの指を接触させると、タッチ検出部１４０によりその接触が検出され、接触位置情報（座標データ）が生成される。このように、ユーザは、液晶パネル１３０の画面に対して指によるタッチ操作を行うことで、情報処理装置１０に対して情報の入力を行うことができる。なお、ユーザの指の代わりにスタイラスペンを用いてもよい。
［１−２−２．電子ペンによる入力］
情報処理装置１０に対する電子ペン２０による入力動作について説明する。
電子ペン２０は、画像センサ２１０によりペン先の被写体を撮影し画像データを生成する。画像処理部２２０は、画像センサ２１０により生成された画像データからドットパターンを解析し、ペン先の接触位置の位置情報（座標データ）を生成する。
電子ペン２０がドットパターン付フィルム１００に接触または近接していないため、ドットパターンを取得できない場合、画像処理部２２０は、位置情報を生成しない。一方、電子ペン２０がドットパターン付フィルム１００に接触または近接していた場合、画像処理部２２０は、画像データからドットパターンを解析することができる。この場合、画像処理部２２０は、位置情報を生成し、制御部２３０に転送する。
制御部２３０は、画像処理部２２０から位置情報を取得した際、筆圧センサ２４０から接触情報が通知されているか判断する。
電子ペン２０が情報処理装置１０の表面に接触している場合には、筆圧センサ２４０から制御部２３０に対し接触情報が通知され、制御部２３０は、接触情報と位置情報とを、情報処理装置１０の制御部１５０に送信する。
電子ペン２０が情報処理装置１０の表面に接触していない場合、すなわち、筆圧センサ２４０から接触情報が通知されていない場合は、制御部２３０は、位置情報のみを情報処理装置１０（制御部１５０）に送信する。
情報処理装置１０のＣＰＵ１６０は、制御部１５０によって電子ペン２０から、位置情報及び接触情報を受信し、それらの受信した情報に基づき電子ペン２０により情報が入力された液晶パネル１３０上の位置を把握する。
以上のようにして、本実施の形態の情報処理装置１０では、指や電子ペン２０による情報の入力や操作を行うことができる。
［１−２−３．オンスクリーンキー］
本実施の形態の情報処理装置１０は、液晶パネル１３０上に仮想的な操作ボタン（以下「オンスクリーンキー」という）を表示し、オンスクリーンキーに対してなされたユーザ操作を入力する機能を有する。この機能は、ＣＰＵ１６０で実行されるキー入力ユーティリティにより実現される。すなわち、キー入力ユーティリティは、液晶パネル１３０上にオンスクリーンキーを表示し、そのオンスクリーンキーに対してなされたユーザ操作を検出する機能を実現するソフトウェアである。
図３Ａ及び図３Ｂは、キー入力ユーティリティにより液晶パネル１３０上に表示されるキーパッドの例を示した図である。図３Ａに示すキーパッドは、オンスクリーンキーとして、マウスにおける左クリックボタン、中ボタン、右クリックボタンのそれぞれに対応するオンスクリーンキー４１ａ、４１ｂ、４１ｃを含んでいる。図３Ｂに液晶パネル１３０上に表示される別のキーパッドの例を示す。図３Ｂに示すキーパッドは、「Ａｌｔ」「Ｅｓｃａｐｅ」「Ｃｔｒｌ」等のキーや、「Ｃｔｒｌ＋Ｃ」のような複数のキーを組み合わせたショートカットキーに対応するキーを含む。
図４は、情報処理装置１０のＣＰＵ１６０により機能的に実現されるキー入力ユーティリティと、ＯＳ（オペレーティングシステム）と、アプリケーションとの関係を説明した図である。
ＯＳ３１は、タッチ検出部１４０や制御部１５０によって検出された指や電子ペン２０の接触位置（操作位置）をアプリケーション３５やキー入力ユーティリティ３３に通知する。
キー入力ユーティリティ３３は、ＯＳ３１からの通知に基づき、液晶パネル１３０上に表示したオンスクリーンキーがユーザにより押下（操作）されたことを検出したときに、押下（操作）されたオンスクリーンキーを示すイベントを発行する。このイベントは、ＯＳ３１を介してアプリケーション３５に通知される。アプリケーション３５は、通知されたイベントに基づき、押下されたボタンの種類を把握して、押下されたボタンに応じた処理を実行する。
例えば、マウスの右クリックボタンに対応するオンスクリーンキー（マウスの右クリックボタン）４１ｃが押下された場合、キー入力ユーティリティは、マウスの右クリックボタンを示すイベントを発行する。アプリケーション３５は、このイベントをＯＳ３１を介して受信すると、マウスの右クリックボタンが操作されたことを認識し、マウスの右クリックボタンが操作されたときの所定の処理を実行する。
アプリケーション３５は、ＯＳ３１から通知されたイベントが示す操作キーに応じて所定の処理を実行する。
情報処理装置１０は、液晶パネル１３０上で表示されたオンスクリーンキーの操作と、電子ペン２０による操作とを同時に検出することができる。オンスクリーンキーと電子ペン２０とを組み合わせて操作することでマウスによる操作を代替することができる。オンスクリーンキーと電子ペンの組み合わせ操作により実現される機能の例を、以下の［例１］から［例３］に示す。
［例１］“ＭＯＵＳＥ Ｍ”のオンスクリーンキー押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの移動（ドラッグ）が実現される。
［例２］“ＭＯＵＳＥ Ｍ”のオンスクリーンキーと“ＭＯＵＳＥ Ｒ”のオンスクリーンキーの同時押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの回転が実現される。
［例３］“ＭＯＵＳＥ Ｍ”のオンスクリーンキーと“ＭＯＵＳＥ Ｒ”のオンスクリーンキーを同時押下後に“ＭＯＵＳＥ Ｒ”のオンスクリーンキーの解放と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの拡大、縮小が実現される。
図５Ａ及び図５Ｂを用いて、オンスクリーンキーと電子ペン２０を用いて液晶パネル１３０上に表示されたオブジェクトを移動させるときの操作（ドラッグ操作）を説明する。図５Ａに示すように、液晶パネル１３０上にオンスクリーンキー４１ａ〜４１ｃとオブジェクトＡが表示されている場合に、オブジェクトＡを移動させる場合の操作を説明する。ユーザは、移動対象のオブジェクトＡを電子ペン等により指定した後、まず、オンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂを一方の手の指でタッチする（図５Ｂ参照）。次に、ユーザは、オンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂをタッチした状態で、他方の手で把持した電子ペン２０を画面に接触させる。その後、ユーザは、電子ペン２０を画面に接触させた状態で、オブジェクトＡを移動させたい方向に電子ペン２０を移動させる。このような操作によりオブジェクトＡは、電子ペン２０の移動に応じた方向に、電子ペン２０が移動した量だけ移動する。
しかしながら、上記のような一連の操作を行った場合、従来以下のような問題があった。すなわち、一連の操作において、ユーザがオンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂを押下した後に電子ペン２０を画面上に接触させると、その接触させた瞬間にオブジェクトＡが移動するという問題があった。図６は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。
この問題について本発明者が鋭意検討したところ、ユーザが、最初にオンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂを押下した時点でオンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂの操作を示すイベントが発行されることに原因があることが判明した。すなわち、オンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂが押下されたときに、オンスクリーンキーすなわちマウスの中ボタンが押下されたことを示すイベントが発行される。オブジェクトＡを表示するアプリケーションは、マウスの中ボタンが押下されたことを示すイベントを受けたときに、カーソルの移動に応じてオブジェクトを移動する動作を行う「ドラッグモード」に入る。そのため、アプリケーションは、電子ペン２０が画面に接触されたときには既にドラッグモードに入っているため、ドラッグモードの動作にしたがい、電子ペン２０の接触位置（すなわち、新たなカーソル位置）へオブジェクトを移動させる。この場合、移動の始点はオンスクリーンキー（“ＭＯＵＳＥ Ｍ”）４１ｂの押下時のカーソル５１の位置となる。このカーソル５１の位置は通常電子ペン２０の接触位置とは異なっていることから、電子ペン２０の画面への接触操作によりオブジェクトが移動するという現象が生じていた。
そこで、本発明者は、最初にオンスクリーンキーが押下された時点で、電子ペン２０が画面に接触されていないときにはオンスクリーンキーに対するイベントを発行せず、その後に電子ペン２０による画面への接触が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行することを考案した。これによって、電子ペン２０が画面に接触されたときに初めてオンスクリーンキーが操作されたことがアプリケーションに伝達されるため、電子ペン２０の接触が検出された時点から、オンスクリーンキーに応じた処理が開始される。よって、不自然なオブジェクトの移動を防止でき、ユーザにとって違和感のない操作が可能となる。
［１−２−４．キー入力ユーティリティの動作］
図７は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。図７のフローチャートを参照して、キー入力ユーティリティ３３の機能を説明する。キー入力ユーティリティの機能は、情報処理装置１０のＣＰＵ１６０により、所定のプログラムが実行されることにより実現される。図７に示す処理は、キー入力ユーティリティが有効に実行されている間、所定の周期で実行される。
キー入力ユーティリティ３３（ＣＰＵ１６０）は、オンスクリーンキーが押下されたか否かを判断する（Ｓ１）。キー入力ユーティリティ３３は、ユーザの指による画面上へのタッチ操作を検出した場合に、その接触位置に基づきオンスクリーンキーが押下されたか否かを判断できる。オンスクリーンキーが押下されていない場合（ステップＳ１でＮ）、メモリ１８０をクリアし、本処理は終了する。
オンスクリーンキーが押下されている場合（ステップＳ１でＹ）、キー入力ユーティリティ３３は、電子ペン２０による画面への操作がなされているか否かを判断する（Ｓ２）。具体的には、電子ペン２０が画面に接触しているか否かを判断する。
電子ペン２０の画面に対する接触が検出された場合（ステップＳ２でＹ）、キー入力ユーティリティ３３は、操作されたオンスクリーンキーに対応するキーを示す入力イベントをＯＳ３１に対して発行する（Ｓ３）。
一方、オンスクリーンキーの押下時に電子ペン２０の接触（すなわち、電子ペン２０による操作）が検出されていない場合（ステップＳ２でＮ）、キー入力ユーティリティ３３は、押下されたオンスクリーンキーの操作に関する情報（操作されたキーの種類及びその操作等を示す情報）をメモリ１８０に記憶し（Ｓ５）、ステップＳ１に戻る。ここで、今回操作されたオンスクリーンキーの種類及び操作の内容が前回操作のものと同じであれば、今回操作されたオンスクリーンキーの操作についてはメモリ１８０に記憶しない。今回操作されたオンスクリーンキーの種類と操作の内容の少なくともいずれかが前回と異なる場合に、既にメモリ１８０に記憶されている情報を保持したまま、今回操作されたオンスクリーンキーの操作に関する情報を追加的にメモリに記憶する。このように、オンスクリーンキーが一旦押下されてから電子ペン２０の接触（電子ペン２０による操作）が検出されるまでの間に新たに発生したオンスクリーンキーの操作に関する情報がメモリ１８０に記憶される。
その後、電子ペン２０の接触が検出されると（Ｓ２でＹ）、キー入力ユーティリティ３３は、メモリ１８０に記憶している全てのオンスクリーンキーの操作に関してイベントをＯＳ３１に対して発行する（Ｓ３）。
発行されたイベントはＯＳ３１の機能を介して実行中のアプリケーションに通知され、当該アプリケーションは、通知されたイベントが示す操作キーに応じた処理を実行する。
イベントの発行後、メモリ１８０はクリアされる（Ｓ４）。
以上のように本実施形態では、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン２０による画面への接触（電子ペン２０による操作）が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン２０による接触（操作）が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
また、一のオンスクリーンキー操作がなされてから、電子ペン２０によるタッチ操作が検出されるまでの間に他のオンスクリーンキー操作がなされた場合、それら複数のオンスクリーンキー操作を記憶しておく。そして、その後に、電子ペン２０によるタッチ操作がなされたときに、複数のオンスクリーンキー操作についてまとめてイベントを発行する。例えば、オブジェクトの拡大・縮小を行う場合、最初にマウスの中ボタンと右クリックボタンに対応するオンスクリーンキー４１ｂ、４１ｃが同時に押下され、その後マウスの右クリックボタンに対応するオンスクリーンキー４１ｃの押下が解除される操作が行われた状態で、電子ペン２０のタッチ操作がなされる。このような操作が行われた場合に、電子ペン２０の操作が検出された時に、マウスの中ボタンと右クリックボタンの同時押下操作を示す入力イベントと、その後のマウスの右クリックボタンの解除操作の入力イベントとを順に発行する。これにより、オンスクリーンキーの複数の操作の組み合わせをアプリケーションに伝えることができる。
図８は、オンスクリーンキーと電子ペン２０による入力操作がなされた場合における、ＯＳ３１、キー入力ユーティリティ３３及びアプリケーション３５間の操作情報のやりとりの一例を具体的に説明した図である。
キー入力ユーティリティ３３が起動されている場合、液晶パネル１３０上に図３Ａまたは図３Ｂに示すようなオンスクリーンキーを含むキーパッドが表示される（Ｓ１１）。この状態で、ユーザの指によりオンスクリーンキーが押下（操作）されると、ＯＳ３１は、キー入力ユーティリティ３３に、指の接触位置を示す情報を通知する（Ｓ１２）。キー入力ユーティリティ３３は、接触位置情報に基づきオンスクリーンキーが押下されたか否かを判断する。図８の例では、キー入力ユーティリティ３３は、オンスクリーンキーが押下されたと判断するが、電子ペン２０による接触が検出されていないため、直ぐにはオンスクリーンキーの押下に関するイベントを発行せず、操作されたオンスクリーンキーに関する情報をメモリ１８０に記憶し（Ｓ１３）、電子ペン２０の接触（電子ペン２０の操作）の検出を待つ。
その後、ユーザによる電子ペン２０による画面へのタッチ操作があると、ＯＳ３１は、電子ペン２０の接触に関する情報（接触情報、位置情報）をキー入力ユーティリティ３３及びアプリケーション３５に通知する（Ｓ１４、Ｓ１５）。
キー入力ユーティリティ３３は、電子ペン２０の接触に関する情報を受けると、メモリ１８０に記憶しているオンスクリーンキーの操作についてイベントを発行する（Ｓ１６）。これにより、当該オンスクリーンキーに対応するキーが操作されたことが、ＯＳ３１を介してアプリケーション３５に通知される（Ｓ１７）。アプリケーション３５は、通知されたキーと、電子ペン２０の接触位置とに基づいて所定の処理を行う。
その後、オンスクリーンキーが押下されている状態で、電子ペン２０が画面上で移動されると、ＯＳ３１からキー入力ユーティリティ３３に電子ペンの接触が連続して通知される。このとき、同時に、キー入力ユーティリティ３３は、ＯＳ３１から指の接触位置を示す情報が通知され、その情報に基づきオンスクリーンキーの押下を認識しつづける。オンスクリーンキーの押下が検出されたときに電子ペン２０の接触が検出されていることから、キー入力ユーティリティ３３は、即座にオンスクリーンキーに対応するイベントを発行する（Ｓ１９、Ｓ２０）。アプリケーション３５は、通知されたボタンを示す情報と、電子ペン２０のタッチ位置に基づいて所定の処理を行う。
［１−３．効果等］
以上のように、本実施の形態の情報処理装置１０は、情報を表示する液晶パネル１３０（表示部の一例）と、液晶パネル１３０に対する電子ペン２０（位置指示体の一例）の接触または近接を検出する制御部１５０（第１の検出部の一例）と、オンスクリーンキー（操作キーの一例）に対するユーザによる操作を検出するタッチ検出部１４０（第２の検出部の一例）及びキー入力ユーティリティ３３と、タッチ検出部１４０及びキー入力ユーティリティ３３により操作が検出されたオンスクリーンキーの種類を示すイベントを発行するＣＰＵ１６０と、を備える。ＣＰＵ１６０は、オンスクリーンキーに対する操作が検出されたときに電子ペン２０の接触（または近接）が検出されていない場合、当該オンスクリーンキーに対するイベントを発行せず、その後に、電子ペン２０の接触（または近接）が検出されたときに、オンスクリーンキーに対するイベントを発行する（図７のステップＳ２，Ｓ３）。
以上の構成により、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン２０による画面への接触（電子ペン２０による操作）が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン２０による接触（操作）が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
上記の実施の形態１では、表示部の一例として液晶パネル１３０を説明した。表示部は、情報を表示するものであればよい。したがって、表示部は、液晶パネル１３０に限定されない。ただし、表示部として液晶パネル１３０を用いれば、様々なサイズのパネルを安価に手に入れることができる。有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルや、プラズマパネルを表示部として用いてもよい。
上記の実施の形態１では、タッチ位置検知部の一例として、液晶パネル１３０上のタッチ検出用センサ１２０に対し電圧制御を行い、電圧の変化等を監視することにより指等のタッチを検出するタッチ検出部１４０を説明した。タッチ位置検知部は、ユーザによる表示部上のタッチ位置を検知するものであればよい。したがって、タッチ位置検知部は、上記方式に限定されない。表示部上のタッチ位置を検出する方式として、圧電素子を取り付けて振動波を発生させる表面弾性波方式や、赤外光の遮断による位置を検出する赤外線方式、又は指先の静電容量の変化を捉えて位置を検出する静電容量方式を用いてもよい。
上記の実施の形態１では、位置指示体の一例として、電子ペンを用いる方式を説明した。しかしながら、位置指示体は、表示部に対する接触または近接が第１の検出部により検出されることで、表示部上の位置（座標）を指示することができるものであれば、電子ペンに限定されるものではない。電子ペン以外の位置指示体の例としては、ユーザの指または手、静電タッチペンなどのポインティングデバイスが挙げられる。位置指示体として、ユーザの指あるいは静電タッチペンを利用する場合には、第１の検出部に、位置指示体と表示部との間に生じる静電容量を検出するセンサを採用することができる。
上記の実施の形態１では、電子ペンの一例として、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたドットパターン付フィルム１００から、画像センサ２１０を用いてドットパターンを読み取り、読み取ったドットパターンを解析して位置情報（座標データ）を生成する方式を説明した。電子ペンは、ユーザが表示部上で手書きした内容をデータ化し、表示部上に表示できるものであればよい。したがって、電子ペンは、上記方式に限定されない。電子ペンの方式として、表示部表面の磁界の上を、電子ペンを動かすことで発生する誘導信号を受信して電子ペンの軌跡を把握する電磁誘導方式や、電子ペンが発する赤外線・超音波を表示部側のセンサで感知する赤外線・超音波方式や、表示部側の光学センサで遮った電子ペンの軌跡を把握する光学式方式や、表示部側で押された静電容量の違いにより位置を検出する静電容量方式を用いてもよい。さらに電子ペンの方式として、プラズマの発光原理を活用して位置情報を把握する方式であってもよい。
上記の実施の形態１では、情報処理装置１０の制御部１５０と電子ペン２０の制御部２３０とが、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いて通信する方式を説明した。電子ペン２０は、接触または近接した際の位置情報や筆圧センサ２４０の接触情報のデータを、情報処理装置１０に送信できればよい。したがって、通信方式は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に限定されない。通信方式は、無線ＬＡＮであってもよいし、有線のＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）や有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。さらに、電子ペンの方式により、情報処理装置１０側で、電子ペン２０の接触または近接した位置情報を検出できる場合には、情報処理装置１０と電子ペン２０との間で通信を行わなくてもよい。
上記の実施形態１では、図７のステップＳ２において、電子ペン２０の操作の有無を判断するために、電子ペン２０が液晶パネル１３０の画面に接触したことを検出したが、電子ペン２０の接触を検出する代わりに電子ペン２０が液晶パネル１３０の画面に近接したことを検出してもよい。すなわち、ステップＳ２において電子ペン２０の位置情報が得られる程度に近接したことが検出されたときに、オンスクリーンキーのイベントを発行してもよい。
上記の実施の形態１においては、操作キーの一例として、液晶パネル１３０に表示される仮想的なキーであるオンスクリーンキーを用いる方式を説明した。しかしながら、操作キーは、オンスクリーンキーに限定されるものではなく、情報処理装置１０の外部に接続された又は情報処理装置１０内に組み込まれた、入力デバイス（キーパッド、キーボード、マウス、ポインティングデバイス等）であってもよい。その際、キー入力ユーティリティ３３は、マウスのクリックボタンや中ボタンのような特定のキー入力をフックし、電子ペン２０の接触の検出に基づいて特定のキーに対するイベントを発行するようにすればよい（図７のステップＳ２、Ｓ３）。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
したがって、添付図面及び詳細な説明に記載された構成要素の中には、必須な構成要素だけでなく、上記技術を例示するために、必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、位置指示体及び操作キーによる情報の入力が可能な電子機器に適用可能である。具体的には、スマートフォンやタブレット、電子黒板などの機器に、本開示は適用可能である。
１０ 情報処理装置
２０ 電子ペン
３１ ＯＳ
３３ キー入力ユーティリティ
３５ アプリケーション
４１ａ，４１ｂ，４１ｃ オンスクリーンキー
１００ ドットパターン付フィルム
１１０ カバーガラス
１２０ タッチ検出用センサ
１３０ 液晶パネル
１４０ タッチ検出部
１５０ Ｂｌｕｅｔｏｏｔｈ制御部
１６０ ＣＰＵ
１７０ 液晶表示制御部
１８０ メモリ
１８５ ＲＯＭ
２００ ＬＥＤ
２１０ 画像センサ（カメラ）
２２０ 画像処理部
２３０ Ｂｌｕｅｔｏｏｔｈ制御部
２４０ 筆圧センサ

Claims (7)

  1. 位置指示体と操作キーによる情報入力が可能な情報処理装置であって、
    情報を表示する表示部と、
    前記表示部に対する前記位置指示体の接触または近接を検出する第１の検出部と、
    前記操作キーに対するユーザによる操作を検出する第２の検出部と、
    前記第２の検出部により操作が検出された前記操作キーに対するイベントを発行する制御部と、を備え、
    前記制御部は、
    前記第２の検出部により前記操作キーに対する操作が検出されたときに前記位置指示体の接触また近接が検出されていない場合、前記操作キーに対するイベントを発行せず、
    その後に、前記位置指示体の接触または近接が検出されたときに、前記操作キーに対するイベントを発行する、
    情報処理装置。
  2. 前記制御部は、前記第２の検出部により前記操作キーに対する操作が検出されたときに前記位置指示体の接触また近接が検出されている場合、前記操作キーに対するイベントを発行する、
    請求項１に記載の情報処理装置。
  3. 前記操作キーに対する操作が検出されてから前記位置指示体の前記表示部への接触または近接が検出されるまでの間に操作された複数の前記操作キーの操作状態を示す情報を記憶する記憶部をさらに備え、
    前記制御部は、前記操作キーに対する操作が検出された後、前記位置指示体の前記表示部への接触または近接が検出されたときに、前記記憶部に記憶された複数の前記操作キーの操作状態のそれぞれについてイベントを発行する、
    請求項１に記載の情報処理装置。
  4. 前記操作キーは前記表示部に表示されたキーである、請求項１から３のいずれかに記載の情報処理装置。
  5. 前記位置指示体は電子ペンである、請求項１から４のいずれかに記載の情報処理装置。
  6. 位置指示体と操作キーを用いた情報処理装置に対する入力を制御する入力制御方法であって、
    前記情報処理装置の表示部に対する前記位置指示体の接触または近接を検出するステップと、
    前記操作キーに対するユーザによる操作を検出するステップと、
    操作が検出された前記操作キーに対するイベントを発行するステップと、を含み、
    前記イベントを発行するステップにおいて、
    前記操作キーに対する操作が検出されたときに、前記位置指示体の接触また近接が検出されていない場合、前記操作キーに対するイベントを発行せず、
    その後に、前記位置指示体の接触または近接が検出されたときに、前記操作キーに対するイベントを発行する、
    入力制御方法。
  7. 請求項６記載の入力制御方法を情報処理装置に実行させるためのプログラム。
JP2017524570A 2015-06-24 2016-02-25 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム Pending JPWO2016208099A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015126980 2015-06-24
JP2015126980 2015-06-24
PCT/JP2016/000998 WO2016208099A1 (ja) 2015-06-24 2016-02-25 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム

Publications (1)

Publication Number Publication Date
JPWO2016208099A1 true JPWO2016208099A1 (ja) 2018-04-12

Family

ID=57585347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524570A Pending JPWO2016208099A1 (ja) 2015-06-24 2016-02-25 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム

Country Status (3)

Country Link
US (1) US20180059806A1 (ja)
JP (1) JPWO2016208099A1 (ja)
WO (1) WO2016208099A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207008219U (zh) * 2017-03-31 2018-02-13 合肥鑫晟光电科技有限公司 一种调节笔
JP2020119099A (ja) * 2019-01-21 2020-08-06 レノボ・シンガポール・プライベート・リミテッド タッチパッド及び電子機器
WO2020250410A1 (ja) * 2019-06-14 2020-12-17 シャープＮｅｃディスプレイソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、表示システム、表示方法及び電子筆記具

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203816A (ja) * 2010-03-24 2011-10-13 Hitachi Solutions Ltd 座標入力装置及びプログラム
JP2012074069A (ja) * 2011-11-25 2012-04-12 Kyocera Corp 携帯端末及びその制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304675B2 (en) * 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
EP2327201B1 (en) * 2008-07-15 2018-09-05 Immersion Corporation Systems and methods for transmitting haptic messages
JP5711409B1 (ja) * 2014-06-26 2015-04-30 ガンホー・オンライン・エンターテイメント株式会社 端末装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203816A (ja) * 2010-03-24 2011-10-13 Hitachi Solutions Ltd 座標入力装置及びプログラム
JP2012074069A (ja) * 2011-11-25 2012-04-12 Kyocera Corp 携帯端末及びその制御方法

Also Published As

Publication number Publication date
US20180059806A1 (en) 2018-03-01
WO2016208099A1 (ja) 2016-12-29

Similar Documents

Publication Publication Date Title
US8381118B2 (en) Methods and devices that resize touch selection zones while selected on a touch sensitive display
JP5759660B2 (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
WO2015025458A1 (ja) 情報処理装置および情報処理方法
EP2770419B1 (en) Method and electronic device for displaying virtual keypad
JP2012190392A (ja) タッチパネル付き表示装置、イベント切替え制御方法及びプログラム
KR20130052749A (ko) 터치 기반 사용자 인터페이스 장치 및 방법
JP2009151718A (ja) 情報処理装置および表示制御方法
JP5848732B2 (ja) 情報処理装置
JP5780438B2 (ja) 電子機器、位置指定方法及びプログラム
JP2012242851A (ja) タッチ・スクリーンを備える携帯式電子機器および制御方法
TW201337717A (zh) 可觸控式電子裝置
JP6004716B2 (ja) 情報処理装置およびその制御方法、コンピュータプログラム
WO2014049671A1 (ja) 表示装置およびペン入力消去方法
US20170192465A1 (en) Apparatus and method for disambiguating information input to a portable electronic device
CN103207757A (zh) 可携式装置与其操作方法
WO2016208099A1 (ja) 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム
JP5845585B2 (ja) 情報処理装置
JP2010020658A (ja) 情報端末装置およびその入力制御方法
CN113515228A (zh) 一种虚拟标尺显示方法以及相关设备
JP2006085218A (ja) タッチパネル操作装置
JP2016035705A (ja) 表示装置、表示制御方法、及び表示制御プログラム
TWI405105B (zh) Signal handling method of compound touch panel
JP2003186620A (ja) ポインティング機能付き表示装置を備えた情報処理装置
US20150091831A1 (en) Display device and display control method
US10915220B2 (en) Input terminal device and operation input method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181015

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200609