WO2016208099A1 - 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム - Google Patents

情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム Download PDF

Info

Publication number
WO2016208099A1
WO2016208099A1 PCT/JP2016/000998 JP2016000998W WO2016208099A1 WO 2016208099 A1 WO2016208099 A1 WO 2016208099A1 JP 2016000998 W JP2016000998 W JP 2016000998W WO 2016208099 A1 WO2016208099 A1 WO 2016208099A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
key
detected
electronic pen
contact
Prior art date
Application number
PCT/JP2016/000998
Other languages
English (en)
French (fr)
Inventor
森 健
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2017524570A priority Critical patent/JPWO2016208099A1/ja
Publication of WO2016208099A1 publication Critical patent/WO2016208099A1/ja
Priority to US15/789,470 priority patent/US20180059806A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Definitions

  • the present disclosure relates to an information processing apparatus capable of inputting information using a position indicator and operation keys, an input control method for controlling input to the information processing apparatus, and a program for causing the information processing apparatus to execute the input control method.
  • Patent Literature 1 discloses an input device that includes a pen coordinate input unit that inputs a gesture and position coordinates with a pen, and a second coordinate input unit that inputs position coordinates by a finger touch.
  • this input device determines this position and a gesture input by the pen via the pen coordinate input means as an input event.
  • the position and gesture input from the pen coordinate input means are determined as an input event.
  • the user inputs the position from the second coordinate input means with the finger of the left hand and inputs a gesture from the pen coordinate input means with the pen held in the right hand, or the pen coordinate input means only with the pen held in the right hand You can use both the gesture and the position from the same.
  • an information processing apparatus capable of inputting information using a position indicator and operation keys.
  • the information processing apparatus includes: a display unit that displays information; a first detection unit that detects contact or proximity of a position indicator with respect to the display unit; a second detection unit that detects an operation performed by a user on an operation key; And a control unit that issues an event for the operation key whose operation is detected by the two detection units.
  • the control unit does not issue an event for the operation key, and then the position indicator When touch or proximity is detected, an event for the operation key is issued.
  • an input control method for controlling input to an information processing apparatus using a position indicator and operation keys includes a step of detecting contact or proximity of the position indicator with respect to the display unit of the information processing device, a step of detecting an operation by the user on the operation key, and a step of issuing an event for the operation key in which the operation is detected. And including. In the step of issuing an event, when an operation on the operation key is detected, if no contact or proximity of the position indicator is detected, no event is issued for the operation key, and then the contact of the position indicator Alternatively, an event for the operation key is issued when proximity is detected.
  • an information processing apparatus that allows a user to perform an input operation in combination with a position indicator and an operation key without feeling uncomfortable.
  • FIG. 1A is a plan view of an information processing apparatus according to an embodiment.
  • FIG. 1B is a diagram illustrating a configuration of the information processing device according to the embodiment.
  • FIG. 2 is a diagram illustrating a configuration of the electronic pen according to the embodiment.
  • FIG. 3A is a diagram illustrating a display example of on-screen keys displayed on the information processing apparatus.
  • FIG. 3B is a diagram illustrating another display example of the on-screen key displayed on the information processing apparatus.
  • FIG. 4 is a diagram illustrating the relationship among the OS, the key input utility, and the application.
  • FIG. 5A is a diagram for explaining an example of a drag operation using both on-screen keys and pen input.
  • FIG. 5A is a diagram for explaining an example of a drag operation using both on-screen keys and pen input.
  • FIG. 5B is a diagram for explaining an example of a drag operation using both on-screen keys and pen input.
  • FIG. 6 is a diagram for explaining a problem in the case of performing a drag operation using both on-screen keys and pen input.
  • FIG. 7 is a flowchart showing a key input utility process in the information processing apparatus.
  • FIG. 8 is a diagram for explaining the operation of the information processing apparatus when the on-screen key is pressed.
  • An information processing apparatus is an electronic device that can input and operate information by touching a display screen with either or both of a user's finger and an electronic pen.
  • Examples of such electronic devices include smartphones, tablet terminals, notebook personal computers, and electronic blackboards.
  • FIG. 1A is a plan view of the information processing apparatus according to the present embodiment. As shown in FIG. 1A, in the present embodiment, the information processing apparatus 10 is configured as a tablet terminal as an example.
  • FIG. 1B is a diagram illustrating a configuration of the information processing apparatus 10 according to the present embodiment. As shown in FIG.
  • the information processing apparatus 10 includes a film 100 with a dot pattern, a cover glass 110, a sensor 120 for touch detection, a liquid crystal panel 130, a touch detection unit 140, a Bluetooth control unit (“Bluetooth” is a registered trademark, (Hereinafter referred to as “control unit”) 150, CPU (Central Processing Unit) 160, liquid crystal display control unit 170, memory 180, and ROM (Read Only Memory) 185.
  • control unit Central Processing Unit
  • CPU Central Processing Unit
  • liquid crystal display control unit 170 liquid crystal display control unit 170
  • memory 180 and ROM (Read Only Memory) 185.
  • the film with dot pattern 100 is a film in which dots are mounted in a specific arrangement so that an image position can be specified from a dot pattern within a predetermined range by an image processing unit (described later) of an electronic pen.
  • the cover glass 110 is glass for protecting the liquid crystal panel 130 and the touch detection sensor 120.
  • the touch detection sensor 120 includes, for example, a transparent electrode and a detection circuit arranged in a grid pattern, and detects a touch of the liquid crystal panel 130 such as a finger on the display screen by monitoring a voltage change with respect to the transparent electrode. To do.
  • the liquid crystal panel 130 displays the display pattern determined by the liquid crystal display control unit 170.
  • the liquid crystal panel 130 displays images, images such as various icons, and various types of information such as characters by applications based on the display pattern.
  • the touch detection unit 140 performs voltage control on the touch detection sensor 120 on the liquid crystal panel 130, and detects contact of the finger, the stylus pen, or the like with respect to the liquid crystal panel 130 by monitoring a change in voltage or the like.
  • This circuit generates contact position information (coordinate data) on the liquid crystal panel 130.
  • Touch detection unit 140 does not detect contact of liquid crystal panel 130 of the electronic pen according to the present embodiment. That is, the user can input information (coordinate data) to the information processing apparatus by bringing a finger, a stylus pen, or the like into contact with the liquid crystal panel 130.
  • the control unit 150 transmits position information when the electronic pen touches or comes close to the electronic pen Bluetooth control unit (“Bluetooth” is a registered trademark, hereinafter referred to as a control unit) 230 (see FIG. 2, which will be described later).
  • Bluetooth is a registered trademark, hereinafter referred to as a control unit
  • the contact information data of the brush pressure sensor (described later) is received and transferred to the CPU 160.
  • the CPU 160 reads out and executes the program stored in the ROM 185 and controls the overall operation of the information processing apparatus 10.
  • the CPU 160 acquires touch position information from the touch detection unit 140, and acquires position information when the electronic pen is in contact with or close to the control unit 150.
  • the liquid crystal display control unit 170 is notified to display the acquired locus of the contact position with the electronic pen on the liquid crystal panel 130.
  • the CPU 160 detects a gesture operation such as a tap, flick, pinch-in, or pinch-out by a touch operation with a user's finger or the like based on a detection signal from the touch detection unit 140, and performs display control based on the gesture operation.
  • the liquid crystal display control unit 170 generates a display pattern notified from the CPU 160 and displays it on the liquid crystal panel 130.
  • the liquid crystal display control unit 170 displays the locus of the contact position with the electronic pen acquired by the CPU 160 on the liquid crystal panel 130.
  • the memory 180 and the ROM 185 are composed of semiconductor memory elements.
  • the ROM 185 stores a program executed by the CPU 160.
  • the memory 180 can be composed of DRAM (Dynamic Random Access Memory), SRAM (Static Random Access Memory), flash memory, or the like.
  • FIG. 2 is a diagram illustrating a configuration of an electronic pen for inputting information to the information processing apparatus 10.
  • the electronic pen 20 includes an LED (Light Emitting Diode) 200, an image sensor (camera) 210, an image processing unit 220, a control unit 230, and a writing pressure sensor 240.
  • LED Light Emitting Diode
  • image sensor camera
  • control unit 230
  • writing pressure sensor 240
  • the LED 200 emits light.
  • the image sensor 210 reads the dot pattern of the film 100 located at the pen tip when the electronic pen 20 comes into contact with the dot-patterned film 100 based on the reflected light from the light emitted from the LED 200, and includes the pattern taken.
  • the image data is transferred to the image processing unit 220.
  • the image sensor 210 reads the dot pattern at the tip of the pen of the electronic pen 20 even if the electronic pen 20 is not in contact with the film 100 with the dot pattern as long as the electronic pen 20 is close to the film 100 with the dot pattern. be able to.
  • the image processing unit 220 analyzes the image data (dot pattern) acquired from the image sensor 210, generates position information (coordinate data) of the contact position of the pen tip, and transfers it to the control unit 230.
  • the image sensor 210 moves from the pen tip of the electronic pen 20 to the dot-patterned film.
  • the dot pattern at a position shifted from the position is read instead of the position lowered vertically to 100.
  • the shape of the dot pattern acquired by the image sensor 210 changes according to the tilt of the electronic pen 20.
  • the image processing unit 220 calculates the tilt of the electronic pen 20 from the change in shape, and corrects the position according to the tilt. Thereby, the position information of the position lowered from the pen tip of the electronic pen 20 to the film 100 with the dot pattern can be generated.
  • the control unit 230 of the electronic pen 20 transmits the position information transferred from the image processing unit 220 and the contact information transferred from the writing pressure sensor 240 to the control unit 150 of the information processing apparatus 10.
  • the pen pressure sensor 240 detects whether the pen tip of the electronic pen 20 is in contact with another object, and transfers contact information indicating the detection result to the control unit 230 of the electronic pen 20.
  • the electronic pen 20 shoots a subject at the pen tip by the image sensor 210 and generates image data.
  • the image processing unit 220 analyzes the dot pattern from the image data generated by the image sensor 210 and generates position information (coordinate data) of the contact position of the pen tip.
  • the image processing unit 220 When the dot pattern cannot be acquired because the electronic pen 20 is not in contact with or close to the film 100 with the dot pattern, the image processing unit 220 does not generate position information. On the other hand, when the electronic pen 20 is in contact with or close to the dot pattern film 100, the image processing unit 220 can analyze the dot pattern from the image data. In this case, the image processing unit 220 generates position information and transfers it to the control unit 230.
  • the control unit 230 determines whether contact information is notified from the writing pressure sensor 240 when the position information is acquired from the image processing unit 220.
  • contact information is notified from the writing pressure sensor 240 to the control unit 230, and the control unit 230 processes the contact information and the position information. It transmits to the control part 150 of the apparatus 10.
  • control unit 230 transmits only the position information to the information processing apparatus 10 (control unit). 150).
  • the CPU 160 of the information processing apparatus 10 receives the position information and the contact notification from the electronic pen 20 by the control unit 150, and grasps the position on the liquid crystal panel 130 where the information is input by the electronic pen 20 based on the received information. To do.
  • information can be input and operated using a finger or the electronic pen 20.
  • the information processing apparatus 10 has a function of displaying virtual operation buttons (hereinafter referred to as “on-screen keys”) on the liquid crystal panel 130 and inputting user operations performed on the on-screen keys.
  • This function is realized by a key input utility executed by the CPU 160. That is, the key input utility is software that realizes a function of displaying an on-screen key on the liquid crystal panel 130 and detecting a user operation performed on the on-screen key.
  • FIGS. 3A and 3B are diagrams showing examples of keypads displayed on the liquid crystal panel 130 by the key input utility.
  • the keypad shown in FIG. 3A includes on-screen keys 41a, 41b, and 41c corresponding to the left click button, middle button, and right click button of the mouse as on-screen keys.
  • FIG. 3B shows an example of another keypad displayed on the liquid crystal panel 130.
  • the keypad shown in FIG. 3B includes keys corresponding to keys such as “Alt”, “Escape”, and “Ctrl”, and shortcut keys obtained by combining a plurality of keys such as “Ctrl + C”.
  • FIG. 4 is a diagram illustrating a relationship between a key input utility that is functionally realized by the CPU 160 of the information processing apparatus 10, an OS (operating system), and applications.
  • the OS 31 notifies the application 35 and the key input utility 33 of the contact position (operation position) of the finger or the electronic pen 20 detected by the touch detection unit 140 or the control unit 150.
  • the key input utility 33 indicates the on-screen key pressed (operated) when it is detected that the on-screen key displayed on the liquid crystal panel 130 is pressed (operated) based on the notification from the OS 31. Publish an event. This event is notified to the application 35 via the OS 31. The application 35 grasps the type of the pressed button based on the notified event, and executes a process corresponding to the pressed button.
  • the key input utility issues an event indicating the right click button of the mouse.
  • the application 35 recognizes that the right click button of the mouse has been operated, and executes a predetermined process when the right click button of the mouse is operated.
  • the application 35 executes a predetermined process according to the operation key indicated by the event notified from the OS 31.
  • the information processing apparatus 10 can simultaneously detect an operation of an on-screen key displayed on the liquid crystal panel 130 and an operation with the electronic pen 20. By operating the on-screen key and the electronic pen 20 in combination, the operation with the mouse can be substituted. Examples of functions realized by a combination operation of the on-screen key and the electronic pen are shown in [Example 1] to [Example 3] below.
  • Example 2 Rotation of an object is realized by operating a combination of simultaneous pressing of the on-screen key of “MOUSE M” and the on-screen key of “MOUSE R” and movement of the electronic pen.
  • FIGS. 5A and 5B An operation (drag operation) for moving an object displayed on the liquid crystal panel 130 using the on-screen key and the electronic pen 20 will be described with reference to FIGS. 5A and 5B.
  • FIG. 5A an operation for moving the object A when the on-screen keys 41a to 41c and the object A are displayed on the liquid crystal panel 130 will be described.
  • the user first touches the on-screen key (“MOUSE M”) 41b with the finger of one hand (see FIG. 5B).
  • the user touches the screen with the electronic pen 20 held by the other hand while touching the on-screen key (“MOUSE M”) 41b.
  • the user moves the electronic pen 20 in a direction in which the object A is desired to be moved while the electronic pen 20 is in contact with the screen.
  • the object A moves in the direction corresponding to the movement of the electronic pen 20 by the amount the electronic pen 20 has moved.
  • FIG. 6 is a diagram for explaining a problem in the case of performing a drag operation using both on-screen keys and pen input.
  • an event indicating the operation of the on-screen key (“MOUSE M”) 41b is issued when the user first presses the on-screen key (“MOUSE M”) 41b. It turns out that there is a cause. That is, when the on-screen key (“MOUSE M”) 41b is pressed, an event indicating that the on-screen key, that is, the middle button of the mouse is pressed, is issued. When receiving an event indicating that the middle button of the mouse has been pressed, the application that displays the object A enters a “drag mode” in which an operation of moving the object according to the movement of the cursor is performed.
  • the object is moved to the contact position (that is, a new cursor position) of the electronic pen 20 according to the operation of the drag mode.
  • the starting point of the movement is the position of the cursor 51 when the on-screen key (“MOUSE M”) 41b is pressed. Since the position of the cursor 51 is usually different from the contact position of the electronic pen 20, there has been a phenomenon that the object moves due to the touch operation of the electronic pen 20 on the screen.
  • the present inventor does not issue an event for the on-screen key when the electronic pen 20 is not in contact with the screen when the on-screen key is first pressed, and then touches the screen with the electronic pen 20. It was devised that an event related to the operation of the previous on-screen key is issued when an error is detected. As a result, since the fact that the on-screen key has been operated for the first time when the electronic pen 20 is touched to the screen is transmitted to the application, the processing corresponding to the on-screen key is detected from the time when the touch of the electronic pen 20 is detected. Is started. Therefore, an unnatural movement of the object can be prevented, and an operation without a sense of incongruity for the user is possible.
  • FIG. 7 is a flowchart showing a key input utility process in the information processing apparatus.
  • the function of the key input utility 33 will be described with reference to the flowchart of FIG.
  • the function of the key input utility is realized by the CPU 160 of the information processing apparatus 10 executing a predetermined program.
  • the process shown in FIG. 7 is executed at a predetermined cycle while the key input utility is being executed effectively.
  • the key input utility 33 determines whether or not the on-screen key is pressed (S1). When the key input utility 33 detects a touch operation on the screen by the user's finger, the key input utility 33 can determine whether or not the on-screen key is pressed based on the contact position. If the on-screen key has not been pressed (N in step S1), the memory 180 is cleared and the process ends.
  • the key input utility 33 determines whether or not an operation on the screen with the electronic pen 20 is performed (S2). Specifically, it is determined whether or not the electronic pen 20 is in contact with the screen.
  • the key input utility 33 When contact with the screen of the electronic pen 20 is detected (Y in step S2), the key input utility 33 issues an input event indicating the key corresponding to the operated on-screen key to the OS 31 (S3).
  • the key input utility 33 relates to the operation of the pressed on-screen key.
  • Information (information indicating the type of the operated key and its operation) is stored in the memory 180 (S5), and the process returns to step S1.
  • the type of the on-screen key operated this time and the content of the operation are the same as those of the previous operation, the operation of the on-screen key operated this time is not stored in the memory 180.
  • the memory 180 stores information about the operation of the on-screen key newly generated after the on-screen key is pressed once until the contact of the electronic pen 20 (operation by the electronic pen 20) is detected.
  • the key input utility 33 issues an event to the OS 31 regarding the operation of all on-screen keys stored in the memory 180 (S3). .
  • the issued event is notified to the application being executed via the function of the OS 31, and the application executes processing corresponding to the operation key indicated by the notified event.
  • the plurality of on-screen key operations are stored.
  • an event is issued for a plurality of on-screen key operations. For example, when enlarging / reducing an object, first, the on-screen keys 41b and 41c corresponding to the middle mouse button and the right-click button are simultaneously pressed, and then the on-screen key 41c corresponding to the right-click button of the mouse is pressed.
  • the touch operation of the electronic pen 20 is performed in a state where the operation for canceling is performed.
  • FIG. 8 is a diagram specifically illustrating an example of the exchange of operation information among the OS 31, the key input utility 33, and the application 35 when an input operation is performed with the on-screen key and the electronic pen 20.
  • a keypad including on-screen keys as shown in FIG. 3A or FIG. 3B is displayed on the liquid crystal panel 130 (S11).
  • the OS 31 notifies the key input utility 33 of information indicating the finger contact position (S12).
  • the key input utility 33 determines whether or not the on-screen key is pressed based on the contact position information. In the example of FIG.
  • the key input utility 33 determines that the on-screen key has been pressed, but since no contact with the electronic pen 20 has been detected, an event relating to the pressing of the on-screen key is not issued immediately, and the operation Information on the on-screen key is stored in the memory 180 (S13), and detection of contact of the electronic pen 20 (operation of the electronic pen 20) is awaited.
  • the OS 31 notifies the key input utility 33 and the application 35 of information (contact information and position information) related to the contact of the electronic pen 20 (S ⁇ b> 14 and S ⁇ b> 15). .
  • the key input utility 33 When the key input utility 33 receives the information related to the contact of the electronic pen 20, the key input utility 33 issues an event regarding the operation of the on-screen key stored in the memory 180 (S16). Thereby, the application 35 is notified via the OS 31 that the key corresponding to the on-screen key has been operated (S17). The application 35 performs a predetermined process based on the notified key and the contact position of the electronic pen 20.
  • the touch of the electronic pen is continuously notified from the OS 31 to the key input utility 33.
  • the key input utility 33 is notified of information indicating the contact position of the finger from the OS 31, and continues to recognize the pressing of the on-screen key based on the information. Since the touch of the electronic pen 20 is detected when the pressing of the on-screen key is detected, the key input utility 33 immediately issues an event corresponding to the on-screen key (S19, S20).
  • the application 35 performs a predetermined process based on the information indicating the notified button and the touch position of the electronic pen 20.
  • the information processing apparatus 10 performs contact or proximity of the liquid crystal panel 130 (an example of a display unit) that displays information and the electronic pen 20 (an example of a position indicator) with respect to the liquid crystal panel 130.
  • a control unit 150 (an example of a first detection unit) to detect, a touch detection unit 140 (an example of a second detection unit) that detects an operation by a user on an on-screen key (an example of an operation key), and a key input utility 33
  • a CPU 160 that issues an event indicating the type of the on-screen key whose operation is detected by the touch detection unit 140 and the key input utility 33.
  • the CPU 160 does not issue an event for the on-screen key, and then touches the electronic pen 20 ( When an (or proximity) is detected, an event for the on-screen key is issued (steps S2 and S3 in FIG. 7).
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • the liquid crystal panel 130 has been described as an example of the display unit.
  • the display part should just display information. Therefore, the display unit is not limited to the liquid crystal panel 130. However, if the liquid crystal panel 130 is used as the display portion, panels of various sizes can be obtained at low cost.
  • An organic EL (Electro-Luminescence) panel or a plasma panel may be used as the display unit.
  • the touch detection sensor 120 on the liquid crystal panel 130 is subjected to voltage control, and a touch such as a finger is detected by monitoring a voltage change or the like.
  • the detection unit 140 has been described.
  • the touch position detection part should just be what detects the touch position on the display part by a user. Therefore, the touch position detection unit is not limited to the above method.
  • a method for detecting the touch position on the display unit a surface acoustic wave method for generating a vibration wave by attaching a piezoelectric element, an infrared method for detecting a position by blocking infrared light, or a change in capacitance of a fingertip. You may use the electrostatic capacitance system which catches and detects a position.
  • the position indicator is limited to an electronic pen as long as it can indicate the position (coordinates) on the display unit by detecting contact or proximity to the display unit by the first detection unit. It is not something.
  • the position indicator other than the electronic pen include a user's finger or hand, and a pointing device such as an electrostatic touch pen.
  • a sensor that detects the capacitance generated between the position indicator and the display unit can be employed as the first detector. .
  • the image sensor 210 is used from the dot pattern-equipped film 100 in which dots are mounted in a specific arrangement so that the image position can be specified from a dot pattern within a predetermined range.
  • the method of generating the position information (coordinate data) by reading the dot pattern and analyzing the read dot pattern has been described.
  • the electronic pen is not limited as long as it can convert the content handwritten on the display unit into data and display it on the display unit. Therefore, the electronic pen is not limited to the above method.
  • an electromagnetic induction method that receives the induction signal generated by moving the electronic pen over the magnetic field on the surface of the display unit and grasps the trajectory of the electronic pen, and infrared / ultrasonic waves emitted by the electronic pen are used. Positioning is based on the infrared / ultrasonic method detected by the sensor on the display unit, the optical method for grasping the trajectory of the electronic pen blocked by the optical sensor on the display unit, and the difference in capacitance pressed on the display unit side.
  • An electrostatic capacitance method for detecting the above may be used.
  • a method of grasping position information by utilizing a light emission principle of plasma may be used.
  • the control unit 150 of the information processing apparatus 10 and the control unit 230 of the electronic pen 20 communicate using Bluetooth (registered trademark).
  • the electronic pen 20 only needs to be able to transmit the position information at the time of contact or proximity and the data of the contact information of the writing pressure sensor 240 to the information processing apparatus 10. Therefore, the communication method is not limited to Bluetooth (registered trademark).
  • the communication method may be a wireless LAN, a wired USB (Universal Serial Bus), or a wired LAN (Local Area Network).
  • the information processing device 10 can detect the position information of the contact or proximity of the electronic pen 20 by the electronic pen method, communication between the information processing device 10 and the electronic pen 20 is not necessary. Good.
  • step S2 of FIG. 7 it is detected in step S2 of FIG. 7 that the electronic pen 20 has touched the screen of the liquid crystal panel 130 in order to determine whether or not the electronic pen 20 has been operated. Instead of detecting, it may be detected that the electronic pen 20 is close to the screen of the liquid crystal panel 130. In other words, an on-screen key event may be issued when it is detected in step S2 that the electronic pen 20 is close enough to obtain position information.
  • the operation keys are not limited to the on-screen keys, and are input devices (keypad, keyboard, mouse, pointing device) connected to the outside of the information processing apparatus 10 or incorporated in the information processing apparatus 10. Etc.).
  • the key input utility 33 hooks a specific key input such as a mouse click button or a middle button, and issues an event for the specific key based on detection of contact of the electronic pen 20. (Steps S2 and S3 in FIG. 7).
  • the present disclosure is applicable to an electronic device that can input information using a position indicator and operation keys. Specifically, the present disclosure is applicable to devices such as smartphones, tablets, and electronic blackboards.
  • Information processing device 20 Electronic pen 31 OS 33 Key input utility 35 Application 41a, 41b, 41c On-screen key 100 Film with dot pattern 110 Cover glass 120 Sensor for touch detection 130 Liquid crystal panel 140 Touch detection unit 150 Bluetooth control unit 160 CPU 170 Liquid crystal display control unit 180 Memory 185 ROM 200 LED 210 Image sensor (camera) 220 Image processing unit 230 Bluetooth control unit 240 Pen pressure sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

情報処理装置は、情報を表示する表示部と、表示部に対する位置指示体の接触または近接を検出する第1の検出部と、操作キーに対するユーザによる操作を検出する第2の検出部と、第2の検出部により操作が検出された操作キーに対するイベントを発行する制御部と、を備える。制御部は、第2の検出部により操作キーに対する操作が検出されたときに位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。

Description

情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム
 本開示は、位置指示体及び操作キーによる情報入力が可能な情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラムに関する。
 ペンと指タッチを組み合わせて情報の入力や操作が可能な情報処理装置がある。例えば、特許文献1は、ペンによってジェスチャや位置座標を入力するペン座標入力手段と、指タッチにより位置座標を入力する第2座標入力手段とを備える入力装置を開示する。この入力装置は、第2座標入力手段を介して指タッチによる位置の入力があった場合、この位置と、ペン座標入力手段を介してペンによって入力されたジェスチャとを入力イベントと決定する。一方、第2座標入力手段から位置の入力がなかった場合は、ペン座標入力手段から入力された位置及びジェスチャを入力イベントとして決定する。これにより、例えば利用者が左手の指により第2座標入力手段から位置を入力すると共に右手に持ったペンでペン座標入力手段からジェスチャを入力したり、右手に持ったペンのみでペン座標入力手段からジェスチャと位置の両者を入力したりと、自由に使い分けることができる。
特開平6-83524号公報
 本開示の第一の態様において、位置指示体と操作キーによる情報入力が可能な情報処理装置が提供される。情報処理装置は、情報を表示する表示部と、表示部に対する位置指示体の接触または近接を検出する第1の検出部と、操作キーに対するユーザによる操作を検出する第2の検出部と、第2の検出部により操作が検出された操作キーに対するイベントを発行する制御部と、を備える。制御部は、第2の検出部により操作キーに対する操作が検出されたときに位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
 本開示の第二の態様において、位置指示体と操作キーを用いた情報処理装置に対する入力を制御する入力制御方法が提供される。入力制御方法は、情報処理装置の表示部に対する位置指示体の接触または近接を検出するステップと、操作キーに対するユーザによる操作を検出するステップと、操作が検出された操作キーに対するイベントを発行するステップと、を含む。イベントを発行するステップにおいて、操作キーに対する操作が検出されたときに、位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
 本開示によれば、ユーザが違和感なく、位置指示体と操作キーとを組み合わせて入力操作を行うことが可能な情報処理装置を提供できる。
図1Aは、実施の形態における情報処理装置の平面図である。 図1Bは、実施の形態における情報処理装置の構成を示す図である。 図2は、実施の形態における電子ペンの構成を示す図である。 図3Aは、情報処理装置に表示されるオンスクリーンキーの表示例を示した図である。 図3Bは、情報処理装置に表示されるオンスクリーンキーの別の表示例を示した図である。 図4は、OSと、キー入力ユーティリティと、アプリケーションとの関係を説明した図である。 図5Aは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。 図5Bは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。 図6は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。 図7は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。 図8は、オンスクリーンキーが押下されたときの情報処理装置の動作を説明するための図である。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
 (実施の形態1)
 以下に説明する実施の形態の情報処理装置は、ユーザの指及び電子ペンの両方またはいずれか一方による表示画面へのタッチにより情報の入力及び操作が可能な電子機器である。そのような電子機器の例として、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、電子黒板が考えられる。以下、添付の図面を用いて、実施の形態1の情報処理装置を説明する。
 [1-1.構成]
 [1-1-1.情報処理装置の構成]
 図1Aは、本実施の形態における情報処理装置の平面図である。図1Aに示すように、本実施形態では、情報処理装置10は一例としてタブレット端末で構成される。図1Bは、本実施の形態における情報処理装置10の構成を示した図である。図1Bに示すように、情報処理装置10は、ドットパターン付フィルム100、カバーガラス110、タッチ検出用センサ120、液晶パネル130、タッチ検出部140、Bluetooth制御部(「Bluetooth」は登録商標で、以下「制御部」という)150、CPU(Central Processing Unit)160、液晶表示制御部170、メモリ180及びROM(Read Only Memory)185を備える。
 ドットパターン付フィルム100は、電子ペンの画像処理部(後述)で、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたフィルムである。カバーガラス110は、液晶パネル130や、タッチ検出用センサ120を保護するためのガラスである。タッチ検出用センサ120は、例えば、格子状に配置された透明電極と検出回路を備え、透明電極に対する電圧の変化等を監視することにより、指等の液晶パネル130の表示画面への接触を検出する。
 液晶パネル130は、液晶表示制御部170が決定した表示パターンを表示する。液晶パネル130は、表示パターンに基づき、映像、各種アイコン等の画像、及びアプリケーションによる文字等の各種情報を表示する。
 タッチ検出部140は、例えば、液晶パネル130上のタッチ検出用センサ120に対し電圧制御を行い、電圧の変化等を監視することにより、液晶パネル130に対する指やスタイラスペン等の接触を検出し、液晶パネル130上の接触位置情報(座標データ)を生成する回路である。なお、タッチ検出部140は、本実施の形態の電子ペンの液晶パネル130に対する接触は検知しない。すなわち、ユーザは、液晶パネル130に対して指やスタイラスペン等を接触させることで、情報処理装置に対して情報(座標データ)を入力することができる。
 制御部150は、電子ペンのBluetooth制御部(「Bluetooth」は登録商標で、以下制御部という)230(図2参照、後述する)から送信される、電子ペンが接触または近接した際の位置情報や筆圧センサ(後述する)の接触情報のデータを受信し、CPU160に転送する。
 CPU160は、ROM185に格納されたプログラムを読み出して実行し、情報処理装置10の全体動作を制御する。CPU160は、タッチ検出部140からタッチ位置情報を取得し、制御部150から電子ペンが接触または近接した際の位置情報を取得する。また、取得した電子ペンによる接触位置の軌跡を液晶パネル130に表示するように液晶表示制御部170に通知する。また、CPU160は、タッチ検出部140からの検出信号に基づき、ユーザの指等によるタッチ操作によるタップ、フリック、ピンチイン、ピンチアウト等のジェスチャ操作を検出し、ジェスチャ操作に基づいた表示制御を行う。
 液晶表示制御部170は、CPU160から通知された表示パターンを生成し、液晶パネル130に表示する。液晶表示制御部170は、CPU160で取得した電子ペンによる接触位置の軌跡を、液晶パネル130に表示する。
 メモリ180、ROM185は半導体メモリ素子で構成される。ROM185はCPU160で実行されるプログラムを格納している。メモリ180はDRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、フラッシュメモリ等で構成できる。
 [1-1-2.電子ペンの構成]
 図2は、情報処理装置10に情報を入力するための電子ペンの構成を示した図である。
 図2において、電子ペン20は、LED(Light Emitting Diode)200、画像センサ(カメラ)210、画像処理部220、制御部230、及び筆圧センサ240を備える。
 LED200は、光を照射する。画像センサ210は、LED200から照射された光からの反射光に基づき、電子ペン20がドットパターン付フィルム100に接触した際のペン先に位置するフィルム100のドットパターンを読み取り、取ったパターンを含む画像データを画像処理部220に転送する。なお、画像センサ210は、電子ペン20がドットパターン付フィルム100に近接しておれば、ドットパターン付フィルム100に接触していなくても、電子ペン20のペン先の先にあるドットパターンを読み取ることができる。
 画像処理部220は、画像センサ210から取得した画像データ(ドットパターン)を解析し、ペン先の接触位置の位置情報(座標データ)を生成して、制御部230に転送する。電子ペン20がドットパターン付フィルム100に接触せずに近接し、さらにドットパターン付フィルム100に対して傾いて保持されている場合、画像センサ210は、電子ペン20のペン先からドットパターン付フィルム100に対して垂直に降ろした位置ではなく、その位置からずれた位置のドットパターンを読み取る。電子ペン20がドットパターン付フィルム100に対して接触せずに傾いて保持されている場合、画像センサ210で取得したドットパターンは、電子ペン20の傾きに応じて、その形状が変化する。このため、画像処理部220は、その形状の変化から電子ペン20の傾きを算出し、傾きに応じて位置の補正を行う。これにより、電子ペン20のペン先からドットパターン付フィルム100に対して垂直に降ろした位置の位置情報を生成することができる。
 電子ペン20の制御部230は、画像処理部220から転送された位置情報と、筆圧センサ240から転送される接触情報とを、情報処理装置10の制御部150に送信する。
 筆圧センサ240は、電子ペン20のペン先が他の物体に接触しているかを検出し、その検出結果を示す接触情報を、電子ペン20の制御部230に転送する。
 [1-2.動作]
 [1-2-1.指によるタッチ入力]
 上述のように、液晶パネル130の画面に対してユーザの指を接触させると、タッチ検出部140によりその接触が検出され、接触位置情報(座標データ)が生成される。このように、ユーザは、液晶パネル130の画面に対して指によるタッチ操作を行うことで、情報処理装置10に対して情報の入力を行うことができる。なお、ユーザの指の代わりにスタイラスペンを用いてもよい。
 [1-2-2.電子ペンによる入力]
 情報処理装置10に対する電子ペン20による入力動作について説明する。
 電子ペン20は、画像センサ210によりペン先の被写体を撮影し画像データを生成する。画像処理部220は、画像センサ210により生成された画像データからドットパターンを解析し、ペン先の接触位置の位置情報(座標データ)を生成する。
 電子ペン20がドットパターン付フィルム100に接触または近接していないため、ドットパターンを取得できない場合、画像処理部220は、位置情報を生成しない。一方、電子ペン20がドットパターン付フィルム100に接触または近接していた場合、画像処理部220は、画像データからドットパターンを解析することができる。この場合、画像処理部220は、位置情報を生成し、制御部230に転送する。
 制御部230は、画像処理部220から位置情報を取得した際、筆圧センサ240から接触情報が通知されているか判断する。
 電子ペン20が情報処理装置10の表面に接触している場合には、筆圧センサ240から制御部230に対し接触情報が通知され、制御部230は、接触情報と位置情報とを、情報処理装置10の制御部150に送信する。
 電子ペン20が情報処理装置10の表面に接触していない場合、すなわち、筆圧センサ240から接触情報が通知されていない場合は、制御部230は、位置情報のみを情報処理装置10(制御部150)に送信する。
 情報処理装置10のCPU160は、制御部150によって電子ペン20から、位置情報及び接触通知を受信し、それらの受信した情報に基づき電子ペン20により情報が入力された液晶パネル130上の位置を把握する。
 以上のようにして、本実施の形態の情報処理装置10では、指や電子ペン20による情報の入力や操作を行うことができる。
 [1-2-3.オンスクリーンキー]
 本実施の形態の情報処理装置10は、液晶パネル130上に仮想的な操作ボタン(以下「オンスクリーンキー」という)を表示し、オンスクリーンキーに対してなされたユーザ操作を入力する機能を有する。この機能は、CPU160で実行されるキー入力ユーティリティにより実現される。すなわち、キー入力ユーティリティは、液晶パネル130上にオンスクリーンキーを表示し、そのオンスクリーンキーに対してなされたユーザ操作を検出する機能を実現するソフトウェアである。
 図3A及び図3Bは、キー入力ユーティリティにより液晶パネル130上に表示されるキーパッドの例を示した図である。図3Aに示すキーパッドは、オンスクリーンキーとして、マウスにおける左クリックボタン、中ボタン、右クリックボタンのそれぞれに対応するオンスクリーンキー41a、41b、41cを含んでいる。図3Bに液晶パネル130上に表示される別のキーパッドの例を示す。図3Bに示すキーパッドは、「Alt」「Escape」「Ctrl」等のキーや、「Ctrl+C」のような複数のキーを組み合わせたショートカットキーに対応するキーを含む。
 図4は、情報処理装置10のCPU160により機能的に実現されるキー入力ユーティリティと、OS(オペレーティングシステム)と、アプリケーションとの関係を説明した図である。
 OS31は、タッチ検出部140や制御部150によって検出された指や電子ペン20の接触位置(操作位置)をアプリケーション35やキー入力ユーティリティ33に通知する。
 キー入力ユーティリティ33は、OS31からの通知に基づき、液晶パネル130上に表示したオンスクリーンキーがユーザにより押下(操作)されたことを検出したときに、押下(操作)されたオンスクリーンキーを示すイベントを発行する。このイベントは、OS31を介してアプリケーション35に通知される。アプリケーション35は、通知されたイベントに基づき、押下されたボタンの種類を把握して、押下されたボタンに応じた処理を実行する。
 例えば、マウスの右クリックボタンに対応するオンスクリーンキー(マウスの右クリックボタン)41cが押下された場合、キー入力ユーティリティは、マウスの右クリックボタンを示すイベントを発行する。アプリケーション35は、このイベントをOS31を介して受信すると、マウスの右クリックボタンが操作されたことを認識し、マウスの右クリックボタンが操作されたときの所定の処理を実行する。
 アプリケーション35は、OS31から通知されたイベントが示す操作キーに応じて所定の処理を実行する。
 情報処理装置10は、液晶パネル130上で表示されたオンスクリーンキーの操作と、電子ペン20による操作とを同時に検出することができる。オンスクリーンキーと電子ペン20とを組み合わせて操作することでマウスによる操作を代替することができる。オンスクリーンキーと電子ペンの組み合わせ操作により実現される機能の例を、以下の[例1]から[例3]に示す。
 [例1]“MOUSE M”のオンスクリーンキー押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの移動(ドラッグ)が実現される。
 [例2]“MOUSE M”のオンスクリーンキーと“MOUSE R”のオンスクリーンキーの同時押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの回転が実現される。
 [例3]“MOUSE M”のオンスクリーンキーと“MOUSE R”のオンスクリーンキーを同時押下後に“MOUSE R”のオンスクリーンキーの解放と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの拡大、縮小が実現される。
 図5A及び図5Bを用いて、オンスクリーンキーと電子ペン20を用いて液晶パネル130上に表示されたオブジェクトを移動させるときの操作(ドラッグ操作)を説明する。図5Aに示すように、液晶パネル130上にオンスクリーンキー41a~41cとオブジェクトAが表示されている場合に、オブジェクトAを移動させる場合の操作を説明する。ユーザは、移動対象のオブジェクトAを電子ペン等により指定した後、まず、オンスクリーンキー(“MOUSE M”)41bを一方の手の指でタッチする(図5B参照)。次に、ユーザは、オンスクリーンキー(“MOUSE M”)41bをタッチした状態で、他方の手で把持した電子ペン20を画面に接触させる。その後、ユーザは、電子ペン20を画面に接触させた状態で、オブジェクトAを移動させたい方向に電子ペン20を移動させる。このような操作によりオブジェクトAは、電子ペン20の移動に応じた方向に、電子ペン20が移動した量だけ移動する。
 しかしながら、上記のような一連の操作を行った場合、従来以下のような問題があった。すなわち、一連の操作において、ユーザがオンスクリーンキー(“MOUSE M”)41bを押下した後に電子ペン20を画面上に接触させると、その接触させた瞬間にオブジェクトAが移動するという問題があった。図6は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。
 この問題について本発明者が鋭意検討したところ、ユーザが、最初にオンスクリーンキー(“MOUSE M”)41bを押下した時点でオンスクリーンキー(“MOUSE M”)41bの操作を示すイベントが発行されることに原因があることが判明した。すなわち、オンスクリーンキー(“MOUSE M”)41bが押下されたときに、オンスクリーンキーすなわちマウスの中ボタンが押下されたことを示すイベントが発行される。オブジェクトAを表示するアプリケーションは、マウスの中ボタンが押下されたことを示すイベントを受けたときに、カーソルの移動に応じてオブジェクトを移動する動作を行う「ドラッグモード」に入る。そのため、アプリケーションは、電子ペン20が画面に接触されたときには既にドラッグモードに入っているため、ドラッグモードの動作にしたがい、電子ペン20の接触位置(すなわち、新たなカーソル位置)へオブジェクトを移動させる。この場合、移動の始点はオンスクリーンキー(“MOUSE M”)41bの押下時のカーソル51の位置となる。このカーソル51の位置は通常電子ペン20の接触位置とは異なっていることから、電子ペン20の画面への接触操作によりオブジェクトが移動するという現象が生じていた。
 そこで、本発明者は、最初にオンスクリーンキーが押下された時点で、電子ペン20が画面に接触されていないときにはオンスクリーンキーに対するイベントを発行せず、その後に電子ペン20による画面への接触が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行することを考案した。これによって、電子ペン20が画面に接触されたときに初めてオンスクリーンキーが操作されたことがアプリケーションに伝達されるため、電子ペン20の接触が検出された時点から、オンスクリーンキーに応じた処理が開始される。よって、不自然なオブジェクトの移動を防止でき、ユーザにとって違和感のない操作が可能となる。
 [1-2-4.キー入力ユーティリティの動作]
 図7は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。図7のフローチャートを参照して、キー入力ユーティリティ33の機能を説明する。キー入力ユーティリティの機能は、情報処理装置10のCPU160により、所定のプログラムが実行されることにより実現される。図7に示す処理は、キー入力ユーティリティが有効に実行されている間、所定の周期で実行される。
 キー入力ユーティリティ33(CPU160)は、オンスクリーンキーが押下されたか否かを判断する(S1)。キー入力ユーティリティ33は、ユーザの指による画面上へのタッチ操作を検出した場合に、その接触位置に基づきオンスクリーンキーが押下されたか否かを判断できる。オンスクリーンキーが押下されていない場合(ステップS1でN)、メモリ180をクリアし、本処理は終了する。
 オンスクリーンキーが押下されている場合(ステップS1でY)、キー入力ユーティリティ33は、電子ペン20による画面への操作がなされているか否かを判断する(S2)。具体的には、電子ペン20が画面に接触しているか否かを判断する。
 電子ペン20の画面に対する接触が検出された場合(ステップS2でY)、キー入力ユーティリティ33は、操作されたオンスクリーンキーに対応するキーを示す入力イベントをOS31に対して発行する(S3)。
 一方、オンスクリーンキーの押下時に電子ペン20の接触(すなわち、電子ペン20による操作)が検出されていない場合(ステップS2でN)、キー入力ユーティリティ33は、押下されたオンスクリーンキーの操作に関する情報(操作されたキーの種類及びその操作等を示す情報)をメモリ180に記憶し(S5)、ステップS1に戻る。ここで、今回操作されたオンスクリーンキーの種類及び操作の内容が前回操作のものと同じであれば、今回操作されたオンスクリーンキーの操作についてはメモリ180に記憶しない。今回操作されたオンスクリーンキーの種類と操作の内容の少なくともいずれかが前回と異なる場合に、既にメモリ180に記憶されている情報を保持したまま、今回操作されたオンスクリーンキーの操作に関する情報を追加的にメモリに記憶する。このように、オンスクリーンキーが一旦押下されてから電子ペン20の接触(電子ペン20による操作)が検出されるまでの間に新たに発生したオンスクリーンキーの操作に関する情報がメモリ180に記憶される。
 その後、電子ペン20の接触が検出されると(S2でY)、キー入力ユーティリティ33は、メモリ180に記憶している全てのオンスクリーンキーの操作に関してイベントをOS31に対して発行する(S3)。
 発行されたイベントはOS31の機能を介して実行中のアプリケーションに通知され、当該アプリケーションは、通知されたイベントが示す操作キーに応じた処理を実行する。
 イベントの発行後、メモリ180はクリアされる(S4)。
 以上のように本実施形態では、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン20による画面への接触(電子ペン20による操作)が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン20による接触(操作)が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
 また、一のオンスクリーンキー操作がなされてから、電子ペン20によるタッチ操作が検出されるまでの間に他のオンスクリーンキー操作がなされた場合、それら複数のオンスクリーンキー操作を記憶しておく。そして、その後に、電子ペン20によるタッチ操作がなされたときに、複数のオンスクリーンキー操作についてまとめてイベントを発行する。例えば、オブジェクトの拡大・縮小を行う場合、最初にマウスの中ボタンと右クリックボタンに対応するオンスクリーンキー41b、41cが同時に押下され、その後マウスの右クリックボタンに対応するオンスクリーンキー41cの押下が解除される操作が行われた状態で、電子ペン20のタッチ操作がなされる。このような操作が行われた場合に、電子ペン20の操作が検出された時に、マウスの中ボタンと右クリックボタンの同時押下操作を示す入力イベントと、その後のマウスの右クリックボタンの解除操作の入力イベントとを順に発行する。これにより、オンスクリーンキーの複数の操作の組み合わせをアプリケーションに伝えることができる。
 図8は、オンスクリーンキーと電子ペン20による入力操作がなされた場合における、OS31、キー入力ユーティリティ33及びアプリケーション35間の操作情報のやりとりの一例を具体的に説明した図である。
 キー入力ユーティリティ33が起動されている場合、液晶パネル130上に図3Aまたは図3Bに示すようなオンスクリーンキーを含むキーパッドが表示される(S11)。この状態で、ユーザの指によりオンスクリーンキーが押下(操作)されると、OS31は、キー入力ユーティリティ33に、指の接触位置を示す情報を通知する(S12)。キー入力ユーティリティ33は、接触位置情報に基づきオンスクリーンキーが押下されたか否かを判断する。図8の例では、キー入力ユーティリティ33は、オンスクリーンキーが押下されたと判断するが、電子ペン20による接触が検出されていないため、直ぐにはオンスクリーンキーの押下に関するイベントを発行せず、操作されたオンスクリーンキーに関する情報をメモリ180に記憶し(S13)、電子ペン20の接触(電子ペン20の操作)の検出を待つ。
 その後、ユーザによる電子ペン20による画面へのタッチ操作があると、OS31は、電子ペン20の接触に関する情報(接触情報、位置情報)をキー入力ユーティリティ33及びアプリケーション35に通知する(S14、S15)。
 キー入力ユーティリティ33は、電子ペン20の接触に関する情報を受けると、メモリ180に記憶しているオンスクリーンキーの操作についてイベントを発行する(S16)。これにより、当該オンスクリーンキーに対応するキーが操作されたことが、OS31を介してアプリケーション35に通知される(S17)。アプリケーション35は、通知されたキーと、電子ペン20の接触位置とに基づいて所定の処理を行う。
 その後、オンスクリーンキーが押下されている状態で、電子ペン20が画面上で移動されると、OS31からキー入力ユーティリティ33に電子ペンの接触が連続して通知される。このとき、同時に、キー入力ユーティリティ33は、OS31から指の接触位置を示す情報が通知され、その情報に基づきオンスクリーンキーの押下を認識しつづける。オンスクリーンキーの押下が検出されたときに電子ペン20の接触が検出されていることから、キー入力ユーティリティ33は、即座にオンスクリーンキーに対応するイベントを発行する(S19、S20)。アプリケーション35は、通知されたボタンを示す情報と、電子ペン20のタッチ位置に基づいて所定の処理を行う。
 [1-3.効果等]
 以上のように、本実施の形態の情報処理装置10は、情報を表示する液晶パネル130(表示部の一例)と、液晶パネル130に対する電子ペン20(位置指示体の一例)の接触または近接を検出する制御部150(第1の検出部の一例)と、オンスクリーンキー(操作キーの一例)に対するユーザによる操作を検出するタッチ検出部140(第2の検出部の一例)及びキー入力ユーティリティ33と、タッチ検出部140及びキー入力ユーティリティ33により操作が検出されたオンスクリーンキーの種類を示すイベントを発行するCPU160と、を備える。CPU160は、オンスクリーンキーに対する操作が検出されたときに電子ペン20の接触(または近接)が検出されていない場合、当該オンスクリーンキーに対するイベントを発行せず、その後に、電子ペン20の接触(または近接)が検出されたときに、オンスクリーンキーに対するイベントを発行する(図7のステップS2,S3)。
 以上の構成により、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン20による画面への接触(電子ペン20による操作)が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン20による接触(操作)が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
 (他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
 上記の実施の形態1では、表示部の一例として液晶パネル130を説明した。表示部は、情報を表示するものであればよい。したがって、表示部は、液晶パネル130に限定されない。ただし、表示部として液晶パネル130を用いれば、様々なサイズのパネルを安価に手に入れることができる。有機EL(Electro-Luminescence)パネルや、プラズマパネルを表示部として用いてもよい。
 上記の実施の形態1では、タッチ位置検知部の一例として、液晶パネル130上のタッチ検出用センサ120に対し電圧制御を行い、電圧の変化等を監視することにより指等のタッチを検出するタッチ検出部140を説明した。タッチ位置検知部は、ユーザによる表示部上のタッチ位置を検知するものであればよい。したがって、タッチ位置検知部は、上記方式に限定されない。表示部上のタッチ位置を検出する方式として、圧電素子を取り付けて振動波を発生させる表面弾性波方式や、赤外光の遮断による位置を検出する赤外線方式、又は指先の静電容量の変化を捉えて位置を検出する静電容量方式を用いてもよい。
 上記の実施の形態1では、位置指示体の一例として、電子ペンを用いる方式を説明した。しかしながら、位置指示体は、表示部に対する接触または近接が第1の検出部により検出されることで、表示部上の位置(座標)を指示することができるものであれば、電子ペンに限定されるものではない。電子ペン以外の位置指示体の例としては、ユーザの指または手、静電タッチペンなどのポインティングデバイスが挙げられる。位置指示体として、ユーザの指あるいは静電タッチペンを利用する場合には、第1の検出部に、位置指示体と表示部との間に生じる静電容量を検出するセンサを採用することができる。
 上記の実施の形態1では、電子ペンの一例として、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたドットパターン付フィルム100から、画像センサ210を用いてドットパターンを読み取り、読み取ったドットパターンを解析して位置情報(座標データ)を生成する方式を説明した。電子ペンは、ユーザが表示部上で手書きした内容をデータ化し、表示部上に表示できるものであればよい。したがって、電子ペンは、上記方式に限定されない。電子ペンの方式として、表示部表面の磁界の上を、電子ペンを動かすことで発生する誘導信号を受信して電子ペンの軌跡を把握する電磁誘導方式や、電子ペンが発する赤外線・超音波を表示部側のセンサで感知する赤外線・超音波方式や、表示部側の光学センサで遮った電子ペンの軌跡を把握する光学式方式や、表示部側で押された静電容量の違いにより位置を検出する静電容量方式を用いてもよい。さらに電子ペンの方式として、プラズマの発光原理を活用して位置情報を把握する方式であってもよい。
 上記の実施の形態1では、情報処理装置10の制御部150と電子ペン20の制御部230とが、Bluetooth(登録商標)を用いて通信する方式を説明した。電子ペン20は、接触または近接した際の位置情報や筆圧センサ240の接触情報のデータを、情報処理装置10に送信できればよい。したがって、通信方式は、Bluetooth(登録商標)に限定されない。通信方式は、無線LANであってもよいし、有線のUSB(Universal Serial Bus)や有線LAN(Local Area Network)であってもよい。さらに、電子ペンの方式により、情報処理装置10側で、電子ペン20の接触または近接した位置情報を検出できる場合には、情報処理装置10と電子ペン20との間で通信を行わなくてもよい。
 上記の実施形態1では、図7のステップS2において、電子ペン20の操作の有無を判断するために、電子ペン20が液晶パネル130の画面に接触したことを検出したが、電子ペン20の接触を検出する代わりに電子ペン20が液晶パネル130の画面に近接したことを検出してもよい。すなわち、ステップS2において電子ペン20の位置情報が得られる程度に近接したことが検出されたときに、オンスクリーンキーのイベントを発行してもよい。
 上記の実施の形態1においては、操作キーの一例として、液晶パネル130に表示される仮想的なキーであるオンスクリーンキーを用いる方式を説明した。しかしながら、操作キーは、オンスクリーンキーに限定されるものではなく、情報処理装置10の外部に接続された又は情報処理装置10内に組み込まれた、入力デバイス(キーパッド、キーボード、マウス、ポインティングデバイス等)であってもよい。その際、キー入力ユーティリティ33は、マウスのクリックボタンや中ボタンのような特定のキー入力をフックし、電子ペン20の接触の検出に基づいて特定のキーに対するイベントを発行するようにすればよい(図7のステップS2、S3)。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
 したがって、添付図面及び詳細な説明に記載された構成要素の中には、必須な構成要素だけでなく、上記技術を例示するために、必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 本開示は、位置指示体及び操作キーによる情報の入力が可能な電子機器に適用可能である。具体的には、スマートフォンやタブレット、電子黒板などの機器に、本開示は適用可能である。
 10 情報処理装置
 20 電子ペン
 31 OS
 33 キー入力ユーティリティ
 35 アプリケーション
 41a,41b,41c オンスクリーンキー
 100 ドットパターン付フィルム
 110 カバーガラス
 120 タッチ検出用センサ
 130 液晶パネル
 140 タッチ検出部
 150 Bluetooth制御部
 160 CPU
 170 液晶表示制御部
 180 メモリ
 185 ROM
 200 LED
 210 画像センサ(カメラ)
 220 画像処理部
 230 Bluetooth制御部
 240 筆圧センサ

Claims (7)

  1.  位置指示体と操作キーによる情報入力が可能な情報処理装置であって、
     情報を表示する表示部と、
     前記表示部に対する前記位置指示体の接触または近接を検出する第1の検出部と、
     前記操作キーに対するユーザによる操作を検出する第2の検出部と、
     前記第2の検出部により操作が検出された前記操作キーに対するイベントを発行する制御部と、を備え、
     前記制御部は、
      前記第2の検出部により前記操作キーに対する操作が検出されたときに前記位置指示体の接触また近接が検出されていない場合、前記操作キーに対するイベントを発行せず、
      その後に、前記位置指示体の接触または近接が検出されたときに、前記操作キーに対するイベントを発行する、
    情報処理装置。
  2.  前記制御部は、前記第2の検出部により前記操作キーに対する操作が検出されたときに前記位置指示体の接触また近接が検出されている場合、前記操作キーに対するイベントを発行する、
    請求項1に記載の情報処理装置。
  3.  前記操作キーに対する操作が検出されてから前記位置指示体の前記表示部への接触または近接が検出されるまでの間に操作された複数の前記操作キーの操作状態を示す情報を記憶する記憶部をさらに備え、
     前記制御部は、前記操作キーに対する操作が検出された後、前記位置指示体の前記表示部への接触または近接が検出されたときに、前記記憶部に記憶された複数の前記操作キーの操作状態のそれぞれについてイベントを発行する、
    請求項1に記載の情報処理装置。
  4.  前記操作キーは前記表示部に表示されたキーである、請求項1から3のいずれかに記載の情報処理装置。
  5.  前記位置指示体は電子ペンである、請求項1から4のいずれかに記載の情報処理装置。
  6.  位置指示体と操作キーを用いた情報処理装置に対する入力を制御する入力制御方法であって、
     前記情報処理装置の表示部に対する前記位置指示体の接触または近接を検出するステップと、
     前記操作キーに対するユーザによる操作を検出するステップと、
     操作が検出された前記操作キーに対するイベントを発行するステップと、を含み、
     前記イベントを発行するステップにおいて、
      前記操作キーに対する操作が検出されたときに、前記位置指示体の接触また近接が検出されていない場合、前記操作キーに対するイベントを発行せず、
      その後に、前記位置指示体の接触または近接が検出されたときに、前記操作キーに対するイベントを発行する、
    入力制御方法。
  7.  請求項6記載の入力制御方法を情報処理装置に実行させるためのプログラム。
PCT/JP2016/000998 2015-06-24 2016-02-25 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム WO2016208099A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017524570A JPWO2016208099A1 (ja) 2015-06-24 2016-02-25 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム
US15/789,470 US20180059806A1 (en) 2015-06-24 2017-10-20 Information processing device, input control method for controlling input to information processing device, and computer-readable storage medium storing program for causing information processing device to perform input control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015126980 2015-06-24
JP2015-126980 2015-06-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/789,470 Continuation US20180059806A1 (en) 2015-06-24 2017-10-20 Information processing device, input control method for controlling input to information processing device, and computer-readable storage medium storing program for causing information processing device to perform input control method

Publications (1)

Publication Number Publication Date
WO2016208099A1 true WO2016208099A1 (ja) 2016-12-29

Family

ID=57585347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/000998 WO2016208099A1 (ja) 2015-06-24 2016-02-25 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム

Country Status (3)

Country Link
US (1) US20180059806A1 (ja)
JP (1) JPWO2016208099A1 (ja)
WO (1) WO2016208099A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207008219U (zh) * 2017-03-31 2018-02-13 合肥鑫晟光电科技有限公司 一种调节笔
JP2020119099A (ja) * 2019-01-21 2020-08-06 レノボ・シンガポール・プライベート・リミテッド タッチパッド及び電子機器
WO2020250410A1 (ja) * 2019-06-14 2020-12-17 シャープNecディスプレイソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、表示システム、表示方法及び電子筆記具

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203816A (ja) * 2010-03-24 2011-10-13 Hitachi Solutions Ltd 座標入力装置及びプログラム
JP2012074069A (ja) * 2011-11-25 2012-04-12 Kyocera Corp 携帯端末及びその制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304675B2 (en) * 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
EP2327201B1 (en) * 2008-07-15 2018-09-05 Immersion Corporation Systems and methods for transmitting haptic messages
JP5711409B1 (ja) * 2014-06-26 2015-04-30 ガンホー・オンライン・エンターテイメント株式会社 端末装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203816A (ja) * 2010-03-24 2011-10-13 Hitachi Solutions Ltd 座標入力装置及びプログラム
JP2012074069A (ja) * 2011-11-25 2012-04-12 Kyocera Corp 携帯端末及びその制御方法

Also Published As

Publication number Publication date
US20180059806A1 (en) 2018-03-01
JPWO2016208099A1 (ja) 2018-04-12

Similar Documents

Publication Publication Date Title
US8381118B2 (en) Methods and devices that resize touch selection zones while selected on a touch sensitive display
JP5759660B2 (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
CN106292859B (zh) 电子装置及其操作方法
TWI608407B (zh) 觸控裝置及其控制方法
WO2015025458A1 (ja) 情報処理装置および情報処理方法
JP2009151718A (ja) 情報処理装置および表示制御方法
JP5848732B2 (ja) 情報処理装置
JP5780438B2 (ja) 電子機器、位置指定方法及びプログラム
JP2004054861A (ja) タッチ式マウス
US9632690B2 (en) Method for operating user interface and electronic device thereof
KR20130052749A (ko) 터치 기반 사용자 인터페이스 장치 및 방법
TW201337717A (zh) 可觸控式電子裝置
WO2014049671A1 (ja) 表示装置およびペン入力消去方法
US20170192465A1 (en) Apparatus and method for disambiguating information input to a portable electronic device
JP2009283013A (ja) 情報処理装置および表示制御方法
WO2016208099A1 (ja) 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム
JP5845585B2 (ja) 情報処理装置
JP2014016743A (ja) 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム
JP2010020658A (ja) 情報端末装置およびその入力制御方法
CN113515228A (zh) 一种虚拟标尺显示方法以及相关设备
JP2006085218A (ja) タッチパネル操作装置
US11775129B2 (en) Input terminal device and operation input method
JP2016035705A (ja) 表示装置、表示制御方法、及び表示制御プログラム
JP2003186620A (ja) ポインティング機能付き表示装置を備えた情報処理装置
TWI493431B (zh) 指向元件之可調整方向提示方法及系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16813876

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524570

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16813876

Country of ref document: EP

Kind code of ref document: A1