WO2013077359A1 - 電子機器、電子機器の操作方法及びプログラム - Google Patents

電子機器、電子機器の操作方法及びプログラム Download PDF

Info

Publication number
WO2013077359A1
WO2013077359A1 PCT/JP2012/080178 JP2012080178W WO2013077359A1 WO 2013077359 A1 WO2013077359 A1 WO 2013077359A1 JP 2012080178 W JP2012080178 W JP 2012080178W WO 2013077359 A1 WO2013077359 A1 WO 2013077359A1
Authority
WO
WIPO (PCT)
Prior art keywords
finger
virtual
unit
operator
virtual finger
Prior art date
Application number
PCT/JP2012/080178
Other languages
English (en)
French (fr)
Inventor
弘和 金森
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2013077359A1 publication Critical patent/WO2013077359A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to an electronic device, an operation method of the electronic device, and a program.
  • a touch panel is mounted on the display unit, and menu selection and character input are performed by the operator pressing the touch panel with a finger or sliding it while pressing it. It is possible to perform such operations. For example, it is convenient for enlargement / reduction of image data such as a map or a photograph displayed on the display unit, scrolling of text data, spreadsheet data, or the like.
  • FIG. 20 shows an operation example with two fingers described in Patent Document 1.
  • FIG. 20 shows an example in which an operator performs a pinch-in / pinch-out operation on an object displayed on a touch panel with two fingers.
  • FIG. 20 shows an example in which an operator performs a pinch-in / pinch-out operation on an object displayed on a touch panel with two fingers.
  • a pressure detection unit that detects the magnitude of the contact pressure with respect to the touch panel is provided in the electronic device so that different operations can be performed according to the magnitude of the contact pressure.
  • a complex operation is possible with the operation of this finger, which makes it possible to hold it with one hand.
  • Patent Document 1 describes a case where the touch panel is operated with one finger and a case where the touch panel is operated with two fingers. However, when an operation specific to two fingers such as pinch-in / pinch-out is performed, one hand is used. Since it is necessary to use both hands because the electronic device is operated with the fingers of the other hand, Patent Document 1 has a problem that it is difficult to operate with one hand.
  • Patent Document 2 although the electronic device can be operated with one finger, it is difficult to detect the contact pressure of the finger against the touch panel, and there is a problem that it is difficult to adjust the pressing force and difficult to operate.
  • the present invention has been made in view of such a problem, and an object of the present invention is to improve the operability of an electronic device so that the same operation as a two-finger operation can be performed with one finger.
  • an electronic apparatus includes display means, touch panel means provided on the display means, and control means for controlling input of the touch panel means,
  • the control means includes virtual finger control means for performing virtual finger input.
  • the virtual finger program according to one aspect of the present invention is characterized by adding virtual finger control and display functions to an electronic device capable of touch panel input.
  • an operator can perform an application operation specific to two fingers with one finger.
  • FIG. 1 is a block diagram showing a main part configuration of an electronic device 1. It is a figure of the example of a display of a virtual finger. It is explanatory drawing of the starting method of a virtual finger. It is a figure of the example of operation of pinch in / pinch out by a virtual finger.
  • FIG. 4 is an operation processing flow diagram of the electronic device 1. It is a figure of the example of operation of the two-finger tap by a virtual finger. It is a figure of the example of operation of the two-finger hold by a virtual finger. It is a figure of the example of operation of rotation with a virtual finger. It is a figure of the example of operation of two-finger dragging with a virtual finger.
  • a “virtual finger” is a finger-like image that is virtually displayed on a screen to assist touch panel input with a finger, and is virtually in contact / non-contact with the touch panel. It means something that can display the status.
  • FIG. 1 is a block diagram showing a main configuration of an electronic device 1 according to the present invention.
  • the electronic device 1 includes a control unit 2, a touch panel unit 3, a display unit 4, a microphone 5, a storage unit 6, and a communication unit 7.
  • the control means 2 is an arithmetic processing unit that controls the operation of the electronic device 1.
  • a finger detection means 8 finger operation determination means 9, finger operation processing means 10, display control means 11. , Virtual finger control means 12 and voice processing means 13.
  • the touch panel unit 3 is a sensor that senses contact with an operator's finger and is formed on the surface of the display unit 4. When the touch panel unit 3 senses contact with an operator's finger, the touch panel unit 3 transmits the contact to the control means 2.
  • the display unit 4 is composed of an LCD or the like, and displays information such as images, figures, and characters.
  • the microphone 5 is used for voice operation from the operator, and the input voice signal is output to the voice processing means 13.
  • the storage unit 6 stores various programs for performing touch panel operation processing by the control means 2 and various applications that operate on the electronic device 1.
  • the communication unit 7 is for performing wireless communication with a base station or a wireless LAN.
  • the communication unit 7 may be configured to be connectable to a wired network.
  • the electronic device 1 can download various applications that operate on the electronic device 1 from the Internet network.
  • Various programs for the electronic device 1 to perform touch panel operation processing can also be downloaded and updated from the Internet.
  • the finger detection means 8 in the control means 2 detects the position information of the finger touched.
  • the finger detection unit 8 sends finger movement information to the finger operation determination unit 9 based on a signal from the touch panel unit 3.
  • the finger operation determination means 9 determines the finger operation content of the operator based on the finger movement information from the finger detection means 8.
  • the finger operation content to be determined corresponds to, for example, tap, double tap, drag, flick and the like.
  • the finger operation determination unit 9 transmits the operation content determined after the determination to the finger operation processing unit 10.
  • the finger operation processing means 10 executes the finger operation of the operator determined by the finger operation determination means 9 and requests the display control means 11 to output a display associated with the finger operation. Upon receiving the output request, the display control unit 11 outputs a display accompanying the finger operation to the display unit 4.
  • the virtual finger control means 12 is a control means for displaying a virtual finger on the display unit 4 and operating the electronic device 1 together with the operator's finger.
  • the movement information of the virtual finger created by the virtual finger control means 12 is sent to the finger operation determination means 9.
  • the movement information of the virtual finger created by the virtual finger control means 12 includes information on the separated state in which the virtual finger is separated from the screen and the stationary state in which the virtual finger is still in contact with the touch panel unit 3. Information is also included.
  • the virtual finger movement information signal sent from the virtual finger control means 12 to the finger operation determination means 9 has the same format as the signal of the operator's finger movement information sent from the finger detection means 8 to the finger operation determination means 9. Therefore, the finger operation determination unit 9 determines the finger operation as the movement information regardless of whether the received finger movement information is an operator's finger or a virtual finger.
  • a display control signal for displaying the virtual finger on the display unit 4 is directly sent from the virtual finger control means 12 to the display control means 11.
  • the virtual finger control means 12 When it is necessary to link the virtual finger to the operator's finger, the virtual finger control means 12 performs the interlocking control of the virtual finger based on the movement information of the operator's finger from the finger detection means 8.
  • the voice processing means 13 recognizes the voice instruction of the operator from the microphone 5 connected to the voice processing means 13 and performs virtual finger control.
  • the means 12 may be instructed.
  • the virtual finger control means 12 may be configured with hardware or software with respect to the electronic device 1. In the case of software configuration, it is a program for adding virtual finger control and display functions.
  • the types of virtual fingers will be described with reference to FIG.
  • the following three types of movement interlocking states are defined as to whether the virtual finger moves on the display unit 4 in conjunction with the movement of the operator's finger on the touch panel unit 3.
  • the virtual finger does not move with the movement of the operator's finger. Tracking: The virtual finger moves in the same direction as the movement of the operator's finger. Mirror surface: The virtual finger moves with respect to the movement of the operator's finger. Further, it is specified whether or not the virtual finger is brought into contact / non-contact with the touch panel unit 3 in conjunction with the contact / non-contact of the operator's finger on the touch panel unit 3.
  • Free The virtual finger makes contact / non-contact in conjunction with the contact of the operator's finger.
  • Hold The virtual finger maintains the contact state regardless of the contact of the operator's finger.
  • the virtual finger has the following six states in total.
  • FIG. 2 is a display example of a virtual finger displayed on the display unit 4 in a state where the contact interlock is free.
  • 2A and 2D the movement interlocking state of the virtual finger is “fixed”, and “F” is also displayed.
  • 2B and 2E the movement interlocking state of the virtual finger is “tracking”, and “T” is also displayed.
  • 2C and 2F the movement interlocking state of the virtual finger is “mirror surface”, and “M” is also displayed.
  • FIGS. 2A to 2C show a state where the virtual finger is separated from the touch panel
  • FIGS. 2D to 2F show a state where the virtual finger is in contact with the touch panel. ing. The black and white notation is reversed between the state where the virtual finger is away from the touch panel and the state where the virtual finger is in contact.
  • the operator operates the electronic device 1 to display the virtual finger activation icon 101 together with icons of other applications on the display unit 4 as shown in FIG.
  • FIG. 3A as the virtual finger activation icon 101, an icon of “movement interlock: fixed, contact interlock: free” shown in FIG. 2A is displayed. This indicates that when the virtual finger is activated, the virtual finger is activated with movement interlocking: fixed, contact interlocking: free.
  • the interlocking state to be activated when the virtual finger is activated may be determined by default, or the interlocking state at the previous use is stored in the storage unit 6 and the interlocking state at the previous use is used. You may do it.
  • the finger detection means 8 of the electronic device 1 detects contact by the tap and outputs it to the finger operation determination means 9.
  • the finger operation determination unit 9 determines that the finger 102 has tapped the virtual finger activation icon 101 and outputs the result to the finger operation processing unit 10.
  • the finger operation processing means 10 starts the virtual finger control means 12 by outputting a control signal for executing the virtual finger software program.
  • the virtual finger control unit 12 outputs a control signal for displaying the virtual finger to the display control unit 11.
  • the virtual finger 103 is displayed on the display unit 4 as shown in FIG.
  • the virtual finger may be activated by pressing a specific hard key or soft key during execution of an arbitrary application. Moreover, you may make it start from the menu in execution of arbitrary applications.
  • the operations that can be performed using the virtual finger in the electronic device 1 are shown in the following examples.
  • Example 1 In the first embodiment, a “pinch-in / pinch-out” operation using a virtual finger will be described.
  • Pinch-in / pinch-out is an operation of expanding or reducing the distance between both fingers while touching the touch panel unit 3 arranged on the display unit 4 with two fingers.
  • Pinch-in / pinch-out is used for enlarging / reducing an image.
  • FIG. 4A to FIG. 4C show an example of pinch-out operation
  • FIG. 5 shows an operation processing flow chart. This will be described with reference to FIGS.
  • the “motion interlocking mode” is called “movement mode” in FIG. 5, and the “contact interlocking mode” is called “operation mode” in FIG.
  • FIG. 4A shows the virtual finger 103 of “movement interlocking: mirror surface, contact interlocking: free” and the operator's finger 102 in a non-contact state with the display unit 4.
  • the contact interlocking of the virtual finger 103 is free, the virtual finger 103 is also in a non-contact state with the touch panel unit 3.
  • the finger detection means 8 touches the touch panel unit 3 with the operator's finger 102.
  • the position touched is detected, and the movement information of the operator's finger is output to the virtual finger control means 12.
  • the display of the operator's finger in the figure is also displayed by reversing black and white depending on whether it is away from the touch panel or touching the touch panel, similar to the display of the virtual finger.
  • the virtual finger control means 12 receives the signal from the finger detection means 8 and confirms the current contact interaction of the virtual finger (S51). Since the current contact interlocking of the virtual finger is free (free in S51), the virtual finger control means 12 outputs a signal for transitioning the display of the virtual finger 103 to the contact state to the display control means 11.
  • the display control unit 11 executes the signal received from the virtual finger control unit 12 and controls the display unit 4, and the display unit 4 changes the display of the virtual finger 103 as shown in FIG. 4B (S52).
  • the finger detection unit 8 detects the movement of the finger 102 and outputs it to the virtual finger control unit 12.
  • the virtual finger control means 12 confirms the current motion interlocking mode of the virtual finger (S57). If the motion interlocking mode is a mirror surface (mirror surface in S57), the current position of the virtual finger 103 is stored (S61).
  • the virtual finger 103 is outputted to the display control means 11 so as to translate in the opposite direction to the movement of the finger 102 of the operator.
  • the display control unit 11 executes the signal received from the virtual finger control unit 12 and controls the display unit 4, and the display unit 4 displays the movement of the virtual finger 103 as shown in FIG. 4C (S62). ).
  • the virtual finger control means 12 outputs virtual finger movement information and operator finger movement information to the finger operation determination means 9 separately from the processing related to the display of the virtual finger 103 in a series of processes from step S57. ing.
  • the finger operation determination unit 9 determines the virtual finger 103 and the finger 102 as a two-finger operation from the movement information of the virtual finger 103 received from the virtual finger control unit 12 and the movement information of the finger 102 output from the finger detection unit 8. To do. In the first embodiment, the finger operation determination unit 9 determines that a series of operations from FIG. 4A to FIG. 4C is a pinch-out operation.
  • the finger operation determination unit 9 outputs the determination result determined to be the pinch-out operation to the finger operation processing unit 10, so that the finger operation processing unit 10 performs the pinch-out operation.
  • Process corresponding to For example, if a photograph is displayed, the display is enlarged.
  • a virtual finger with motion interlocking: mirror surface and contact interlocking: free a two-finger operation for moving two fingers in the reverse direction can be easily performed with only one finger. I can do it.
  • step S64 the virtual finger movement mode is confirmed.
  • the movement mode is a mirror surface (mirror surface in S64)
  • the virtual finger 103 is returned to the position before the movement (S66).
  • the position before movement in the operation of FIG. 4 is the position of the virtual finger 103 in FIG.
  • the user can easily repeat the same operation by returning the virtual finger to the position before the movement.
  • the current operation mode of the virtual finger is confirmed (S67). If the operation mode is free, the virtual finger is moved to the separated state (S68), and the process is terminated.
  • 4 (d) to 4 (f) are diagrams for explaining a pinch-in operation by one virtual finger and one user's finger.
  • the operation of each component in FIG. 1 and the execution contents of the processing flow in FIG. 5 are the same as the above-described pinch-out operation, and detailed description thereof is omitted.
  • FIG. 4E shows a state where the operator's finger 102 is in contact with the touch panel unit 3.
  • FIG. 4 (f) shows a state where the virtual finger is moved closer to the operator's finger when the operator's finger moves closer to the virtual finger.
  • movement interlock mirror surface
  • contact interlock free virtual finger is interlocked with an operator's finger so that a two-finger operation for bringing two fingers closer can be easily performed with only one finger. Can be done.
  • Example 2 In the second embodiment, a “two-finger tap” operation using a virtual finger will be described.
  • the two-finger tap is an operation of tapping the touch panel unit 3 arranged on the display unit 4 with two fingers at the same time.
  • a description will be given with reference to the operation processing flow diagram of FIG. 5 and the two-finger tap operation example of FIGS. 6 (a) to 6 (c).
  • FIG. 6A shows movement interlocking: fixed, contact interlocking: a free virtual finger 103 and an operator's finger 102 in a non-contact state with the display unit 4.
  • contact interlocking of the virtual finger 103 is free, the virtual finger 103 is also in a non-contact state with the touch panel unit 3.
  • FIG. 6B shows that when the operator's finger 102 is in contact with the touch panel unit 3 at a place other than the virtual finger 103, the electronic device 1 is in contact with the display unit 4 and the virtual finger 103 is in contact with the touch panel unit 3. It is a figure which shows having displayed that it is.
  • the electronic device 1 from the time when the finger 102 of the operator is in contact with the touch panel unit 3 at a place other than the virtual finger 103 until it is determined whether or not the finger 102 has moved, that is, from S50 to S55. Since this operation has already been described in the first embodiment, the details are omitted.
  • the finger detection unit 8 detects the operation of the finger 102, and the virtual finger control unit 12 is detected. Output.
  • the virtual finger control means 12 that has received the signal from the finger detection means 8 confirms the current contact interlock of the virtual finger (S67).
  • the virtual finger control means 12 is a finger operation determination means that the finger of the operator and the virtual finger are not in contact with the touch panel unit 3 because the movement interlock of the virtual finger 103 is fixed and the contact interlock is free. Output to 9.
  • the finger operation determination unit 9 outputs a determination that two fingers are separated from the touch panel unit 3 to the finger operation processing unit 10.
  • the virtual finger control unit 12 outputs a control signal for changing the display of the virtual finger 103 of the display unit 4 to the display control unit 11.
  • the display of the virtual finger 103 on the display unit 4 also shifts to a non-contact state away from the touch panel unit 3 (S68).
  • the finger operation determination means 9 is determined to be a two-finger tap with one virtual finger and one finger of the operator.
  • the finger operation processing unit 10 performs processing corresponding to the two-finger tap, controls the display control unit 11, and displays the processing result on the display unit 4.
  • Example 3 In the third embodiment, a “two-finger hold” operation using a virtual finger will be described.
  • the two-finger hold is an operation for simultaneously holding the touch panel unit 3 arranged on the display unit 4 with two fingers. The operation will be described with reference to the operation processing flowchart of FIG. 5 and the two-finger hold operation example of FIGS. 7 (a) to 7 (c).
  • FIG. 7 (a) shows a virtual finger 103 with motion interlocking: fixed, contact interlocking: free, and an operator's finger 102 in a non-contact state.
  • FIG. 7B shows that when the operator's finger 102 is in contact with the touch panel unit 3 at a place other than the virtual finger 103, the electronic device 1 is in contact with the display unit 4 and the virtual finger 103 is in contact with the touch panel unit 3. It is a figure which shows having displayed that it is.
  • the electronic device 1 from the time when the finger 102 of the operator is in contact with the touch panel unit 3 at a place other than the virtual finger 103 until it is determined whether or not the finger 102 has moved, that is, from S50 to S55. Since this operation has already been described in the first embodiment, a description thereof will be omitted.
  • the virtual finger control means 12 When the operator does not move the finger 102 (not in S54 and S55), and the finger is in contact with the touch panel unit 3 for a certain period of time, the virtual finger control means 12 is in contact with the virtual finger and the operator's finger. This is continuously output to the finger operation determination means 9, and the finger operation determination means 9 determines that the two-finger hold is performed by one virtual finger and one finger of the operator, and outputs it to the finger operation processing means.
  • the finger operation processing means 10 performs processing corresponding to the two-finger hold, controls the display control means 11, and displays the processing result on the display unit 4.
  • the virtual finger control unit 12 outputs a control signal for maintaining the display of the virtual finger 103 of the display unit 4 to the display control unit 11. Accordingly, the display of the contact state of the virtual finger 103 on the display unit 4 is also maintained as shown in FIG.
  • Example 4 In the fourth embodiment, a “two-finger rotate” operation using a virtual finger will be described.
  • the two-finger rotation is an operation in which the touch panel unit 3 arranged on the display unit 4 is touched with two fingers and the other finger is moved in an arc shape around one finger. Used for etc.
  • FIG. 8A shows a state where a virtual finger is displayed on the display unit 4.
  • the state of the virtual finger at this time is movement interlocking: fixed, contact interlocking: free.
  • FIG. 8B shows a state where the operator's finger is in contact with the touch panel unit 3.
  • FIG. 8C shows a state in which the operator's finger is moved in an arc shape around the virtual finger.
  • FIG. 8D shows a state where the operator's finger is separated from the touch panel unit 3 thereafter. In this way, since the virtual finger does not move, the operator can more easily perform a two-finger operation of fixing one finger and moving the other finger than using two fingers of the operator.
  • FIG. 8A corresponds to the finger 102 of the operator who is in a non-contact state with the display unit 4, and the virtual finger 103 that is “movement interlocked: fixed, contact interlocked: free” is also not touching the touch panel unit 3. It shows that it is in a contact state.
  • FIG. 8B shows that when the operator's finger 102 is in contact with the touch panel unit 3 at a place other than the virtual finger 103, the electronic device 1 is in contact with the display unit 4 and the virtual finger 103 is in contact with the touch panel unit 3. It is a figure which shows having displayed that it is.
  • the electronic device 1 from the time when the finger 102 of the operator is in contact with the touch panel unit 3 at a place other than the virtual finger 103 until it is determined whether or not the finger 102 has moved, that is, from S50 to S55. Since this operation has already been described in the first embodiment, a description thereof will be omitted.
  • the finger detection means 8 detects the movement of the finger 102 and outputs it to the virtual finger control means 12.
  • the virtual finger control means 12 confirms the current motion interlocking mode (movement mode) of the virtual finger (S57). If the motion interlocking mode is fixed (“fixed” in S57), the current display position of the virtual finger 103 is displayed. Is output to the display control means 11 so as not to move.
  • the display control unit 11 executes the signal received from the virtual finger control unit 12 and controls the display unit 4.
  • the display unit 4 displays a state in which the virtual finger 103 does not move as shown in FIG. 8C (S58).
  • the finger detection means 8 detects the operation of the finger 102 and outputs it to the virtual finger control means 12.
  • the virtual finger control means 12 that has received the signal from the finger detection means 8 confirms the current motion interlocking mode (movement mode) of the virtual finger 103 (S64).
  • the motion interlocking mode (movement mode) is fixed (“fixed” in S64)
  • the virtual finger control means 12 does not move the virtual finger 103 (S65).
  • the virtual finger control means 12 confirms the current contact interlocking mode (operation mode) of the virtual finger 103 (S67).
  • the virtual finger control means 12 is based on the information that “the operator's finger 102 has moved away from the touch panel unit 3” notified from the finger detection means 8 because the contact interlocking mode (operation mode) is free.
  • the fact that the virtual finger 103 is not in contact with the touch panel unit 3 is output to the finger operation determination means 9.
  • the finger operation determination unit 9 outputs to the finger operation processing unit 10 a determination that two fingers (the operator's finger 102 and the virtual finger 103) are separated from the touch panel unit 3.
  • the virtual finger control means 12 outputs a control signal for changing the display of the virtual finger 103 of the display unit 4 to the display control means 11.
  • the display of the virtual finger 103 on the display unit 4 also shifts to a non-contact state away from the touch panel unit 3 (S68).
  • the virtual finger control means 12 outputs movement information of the virtual finger 103 to the finger operation determination means 9 separately from the processing related to the display of the virtual finger 103 in a series of processes from step S57.
  • the finger operation determination unit 9 operates the two-finger operation on the virtual finger 103 and the finger 102 from the movement information of the virtual finger 103 received from the virtual finger control unit 12 and the movement information of the finger 102 output from the finger detection unit 8.
  • the finger operation determining unit 9 determines that the series of operations from FIG. 8A to FIG. 8C is a “two-finger rotate” operation, and the determination result is the finger operation processing unit 10. Output to.
  • the finger operation processing means 10 performs processing corresponding to “two-finger rotation”.
  • Example 5 In the fifth embodiment, a “two-finger drag” operation using a virtual finger will be described.
  • the two-finger drag is an operation of moving two fingers in parallel from a state in which two fingers are held on the touch panel unit 3 arranged on the display unit 4.
  • FIG. 9A to FIG. 9C are diagrams for explaining the two-finger drag operation by one virtual finger and one finger of the operator.
  • FIG. 9A shows a state where a virtual finger is displayed on the display unit 4. At this time, the state of the virtual finger needs to be movement-linked: tracking and contact-linked: free.
  • FIG. 9B shows a state in which the operator's finger is in contact with the touch panel unit 3.
  • FIG. 9C shows a state in which the virtual finger is translated in the same direction as the operator's finger moves. In this way, a two-finger operation for translating two fingers can be easily performed with only one finger.
  • FIG. 9B shows that when the operator's finger 102 is in contact with the touch panel unit 3 at a place other than the virtual finger 103, the electronic device 1 is in contact with the display unit 4 and the virtual finger 103 is in contact with the touch panel unit 3. It is a figure which shows having displayed that it is.
  • the electronic device 1 from the time when the finger 102 of the operator is in contact with the touch panel unit 3 at a place other than the virtual finger 103 until it is determined whether or not the finger 102 has moved, that is, from S50 to S55. Since this operation has already been described in the first embodiment, a description thereof will be omitted.
  • the finger detection means 8 detects the movement of the finger 102 and outputs it to the virtual finger control means 12.
  • the virtual finger control means 12 confirms the current movement interlocking mode (movement mode) of the virtual finger (S57), and when the movement interlocking mode is tracking (“tracking” in S57), the current position of the virtual finger 103 (“tracking”). After the display position is stored (S59), the virtual finger 103 is output to the display control means 11 so as to move in parallel with the same locus as the movement of the finger 102 of the operator.
  • the display control unit 11 executes the signal received from the virtual finger control unit 12 and controls the display unit 4, and the display unit 4 displays the movement of the virtual finger 103 as shown in FIG. 9C (S60). ).
  • the virtual finger control means 12 outputs movement information of the virtual finger 103 to the finger operation determination means 9 separately from the processing related to the display of the virtual finger 103 in a series of processes from step S57.
  • the finger operation determination unit 9 operates the two-finger operation on the virtual finger 103 and the finger 102 from the movement information of the virtual finger 103 received from the virtual finger control unit 12 and the movement information of the finger 102 output from the finger detection unit 8. Judge as. In the fifth embodiment, the finger operation determination unit 9 determines that the series of operations from FIG. 9A to FIG. 9C is a “two-finger drag” operation, and the determination result is the finger operation processing unit 10. Output to.
  • the finger operation processing means 10 performs processing corresponding to “two-finger drag”.
  • the virtual finger contact interlock operation has been described as being free, but many operations can be performed even when the contact interlock is set to hold. For example, an operation of tapping with another finger from the state where one finger is held, an operation of holding another finger from a state where one finger is held, an operation of dragging with another finger from a state where one finger is held, An operation of dragging two fingers from a state where one finger is held can be operated with one finger of the operator using a virtual finger.
  • the electronic apparatus 1 displays a single virtual finger on the touch panel and realizes a two-finger operation with one hand by linking the virtual finger to an actual finger operation. Is. An operator can perform application operations specific to two fingers with one finger.
  • the signal used with two fingers is sent to the application used in the electronic device 1, no special improvement is required for the application, and only the UI part of the electronic device 1 needs to be changed. Therefore, the operator is easy to use because it is the same operation as the two-finger operation so far familiar to use. In addition, since it can be operated with one finger, it can be operated with one hand.
  • the switching of the movement interlocking state of the virtual finger can be switched by tapping the virtual finger as shown in FIG.
  • FIG. 10 by tapping a virtual finger, switching is performed in the order of fixing ⁇ tracking ⁇ mirror surface ⁇ fixing. This operation flow is shown in FIG.
  • the “motion interlocking mode” is called “movement mode”.
  • the switching of the contact interlocking state of the virtual finger can be switched by double-tapping the virtual finger as shown in FIG. As shown in FIG. 12, by double-tapping a virtual finger, switching from free ⁇ hold ⁇ free is performed. This operation flow is shown in FIG.
  • FIG. 14 shows an operation example for moving the position of the virtual finger
  • FIG. 15 is a flowchart showing processing for moving the position of the virtual finger.
  • the position of the virtual finger can be changed by dragging the virtual finger.
  • FIG. 14 (a) shows a case where the virtual finger is moved and interlocked: fixed, and contact interlocked: free.
  • the electronic device 1 moves the virtual finger 103 to the drag destination as shown in FIG. 14C (S32).
  • the virtual finger 103 is displayed at the moved position as shown in FIG.
  • the virtual finger is described as an example of movement interlock: fixed, contact interlock: free.
  • the motion interlock is tracking or mirror surface, or the contact interlock is hold, the position is determined by the same operation. It is possible to change.
  • FIG. 16 shows an operation example for increasing the virtual finger
  • FIG. 17 is a processing flowchart for changing the number of virtual fingers displayed.
  • FIG. 16A shows a state where a virtual finger is displayed on the display unit 4.
  • FIG. 16C shows a state where the operator's finger is in contact with the touch panel unit 3 .
  • S40 when the operator holds the finger 102 on the virtual finger 103 (holds it while touching)
  • S41 a drop-down menu 105 is displayed as shown in FIG. 16C (S41).
  • the hold for displaying the drop-down menu 105 in step S40 and the hold for not displaying the drop-down menu 105 are determined by the time for which the finger 102 presses the virtual finger 103.
  • a drop-down menu 105 is displayed when the button is continuously pressed for a time longer than a preset time.
  • the finger 102 is moved as shown in FIG. 16D and addition is selected (added in S43)
  • the virtual finger 106 is added as shown in FIG. 16E (S44). In this way, an arbitrary number of virtual fingers can be added.
  • the interlocking state of the added virtual finger 106 may be set to defaults such as motion interlocking: fixed, contact interlocking: free, or the same interlocking state as the interlocking state of the virtual finger 103 when an additional operation is performed. There may be. Since the virtual finger 106 can be added by selecting “add” from the drop-down menu 105 in this manner, the operator can easily increase the number of virtual fingers.
  • FIG. 18B When the operator holds the finger 102 as shown in FIG. 18B on the virtual finger 106 to be erased shown in FIG. 18A, a drop-down menu for the virtual finger 106 as shown in FIG. 18C. 105 is displayed. Next, the operator can delete the virtual finger 106 by moving the finger 102 and selecting deletion as shown in FIG. After deletion, the result is as shown in FIG.
  • the above is an operation to increase or decrease the number of virtual fingers displayed, but in addition to these operations, functions can be added to the drop-down menu. For example, adding invalid / valid can be considered.
  • “invalid” is an instruction to invalidate the selected virtual finger, and even if it is displayed on the screen, the function of the virtual finger is invalidated and the touch panel unit 3 is not touched.
  • Valid is an instruction to re-enable a virtual finger that has been invalidated and invalidated.
  • the electronic device 1 can display and use the plurality of virtual fingers on the display unit 4. As a result, even an application that requires three or more fingers can be operated with one finger of the operator.
  • the virtual finger has been displayed on the display unit 4 in the form of a “finger”, but the present invention is not limited to this.
  • the virtual finger to be displayed can be changed to a thumb or forefinger, a camera mounted on the electronic device 1, an image of a person's face or pet captured by the camera, or an image received by the communication unit 7. Or you can do it. In this way, it is possible to enhance entertainment.
  • program for realizing the virtual finger may be downloaded or upgraded from the Internet through the communication unit 7.
  • An electronic apparatus includes an electronic device including a display unit, a touch panel unit provided on the display unit, and a control unit (control unit 2) that controls operations of the display unit and the touch panel unit.
  • the device is a device, wherein the control unit detects the position and movement of an operator's finger touching the touch panel unit, and outputs finger information based on an operator's instruction.
  • a virtual finger display unit (virtual finger control means 12) for outputting virtual finger display information for displaying a virtual finger on the display unit, movement of an operator's finger detected by the finger detection unit, and the display
  • a storage unit storing a correspondence relationship with the movement of the virtual finger displayed on the unit according to the position of the operator's finger and the position of the virtual finger, and the position of the operator's finger detected by the finger detection unit, and From the movement and the correspondence stored in the storage unit
  • a virtual finger information output unit (virtual finger control means 12) for outputting virtual finger information relating to the position and movement of the virtual finger displayed on the display unit; the finger information output by the finger detection unit; and the virtual finger information
  • a finger operation determination unit (finger operation determination unit 9) that determines the content of the finger operation by the operator based on the virtual finger information output by the output unit.
  • control method of the electronic device which concerns on 1 aspect of this invention is the control part (control means 2) which controls operation
  • a finger detection step for detecting the position and movement of the operator's finger touching the touch panel unit and outputting finger information, and based on the operator's instruction
  • a virtual finger display step for outputting virtual finger display information for displaying a virtual finger on the display unit, a movement of the operator's finger detected in the finger detection step, and a movement of the virtual finger displayed on the display unit ,
  • the correspondence relationship in the storage unit storing the correspondence relationship according to the position of the operator's finger and the position of the virtual finger, and the position and movement of the operator's finger detected in the finger detection step
  • the display A virtual finger information output step for outputting virtual finger information relating to the position and movement of the virtual finger displayed on the finger, the finger information output in the finger detection step, and the virtual finger output in the virtual finger information output step And
  • the operator can perform application operations specific to two fingers with one finger.
  • the correspondence relationship between the movement of the operator's finger on the touch panel unit and the movement of the virtual finger stored in the storage unit is based on the position of the operator's finger.
  • the fixed mode in which the virtual finger is not interlocked with the movement of the operator's finger, and the virtual finger is Three types of motion interlocking modes: a tracking mode that translates in the same direction with respect to the movement of the operator's finger, and a mirror mode in which the virtual finger translates in the opposite direction to the movement of the operator's finger; Further, a free mode in which the virtual finger is in contact / non-contact in conjunction with the contact of the operator's finger in conjunction with contact / non-contact of the operator's finger on the touch panel unit, and the virtual finger is in the operator's finger Two types of hold mode that maintains the contact state regardless of contact 6 types of correspondence relations, and one of the 6 types of correspondence
  • the operator can perform application operations specific to two or more types of fingers with one finger.
  • an electronic device includes finger information output by the finger detection unit (finger detection unit 8), virtual finger information output by the virtual finger information output unit (virtual finger control unit 12), and
  • the finger operation determination unit determines that the finger operation is to change the movement interlocking mode of the corresponding relationship to be referenced, and the finger operation determination unit detects the virtual finger when detecting a double tap of the operator's finger to the display position of the virtual finger. You may determine with it being finger operation which changes the said contact interlocking
  • the operator can easily switch between a plurality of types of virtual finger movements and contact / non-contact.
  • an electronic device includes finger information output by the finger detection unit (finger detection unit 8), virtual finger information output by the virtual finger information output unit (virtual finger control unit 12), and The finger operation determination unit (finger operation determination unit 9) determines that the finger operation is to change the number of virtual fingers when detecting the hold of the operator's finger at the display position of the virtual finger. Good.
  • the operator can operate with one finger of the operator even when the application requires operation of three fingers or more, and when performing an application operation specific to multiple fingers.
  • the number of virtual fingers used for the can be easily increased or decreased.
  • the electronic apparatus may be realized by a computer.
  • the electronic apparatus is realized by a computer by causing the computer to operate as each unit included in the electronic apparatus.
  • a control program and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
  • FIG. 22 illustrates the types of processing related to the virtual finger and the correspondence between the finger movement and the virtual finger movement stored in the storage unit according to the position of the operator's finger and the position of the virtual finger. It is a figure which shows the outline
  • the tap, double tap, and hold of the operator's finger to the display position of the virtual finger are associated with the motion interlocking mode change process, the contact interlocking mode change process, and the virtual finger display change process, respectively.
  • the motion interlocking mode change process is the process described with reference to FIGS. 10 and 11, and the contact interlocking mode change process is the process described with reference to FIGS. 12 and 13.
  • the virtual finger display change process is described with reference to FIGS. 16 to 19, and a virtual finger display change list is displayed on the display unit to change the number of virtual fingers displayed or to disable / enable virtual fingers. It is a process to switch.
  • FIG. 22 further shows that the contact of the operator's finger to a position other than the display position of the virtual finger is associated with the movement and contact / non-contact of the virtual finger. Specifically, when the contact of the operator's finger to a position other than the display position of the virtual finger is detected, the virtual finger detects the selected motion-linked mode and contact-linked mode, and the operator's finger. Depending on the position and movement, the movement / fixation and contact / non-contact are displayed.
  • FIG. 23 is a flowchart showing that the process executed by the electronic device 1 is switched according to the position of the operator's finger and the position of the virtual finger.
  • the finger detection unit detects the contact of the operator's finger with the touch panel unit with the virtual finger being displayed ("Yes" in S1)
  • the finger detection is performed.
  • the finger operation determination unit is based on the finger information output by the unit and the virtual finger information output by the virtual finger information output unit (virtual finger control unit 12). It is confirmed whether or not there is a display position of the virtual finger (S2).
  • the finger operation determination unit determines that the operator's finger has touched the display position of the virtual finger (“Yes” in S2)
  • the finger information output by the finger detection unit further Based on the above, it is detected whether the touch of the operator's finger is a tap, a double tap, or a hold (S3).
  • the finger operation determination unit detects the tap of the operator's finger to the display position of the virtual finger (“tap” in S3), the position of the operator's finger stored in the storage unit illustrated in FIG. It is determined that there has been an instruction for the motion interlocking mode changing process according to the processing type corresponding to the position of the virtual finger. Then, the finger operation determination unit outputs the determination result to the finger operation processing means 10, and the finger operation processing means 10 executes a motion interlocking mode change process (S5).
  • the finger operation determination unit When the finger operation determination unit detects a double tap of the operator's finger to the display position of the virtual finger (“double tap” in S3), the finger operation determination unit determines that there is an instruction for the contact-linked mode change process. Then, the finger operation determination unit outputs the determination result to the finger operation processing unit 10, and the finger operation processing unit 10 executes a contact interlocking mode change process (S6).
  • the finger operation determination unit When the finger operation determination unit detects the hold of the operator's finger at the display position of the virtual finger (“Hold” in S3), the finger operation determination unit determines that there is an instruction for the virtual finger display change process. Then, the finger operation determination unit outputs the determination result to the finger operation processing means 10, and the finger operation processing means 10 executes a virtual finger display change process. Specifically, the finger operation processing unit 10 instructs the display control unit 11 to display the virtual finger display change list on the display unit (S7).
  • the finger operation determination unit determines that the operator's finger has touched a position other than the display position of the virtual finger ("No" in S2)
  • the determination result is displayed as virtual finger information.
  • the virtual finger information output unit includes the position and movement of the operator's finger detected by the finger detection unit (finger detection means 8), and the movement of the operator's finger stored in the storage unit shown on the lower side of FIG.
  • virtual finger information relating to the position and movement of the virtual finger displayed on the display unit is output from the correspondence between the virtual finger and the movement of the virtual finger.
  • the finger operation determination unit does not necessarily notify the determination result that the operator's finger has touched the virtual finger information output unit at a position other than the display position of the virtual finger.
  • the virtual finger information output unit based on the finger information output by the finger detection unit and the virtual finger display information output by the virtual finger display unit (virtual finger control means 12), is positioned at a position other than the display position of the virtual finger. Virtual finger information may be output based on the selected mode and the finger information output by the finger detection unit (S4).
  • each block (especially the control means 2) of the electronic device 1 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or using a CPU (Central Processing Unit). It may be realized by software.
  • the electronic device 1 includes a CPU that executes instructions of a program that is software that realizes each function, a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU), or A storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • recording media these are referred to as “recording media”
  • RAM Random Access Memory
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • the recording medium a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via any transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the electronic device, the operation method of the electronic device, and the program according to the present invention can be applied to a user interface of any electronic device that operates with two fingers.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　１本指でタッチパネルの２本指操作と同じ操作を行える電子機器を実現する。タッチパネルに仮想指を１本表示し、実際の指の操作に仮想指を連動させることによって１本指で２本指特有の操作をすることを特徴としている。

Description

電子機器、電子機器の操作方法及びプログラム
　本発明は、電子機器、電子機器の操作方法及びプログラムに関する。
　近年のスマートフォン、携帯電話、タブレット端末などの電子機器では、表示部上にタッチパネルが搭載され、操作者がタッチパネルを指で押下したり、押下したまま滑らせたりするなどしてメニュー選択や文字入力などの操作を行なうことが可能になっている。例えば、表示部に表示された地図や写真などの画像データの拡大縮小、テキストデータや表計算データなどのスクロール等に便利である。
　中でも直感的に複雑な操作を行うことを目的とした２本指で操作可能な電子機器も登場している。このような２本指で操作可能な電子機器を記載した先行技術文献として特許文献１がある。図２０に特許文献１記載の２本指による操作例を示す。図２０は、操作者が２本の指によってタッチパネル上に表示したオブジェクトをピンチイン／ピンチアウト操作する例である。１本指による操作に加えて、ピンチイン／ピンチアウト等の２本指特有の操作もできるようにすることによって、より多くの操作を行なえるようになるため、電子機器の操作性は向上している。
　ただし、電子機器を手に持って操作する場合には、特許文献１に記載の電子機器のように２本指で操作する場合には、片手で電子機器を持ち、もう一方の手の指で操作を行う必要があることから両手が塞がってしまうため、１本指での操作のみで２本指での操作と同レベルの複雑な操作を行うための提案も行われている。
　例えば、特許文献２では、図２１に示すようにタッチパネルに対する接触圧の大きさを検出する圧力検出部を電子機器に設けることにより、接触圧の大きさに応じて異なる操作を行えるようにし、１本指の操作で複雑な操作を可能にしており、これにより片手で持って操作可能としている。
米国特許第７４７９９４９号明細書（２００９年１月２０日登録） 日本国公開特許公報「特開２００９－１５１５０５号公報（２００９年７月９日公開）」
　特許文献１には、タッチパネルを指１本で操作する場合と指２本で操作する場合が記載されているが、ピンチイン／ピンチアウトのような２本指特有の操作をする場合は、片手で電子機器を持ちもう一方の手の指で操作を行うことから両手を使う必要があるので、特許文献１では、片手での操作は困難であるという課題がある。
　また特許文献２では、指一本で電子機器を操作できるものの、タッチパネルに対する指の接触圧を検出することは難しいこともあり、押下する力加減が難しく操作しにくいという課題がある。
　本発明は、このような課題に鑑みてなされたものであり、１本指で２本指での操作と同じ操作を行えるように電子機器の操作性を向上することを目的とする。
　上記の課題を解決するために、本発明の一態様に係る電子機器は、表示手段と、前記表示手段上に設けたタッチパネル手段と、前記タッチパネル手段の入力を制御する制御手段とを備え、前記制御手段は、仮想指入力を行うための仮想指制御手段を備えていることを特徴とする。
　また、本発明の一態様に係る仮想指プログラムは、タッチパネル入力可能な電子機器に、仮想指の制御と表示機能を追加することを特徴とする。
　本発明の一態様によれば、操作者は１本指で２本指特有のアプリケーション操作をすることができるという効果を奏する。
電子機器１の要部構成を示すブロック図である。 仮想指の表示例の図である。 仮想指の起動方法の説明図である。 仮想指によるピンチイン／ピンチアウトの操作例の図である。 電子機器１の操作処理フロー図である。 仮想指による２本指タップの操作例の図である。 仮想指による２本指ホールドの操作例の図である。 仮想指によるローテートの操作例の図である。 仮想指による２本指ドラッグの操作例の図である。 仮想指の動き連動状態を切り替える操作例の図である。 仮想指の動き連動状態を切り替える処理フロー図である。 仮想指の接触連動状態を切り替える操作例の図である。 仮想指の接触連動状態を切り替える処理フロー図である。 仮想指の位置を移動する操作例の図である。 仮想指の位置を移動する処理フロー図である。 仮想指を追加する操作例の図である。 仮想指の表示数を変更する処理フロー図である。 仮想指を部分削除する操作例の図である。 仮想指を全削除する操作例の図である。 従来技術に係る複数指操作の電子機器の説明図である。 従来技術に係る１本指操作の電子機器の説明図である。 操作者の指の位置と仮想指の位置とに応じて記憶部が格納している、仮想指に関する処理の種類、および、指の動きと仮想指の動きとの対応関係の概要および詳細を、表形式で示す図である。 操作者の指の位置と仮想指の位置とに応じて、図１の電子機器が実行する処理が切り替わることを示すフロー図である。
　この出願において、「仮想指」とは、指によるタッチパネル入力を補助するために、画面上に仮想的に表示される指状の画像であり、タッチパネルに対して仮想的に接触／非接触している状態を表示可能なものを意味する。
　以下、本発明の実施形態について図１～図１９に基づいて詳細に説明する。
　図１は本発明の電子機器１の要部構成を示すブロック図である。電子機器１は制御手段２、タッチパネル部３、表示部４、マイク５、記憶部６、通信部７から構成される。制御手段２は電子機器１の動作制御を行う演算処理装置であり、タッチパネル操作処理を行うための処理手段として、指検出手段８、指操作判定手段９、指操作処理手段１０、表示制御手段１１、仮想指制御手段１２、音声処理手段１３を含む。
　タッチパネル部３は、操作者の指による接触を感知するセンサーであり、表示部４の表面に形成される。タッチパネル部３は操作者の指による接触を感知すると、その接触を制御手段２に伝える。
　表示部４は、ＬＣＤなどで構成され、画像、図形、文字などの情報表示を行う。
　マイク５は、操作者からの音声操作をするためのものであり、入力された音声信号は音声処理手段１３に出力される。
　記憶部６は、制御手段２にてタッチパネル操作処理を行うための各種プログラムや電子機器１上にて動作する各種アプリケーションを記憶する。
　通信部７は、基地局や無線ＬＡＮと無線通信を行うためのものである。また、通信部７は有線ネットワークと接続可能な構成であってもよい。通信部７がインターネット網と無線／有線通信を行うことにより、電子機器１はインターネット網から電子機器１上で動作する各種アプリケーションをダウンロードすることができる。また、電子機器１がタッチパネル操作処理を行うための各種プログラムもインターネット網からダウンロードやアップデートすることができる。
　次に図１に記載したブロック図の動作について詳細に説明する。タッチパネル部３に操作者の指による接触が発生すると、制御手段２内の指検出手段８がタッチした指の位置情報を検出する。指検出手段８はタッチパネル部３からの信号に基づき、指の動き情報を指操作判定手段９に送る。
　指操作判定手段９は指検出手段８からの指の動き情報に基づき、操作者の指操作内容を判定する。判定する指操作内容は例えば、タップ、ダブルタップ、ドラッグ、フリック等が該当する。指操作判定手段９は判定後に判定した操作内容を指操作処理手段１０に伝える。
　指操作処理手段１０は指操作判定手段９が判定した操作者の指操作を実行すると共に、その指操作に伴う表示を表示制御手段１１に出力要求する。出力要求を受けた表示制御手段１１は指操作に伴う表示を表示部４に出力する。
　次に本発明の仮想指制御手段１２について以下詳細に説明する。
　仮想指制御手段１２は、表示部４に仮想指を表示し、操作者の指と共に電子機器１の操作を行うための制御手段である。仮想指制御手段１２で作られた仮想指の動き情報は、指操作判定手段９に送られる。
　なお、仮想指制御手段１２で作られた仮想指の動き情報には、仮想指が画面から離れている離間状態の情報、およびタッチパネル部３に仮想指が接触したまま静止している静止状態の情報も含まれる。
　仮想指制御手段１２から指操作判定手段９に送られる仮想指の動き情報の信号は、指検出手段８から指操作判定手段９に送られる操作者の指の動き情報の信号と同じ形式であるため、指操作判定手段９は受信した指の動き情報が操作者の指であるのか仮想指であるのかに関わらず、動き情報として指操作を判定する。また、仮想指を表示部４に表示するための表示制御信号は、仮想指制御手段１２から表示制御手段１１に直接送られる。
　仮想指を操作者の指に連動させる必要がある場合には、仮想指制御手段１２は指検出手段８からの操作者の指の動き情報に基づいて仮想指の連動制御を行う。
　また、操作者から仮想指への各種指示はタッチパネル部３を通して行われるが、音声処理手段１３と接続されたマイク５からの操作者の音声指示を音声処理手段１３で音声認識し、仮想指制御手段１２に指示できるようにしてもよい。
　仮想指制御手段１２は、電子機器１に対してハードウェアで構成してもソフトウェアで構成しても構わない。ソフトウェアで構成する場合には、仮想指の制御と表示機能を追加するためのプログラムとなる。
　次に仮想指の種類について、図２と共に説明する。仮想指には、タッチパネル部３上の操作者の指の動きに連動して仮想指が表示部４上を動くかどうか下記３種類の動き連動状態が規定されている。
　　固定：仮想指は、操作者の指の動きに連動しない
　　追尾：仮想指は、操作者の指の動きに対して同じ方向に平行移動する
　　鏡面：仮想指は、操作者の指の動きに対して逆の方向に平行移動する
　また、タッチパネル部３上の操作者の指の接触／非接触に連動して仮想指をタッチパネル部３への接触／非接触状態とするかどうか規定されている。
　　フリー：仮想指は、操作者の指の接触に連動して接触／非接触する
　　ホールド：仮想指は、操作者の指の接触に関係なく接触状態を維持する。
　従って、仮想指は下記に示す計６通りの状態を持つ。
　（１）動き連動：固定　　接触連動：フリー
　（２）動き連動：追尾　　接触連動：フリー
　（３）動き連動：鏡面　　接触連動：フリー
　（４）動き連動：固定　　接触連動：ホールド
　（５）動き連動：追尾　　接触連動：ホールド
　（６）動き連動：鏡面　　接触連動：ホールド
　図２は接触連動がフリーの状態で表示部４に表示される仮想指の表示例である。図２(ａ)、図２(ｄ)は仮想指の動き連動状態が「固定」であり、「Ｆ」を合わせて表示している。図２(ｂ)、図２(ｅ)は仮想指の動き連動状態が「追尾」であり、「Ｔ」を合わせて表示している。図２(ｃ)、図２(ｆ)は仮想指の動き連動状態が「鏡面」であり、「Ｍ」を合わせて表示している。なお図２(ａ)から図２(ｃ)は、仮想指がタッチパネルから離れている状態を示し、図２(ｄ)から図２(ｆ)は仮想指がタッチパネルに接触している状態を示している。仮想指がタッチパネルから離れている状態と、接触している状態とで白黒の表記を反転させている。
　次に、仮想指の起動方法に関して図３と共に説明する。操作者は電子機器１を操作して、図３(ａ)に示すように表示部４に他のアプリケーションのアイコンとともに仮想指起動アイコン１０１を表示する。図３(ａ)では仮想指起動アイコン１０１として、図２(ａ)で示す「動き連動：固定、接触連動：フリー」のアイコンが表示されている。これは仮想指起動時に、仮想指が動き連動：固定、接触連動：フリーで起動することを示している。仮想指起動時にどのような連動状態で起動させるかについては、デフォルトで決めておいても良いし、前回使用時の連動状態を記憶部６に記憶しておき、前回使用時の連動状態を用いるようにしても良い。
　図３(ｂ)に示すように操作者が仮想指起動アイコン１０１を指１０２でタップすると、電子機器１の指検出手段８がタップによる接触を検出し、指操作判定手段９へ出力する。指操作判定手段９は、指１０２が仮想指起動アイコン１０１をタップしたと判定し、指操作処理手段１０へ出力する。指操作処理手段１０は、仮想指のソフトウエアプログラムを実行する制御信号を出力することにより、仮想指制御手段１２が起動する。仮想指制御手段１２は表示制御手段１１に仮想指を表示する制御信号を出力する。これによって、図３(ｃ)のように表示部４に仮想指１０３が表示される。
　なお、仮想指の起動は、任意のアプリケーションの実行中に特定のハードキーやソフトキーを押下することで起動するようにしてもよい。また、任意のアプリケーションの実行中のメニューから起動するようにしてもよい。電子機器１で仮想指を用いて行える操作を以下の実施例に示す。
　［実施例１］
　実施例１では仮想指を使用した「ピンチイン／ピンチアウト」の操作を説明する。ピンチイン／ピンチアウトとは、表示部４上に配置されたタッチパネル部３を２本の指で触れた状態で、両方の指の間隔を広げたり縮めたりする操作である。ピンチイン／ピンチアウトは、画像の拡大／縮小等に用いられる。図４(ａ)から図４(ｃ)へピンチアウトの操作例を示し、図５に操作処理フロー図を示す。図４、図５を参照して説明する。
　なお、「動き連動モード」は、図５では「移動モード」と呼び、「接触連動モード」は、図５において「動作モード」と呼んでいる。
　図４(ａ)は、「動き連動：鏡面、接触連動：フリー」の仮想指１０３と表示部４と非接触状態にある操作者の指１０２である。ここでは仮想指１０３の接触連動はフリーなので、仮想指１０３もタッチパネル部３と非接触状態である。
　図４(ｂ)のように操作者の指１０２が、タッチパネルの仮想指１０３以外の場所を触れると(図５でＳ５０)、指検出手段８は操作者の指１０２がタッチパネル部３に触れたことと触れた位置を検出し、仮想指制御手段１２へ操作者の指の動き情報を出力する。
　本明細書では図における操作者の指の表示も、仮想指の表示と同様にタッチパネルから離れている場合とタッチパネルに触れている場合とで白黒を反転させて表示することにする。
　仮想指制御手段１２は、指検出手段８から信号を受信し、仮想指の現在の接触連動を確認する(Ｓ５１)。仮想指の現在の接触連動はフリーであるので(Ｓ５１でフリー)、仮想指制御手段１２は、表示制御手段１１へ仮想指１０３の表示を接触状態へ遷移させる信号を出力する。
　表示制御手段１１は、仮想指制御手段１２から受信した信号を実行し表示部４を制御して、表示部４は図４(ｂ)のように仮想指１０３の表示を変更する(Ｓ５２)。ここで操作者の指１０２が図４(ｃ)のように移動すると(Ｓ５４、Ｓ５５で「した」)、指検出手段８が指１０２の移動を検出し、仮想指制御手段１２へ出力する。仮想指制御手段１２は、仮想指の現在の動き連動モードを確認し(Ｓ５７)、動き連動モードが鏡面の場合(Ｓ５７で鏡面)は、仮想指１０３の現在の位置を保存した後(Ｓ６１)、仮想指１０３を操作者の指１０２の動きに対して逆方向に平行移動するように表示制御手段１１へ出力する。表示制御手段１１は、仮想指制御手段１２から受信した信号を実行し表示部４を制御して、表示部４は図４(ｃ)のように仮想指１０３が移動する様子を表示する(Ｓ６２)。
　また仮想指制御手段１２は、ステップＳ５７からの一連の処理で、仮想指１０３の表示に関する処理とは別に、仮想指の動き情報と操作者の指の動き情報を指操作判定手段９へ出力している。指操作判定手段９は、仮想指制御手段１２から受信した仮想指１０３の動き情報と、指検出手段８から出力した指１０２の動き情報から、仮想指１０３と指１０２を２本指操作として判定する。実施例１では指操作判定手段９は図４(ａ)から図４(ｃ)への一連の操作を、ピンチアウト操作と判定している。
　次にステップＳ６３で操作者が指１０２をタッチパネルから離すと、指操作判定手段９は指操作処理手段１０へピンチアウト操作と判定した判定結果を出力するので、指操作処理手段１０はピンチアウト操作に対応した処理を行う。例えば、写真を表示していたら表示を拡大するなどである。このように、実施例１では動き連動：鏡面、接触連動：フリーの仮想指を使用することで、２本の指を逆方向に移動する２本指操作を１本の指だけで簡単に行うことが出来る。
　ステップＳ６４では、仮想指の移動モードを確認する。ここでは移動モードは鏡面なので(Ｓ６４で鏡面)、仮想指１０３を移動前の位置へ戻す(Ｓ６６)。図４の操作における移動前の位置とは、図４(ａ)における仮想指１０３の位置である。仮想指の処理後、仮想指を移動前の位置に戻すことにより、ユーザは同一の操作を容易に繰り返し行うことが出来るようになる。なお、図５に示したようにＳ６４で仮想指の移動モードが追尾の場合も、同様に仮想指の処理後、仮想指を移動前の位置に戻す。次に仮想指の現在の動作モードを確認し(Ｓ６７)、動作モードがフリーの場合仮想指を離れた状態へ遷移させ(Ｓ６８)、処理を終了する。
　図４(ｄ)から図４(ｆ)は、仮想指１つとユーザの指１本によるピンチインの動作を説明する図である。図４(ｄ)から図４(ｆ)の操作において、図１の各構成の動作や図５の処理フローの実行内容は上述したピンチアウトの動作と同様なので詳細な説明は省略する。
　ピンチイン操作を行なう場合も仮想指の状態は、動き連動：鏡面、接触連動：フリーにしておく必要がある。図４(ｅ)は操作者の指１０２がタッチパネル部３に接触した状態を示す。図４(ｆ)は操作者の指が仮想指に近づくように移動すると仮想指も操作者の指に近づくように移動した状態を示す。図４(ｆ)の状態から操作者が指１０２をタッチパネル部３から離すとピンチインに対応した処理が実行される。例えば、地図を表示していたら表示を縮小するなどである。
　このように、実施例１では動き連動：鏡面、接触連動：フリーの仮想指を操作者の指に連動させることにより、２本の指を近づける２本指操作を１本の指だけで簡単に行うことが出来る。
　［実施例２］
　実施例２では仮想指を使用した「２本指タップ」の操作を説明する。２本指タップとは、表示部４上に配置されたタッチパネル部３を２本の指で同時にタップする操作である。図５の操作処理フロー図と図６(ａ)から図６(ｃ)の２本指タップの操作例を参照して説明する。
　図６(ａ)は動き連動：固定、接触連動：フリーの仮想指１０３と表示部４と非接触状態にある操作者の指１０２である。ここでは仮想指１０３の接触連動はフリーなので、仮想指１０３もタッチパネル部３と非接触状態である。
　図６(ｂ)は、操作者の指１０２が仮想指１０３以外の場所でタッチパネル部３と接触状態になった場合に、電子機器１が表示部４に仮想指１０３がタッチパネル部３と接触状態になっていることを表示していることを示す図である。
　なお、操作者の指１０２が仮想指１０３以外の場所でタッチパネル部３と接触状態になってから、指１０２が移動したか否かを判定するまでの、つまりＳ５０からＳ５５までの、電子機器１の動作については、実施例１で既に説明したので、詳細は省略する。
　操作者が指１０２を移動せず(Ｓ５４、Ｓ５５で「しない」)、タッチパネル部３から指を離すと(Ｓ５６)、指検出手段８が指１０２の動作を検出し、仮想指制御手段１２へ出力する。
　指検出手段８から信号を受信した仮想指制御手段１２は、仮想指の現在の接触連動を確認する(Ｓ６７)。仮想指制御手段１２は、仮想指１０３の動き連動が固定であり、接触連動がフリーであることから、操作者の指と仮想指がタッチパネル部３と非接触状態であることを指操作判定手段９へ出力する。
　指操作判定手段９は、２本の指がタッチパネル部３から離れた判定を指操作処理手段１０へ出力する。また、仮想指制御手段１２は表示制御手段１１へ表示部４の仮想指１０３の表示を変更する制御信号を出力する。
　これによって図６(ｃ)のように表示部４上の仮想指１０３の表示もタッチパネル部３から離れた非接触状態へ遷移する(Ｓ６８)。操作者が図６(ａ)から図６(ｃ)までの一連の動作を短時間に行うことで、指操作判定手段９は仮想指１つと操作者の指１本による２本指タップと判定し、指操作処理手段１０は２本指タップに対応した処理を行い、表示制御手段１１を制御してその処理結果を表示部４に表示する。
　［実施例３］
　実施例３では仮想指を使用した「２本指ホールド」の操作を説明する。２本指ホールドとは、表示部４上に配置されたタッチパネル部３を２本の指で同時にホールドする操作である。図５の操作処理フロー図と図７(ａ)から図７(ｃ)の２本指ホールドの操作例を参照して説明する。
　図７(ａ)は、動き連動：固定、接触連動：フリーの仮想指１０３と、非接触状態にある操作者の指１０２である。
　図７(ｂ)は、操作者の指１０２が仮想指１０３以外の場所でタッチパネル部３と接触状態になった場合に、電子機器１が表示部４に仮想指１０３がタッチパネル部３と接触状態になっていることを表示していることを示す図である。
　なお、操作者の指１０２が仮想指１０３以外の場所でタッチパネル部３と接触状態になってから、指１０２が移動したか否かを判定するまでの、つまりＳ５０からＳ５５までの、電子機器１の動作については、実施例１で既に説明したので、説明を省略する。
　操作者が指１０２を移動せず(Ｓ５４,Ｓ５５でしない)、一定時間タッチパネル部３に指を接触状態にした場合、仮想指制御手段１２は、仮想指と操作者の指が接触状態であることを指操作判定手段９に出力し続け、指操作判定手段９は仮想指１つと操作者の指１本による２本指ホールドと判定し指操作処理手段に出力する。
　指操作処理手段１０は２本指ホールドに対応した処理を行い、表示制御手段１１を制御してその処理結果を表示部４に表示する。また、仮想指制御手段１２は表示制御手段１１へ表示部４の仮想指１０３の表示を維持する制御信号を出力する。これによって図７(ｃ)のように表示部４上の仮想指１０３の接触状態の表示も維持される。
　［実施例４］
　実施例４では仮想指を使用した「２本指ローテート」の操作を説明する。２本指ローテートとは、表示部４上に配置されたタッチパネル部３を２本の指で接触し、片方の指を中心にして他方の指を円弧状に移動する操作であり、画像の回転等に用いられる。
　図８(ａ)から図８(ｄ)は、仮想指１つと操作者の指１本によるローテートの操作を説明する図である。図８(ａ)は表示部４に仮想指を表示した状態を示す。この時の仮想指の状態は、動き連動：固定、接触連動：フリーである。図８(ｂ)は操作者の指がタッチパネル部３に接触した状態を示す。図８(ｃ)は仮想指を中心にして操作者の指を円弧状に移動した状態を示す。図８(ｄ)はその後に操作者の指がタッチパネル部３から離れた状態を示す。このように、仮想指は移動しないので操作者は一方の指を固定して他方の指を動かす２本指操作を操作者の指を２本使うよりも簡単に行うことが出来る。
　上記に概要を説明した「２本指ローテート」操作における、仮想指１０３と操作者の指１０２との連動について、より詳細に説明すれば、以下のようになる。
　すなわち、図８(ａ)は、表示部４と非接触状態にある操作者の指１０２に対応して、「動き連動：固定、接触連動：フリー」である仮想指１０３もタッチパネル部３と非接触状態であることを示している。
　図８(ｂ)は、操作者の指１０２が仮想指１０３以外の場所でタッチパネル部３と接触状態になった場合に、電子機器１が表示部４に仮想指１０３がタッチパネル部３と接触状態になっていることを表示していることを示す図である。
　なお、操作者の指１０２が仮想指１０３以外の場所でタッチパネル部３と接触状態になってから、指１０２が移動したか否かを判定するまでの、つまりＳ５０からＳ５５までの、電子機器１の動作については、実施例１で既に説明したので、説明を省略する。
　ここで操作者の指１０２が図８(ｃ)のように移動すると(Ｓ５４、Ｓ５５で「した」)、指検出手段８が指１０２の移動を検出し、仮想指制御手段１２へ出力する。
　仮想指制御手段１２は、仮想指の現在の動き連動モード（移動モード）を確認し(Ｓ５７)、動き連動モードが固定の場合(Ｓ５７で「固定」)は、仮想指１０３の現在の表示位置を移動させないように表示制御手段１１へ出力する。
　表示制御手段１１は、仮想指制御手段１２から受信した信号を実行し表示部４を制御する。表示部４は、図８(ｃ)のように、仮想指１０３が移動しない様子を表示する(Ｓ５８)。
　さらに、図８(ｄ)のように、操作者がタッチパネル部３から指１０２を離すと(Ｓ６３)、指検出手段８が指１０２の動作を検出し、仮想指制御手段１２へ出力する。
　指検出手段８から信号を受信した仮想指制御手段１２は、仮想指１０３の現在の動き連動モード（移動モード）を確認する(Ｓ６４)。ここで、動き連動モード（移動モード）は固定なので(Ｓ６４で「固定」)、仮想指制御手段１２は仮想指１０３を移動させない(Ｓ６５)。さらに、仮想指制御手段１２は、仮想指１０３の現在の接触連動モード（動作モード）を確認する(Ｓ６７)。仮想指制御手段１２は、接触連動モード（動作モード）がフリーであることから、指検出手段８から通知された「操作者の指１０２がタッチパネル部３から離れた」との情報に基づいて、仮想指１０３がタッチパネル部３と非接触状態であることを指操作判定手段９へ出力する。
　指操作判定手段９は、２本の指（操作者の指１０２と仮想指１０３）がタッチパネル部３から離れた判定を指操作処理手段１０へ出力する。
　また、仮想指制御手段１２は表示制御手段１１へ表示部４の仮想指１０３の表示を変更する制御信号を出力する。これによって、図８(ｄ)のように、表示部４上の仮想指１０３の表示もタッチパネル部３から離れた非接触状態へ遷移する(Ｓ６８)。
　また仮想指制御手段１２は、ステップＳ５７からの一連の処理で、仮想指１０３の表示に関する処理とは別に、仮想指１０３の動き情報を、指操作判定手段９へ出力している。
　指操作判定手段９は、仮想指制御手段１２から受信した仮想指１０３の動き情報と、指検出手段８から出力した指１０２の動き情報とから、仮想指１０３と指１０２とを２本指操作として判定する。実施例４では、指操作判定手段９は、図８(ａ)から図８(ｃ)への一連の操作を、「２本指ローテート」操作と判定し、この判定結果を指操作処理手段１０へ出力する。
　そして、指操作処理手段１０は「２本指ローテート」に対応した処理を行う。
　［実施例５］
　実施例５では仮想指を使用した「２本指ドラッグ」の操作を説明する。２本指ドラッグとは、表示部４上に配置されたタッチパネル部３にて２本指ホールドしている状態から２本の指を平行移動する操作である。
　図９(ａ)から図９(ｃ)は、仮想指１つと操作者の指１本による２本指ドラッグの動作を説明する図である。図９(ａ)は表示部４に仮想指を表示した状態を示す。この時の仮想指の状態は、動き連動：追尾、接触連動：フリーにしておく必要がある。図９(ｂ)は操作者の指がタッチパネル部３に接触した状態を示す。図９(ｃ)は操作者の指が移動すると同じ方向に仮想指も平行移動した状態を示す。このように、２本の指を平行移動する２本指操作を１本の指だけで簡単に行うことが出来る。
　上記に概要を説明した「２本指ドラッグ」操作における、仮想指１０３と操作者の指１０２との連動について、より詳細に説明すれば、以下のようになる。
　すなわち、図９(ａ)は、表示部４と非接触状態にある操作者の指１０２に対応して、「動き連動：追尾、接触連動：フリー」である仮想指１０３もタッチパネル部３と非接触状態であることを示している。
　図９(ｂ)は、操作者の指１０２が仮想指１０３以外の場所でタッチパネル部３と接触状態になった場合に、電子機器１が表示部４に仮想指１０３がタッチパネル部３と接触状態になっていることを表示していることを示す図である。
　なお、操作者の指１０２が仮想指１０３以外の場所でタッチパネル部３と接触状態になってから、指１０２が移動したか否かを判定するまでの、つまりＳ５０からＳ５５までの、電子機器１の動作については、実施例１で既に説明したので、説明を省略する。
　ここで操作者の指１０２が図９(ｃ)のように移動すると（Ｓ５４、Ｓ５５で「した」）、指検出手段８が指１０２の移動を検出し、仮想指制御手段１２へ出力する。
　仮想指制御手段１２は、仮想指の現在の動き連動モード（移動モード）を確認し(Ｓ５７)、動き連動モードが追尾の場合(Ｓ５７で「追尾」)は、仮想指１０３の現在の位置（表示位置）を保存した後(Ｓ５９)、仮想指１０３を操作者の指１０２の動きと同じ軌跡で平行移動するように表示制御手段１１へ出力する。表示制御手段１１は、仮想指制御手段１２から受信した信号を実行し表示部４を制御して、表示部４は図９(ｃ)のように仮想指１０３が移動する様子を表示する(Ｓ６０)。
　なお、操作者がタッチパネル部３から指１０２を離した(Ｓ６３)後の電子機器１の動作は、実施例１で説明したのと同様であるため、説明を省略する。
　仮想指制御手段１２は、ステップＳ５７からの一連の処理で、仮想指１０３の表示に関する処理とは別に、仮想指１０３の動き情報を、指操作判定手段９へ出力している。
　指操作判定手段９は、仮想指制御手段１２から受信した仮想指１０３の動き情報と、指検出手段８から出力した指１０２の動き情報とから、仮想指１０３と指１０２とを２本指操作として判定する。実施例５では、指操作判定手段９は、図９(ａ)から図９(ｃ)への一連の操作を、「２本指ドラッグ」操作と判定し、この判定結果を指操作処理手段１０へ出力する。
　そして、指操作処理手段１０は「２本指ドラッグ」に対応した処理を行う。
　ここまで仮想指の接触連動がフリーの操作を説明してきたが、接触連動をホールドにした場合にも多数の操作も行うことができる。例えば、指１本がホールドした状態からもう１本でタップする操作、指１本がホールドした状態からもう１本もホールドする操作、指１本がホールドした状態からもう１本でドラッグする操作、指１本がホールドした状態から２本指ドラッグする操作等を、仮想指を用いて操作者の１本指で操作することができる。
　上述した実施例で説明したように本発明の電子機器１は、タッチパネルに仮想指を１本表示し、実際の指の操作に仮想指を連動させることによって片手での２本指操作を実現するものである。操作者は１本指で２本指特有のアプリケーション操作が可能になる。
　また電子機器１で使用するアプリケーションには２本指で操作した信号が送られるため、アプリケーションに特別な改良を必要とせず、電子機器１のＵＩ部分の変更のみで済む。従って、操作者は使い慣れたこれまでの２本指操作と同じ操作であることから使いやすいものとなる。また、１本指で操作できるため、片手で持って操作することも可能になる。
　次に上記仮想指の連動状態の切り替えについて、図１０～図１３と共に説明する。
　仮想指の動き連動状態の切り替えは、図１０に示すように、仮想指をタップすることで切り替えることができる。図１０の場合は、仮想指をタップすることによって、固定→追尾→鏡面→固定の順番に切り替わる。この動作フローを図１１に示す。
　なお、図１１のＳ１１では、「動き連動モード」を「移動モード」と呼んでいる。
　一方、仮想指の接触連動状態の切り替えは、図１２に示すように、仮想指をダブルタップすることで切り替えることができる。図１２に示すように、仮想指をダブルタップすることによって、フリー→ホールド→フリーと切り替わる。この動作フローを図１３に示す。
　なお、図１３のＳ２１では、「接触連動モード」を「動作モード」と呼んでいる。
　次に、仮想指の移動方法に関して図１４、図１５と共に説明する。図１４に仮想指の位置を移動する操作例を示し、図１５に仮想指の位置を移動する処理を示すフロー図を示す。仮想指の位置は仮想指をドラッグすることで変更することができる。
　図１４(ａ)は仮想指が動き連動：固定、接触連動：フリーの場合である。図１４(ｂ)のように仮想指１０３が操作者の指１０２によってドラッグされると(Ｓ３１)、図１４(ｃ)のように電子機器１は仮想指１０３をドラッグ先へ移動する(Ｓ３２)。これによって図１４(ｄ)のように移動後の位置に仮想指１０３が表示される。なお、図１４では仮想指が動き連動：固定、接触連動：フリーの例として説明しているが、動き連動が追尾や鏡面であっても、接触連動がホールドであっても同様の動作によって位置を変更することが可能である。
　次に仮想指を複数用いて電子機器１を操作する場合を図１６～図１９を用いて説明する。最初に、表示部４に表示する仮想指の個数を増やす操作を説明する。図１６は仮想指を増やす操作例を示し、図１７は仮想指の表示数を変更する処理フロー図である。図１６(ａ)は表示部４に仮想指を表示した状態を示す。次に操作者の指がタッチパネル部３に接触した状態を図１３(ｂ)に示す。この状態で操作者が指１０２を仮想指１０３にホールド(タッチしたまま保持)すると(Ｓ４０)、図１６(ｃ)に示すようにドロップダウンメニュー１０５を表示する(Ｓ４１)。なおステップＳ４０でドロップダウンメニュー１０５を表示するホールドと、表示しないホールドは指１０２で仮想指１０３を押下する時間によって判別される。予め設定された時間より長い時間押下し続けるとドロップダウンメニュー１０５が表示される。ドロップダウンメニューには、「追加」、「削除」、「終了」の３種類のメニューが存在し、ユーザはいずれか一つを選択する(Ｓ４２)。図１６(ｄ)のように指１０２を移動させて、追加を選択すると(Ｓ４３で追加)、図１６(ｅ)のように仮想指１０６が追加される(Ｓ４４)。このようにして任意の個数の仮想指を追加することができる。なお追加される仮想指１０６の連動状態は、動き連動：固定、接触連動：フリー等のデフォルトを設定してもよいし、追加操作を行なったときの仮想指１０３の連動状態と同じ連動状態であってもよい。このようにドロップダウンメニュー１０５から追加を選択することで仮想指１０６を追加できるので、操作者は容易に仮想指を増やすことが可能である。
　次に複数表示された仮想指を減らす操作に関して図１８を用いて説明する。操作者は図１８(ａ)で示す消去したい仮想指１０６の上に、図１８(ｂ)で示すように指１０２をホールドすると、図１８(ｃ)で示すように仮想指１０６に対するドロップダウンメニュー１０５を表示する。次に操作者は図１８(ｄ)のように指１０２を移動させて、削除を選択すると仮想指１０６を削除できる。削除後は図１８(ｅ)のようになる。
　全ての仮想指の表示を消す場合には、図１９(ｄ)に示すように、操作者は指１０２を移動させて、「終了」を選択すると、図１９(ｅ)に示すように、全ての仮想指が表示部４から消え、仮想指の機能を終了することができる。
　以上は仮想指の表示数を増減させるための操作であるが、これら以外にもドロップダウンメニューに機能を追加して実施することが可能である。例えば、無効／有効を追加することが考えられる。ここで無効は選択した仮想指を無効にする指示であり、画面に表示されていても仮想指の機能は無効にされ、タッチパネル部３に接触した状態にならなくなる。有効は無効にて無効にした仮想指を再度有効にする指示である。有効や無効を搭載することにより、仮想指のアプリケーションを終了しなくても、仮想指操作を停止することが可能になるので、短い時間に２本指操作機能の停止や再実行を行いたい場合に、わざわざ仮想指のアプリケーションの終了や再起動を行わなくて済み、利便性が向上する。
　以上説明した複数の仮想指の操作によって、電子機器１は表示部４に複数の仮想指を表示し利用することが可能になる。これによって、３本指以上の操作を必要とするアプリケーションであっても、操作者の指１本で操作可能になる。
　ここまで、仮想指を“指”の形で表示部４に表示してきたがこれに限定されるものではない。例えば、表示する仮想指を親指、人差し指のように変更したり、電子機器１にカメラを搭載し、カメラで撮像した自分の顔やペットなどの画像、通信部７で受信した画像に変更できるようにしたりしても良い。このようにすることで娯楽性を高めることも可能となる。
　また、仮想指を実現するプログラムは通信部７を通じてインターネットからダウンロードまたはバージョンアップできるようにしても良い。
　〔まとめ〕
　本発明の一態様に係る電子機器は、表示部と、前記表示部上に設けられたタッチパネル部と、前記表示部およびタッチパネル部の動作を制御する制御部（制御手段２）とを備えた電子機器であって、前記制御部は、前記タッチパネル部にタッチした操作者の指の位置および動きを検出し、指情報を出力する指検出部（指検出手段８）と、操作者の指示に基づいて、前記表示部に仮想指を表示するための仮想指表示情報を出力する仮想指表示部（仮想指制御手段１２）と、前記指検出部が検出した操作者の指の動きと、前記表示部に表示される仮想指の動きとの対応関係を、操作者の指の位置と仮想指の位置とに応じて格納した記憶部と、前記指検出部が検出した操作者の指の位置および動きと、前記記憶部が格納している前記対応関係とから、前記表示部に表示される前記仮想指の位置および動きに関する仮想指情報を出力する仮想指情報出力部（仮想指制御手段１２）と、前記指検出部が出力した指情報と、前記仮想指情報出力部が出力した仮想指情報とに基づいて、操作者による指操作の内容を判定する指操作判定部（指操作判定手段９）とを備えている。
　また、本発明の一態様に係る電子機器の制御方法は、表示部と、前記表示部上に設けられたタッチパネル部と、前記表示部およびタッチパネル部の動作を制御する制御部（制御手段２）とを備えた電子機器の制御方法であって、前記タッチパネル部にタッチした操作者の指の位置および動きを検出し、指情報を出力する指検出ステップと、操作者の指示に基づいて、前記表示部に仮想指を表示するための仮想指表示情報を出力する仮想指表示ステップと、前記指検出ステップにて検出された操作者の指の動きと、前記表示部に表示する仮想指の動きとの対応関係を、操作者の指の位置と仮想指の位置とに応じて格納している記憶部における当該対応関係と、前記指検出ステップにて検出された操作者の指の位置および動きとから、前記表示部に表示する前記仮想指の位置および動きに関する仮想指情報を出力する仮想指情報出力ステップと、前記指検出ステップにて出力された指情報と、前記仮想指情報出力ステップにて出力された仮想指情報とに基づいて、操作者による指操作の内容を判定する指操作判定ステップとを含む。
　上記構成および方法によれば、操作者は１本指で２本指特有のアプリケーション操作をすることができる。
　さらに、本発明の一態様に係る電子機器は、前記記憶部の格納している、前記タッチパネル部上の操作者の指の動きと仮想指の動きとの対応関係が、操作者の指の位置と、仮想指の位置とが重ならない場合に、操作者の指が前記タッチパネル部上に接触しつつ移動する際に、仮想指が操作者の指の動きに連動しない固定モードと、仮想指が操作者の指の動きに対して同じ方向に平行移動する追尾モードと、仮想指が操作者の指の動きに対して逆の方向に平行移動する鏡面モードとの３種類の動き連動モードと、さらに、前記タッチパネル部上の操作者の指の接触／非接触に連動して、仮想指が操作者の指の接触に連動して接触／非接触するフリーモードと、仮想指が操作者の指の接触に関係なく接触状態を維持するホールドモードとの２種類の接触連動モードと、を組合せた計６種類の対応関係であり、前記タッチパネル部を介したユーザの入力に応じて、前記記憶部が格納している前記計６種類の対応関係のうちの１つの対応関係を、前記仮想指情報出力部（仮想指制御手段１２）が仮想指情報を出力する際に参照する対応関係としてもよい。
　上記の構成によれば、操作者は１本指で、複数種類の２本指特有のアプリケーション操作をすることができる。
　さらに、本発明の一態様に係る電子機器は、前記指検出部（指検出手段８）が出力した指情報と、前記仮想指情報出力部（仮想指制御手段１２）が出力した仮想指情報とに基づいて、前記指操作判定部（指操作判定手段９）は、仮想指の表示位置への操作者の指のタップを検出すると、前記仮想指情報出力部が仮想指情報を出力する際に参照する対応関係のうちの前記動き連動モードを変更する指操作であると判定し、前記指操作判定部は、仮想指の表示位置への操作者の指のダブルタップを検出すると、前記仮想指情報出力部が仮想指情報を出力する際に参照する対応関係のうちの前記接触連動モードを変更する指操作であると判定してもよい。
　上記の構成によれば、操作者は複数種類の仮想指の動きと接触／非接触とを、容易に切り替えることができる。
　さらに、本発明の一態様に係る電子機器は、前記指検出部（指検出手段８）が出力した指情報と、前記仮想指情報出力部（仮想指制御手段１２）が出力した仮想指情報とに基づいて、前記指操作判定部（指操作判定手段９）は、仮想指の表示位置への操作者の指のホールドを検出すると、仮想指の個数を変える指操作であると判定してもよい。
　上記の構成によれば、操作者は、３本指以上の操作を必要とするアプリケーションであっても、操作者の指１本で操作可能になり、また、複数指特有のアプリケーション操作をする際に用いる仮想指の数を、容易に増減させることができる。
　本発明の各態様に係る電子機器は、コンピュータによって実現してもよく、この場合には、コンピュータを上記電子機器が備える各手段として動作させることにより上記電子機器をコンピュータにて実現させる電子機器の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　なお図２２は、操作者の指の位置と仮想指の位置とに応じて記憶部が格納している、仮想指に関する処理の種類、および、指の動きと仮想指の動きとの対応関係の概要および詳細を、表形式で示す図である。
　図２２に示すように、仮想指の表示位置への、操作者の指のタップ、ダブルタップ、ホールドは、それぞれ、動き連動モード変更処理、接触連動モード変更処理、仮想指表示変更処理に関連付けられている。動き連動モード変更処理とは、図１０および図１１を用いて説明した処理であり、接触連動モード変更処理とは、図１２および図１３を用いて説明した処理である。また、仮想指表示変更処理とは図１６～図１９を用いて説明した、表示部に仮想指表示変更リストを表示して、仮想指の表示本数を変更したり、仮想指の無効／有効を切り替えたりする処理である。
　図２２にはさらに、仮想指の表示位置以外の位置への、操作者の指の接触が、仮想指の移動および接触／非接触に関連付けられていることが示されている。具体的には、仮想指の表示位置以外の位置への、操作者の指の接触を検出した場合には、仮想指は、選択されている動き連動モードおよび接触連動モードと、操作者の指の位置および動きとに応じて、移動／固定、接触／非接触が表示される。
　図２２の下側には、仮想指の表示位置以外の位置への操作者の指の接触があった場合に、仮想指の移動／固定、接触／非接触を決定する、３種類の動き連動モード（固定、追尾、鏡面）と、２種類の接触連動モード（フリー、ホールド）との組合せが示されている。なお、３種類の動き連動モードと２種類の接触連動モードとの詳細は前述したので、ここでは説明を省略する。
　図２３は、操作者の指の位置と仮想指の位置とに応じて、電子機器１が実行する処理が切り替わることを示すフロー図である。
　図２３に示すように、仮想指が表示されている状態で、指検出部（指検出手段８）がタッチパネル部への操作者の指の接触を検出すると（Ｓ１で「Ｙｅｓ」）、指検出部が出力する指情報と、仮想指情報出力部（仮想指制御手段１２）が出力する仮想指情報とに基づいて、指操作判定部（指操作判定手段９）は、操作者の指の接触があったのが、仮想指の表示位置であるか否かを確認する（Ｓ２）。
　指操作判定部（指操作判定手段９）は、仮想指の表示位置への操作者の指の接触があったと判定する（Ｓ２で「Ｙｅｓ」）と、さらに、指検出部が出力する指情報に基づいて、当該操作者の指の接触がタップ、ダブルタップ、ホールドのいずれであったかを検出する（Ｓ３）。
　指操作判定部は、仮想指の表示位置への操作者の指のタップを検出する（Ｓ３で「タップ」）と、図２２に示す、記憶部に格納されている操作者の指の位置と仮想指の位置とに対応する処理種類に従って、動き連動モード変更処理の指示があったと判定する。そして、指操作判定部は上記判定結果を指操作処理手段１０へと出力し、指操作処理手段１０は動き連動モード変更処理を実行する（Ｓ５）。
　指操作判定部は、仮想指の表示位置への操作者の指のダブルタップを検出する（Ｓ３で「ダブルタップ」）と、接触連動モード変更処理の指示があったと判定する。そして、指操作判定部は上記判定結果を指操作処理手段１０へと出力し、指操作処理手段１０は接触連動モード変更処理を実行する（Ｓ６）。
　指操作判定部は、仮想指の表示位置への操作者の指のホールドを検出する（Ｓ３で「ホールド」）と、仮想指表示変更処理の指示があったと判定する。そして、指操作判定部は上記判定結果を指操作処理手段１０へと出力し、指操作処理手段１０は仮想指表示変更処理を実行する。具体的には、指操作処理手段１０は、表示制御手段１１に、表示部に仮想指表示変更リストを表示するよう指示する（Ｓ７）。
　指操作判定部（指操作判定手段９）は、仮想指の表示位置以外の位置に操作者の指の接触があったと判定する（Ｓ２で「Ｎｏ」）と、当該判定結果を、仮想指情報出力部（仮想指制御手段１２）に通知する。仮想指情報出力部は、指検出部（指検出手段８）が検出した操作者の指の位置および動きと、図２２の下側に示す、記憶部が格納している操作者の指の動きと仮想指の動きとの対応関係とから、表示部に表示される仮想指の位置および動きに関する仮想指情報を出力する。
　なお、指操作判定部（指操作判定手段９）による、仮想指情報出力部への、仮想指の表示位置以外の位置に操作者の指の接触があったとの判定結果の通知は必須ではない。仮想指情報出力部は、指検出部が出力する指情報と、仮想指表示部（仮想指制御手段１２）が出力する仮想指表示情報とから、仮想指の表示位置以外の位置に操作者の指の接触があったと自ら判定（Ｓ２で「Ｎｏ」）し、選択されているモードと、指検出部が出力する指情報とから仮想指情報を出力してもよい（Ｓ４）。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　〔ソフトウェアによる実現例〕
　最後に、電子機器１の各ブロック（特に制御手段２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、電子機器１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本発明に係る電子機器、電子機器の操作方法及びプログラムは、２本指で操作を行うあらゆる電子機器のユーザインターフェースに適用することが可能である。
　１　　電子機器
　２　　制御手段
　３　　タッチパネル部
　４　　表示部
　５　　マイク
　６　　記憶部
　７　　通信部
　８　　指検出手段
　９　　指操作判定手段
　１０　指操作処理手段
　１１　表示制御手段
　１２　仮想指制御手段

Claims (15)

  1. 　表示手段と、
    　前記表示手段に設けたタッチパネル手段と、
    　前記タッチパネル手段を制御する制御手段と、を有する電子機器であって、
    　前記制御手段は、仮想指を用いた入力を行うための仮想指制御手段を備えたことを特徴とする電子機器。
  2. 　前記制御手段は、
    　前記表示手段を表示制御するための表示制御手段をさらに備え、
    　前記表示制御手段は、前記仮想指制御手段からの信号に基づいて、前記表示手段に仮想指を表示することを特徴とする請求項１に記載の電子機器。
  3. 　前記制御手段は、
    　前記タッチパネル手段の接触を検出する指検出手段と、
    　前記指検出手段及び前記仮想指制御手段からの出力に基づいて操作信号を出力する指操作判定手段をさらに備えることを特徴とする請求項１または２に記載の電子機器。
  4. 　前記仮想指制御手段は、前記指検出手段が検出した動き情報に基づいて、前記仮想指の動き情報を出力することを特徴とする請求項３に記載の電子機器。
  5. 　前記仮想指制御手段は、仮想指の動きを指検出手段からの動き情報と連動して切り替えることを特徴とする請求項４に記載の電子機器。
  6. 　前記仮想指の動きと指検出手段からの動き情報との連動の切り替えは、前記表示手段に表示された仮想指をタップまたはダブルタップされることによって切り替えることを特徴とする請求項５に記載の電子機器。
  7. 　前記仮想指制御手段は、仮想指を追加または削除することを特徴とする請求項１から６のいずれか１項に記載の電子機器。
  8. 　タッチパネル入力可能な電子機器に、仮想指の制御と表示機能を追加することを特徴とする仮想指プログラム。
  9. 　表示部と、
    　前記表示部上に設けられたタッチパネル部と、
    　前記表示部およびタッチパネル部の動作を制御する制御部と
    を備えた電子機器であって、
    　前記制御部は、
    　前記タッチパネル部にタッチした操作者の指の位置および動きを検出し、指情報を出力する指検出部と、
    　操作者の指示に基づいて、前記表示部に仮想指を表示するための仮想指表示情報を出力する仮想指表示部と、
    　前記指検出部が検出した操作者の指の動きと、前記表示部に表示される仮想指の動きとの対応関係を、操作者の指の位置と仮想指の位置とに応じて格納した記憶部と、
    　前記指検出部が検出した操作者の指の位置および動きと、前記記憶部が格納している前記対応関係とから、前記表示部に表示される前記仮想指の位置および動きに関する仮想指情報を出力する仮想指情報出力部と、
    　前記指検出部が出力した指情報と、前記仮想指情報出力部が出力した仮想指情報とに基づいて、操作者による指操作の内容を判定する指操作判定部と
    を備えたことを特徴とする電子機器。
  10. 　前記記憶部が格納している、前記タッチパネル部上の操作者の指の動きと仮想指の動きとの対応関係は、操作者の指の位置と、仮想指の位置とが重ならない場合に、
    　操作者の指が前記タッチパネル部上に接触しつつ移動する際に、
    　仮想指が操作者の指の動きに連動しない固定モードと、
    　仮想指が操作者の指の動きに対して同じ方向に平行移動する追尾モードと、
    　仮想指が操作者の指の動きに対して逆の方向に平行移動する鏡面モードと
    の３種類の動き連動モードと、
    　さらに、前記タッチパネル部上の操作者の指の接触／非接触に連動して、
    　仮想指が操作者の指の接触に連動して接触／非接触するフリーモードと、
    　仮想指が操作者の指の接触に関係なく接触状態を維持するホールドモードと
    の２種類の接触連動モードと、を組合せた計６種類の対応関係であり、
    　前記タッチパネル部を介したユーザの入力に応じて、前記記憶部が格納している前記計６種類の対応関係のうちの１つの対応関係を、前記仮想指情報出力部が仮想指情報を出力する際に参照する対応関係とする
    ことを特徴とする請求項９に記載の電子機器。
  11. 　前記指検出部が出力した指情報と、前記仮想指情報出力部が出力した仮想指情報とに基づいて、
    　前記指操作判定部は、仮想指の表示位置への操作者の指のタップを検出すると、前記仮想指情報出力部が仮想指情報を出力する際に参照する対応関係のうちの前記動き連動モードを変更する指操作であると判定し、
    　前記指操作判定部は、仮想指の表示位置への操作者の指のダブルタップを検出すると、前記仮想指情報出力部が仮想指情報を出力する際に参照する対応関係のうちの前記接触連動モードを変更する指操作であると判定する
    ことを特徴とする請求項１０に記載の電子機器。
  12. 　前記指検出部が出力した指情報と、前記仮想指情報出力部が出力した仮想指情報とに基づいて、
    　前記指操作判定部は、仮想指の表示位置への操作者の指のホールドを検出すると、仮想指の個数を変える指操作であると判定する
    ことを特徴とする請求項９から１１のいずれか１項に記載の電子機器。
  13. 　請求項１から７のいずれか１項に記載の電子機器が備えた上記制御手段として、あるいは、請求項９から１２のいずれか１項に記載の電子機器が備えた上記制御部として、コンピュータを機能させることを特徴とする電子機器の制御プログラム。
  14. 　請求項１３に記載の電子機器の制御プログラムを格納したコンピュータ読取可能な記録媒体。
  15. 　表示部と、前記表示部上に設けられたタッチパネル部と、前記表示部およびタッチパネル部の動作を制御する制御部とを備えた電子機器の制御方法であって、
    　前記タッチパネル部にタッチした操作者の指の位置および動きを検出し、指情報を出力する指検出ステップと、
    　操作者の指示に基づいて、前記表示部に仮想指を表示するための仮想指表示情報を出力する仮想指表示ステップと、
    　前記指検出ステップにて検出された操作者の指の動きと、前記表示部に表示する仮想指の動きとの対応関係を、操作者の指の位置と仮想指の位置とに応じて格納している記憶部における当該対応関係と、前記指検出ステップにて検出された操作者の指の位置および動きとから、前記表示部に表示する前記仮想指の位置および動きに関する仮想指情報を出力する仮想指情報出力ステップと、
    　前記指検出ステップにて出力された指情報と、前記仮想指情報出力ステップにて出力された仮想指情報とに基づいて、操作者による指操作の内容を判定する指操作判定ステップと
    を含むことを特徴とする電子機器の制御方法。
PCT/JP2012/080178 2011-11-25 2012-11-21 電子機器、電子機器の操作方法及びプログラム WO2013077359A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-257003 2011-11-25
JP2011257003 2011-11-25

Publications (1)

Publication Number Publication Date
WO2013077359A1 true WO2013077359A1 (ja) 2013-05-30

Family

ID=48469801

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/080178 WO2013077359A1 (ja) 2011-11-25 2012-11-21 電子機器、電子機器の操作方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2013077359A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182420A (ja) * 2013-03-18 2014-09-29 Casio Comput Co Ltd 情報処理装置及びプログラム
JP5796695B2 (ja) * 2013-09-27 2015-10-21 株式会社村田製作所 タッチ式入力装置
JP2016024580A (ja) * 2014-07-18 2016-02-08 富士通株式会社 情報処理装置、入力制御方法、および入力制御プログラム
CN106295420A (zh) * 2015-06-09 2017-01-04 联想(北京)有限公司 一种信息处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259237A (ja) * 1998-03-12 1999-09-24 Ricoh Co Ltd 画像表示装置
JP2010067178A (ja) * 2008-09-12 2010-03-25 Leading Edge Design:Kk 複数点入力可能な入力装置及び複数点入力による入力方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259237A (ja) * 1998-03-12 1999-09-24 Ricoh Co Ltd 画像表示装置
JP2010067178A (ja) * 2008-09-12 2010-03-25 Leading Edge Design:Kk 複数点入力可能な入力装置及び複数点入力による入力方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182420A (ja) * 2013-03-18 2014-09-29 Casio Comput Co Ltd 情報処理装置及びプログラム
JP5796695B2 (ja) * 2013-09-27 2015-10-21 株式会社村田製作所 タッチ式入力装置
JPWO2015046287A1 (ja) * 2013-09-27 2017-03-09 株式会社村田製作所 タッチ式入力装置
JP2016024580A (ja) * 2014-07-18 2016-02-08 富士通株式会社 情報処理装置、入力制御方法、および入力制御プログラム
CN106295420A (zh) * 2015-06-09 2017-01-04 联想(北京)有限公司 一种信息处理方法及装置

Similar Documents

Publication Publication Date Title
JP5363259B2 (ja) 画像表示装置、画像表示方法およびプログラム
JP5759660B2 (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
JP5174372B2 (ja) 機能アイコンの表示システム及び方法
EP2835731B1 (en) Image display apparatus, image display method, and image display program
JP5906984B2 (ja) 表示端末装置及びプログラム
TWI384394B (zh) 操作使用者介面的方法
JP5718042B2 (ja) タッチ入力処理装置、情報処理装置およびタッチ入力制御方法
WO2014024277A1 (ja) 携帯電子機器、その制御方法及びプログラム
JP2015215907A (ja) モーション基盤のユーザインターフェース制御装置及び方法
JP2014203183A (ja) 情報処理装置及びプログラム
JP6184053B2 (ja) 情報端末、表示制御方法、およびプログラム
JP2013117885A (ja) 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
WO2016114269A1 (ja) 情報処理装置およびその制御方法
JP5729756B2 (ja) 携帯電子機器、その制御方法及びプログラム
WO2013077359A1 (ja) 電子機器、電子機器の操作方法及びプログラム
JP6575081B2 (ja) 表示装置、画像処理装置及びプログラム
US9910560B2 (en) Electronic apparatus and menu displaying method
JP5926968B2 (ja) 表示装置及び表示方法、プログラム
JP6183820B2 (ja) 端末、及び端末制御方法
WO2013171934A1 (ja) 表示装置、表示制御方法、および非一時的なコンピュータ可読媒体
JP2018139158A (ja) 携帯端末及びプログラム
KR20200011538A (ko) 유아이 조절 방법 및 이를 사용하는 사용자 단말기
JP2014203202A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6253861B1 (ja) タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
JP6213597B2 (ja) 表示制御装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12851235

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12851235

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP