WO2010032354A1 - 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム - Google Patents

画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム Download PDF

Info

Publication number
WO2010032354A1
WO2010032354A1 PCT/JP2009/003139 JP2009003139W WO2010032354A1 WO 2010032354 A1 WO2010032354 A1 WO 2010032354A1 JP 2009003139 W JP2009003139 W JP 2009003139W WO 2010032354 A1 WO2010032354 A1 WO 2010032354A1
Authority
WO
WIPO (PCT)
Prior art keywords
outside
image object
touch position
cursor
contact body
Prior art date
Application number
PCT/JP2009/003139
Other languages
English (en)
French (fr)
Inventor
仙田修司
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/063,690 priority Critical patent/US20110163988A1/en
Priority to JP2010529581A priority patent/JPWO2010032354A1/ja
Publication of WO2010032354A1 publication Critical patent/WO2010032354A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Definitions

  • the present invention relates to an image object control system, an image object control method, and an image object control program for controlling a displayed image object when an operation on a touch sensor is performed with a pen or a finger.
  • the GUI Graphic User Interface
  • the button can be pressed, or when the slider displayed as the GUI component is dragged, the slider value can be changed.
  • Patent Document 1 describes a touch control method for a cursor position that can move the cursor position with a pointer such as a finger.
  • a pointer such as a finger touches the screen
  • the cursor position is updated to a position corresponding to the contact point of the pointer.
  • a device called a touch pad for realizing the same operation as a mouse with a finger is also known.
  • notebook personal computers often have a touchpad. When a finger is slid on a touch pad provided at a position different from the display panel, the cursor can be moved according to the amount of sliding, and the same movement as relative coordinate movement with a mouse can be performed. .
  • a touch panel or the like whose position can be specified with a pen or a finger has a configuration in which, for example, a touch sensor is provided on a display panel such as a liquid crystal display panel, and the display panel and the touch sensor are integrated. Accordingly, for example, an image object such as a cursor is displayed on the display panel, but a pen or a finger comes into contact with the upper touch sensor. For this reason, it is difficult for the user to accurately specify a desired position due to the parallax between the display panel surface and the touch sensor surface.
  • GUI component In order to prevent such a problem, it is necessary to display a GUI component in a large size so that a desired position can be easily touched. However, when the display area is limited, the GUI component may be displayed in a large size. Have difficulty.
  • an object of the present invention is to provide an image object control system, an image object control method, and an image object control program capable of performing an accurate operation on an image object with a contact body such as a pen or a finger.
  • the touch position of the contact body is determined with respect to the inside / outside determination target area which is an area determined with respect to the display position of the image object and is a target of the inside / outside determination of the touch position of the contact body.
  • An inside / outside determination means for determining whether it is located outside or inside, and a signal that generates a signal representing the operation of the image object when it is determined that the touch position of the contact body is outside the area to be judged inside / outside Generating means.
  • the touch position of the contact body is determined with respect to the inside / outside determination target area which is an area determined with respect to the display position of the image object and is a target of the inside / outside determination of the touch position of the contact body. It is determined whether it is located on the outside or the inside, and when it is determined that the touch position of the contact body is outside the inside / outside determination target region, a signal representing the operation of the image object is generated. To do.
  • the image object control program allows a computer to store an inside / outside determination target area, which is an area determined with respect to a display position of an image object and is a target of an inside / outside determination of a touch position of the contact body.
  • An inside / outside determination process for determining whether the touch position is located outside or inside, and a signal representing an operation of the image object when it is determined that the touch position of the contact body is outside the inside / outside determination target area It is characterized in that a signal generation process for generating is performed.
  • an accurate operation on an image object can be performed with a contact body such as a pen or a finger.
  • an image object control system that displays a cursor as an image object and realizes an accurate operation on the cursor using a contact object will be described as an example.
  • a pen and a finger are illustrated and described as examples of the contact body used at the time of operation, but a contact body other than the pen and the finger may be used.
  • FIG. 1 is a block diagram showing a configuration example of an image object control system in Embodiment 1 of the present invention.
  • the image object control system 1 of the present invention includes an event generation unit 11, a cursor inside / outside determination unit 12, a cursor drawing unit 13, a state storage unit 14, a touch sensor 15, and a display panel 16.
  • application execution means 17 that performs processing according to an application program (hereinafter simply referred to as an application) is provided.
  • the processing content of the application is not particularly limited.
  • the display panel 16 is a display device that displays an image to be displayed as the application is executed, a cursor, and the like.
  • the touch sensor 15 is a device that is arranged on the upper surface of the display panel 16 and outputs the coordinates of the touch position to the cursor inside / outside determination unit 12 and the event generation unit 11 when touched with a pen or a finger.
  • the touch sensor 15 is transparent, and even if the touch sensor 15 is arranged on the upper surface of the display panel 16, the user can visually recognize the position of the cursor or the like displayed on the display panel 16.
  • the cursor drawing means 13 displays the cursor on the display panel 16 and determines an inside / outside determination target area according to the display position of the cursor.
  • the inside / outside determination target area is an area that is determined with respect to the display position of the image object (cursor in the present embodiment), and is an area that is a target for the inside / outside determination of the touch position of the pen or finger.
  • the cursor is a cursor having a size that allows the outer edge to be viewed.
  • the cursor drawing unit 13 may display the cursor as a circle having a certain size.
  • an area surrounded by the outer edge of the cursor is set as an inner / outer determination target area
  • Displaying the outer edge of the cursor so as to be visible and setting the area surrounded by the outer edge as the inside / outside determination target area means that the inside / outside determination target area is displayed so that the outer edge of the inside / outside determination target area is visible.
  • the outer edge of the cursor does not have to match the outer edge of the inner / outer determination area.
  • the cursor drawing means 13 can visually recognize other image objects inside the outer edge when displaying a graphic with the outer edge visible so as to be visible on the display panel 16 as in the present embodiment. Display the cursor on. For example, only the outer edge may be displayed, or the area surrounded by the outer edge may be displayed as semi-transmissive.
  • the cursor inside / outside determination unit 12 determines that the touch position is the inside / outside determination target region (cursor in this embodiment). It is determined whether it is located outside or inside the region surrounded by the outer edge.
  • the internal / external determination result of the touch position of the pen or the finger with respect to the internal / external determination target region is simply referred to as an internal / external determination result.
  • the event generation means 11 generates different events depending on whether the touch position is outside or inside the inside / outside determination target area. More specifically, the event generation unit 11 generates an event according to the internal / external determination result determined by the cursor internal / external determination unit 12 and the state of an operation performed with a pen or a finger on the displayed cursor. To do.
  • An event is a signal representing an operation of an image object (cursor in this embodiment), and is output to the application execution unit 17. When an event (signal) is generated, the application execution unit 17 executes processing corresponding to the event.
  • the event generation unit 11 stores the processing state of the image object control system 1 in the state storage unit 14.
  • Examples of the processing state of the image object control system 1 include an initial state in which no touch with a pen or a finger is performed, various states in which an event is determined according to an inside / outside determination result and an operation performed on the displayed cursor, There are various states (a “drag” state and a “relative move” state, which will be described later) indicating that the cursor is moved.
  • the state storage unit 14 is a storage device that stores the processing state of the image object control system 1.
  • the cursor drawing unit 13, the cursor inside / outside determination unit 12, and the event generation unit 11 are realized by a CPU that operates according to a program (image object control program), for example.
  • the application execution means 17 is also realized by a CPU that operates according to the application.
  • the image object control program and the application may be stored in a program storage device (not shown) provided in the image object control system 1. Then, the CPU may read the image object control program and application, operate as the cursor drawing unit 13, the cursor inside / outside determination unit 12 and the event generation unit 11 according to the image object control program, and operate as the application execution unit 17 according to the application. .
  • FIG. 2 is an explanatory diagram showing the transition of the processing state of the image object control system 1.
  • Each state 21 to 25 indicated by a rectangular block in FIG. 2 represents a processing state of the image object control system 1.
  • each ellipse illustrated in FIG. 2 represents an event (signal).
  • FIG. 3 is a flowchart showing an example of processing progress of the present embodiment.
  • FIG. 4 is a flowchart showing an example of step S2 (relative move / absolute move determination process) shown in FIG.
  • FIG. 5 is a flowchart showing an example of step S3 (click / drag determination process) shown in FIG.
  • the initial state 21 shown in FIG. 2 is a state in which the cursor drawing means 13 displays a cursor on the display panel 16 and waits for the pen to touch the touch sensor 15.
  • the event generation unit 11 stores the fact that it is the initial state 21 in the state storage unit 14.
  • the touch sensor 15 When the pen touches the touch sensor 15 in the initial state, the touch sensor 15 outputs the coordinates of the touch position to the event generation unit 11 and the cursor inside / outside determination unit 12.
  • the cursor inside / outside determination unit 12 waits for input of the coordinates of the touch position from the touch sensor 15 and inputs the coordinates of the touch position of the pen. Then, it is determined whether the touch position of the pen is located outside or inside the cursor inside / outside determination target region (step S1, see FIG. 3).
  • the inside / outside determination target area is determined by the cursor drawing unit 13 when the cursor drawing unit 13 displays the cursor. In this example, it is assumed that the cursor drawing unit 13 displays the outer periphery of a circle as a cursor, and a circular region surrounded by the outer periphery is used as an inner / outer determination target region.
  • the event generation means 11 refers to the inside / outside determination result, and when the touch position is outside the inside / outside determination target area, the relative move / absolute move determination state 22 (see FIG. 2). Is stored in the state storage means 14, and a relative move / absolute move determination process (step S2, see FIG. 3) is executed. As a result, a transition is made from the initial state 21 shown in FIG. 2 to the relative move / absolute move determination state 22.
  • the relative move / absolute move determination process is a process for determining whether the movement mode of the cursor is a relative move or an absolute move.
  • the relative move is a movement mode in which the cursor is moved in accordance with the movement of the touch position of the pen outside the inside / outside determination target region (in other words, the movement of the pen). That is, in the same manner as the change in the touch position starting from the touch position at the start of the pen touch, this is a movement mode in which the cursor is moved from the starting position, starting from the display position of the cursor in the initial state 21. Further, when moving the cursor according to the movement of the touch position, the cursor movement amount may be changed according to the acceleration of the movement of the touch position. FIG.
  • FIG. 6 is an explanatory diagram illustrating an example of a relative move.
  • the cursor 41 is displayed as shown in FIG. 6 and the pen 42 is touched outside the cursor 41 (outside the inside / outside determination target region) by the touch sensor 15.
  • the relative move the cursor 41 is moved along a trajectory 44 similar to the trajectory 43 of the touch position of the pen 42, starting from the display position of the cursor 41 in the initial state.
  • the movement amount of the cursor 41 may be changed according to the acceleration of the movement of the touch position.
  • the absolute move is a movement mode in which the position of the cursor is moved to the touch position of the pen.
  • FIG. 7 is an explanatory diagram showing an example of an absolute move.
  • the position 40 in FIG. 7 is the display position of the cursor in the initial state.
  • the cursor 41 is moved from the cursor position 40 in the initial state to the touch position of the pen 42.
  • the event generation means 11 determines whether or not the pen touch state has been released (step S21). That is, it is determined whether or not the pen is separated from the touch sensor 15. For example, if information indicating that the pen is not touching is input from the touch sensor 15, the event generation unit 11 determines that the pen has moved away from the touch sensor 15 (that is, the touch state has been released), and If the coordinates of the touch position of the pen are input from the touch sensor 15, it may be determined that the pen is not yet separated.
  • the event generation unit 11 determines whether or not the moving amount of the touch position from the touch position at the start of touching the pen is equal to or greater than a predetermined amount. (Step S22). If the amount of movement of the touch position is equal to or greater than the predetermined amount (Yes in step S22), the event generating unit 11 determines that the movement is a relative move, and an event that instructs the movement of the cursor in accordance with the movement of the touch position. Generate (step S23). Further, the event generation unit 11 stores information indicating that the relative move execution state 23 (see FIG. 2) is in the state storage unit 14.
  • step S24 when the pen leaves the touch sensor 15, the state storage unit 14 stores the fact that the pen is in the initial state, and returns to the initial state.
  • the event generating unit 11 determines whether or not a predetermined time has elapsed since the start of the pen touch (step S24). If a predetermined time has elapsed since the start of touching (Yes in step S24), the event generating unit 11 determines that an absolute move is to be performed, and generates an event instructing to move the cursor to the touch position (step). S25). In response to this event, the application execution means 17 performs processing associated with the cursor movement, and the cursor drawing means 13 moves the cursor to the pen touch position. Then, the event generation unit 11 stores the state in the initial state in the state storage unit 14 and returns to the initial state.
  • the event generating unit 11 repeats the processing after step S21. If the movement amount of the touch position remains less than the predetermined amount and the pen moves away from the touch sensor 15 before the predetermined time has elapsed from the start of touching the pen (Yes in step S21), the event generation unit 11 The move / absolute move determination process is terminated. Then, the event generation unit 11 stores the fact that it is in the initial state in the state storage unit 14 and returns to the initial state.
  • the above-mentioned predetermined amount is a threshold relating to the movement amount for the relative move / absolute move determination.
  • the predetermined time is a threshold value related to the time for determining the relative move / absolute move.
  • the predetermined amount and the predetermined time may be variable instead of fixed values. For example, the value may be changed according to an application executed by the application execution unit 17 or a nearby image object.
  • step S1 when the touch position is inside the inside / outside determination target area in step S1, the state storage means 14 stores that the click / drag determination state 24 (see FIG. 2), and click / drag determination processing (step S3, (See FIG. 3). As a result, the state shifts from the initial state 21 shown in FIG. 2 to the click / drag determination state 24.
  • the click / drag determination process is a process for determining whether the operation on the cursor is a drag operation or a click operation. Dragging is moving the image object while keeping the image object that is the operation target in a specific state (hereinafter referred to as a specific state).
  • the specific state may be a state indicating that it is not a simple cursor movement.
  • a range on the touch sensor 15 can be specified by dragging the cursor, and the user drags the cursor when moving the cursor for such specification.
  • the range specification is an example, and the cursor may be dragged for purposes other than the range specification.
  • the specific state corresponds to, for example, a state in which a button is clicked when a drag operation is performed with a mouse with a general button. In the present invention, it is determined whether a drag operation is performed from the touch position and the movement of the touch position without such a button operation.
  • the event generation means 11 first determines whether or not the pen touch state has been released (step S31). This determination may be performed in the same manner as in step S21 (see FIG. 4).
  • step S31 When it is determined in step S31 that the pen has moved away from the touch sensor 15 (Yes in step S31), the event generation unit 11 generates an event indicating a click at the cursor position (step S32). In response to this event, the application execution means 17 executes processing associated with the click at the cursor position, and the cursor drawing means 13 continues drawing the cursor at the same position. Further, the event generation unit 11 stores the fact that it is in the initial state in the state storage unit 14 and returns to the initial state.
  • the event generation unit 11 refers to the change in the coordinates of the pen touch position input from the touch sensor 15, and determines whether the pen touch position is inside or outside. It is determined whether it has moved to the outer edge of the target area and further moved to the outside of the inner / outer determination target area (step S33).
  • the event generation means 11 is in the drag execution state 25 (see FIG. 2). In response to the movement of the touch position, an event for instructing dragging is generated (step S34).
  • the event generation unit 11 stores in the state storage unit 14 that the drag execution state 25 is in effect.
  • the operation of generating an event instructing the drag is continued in accordance with the movement of the touch position.
  • the application execution means 17 performs a process associated with the drag of the cursor, and the cursor drawing means 13 moves the cursor in accordance with the movement of the pen touch position.
  • FIG. 8 is an explanatory diagram showing an example of dragging the cursor.
  • the event generation unit 11 does not generate an event instructing the movement of the cursor by the drag operation until the touch position reaches the outer periphery of the inside / outside determination region.
  • the event generation unit 11 generates an event instructing the movement of the cursor by the drag operation, and as a result, as shown in FIG.
  • the cursor 41 moves in accordance with the movement.
  • step S34 when the pen moves away from the touch sensor 15, the event generation unit 11 stores the state in the initial state in the state storage unit 14, and returns to the initial state.
  • step S33 if the touch position has not moved to the outside of the inside / outside determination target region (No in step S33), the process returns to step S31, and the event generation unit 11 repeats the processing after step S31.
  • the pen is touched outside the inside / outside determination target area (for example, the area surrounded by the outer periphery of the cursor), and the movement amount of the pen touch position is a predetermined amount (for relative move / absolute move determination).
  • the event generation unit 11 If the threshold value is greater than or equal to the threshold value, the event generation unit 11 generates an event that instructs the cursor to move in accordance with the movement of the touch position. For example, an event is generated that instructs to move the cursor along the same locus as the movement of the touch position, starting from the current display position of the cursor. Therefore, the cursor can be moved according to the movement of the pen outside the inside / outside determination target area.
  • the user can move the cursor by a pen operation in a wide area away from the cursor, it is easy to adjust the movement amount appropriately. As a result, an operation on the cursor (an operation for moving the cursor in this example) can be performed accurately. Also, since the cursor can be moved by performing a pen operation at a location away from the cursor, the vicinity of the cursor, which is the user's attention area, does not become difficult to see with the pen, and the operability for the user is improved.
  • the event generation unit 11 moves the cursor to the touch position of the pen. Generate an event indicating that. Therefore, the operation of moving the cursor to a distant position is realized only by a simple operation of touching the pen to a desired position and waiting for a predetermined time (that is, long-pressing the pen at the desired position). It is possible to relieve stress when moving the cursor to a distant position. In addition, the intuition of the operation of moving the cursor to a desired position can be improved.
  • the event generation unit 11 clicks at the cursor position. Generate an event that represents.
  • the event generation means 11 similarly generates this event regardless of the touch position as long as it is inside the inside / outside determination target region. Therefore, when the user wants to perform a click operation, the user may touch and release the pen inside the inside / outside determination target area. In this way, there is no restriction that only one limited extremely narrow point must be touched accurately, and the operability for the user can be improved. Further, the click can be realized by an intuitive operation of touching and releasing the pen within the range of the inside / outside determination target region, and the operation is easy to understand.
  • the event generation unit 11 determines the touch position.
  • An event that instructs dragging is generated in accordance with the movement. Therefore, the operation of dragging the cursor can be matched with the user's intuition.
  • the cursor movement is started by dragging. The difficulty of seeing near the cursor can be reduced.
  • the touchpad requires a separate button operation or special gesture to perform clicks and drags. I could not say.
  • clicking and dragging can be performed by an intuitive operation.
  • the cursor can be accurately operated by the relative move.
  • clicking, moving, dragging, and the like can be realized with intuitive and easy-to-understand operations. In this way, both the accuracy (accuracy) of the operation and the ease of understanding can be achieved.
  • the absolute move and the relative move may be performed while the drag is maintained. That is, even if the pen is released from the touch panel, the cursor may remain in a specific state and absolute move or relative move may be enabled as it is.
  • dragging is described as dragging even if the pen or finger is released from the touch panel.
  • step S34 In order to perform drag lock, when the event generating unit 11 generates a signal instructing dragging and enters the drag execution state by moving to step S34 in FIG. 5, the event generating unit 11 further performs dragging. Is generated, the drag lock flag is turned on, and the operation of step S34 described above may be performed. Even when the drag lock flag is on and the pen moves away from the touch sensor, the event generation unit 11 keeps the drag lock flag on and maintains the drag state.
  • step S21 when the drag lock flag is off is the same as the operation already described.
  • step S23 an event for instructing movement of the cursor in the specific state
  • step S25 an event for moving the cursor in the specific state to the touch position.
  • the cursor is moved along the pen trajectory outside the inside / outside determination target area (relative move) while maintaining the drag state of the cursor, or the cursor is moved to the touch position of the pen outside the inside / outside determination target area. Can be moved (absolute move).
  • the event generation unit 11 does not generate an event indicating that the cursor is clicked, but the event generation unit 11 , Change the drag lock flag off. That is, the event generation unit 11 touches the pen inside the inside / outside determination target area when the drag state of the cursor is maintained, and the pen touch position does not move outside the inside / outside determination target area.
  • the drag state of the cursor is released. Therefore, when the user wants to cancel the drag state of the cursor, the user may touch and release the pen inside the inside / outside determination target area.
  • the cursor drawing means 13 preferably changes the cursor display mode by changing the color of the cursor. In this case, the user can identify whether or not the cursor is being dragged by the display state of the cursor even when the pen or the like is separated from the touch sensor.
  • a drag lock can be realized. That is, even if the user releases the pen or the like from the cursor that was being dragged, the user can perform relative or absolute move on the cursor that is being dragged. Moreover, what is necessary is just to click the inside of the determination object area
  • the event generation means 11 is when the movement amount of the touch position from the touch position at the start of the pen touch is less than a predetermined amount, and when a predetermined time elapses after the pen touches the touch sensor 15 (Astruction).
  • the condition relating to the movement amount of the touch position for the absolute move may be “the movement amount of the touch position is 0”.
  • the event generation unit 11 determines whether or not the amount of movement of the touch position exceeds 0 in step S22. If the amount of movement of the touch position exceeds 0, the event generation unit 11 may proceed to step S23.
  • step S24 it is determined whether or not a predetermined time has elapsed from the start of the touch.
  • a predetermined time has elapsed from the start of the touch.
  • the process proceeds to step S25, and a signal instructing an absolute move may be generated. That is, when a predetermined time elapses without any change in the touch position, an event that instructs to move the cursor to the touch position may be generated.
  • the relative movement or the absolute movement may be determined based on the moving amount of the touch position without considering the time elapsed after the pen touches the touch sensor 15.
  • the phase is instructed in accordance with the movement of the touch position.
  • Generate an event (relative move).
  • the movement amount of the touch position is less than the predetermined amount (or 0)
  • the touch position is moved when the pen leaves the touch sensor 15 after the pen leaves the touch sensor 15.
  • an event for instructing cursor movement to the touch position is generated (absolute move).
  • the case where there is one type of event indicating a click is shown.
  • a plurality of click operations such as a left click and a right click are possible.
  • a plurality of types of events representing clicks may be generated.
  • the case where there are two types of clicks is taken as an example, and one is referred to as a first click and the other as a second click.
  • the first click corresponds to, for example, a left click in a mouse operation
  • the second click corresponds to, for example, a right click in a mouse operation.
  • FIG. 9 is a flowchart showing an example of click / drag determination when there are two types of clicks. Steps similar to those in FIG. 5 are denoted by the same reference numerals as those in FIG. 5 and detailed description thereof is omitted.
  • the event generation unit 11 performs the second click determination from the start of the pen touch. It is determined whether or not a predetermined time has elapsed (step S35). When a predetermined time for determining the second click has elapsed since the start of touching (Yes in step S35), an event representing the second click at the cursor position is generated (step S36).
  • the application execution unit 17 executes processing associated with the second click at the cursor position, and the cursor drawing unit 13 continues drawing the cursor at the same position. It can be said that the predetermined time for the second click determination is a second click determination time threshold. When the predetermined time for determining the second click has not elapsed since the start of touching (No in step S35), the event generating unit 11 repeats the processes in and after step S31.
  • event generation means 11 generates an event representing the first click at the cursor position. This process is the same as step S32 (see FIG. 5) already described.
  • the first click (equivalent to a left click) is assumed, and if the touch time with respect to the cursor is long, the second click is designated as a plurality of clicks. Can tell.
  • the event generation unit 11 when double-clicking, the user may repeat the operation of touching and releasing the pen twice within the inside / outside determination target range of the cursor. As a result, the event generation unit 11 generates an event representing a click at the same cursor position twice in succession.
  • the application execution means 17 may execute a process corresponding to a double click when an event representing a click at the same cursor position is generated within a time shorter than the time threshold for double click determination.
  • the event generation means 11 generates an event representing a double click at the cursor position when the interval from the transition to step S32 to the transition to step S32 again is shorter than the time threshold for double click determination. May be.
  • the touch position does not need to be exactly the same as long as the pen touch is within the inside / outside determination target range. Therefore, a double click can be easily realized.
  • the pen when the pen is separated from the touch sensor and touches the touch sensor again, the pen is not separated from the touch sensor if the time that the pen is separated from the touch sensor is shorter than the threshold for erroneous operation determination. May be determined.
  • the drag execution state 25 shown in FIG. 2 if the pen leaves the touch sensor and the pen touch with respect to the inside / outside determination target range is confirmed again within a time shorter than the threshold value for erroneous operation determination, the drag execution state 25 remains unchanged. May be continued without interruption. Then, in the drag execution state 25, even if the pen moves away from the touch sensor and the time for the erroneous operation determination threshold elapses, the initial state 21 may be returned if there is no pen touch again.
  • the cursor drawing means 13 may enlarge and display an image of the area surrounded by the outer periphery of the cursor.
  • FIG. 10 is an explanatory diagram illustrating an example in which an image of an area surrounded by the outer periphery of the cursor is enlarged and displayed.
  • FIG. 10 illustrates a case where numbers from “1” to “5” are displayed, and the cursor 41 is present at the position “3”.
  • the cursor drawing means 13 may enlarge and display “3” as shown in FIG.
  • the cursor drawing means 13 enlarges the number and displays “3” in the original size.
  • the cursor drawing unit 13 may stop displaying the cursor. That is, the cursor may be deleted from the display panel 16.
  • the cursor drawing unit 13 may display the cursor at the touch position.
  • the cursor can be erased from the display panel 16 to make the image on the display panel 16 easier to see. This effect is particularly great when the area of the display panel 16 is small and the cursor is conspicuous. Instead of erasing the cursor, the cursor may be deformed so that it is less noticeable, for example, by making the cursor smaller.
  • FIG. 11 is an explanatory diagram illustrating an example where the outer edge of the cursor does not match the outer edge of the inner / outer determination area.
  • the cursor drawing means 13 may display the cursor 41, and at that time, the inside / outside determination target area 51 larger than the cursor 41 may be determined as the inside / outside determination target area corresponding to the display position of the cursor 41.
  • the inside / outside determination target area 51 may be smaller than the cursor 41.
  • the cursor 41 is displayed, but the inside / outside determination target area 51 is not displayed.
  • the cursor does not have to be a figure with an outer edge surrounded.
  • FIG. 12 shows an example of a case where an “x” -shaped figure whose outer edge is not surrounded is used as a cursor. Even when such a figure is used as the cursor, the cursor drawing unit 13 determines the inside / outside determination target region 51 according to the display position of the cursor 41 when displaying the cursor 41 (see FIG. 12). However, in order to intuitively convey the inside / outside determination target region 51 to the user, it is preferable to use a figure surrounded by the outer edge as a cursor and to match the outer edge of the cursor 41 with the outer edge of the inside / outside determination target region 51.
  • FIG. 13 is an explanatory diagram illustrating a configuration example in a case where the image object control system includes a server and a terminal. Constituent elements similar to those shown in FIG. 1 are denoted by the same reference numerals as those in FIG.
  • a thin client (terminal) 62 includes a display panel 16 and a touch sensor 15, and a server 61 includes an event generation unit 11, a cursor inside / outside determination unit 12, a cursor drawing unit 13, and a state storage.
  • a configuration including means 14 and application execution means 17 may also be possible.
  • FIG. 14 is an explanatory diagram illustrating an example of images displayed by the server and the thin client.
  • the server displays an image including the cursor 63.
  • the thin client displays the same image as the server including the cursor 63.
  • the thin client displays a second cursor 64 for moving the cursor 63 displayed on the server side.
  • the second client 64 is displayed to be moved on the thin client side, and the server moves the cursor 63 in accordance with the movement of the second cursor 64 on the thin client side. May be.
  • the case where the pen touch is performed has been described as an example.
  • an operation of moving the cursor by touching the touch sensor with a finger instead of the pen may be performed.
  • the touch sensor may be touched with a contact body other than a pen or a finger to perform the operation. Even when a contact body other than a pen is used, the operation of the image object control system is the same as that when a pen is used.
  • the cursor has been described as an example of the image object.
  • an operation on the image object other than the cursor may be performed in the same manner as in the above-described embodiment and its modifications.
  • relative move, absolute move, click, and drag for the icon may be performed by the same method as described above.
  • FIG. 15 is a block diagram showing an outline of the present invention.
  • an outline of the image object control system will be described.
  • the image object control system 1 includes an inside / outside determination unit 71 and a signal generation unit 72 as shown in FIG.
  • the inside / outside determination means 71 (for example, the cursor inside / outside determination means 12) is an area that is determined with respect to the display position of the image object (for example, the cursor) and is an area to be determined for the inside / outside determination of the touch position of the contact object. For the area, it is determined whether the touch position of the contact body is located outside or inside.
  • the signal generation means 72 generates a signal (for example, an event) representing the operation of the image object when it is determined that the touch position of the contact body is outside the inside / outside determination target region.
  • the image object can be manipulated by the movement of the contact body within a wide area away from the image object, so that the image object can be manipulated accurately.
  • the operability can be improved since the vicinity of the image object that is the attention area of the user is not easily seen by the contact body, the operability can be improved.
  • the signal generation unit 72 determines that the touch position of the contact body is outside the inside / outside determination target region, the image object is moved as a signal indicating the operation of the image object.
  • a configuration for generating an instruction signal is disclosed.
  • the inside / outside determination unit 72 determines that the touch position of the contact body is outside the inside / outside determination target region and the touch position moves, the image is adjusted in accordance with the movement of the touch position.
  • a configuration for generating a signal instructing movement of an object is disclosed.
  • the inside / outside determination means determines that the image object is set to the display position of the image object when the touch position of the contact body is determined to be outside the inside / outside determination target area and the movement amount of the touch position is equal to or greater than a predetermined amount.
  • a signal for instructing movement along the same locus as the movement of the touch position is generated.
  • the operation of moving the image object can be performed by the movement of the contact body in a wide area away from the image object, it is easy to appropriately adjust the movement amount, and the image object can be moved to a desired position. Can be moved accurately.
  • the inside / outside determination unit 72 determines that the touch position of the contact body is outside the inside / outside determination target region, and the amount of movement of the touch position is less than a predetermined amount
  • the image object is displayed.
  • a configuration for generating a signal instructing movement to a touch position is disclosed. Further, the inside / outside determination unit 72 instructs to move the image object to the touch position when it is determined that the touch position of the contact body is outside the inside / outside determination target region and the movement amount of the touch position is 0.
  • a configuration for generating a signal is also disclosed. According to such a configuration, it is possible to eliminate stress when moving the image object to a distant position. Further, the image object can be moved to a desired position by an intuitive operation.
  • the signal generation unit 72 is a signal representing an operation of the image object when it is determined that the touch position of the contact body is inside the inside / outside determination target region
  • a configuration is disclosed in which a signal representing an operation different from when the touch position is determined to be outside the inside / outside determination target region is disclosed.
  • the signal generation unit 72 determines that the touch position of the contact body is inside the inside / outside determination target area, and the touch position of the contact body does not move outside the inside / outside determination target area.
  • a configuration is disclosed in which a signal representing a click is generated as a signal representing an operation of an image object when the touch state is released. According to such a configuration, it is only necessary to touch any position in the inside / outside determination target region, so that the operability for clicking can be improved. In addition, an intuitive click operation can be realized.
  • the signal generation unit 72 determines that the touch position of the contact body is inside the inside / outside determination target region, the touch position moves to the outer edge of the inside / outside determination region, and further outside the inside / outside determination region.
  • a configuration is disclosed in which a signal for instructing dragging of an image object is generated in accordance with the movement of the touch position when moving toward. According to such a configuration, an intuitive image object moving operation can be realized. In addition, it is possible to reduce the difficulty of seeing the vicinity of the image object due to the presence of the contact body immediately above the image object.
  • the signal generation unit 72 generates a signal for instructing dragging and generates a signal for maintaining the dragging, and then the touch position of the contact body is outside the inside / outside determination target region.
  • a configuration is disclosed that generates a signal instructing movement of the image object in accordance with the movement of the touch position while maintaining dragging of the image object.
  • the signal generation unit 72 generates a signal for instructing the drag and a signal for maintaining the drag, and then the touch position of the contact body is inside the inside / outside determination target region.
  • a configuration is disclosed in which dragging of the image object is released.
  • the user moves the contact object away from the image object that was being dragged, moves the contact object within a wide area away from the image object, and moves the image object while maintaining the drag state. Can be made.
  • the drag state can be easily released.
  • the above embodiment discloses a configuration including an inner / outer determination target region display unit (for example, the cursor drawing unit 13) that displays the inner / outer determination target region so that the outer edge of the inner / outer determination target region is visible. Yes.
  • the inside / outside determination target region can be presented to the user in an easily understandable manner.
  • the above-described image object control system is realized by incorporating an image object control program into a computer.
  • the image object control program On the computer,
  • the touch position of the contact body is located outside or inside the inside / outside judgment target area that is an area defined for the display position of the image object and is a target area for the inside / outside judgment of the touch position of the contact body.
  • Inside / outside determination processing to determine whether or not, and
  • the image object control program is On the computer, A program that, when it is determined that the touch position of the contact body is outside of the inside / outside determination target region, generates a signal instructing movement of the image object as a signal representing the operation of the image object in the signal generation processing. is there.
  • the image object control method is executed when the image object control system operates.
  • the image object control method is:
  • the touch position of the contact body is located outside or inside the inside / outside judgment target area that is an area defined for the display position of the image object and is a target area for the inside / outside judgment of the touch position of the contact body.
  • the image object control method generates a signal instructing the movement of the image object as a signal representing the operation of the image object when it is determined that the touch position of the contact body is outside the inside / outside determination target region. .
  • the present invention can be suitably applied to an image object control system that performs an operation on an image object such as a cursor.

Abstract

　内外判定手段７１は、画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する。信号生成手段７２は、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号を生成する。

Description

画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム
　本発明は、ペンまたは指によってタッチセンサ上での操作が行われたときに、表示されている画像オブジェクトを制御する画像オブジェクト制御システム、画像オブジェクト制御方法および画像オブジェクト制御プログラムに関する。
　ペン（スタイラス）や指で表示画面上の位置を直接指示可能なポインティングデバイスを用いることにより、表示パネル上に表示されたＧＵＩ（Graphical User Interface）を直感的に分かりやすく操作することができる。例えば、表示されているＧＵＩ部品がペンや指でタッチされると、ボタン押下としたり、ＧＵＩ部品として表示されたスライダがドラッグされるとスライダ値を変更したりすることができる。
　また、特許文献１には、指等のポインタでカーソル位置を移動させることができるカーソル位置のタッチ制御方法が記載されている。特許文献１に記載されたカーソル位置のタッチ制御方法では、指等のポインタがスクリーンにタッチされると、表示スクリーン上の接触点とカーソルとが一致したかどうかを判定する。そして、カーソルと接触点とが一致し、ポインタをスクリーンに接触させたまま移動させると、ポインタの接触点に対応する位置にカーソル位置を更新する。特許文献１に記載された方法により、カーソルを移動させる操作を直感的に行えるようにすることができる。
　また、マウスと同様の操作を指で実現するためのタッチパッドと呼ばれるデバイスも知られている。ノート型のパーソナルコンピュータは、タッチパッドを備えていることが多い。表示パネルとは別の位置に設けられたタッチパッド上で指をスライドさせると、スライド量に応じてカーソルを動かすことができ、マウスでの相対的な座標移動と同様の移動を行うことができる。
特開平７－１９１８０７号公報（段落０００６－００１２）
　しかしながら、特許文献１に記載された方法のように指等によって表示パネル上の位置を指定する操作では、マウス等の相対的な動きでカーソルの動きを規定する場合に比べて、ユーザが所望の位置を正確に指定することが困難であった。この理由として、以下のような理由が挙げられる。
　ペンや指で位置を指定することが可能なタッチパネル等は、例えば、液晶表示パネル等の表示パネル上にタッチセンサを設けて、表示パネルとタッチセンサとを一体化した構成となっている。従って、例えばカーソル等の画像オブジェクトは表示パネルに表示されるが、ペンや指はその上層のタッチセンサに接触する。そのため、表示パネル表面とタッチセンサ表面との視差により、ユーザは所望の位置を正確に指定することが困難であった。一方、予めキャリブレーションと呼ばれる補正操作を行うことで、ユーザが指定しようとする位置とペン等のタッチ位置とのずれを少なくすることができるが、上記の視差や、タッチセンサの安定性の問題により、ずれを完全になくすことはできない。
　また、特に、指で操作を行う場合には、指が太いために接触面積が大きくなり、どの位置を指し示しているのかが曖昧になってしまい、正確な位置指定や位置判定が困難となる。
　さらに、ペンや指で操作を行う場合、そのペンや指が邪魔になって表示パネルに表示された画像オブジェクトが見えにくくなり、操作がしにくくなってしまう。
　このように、ペンや指では、ユーザが所望の位置を正確に指定することが困難となっていた。そのため、例えば、表示パネルに表示されたウィンドウの角を指定してドラッグすることでウィンドウの大きさを変える等の操作を行う場合に、指やペンでウィンドウの角を指定する操作が行いにくくなってしまう。ここでは、ウィンドウの角を指定する操作を例に挙げたが、他の操作を行う場合にも、所望の位置を正確に指定することが困難であるという問題が生じる。
　また、どうしても正確な操作が要求される状況では、指ではなくペンを使うことで操作しやすくすることができるが、その場合にでも、視差によるずれが生じてしまっていた。
　このような問題を防ぐために、ＧＵＩ部品を大きく表示して所望の位置をタッチしやすくしたりする必要があったが、表示領域が制限されている場合には、ＧＵＩ部品を大きく表示することが困難である。
　そこで、本発明は、画像オブジェクトに対する正確な操作をペンまたは指等の接触体で行うことができる画像オブジェクト制御システム、画像オブジェクト制御方法および画像オブジェクト制御プログラムを提供することを目的とする。
　本発明による画像オブジェクト制御システムは、画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定手段と、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号を生成する信号生成手段と、を備えることを特徴とする。
　本発明による画像オブジェクト制御方法は、画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定し、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号を生成する、ことを特徴とする。
　本発明による画像オブジェクト制御プログラムは、コンピュータに、画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定処理、および、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号を生成する信号生成処理を実行させることを特徴とする。
　本発明によれば、画像オブジェクトに対する正確な操作をペンまたは指等の接触体で行
うことができる。
本発明の画像オブジェクト制御システムの構成例を示すブロック図である。 画像オブジェクト制御システムの処理状態の遷移を示す説明図である。 本実施形態の処理経過の例を示すフローチャートである。 相対ムーブ／絶対ムーブ判定処理の例を示すフローチャートである。 クリック／ドラッグ判定処理の例を示すフローチャートである。 相対ムーブの例を示す説明図である。 絶対ムーブの例を示す説明図である。 カーソルのドラッグの例を示す説明図である。 クリックの種類が２種類である場合のクリック／ドラッグ判定の例を示すフローチャートである。 カーソルの外周に囲まれた領域の画像を拡大表示した例を示す説明図である。 カーソルの外縁と内外判定領域の外縁とが一致していない場合の例を示す説明図である。 外縁が囲まれていない図形をカーソルとする場合の例を示す説明図である。 画像オブジェクト制御システムがサーバと端末とを備える場合の構成例を示す説明図である。 サーバおよびシンクライアントが表示する画像の例を示す説明図である。 本発明の概要を示すブロック図である。
　以下、本発明の実施形態を、図面を参照して説明する。以下の説明では、画像オブジェクトとしてカーソルを表示し、接触体を用いてカーソルに対する正確な操作を実現する画像オブジェクト制御システムを例にして説明する。また、以下の説明では、操作時に用いられる接触体の例として、ペンや指を例示して説明するが、ペンや指以外の接触体が用いられてもよい。
　＜実施形態１＞
　図１は、本発明の実施形態１における画像オブジェクト制御システムの構成例を示すブロック図である。本発明の画像オブジェクト制御システム１は、イベント生成手段１１と、カーソル内外判定手段１２と、カーソル描画手段１３と、状態記憶手段１４と、タッチセンサ１５と、表示パネル１６とを備える。
　また、画像オブジェクト制御システム１とともに、アプリケーションプログラム（以下、単にアプリケーションと記す。）に従って処理を行うアプリケーション実行手段１７が設けられる。アプリケーションの処理内容は特に限定されない。
　表示パネル１６は、アプリケーションの実行に伴って表示すべき画像や、カーソル等を表示する表示装置である。
　タッチセンサ１５は、表示パネル１６の上面に配置され、ペンや指でタッチされたときにそのタッチ位置の座標をカーソル内外判定手段１２およびイベント生成手段１１に出力する装置である。タッチセンサ１５は透明であり、タッチセンサ１５が表示パネル１６の上面に配置されても、表示パネル１６に表示されたカーソル等の位置をユーザは視認できる。
　カーソル描画手段１３は、カーソルを表示パネル１６に表示させるとともに、そのカーソルの表示位置に応じた内外判定対象領域を定める。内外判定対象領域は、画像オブジェクト（本実施形態ではカーソル）の表示位置に対して定められる領域であって、ペンや指のタッチ位置の内外判定の対象となる領域である。本実施形態では、カーソルが、外縁を視認可能に表示される大きさのあるカーソルである場合を例に説明する。例えば、カーソル描画手段１３は、一定の大きさの円としてカーソルを表示してもよい。また、本実施形態では、そのカーソルの外縁に囲まれた領域を内外判定対象領域とする場合を例にして説明する。カーソルの外縁を視認可能に表示し、その外縁に囲まれた領域を内外判定対象領域とするということは、内外判定対象領域の外縁が視認可能となるように内外判定対象領域を表示することを意味する。ただし、カーソルの外縁と内外判定領域の外縁とが一致していなくてもよい。また、カーソル描画手段１３は、本実施形態のように、外縁を視認可能に表示される図形をカーソルとして表示パネル１６に表示させる場合、外縁の内側にある他の画像オブジェクトを視認可能となるようにカーソルを表示させる。例えば、外縁のみを表示したり、外縁で囲まれる領域を半透過として表示したりすればよい。
　カーソル内外判定手段１２は、ペンや指がタッチセンサ１５にタッチされ、タッチセンサ１５からそのタッチ位置の情報（座標）が出力されると、そのタッチ位置が内外判定対象領域（本実施形態ではカーソルの外縁に囲まれた領域）の外側に位置するのか内側に位置するのかを判定する。内外判定対象領域に対するペンや指のタッチ位置の内外判定結果を以下、単に内外判定結果と記す。
　イベント生成手段１１は、タッチ位置が内外判定対象領域の外側であるか内側であるかによって、異なるイベントを生成する。より具体的には、イベント生成手段１１は、カーソル内外判定手段１２によって判定された内外判定結果と、表示されたカーソルに対してペンや指で行われる操作の状態とに応じて、イベントを生成する。イベントとは、画像オブジェクト（本実施形態ではカーソル）の操作を表す信号であり、アプリケーション実行手段１７に出力される。イベント（信号）が生成されると、アプリケーション実行手段１７は、そのイベントに応じた処理を実行する。
　また、イベント生成手段１１は、画像オブジェクト制御システム１の処理状態を状態記憶手段１４に記憶させる。画像オブジェクト制御システム１の処理状態の例として、ペンや指によるタッチが行われていない初期状態、内外判定結果と表示されたカーソルに対して行われる操作とに応じてイベントを判定する各種状態、カーソルを移動させていることを表す各種状態（後述の、「ドラッグ」状態や「相対ムーブ」状態）が挙げられる。
　状態記憶手段１４は、画像オブジェクト制御システム１の処理状態を記憶する記憶装置である。
　カーソル描画手段１３、カーソル内外判定手段１２およびイベント生成手段１１は、例えば、プログラム（画像オブジェクト制御プログラム）に従って動作するＣＰＵによって実現される。
　また、アプリケーション実行手段１７も、アプリケーションに従って動作するＣＰＵによって実現される。
　例えば、画像オブジェクト制御プログラムおよびアプリケーションが、画像オブジェクト制御システム１が備えるプログラム記憶装置（図示せず）に記憶されていてもよい。そして、ＣＰＵがその画像オブジェクト制御プログラムおよびアプリケーションを読み込み、画像オブジェクト制御プログラムに従ってカーソル描画手段１３、カーソル内外判定手段１２およびイベント生成手段１１として動作し、アプリケーションに従ってアプリケーション実行手段１７として動作してもよい。
　次に、動作について説明する。なお、以下の説明では、ペンをタッチセンサ１５にタッチさせて操作を行う場合を例にして説明するが、指をタッチセンサ１５にタッチさせる場合の動作も同様である。
　図２は、画像オブジェクト制御システム１の処理状態の遷移を示す説明図である。図２において四角形のブロックで示した各状態２１～２５は、それぞれ画像オブジェクト制御システム１の処理状態を表している。また、図２中に図示した各楕円は、それぞれイベント（信号）を表している。また、図３は、本実施形態の処理経過の例を示すフローチャートである。図４は、図３に示すステップＳ２（相対ムーブ／絶対ムーブ判定処理）の例を示すフローチャートである。図５は、図３に示すステップＳ３（クリック／ドラッグ判定処理）の例を示すフローチャートである。
　図２に示す初期状態２１は、カーソル描画手段１３が表示パネル１６にカーソルを表示させて、ペンがタッチセンサ１５にタッチされるのを待っている状態である。なお、初期状態２１である場合、イベント生成手段１１は、初期状態２１である旨を状態記憶手段１４に記憶させる。
　初期状態においてペンがタッチセンサ１５にタッチされると、タッチセンサ１５は、そのタッチ位置の座標をイベント生成手段１１およびカーソル内外判定手段１２に出力する。そして、カーソル内外判定手段１２は、状態記憶手段１４に記憶された状態が初期状態２１である場合、タッチセンサ１５からのタッチ位置の座標の入力を待ち、ペンのタッチ位置の座標が入力されると、ペンのタッチ位置がカーソルの内外判定対象領域の外側と内側のどちらに位置しているかを判定する（ステップＳ１、図３参照）。なお、内外判定対象領域は、カーソル描画手段１３がカーソルを表示させるときに、カーソル描画手段１３によって決められている。本例では、カーソル描画手段１３がカーソルとして円の外周を表示させ、その外周に囲まれた円形の領域を内外判定対象領域としているものとする。
　カーソル内外判定手段１２が内外判定を行うと、イベント生成手段１１は内外判定結果を参照し、タッチ位置が内外判定対象領域の外側である場合、相対ムーブ／絶対ムーブ判定状態２２（図２参照）である旨を状態記憶手段１４に記憶させ、相対ムーブ／絶対ムーブ判定処理（ステップＳ２、図３参照）を実行する。この結果、図２に示す初期状態２１から相対ムーブ／絶対ムーブ判定状態２２に移行することになる。
　相対ムーブ／絶対ムーブ判定処理は、カーソルの移動態様を相対ムーブとするか絶対ムーブとするかを判定する処理である。また、相対ムーブは、内外判定対象領域の外側におけるペンのタッチ位置の移動（換言すればペンの移動）に応じて、カーソルを移動させる移動態様である。すなわち、ペンタッチ開始時のタッチ位置を起点とするタッチ位置の変化と同様に、初期状態２１におけるカーソルの表示位置を起点として、その起点からカーソルを移動させる移動態様である。また、タッチ位置の移動に応じてカーソルを移動させるときに、タッチ位置の移動の加速度に応じてカーソル移動量を変化させてもよい。図６は、相対ムーブの例を示す説明図である。例えば、図６に示すようにカーソル４１が表示され、タッチセンサ１５において、カーソル４１の外側（内外判定対象領域の外側）にペン４２がタッチされたとする。相対ムーブでは、初期状態でのカーソル４１の表示位置を起点として、ペン４２のタッチ位置の移動の軌跡４３と同様の軌跡４４に沿って、カーソル４１を移動させる。また、上記のように、タッチ位置の移動の加速度に応じてカーソル４１の移動量を変化させてもよい。また、絶対ムーブは、カーソルの位置をペンのタッチ位置に移動させる移動態様である。図７は、絶対ムーブの例を示す説明図である。例えば、図７において位置４０は、初期状態におけるカーソルの表示位置である。図７に示すように、絶対ムーブでは、初期状態におけるカーソルの位置４０から、ペン４２のタッチ位置までカーソル４１を移動させる。
　図４を参照して相対ムーブ／絶対ムーブ判定処理の例を説明する。相対ムーブ／絶対ムーブ判定処理に移行した場合、ペンのタッチ位置は内外判定対象領域の外側である。イベント生成手段１１は、ペンのタッチ状態が解除となったか否かを判定する（ステップＳ２１）。すなわち、ペンがタッチセンサ１５から離れたか否かを判定する。イベント生成手段１１は、例えば、ペンがタッチしていないことを示す情報がタッチセンサ１５から入力されたならば、ペンがタッチセンサ１５から離れた（すなわちタッチ状態解除になった）と判定し、タッチセンサ１５からペンのタッチ位置の座標が入力されているならば、ペンが未だ離れていないと判定すればよい。
　ペンがタッチセンサ１５から離れていない場合（ステップＳ２１におけるＮｏ）、イベント生成手段１１は、ペンのタッチ開始時におけるタッチ位置からのタッチ位置の移動量が所定量以上であるか否かを判定する（ステップＳ２２）。タッチ位置の移動量が所定量以上であるならば（ステップＳ２２におけるＹｅｓ）、イベント生成手段１１は、相対ムーブであると判定し、タッチ位置の移動に合わせて、カーソルの移動を指示するイベントを生成する（ステップＳ２３）。また、イベント生成手段１１は、相対ムーブ実行状態２３（図２参照）である旨を表す情報を状態記憶手段１４に記憶させる。相対ムーブ実行状態２３である場合、タッチ位置の移動が継続している間、タッチ位置の移動に合わせて、カーソルの移動を指示するイベントを生成する動作を継続する。このイベントに応じて、アプリケーション実行手段１７はカーソル移動に伴う処理を行い、カーソル描画手段１３は、ペンのタッチ位置の移動に合わせてカーソルを移動させる。ステップＳ２４において、ペンがタッチセンサ１５から離れると、初期状態である旨を状態記憶手段１４に記憶させ、初期状態に戻る。
　タッチ位置の移動量が所定量未満であるならば（ステップＳ２２におけるＮｏ）、イベント生成手段１１は、ペンのタッチ開始時から所定時間経過しているか否かを判定する（ステップＳ２４）。タッチ開始時から所定時間経過しているならば（ステップＳ２４におけるＹｅｓ）、イベント生成手段１１は、絶対ムーブを行うと判定し、タッチ位置にカーソルを移動させることを指示するイベントを生成する（ステップＳ２５）。このイベントに応じて、アプリケーション実行手段１７はカーソル移動に伴う処理を行い、カーソル描画手段１３はペンのタッチ位置にカーソルを移動させる。そして、イベント生成手段１１は、初期状態である旨を状態記憶手段１４に記憶させ、初期状態に戻る。
　ペンのタッチ開始時から所定時間経過していない場合（ステップＳ２４におけるＮｏ）、イベント生成手段１１は、ステップＳ２１以降の処理を繰り返す。タッチ位置の移動量が所定量未満のままであり、ペンのタッチ開始時から所定時間経過する前に、ペンがタッチセンサ１５から離れた場合（ステップＳ２１におけるＹｅｓ）、イベント生成手段１１は、相対ムーブ／絶対ムーブ判定処理を終了する。そして、イベント生成手段１１は、初期状態である旨を状態記憶手段１４に記憶させて、初期状態に戻る。
　上記の所定量は、相対ムーブ／絶対ムーブ判定用の移動量に関する閾値であるということができる。また、上記の所定時間は、相対ムーブ／絶対ムーブ判定用の時間に関する閾値であるということができる。上記の所定量および所定時間（相対ムーブ／絶対ムーブ判定用の移動量、時間に関する閾値）は、固定値ではなく可変であってもよい。例えば、アプリケーション実行手段１７が実行するアプリケーションや、付近の画像オブジェクトに応じて値が変更されてもよい。
　また、ステップＳ１においてタッチ位置が内外判定対象領域の内側である場合、クリック／ドラッグ判定状態２４（図２参照）である旨を状態記憶手段１４に記憶させ、クリック／ドラッグ判定処理（ステップＳ３、図３参照）を実行する。この結果、図２に示す初期状態２１からクリック／ドラック判定状態２４に移行することになる。
　クリック／ドラッグ判定処理は、カーソルに対する操作がドラッグ操作であるか、クリック操作であるかを判定する処理である。ドラッグは、操作対象である画像オブジェクトを特定の状態（以下、特定状態と記す。）としながら画像オブジェクトを移動することである。特定状態は、単なるカーソルの移動ではないことを表す状態であればよい。カーソルのドラッグにより、例えば、タッチセンサ１５上の範囲を指定することができ、このような指定等のためにカーソルを移動させる場合に、ユーザはカーソルをドラッグする。ただし、範囲指定は一例であり、範囲指定以外の目的のためにカーソルをドラッグしてもよい。なお、特定状態は、例えば、一般的なボタン付きのマウスでドラッグ操作を行う場合におけるボタンをクリックした状態に相当する。本発明では、このようなボタン操作なしで、タッチ位置とそのタッチ位置の動きから、ドラッグ操作となるかを判定する。
　図５を参照して、クリック／ドラック判定処理の例を説明する。クリック／ドラック判定処理に移行した場合、ペンのタッチ位置は内外判定対象領域の内側である。イベント生成手段１１は、まず、ペンのタッチ状態が解除となったか否かを判定する（ステップＳ３１）。この判定は、ステップＳ２１（図４参照）と同様に行えばよい。
　ステップＳ３１においてペンがタッチセンサ１５から離れたと判定した場合（ステップＳ３１におけるＹｅｓ）、イベント生成手段１１は、カーソル位置におけるクリックを表すイベントを生成する（ステップＳ３２）。このイベントに応じて、アプリケーション実行手段１７はカーソル位置におけるクリックに伴う処理を実行し、カーソル描画手段１３は、同じ位置におけるカーソルの描画を継続する。また、イベント生成手段１１は、初期状態である旨を状態記憶手段１４に記憶させ、初期状態に戻る。
　ペンがタッチセンサ１５から離れていない場合（ステップＳ３１におけるＮｏ）、イベント生成手段１１は、タッチセンサ１５から入力されるペンのタッチ位置の座標の変化を参照して、ペンのタッチ位置が内外判定対象領域の外縁まで移動し、さらに内外判定対象領域の外側まで移動しているか否かを判定する（ステップＳ３３）。タッチ位置が内外判定対象領域の外縁まで移動し、さらに内外判定対象領域の外側まで移動している場合（ステップＳ３３におけるＹｅｓ）、イベント生成手段１１は、ドラッグ実行状態２５（図２参照）であると判定し、タッチ位置の移動に合わせて、ドラッグを指示するイベントを生成する（ステップＳ３４）。また、イベント生成手段１１は、ドラッグ実行状態２５である旨を状態記憶手段１４に記憶させる。ドラッグ実行状態２５である場合、タッチ位置の移動が継続している間、タッチ位置の移動に合わせて、ドラッグを指示するイベントを生成する動作を継続する。このイベントに応じて、アプリケーション実行手段１７はカーソルのドラッグに伴う処理を行い、カーソル描画手段１３は、ペンのタッチ位置の移動に合わせてカーソルを移動させる。
　図８は、カーソルのドラッグの例を示す説明図である。図８（ａ）に示すように、カーソル４１の外周の範囲内（すなわち、内外判定対象領域の内部）にペン４２がタッチされ、ステップＳ３３に移行したとする。この場合、図８（ｂ）に示すように、タッチ位置が内外判定領域の外周に達するまでは、イベント生成手段１１は、ドラッグ操作でのカーソルの移動を指示するイベントを生成しない。その後、タッチ位置が内外判定領域の外側に移動すると、イベント生成手段１１は、ドラッグ操作でのカーソルの移動を指示するイベントを生成し、その結果、図８（ｃ）に示すように、タッチ位置の移動に合わせてカーソル４１も移動する。
　ステップＳ３４において、ペンがタッチセンサ１５から離れると、イベント生成手段１１は、初期状態である旨を状態記憶手段１４に記憶させ、初期状態に戻る。
　また、ステップＳ３３においてタッチ位置が内外判定対象領域の外側まで移動していない場合（ステップＳ３３におけるＮｏ）、ステップＳ３１に戻り、イベント生成手段１１は、ステップＳ３１以降の処理を繰り返す。
　上記のクリック／ドラック判定処理により、内外判定対象領域の内側にペンがタッチされ、タッチ位置が内外判定対象領域の外縁まで移動し、さらに内外判定対象領域の外側まで移動したならば、ドラッグを指示するイベントを生成する。一方、ペンのタッチ位置が内外判定対象領域の外側まで移動することなくペンがタッチセンサ１５から離れたならば、クリックを表すイベントを生成する。
　本実施形態によれば、内外判定対象領域（例えば、カーソルの外周に囲まれた領域）の外側にペンがタッチされ、ペンのタッチ位置の移動量が所定量（相対ムーブ／絶対ムーブ判定用の移動量に関する閾値）以上となった場合、イベント生成手段１１が、タッチ位置の移動に合わせて、カーソルの移動を指示するイベントを生成する。例えば、カーソルの現在の表示位置を起点として、タッチ位置の移動と同一の軌跡で、カーソルを移動させることを指示するイベントを生成する。従って、内外判定対象領域の外側でのペンの動きに応じて、カーソルを移動させることができる。従って、ユーザは、カーソルから離れた広い領域でのペン操作によってカーソルを移動させることができるので、移動量を適切に調整しやすくなる。その結果、カーソルに対する操作（本例ではカーソルを移動させる操作）を正確に行うことができる。また、カーソルから離れた場所でのペン操作を行ってカーソルを動かすことができるので、ユーザの注目領域であるカーソルの近辺がペンによって見えにくくなるということがなく、ユーザの操作性が向上する。
　また、内外判定対象領域の外側にペンがタッチされ、ペンのタッチ位置の移動量が所定量未満のまま、所定時間が経過した場合、イベント生成手段１１は、ペンのタッチ位置にカーソルを移動させることを指示するイベントを生成する。従って、離れた位置にカーソルを移動させる操作を、所望の位置にペンをタッチしてそのまま所定時間の経過を待つ（すなわち、所望の位置でペンを長押しする）という簡単な操作だけで実現することができ、離れた位置にカーソルを移動させる際のストレスを解消することができる。また、所望の位置にカーソルを移動させるという操作の直感性を向上させることができる。
　また、内外判定対象領域の内側にペンがタッチされ、ペンのタッチ位置が内外判定対象領域の外側まで移動することなくペンがタッチセンサ１５から離れた場合、イベント生成手段１１は、カーソル位置におけるクリックを表すイベントを生成する。イベント生成手段１１は、内外判定対象領域の内側であればタッチ位置がどの位置であっても同様に、このイベントを生成する。従って、ユーザは、クリック操作を行いたい場合、内外判定対象領域の内側にペンをタッチさせて離せばよい。このように、ある限られた極狭い一点のみを正確にタッチしなければならない等の制約がなく、ユーザの操作性を向上させることができる。また、内外判定対象領域の範囲内にペンをタッチさせて離すという直感的な操作でクリックを実現することができ、操作が分かり易い。
　また、内外判定対象領域の内側にペンがタッチされ、タッチ位置が内外判定対象領域の外縁まで移動し、さらに内外判定対象領域の外側まで移動している場合、イベント生成手段１１は、タッチ位置の移動に合わせて、ドラッグを指示するイベントを生成する。従って、カーソルをドラッグする操作と、ユーザの直感とを一致させることができる。また、タッチ位置が内外判定対象領域の外縁まで移動した後に、ドラッグ操作でのカーソル移動を開始するので、言わばカーソルの内側と外側の境界を引っ張るような操作となり、カーソル直上にペンがあることによるカーソル近辺の見えにくさを軽減することができる。
　タッチパッドと本実施形態の画像オブジェクト制御システムとを比較すると、タッチパッドでは、クリックやドラッグを行うために、別途ボタンを操作するか、特殊なジェスチャを行わなければならないため、直感的な操作とは言えなかった。それに対し、本実施形態によれば、上記のように、直感的な操作でクリックやドラッグを行うことができる。
　以上のように本実施形態では、相対ムーブでカーソルを正確に操作することができる。また、直感的な分かりやすい操作で、クリック、移動、ドラッグ等を実現することができる。このように、操作の精度（正確性）と分かりやすさを両立することができる。
　次に、本実施形態の変形例を説明する。上述したシステムにおいて、ドラッグを維持したまま、絶対ムーブおよび相対ムーブを行えるようにしてもよい。すなわち、ペンをタッチパネルから離しても、そのカーソルを特定状態のままとし、そのまま絶対ムーブや相対ムーブを可能としてもよい。以下、ペンや指をタッチパネルから離しても、ドラッグできることをドラッグロックと記す。
　ドラッグロックを行うには、上述した図５のステップＳ３４に移行してイベント生成手段１１がドラッグを指示する信号を生成してドラッグ実行状態となったときに、当該イベント生成手段１１は、さらにドラッグを維持する信号を生成して、ドラッグロックフラグをオンとして、上述のステップＳ３４の動作を行えばよい。イベント生成手段１１は、ドラッグロックフラグがオンの状態でペンがタッチセンサから離れた場合にでも、ドラッグロックフラグをオンのままにし、ドラッグ状態を維持する。
　ドラッグロックフラグがオフであるときにおけるステップＳ２１（図４参照）以降の動作は、既に説明した動作と同様である。
　ドラッグロックフラグがオンのまま初期状態となり、その後、内外判定対象領域の外側にペンタッチが行われ、ステップＳ２１（図４参照）以降の処理によって、相対ムーブを行うと判定した場合、タッチ位置の移動に合わせて、特定状態のカーソルの移動を指示するイベントを生成すればよい（図４のステップＳ２３）。また、絶対ムーブを行うと判定した場合、特定状態のカーソルをタッチ位置に移動するイベントを生成すればよい（図４のステップＳ２５）。これにより、カーソルのドラッグ状態を維持したまま、内外判定対象領域の外側でのペンの軌跡に沿ってカーソルを移動させたり（相対ムーブ）、内外判定対象領域の外側でのペンのタッチ位置にカーソルを移動させることができる（絶対ムーブ）。
　また、ドラッグロックフラグがオンであるときに、ステップＳ３２（図５参照）に移行した場合、イベント生成手段１１は、カーソルがクリックされたことを表すイベントを生成する代わりに、イベント生成手段１１は、ドラッグロックフラグをオフに変更する。つまり、イベント生成手段１１は、カーソルのドラッグ状態が維持されているときに、内外判定対象領域の内側にペンがタッチされ、ペンのタッチ位置が内外判定対象領域の外側まで移動することなくペンがタッチセンサ１５から離れた場合、カーソルのドラッグ状態を解除する。従って、ユーザは、カーソルのドラッグ状態を解除したい場合には、内外判定対象領域の内側にペンをタッチさせて離せばよい。
　ドラッグロックフラグがオンである場合、カーソル描画手段１３は、カーソルの色を変える等してカーソルの表示態様を変更することが好ましい。その場合、ユーザは、ペン等をタッチセンサから離しているときでも、カーソルの表示状態によって、カーソルがドラッグされている状態か否かを識別できる。
　このような構成では、ドラッグロックを実現することができる。すなわち、ユーザはドラッグ操作していたカーソルからペン等を離しても、そのドラッグ操作されているカーソルに対して相対ムーブや絶対ムーブを行うことができる。また、ドラッグロックを解除する場合には、カーソルの内外判定対象領域の内部をクリックすればよい。
　また、上記では、イベント生成手段１１は、ペンタッチ開始時のタッチ位置からのタッチ位置の移動量が所定量未満であり、かつ、ペンがタッチセンサ１５にタッチして所定時間が経過した場合に（ステップＳ２２におけるＹｅｓ）、タッチ位置にカーソルを移動させること（絶対ムーブ）を指示するイベントを生成する（ステップＳ２３）。この判定において、絶対ムーブとするためのタッチ位置の移動量に関する条件を、「タッチ位置の移動量が０であること」としてもよい。この場合、イベント生成手段１１は、ステップＳ２２において、タッチ位置の移動量が０を超えているか否かを判定し、タッチ位置の移動量が０を超えていればステップＳ２３に移行すればよい。そして、タッチ位置の移動量が０であれば、タッチ開始時から所定時間が経過したか否かを判定し（ステップＳ２４）、タッチ位置の移動量が０であり所定時間経過している場合にステップＳ２５に移行し、絶対ムーブを指示する信号を生成すればよい。すなわち、タッチ位置が全く変わらないまま所定時間が経過した場合に、タッチ位置にカーソルを移動させることを指示するイベントを生成するようにしてもよい。
　また、ペンがタッチセンサ１５にタッチしてからの時間経過は考慮せずに、タッチ位置の移動量に基づいて相対ムーブか絶対ムーブかを判定してもよい。この場合、内外判定対象領域の外側にペンがタッチされ、タッチ位置の移動量が所定量以上となったとき（または０を超えたとき）に、タッチ位置の移動に合わせて、位相を指示するイベントを生成する（相対ムーブ）。また、タッチ位置の移動量が所定量未満である場合（または０である場合）には、ペンがタッチセンサ１５から離れるまで待って、ペンがタッチセンサ１５から離れた時点において、タッチ位置の移動量が所定量未満であること（または０であること）が確定した時点で、タッチ位置へのカーソル移動を指示するイベントを生成する（絶対ムーブ）。
　また、上記の実施形態では、クリックを表すイベントが一種類である場合を示した。複数のボタンを備えるマウス等でカーソルを操作する場合には、左クリック、右クリックのように複数のクリック操作が可能となる。本発明においても、クリックを表すイベントを複数種類生成してもよい。以下、クリックの種類が２種類である場合を例にし、一方を第１クリック、他方を第２クリックと記す。第１クリックは、例えばマウス操作における左クリックに相当し、第２クリックは、例えばマウス操作における右クリックに相当する。
　図９は、クリックの種類が２種類である場合のクリック／ドラッグ判定の例を示すフローチャートである。図５と同様のステップについては、図５と同一の符号を付し、詳細な説明を省略する。この場合、クリック／ドラッグ判定において、ペンのタッチ位置が内外判定対象領域の外側まで移動していない場合（ステップＳ３３におけるＮｏ）、イベント生成手段１１は、ペンのタッチ開始時から第２クリック判定用の所定時間が経過したか否かを判定する（ステップＳ３５）。タッチ開始時から第２クリック判定用の所定時間が経過している場合（ステップＳ３５におけるＹｅｓ）、カーソル位置における第２クリックを表すイベントを生成する（ステップＳ３６）。このイベントに応じて、アプリケーション実行手段１７はカーソル位置における第２クリックに伴う処理を実行し、カーソル描画手段１３は、同じ位置におけるカーソルの描画を継続する。なお、第２クリック判定用の所定時間は、第２クリック判定用時間閾値であるということができる。タッチ開始時から第２クリック判定用の所定時間が経過していない場合（ステップＳ３５におけるＮｏ）、イベント生成部１１は、ステップＳ３１以降の処理を繰り返す。
　また、タッチ位置が内外判定対象領域の外側まで移動せず、第２クリック判定用の所定時間が経過する前に、ペンがタッチセンサ１５から離れたならば（ステップＳ３１におけるＹｅｓ）、イベント生成手段１１は、カーソル位置における第１クリックを表すイベントを生成する。この処理は、既に説明したステップＳ３２（図５参照）と同様である。
　上記の例では、カーソルに対するタッチ時間が短ければ第１クリック（例えば、左クリックに相当）とし、カーソルに対するタッチ時間が長ければ第２クリックとして、複数のクリックをアプリケーション実行手段１７（図１参照）に伝えることができる。
　また、ダブルクリックを行う場合には、ユーザは、カーソルの内外判定対象範囲内に対して、ペンをタッチして離す操作を２回繰り返せばよい。この結果、イベント生成手段１１は、同じカーソル位置におけるクリックを表すイベントを２回続けて生成する。アプリケーション実行手段１７は、同じカーソル位置におけるクリックを表すイベントが、ダブルクリック判定用の時間閾値よりも短い時間内に生成されたときに、ダブルクリックに応じた処理を実行すればよい。あるいは、イベント生成手段１１は、ステップＳ３２に移行してから再度ステップＳ３２に移行するまでの間隔が、ダブルクリック判定用の時間閾値よりも短い場合に、カーソル位置におけるダブルクリックを表すイベントを生成してもよい。
　全く同じ座標に対してペンタッチを繰り返すことは困難であるが、内外判定対象範囲内に対するペンタッチであれば、タッチ位置を全く同じ位置とする必要がない。従って、容易にダブルクリックを実現することができる。
　また、上述したシステムにおいて、ペンがタッチセンサから離れ、再度タッチセンサにタッチした場合、ペンがタッチセンサから離れている時間が誤操作判定用の閾値よりも短ければ、ペンがタッチセンサから離れていないを判定してもよい。例えば、図２に示すドラッグ実行状態２５において、ペンがタッチセンサから離れ、誤操作判定用の閾値よりも短い時間内に再度、内外判定対象範囲内に対するペンタッチを確認したならば、そのままドラッグ実行状態２５を中断せずに継続してもよい。そして、ドラッグ実行状態２５において、ペンがタッチセンサから離れ、誤操作判定用の閾値となる時間が経過しても、再度のペンタッチがない場合に、初期状態２１に戻ってもよい。
　また、上記の実施形態において、カーソル描画手段１３は、カーソルの外周に囲まれた領域の画像を拡大して表示してもよい。図１０は、カーソルの外周に囲まれた領域の画像を拡大表示した例を示す説明図である。図１０では、“１”から“５”までの数字が表示され、そのうち“３”の位置にカーソル４１が存在している場合を例示している。この場合、カーソル描画手段１３は、図１０に示すように“３”を拡大して表示してもよい。カーソル４１が他の数字の位置に移動した場合、カーソル描画手段１３は、その数字を拡大して、“３”を元の大きさで表示する。なお、拡大した図形のうち、カーソルの外周の中に収まらない部分については表示しない。このようにカーソル内部の画像を拡大すれば、相対ムーブを行うときに、カーソル位置の画像を詳しくユーザに提示することができるので、ユーザはより正確にカーソルを操作しやすくなる。特に、表示パネル１６（図１参照）の面積が小さく、表示される個々のアイコン等が小さい場合に、それらのアイコンの画像等を詳しくユーザに伝えることができる。
　また、タッチセンサに対するペンタッチが一定時間行われていない場合、カーソル描画手段１３は、カーソルの表示を停止してもよい。すなわち、表示パネル１６からカーソルを消去してもよい。カーソルを消去している状態で、タッチセンサに対するペンのタッチがあった場合、カーソル描画手段１３は、そのタッチ位置にカーソルを表示してもよい。このような構成の場合、一定時間操作が行われていない場合に、表示パネル１６からカーソルを消去して表示パネル１６の画像を見やすくすることができる。表示パネル１６の面積が小さく、カーソルが目立ってしまう場合に、この効果は特に大きい。カーソルを消去する代わりに、カーソルを小さくする等して、目立たなくなるようにカーソルを変形してもよい。
　また、上記の実施形態では、カーソルの外縁と内外判定領域の外縁とが一致している場合を例にして説明したが、既に述べたように、カーソルの外縁と内外判定領域の外縁とは一致していなくてもよい。図１１は、カーソルの外縁と内外判定領域の外縁とが一致していない場合の例を示す説明図である。例えば、カーソル描画手段１３は、カーソル４１を表示し、その時に、カーソル４１の表示位置に応じた内外判定対象領域として、カーソル４１より大きい内外判定対象領域５１を定めてもよい。あるいは、内外判定対象領域５１は、カーソル４１よりも小さくてもよい。図１１において、カーソル４１は表示されるが、内外判定対象領域５１は表示されない。内外判定対象領域５１を直感的にユーザに伝えるために、カーソル４１の外縁と内外判定対象領域５１の外縁とを一致させることが好ましい。
　また、カーソルは、外縁が囲まれている図形でなくてもよい。図１２は、外縁が囲まれていない「×」型の図形をカーソルとする場合の例を示す。このような図形をカーソルとする場合であっても、カーソル描画手段１３は、カーソル４１を表示するときに、カーソル４１の表示位置に応じた内外判定対象領域５１を定める（図１２参照）。ただし、内外判定対象領域５１を直感的にユーザに伝えるために、外縁が囲まれている図形をカーソルとして用い、カーソル４１の外縁と内外判定対象領域５１の外縁とを一致させることが好ましい。
　また、画像オブジェクト制御システムが、サーバと端末とを備える構成であってもよい。図１３は、画像オブジェクト制御システムがサーバと端末とを備える場合の構成例を示す説明図である。図１に示す構成要素と同様の構成要素については、図１と同一の符号を付して詳細な説明を省略する。図１３に示すように、シンクライアント（端末）６２が表示パネル１６とタッチセンサ１５とを備え、サーバ６１が、イベント生成手段１１と、カーソル内外判定手段１２と、カーソル描画手段１３と、状態記憶手段１４と、アプリケーション実行手段１７とを備える構成であってもよい。
　また、サーバとシンクライアントがそれぞれ表示パネルを備え、サーバとシンクライアントで同様の画面を表示してもよい。図１４は、サーバおよびシンクライアントが表示する画像の例を示す説明図である。サーバは、カーソル６３を含む画像を表示する。シンクライアントは、カーソル６３を含むサーバと同様の画像を表示する。さらに、シンクライアントは、サーバ側に表示されるカーソル６３を移動させるための第２のカーソル６４を表示する。上記の実施形態で説明した方法で、シンクライアント側で第２のカーソル６４を移動させるように表示し、サーバは、シンクライアント側での第２のカーソル６４の移動に合わせてカーソル６３を移動させてもよい。
　上記の実施形態やその変形例では、ペンタッチが行わる場合を例にして説明したが、ペンではなく指をタッチセンサにタッチさせてカーソルを移動する操作を行ってもよい。また、ペンや指以外の接触体をタッチセンサにタッチさせて操作を行ってもよい。ペン以外の接触体を用いる場合であっても、画像オブジェクト制御システムの動作は、ペンを用いる場合と同様である。
　また、以上の説明では、画像オブジェクトの例としてカーソルを挙げて説明したが、カーソル以外の画像オブジェクトに対する操作を、上記の実施形態やその変形例と同様に行ってもよい。例えば、予めアイコン等を選択しているときに、そのアイコンに対する相対ムーブ、絶対ムーブ、クリック、およびドラッグを、既に説明した方法と同様の方法で行ってもよい。
　＜実施形態２＞
　次に、本発明の第２の実施形態を、図１５を参照して説明する。図１５は、本発明の概要を示すブロック図である。なお、本実施形態では、画像オブジェクト制御システムの概要について説明する。
　まず、本実施形態における画像オブジェクト制御システム１は、図１５に示すように、内外判定手段７１と、信号生成手段７２とを備える。
　内外判定手段７１（例えばカーソル内外判定手段１２）は、画像オブジェクト（例えばカーソル）の表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する。
　信号生成手段７２は、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号（例えば、イベント）を生成する。
　そのような構成によれば、画像オブジェクトから離れた広い領域内での接触体の動きで、画像オブジェクトを操作することができるので、画像オブジェクトの操作を正確に行うことができる。また、ユーザの注目領域である画像オブジェクトの近辺が接触体によって見えにくくなることがないので、操作性を向上させることができる。
　また、上記の実施形態には、信号生成手段７２が、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成する構成が開示されている。
　また、上記の実施形態には、内外判定手段７２が、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置が移動したときに、タッチ位置の移動に合わせて、画像オブジェクトの移動を指示する信号を生成する構成が開示されている。特に、内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置の移動量が所定量以上であるときに、画像オブジェクトを当該画像オブジェクトの表示位置を起点として、タッチ位置の移動と同一の軌跡で移動させることを指示する信号を生成する。そのような構成によれば、画像オブジェクトから離れた広い領域内での接触体の動きで、画像オブジェクトを移動させる操作を行えるので、移動量を適切に調整しやすくなり、画像オブジェクトを所望の位置に正確に移動させることができる。
　また、上記の実施形態には、内外判定手段７２が、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置の移動量が所定量未満であるときに、画像オブジェクトをタッチ位置に移動させることを指示する信号を生成する構成が開示されている。また、内外判定手段７２が、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置の移動量が０であるときに、画像オブジェクトをタッチ位置に移動させることを指示する信号を生成する構成も開示されている。そのような構成によれば、離れた位置に画像オブジェクトを移動させる際のストレスを解消することができる。また、直感的操作で所望の位置に画像オブジェクトを移動させることができる。
　また、上記の実施形態には、信号生成手段７２が、接触体のタッチ位置が内外判定対象領域の内側であると判定されたときに、画像オブジェクトの操作を表す信号であって、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときとは異なる操作を表す信号を生成する構成が開示されている。
　また、上記の実施形態には、信号生成手段７２が、接触体のタッチ位置が内外判定対象領域の内側であると判定され、接触体のタッチ位置が内外判定対象領域の外側に移動することなくタッチ状態が解除された場合、画像オブジェクトの操作を表す信号として、クリックを表す信号を生成する構成が開示されている。そのような構成によれば、内外判定対象領域内のいずれかの位置をタッチすればよいのでクリックのための操作性を向上させることができる。また、直感的なクリック操作を実現することができる。
　また、上記の実施形態には、信号生成手段７２が、接触体のタッチ位置が内外判定対象領域の内側であると判定され、タッチ位置が内外判定領域の外縁まで移動しさらに内外判定領域の外側に向けて移動する場合、タッチ位置の移動に合わせて、画像オブジェクトのドラッグを指示する信号を生成する構成が開示されている。そのような構成によれば、直感的な画像オブジェクトの移動操作を実現することができる。また、画像オブジェクトの直上に接触体があることによる画像オブジェクト近辺の見えにくさを軽減することができる。
　また、上記の実施形態には、信号生成手段７２が、ドラッグを指示する信号を生成すると共に当該ドラッグを維持する信号を生成し、その後、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置が移動したときに、画像オブジェクトのドラッグを維持しながら、タッチ位置の移動に合わせて、画像オブジェクトの移動を指示する信号を生成する構成が開示されている。さらに、上記の実施形態には、信号生成手段７２は、ドラッグを指示する信号を生成すると共に当該ドラッグを維持する信号を生成し、その後、接触体のタッチ位置が内外判定対象領域の内側であると判定され、接触体のタッチ位置が当該内外判定対象領域の外側に移動することなくタッチ状態が解除された場合、画像オブジェクトのドラッグを解除する構成が開示されている。そのような構成によれば、ユーザはドラッグ操作していた画像オブジェクトから接触体を離して、この画像オブジェクトから離れた広い領域内での接触体を動かし、ドラッグ状態を維持したまま画像オブジェクトを移動させることができる。また、ドラッグ状態の解除操作も容易である。
　また、上記の実施形態には、内外判定対象領域の外縁が視認可能となるように内外判定対象領域を表示する内外判定対象領域表示手段（例えば、カーソル描画手段１３）を備える構成が開示されている。そのような構成によれば、内外判定対象領域をユーザに分かりやすく提示することができる。
　また、上記の実施形態には、画像オブジェクトはカーソルである場合が開示されている。
　ここで、上述した画像オブジェクト制御システムは、コンピュータに、画像オブジェクト制御プログラムが組み込まれることによって実現される。
　具体的に、画像オブジェクト制御プログラムは、
　コンピュータに、
　画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定処理、および、
　接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する信号生成処理、
を実行させるためのプログラムである。
　また、上記画像オブジェクト制御プログラムは、
　コンピュータに、
　接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、前記信号生成処理で、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成させる、プログラムである。
　そして、上記画像オブジェクト制御システムが作動することにより、画像オブジェクト制御方法が実行される。
　具体的に、画像オブジェクト制御方法は、
　画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定し、
　接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する、
という方法である。
　また、上記画像オブジェクト制御方法は、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成する。
　以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２００８年９月２２日に特許出願された特願２００８－２４２９９５の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
　本発明は、カーソル等の画像オブジェクトに対する操作を行う画像オブジェクト制御システムに好適に適用可能である。
　１　画像オブジェクト制御システム
　１１　イベント生成手段
　１２　カーソル内外判定手段
　１３　カーソル描画手段
　１４　状態記憶手段
　１５　タッチセンサ
　１６　表示パネル
　７１　内外判定手段
　７２　信号生成手段
 

Claims (17)

  1. 　画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定手段と、
    　接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する信号生成手段と、を備える
    　ことを特徴とする画像オブジェクト制御システム。
  2. 　前記信号生成手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成する
    　請求項１に記載の画像オブジェクト制御システム。
  3. 　前記内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置が移動したときに、前記タッチ位置の移動に合わせて、画像オブジェクトの移動を指示する信号を生成する
    　請求項２に記載の画像オブジェクト制御システム。
  4. 　前記内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置の移動量が所定量以上であるときに、画像オブジェクトを当該画像オブジェクトの表示位置を起点として、前記タッチ位置の移動と同一の軌跡で移動させることを指示する信号を生成する、
    　請求項２または請求項３に記載の画像オブジェクト制御システム。
  5. 　前記内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置の移動量が所定量未満であるときに、画像オブジェクトを前記タッチ位置に移動させることを指示する信号を生成する
    　請求項２から請求項４のいずれか１項に記載の画像オブジェクト制御システム。
  6. 　前記内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置の移動量が０であるときに、画像オブジェクトを前記タッチ位置に移動させることを指示する信号を生成する
    　請求項２から請求項４のうちのいずれか１項に記載の画像オブジェクト制御システム。
  7. 　前記信号生成手段は、接触体のタッチ位置が内外判定対象領域の内側であると判定されたときに、画像オブジェクトの操作を表す信号であって、接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときとは異なる操作を表す信号を生成する
    　請求項１から請求項６のうちのいずれか１項に記載の画像オブジェクト制御システム。
  8. 　前記信号生成手段は、接触体のタッチ位置が内外判定対象領域の内側であると判定され、接触体のタッチ位置が当該内外判定対象領域の外側に移動することなくタッチ状態が解除された場合、画像オブジェクトの操作を表す信号として、クリックを表す信号を生成する
    　請求項７に記載の画像オブジェクト制御システム。
  9. 　前記信号生成手段は、接触体のタッチ位置が内外判定対象領域の内側であると判定され、前記タッチ位置が前記内外判定領域の外縁まで移動しさらに前記前記内外判定領域の外側に向けて移動する場合、前記タッチ位置の移動に合わせて、画像オブジェクトのドラッグを指示する信号を生成する
    　請求項７または請求項８に記載の画像オブジェクト制御システム。
  10. 　前記信号生成手段は、前記ドラッグを指示する信号を生成すると共に当該ドラッグを維持する信号を生成し、その後、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置が移動したときに、画像オブジェクトのドラッグを維持しながら、前記タッチ位置の移動に合わせて、前記画像オブジェクトの移動を指示する信号を生成する
    　請求項９に記載の画像オブジェクト制御システム。
  11. 　前記信号生成手段は、前記ドラッグを指示する信号を生成すると共に当該ドラッグを維持する信号を生成し、その後、接触体のタッチ位置が内外判定対象領域の内側であると判定され、接触体のタッチ位置が当該内外判定対象領域の外側に移動することなくタッチ状態が解除された場合、画像オブジェクトのドラッグを解除する
    　請求項９または請求項１０に記載の画像オブジェクト制御システム。
  12. 　内外判定対象領域の外縁が視認可能となるように内外判定対象領域を表示する内外判定対象領域表示手段を備える
    　請求項１から請求項１１のうちのいずれか１項に記載の画像オブジェクト制御システム。
  13. 　画像オブジェクトはカーソルである請求項１から請求項１２のうちのいずれか１項に記載の画像オブジェクト制御システム。
  14. 　画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定し、
    　接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する、
    　ことを特徴とする画像オブジェクト制御方法。
  15. 　接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成する
    　請求項１４に記載の画像オブジェクト制御方法。
  16. 　コンピュータに、
    　画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定処理、および、
    　接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する信号生成処理
    　を実行させるための画像オブジェクト制御プログラム。
  17. 　コンピュータに、
    　接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、前記信号生成処理で、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成させる
    　請求項１６に記載の画像オブジェクト制御プログラム。
     
PCT/JP2009/003139 2008-09-22 2009-07-07 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム WO2010032354A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/063,690 US20110163988A1 (en) 2008-09-22 2009-07-07 Image object control system, image object control method and image object control program
JP2010529581A JPWO2010032354A1 (ja) 2008-09-22 2009-07-07 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008242995 2008-09-22
JP2008-242995 2008-09-22

Publications (1)

Publication Number Publication Date
WO2010032354A1 true WO2010032354A1 (ja) 2010-03-25

Family

ID=42039207

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003139 WO2010032354A1 (ja) 2008-09-22 2009-07-07 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム

Country Status (3)

Country Link
US (1) US20110163988A1 (ja)
JP (1) JPWO2010032354A1 (ja)
WO (1) WO2010032354A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118651A (ja) * 2010-11-30 2012-06-21 Casio Comput Co Ltd カーソル移動制御装置及びプログラム
WO2013001157A1 (en) * 2011-06-29 2013-01-03 Nokia Corporation An apparatus and associated methods related to touch sensitive displays
JP2013131027A (ja) * 2011-12-21 2013-07-04 Kyocera Corp 装置、方法及びプログラム
JP2013218430A (ja) * 2012-04-05 2013-10-24 Seiko Epson Corp 入力装置、プロジェクター、表示システム、及び入力方法
JP2014149826A (ja) * 2013-02-01 2014-08-21 Hon Hai Precision Industry Co Ltd ファイル検索方法及びファイル検索システム
JP2014173872A (ja) * 2013-03-06 2014-09-22 Hioki Ee Corp 波形表示装置、及びプログラム
JP2014186581A (ja) * 2013-03-25 2014-10-02 Konica Minolta Inc ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
JP2014229017A (ja) * 2013-05-21 2014-12-08 カシオ計算機株式会社 電子機器、位置指定方法及びプログラム
JP2015158930A (ja) * 2015-04-06 2015-09-03 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
JP2016009473A (ja) * 2014-06-26 2016-01-18 ガンホー・オンライン・エンターテイメント株式会社 端末装置
US9354801B2 (en) 2012-09-14 2016-05-31 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium storing program
JP2017076223A (ja) * 2015-10-14 2017-04-20 京セラドキュメントソリューションズ株式会社 表示入力装置およびそれを備えた画像形成装置
JP2017078906A (ja) * 2015-10-19 2017-04-27 幸一 横田 画像表示装置、方法、及びコンピュータプログラム
JP2018067068A (ja) * 2016-10-17 2018-04-26 グリー株式会社 描画処理方法、描画処理プログラム及び描画処理装置
CN109375793A (zh) * 2012-04-05 2019-02-22 精工爱普生株式会社 输入装置、显示系统及输入方法
JP2019057323A (ja) * 2018-12-17 2019-04-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5418187B2 (ja) * 2009-12-02 2014-02-19 ソニー株式会社 接触操作判定装置、接触操作判定方法およびプログラム
JP2014044605A (ja) * 2012-08-28 2014-03-13 Fujifilm Corp タッチ検知ディスプレイにおける入力制御装置および方法並びにプログラム
JP6029453B2 (ja) * 2012-12-21 2016-11-24 京セラ株式会社 携帯端末、カーソル表示制御プログラム、カーソル表示制御方法、カーソル発生制御プログラム、カーソル発生制御方法、アイコン表示プログラムおよびアイコン表示方法
CN104049879A (zh) * 2013-03-14 2014-09-17 中兴通讯股份有限公司 触摸式终端及其提示框定位的方法
US9395902B2 (en) 2013-03-15 2016-07-19 Elwha Llc Systems and methods for parallax compensation
US9389728B2 (en) * 2013-03-15 2016-07-12 Elwha Llc Systems and methods for parallax compensation
US20170024086A1 (en) * 2015-06-23 2017-01-26 Jamdeo Canada Ltd. System and methods for detection and handling of focus elements

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06161665A (ja) * 1992-11-18 1994-06-10 Sharp Corp ペンカーソル入力装置
JPH0876927A (ja) * 1994-08-31 1996-03-22 Brother Ind Ltd 情報処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038503A (ja) * 2002-07-02 2004-02-05 Nihon Brain Ware Co Ltd 情報処理装置及びコンピュータ読み取り可能な記録媒体
JP4215549B2 (ja) * 2003-04-02 2009-01-28 富士通株式会社 タッチパネル・モードとポインティング・デバイス・モードで動作する情報処理装置
US7489306B2 (en) * 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
US7640518B2 (en) * 2006-06-14 2009-12-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for switching between absolute and relative pointing with direct input devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06161665A (ja) * 1992-11-18 1994-06-10 Sharp Corp ペンカーソル入力装置
JPH0876927A (ja) * 1994-08-31 1996-03-22 Brother Ind Ltd 情報処理装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118651A (ja) * 2010-11-30 2012-06-21 Casio Comput Co Ltd カーソル移動制御装置及びプログラム
US9323415B2 (en) 2011-06-29 2016-04-26 Nokia Technologies Oy Apparatus and associated methods related to touch sensitive displays
WO2013001157A1 (en) * 2011-06-29 2013-01-03 Nokia Corporation An apparatus and associated methods related to touch sensitive displays
JP2013131027A (ja) * 2011-12-21 2013-07-04 Kyocera Corp 装置、方法及びプログラム
JP2013218430A (ja) * 2012-04-05 2013-10-24 Seiko Epson Corp 入力装置、プロジェクター、表示システム、及び入力方法
CN109375793A (zh) * 2012-04-05 2019-02-22 精工爱普生株式会社 输入装置、显示系统及输入方法
US9354801B2 (en) 2012-09-14 2016-05-31 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium storing program
JP2014149826A (ja) * 2013-02-01 2014-08-21 Hon Hai Precision Industry Co Ltd ファイル検索方法及びファイル検索システム
JP2014173872A (ja) * 2013-03-06 2014-09-22 Hioki Ee Corp 波形表示装置、及びプログラム
JP2014186581A (ja) * 2013-03-25 2014-10-02 Konica Minolta Inc ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
US10275035B2 (en) 2013-03-25 2019-04-30 Konica Minolta, Inc. Device and method for determining gesture, and computer-readable storage medium for computer program
JP2014229017A (ja) * 2013-05-21 2014-12-08 カシオ計算機株式会社 電子機器、位置指定方法及びプログラム
JP2016009473A (ja) * 2014-06-26 2016-01-18 ガンホー・オンライン・エンターテイメント株式会社 端末装置
JP2015158930A (ja) * 2015-04-06 2015-09-03 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
JP2017076223A (ja) * 2015-10-14 2017-04-20 京セラドキュメントソリューションズ株式会社 表示入力装置およびそれを備えた画像形成装置
JP2017078906A (ja) * 2015-10-19 2017-04-27 幸一 横田 画像表示装置、方法、及びコンピュータプログラム
JP2018067068A (ja) * 2016-10-17 2018-04-26 グリー株式会社 描画処理方法、描画処理プログラム及び描画処理装置
JP2019057323A (ja) * 2018-12-17 2019-04-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
US20110163988A1 (en) 2011-07-07
JPWO2010032354A1 (ja) 2012-02-02

Similar Documents

Publication Publication Date Title
WO2010032354A1 (ja) 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム
EP2256614B1 (en) Display control apparatus, display control method, and computer program
JP5734546B2 (ja) オブジェクト表示装置
KR101072762B1 (ko) 다점 감지 장치를 이용한 제스처링
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
JP5691464B2 (ja) 情報処理装置
US20130063384A1 (en) Electronic apparatus, display method, and program
US20110060986A1 (en) Method for Controlling the Display of a Touch Screen, User Interface of the Touch Screen, and an Electronic Device using The Same
US9280265B2 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
EP3590034B1 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
WO2014200732A1 (en) Proxy gesture recognizer
JP2011028524A (ja) 情報処理装置、プログラムおよびポインティング方法
WO2011157527A1 (en) Contextual hierarchical menu system on touch screens
JP5780438B2 (ja) 電子機器、位置指定方法及びプログラム
WO2012160829A1 (ja) タッチスクリーン装置、タッチ操作入力方法及びプログラム
JP2012243163A (ja) 電子機器、プログラム及び制御方法
CN103324389A (zh) 智能终端应用程序的操作方法
US20120179963A1 (en) Multi-touch electronic device, graphic display interface thereof and object selection method of multi-touch display
US20220326816A1 (en) Systems, Methods, and User Interfaces for Interacting with Multiple Application Views
JP5275429B2 (ja) 情報処理装置、プログラムおよびポインティング方法
JP2012243166A (ja) 電子機器、プログラム及び制御方法
US9501206B2 (en) Information processing apparatus
US9417780B2 (en) Information processing apparatus
US9501210B2 (en) Information processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09814200

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010529581

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09814200

Country of ref document: EP

Kind code of ref document: A1