WO2015071947A1 - 表示処理装置、表示処理方法、及び表示処理プログラム - Google Patents

表示処理装置、表示処理方法、及び表示処理プログラム Download PDF

Info

Publication number
WO2015071947A1
WO2015071947A1 PCT/JP2013/080509 JP2013080509W WO2015071947A1 WO 2015071947 A1 WO2015071947 A1 WO 2015071947A1 JP 2013080509 W JP2013080509 W JP 2013080509W WO 2015071947 A1 WO2015071947 A1 WO 2015071947A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
screen
display
cursor pointer
finger
Prior art date
Application number
PCT/JP2013/080509
Other languages
English (en)
French (fr)
Inventor
英幸 丹羽
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2013/080509 priority Critical patent/WO2015071947A1/ja
Priority to JP2015547296A priority patent/JP6107968B2/ja
Publication of WO2015071947A1 publication Critical patent/WO2015071947A1/ja
Priority to US15/151,267 priority patent/US20160253042A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • the present application relates to a display processing device, a display processing method, and a display processing program.
  • a display processing apparatus provided with a touch panel or the like receives information corresponding to the operation by an operator (hereinafter referred to as “user”) performing a predetermined operation on the touch panel.
  • user an operator
  • the coordinates corresponding to the position of the display screen pointed to by the operation input (point) by the user touching the touch panel screen are recognized as the designated coordinates.
  • the display processing device selects an icon or the like displayed on the screen corresponding to the recognized coordinates, executes an application (hereinafter abbreviated as “app”), and the like.
  • the pointed position and the display position of the designated coordinates match or are close to each other.
  • the specified coordinates are hidden behind the finger. For this reason, the user cannot directly visually confirm the position of the designated coordinates on the screen.
  • the position of the designated coordinate on the screen can be directly visually confirmed even in the pointed state. It is possible.
  • the specified coordinates are coordinates that are more than a predetermined distance from the coordinates corresponding to the position of the pointed display screen, for example, when specifying coordinates located near the screen edge, it should be pointed Coordinates are outside the display screen.
  • an object of the present invention is to improve the operability of a display processing device.
  • the display processing device is set to a display unit that displays a screen, a position specifying unit that specifies a first point in the display region of the screen corresponding to the received operation input, and an end of the display region The second point that is present in the display area on a half line from the predetermined point to the first point and is at a predetermined distance from the first point is displayed in the display area in an identifiable manner.
  • a display control unit that controls a display unit that displays a screen, a position specifying unit that specifies a first point in the display region of the screen corresponding to the received operation input, and an end of the display region The second point that is present in the display area on a half line from the predetermined point to the first point and is at a predetermined distance from the first point is displayed in the display area in an identifiable manner.
  • the operability of the display processing device can be improved.
  • FIG. 1 is a diagram illustrating a functional configuration example of a display processing apparatus according to the present embodiment.
  • a display processing apparatus 10 illustrated in FIG. 1 is an information device that performs input control, for example, and is, for example, a tablet terminal, a smartphone, a personal digital assistant (PDA), a mobile phone, or the like.
  • the display processing device 10 may be, for example, a PC, a server, a game device, a music playback device, or the like.
  • the display processing device 10 includes a touch panel 11, a touch detection unit 12, a position specifying unit 13, a control execution unit 14, a point position adjustment unit 15, a display control unit 16, and a screen display unit (display unit) 17.
  • a touch panel 11 a touch detection unit 12, a position specifying unit 13, a control execution unit 14, a point position adjustment unit 15, a display control unit 16, and a screen display unit (display unit) 17.
  • the touch panel 11 is an input unit that receives input of various types of information to the display processing device 10.
  • the touch panel 11 acquires finger position information and the like by detecting a minute current from a user's finger that touches the screen, or pressing by a finger, a stylus, or the like.
  • the touch panel 11 can detect the position of a finger, a stylus, or the like by using, for example, a resistance film method, a capacitance method, an infrared method, an electromagnetic induction method, or the like, but is not limited thereto.
  • the touch panel 11 can acquire the positions of a plurality of fingers at the same time.
  • the touch panel 11 can acquire input information by tracking the movement of a finger over time.
  • the touch panel 11 may be configured as a touch panel display integrally with, for example, a display (screen display unit 17).
  • the control content based on the information input through the touch panel 11 is displayed on the display.
  • the touch detection unit 12 which is an example of a sensor control unit, detects that a user's finger, stylus, or the like has touched (touched) the touch panel 11.
  • the touch detection unit 12 accepts that the user performs a touch operation on the touch panel 11 with a finger or the like, the touch detection unit 12 acquires input information such as the touch position, the number of touches, and the movement direction of the finger.
  • the touch detection unit 12 tracks not only the finger position (coordinates) at a certain point of time but also the movement of the finger at intervals of several seconds as time elapses, and acquires the operation content from the tracking content (movement route). May be.
  • swipe operation for example, an operation of sliding (moving) a finger while touching the screen
  • flicking operation for example, an operation of gently touching the screen
  • tap rotation of the finger on the screen, etc.
  • An operation can be detected.
  • the position specifying unit 13 specifies the touch position (first point) corresponding to the received operation input based on the detection result from the touch detection unit 12. Further, when the coordinate specification is made together with the operation input, the position specifying unit 13 sets the position of the cursor pointer as the point specified by the point specification.
  • control execution unit 14 activates and terminates applications, programs, etc., switches, parameter settings, and other various operation contents. Control. For example, the control execution unit 14 selects and moves icons and buttons displayed in the display area of the screen display unit 17 based on the touch position detected by the touch detection unit 12, scrolls content, and the like. The control execution unit 14 also controls selection of input areas such as check boxes and text boxes included in the content, character input, and the like.
  • the various controls described above are executed by, for example, various applications and programs included in the display control unit 16.
  • control execution unit 14 executes a predetermined application corresponding to the control content by the position specifying unit 13 from among a plurality of applications installed in advance in the display processing apparatus 10.
  • the application may be, for example, software that performs document editing, spreadsheet, etc., and may be a basic application that performs general operations such as scrolling and screen changes for swiping and tapping operations, and launching a browser. Good.
  • the various applications are executed on an operating system (OS) such as Android (registered trademark), Windows (registered trademark), or Linux (registered trademark), but are not limited thereto.
  • OS operating system
  • Android registered trademark
  • Windows registered trademark
  • Linux registered trademark
  • the point position adjustment unit 15 adjusts the display position of the cursor pointer according to the touch position (first point) of the user. For example, the point position adjustment unit 15 exists in a display area on a half line from the reference point (predetermined point) set at the end of the display area of the screen to the touch position, and a predetermined distance from the touch position. Is calculated by a predetermined calculation formula or the like. The point position adjustment unit 15 sets the obtained point (second point) as the display position of the cursor pointer.
  • the point position adjustment unit 15 sets a second point in the display area where the distance from the touch position is larger than the distance between the touch position and the predetermined point. In addition, when the distance from the touch position (first point) to the predetermined point is smaller than the predetermined value, the point position adjustment unit 15 sets the distance from the touch position to the cursor pointer to the distance from the predetermined point to the touch position. Change accordingly.
  • the point position adjusting unit 15 may change the predetermined point when the touch position is at a preset position.
  • the point position adjustment unit 15 can change the position of the predetermined point based on a predetermined condition such as when the touch position obtained by the position specifying unit 13 reaches the end of the display area.
  • the present invention is not limited to this.
  • the point position adjustment unit 15 displays on the screen of the screen display unit 17 based on the set display mode of the cursor pointer (for example, the position adjustment mode, the fixed mode, etc.) and the calculation formula set corresponding to the display mode. Adjust the display position of the cursor pointer.
  • the set display mode of the cursor pointer for example, the position adjustment mode, the fixed mode, etc.
  • the calculation formula set corresponding to the display mode Adjust the display position of the cursor pointer.
  • the display control unit 16 displays the display content obtained by the control execution unit 14 and displays the cursor pointer at a position (coordinates) in the display area adjusted by the point position adjustment unit 15 so as to be identifiable.
  • the screen display unit 17 is an output unit that displays the display content controlled by the display control unit 16 on the screen.
  • the screen display unit 17 may be configured integrally with the touch panel 11.
  • the touch panel 11 and the screen display unit 17 are an integrated input / output unit. As described above, according to the present embodiment, the operability of user input in the display processing device 10 can be improved.
  • FIG. 2 is a diagram illustrating a hardware configuration example of the display processing apparatus according to the present embodiment.
  • the display processing device 10 includes a microphone (hereinafter referred to as “microphone”) 21, a speaker 22, a display unit 23, an operation unit 24, a sensor unit 25, a power unit 26, and a wireless unit. 27, a short-range communication unit 28, an auxiliary storage device 29, a main storage device 30, a central processing unit (CPU) 31, and a drive device 32, which are connected to each other via a system bus B. Yes.
  • the microphone 21 inputs a voice uttered by the user and other sounds.
  • the speaker 22 outputs the other party's voice or sounds such as a ringtone.
  • the microphone 21 and the speaker 22 can be used, for example, when talking to a call partner using a call function or the like, but is not limited to this, and can be used for inputting and outputting information by voice.
  • the display unit 23 displays a screen set by the OS and various applications to the user.
  • the display unit 23 may be a touch panel display having the touch panel 11 and the screen display unit 17 described above. In that case, the display unit 23 has a function as an input / output unit.
  • the display unit 23 is a display such as a Liquid Crystal Display (LCD) or an organic Electro Luminescence (EL).
  • LCD Liquid Crystal Display
  • EL organic Electro Luminescence
  • the operation unit 24 is an operation button displayed on the screen of the display unit 23, an operation button provided outside the display processing apparatus 10, or the like.
  • the operation button may be, for example, a power button or a volume adjustment button, or may be an operation key for character input arranged in a predetermined order.
  • the touch position on the screen is detected by the display unit 23.
  • the display unit 23 can display an application execution result, content, icon, cursor, and the like on the screen.
  • the sensor unit 25 detects a certain point in time or continuous operation of the display processing device 10. For example, the sensor unit 25 detects the tilt angle, acceleration, direction, position, and the like of the display processing device, but is not limited thereto.
  • the sensor unit 25 is, for example, an inclination sensor, an acceleration sensor, a gyro sensor, a Global Positioning System (GPS), but is not limited thereto.
  • GPS Global Positioning System
  • the power unit 26 supplies power to each component of the display processing device 10.
  • the power unit 26 is, for example, an internal power source such as a battery, but is not limited thereto.
  • the power unit 26 can also detect the amount of power constantly or at predetermined time intervals and monitor the remaining amount of power.
  • the radio unit 27 is a communication data transmission / reception unit that receives a radio signal (communication data) from a base station using, for example, an antenna, or transmits a radio signal to the base station via an antenna.
  • the near field communication unit 28 performs near field communication with other devices by using a communication method such as infrared communication, Wi-Fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the wireless unit 27 and the short-range communication unit 28 described above are communication interfaces that enable data transmission / reception with other devices.
  • the auxiliary storage device 29 is a storage means such as Hard Disk Drive (HDD) or Solid State Drive (SSD).
  • the auxiliary storage device 29 stores various programs and the like and inputs / outputs data as necessary.
  • the main storage device 30 stores an execution program read from the auxiliary storage device 29 in response to an instruction from the CPU 31, and stores various information obtained during program execution.
  • the main storage device 30 is, for example, a Read Only Memory (ROM) or a Random Access Memory (RAM), but is not limited thereto.
  • the CPU 31 controls processing of the entire computer such as various operations and data input / output with each hardware component based on a control program such as an OS and an execution program stored in the main storage device 30. Each process in the input control is realized. Various information necessary during the execution of the program may be acquired from the auxiliary storage device 29 and the execution result or the like may be stored.
  • the drive device 32 can detachably set the recording medium 33, for example, and can read various information recorded on the set recording medium 33 and write predetermined information on the recording medium 33.
  • the drive device 32 is, for example, a medium loading slot or the like, but is not limited thereto.
  • the recording medium 33 is a computer-readable recording medium that stores an execution program and the like as described above.
  • the recording medium 33 may be a semiconductor memory such as a flash memory, for example.
  • the recording medium 33 may be a portable recording medium such as a Universal Serial Bus (USB) memory, but is not limited thereto.
  • USB Universal Serial Bus
  • an execution program for example, a display processing program
  • the hardware processing and the software cooperate to realize the display processing in this embodiment. can do.
  • the display processing program corresponding to the above-described display processing may be in a resident state on the apparatus, for example, or may be activated by an activation instruction.
  • the touch detection unit 12 of the display processing device 10 detects a user's touch operation on the touch panel 11 (S01).
  • the position specifying unit 13 of the display processing device 10 specifies the touch position (designated coordinates) by the user's finger from the touch operation (S02), and uses the specified touch position to the OS executed by the control execution unit 14 or the like. Notification is made (S03).
  • the control execution unit 14 calculates the cursor pointer display position from the touch position information and stores the latest operation position (S04).
  • the control execution unit 14 determines whether or not it is a click operation (S05).
  • the click operation means, for example, that coordinates are designated by an operation input, and corresponds to, for example, a tap operation performed with a user's finger.
  • control execution unit 14 If the operation is a click operation (YES in S05), the control execution unit 14 generates a click event and notifies the operation target program stored in the operation target program via the OS (S06).
  • control execution unit 14 determines whether or not it is a double click operation (S07). If it is not a double click operation (YES in S07), the control execution unit 14 generates a double click event and notifies the operation target program stored via the OS (S08).
  • the control execution unit 14 determines whether or not it is a drag operation (S09). If the operation is a drag operation (YES in S09), the control execution unit 14 generates a drag operation event and notifies the operation target program via the OS (S10).
  • the control execution unit 14 determines whether the operation is a context menu operation displayed on the screen with an icon or the like (S11). If the operation is a context menu operation (YES in S11), the control execution unit 14 displays the context menu and causes the user to select a menu (S12).
  • the control execution unit 14 determines whether or not the cursor pointer is set in the position adjustment mode (S13). Note that whether or not the cursor pointer is in the position adjustment mode may be set, for example, according to the application being executed, or may be set by the user or the like.
  • the control execution unit 14 sets the cursor pointer to the position adjustment mode (S14). If the position adjustment mode is not set (NO in S13), the control execution unit 14 sets the cursor pointer to the fixed mode (S15). Specific examples of the position adjustment mode and the fixed mode will be described later.
  • the point position adjustment unit 15 adjusts the position of the cursor point in accordance with the position adjustment mode shown in S14 and the fixed mode shown in S15.
  • control execution unit 14 determines whether or not the user's finger has left the touch panel 11 (S16). If not away from the touch panel 11 (NO in S16), the display control unit 16 sets the cursor pointer at a relative position from the finger instructed by the OS (S19). Next, the display control unit 16 displays a cursor pointer at a position in the display area of the screen calculated by the point position adjustment unit 15 using the calculation formula of the position adjustment mode or the fixed mode (S18).
  • control execution unit 14 when the user's finger is removed from the touch panel 11 (NO in S16), the control execution unit 14 generates a click event and notifies the operation target program via the OS (S19). ). The display control unit 16 deletes the cursor pointer on the screen of the screen display unit 17 (S20).
  • the touch detection unit 12 detects the touch position and notifies the OS (control execution unit 14).
  • the control execution unit 14 executes touch processing (for example, click, double-click, drag operation, or context menu display) according to the situation based on the touch position obtained from the position specifying unit 13.
  • the control execution unit 14 calculates the display position of the cursor pointer based on the touch position obtained from the position specifying unit 13.
  • the display control unit 16 displays a cursor pointer at a position designated by the OS.
  • a cursor pointer (second pointer) is displayed at a predetermined position separated by several points (several centimeters) on the extension line (half line).
  • the touch position on the screen is not the operation target point, but the position (coordinates) designated by the cursor pointer is the actual operation target point.
  • the finger touch position is the point to be operated as in the conventional case, it is impossible to know appropriately where the finger is hidden, so it is only possible to specify about it. Therefore, by displaying the cursor point to be operated at an appropriate position away from the user's finger, fine adjustment of the position can be performed in real time while visually checking the cursor pointer.
  • cursor pointer display mode a specific example of the cursor pointer display mode will be described.
  • the cursor pointer is displayed based on the touch position on the screen with a finger, a stylus, or the like, and there are two types of position adjustment mode and fixed mode.
  • the type and number of modes are limited to this. It is not something. Switching between the two modes is performed in correspondence with, for example, an application being executed by the OS.
  • the angle and distance displayed automatically change depending on where the finger is located on the entire touch panel 11. Also, in the position adjustment mode, the direction in which the cursor pointer is displayed is directed to the direction close to the screen edge so that the blind spot of the operation is not possible. In addition, the angle and distance of the cursor pointer are smoothly updated without causing a large jump even if the cursor pointer is continuously shifted.
  • the displayed distance automatically changes depending on where the finger is located on the entire touch panel 11. That is, in the fixed mode, the angle with respect to the finger is fixed without changing.
  • the distance from the cursor pointer to the finger in each mode follows a predetermined length specified by the user.
  • a wide range can be specified quickly with a few finger movements, and in the fixed mode, it is easy to specify a fine point precisely. Therefore, when performing normal operations such as menus and button operations, it is convenient to use the position adjustment mode.
  • the angle at which the cursor pointer is displayed is automatically adjusted.
  • CAD Computer Aided Design
  • FIG. 5 is a diagram for explaining a display example of the cursor pointer in the first embodiment of the position adjustment mode.
  • the XY coordinate axes set with the upper left of the screen 40 included in the display processing device 10 as a reference (0, 0) are shown.
  • the touch position 41 is indicated by a dot
  • the cursor pointer 42 is indicated by a cross. The same applies to the embodiments described later.
  • the display position of the cursor pointer is adjusted using the lower end center or upper end center of the screen as a reference (predetermined point).
  • the display position (Xcursor, Ycusor) of the cursor pointer in the position adjustment mode in the first embodiment is as follows.
  • the horizontal width of the screen is X
  • the vertical width is Y
  • the touch position (first point) is (x, y).
  • a distance Lp from the touch position 41 to the center of the lower end of the screen 40 is obtained by a calculation such as the following equation (1).
  • the distance between the finger touch position (first point) 41 and the cursor pointer (second point) 42 that is actually displayed is L
  • the distance of the cursor pointer from the finger set by the user is Lu.
  • Lu ⁇ Lp, L Lu
  • Lp ⁇ Lu, L Lp.
  • the display position (Xcursor, Ycusor) of the cursor pointer is obtained by the following equations (2) and (3).
  • the angle and distance at which the cursor pointer is displayed with respect to the touch position of the user is automatically adjusted, for example, from the center of the lower end of the screen 40 as shown in FIGS.
  • the cursor pointer 42 is displayed at the position of the distance Lu extended by connecting with a straight line to the touch position 41.
  • the area cannot be pointed.
  • the finger cannot be lowered any further when the finger reaches the center of the lower end of the screen 40, so that the cursor pointer 42 is positioned above the distance Lu. It will stay.
  • the cursor pointer 42 stays at a distance away by the distance Lu and cannot approach further. In other words, as shown in FIG. 5B, it is impossible to point in the semicircular region 44 with the distance Lu as the radius from the center of the lower end of the screen 40.
  • the cursor pointer 42 it is possible to prevent an area that cannot be positioned by the cursor pointer 42 from existing in the screen 40. Accordingly, the closer to the center of the lower end of the screen 40, the closer the cursor pointer 42 is to the finger. When a point at the center of the lower end of the screen 40 is touched, the cursor pointer 42 also overlaps the touch position 41. Therefore, the area that cannot be pointed disappears from the screen 40.
  • FIG. 6 is a diagram for explaining the display position of the cursor pointer when the screen is touched with a finger.
  • the dotted line shown in FIG. 6 is a line drawn for convenience in order to explain the distance from the center of the lower end of the screen 40 (predetermined point) to the cursor pointer 42, and is not displayed on the actual screen 40.
  • the touch position of the finger 45, the cursor pointer 42, and the reference point at the center of the lower end of the screen 40 are arranged in a straight line (on a half line).
  • the cursor pointer 42 is displayed at the top of the screen 40. In this case, the cursor pointer 42 is displayed on the upper left. If the user's finger (touch position) is on the right side of the screen 40, it is automatically displayed on the upper right side. Therefore, in the first embodiment of the position adjustment mode, it is possible to point to every corner of the screen (display area).
  • the cursor pointer 42 may be hidden under the finger 45, so that the specified accuracy may not be ensured. Therefore, in the first embodiment, when the finger 45 reaches the lower end of the screen 40, the center of the upper end of the screen 40 is set as a reference point (predetermined point) with respect to the coordinate system based on the upper left corner of the screen.
  • the cursor pointer 42 is calculated by switching to the equations (4) to (6) shown in FIG.
  • L Lu when Lu ⁇ Lp
  • L Lp when Lp ⁇ Lu.
  • FIG. 7 is a diagram showing an example of switching the display position of the cursor pointer in the first embodiment of the position adjustment mode.
  • the display position of the cursor pointer 42 obtained by using the above-described equations (1) to (3) or the like is set with the lower end center as a reference point.
  • the finger touching the touch position 41-1 on the screen 40 is slid (moved) to the vicinity of the lower end of the screen 40, and the lower end of the screen 40 as shown in the touch position 41-2. Is reached, the reference point is changed, and the above-described equations (1) to (3) are switched to equations (4) to (6).
  • the cursor pointer 42-2 jumps downward outside the screen 40 (cursor pointer 42-2 ′ shown in FIG. 7A). Since this jump is virtually performed outside the screen and is not displayed on the screen 40, the user does not care and can continue the operation without feeling uncomfortable or losing sight of the cursor pointer 42. it can. Thereafter, when the user moves to the touch position 41-3 shown in FIG. 7A, the cursor pointer 42-3 is displayed at the position calculated by the corresponding calculation formula with the center of the upper end of the screen 40 as the reference point.
  • FIG. 7C shows an example of switching between the reference point and the calculation formula when the finger is moved toward the lower end center of the screen 40.
  • the user's finger touches the screen 40 (touch position 41-7), slides to the vicinity of the center of the lower end, and touches the lower end center of the screen 40 (touch position 41-8).
  • the calculation method using the currently set expressions (1) to (3) becomes the calculation method using the expressions (4) to (6), and the cursor pointer is displayed based on the center of the upper end of the screen 40. Switch to Therefore, the cursor pointer 42-8 jumps to the cursor pointer 42-8 ′. Since the jump of the cursor pointer is virtually performed outside the screen and is not displayed on the screen 40, the user does not care.
  • the cursor pointer 42-9 is displayed at the position calculated by the corresponding calculation formula with the center of the upper end of the screen 40 as the reference point. Is done.
  • FIG. 8 is a diagram for explaining a display example of the cursor pointer when the upper center of the screen is used as a reference point.
  • the center point 43 of the cursor pointer 42 is calculated using the above-described equations (4) to (6), and the calculation is performed.
  • a cursor pointer 42 is displayed at the coordinates.
  • a cursor pointer 42 is displayed below (in front of) the user's finger. Therefore, it is effective when, for example, it is desired to point a position near the lower end of the screen 40.
  • the above formulas (1) to (3) and formulas (4) to (6) are switched. . That is, in the first embodiment of the position adjustment mode, the calculation formula is switched at the lower end or the upper end of the screen 40 in a toggle manner.
  • the reference point, the expressions (1) to (3) corresponding to the reference point, and the expressions (4) to (6) are switched to change the cursor pointer 42.
  • FIG. 9 is a diagram for explaining a display example of the cursor pointer in the second embodiment of the position adjustment mode.
  • the cursor position is positioned by the calculation formula using the formulas (1) to (3) in the first embodiment described above in the point position adjustment unit 15 at the present time.
  • the point position adjusting unit 15 causes the reference point (the cursor pointer 42 to converge at the lower right corner of the screen 40). A predetermined point). Therefore, the point position adjustment unit 15 switches to the following equations (7) to (9) with respect to the coordinate system based on the upper left corner of the screen, and calculates the center point 43 of the cursor pointer 42.
  • the touch position 41 is within the area of the preset radius Lu with the reference point (in the example of FIG. 9A, the lower right corner of the screen 40) as the center.
  • the distance Lp from the reference point to the touch position 41 is applied to the distance between the finger touch position 41 and the cursor pointer 42 as in the first embodiment.
  • the point position adjustment unit 15 uses, for example, the lower left corner of the screen 40 as a reference point with respect to the coordinate system based on the upper left corner of the screen.
  • the center point 43 of the cursor pointer 42 is calculated by switching to the following equations (10) to (12).
  • FIG. 9B shows switching at the lower right corner of the screen 40.
  • the lower right corner of the screen 40 is used as a reference point (predetermined point), and the equations (7) to (7) 9) is applied, and the cursor pointer 42-1 is displayed at the calculated position.
  • the point position adjustment unit 15 switches from the current equations (7) to (9) to equations (10) to (12), and the cursor pointer The center point 43 of 42 is calculated.
  • FIG. 9B shows switching at the lower right corner of the screen 40.
  • the point position adjustment unit 15 obtains the formula (10) to (12) from the formula (10) Switching to 7) to (9), the center point 43 of the cursor pointer 42 is calculated.
  • the touch position is slid from the lower right corner of the screen 40 to the touch position 41-4
  • the lower right corner of the screen 40 is used as a reference point, and the corresponding calculation formula is used.
  • a cursor pointer 42-4 is displayed at the set position.
  • FIG. 10 is a diagram for explaining a display example of the cursor pointer with the upper left corner of the screen as a reference point.
  • the cursor position is positioned by the calculation formula using the formulas (1) to (3) in the first embodiment described above in the point position adjustment unit 15 at the present time.
  • the point position adjustment unit 15 has, for example, a coordinate system based on the upper left corner of the screen.
  • the center point 43 of the cursor pointer 42 is calculated by switching to the following equations (13) to (15) using the upper left corner as a reference point (predetermined point).
  • the finger touch position 41 and the cursor are the same as in the first embodiment described above.
  • a distance Lp from the reference point to the touch position 41 is applied to the distance to the pointer 42.
  • the point position adjustment unit 15 uses the upper right corner of the screen 40 as a reference point (predetermined point) to formulas (16) to (18). By switching, the center point 43 of the cursor pointer 42 is calculated.
  • FIG. 10B shows switching at the upper left corner of the screen 40.
  • the cursor pointer calculated by the equations (13) to (15) with the upper left of the screen 40 as a reference point according to the touch position 41-1. 42-1 is displayed.
  • the point position adjustment unit 15 switches to Expressions (16) to (18) using the upper right corner of the screen 40 as a reference point, and the cursor pointer 42
  • the center point 43 is calculated. Therefore, as shown in FIG.
  • the point position adjustment unit 15 converts the expressions (16) to (18) to (12). Switching to (15), the center point of the cursor pointer 42 is calculated. Accordingly, as shown in FIG. 10C, the cursor pointer 42-4 is displayed at the lower right of the finger with respect to the touch position 41-4.
  • the calculation formula is switched to the toggle type every time the touch position 41 is moved to the upper left corner of the screen 40.
  • the present invention is not limited to this.
  • the touch position 41 is displayed on the screen.
  • the above-described switching may be performed every time the upper right corner of 40 is moved.
  • the calculation formulas may be switched based on a preset switching order using all the corners of the screen 40.
  • FIG. 11 is a diagram for explaining a display example of the cursor pointer in the third embodiment of the position adjustment mode.
  • the cursor position is positioned by the calculation formula using the formulas (1) to (3) in the first embodiment described above in the point position adjustment unit 15 at the present time.
  • the point position adjustment unit 15 sets the reference point (predetermined point) where the cursor pointer 42 converges at the center of the left end of the screen 40. ). Therefore, the point position adjustment unit 15 switches to the following equations (19) to (21) and calculates the center point 43 of the cursor pointer 42.
  • the point position adjustment unit 15 uses the following equation (22) with the center of the right end of the screen 40 as the reference point with respect to the coordinate system based on the upper left corner of the screen. ) To (24), and the center point 43 of the cursor pointer 42 is calculated.
  • FIG. 11B shows switching at the left end of the screen 40.
  • the cursor calculated by the equations (19) to (21) with the center of the left end of the screen 40 as a reference point according to the touch position 41-1.
  • a pointer 42-1 is displayed.
  • the point position adjustment unit 15 switches to Expressions (22) to (24) using the center of the right end of the screen 40 as a reference point, and the center of the cursor pointer 42 is changed. Calculate points. Accordingly, as shown in FIG.
  • the point position adjustment unit 15 causes the expressions (22) to (24) to (19) to (19) to ( 21) and the center point 43 of the cursor pointer 42 is calculated. Accordingly, as shown in FIG. 11C, the cursor pointer 42-4 is displayed on the left side of the finger with respect to the touch position 41-4.
  • calculation formula is switched to the toggle type whenever the touch position 41 is moved to the left end of the screen 40.
  • the present invention is not limited to this. The above-described switching may be performed every time the right end is moved. In the third embodiment, calculation formulas may be switched using both the left end and the right end.
  • the point position adjustment unit 15 switches the cursor pointer displayed using, for example, the end of the screen 40 described above (upper center, lower center, corner, left end center, right end center, etc.) as a reference point. Control can be performed. As a result, there is no place that is difficult to specify without a blind spot of operation, and the entire screen can be specified smoothly.
  • the reference point is not limited to the above-described setting. For example, depending on the content displayed on the screen, for example, the upper end / lower end, the left end / right end, and not the center position of the reference point are shifted to one side. It may be set at a different position. These reference points can be set arbitrarily according to the application displayed on the screen or by user settings.
  • ⁇ About fixed mode> In the position adjustment mode described above, the cursor pointer moves around the finger around the reference point, so that a wide range in the display area of the screen can be covered with a small amount of finger movement. However, for example, when drawing with drawing software, it is easier to specify a fine dot position when the angle between the finger and the cursor pointer is fixed. Therefore, the control execution unit 14 switches from the position adjustment mode to the fixed mode, for example, when fine dot designation is required, corresponding to the application to be executed. Note that the control execution unit 14 may perform control to return to the original mode when the application ends or when the application is switched to another application.
  • Each example of cursor pointer display in the fixed mode will be described below with reference to the drawings.
  • FIG. 12 is a diagram for explaining a display example of the cursor pointer in the first embodiment of the fixed mode.
  • the display position (second point) of the cursor pointer 42 set corresponding to the touch position (first point) 41 with the lower end of the screen 40 as the reference point (predetermined point). Is obtained by a predetermined calculation formula.
  • the center point 43 of the cursor pointer 42 described above can be obtained by the following equations (25) to (27) with respect to the coordinate system based on the upper left corner of the screen.
  • Lp Yy (25)
  • Xcursor x (26)
  • Ycursor y ⁇ L (27)
  • FIG. 12 (A) it exists in a display area on a half line drawn perpendicularly from the lower end of the screen 40 toward the touch position 41 and is separated from the touch position 41 by a preset distance Lu.
  • the cursor pointer 42 is displayed with the selected position as the center point 43.
  • the distance from the touch position 41 to the lower end of the screen 40 is Lp.
  • the cursor pointer In the fixed mode, if the cursor pointer is simply set at a position above the touch position by a preset distance Lu, even if the touch position 41 arrives at the lower end of the screen, the cursor pointer is moved further downward. It cannot be moved. That is, it becomes impossible to specify an area at a distance Lu from the lower end of the screen 40. Therefore, in the first embodiment of the fixed mode, the value of the distance Lu is adjusted when the touch position 41 enters the area of the distance Lu from the lower end of the screen 40, as in the position adjustment mode described above. To eliminate the area that cannot be pointed.
  • the distance Lu between the touch position 41 and the cursor pointer 42 is set to the lower end of the screen 40 from the touch position 41 as shown in FIG.
  • the distance Lp to is applied. That is, when the touch position is within the area from the lower end of the screen 40 to the distance Lu, the distance Lu is reduced to the same distance as Lp.
  • the cursor pointer 42 can be specified, and there is no area that cannot be specified on the screen 40.
  • the reference point (predetermined point) is switched in the same manner as the position adjustment mode described above.
  • the point position adjustment unit 15 uses a point intersecting perpendicularly from the touch position on the screen 40 to the upper end side of the screen 40 as a reference point (predetermined point) with respect to the coordinate system based on the upper left corner of the screen. It is controlled by the following calculation formulas (28) to (30).
  • Lp Y ⁇ y (28)
  • Xcursor x (29)
  • Ycursor y + L (30)
  • FIG. 12C shows switching at the lower end of the screen 40.
  • a position that is lowered vertically from the touch position 41-1 to the lower edge of the screen 40 is used as a reference point (predetermined point), and the touch position 41- Expressions (25) to (27) are applied to 1, and the cursor pointer 42-1 is displayed at the calculated position.
  • the point position adjustment unit 15 converts the current expression (25) to (27) to expression (28).
  • the center point of the cursor pointer 42 is calculated.
  • the cursor pointer 42-2 is set with the point that intersects the upper end side of the screen 40 extending vertically. Therefore, after that, when the user's finger is slid to the touch position 41-3 on the screen 40, the cursor pointer 42-3 is displayed at the position shown in FIG.
  • the point position adjustment unit 15 causes the current equations (28) to ( The central point of the cursor pointer 42 is calculated by switching from 30) to equations (25) to (27).
  • the cursor pointer 42-5 is set with the point extending perpendicularly to the lower edge of the screen 40 as the reference point. Therefore, when the user's finger is subsequently slid to the touch position 41-6 on the screen 40, the cursor pointer 42-6 is displayed at the position shown in FIG.
  • the position of the cursor pointer is acquired by switching the reference point and the mathematical expression by touching the lower end of the screen.
  • the first embodiment of the fixed mode is limited to this. is not.
  • the same reference point and formula switching process may be performed by touching the upper end of the screen, or the reference point and formula switching process may be performed using both the upper end and the lower end of the screen 40.
  • FIG. 13 is a diagram for explaining a display example of the cursor pointer in the second embodiment of the fixed mode.
  • the point position adjustment unit 15 switches to the following equations (31) to (33) with respect to the coordinate system based on the upper left corner of the screen.
  • Lp X ⁇ x (31)
  • Xcursor x ⁇ L (32)
  • Ycursor y (33)
  • Lu ⁇ Lp, L Lu
  • Lp ⁇ Lu, L Lp.
  • the distance from the right end of the screen 40 to the touch position (x, y) 41 is Lp
  • the distance from the touch position 41 to the center point (Xcursor, Ycursor) 43 of the cursor pointer 42 is Lu.
  • the cursor pointer position with respect to the touch position 41 is calculated using the calculation formulas (31) to (33) described above, and the cursor pointer 42 is displayed at the calculated coordinates.
  • the touch position 41 and the cursor pointer 42 are the same as in the first embodiment of the fixed mode described above. Is the same as the distance Lp from the touch position 41 to the right end of the screen 40.
  • the switching of the expression at the right end of the screen 40 is performed in a toggle manner.
  • the expressions (31) to (33) Expressions (34) to (36) are sequentially switched.
  • FIG. 13C shows switching at the right end of the screen 40.
  • the position that descends perpendicularly from the touch position 41-1 to the right edge of the screen 40 is taken as a reference point (predetermined point), and the touch position 41- Expressions (31) to (33) are applied to 1, and the cursor pointer 42-1 is displayed at the calculated position.
  • the point position adjustment unit 15 converts the current expression (31) to (33) to expression (34).
  • the center point of the cursor pointer 42 is calculated.
  • the cursor pointer 42-2 is set with the point extending perpendicularly to the left edge of the screen 40 as the reference point. Accordingly, when the user's finger is subsequently slid to the touch position 41-3 on the screen 40, the cursor pointer 42-3 is displayed at the position shown in FIG.
  • the point position adjustment unit 15 causes the current expressions (33) to ( The central point of the cursor pointer 42 is calculated by switching from 36) to equations (31) to (33).
  • the cursor pointer 42-5 is set with the point that intersects the right end side of the screen 40 extending vertically. Accordingly, when the user's finger is subsequently slid to the touch position 41-6 on the screen 40, the cursor pointer 42-6 is displayed at the position shown in FIG.
  • the position of the cursor pointer is acquired by switching the reference point and the mathematical expression by touching the right edge of the screen.
  • the second embodiment of the fixed mode is limited to this. is not.
  • the same reference point and formula switching process may be performed by touching the left end of the screen, or the reference point and formula switching process may be performed using both the right end and the left end of the screen 40.
  • Each embodiment of the fixed mode described above can be combined with some or all of the embodiments. In this way, by switching between the four directions (lower end, upper end, right end, left end) even in the fixed mode, there is no place that is difficult to specify without a blind spot of operation, and the entire screen can be specified smoothly. Also, some or all of the above-described embodiments of the position adjustment mode and the respective embodiments of the fixed mode can be combined. Therefore, for example, the cursor pointer may be displayed at the corresponding position by switching the reference point or the calculation formula in a predetermined order in accordance with each embodiment of each mode by the various switching operations described above.
  • FIG. 14 is a diagram illustrating an example of the shape of the cursor pointer.
  • FIG. 15 is a diagram for explaining the display position of the cursor pointer.
  • cursor pointers such as the cursor pointers 42a to 42c shown in FIG. 14 can be displayed at predetermined positions with respect to the finger 45, but the type and size of the cursor pointer are not limited thereto. Is not to be done.
  • the cursor pointer 42 is displayed at a position away from the finger 45 in the display area of the screen 40, so that the cursor pointer 42 can be easily positioned at the position to be designated. It can be positioned appropriately at the position where
  • the display position of the cursor pointer 42 in the present embodiment is the cursor pointers 42a to 42-e with respect to the finger position (for example, the fingers 45a to 45e) with respect to the reference point (predetermined point). As shown, it can be displayed in any direction. These display positions can be adjusted by the above-described position adjustment mode or fixed mode, and are displayed at appropriate positions according to the type of cursor pointer, the type of application to be executed, the operation content, and the like.
  • the cursor pointer 42 is displayed, and when the finger 45 is released from the screen 40, the display of the cursor pointer 42 disappears.
  • the cursor pointer 42 is only displayed by simply touching the screen 40 with the finger 45, and the click process must be made possible by the next action.
  • the touched finger 45 is slid on the screen 40, and the position of the cursor pointer 42 that moves in response to the movement of the finger 45 is set as an operation target (for example, an icon or button). ),
  • the finger 45 is released from the screen 40.
  • This operation is a standard click operation, and when the finger 45 is released, the point is clicked.
  • the control execution unit 14 performs control to execute an application, a program, or the like assigned to the button.
  • the double click operation is performed by performing again the operation of releasing the finger 45 while the cursor pointer 42 is on the button continuously within a predetermined time after the finger 45 is released from the screen 40. It can also be done.
  • the target start point is designated by moving the cursor pointer 42 while the first finger is placed on the screen 40 of the touch panel 11, and the screen 40 is designated by the next finger.
  • the range can be designated by pressing and releasing and then moving the finger 45 of the starting point while touching the screen 40.
  • the finger 45 is released from the screen 40 or the screen 40 is pressed again with the next finger, and this is the end point and the designated range is determined.
  • the start point position and the end point position of the range on the screen 40 are specified with certainty. This makes it difficult for the user to make a specification error, improving operability.
  • a context menu is displayed.
  • any finger may be used.
  • these operations can be performed similarly for right-handed or left-handed people.
  • the finger is slid on the screen 40 of the touch panel 11 in order to specify the position with one finger. This is to prevent it from becoming difficult to determine from the OS which finger coordinates should be specified if a plurality of fingers are slid while being simultaneously attached to the touch screen.
  • the cursor pointer 42 can be finely adjusted at any time, and processing is performed while checking with the eyes, so that the position is not mistaken. Further, in the present embodiment, it is possible to perform a process such as a click with the same accuracy as an operation on a pointing device such as a mouse.
  • a conventional pointing device such as a touch pad provided in a mouse or a notebook PC can be used together. Even if these devices are connected, by placing a finger on the screen 40, the cursor pointer 42 moves to the position of the finger, and operation processing with the finger can be performed.
  • FIG. 16 is a diagram for explaining a first application example of the present embodiment.
  • a document editing application installed on a smartphone or a tablet terminal which is an example of a display processing device is used to copy (copy) and paste (paste) text or the like. ) Is shown.
  • the present embodiment when specifying a copy range, it is difficult and difficult to specify the start position and the end position in units of one character. Therefore, by applying the present embodiment to copy and paste, it is possible to specify a more detailed point position, for example, it is possible to specify in dot units on the screen.
  • the first application example is not limited to copy and paste, and cutting (cutting) and cutting and pasting can also be performed. According to the first application example, the work efficiency of the user is improved, and the editing efficiency of sentences and the like is also improved.
  • FIGS. 16A to 16C show examples of specifying the text copy range according to the first embodiment of the position adjustment mode
  • the examples of FIGS. 16D to 16F are examples of the first fixed mode.
  • designated of the copy range of the text by an Example is shown.
  • text data is displayed on the screen 40 (the letter “A” shown in FIGS. 16A to 16F corresponds to one character such as a predetermined Chinese character or alphanumeric character).
  • whether to use the position adjustment mode or the fixed mode may be set according to, for example, the type of application, or may be set in advance by the user.
  • the first finger 45-1 is used to align the cursor pointer 42-1 with the start point of the copy target and the second finger 45-2 is used to display the screen.
  • the copy area designation mode is set.
  • a drag operation is performed by sliding the first finger 45-1 while touching the screen 40.
  • the cursor pointer 42-2 is positioned at the end point position and the finger 45-1 is released, the drag range (designated range) is reached. ) 50 is confirmed.
  • FIG. 16 (B) an example is shown in which the drag range of the sentence is specified while switching the cursor display in the position adjustment mode.
  • the center of the upper end of the screen is set as a reference point (predetermined point) and the calculation formula for the center of the corresponding cursor pointer is used. Switch to display the cursor pointer at the calculated position.
  • the cursor pointer 42-2 is displayed on the lower right side of the touch position of the finger 45-1, it is easy to specify the lower part of the screen 40, and an appropriate drag range 50 is specified. can do.
  • FIG. 16C shows an example of context menu display and selection in the position adjustment mode.
  • the context menu 51 is displayed when the screen 40 is simultaneously tapped with three fingers 45-1 to 45-3. Therefore, when the screen 40 is touched with one finger 45-1, a target item is selected from the context menu and the finger 45-1 is released, the menu function is selected and executed.
  • an arrow cursor pointer is displayed in order to select an item from the context menu, but the type of the cursor pointer is not limited to this.
  • FIG. 16D shows designation of a text copy range in the fixed mode.
  • the first finger 45-1 is used to align the cursor pointer 42-1 with the start point of the copy target and the second finger 45-2 is used to display the screen.
  • the copy area designation mode is set.
  • a drag operation is performed by sliding the first finger 45-1 while touching the screen 40.
  • the cursor pointer 42-2 is positioned at the end point and the finger 45-1 is released, the drag range 50 is fixed. To do.
  • FIG. 16 (E) an example is shown in which the drag range of the sentence is designated while switching the cursor display in the fixed mode.
  • the point lowered vertically from the touch position to the upper end of the screen is set as a reference point (predetermined point) and correspondingly.
  • the cursor pointer 42-2 is displayed at a position close to the touch position of the finger 45-1, so that it cannot be hidden by the finger 45. Can be guessed.
  • the drag range 50 is determined within the range of the cursor pointers 42-1 to 42-2.
  • FIG. 16F shows an example of context menu display and selection in the fixed mode.
  • the context menu 51 is displayed by tapping the screen 40 with three fingers 45-1 to 45-3 at the same time. Therefore, when the screen 40 is touched with one finger 45-1, a target item is selected from the context menu and the finger 45-1 is released, the menu function is selected and executed.
  • an arrow cursor pointer is displayed to select an item from the context menu.
  • the type of the cursor pointer is not limited to this.
  • FIG. 17 is a diagram for describing a second application example of the present embodiment.
  • the second application example shows an example in which a figure is drawn using a figure drawing application installed in advance in the display processing apparatus 10 in the position adjustment mode or the fixed mode.
  • FIG. 17A shows a drawing example using the first embodiment of the position adjustment mode
  • FIG. 17B shows a drawing example using the first embodiment of the fixed mode.
  • Whether to use the position adjustment mode or the fixed mode may be set according to the type of application, for example, or may be set in advance by the user.
  • drawing can be performed while looking at the cursor pointer 42, so that drawing is easy.
  • the direction of the cursor pointer 42 and the finger 45 is constant (in the example of FIG. 17B, above the finger 45). Easy to draw accurately.
  • the display condition (for example, the reference point, the calculation formula, etc.) of the cursor pointer 42 can be easily switched by sliding (moving) the touch position or the cursor pointer 42 to the edge of the screen. Can do. Accordingly, the entire area of the screen 40 can be appropriately selected.
  • FIG. 18 is a diagram for explaining a third application example of the present embodiment.
  • the third application example in the position adjustment mode or the fixed mode, an example is shown in which a program is created using a programming application that is preinstalled in the display processing device 10.
  • IDE integrated development environment
  • FIG. 18A shows an example of cursor display using the first embodiment of the position adjustment mode
  • FIG. 18B shows an example of cursor display using the first embodiment of the fixed mode.
  • Whether to use the position adjustment mode or the fixed mode may be set according to the type of application, for example, or may be set in advance by the user.
  • the display condition of the cursor pointer 42 can be easily switched by sliding the touch position or the cursor pointer 42 to the edge of the screen, and the entire area of the screen 40 is appropriately selected. Can do.
  • FIG. 19 is a diagram for explaining a fourth application example of the present embodiment.
  • the fourth application example in the position adjustment mode or the fixed mode, an example of creating a detailed design drawing of a part such as a mechanical device on the screen 40 using a CAD application installed in the display processing device 10 is shown. .
  • FIG. 19A shows a cursor display example of the first embodiment in the position adjustment mode
  • FIG. 19B shows a cursor display example of the first embodiment in the fixed mode.
  • Whether to use the position adjustment mode or the fixed mode may be set according to the type of application, for example, or may be set in advance by the user.
  • 19A and 19B show an example in which a center line is drawn on the screen 40 by movement from the touch position 41-1 to the touch position 41-2.
  • a design drawing it is necessary to draw a drawing with a precise position specified.
  • the display position of the cursor may be hidden by a finger in the past, it has been difficult to perform precise work. Therefore, by applying this embodiment, a precise drawing can be drawn by a CAD program with fine position designation.
  • the position of the cursor pointer 42 is displayed based on the center of the lower end of the screen 40. Becomes easier. Therefore, a precise drawing can be created in the position adjustment mode.
  • the display position of the cursor pointer 42 with respect to the position of the finger 45 is fixed, so that the user can easily perform positioning.
  • the display condition of the cursor pointer 42 can be easily switched by sliding the touch position and the cursor pointer 42 to the edge of the screen, and the entire area of the screen 40 is appropriately selected. Can do.
  • FIG. 20 is a diagram for explaining a fifth application example of the present embodiment.
  • the fifth application example in the position adjustment mode or the fixed mode, an example is shown in which fine cell designation is executed on the screen using spreadsheet software installed in the display processing device 10.
  • the cells of the spreadsheet software are made smaller, it is difficult to distinguish from neighboring cells when selecting or filling in, resulting in erroneous operation. Further, when the cell itself is enlarged, the number of cells that can be displayed on the screen of a terminal with a narrow screen (for example, a smartphone, a tablet terminal, etc.) is reduced, and the amount of data displayed is reduced.
  • a terminal with a narrow screen for example, a smartphone, a tablet terminal, etc.
  • the operation efficiency is improved because the cursor pointer 42 can be positioned at a target position without any trouble in operation even if the cell is reduced.
  • FIG. 20A shows an example of cell selection in the first embodiment in the position adjustment mode
  • FIG. 20B shows an example of cell selection in the first embodiment in the fixed mode.
  • Whether to use the position adjustment mode or the fixed mode may be set according to the type of application, for example, or may be set in advance by the user.
  • FIG. 20 A
  • cell specification of spreadsheet software in the position adjustment mode is shown.
  • the position of the cursor pointer 42 is displayed at a position calculated by a predetermined calculation formula corresponding to the touch position 41 with the center of the lower end of the screen 40 as a reference point (predetermined point).
  • predetermined point a reference point
  • FIG. 20B cell specification of spreadsheet software in the fixed mode is shown.
  • the display position of the cursor pointer 42 with respect to the user's finger 45 is fixed (in the example of FIG. 20B, the position above the finger 45). Can be made easier.
  • the display condition of the cursor pointer 42 can be easily switched by sliding the touch position and the cursor pointer 42 to the edge of the screen, and the entire area of the screen 40 is appropriately selected. Can do.
  • the point position adjustment unit 15 may calculate the center point of the cursor pointer 42 without switching a predetermined calculation formula by arranging buttons or the like displayed on the screen 40.
  • FIG. 21 is a diagram showing a cursor display example using button arrangement.
  • a button for example, a HELP button
  • the screen area other than the button 53 can be designated without any problem because the cursor pointer 42 is separated from the finger 45 and the cursor pointer 42 can be seen as shown in FIG.
  • the cursor pointer is hidden under the finger by moving the touch position 41 to the position of the button 53, but there is no problem because the button 53 can be easily selected. Therefore, in such a case, the point position adjustment unit 15 executes various controls without switching. As described above, by arranging the button 53 according to the reference point, it is possible to point to every corner of the screen 40 without switching the reference point.
  • buttons 53 are arranged side by side from the touch position 41 to the lower end of the screen 40.
  • the cursor pointer 42 is hidden by the finger 45, but it is possible to point to every corner of the screen without switching the reference point.
  • the mode may be switched, the reference point and the calculation formula may be switched so that the button 53 can be pressed.
  • the display control unit 16 may change the display layout or the like of the buttons 53 and the like according to whether the position adjustment mode or the fixed mode is selected.
  • the operability of the display processing device 10 can be improved.
  • the dot unit can be designated with the same accuracy and ease as the mouse. Similar to a UI such as an OS using a mouse (for example, Windows (registered trademark), Linux (registered trademark), etc.), the position can be finely manipulated.
  • An interface that enables the same precision and speed as a mouse can be realized by touch screen operation of a finger.
  • the calculation formula used in each embodiment is based on the upper left corner of the screen as a reference (origin), the calculation formula corresponding to the origin is set at another position.
  • the first point described above is not limited to the touch position described above, and the second point described above is not limited to the display position (for example, the center point) of the cursor pointer.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

　表示処理装置において、画面を表示する表示部と、受け付けた操作入力に対応する前記画面の表示領域内の第１のポイントを特定する位置特定部と、前記表示領域の端部に設定される所定ポイントから、前記第１のポイントへの半直線上の前記表示領域内に存在し、前記第１のポイントから所定の距離にある第２のポイントを前記表示領域に識別可能に表示する表示制御部とを有する。

Description

表示処理装置、表示処理方法、及び表示処理プログラム
　本願は、表示処理装置、表示処理方法、及び表示処理プログラムに関する。
　タッチパネル等が設けられた表示処理装置は、操作者（以下、「ユーザ」という）がタッチパネル上で所定の操作を行うことで、その操作に対応する情報を受け付ける。上述したタッチパネルの操作では、ユーザがタッチパネルの画面をタッチしたことによる操作入力（ポイント）によりポイントされた表示画面の位置に対応する座標を指定座標として認識する。そして、表示処理装置は、認識した座標に対応して画面に表示されたアイコン等を選択したり、アプリケーション（以下、「アプリ」と略称する）の実行等を行う。
特開平１１－２４８４１号公報 特開平８－７６９２７号公報
　しかしながら、ポイントされた表示画面の位置に対応する座標を指定座標とする場合には、ポイントされている位置と、指定座標の表示位置が一致又は近接しているため、ポイントしている間はユーザの指等に隠れて指定座標が隠れてしまう。そのため、ユーザは、指定座標の画面上での位置を直接目視で確認することができなかった。特に、ユーザが指でポイントする態様では、スタイラス等でポイントする場合と比較して、指定座標の画面上での位置を直接目視で確認することが困難である。
　そこで、例えばポイントされた表示画面の位置に対応する座標から所定以上離れた座標を指定座標とすることで、ポイントされている状態でも指定座標の画面上での位置を直接目視で確認可能とすることが考えられる。しかしながら、上述したように、ポイントされた表示画面の位置に対応する座標から所定以上離れた座標を指定座標とする場合には、例えば画面端付近に位置する座標を指定する場合に、ポイントすべき座標が表示画面外となってしまう。
　１つの側面では、本発明は、表示処理装置の操作性を向上させることを目的とする。
　一態様における表示処理装置は、画面を表示する表示部と、受け付けた操作入力に対応する前記画面の表示領域内の第１のポイントを特定する位置特定部と、前記表示領域の端部に設定される所定ポイントから、前記第１のポイントへの半直線上の前記表示領域内に存在し、前記第１のポイントから所定の距離にある第２のポイントを前記表示領域に識別可能に表示する表示制御部とを有する。
　表示処理装置の操作性を向上させることができる。
本実施形態における表示処理装置の機能構成例を示す図である。 本実施形態における表示処理装置のハードウェア構成例を示す図である。 表示処理装置における処理の一例を示すフローチャート（その１）である。 表示処理装置における処理の一例を示すフローチャート（その２）である。 位置調整モードの第１実施例におけるカーソルポインタの表示例を説明するための図である。 指で画面をタッチした場合のカーソルポインタの表示位置を説明するための図である。 位置調整モードの第１実施例におけるカーソルポインタの表示位置の切り替え例を示す図である。 画面の上端中央を基準点とした場合のカーソルポインタの表示例を説明するための図である 位置調整モードの第２実施例におけるカーソルポインタの表示例を説明するための図である。 画面の左上の角を基準点としたカーソルポインタの表示例を説明するための図である。 位置調整モードの第３実施例におけるカーソルポインタの表示例を説明するための図である。 固定モードの第１実施例におけるカーソルポインタの表示例を説明するための図である。 固定モードの第２実施例におけるカーソルポインタの表示例を説明するための図である。 カーソルポインタの形状の一例を示す図である。 カーソルポインタの表示位置を説明するための図である。 本実施形態の第１適用例を説明するための図である。 本実施形態の第２適用例を説明するための図である。 本実施形態の第３適用例を説明するための図である。 本実施形態の第４適用例を説明するための図である。 本実施形態の第５適用例を説明するための図である。 ボタン配置を利用したカーソル表示例を示す図である。
　以下、図面に基づいて実施形態を説明する。
　＜表示処理装置の機能構成例＞
　図１は、本実施形態における表示処理装置の機能構成例を示す図である。図１に示す表示処理装置１０は、例えば入力制御を行う情報機器であり、例えばタブレット端末、スマートフォン、Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ（ＰＤＡ）、携帯電話等である。また、表示処理装置１０は、例えばＰＣやサーバ、ゲーム機器、音楽再生装置等でもよい。
　表示処理装置１０は、タッチパネル１１と、タッチ検出部１２と、位置特定部１３と、制御実行部１４と、ポイント位置調整部１５と、表示制御部１６と、画面表示部（表示部）１７とを有する。
　タッチパネル１１は、表示処理装置１０に対する各種の情報の入力を受け付ける入力部である。タッチパネル１１は、画面に接触したユーザの指からの微電流や、指やスタイラス等による押圧を検知することで、指の位置情報等を取得する。タッチパネル１１は、例えば抵抗膜方式や静電容量方式、赤外線方式、電磁誘導方式等を利用することで指やスタイラス等の位置を検出することができるが、これに限定されるものではない。
　また、タッチパネル１１は、同時に複数の指の位置等を取得することができる。また、タッチパネル１１は、時間の経過に伴う指の移動を追跡して入力情報を取得することができる。
　タッチパネル１１は、例えばディスプレイ（画面表示部１７）と一体にタッチパネルディスプレイとして構成してもよい。タッチパネル１１により入力された情報に基づく制御内容が、ディスプレイに表示される。
　センサ制御部の一例であるタッチ検出部１２は、ユーザの指やスタイラス等がタッチパネル１１上に接触（タッチ）したことを検出する。タッチ検出部１２は、タッチパネル１１上をユーザが指等でタッチ操作したことを受け付けると、そのタッチ位置やタッチ回数、指の移動方向等の入力情報を取得する。
　なお、タッチ検出部１２は、例えばある時点における指の位置（座標）だけでなく、時間経過に伴う数秒間隔での指の移動を追跡し、その追跡内容（移動経路）から動作内容を取得してもよい。これにより、例えばスワイプ動作（例えば、画面に触れた状態で指を滑らせる（移動させる）動作）やフリック動作（例えば、画面を軽くはらう動作）、タップ、指を画面上で回転させる等の各種操作を検出することができる。
　位置特定部１３は、タッチ検出部１２からの検出結果に基づき、受け付けた操作入力に対応するタッチ位置（第１のポイント）を特定する。また、位置特定部１３は、操作入力と共に座標指定がなされた場合、カーソルポインタの位置をポイント指定により指定されるポイントとする。
　制御実行部１４は、位置特定部１３から得られるタッチ検出部１２の検出結果に基づく位置情報（座標）から、アプリやプログラム等の起動や終了、切り替え、パラメータの設定、その他の各種動作内容を制御する。例えば、制御実行部１４は、タッチ検出部１２で検出されたタッチ位置に基づいて画面表示部１７の表示領域内に表示されたアイコンやボタンの選択や移動、コンテンツのスクロール等を行う。また、制御実行部１４は、コンテンツ内に含まれるチェックボックスやテキストボックス等の入力領域の選択、文字入力等を制御する。上述した各種制御は、例えば表示制御部１６が有する各種アプリやプログラム等により実行される。
　例えば、制御実行部１４は、表示処理装置１０に予め実行可能にインストールされている複数のアプリの中から、位置特定部１３による制御内容に対応させた所定のアプリを実行する。なお、アプリとは、例えば文書編集や表計算等を行うソフトウェアでもよく、スワイプ動作やタップ動作に対するスクロールや画面変更、ブラウザの立ち上げ等の一般的な動作を行う基本的なアプリであってもよい。
　なお、各種アプリは、例えばＡｎｄｒｏｉｄ（登録商標）やＷｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）等のＯｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ（ＯＳ）上で実行されるが、これに限定されるものではない。
　ポイント位置調整部１５は、ユーザのタッチ位置（第１のポイント）に応じてカーソルポインタの表示位置を調整する。例えば、ポイント位置調整部１５は、画面の表示領域の端部に設定される基準点（所定ポイント）から、タッチ位置への半直線上の表示領域内に存在し、そのタッチ位置から所定の距離にある点を所定の計算式等により算出する。また、ポイント位置調整部１５は、得られた点（第２のポイント）をカーソルポインタの表示位置とする。
　ポイント位置調整部１５は、タッチ位置との距離が、タッチ位置と所定ポイントとの距離よりも大きくなる表示領域内の第２のポイントを設定する。また、ポイント位置調整部１５は、タッチ位置（第１のポイント）から所定ポイントまでの距離が所定の値より小さい場合、タッチ位置からカーソルポインタまでの距離を、所定ポイントからタッチ位置までの距離に応じて変化させる。
　なお、ポイント位置調整部１５は、タッチ位置が予め設定された位置にある場合に、所定ポイントを変更してもよい。例えば、ポイント位置調整部１５は、位置特定部１３により得られるタッチ位置が表示領域の端部に到達した場合等の所定の条件に基づいて、所定ポイントの位置を変更することができるが、条件についてはこれに限定されるものではない。
　ポイント位置調整部１５は、設定されたカーソルポインタの表示モード（例えば、位置調整モード、固定モード等）や表示モードに対応して設定された計算式等に基づいて画面表示部１７の画面に表示されるカーソルポインタの表示位置を調整する。
　表示制御部１６は、制御実行部１４により得られる表示内容を表示すると共に、ポイント位置調整部１５により調整された表示領域内の位置（座標）にカーソルポインタを識別可能に表示する。
　画面表示部１７は、表示制御部１６により制御された表示内容を画面に表示する出力部である。なお、画面表示部１７は、タッチパネル１１と一体として構成されていてもよい。この場合、タッチパネル１１と画面表示部１７とが一体型の入出力部となる。上述したように、本実施形態によれば、表示処理装置１０におけるユーザ入力の操作性を向上させることができる。
　＜表示処理装置１０のハードウェア構成例＞
　図２は、本実施形態における表示処理装置のハードウェア構成例を示す図である。図２の例において、表示処理装置１０は、マイクロフォン（以下、「マイク」という）２１と、スピーカ２２と、表示部２３と、操作部２４と、センサ部２５と、電力部２６と、無線部２７と、近距離通信部２８と、補助記憶装置２９と、主記憶装置３０と、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（ＣＰＵ）３１と、ドライブ装置３２とを有し、これらはシステムバスＢで相互に接続されている。
　マイク２１は、ユーザが発した音声や、その他の音を入力する。スピーカ２２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク２１及びスピーカ２２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。
　表示部２３は、ユーザに対してＯＳや各種アプリで設定された画面を表示する。また、表示部２３は、上述したタッチパネル１１と画面表示部１７とを有するタッチパネルディスプレイ等でもよい。その場合、表示部２３は、入出力部としての機能を有する。
　表示部２３は、例えばＬｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。
　操作部２４は、表示部２３の画面に表示された操作ボタンや表示処理装置１０の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。
　ユーザは、例えば表示部２３の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部２３により画面上のタッチ位置が検出される。また、表示部２３は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。
　センサ部２５は、表示処理装置１０のある時点又は継続的な動作を検出する。例えば、センサ部２５は、表示処理装置の傾き角度、加速度、方向、位置等を検出するが、これに限定されるものではない。なお、センサ部２５としては、例えば傾きセンサや加速度センサ、ジャイロセンサ、Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ（ＧＰＳ）等であるが、これに限定されるものではない。
　電力部２６は、表示処理装置１０の各構成に対して電力を供給する。電力部２６は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部２６は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。
　無線部２７は、例えばアンテナ等を用いて基地局からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。
　近距離通信部２８は、例えば赤外線通信やＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の装置と近距離通信を行う。上述した無線部２７及び近距離通信部２８は、他の装置とのデータの送受信を可能とする通信インタフェースである。
　補助記憶装置２９は、例えばＨａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段である。補助記憶装置２９は、各種のプログラム等を記憶し、必要に応じてデータの入出力を行う。
　主記憶装置３０は、ＣＰＵ３１からの指示により補助記憶装置２９から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置３０は、例えばＲｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ（ＲＡＭ）等であるが、これに限定されるものではない。
　ＣＰＵ３１は、ＯＳ等の制御プログラム、及び主記憶装置３０に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、入力制御における各処理を実現する。なお、プログラム実行中に必要な各種情報等は、補助記憶装置２９から取得し、実行結果等を格納してもよい。
　ドライブ装置３２は、例えば記録媒体３３等を着脱自在にセットすることができ、セットした記録媒体３３に記録された各種情報を読み込んだり、所定の情報を記録媒体３３に書き込むことができる。ドライブ装置３２は、例えば媒体装填スロット等であるが、これに限定されるものではない。
　記録媒体３３は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体３３は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体３３は、Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ（ＵＳＢ）メモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。
　本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、表示処理プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示処理等を実現することができる。また、上述した表示処理に対応する表示処理プログラムは、例えば装置上で常駐している状態であってもよく、起動指示により起動させてもよい。
　＜表示処理装置１０における処理の一例＞
　次に、本実施形態における表示処理装置１０における処理の一例について、フローチャートを用いて説明する。図３、図４は、表示処理装置における処理の一例を示すフローチャート（その１、その２）である。
　図３、図４の例において、表示処理装置１０のタッチ検出部１２は、ユーザのタッチパネル１１へのタッチ操作を検出する（Ｓ０１）。次に、表示処理装置１０の位置特定部１３は、タッチ操作からユーザの指によるタッチ位置（指定座標）を特定し（Ｓ０２）、特定したタッチ位置を制御実行部１４で実行されるＯＳ等に通知する（Ｓ０３）。
　次に、制御実行部１４は、タッチ位置の情報から、カーソルポインタ表示位置を計算して最新の操作位置を記憶する（Ｓ０４）。ここで、制御実行部１４は、クリック操作か否かを判断する（Ｓ０５）。なお、クリック操作とは、例えば操作入力により座標指定を行うことを意味し、例えばユーザの指で行うタップ操作等に相当する。
　制御実行部１４は、クリック操作である場合（Ｓ０５において、ＹＥＳ）、クリックイベントを発生させ、記憶していた操作位置をＯＳ経由で操作対象プログラムに通知する（Ｓ０６）。
　Ｓ０６の処理後、又は、Ｓ０５の処理においてクリック操作でない場合（Ｓ０５において、ＮＯ）、制御実行部１４は、ダブルクリック操作か否かを判断する（Ｓ０７）。ダブルクリック操作でない場合（Ｓ０７において、ＹＥＳ）、制御実行部１４は、ダブルクリックイベントを発生させ記憶していた操作位置をＯＳ経由で操作対象プログラムに通知する（Ｓ０８）。
　Ｓ０８の処理後、又は、Ｓ０７の処理においてダブルクリック操作でない場合（Ｓ０７において、ＮＯ）、制御実行部１４は、ドラッグ操作か否かを判断する（Ｓ０９）。ドラッグ操作である場合（Ｓ０９において、ＹＥＳ）、制御実行部１４は、ドラッグ操作イベントを発生させ操作範囲をＯＳ経由で操作対象プログラムに通知する（Ｓ１０）。
　Ｓ１０の処理後、又は、Ｓ０９の処理においてドラッグ操作でない場合（Ｓ０９において、ＮＯ）、制御実行部１４は、アイコン等で画面上に表示されたコンテキストメニュー操作か否かを判断する（Ｓ１１）。コンテキストメニュー操作である場合（Ｓ１１において、ＹＥＳ）、制御実行部１４は、コンテキストメニューを表示させユーザにメニューを選択させる（Ｓ１２）。
　Ｓ１２の処理後、又は、Ｓ１１の処理においてコンテキストメニュー操作でない場合（Ｓ１１において、ＮＯ）、制御実行部１４は、カーソルポインタが位置調整モードの設定か否かを判断する（Ｓ１３）。なお、カーソルポインタが位置調整モードであるか否かの判断は、例えば実行しているアプリに応じて設定してもよく、ユーザ等により設定されていてもよい。
　位置調整モードの設定である場合（Ｓ１３において、ＹＥＳ）、制御実行部１４は、カーソルポインタを位置調整モードに設定する（Ｓ１４）。また、制御実行部１４は、位置調整モード設定でない場合（Ｓ１３において、ＮＯ）、カーソルポインタを固定モードに設定する（Ｓ１５）。なお、位置調整モード及び固定モードの具体例については、後述する。ポイント位置調整部１５は、上述したＳ１４に示す位置調整モード、Ｓ１５に示す固定モードに対応させて、カーソルポイントの位置を調整する。
　次に、制御実行部１４は、ユーザの指がタッチパネル１１から離れたか否かを判断する（Ｓ１６）。タッチパネル１１から離れていない場合（Ｓ１６において、ＮＯ）、表示制御部１６は、ＯＳから指示された指からの相対位置にカーソルポインタを設定する（Ｓ１９）。次に、表示制御部１６は、ポイント位置調整部１５により位置調整モードや固定モードの計算式により計算された画面の表示領域内の位置にカーソルポインタを表示する（Ｓ１８）。
　また、制御実行部１４は、Ｓ１６の処理において、ユーザの指がタッチパネル１１から離れた場合（Ｓ１６において、ＮＯ）、クリックイベントを発生させ、操作位置をＯＳ経由で操作対象プログラムに通知する（Ｓ１９）。また、表示制御部１６は、画面表示部１７の画面上のカーソルポインタを消去する（Ｓ２０）。
　なお、上述したＳ０５，Ｓ０７，Ｓ０９，Ｓ１１の処理における判断処理の順序においては、これに限定されるものではなく、判断順序を任意に入れ替えてもよい。
　＜カーソルポインタの表示制御処理の具体例＞
　次に、本実施形態におけるカーソルポインタの表示制御処理の具体例について説明する。タッチパネル１１を指で触れると、タッチ検出部１２がそのタッチ位置を検出し、ＯＳ（制御実行部１４）に通知する。制御実行部１４は、位置特定部１３から得られるタッチ位置に基づいて状況に応じたタッチ処理（例えばクリック、ダブルクリック、ドラッグ操作、又はコンテキストメニュー表示等）を実行する。また、制御実行部１４は、位置特定部１３から得られるタッチ位置に基づいて、カーソルポインタの表示位置を計算する。表示制御部１６は、ＯＳから指示された位置にカーソルポインタを表示する。
　本実施形態では、指でタッチパネル１１に触れたときに、表示領域の端部（辺縁上）の所定ポイントを基準とし、所定ポイントから指のタッチ位置（第１のポイント）とを結ぶ線の延長線上（半直線上）の数ポイント（数センチ）離れた所定の位置にカーソルポインタ（第２のポインタ）を表示する。本実施形態では、画面上のタッチ位置が操作対象のポイントではなく、カーソルポインタで指定された位置（座標）が実際の操作対象のポイントとなる。
　ここで、従来のように指のタッチ位置を操作対象のポイントとすると、指で隠されたどこをポイントしているかを適切に知ることができないため、どうしてもアバウトな指定しかできなくなる。そこで、ユーザの指から離れた適切な位置に操作対象のカーソルポイントを表示させることで、カーソルポインタを目で視認しながら細かな位置の調整をリアルタイムに行うことができる。
　＜カーソルポインタの表示モードの具体例＞
　ここで、カーソルポインタの表示モードの具体例について説明する。本実施形態では、指やスタイラス等による画面のタッチ位置に基づいてカーソルポインタを表示する方法として、位置調整モードと固定モードの２種類を有するが、モードの種類や数については、これに限定されるものではない。２つのモードの切り替えは、例えばＯＳにより実行中のアプリ等に対応させて行われる。
　位置調整モードでは、指がタッチパネル１１全体のどこに位置するかで表示される角度と距離が自動的に変わる。また、位置調整モードでは、カーソルポインタの表示される方向は操作の死角ができないように画面端に近い方向を向くようにする。また、カーソルポインタは、連続してずらしても大きくジャンプしてしまうことなく滑らかに角度や距離が更新される。
　一方、固定モードでは、指がタッチパネル１１全体のどこに位置するかで表示される距離が自動的に変わる。つまり、固定モードでは、指に対する角度は変わらずに固定される。
　各モードにおけるカーソルポインタから指までの距離は、ユーザが指定した所定の長さに従う。例えば、位置調整モードは、少ない指の動きで広い範囲をすばやく指定でき、固定モードでは細かなポイントの指定を精密に行い易い。したがって、メニューやボタン操作等の通常の操作を行う場合は、位置調整モードを使うのが便利である。この位置調整モードでは、カーソルポインタが表示される角度が自動的に調整される。また、例えばグラフィックソフトやＣｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｓｉｇｎ（ＣＡＤ）ソフト等のように、カーソルポインタを直線的に動かす場合や細かな動作が必要な場合は固定モードを用いるのが好ましい。
　次に、位置調整モードと固定モードにおけるカーソルポインタ表示内容の各実施例について、図を用いて説明する。
　＜位置調整モード：第１実施例＞
　図５は、位置調整モードの第１実施例におけるカーソルポインタの表示例を説明するための図である。図５の例では、説明の便宜上、表示処理装置１０が有する画面４０の左上を基準（０，０）として設定されたＸＹ座標軸が示されている。また、図５の例では、タッチ位置４１を点で示し、カーソルポインタ４２を十字で示している。上記の内容は、後述する各実施例においても同様とする。
　位置調整モードの第１実施例では、例えば画面の下端中央又は上端中央を基準（所定ポイント）として、カーソルポインタの表示位置を調整する。第１実施例における位置調整モードでのカーソルポインタの表示位置（Ｘｃｕｒｓｏｒ，Ｙｃｕｓｏｒ）は、画面の横幅をＸ、縦幅をＹ、タッチ位置（第１のポイント）を（ｘ，ｙ）とすると、タッチ位置４１から画面４０の下端中央までの距離Ｌｐは、以下に示す式（１）のような演算により求まる。
Figure JPOXMLDOC01-appb-M000001
 　例えば、指のタッチ位置（第１のポイント）４１と、実際に表示されるカーソルポインタ（第２のポイント）４２との距離をＬとし、ユーザの設定した指からのカーソルポインタの距離をＬｕとする。また、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。この場合に、画面左上の角を基準にした座標系に対し、以下に示す式（２）、（３）によりカーソルポインタの表示位置（Ｘｃｕｒｓｏｒ，Ｙｃｕｓｏｒ）が求まる。
Figure JPOXMLDOC01-appb-M000002
 上述した演算により、ユーザのタッチ位置に対してカーソルポインタが表示される角度と距離とを自動的に調整し、例えば図５（Ａ）、（Ｂ）に示すように、画面４０の下端中央からタッチ位置４１まで直線で結んで延長した距離Ｌｕの位置にカーソルポインタ４２を表示させる。
　例えば、下端中央のような画面４０上のポインタが収束する基準点の座標を（Ｘａ，Ｙａ）とした場合のタッチ位置４１に対するカーソルポインタ４２の中心点（Ｘｃｕｒｓｏｒ，Ｙｃｕｒｓｏｒ）４３は、例えば、
（ｘ－Ｘａ）：（ｙ－Ｙａ）＝Ｌｘ：Ｌｙ
Ｌｕ２＝Ｌｘ２＋Ｌｙ２
Ｘｃｕｒｓｏｒ＝ｘ－Ｌｘ
Ｙｃｕｒｓｏｒ＝ｙ－Ｌｙ
を解くことで求めることができる。Ｌｘは、タッチ位置４１からカーソルポインタ４２の中心点４３までのｘ座標の距離である。Ｌｙは、タッチ位置４１からカーソルポインタ４２の中心点４３までのｙ座標の距離である。
　ただし、上述した距離Ｌｐが距離Ｌｕよりも短くなると、その領域がポイントできなくなる。例えばタッチ位置４１を画面４０の中央あたりから下に降ろしてくると、画面４０の下端中央に指が達したところでそれ以上は指を下げられないため、カーソルポインタ４２は距離Ｌｕだけ上の位置に留まってしまう。同様に斜め上から画面４０の下端中央に向けて動かした場合には、カーソルポインタ４２は距離Ｌｕだけ離れた距離に留まってそれ以上は近づけない。つまり、図５（Ｂ）に示すように、画面４０の下端中央から距離Ｌｕを半径とした半円の領域４４の中はポイントできないことになってしまう。
　そこで、位置調整モードの第１実施例では、上述したタッチ位置４１が半円の領域４４内にある場合には、指のタッチ位置４１からカーソルポインタ４２までの距離に、基準点からタッチ位置までの距離Ｌｐを適用する。したがって、上述したように、式（２）、（３）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとなり、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとなる。
　これにより、画面４０内にカーソルポインタ４２で位置付けられない領域が存在しないようにすることができる。したがって、画面４０の下端中央の点に近づくほどカーソルポインタ４２も指に近づくことになる。また、画面４０の下端中央の点にタッチするとカーソルポインタ４２もそのタッチ位置４１に重なる。よって、ポイントできない領域は画面４０上からなくなる。
　これは、上述した式（１）～（３）で、Ｌｐ＜Ｌｕの場合の式がこの処理に相当し、この条件を満たす場合には、カーソルポインタ４２と指のタッチ位置４１との距離Ｌに距離Ｌｐが設定される。
　図６は、指で画面をタッチした場合のカーソルポインタの表示位置を説明するための図である。図６に示す点線は、画面４０の下端中央の位置（所定ポイント）からカーソルポインタ４２までの距離を説明するために便宜的に引いた線であり、実際の画面４０には表示されない。図６の例では、指４５のタッチ位置とカーソルポインタ４２と画面４０の下端中央の基準点が一直線（半直線上）に配置されていることを示す。
　図６に示すように、位置調整モードの第１実施例では、ユーザの指（タッチ位置）が、画面４０の上部にあれば、その上部にカーソルポインタ４２が表示され、画面４０の左側であれば、左斜め上にカーソルポインタ４２が表示される。また、ユーザの指（タッチ位置）が、画面４０の右側であれば、右斜め上に自動に表示される。したがって、位置調整モードの第１実施例では、画面（表示領域）の隅々までポイントすることができる。
　ここで、第１実施例において、画面４０の下端中央の近くでは、カーソルポインタ４２が指４５の下に隠れてしまうことにより、指定精度が確保できない場合がある。そこで、第１実施例では、指４５が画面４０の下端に到達した場合には、画面左上の角を基準にした座標系に対し、画面４０の上端中央を基準点（所定ポイント）として、以下に示す式（４）～（６）に切り替えて、カーソルポインタ４２を算出する。
Figure JPOXMLDOC01-appb-M000003
 なお、式（５）、（６）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。
　また、例えば、画面４０の下端（中央に限定されない）に指が到達した場合には、全て式（４）～（６）の計算式への切り替えが行われる。同様に画面４０の上端（中央に限定されない）に指４５が到達した場合にも、上述した式（４）～（６）式の計算式への切り替えが行われる。
　図６に示す画面４０の上端又は下端での計算式の切り替えはトグル式に行われる。つまり、第１実施例では、画面４０の上端又は下端に指のタッチ位置が到達した場合には、上述した式（１）～（３）と、式（４）～（６）とが順に切り替えられる。
　図７は、位置調整モードの第１実施例におけるカーソルポインタの表示位置の切り替え例を示す図である。図７（Ａ）の例では、下端中央を基準点として上述した式（１）～（３）等を用いて得られるカーソルポインタ４２の表示位置が設定されている。図７（Ａ）の例において、画面４０のタッチ位置４１－１にタッチした指を、画面４０の下端付近まで滑らせ（移動させ）、タッチ位置４１－２に示すように、画面４０の下端に到達すると、基準点が変更され、上述した式（１）～（３）から式（４）～（６）の演算に切り替わる。したがって、カーソルポインタ４２－２は、画面４０の外で下方向にジャンプする（図７（Ａ）に示すカーソルポインタ４２－２'）。なお、このジャンプは、画面の外で仮想的に行われ、画面４０に表示されないため、ユーザは気にならず、違和感を覚えたり、カーソルポインタ４２を見失うようなことなく操作を続行することができる。その後、図７（Ａ）に示すタッチ位置４１－３に移動すると、画面４０の上端中央を基準点として、対応する計算式により計算された位置にカーソルポインタ４２－３が表示される。
　また、図７（Ｂ）の例において、図７（Ａ）のカーソルポインタ４２－４の位置から再度、指を画面４０にタッチしたまま画面４０の下端（タッチ位置４１－５）まで滑らせると、現在カーソル位置の算出に用いている式（４）～（６）から式（１）～（３）式に切り替わり、カーソルポインタ４２－５がカーソルポインタ４２－５'にジャンプする。したがって、タッチ位置４１－５からタッチ位置４１－６へと移動すると、画面４０の下端中央を基準点として、対応する計算式により計算された位置にカーソルポインタ４２－６が表示される。
　また、図７（Ｃ）の例では、画面４０の下端中心に向かって指を動かしたときの基準点及び計算式の切り替え例を示している。図７（Ｃ）の例でも同様に、ユーザの指を画面４０にタッチ（タッチ位置４１－７）したまま、下端中心付近まで滑らせ、画面４０の下端中央にタッチすると（タッチ位置４１－８）、現在設定されている式（１）～（３）を用いた算出方法が、式（４）～（６）を用いた算出方法となり、画面４０の上端中央を基準としたカーソルポインタの表示に切り替わる。したがって、カーソルポインタ４２－８は、カーソルポインタ４２－８'にジャンプする。このカーソルポインタのジャンプは、画面の外で仮想的に行われ、画面４０に表示されないため、ユーザは気にならない。その後、ユーザがタッチ位置４１－８からタッチ位置４１－９に移動させた場合には、画面４０の上端中央を基準点として、対応する計算式により計算された位置にカーソルポインタ４２－９が表示される。
　図８は、画面の上端中央を基準点とした場合のカーソルポインタの表示例を説明するための図である。図８に示すように、画面４０の上端中央を基準（所定ポイント）とした場合には、上述した式（４）～（６）を用いてカーソルポインタ４２の中心点４３が算出され、その算出された座標にカーソルポインタ４２が表示される。
　画面４０の上端中央を基準とした場合、図８（Ａ）、（Ｂ）に示すように、ユーザの指よりも下（手前）にカーソルポインタ４２が表示される。そのため、例えば画面４０の下端近くの位置をポイントしたい場合に有効である。
　また、図８（Ｂ）に示すように、タッチ位置４１が画面４０の上端中央から予め設定された半径Ｌｕの領域４４内に入った場合は、上述したようにタッチ位置４１からカーソルポインタ４２までの距離に、基準点からタッチ位置４１までの距離Ｌｐを使用する。これにより、画面４０の上端中央の基準点に近づくにつれて、相対的にタッチ位置４１とカーソルポインタ４２との距離も近づくことになる。したがって、画面４０の上端中央の点にタッチするとカーソルポインタもその位置に重なることになり、画面４０からカーソルポインタ４２でポイントできない領域はなくなる。
　なお、画面４０の上端中央の近くでは、カーソルポインタ４２が指の下に隠れてしまうことによって指定精度が確保できない場合もある。そこで、指が画面４０の上端に到達した場合には、上述したように画面４０の下端中央を基準点とし、式（１）～（３）に切り替える。
　位置調整モードの第１実施例では、画面４０の下端又は上端にタッチ位置４１が移動した場合には、上述した式（１）～（３）と、式（４）～（６）とを切り替える。つまり、位置調整モードの第１実施例では、画面４０の下端又は上端での計算式の切り替えがトグル式に行われる。
　このように、位置調整モードの第１実施例では、基準点と、基準点に対応する式（１）～（３）と、式（４）～（６）とを切り替えて、カーソルポインタ４２の中心点を算出することにより、操作の死角なく指定しづらい場所もなくなり、画面全体をスムーズに指定することができる。
　＜位置調整モード：第２実施例＞
　位置調整モードの第２実施例では、画面の角を基準にカーソルポインタの表示位置を調整する。図９は、位置調整モードの第２実施例におけるカーソルポインタの表示例を説明するための図である。例えば、ポイント位置調整部１５は、現時点で上述した第１実施例における式（１）～（３）を用いた計算式によりカーソルポインタが位置付けられているとする。この場合に、タッチ位置が画面４０の角に到達すると、例えば図９（Ａ）に示すように、ポイント位置調整部１５は、画面４０の右下の角をカーソルポインタ４２が収束する基準点（所定ポイント）とする。そのため、ポイント位置調整部１５は、画面左上の角を基準にした座標系に対し、以下に示す式（７）～（９）に切り替えて、カーソルポインタ４２の中心点４３を算出する。
Figure JPOXMLDOC01-appb-M000004
 なお、式（８）、（９）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。
　なお、位置調整モードの第２実施例において、タッチ位置４１が基準点（図９（Ａ）の例では、画面４０の右下の角）を中心として、予め設定された半径Ｌｕの領域内に入った場合は、上述した第１実施例と同様に、指のタッチ位置４１とカーソルポインタ４２までの距離に、基準点からタッチ位置４１までの距離Ｌｐを適用する。
　更に、画面４０の右下の角にタッチ位置４１が到達した場合には、ポイント位置調整部１５は、画面左上の角を基準にした座標系に対し、例えば画面４０の左下の角を基準点とした以下に示す式（１０）～（１２）に切り替えて、カーソルポインタ４２の中心点４３を算出する。
Figure JPOXMLDOC01-appb-M000005
 なお、式（１１）、（１２）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。位置調整モードの第２実施例における計算式の切り替えは、トグル式に行われ、タッチ位置が角に到達した場合には、式（７）～（９）と式（１０）～（１２）とが順に切り替えられる。
　例えば、図９（Ｂ）では、画面４０の右下の角での切り替えを示している。図９（Ｂ）の例では、ユーザが指を画面４０にタッチすると、画面４０の右下の角を基準点（所定ポイント）として、そのタッチ位置４１－１に対して式（７）～（９）が適用され、算出された位置にカーソルポインタ４２－１が表示される。ここで、タッチ位置４１－１を右下の角まで滑らせると、ポイント位置調整部１５は、現在の式（７）～（９）から式（１０）～（１２）に切り替えて、カーソルポインタ４２の中心点４３を算出する。その結果、図９（Ｂ）に示すように、タッチ位置を画面４０の右下の角からタッチ位置４１－２まで滑らせると、画面４０の左下の角を基準点として、対応する計算式により計算された位置にカーソルポインタ４２－２が表示される。
　更に、図９（Ｃ）に示すように、タッチ位置４１－３から画面４０の右下の角まで滑らせると、ポイント位置調整部１５は、現在の式（１０）～（１２）から式（７）～（９）に切り替えて、カーソルポインタ４２の中心点４３を算出する。その結果、図９（Ｃ）に示すように、タッチ位置を画面４０の右下の角からタッチ位置４１－４まで滑らせると、画面４０の右下角を基準点として、対応する計算式により計算された位置にカーソルポインタ４２－４が表示される。
　位置調整モードの第２実施例では、画面の右下の角及び左下の角だけでなく、画面の右上の角又は画面の左上の角にタッチ位置が到達した場合にも基準点（所定ポイント）の切り替えを行う。
　図１０は、画面の左上の角を基準点としたカーソルポインタの表示例を説明するための図である。例えば、ポイント位置調整部１５は、現時点で上述した第１実施例における式（１）～（３）を用いた計算式によりカーソルポインタが位置付けられているとする。この場合に、タッチ位置が画面４０の角に到達すると、図１０（Ａ）に示すように、ポイント位置調整部１５は、例えば画面左上の角を基準にした座標系に対し、画面４０の例えば左上の角を基準点（所定ポイント）とした以下に示す式（１３）～（１５）に切り替えて、カーソルポインタ４２の中心点４３を算出する。
Figure JPOXMLDOC01-appb-M000006
 　なお、式（１４）、（１５）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。
　なお、タッチ位置４１が画面４０の左上の角の基準点を中心として予め設定された半径Ｌｕの領域内に入った場合は、上述した第１実施例と同様に、指のタッチ位置４１とカーソルポインタ４２までの距離に、基準点からタッチ位置４１までの距離Ｌｐを適用する。
　また、画面４０の左上の角にタッチ位置４１が到達した場合には、ポイント位置調整部１５は、画面４０の右上の角を基準点（所定ポイント）とした式（１６）～（１８）に切り替えて、カーソルポインタ４２の中心点４３を算出する。
Figure JPOXMLDOC01-appb-M000007
 　なお、式（１７）、（１８）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。
　位置調整モードの第２実施例における画面４０の左上の角又は右上の角を基準にした計算式の切り替えは、トグル式に行われ、タッチ位置が角に到達した場合には、式（１３）～（１５）と、式（１６）～（１８）とが順に切り替えられる。
　例えば、図１０（Ｂ）では、画面４０の左上の角での切り替えを示している。図１０（Ｂ）の例では、指を画面４０にタッチすると、そのタッチ位置４１－１に応じて、画面４０の左上を基準点として、式（１３）～（１５）により算出されたカーソルポインタ４２－１が表示される。ここで、タッチ位置を画面４０の左上の角まで滑らせると、ポイント位置調整部１５は、画面４０の右上の角を基準点とした式（１６）～（１８）に切り替えて、カーソルポインタ４２の中心点４３を算出する。したがって、図１０（Ｂ）に示すように、タッチ位置を画面４０の左上の角からポイント位置４１－２に移動させると、画面の右上の角を基準点として、対応する計算式で算出された位置にカーソルポインタ４２－２が表示される。
　更に、ユーザの指を図１０（Ｃ）に示すタッチ位置４１－３から画面４０の左上の角まで滑らせると、ポイント位置調整部１５は、式（１６）～（１８）から式（１２）～（１５）に切り替えて、カーソルポインタ４２の中心点を算出する。したがって、図１０（Ｃ）に示すように、タッチ位置４１－４に対して指の右下方にカーソルポインタ４２－４が表示される。
　なお、上述の例では、タッチ位置４１を画面４０の左上の角に移動する毎に計算式がトグル式に切り替わる例を示したが、これに限定されるものではなく、例えばタッチ位置４１を画面４０の右上の角に移動する毎に上述した切り替えを行ってもよい。また、位置調整モードの第２実施例では、画面４０の全ての角を用いて、予め設定された切り替え順序に基づいて計算式の切り替えを行ってもよい。
　＜位置調整モード：第３実施例＞
　位置調整モードの第３実施例では、画面の左端中央又は右端中央を基準にカーソルポインタの表示位置を調整する。図１１は、位置調整モードの第３実施例におけるカーソルポインタの表示例を説明するための図である。例えば、ポイント位置調整部１５は、現時点で上述した第１実施例における式（１）～（３）を用いた計算式によりカーソルポインタが位置付けられているとする。この場合に、タッチ位置４１が画面４０の左端に到達すると、図１１（Ａ）に示すように、ポイント位置調整部１５は、画面４０の左端中央をカーソルポインタ４２が収束する基準点（所定ポイント）とする。そのため、ポイント位置調整部１５は、以下に示す式（１９）～（２１）に切り替えて、カーソルポインタ４２の中心点４３を算出する。
Figure JPOXMLDOC01-appb-M000008
 なお、式（２０）、（２１）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。
　なお、図１１（Ａ）において、タッチ位置４１が画面４０の左端中央を中心とした半径Ｌｕの領域内に入った場合は、上述した第１実施例と同様に指のタッチ位置４１からカーソルポインタ４２までの距離に、基準点からタッチ位置までの距離Ｌｐを適用する。
　また、画面の左端に指が到達した場合には、ポイント位置調整部１５は、画面左上の角を基準にした座標系に対し、画面４０の右端中央を基準点とした以下に示す式（２２）～（２４）に切り替えて、カーソルポインタ４２の中心点４３を算出する。
Figure JPOXMLDOC01-appb-M000009
 　なお、式（２３）、（２４）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。位置調整モードの第３実施例における計算式の切り替えは、トグル式に行われ、タッチ位置が左右端に到達した場合には、式（１９）～（２１）と、式（２２）～（２４）とが順に切り替えられる。
　例えば、図１１（Ｂ）では、画面４０の左端での切り替えを示している。図１１（Ｂ）の例では、指を画面４０にタッチすると、そのタッチ位置４１－１に応じて、画面４０の左端中央を基準点として、式（１９）～（２１）により算出されたカーソルポインタ４２－１が表示される。ここで、タッチ位置を画面４０の左端まで滑らせると、ポイント位置調整部１５は、画面４０の右端の中央を基準点とした式（２２）～（２４）に切り替えて、カーソルポインタ４２の中心点を算出する。したがって、図１１（Ｂ）に示すように、タッチ位置を画面４０の左端からポイント位置４１－２に移動させると、画面の右端の中央を基準点として式（２２）～（２４）で算出されたカーソルポインタ４２－２が表示される。
　更に、ユーザの指を図１１（Ｃ）に示すタッチ位置４１－３から画面４０の左端まで滑らせると、ポイント位置調整部１５は、式（２２）～（２４）から式（１９）～（２１）に切り替えて、カーソルポインタ４２の中心点４３を算出する。したがって、図１１（Ｃ）に示すように、タッチ位置４１－４に対して指の左方にカーソルポインタ４２－４が表示される。
　なお、上述の例では、タッチ位置４１を画面４０の左端に移動する毎に計算式がトグル式に切り替わる例を示したが、これに限定されるものではなく、例えばタッチ位置４１を画面４０の右端に移動する毎に上述した切り替えを行ってもよい。また、第３実施例では、左端と右端を両方用いて計算式の切り替えを行ってもよい。
　上述した位置調整モードの各実施例（第１～第３実施例）は、各実施例の一部又は全部を組み合わせることができる。ポイント位置調整部１５は、位置調整モードの場合に、例えば上述した画面４０の端部（上端中央、下端中央、角、左端中央、及び右端中央等）を基準点として表示されるカーソルポインタの切り替え制御を行うことができる。これにより、操作の死角なく指定しづらい場所もなくなり、画面全体をスムーズに指定することができる。なお、上述した基準点の設定に限定されるものではなく、例えば画面に表示されている内容に応じて、例えば上端・下端、左端・右端に対して、その中央の位置ではなく、一方に片寄った位置に設定してもよい。また、これらの基準点の設定は、画面に表示されているアプリ等に応じて、又はユーザ設定により、任意に設定することができる。
　＜固定モードについて＞
　上述した位置調整モードは、カーソルポインタが基準点を中心として指の周囲を回るように動くため、少ない指の動きで画面の表示領域内の広い範囲を網羅できる。しかしながら、例えば描画ソフトで描画するような場合には、指とカーソルポインタの角度が固定されているほうが細かなドット位置が指定し易い。そこで、制御実行部１４は、実行するアプリ等に対応させて、例えば細かなドット指定が必要な場合には、位置調整モードから固定モードへと切り替える。なお、制御実行部１４は、アプリが終了した場合や、アプリが他のアプリに切り替えられた場合には、元のモードに戻すような制御を行ってもよい。以下に、固定モードにおけるカーソルポインタ表示の各実施例について、図を用いて説明する。
　＜固定モード：第１実施例＞
　図１２は、固定モードの第１実施例におけるカーソルポインタの表示例を説明するための図である。固定モードの第１実施例では、画面４０の下端を基準点（所定ポイント）として、タッチ位置（第１のポイント）４１に対応して設定されるカーソルポインタ４２の表示位置（第２のポイント）を所定の計算式で求める。例えば、上述したカーソルポインタ４２の中心点４３は、画面左上の角を基準にした座標系に対し、以下に示す式（２５）～（２７）で求めることができる。
Ｌｐ＝Ｙ－ｙ　・・・（２５）
Ｘｃｕｒｓｏｒ＝ｘ　・・・（２６）
Ｙｃｕｒｓｏｒ＝ｙ－Ｌ　・・・（２７）
　なお、式（２７）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。
　図１２（Ａ）の例では、画面４０の下端部からタッチ位置４１に向かって垂直に引いた半直線上の表示領域内に存在し、タッチ位置４１に対して予め設定された距離Ｌｕだけ離れた位置を中心点４３としてカーソルポインタ４２を表示している。タッチ位置４１から画面４０の下端までの距離がＬｐである。このように、固定モードの場合では、基本的にタッチ位置４１とカーソルポインタ４２の中心点４３との相対関係は固定となる。固定モードの場合は、タッチ位置がＸ軸方向に動くと基準点も変動することになる。
　なお、固定モードにおいて、単にタッチ位置に対して予め設定した距離Ｌｕだけ上方の位置にカーソルポインタを設定しただけでは、タッチ位置４１が画面下端に到着しても、カーソルポインタをそれ以上、下に移動させることができない。つまり、画面４０の下端からＬｕの距離にある領域の指定ができなくなってしまう。そこで、固定モードの第１実施例では、上述した位置調整モードと同様に、タッチ位置４１が画面４０の下端からの距離Ｌｕの領域内に入った場合には、距離Ｌｕの値を調整することにより、ポイント指定できない領域をなくす。例えば、タッチ位置４１がＬｕより低い（下端にある）場合には、図１２（Ｂ）に示すように、タッチ位置４１とカーソルポインタ４２の間の距離Ｌｕに、タッチ位置４１から画面４０の下端までの距離Ｌｐを適用する。つまり、画面４０の下端から距離Ｌｕまでの領域内にタッチ位置がある場合には、距離Ｌｕを縮めてＬｐと同じ距離にする。これにより、ユーザの指が画面４０の下端からＬｕの距離にあっても、カーソルポインタ４２を指定することができ、画面４０上に指定できない領域はなくなる。
　また、固定モードの第１実施例では、ユーザの指が画面４０の下端に到達すると、上述した位置調整モードと同様に基準点（所定ポイント）の切り替えを行う。例えば、ポイント位置調整部１５は、画面４０上のタッチ位置から画面４０の上端辺に垂直に伸ばして交わる点を基準点（所定ポイント）として、画面左上の角を基準にした座標系に対し、以下に示す計算式（２８）～（３０）で制御される。
Ｌｐ＝Ｙ－ｙ　・・・（２８）
Ｘｃｕｒｓｏｒ＝ｘ　・・・（２９）
Ｙｃｕｒｓｏｒ＝ｙ＋Ｌ　・・・（３０）
なお、式（３０）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。
　固定モードの実施例１において、画面４０の下端にタッチ位置を移動させることによる計算式の切り替えは、トグル式に行われ、下端に到達する毎に上述した式（２５）～（２７）と、式（２８）～（３０）とが順に切り替えられる。
　例えば、図１２（Ｃ）では、画面４０の下端での切り替えを示している。図１２（Ｃ）の例では、ユーザが指を画面４０にタッチすると、タッチ位置４１－１から画面４０の下端辺に垂直に降ろした位置を基準点（所定ポイント）として、そのタッチ位置４１－１に対して式（２５）～（２７）が適用され、算出された位置にカーソルポインタ４２－１が表示される。
　ここで、タッチ位置４１－１を移動し、画面４０の下端（タッチ位置４１－２）まで滑らせると、ポイント位置調整部１５は、現在の式（２５）～（２７）から式（２８）～（３０）に切り替えて、カーソルポインタ４２の中心点を算出する。その結果、図１２（Ｃ）に示すように、画面４０の上端辺に垂直に伸ばして交わる点を基準点として、カーソルポインタ４２－２が設定される。したがって、その後、ユーザの指を画面４０のタッチ位置４１－３まで滑らせると、図１２（Ｃ）に示す位置にカーソルポインタ４２－３が表示される。
　更に、図１２（Ｄ）に示すように、ユーザの指を画面４０のタッチ位置４１－４からタッチ位置４１－５まで滑らせると、ポイント位置調整部１５は、現在の式（２８）～（３０）から式（２５）～（２７）に切り替えて、カーソルポインタ４２の中心点を算出する。その結果、図１２（Ｄ）に示すように、画面４０の下端辺に垂直に伸ばして交わる点を基準点として、カーソルポインタ４２－５が設定される。したがって、その後、ユーザの指を画面４０のタッチ位置４１－６まで滑らせると、図１２（Ｄ）に示す位置にカーソルポインタ４２－６が表示される。
　なお、図１２の例では、画面下端をタッチすることで、基準点及び数式を切り替えてカーソルポインタの位置を取得していたが、固定モードの第１実施例については、これに限定されるものではない。例えば、画面上端をタッチすることで、同様の基準点及び数式の切り替え処理を行ってもよく、画面４０の上端及び下端を両方用いて基準点及び数式の切り替え処理を行ってもよい。
　＜固定モード：第２実施例＞
　固定モードの第２実施例では、画面４０の右端又は左端を基準にカーソルポインタの表示位置を調整する。図１３は、固定モードの第２実施例におけるカーソルポインタの表示例を説明するための図である。
　例えば、画面４０の右端にユーザの指が到達した場合には、ポイント位置調整部１５は、画面左上の角を基準にした座標系に対し、以下に示す式（３１）～（３３）に切り替えて、カーソルポインタの中心を算出する。
Ｌｐ＝Ｘ－ｘ　・・・（３１）
Ｘｃｕｒｓｏｒ＝ｘ－Ｌ・・・（３２）
Ｙｃｕｒｓｏｒ＝ｙ　・・・（３３）
　なお、式（３２）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。
　図１３（Ａ）の例において、画面４０の右端からタッチ位置（ｘ，ｙ）４１までの距離をＬｐとし、タッチ位置４１からカーソルポインタ４２の中心点（Ｘｃｕｒｓｏｒ，Ｙｃｕｒｓｏｒ）４３までの距離をＬｕとする。
　このとき、上述した計算式（３１）～（３３）を用いて、タッチ位置４１に対するカーソルポインタ位置を計算し、計算した座標にカーソルポインタ４２を表示する。
　図１３（Ｂ）に示すように、タッチ位置４１が予め設定された距離Ｌｕよりも右端に近い位置にある場合は、上述した固定モードの第１実施例と同様にタッチ位置４１とカーソルポインタ４２の間の距離を、タッチ位置４１から画面４０の右端までの距離Ｌｐと同じにする。
　また、ユーザの指が画面４０の右端にタッチすると、画面４０の左端を基準として、画面左上の角を基準にした座標系に対し、以下に示す式（３４）～（３６）の制御に切り替える。
Ｌｐ＝ｘ　・・・（３４）
Ｘｃｕｒｓｏｒ＝ｘ＋Ｌ・・・（３５）
Ｙｃｕｒｓｏｒ＝ｙ　・・・（３６）
　なお、式（３５）において、Ｌｕ≧Ｌｐの場合にはＬ＝Ｌｕとし、Ｌｐ＜Ｌｕの場合にはＬ＝Ｌｐとする。
　このように、固定モードの第２実施例において、画面４０の右端での式の切り替えはトグル式に行われ、画面４０の右端に到達した場合には、式（３１）～（３３）と、式（３４）～（３６）とが順に切り替えられる。
　例えば、図１３（Ｃ）では、画面４０の右端での切り替えを示している。図１３（Ｃ）の例では、ユーザが指を画面４０にタッチすると、タッチ位置４１－１から画面４０の右端辺に垂直に降ろした位置を基準点（所定ポイント）として、そのタッチ位置４１－１に対して式（３１）～（３３）が適用され、算出された位置にカーソルポインタ４２－１が表示される。
　ここで、タッチ位置４１－１を移動し、画面４０の右端（タッチ位置４１－２）まで滑らせると、ポイント位置調整部１５は、現在の式（３１）～（３３）から式（３４）～（３６）に切り替えて、カーソルポインタ４２の中心点を算出する。その結果、図１３（Ｃ）に示すように、画面４０の左端辺に垂直に伸ばして交わる点を基準点として、カーソルポインタ４２－２が設定される。したがって、その後、ユーザの指を画面４０のタッチ位置４１－３まで滑らせると、図１３（Ｃ）に示す位置にカーソルポインタ４２－３が表示される。
　更に、図１３（Ｄ）に示すように、ユーザの指を画面４０のタッチ位置４１－４からタッチ位置４１－５まで滑らせると、ポイント位置調整部１５は、現在の式（３３）～（３６）から式（３１）～（３３）に切り替えて、カーソルポインタ４２の中心点を算出する。その結果、図１３（Ｄ）に示すように、画面４０の右端辺に垂直に伸ばして交わる点を基準点として、カーソルポインタ４２－５が設定される。したがって、その後、ユーザの指を画面４０のタッチ位置４１－６まで滑らせると、図１３（Ｄ）に示す位置にカーソルポインタ４２－６が表示される。
　なお、図１３の例では、画面右端をタッチすることで、基準点及び数式を切り替えてカーソルポインタの位置を取得していたが、固定モードの第２実施例については、これに限定されるものではない。例えば、画面左端をタッチすることで、同様の基準点及び数式の切り替え処理を行ってもよく、画面４０の右端及び左端を両方用いて基準点及び数式の切り替え処理を行ってもよい。
　上述した固定モードの各実施例は、各実施例の一部又は全部を組み合わせることができる。このように固定モードでも４方向（下端、上端、右端、左端）の切り替えを行うことにより、操作の死角なく指定しづらい場所もなくなり、画面全体をスムーズに指定することができる。また、上述した位置調整モードの各実施例及び固定モードの各実施例の一部又は全部を組み合わせることができる。したがって、例えば、上述した各種の切り替え操作により、各モードの各実施例に対応させて、所定の順序で基準点や計算式を切り替えて、対応する位置にカーソルポインタを表示させてもよい。
　＜カーソルポインタについて＞
　次に、本実施形態におけるカーソルポインタの形状と表示位置とについて図を用いて説明する。図１４は、カーソルポインタの形状の一例を示す図である。また、図１５は、カーソルポインタの表示位置を説明するための図である。
　本実施形態では、例えば図１４に示すカーソルポインタ４２ａ～４２ｃ等の形状のカーソルポインタを、指４５に対する所定の位置に表示することができるが、カーソルポインタの種類や大きさについては、これに限定されるものではない。
　なお、図１４に示すように、カーソルポインタ４２が画面４０の表示領域内の指４５から離れた位置に表示されることで、指定したい位置にカーソルポインタ４２を合わせ易くなるためにポインタを目的とする位置に適切に位置付けることができる。
　また、本実施形態におけるカーソルポインタ４２の表示位置は、図１５に示すように、基準点（所定ポイント）に対する指の位置（例えば、指４５ａ～４５ｅ）に対してカーソルポインタ４２ａ～４２－ｅ等のようにどの方向等にも表示することができる。これらの表示位置は、上述した位置調整モードや固定モードによって調整することができ、カーソルポインタの種類や実行されるアプリの種類、操作内容等に応じて適切な位置に表示される。
　なお、指４５で画面４０をタッチするとカーソルポインタ４２が表示され、指４５を画面４０から離すとカーソルポインタ４２の表示は消える。例えば、指４５で画面４０をタッチしただけでは、カーソルポインタ４２は表示されるだけであり、更に次のアクションにより、クリック処理を行えるようにしなければならない。
　例えば、クリック処理については、タッチした指４５を画面４０上で滑らせて、その指４５の動きに対応して移動するカーソルポインタ４２の位置を画面４０上の操作対象（例えば、アイコンやボタン等）に合わせてから、指４５を画面４０から離す。この操作が、標準的なクリック操作であり、指４５を離したときのそのポイントがクリックされた対象となる。例えば、画面４０に表示されたボタンが対象であれば、指４５で画面４０をタッチし、表示されている選択対象のボタンの上にカーソルポインタ４２を移動させて指４５を離すと、そのボタンがクリックされたことになる。したがって、制御実行部１４は、そのボタンに割り当てられたアプリやプログラム等を実行するように制御を行う。また、本実施形態では、画面４０から指４５を離してから所定時間以内に連続してボタン上にカーソルポインタ４２がある状態で、指４５を離す動作を再度実行することで、ダブルクリック操作を行うこともできる。
　また、本実施形態におけるドラッグ処理による範囲の指定については、最初の指をタッチパネル１１の画面４０にあてながらカーソルポインタ４２をずらすことにより、目標とする始点ポイントを指定し、次の指で画面４０を押してから離し、その後始点の指４５を画面４０に触れ続けながらずらすことにより、範囲指定を行うことができる。また、ドラック処理では、例えば画面４０から指４５を離すか、或いは再度、次の指で画面４０を押すことで、そこが終点となり指定範囲が確定する。本実施形態では、画面４０上での範囲の始点の位置と終点の位置を確実に見ながら指定する。そのため、ユーザは指定誤りを起こしにくくなり、操作性が向上する。
　更に、最初の指で画面４０を押しながら他の指２本、合わせて３本の指でタッチすると、例えばコンテキストメニューを表示する。なお、複数の指を使用する場合には、どの指を使用しても構わない。
　例えば、上述したドラッグ操作では、人差し指でポイントしながら、中指でタッチするのが便利である。また、人指し指でポイントしながら、親指でタッチするのも操作し易い組み合わせの一つである。また、両手の人差し指を使うこともできる。指３本を使うコンテキストメニュー表示で使う指についても同様に使用する指は自由である。
　また、これらの操作は、右利きの人でも左利きの人でも同様に操作することが可能である。例えば、複数の指を使う操作の場合でも、位置を指定するために指をタッチパネル１１の画面４０上で滑らせるのは１本の指で行うのが好ましい。複数の指を同時にタッチスクリーンに付けたまま滑らせると、どの指の座標で位置指定すればよいかＯＳから判定しにくくなることを防止するためである。
　本実施形態では、カーソルポインタ４２を随時微調整できて、目で確認しながら処理を行うため、位置を誤ることがない。また、本実施形態では、マウス等のポインティングデバイスにおける操作と同等の精度でクリック等の処理を行うことが可能になる。また、本実施形態では、例えばマウスやノートＰＣ等に設けられたタッチパッドのような従来のポインティングデバイスとも併用することができる。これらのデバイスが接続されていても画面４０上に指を置くことで、カーソルポインタ４２は指の位置に移動し、指による操作処理を行うことができる。
　本実施形態では、目で見た位置情報を指の動きにフィードバックするため、精度よく細かな位置の指定が可能になる。このとき、指４５を画面４０にタッチしたままで、指先を動かしたい方向にゆっくりと転がすようにすると更に細かなポイントの指定ができる。
　＜本実施形態を用いた適用例＞
　次に、本実施形態の表示制御処理を実行した適用例について具体的に説明する。
　＜第１適用例：文章のコピー＆ペースト＞
　図１６は、本実施形態の第１適用例を説明するための図である。なお、第１適用例では、位置調整モード又は固定モードにおいて、表示処理装置の一例であるスマートフォンやタブレット端末にインストールされた文書編集アプリを用いて、文章等のコピー（複写）＆ペースト（貼り付け）を行う例を示している。
　従来では、コピー範囲を指定する場合に、１文字単位で正確に始点位置と終点位置を指定するのが難しく苦痛な作業となっていた。そこで、本実施形態をコピー＆ペーストに適用することで、より詳細なポイント位置の指定を行うことができ、例えば画面上に対してドット単位で指定することさえも可能となる。なお、第１適用例では、コピー＆ペーストに限定されるものではなく、カット（切り取り）や、カット＆ペーストも行うことができる。第１適用例により、ユーザの作業効率が向上すると共に、文章等の編集効率も向上する。
　図１６（Ａ）～（Ｃ）の例は、位置調整モードの第１実施例による文章のコピー範囲の指定例を示し、図１６（Ｄ）～（Ｆ）の例は、固定モードの第１実施例による文章のコピー範囲の指定例を示している。また、画面４０に文章データが表示されている（図１６（Ａ）～（Ｆ）に示す「Ａ」の文字は、所定の漢字や英数字等のある１文字に対応する）。また、第１適用例において、位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。

　図１６（Ａ）に示す文章データの一部をコピー＆ペーストする場合、例えば１本目の指４５－１でコピー対象の始点にカーソルポインタ４２－１を合わせ、２本目の指４５－２で画面４０をタップすることで、コピー領域の指定モードとなる。
　次に、最初の指４５－１を画面４０に触れたまま滑らせてドラッグ操作を行い、終点となる位置にカーソルポインタ４２－２を位置付けて指４５－１を離すと、ドラッグ範囲（指定範囲）５０が確定する。
　図１６（Ｂ）の例では、位置調整モードでカーソル表示を切り替えながら、文章のドラッグ範囲を指定する例を示している。図１６（Ｂ）の例では、ドラッグの最中に画面４０の下端に指４５－１が触れると、画面の上端中央を基準点（所定ポイント）とし、対応するカーソルポインタの中心の計算式に切り替えて、算出された位置にカーソルポインタを表示する。図１６（Ｂ）の例では、カーソルポインタ４２－２が指４５－１のタッチ位置の右下側に表示されるため、画面４０の下方の指定がし易くなり、適切なドラッグ範囲５０を指定することができる。
　図１６（Ｃ）の例では、位置調整モードによるコンテキストメニュー表示と選択例について示している。図１６（Ｃ）の例では、コピー範囲をドラッグで選択した後、画面４０上を３本の指４５－１～４５－３で同時にタップするとコンテキストメニュー５１が表示される。そこで、１本の指４５－１で画面４０に触れ、コンテキストメニューから目的の項目を選択して指４５－１を離すと、メニューの機能が選ばれて実行される。なお、図１６（Ｃ）の例では、コンテキストメニューから項目を選択するために矢印のカーソルポインタが表示されるが、カーソルポインタの種類については、これに限定されるものではない。
　また、図１６（Ｄ）の例は、固定モードによる文章のコピー範囲の指定について示している。図１６（Ｄ）に示す文章データの一部をコピー＆ペーストする場合、例えば１本目の指４５－１でコピー対象の始点にカーソルポインタ４２－１を合わせ、２本目の指４５－２で画面４０をタップすることで、コピー領域の指定モードとなる。
　次に、最初の指４５－１を画面４０に触れたまま滑らせてドラッグ操作を行い、終点となる位置にカーソルポインタ４２－２を位置付けて指４５－１を離すと、ドラッグ範囲５０が確定する。
　図１６（Ｅ）の例では、固定モードでカーソル表示を切り替えながら、文章のドラッグ範囲を指定する例を示している。図１６（Ｅ）の例では、ドラッグの最中に画面４０の下端に指４５－１が触れると、タッチ位置から画面の上端に垂直に下ろした点を基準点（所定ポイント）とし、対応するカーソルポインタの中心の計算式に切り替えて、算出された位置にカーソルポインタを表示する。図１６（Ｅ）の例では、カーソルポインタ４２－２が指４５－１のタッチ位置に近い位置に表示されるため、指４５で隠れて見えないが、固定モードであるため容易にカーソルの位置の推測を行うことはできる。また、図１６（Ｅ）において、カーソルポインタ４２－２の位置で指４５－１を画面４０から離すと、ドラッグ範囲５０がカーソルポインタ４２－１～４２－２の範囲で確定する。
　図１６（Ｆ）の例では、固定モードによるコンテキストメニュー表示と選択例について示している。図１６（Ｆ）の例では、コピー範囲をドラッグで選択した後、画面４０上を３本の指４５－１～４５－３で同時にタップするとコンテキストメニュー５１が表示される。そこで、１本の指４５－１で画面４０に触れ、コンテキストメニューから目的の項目を選択して指４５－１を離すと、メニューの機能が選ばれて実行される。なお、図１６（Ｆ）の例では、コンテキストメニューから項目を選択するために矢印のカーソルポインタが表示されるが、カーソルポインタの種類については、これに限定されるものではない。
　＜第２適用例：図形の描画＞
　図１７は、本実施形態の第２適用例を説明するための図である。なお、第２適用例では、位置調整モード又は固定モードにおいて、表示処理装置１０に予めインストールされている図形描画アプリを用いて図形の描画を行う例を示している。
　例えば、フリーハンドで微細な図形を描く場合、従来では細かな図形の始点、交点、終点の位置を指定することはほぼ不可能であった。そこで、本実施形態を図形の描画に適用することで、位置指定によって細かな図形の始点、交点、終点等を指定することが容易になり、微細な図形を描くことが簡単にできる。
　図１７（Ａ）は、位置調整モードの第１実施例を用いた描画例を示し、図１７（Ｂ）は、固定モードの第１実施例を用いた描画例を示している。位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。
　例えば、図１７（Ａ）に示すように、位置調整モードによる線画の場合には、カーソルポインタ４２を見ながら描画できるため、描画し易い。また、図１７（Ｂ）に示すように、固定モードによる線画の場合には、カーソルポインタ４２と指４５との向きが一定（図１７（Ｂ）の例では、指４５の上方）であるため、精密な描画がし易い。また、第２適用例では、タッチ位置やカーソルポインタ４２を画面の端部に滑らせる（移動させる）ことで、カーソルポインタ４２の表示条件（例えば、基準点、計算式等）を容易に切り替えることができる。したがって、画面４０の全領域を適切に選択することができる。
　＜第３適用例：メニューやツールバーの操作＞
　図１８は、本実施形態の第３適用例を説明するための図である。第３適用例では、位置調整モード又は固定モードにおいて、表示処理装置１０に予めインストールされているプログラミングアプリを用いてプログラムを作成する例を示している。
　例えば、画面上でプログラム・ソースを作成し、コンパイルやデバッグ等を行う場合には、細かなメニューやツールバーの操作でＩｎｔｅｇｒａｔｅｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｅｎｖｉｒｏｎｍｅｎｔ（ＩＤＥ，統合開発環境）機能を使用する。
　従来は、指４５で直接細かなボタンが並んでいる場所を押すと、カーソルが指で隠れるため、誤って隣のボタンを選択してしまうことがある。そこで、本実施形態をメニューやツールバーの操作に適用することで、画面４０に触れて、正しいボタンをカーソルポインタ４２で選択してから、指４５を離すことによりクリック処理を行うため押し間違えることがない。したがって、細かなボタンの並びにおいても素早く正しいボタンをクリックすることができる。
　図１８（Ａ）は、位置調整モードの第１実施例を用いたカーソル表示例を示し、図１８（Ｂ）は、固定モードの第１実施例を用いたカーソル表示例を示している。位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。
　第３適用例に示すように、位置調整モードであっても固定モードであっても指４５よりも小さなボタン５２の選択を容易に行うことができる。また、第３適用例では、タッチ位置やカーソルポインタ４２を画面の端部に滑らせることで、カーソルポインタ４２の表示条件を容易に切り替えることができ、画面４０の全領域を適切に選択することができる。
　＜第４適用例：設計図面の作成＞
　図１９は、本実施形態の第４適用例を説明するための図である。第４適用例では、位置調整モード又は固定モードにおいて、表示処理装置１０にインストールされたＣＡＤアプリを用いて、画面４０上で細かな機械装置等の部品の設計図面を作成する例を示している。
　図１９（Ａ）は、位置調整モードの第１実施例のカーソル表示例を示し、図１９（Ｂ）は、固定モードの第１実施例のカーソル表示例を示している。位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。
　図１９（Ａ）、（Ｂ）の例では、タッチ位置４１－１からタッチ位置４１－２への移動により画面４０上に中心線を引いている例を示している。設計図面においては、精密に位置を指定して図面を描く必要があるが、従来ではカーソルの表示位置が指で隠れることもあるため、精密な作業が困難であった。そこで、本実施形態を適用することで細かな位置指定により精密な図面をＣＡＤプログラムによって製図することができる。
　図１９（Ａ）の例に示すように、位置調整モードによるＣＡＤ操作では、カーソルポインタ４２の位置が画面４０の下端中央を基準に表示されるため、指で隠れることがなくなり、カーソルポインタの位置決めが容易になる。したがって、位置調整モードでは、精密な図面を作成することができる。
　また、図１９（Ｂ）の例に示すように、固定モードによるＣＡＤ操作では、指４５の位置に対するカーソルポインタ４２の表示位置は固定であるため、ユーザは分かり易く位置決めを行うことができる。また、第４適用例では、タッチ位置やカーソルポインタ４２を画面の端部に滑らせることで、カーソルポインタ４２の表示条件を容易に切り替えることができ、画面４０の全領域を適切に選択することができる。
　＜第５適用例：表計算ソフトにおけるセルの選択＞
　図２０は、本実施形態の第５適用例を説明するための図である。第５適用例では、位置調整モード又は固定モードにおいて、表示処理装置１０にインストールされた表計算ソフトを用いて、画面上で細かなセルの指定を実行する例を示している。
　従来では、表計算ソフトのセルを小さくすると選択や記入時に近辺のセルと区別がつけ難く誤操作を起こしてしまう。また、セル自体を大きくすると、画面が狭い端末（例えば、スマートフォン、タブレット端末等）の画面上では表示できるセルの数が減少し、表示されるデータ量が少なくなってしまう。
　そこで、本実施形態を適用することで、セルを小さくしても操作に支障がなく目的の位置にカーソルポインタ４２を位置付けられるため、作業の効率が向上する。
　図２０（Ａ）は位置調整モードの第１実施例のセルの選択例を示し、図２０（Ｂ）は固定モードの第１実施例のセルの選択例を示している。位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。
　図２０（Ａ）の例では、位置調整モードによる表計算ソフトのセル指定について示している。図２０（Ａ）の例によれば、カーソルポインタ４２の位置は、画面４０の下端中央を基準点（所定ポイント）として、タッチ位置４１に対応させて所定の計算式により計算した位置に表示される。そのため、カーソルポインタ４２が画面４０上で常に指４５で隠れることなく、細かなセルやセルの角の指定が可能となる。したがって、マウスの操作と同等な表計算の操作ができる。
　また、図２０（Ｂ）の例では、固定モードによる表計算ソフトのセル指定について示している。図２０（Ｂ）の例示すように、固定モードでは、ユーザの指４５に対するカーソルポインタ４２の表示位置が固定（図２０（Ｂ）の例では、指４５の上方）となるため、位置の指定をし易くすることができる。また、第５適用例では、タッチ位置やカーソルポインタ４２を画面の端部に滑らせることで、カーソルポインタ４２の表示条件を容易に切り替えることができ、画面４０の全領域を適切に選択することができる。
　＜ボタン等の配置による計算式の切り替えが不要な構成＞
　上述した実施形態では、画面４０の辺縁上（画面端）等にタッチ位置が到達した場合に、対応する計算式に切り替えを行っているが、アプリの種類等によっては、計算式を切り替えずに使用してもよい。例えば、ポイント位置調整部１５は、画面４０に表示されるボタン等の配置により、所定の計算式を切り替えずにカーソルポインタ４２の中心点の算出を行ってもよい。
　図２１は、ボタン配置を利用したカーソル表示例を示す図である。例えば、図２１（Ａ）の例では、位置調整モードの第１実施例において、画面４０の下端中央に基準点（収束点）の近くにボタン(例えば、ＨＥＬＰボタン等)５３が配置されている。このような場合、ボタン５３以外の画面領域は、図２１（Ａ）に示すように、カーソルポインタ４２が指４５から離れてカーソルポインタ４２が見えるため問題なく指定できる。また、タッチ位置４１をボタン５３の位置に移動することで、カーソルポインタが指の下に隠れるが、ボタン５３を容易に選択ことができるため問題ない。したがって、このような場合には、ポイント位置調整部１５は、切り替えを行わずに各種制御を実行する。上述したように、基準点に合わせてボタン５３を配置することで、基準点の切り替えを行わなくても、画面４０の隅々までポイントすることができる。
　図２１（Ｂ）の例では、固定モードの第１実施例において、タッチ位置４１から画面４０の下端にボタン(例えば、ファンクションボタン（Ｆ１～Ｆ７）等)５３が並べて配置されている。このような場合、タッチ位置４１を下に移動させると、カーソルポインタ４２が指４５に隠れることになるが、基準点の切り替えを行わなくても画面の隅々までポイントすることができる。
　したがって、本実施形態では、画面４０中のボタン５３の配置に応じて、ボタン５３を押下することができるようにモードの切り替えや基準点及び計算式の切り替え等を行ってもよい。また、本実施形態では、位置調整モードであるか、固定モードであるかに応じて表示制御部１６において、ボタン５３等の表示レイアウト等を変更して表示するように制御してもよい。
　上述したように、本実施形態によれば、表示処理装置１０の操作性を向上させることができる。例えば、本実施形態によれば、例えば指での画面操作において、マウスと同じ精度と手軽さで、ドット単位の指定ができるようになる。マウスを使うＯＳ（例えば、Ｗｉｎｄｏｗｓ（登録商標），Ｌｉｎｕｘ（登録商標）等）のようなＵＩと同様に、細かく位置を操作することが可能となる。マウスと同様の精度とスピードを可能とするインタフェースを指のタッチスクリーン操作で実現できる。
　したがって、本実施形態によれば高い精度の位置指定が可能になり、従来の使い易いマルチウィンドウのアプリを問題なく動作させることができる。細かな位置指定によるコピー＆ペーストの指定がし易くなることによって長文作成、プログラム作成のような用途にも使えるようになる。また、ＣＡＤ、ＣＧ作成のような創造的な用途にもタブレット端末やスマートフォンを使えるようになる。
　なお、各実施例に用いた計算式は、画面の左上の角を基準（原点）としたものであるため、他の位置を原点とした場合には、それに対応した計算式になる。また、上述した第１のポイントは上述したタッチ位置に限定されるものではなく、上述した第２のポイントはカーソルポインタの表示位置（例えば、中心点等）に限定されるものではない。
　以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した実施例の一部又は全部を組み合わせることも可能である。
　１０　表示処理装置
　１１　タッチパネル
　１２　タッチ検出部
　１３　位置特定部
　１４　制御実行部
　１５　ポイント位置調整部
　１６　表示制御部
　１７　画面表示部
　２１　マイク
　２２　スピーカ
　２３　表示部
　２４　操作部
　２５　センサ部
　２６　電力部
　２７　無線部
　２８　近距離通信部
　２９　補助記憶装置
　３０　主記憶装置
　３１　ＣＰＵ
　３２　ドライブ装置
　３３　記録媒体
　４０　画面
　４１　タッチ位置
　４２　カーソルポインタ
　４３　中心点
　４４　領域
　４５　指
　５０　ドラッグ範囲
　５１　コンテキストメニュー
　５２，５３　ボタン

Claims (9)

  1. 　画面を表示する表示部と、
    　受け付けた操作入力に対応する前記画面の表示領域内の第１のポイントを特定する位置特定部と、
    　前記表示領域の端部に設定される所定ポイントから、前記第１のポイントへの半直線上の前記表示領域内に存在し、前記第１のポイントから所定の距離にある第２のポイントを前記表示領域に識別可能に表示する表示制御部とを有することを特徴とする表示処理装置。
  2. 　前記表示制御部は、
    　前記第１のポイントとの距離が、前記第１のポイントと前記所定ポイントとの距離よりも大きくなる前記表示領域内の第２のポイントを、前記操作入力に応じて前記表示領域に識別可能に表示することを特徴とする請求項１に記載の表示処理装置。
  3. 　前記第１のポイントから前記所定ポイントまでの距離が所定の値より小さい場合、前記第１のポイントから前記第２のポイントまでの距離を、前記所定ポイントから前記第１のポイントまでの距離に応じて変化させるポイント位置調整部を有することを特徴とする請求項１又は２に記載の表示処理装置。
  4. 　前記ポイント位置調整部は、
    　前記第１のポイントが、予め設定された位置にある場合に、前記所定ポイントを変更することを特徴とする請求項３に記載の表示処理装置。
  5. 　前記ポイント位置調整部は、
    　前記位置特定部により得られる前記第１のポイントが前記表示領域の端部に到達した場合に、前記所定ポイントを変更することを特徴とする請求項４に記載の表示処理装置。
  6. 　前記ポイント位置調整部は、
    　前記第２のポイントに対して予め設定された表示モードと、前記所定ポイントの位置とに基づいて設定された計算式を用いて前記第１のポイントに対する前記第２のポイントを算出することを特徴とする請求項３乃至５の何れか１項に記載の表示処理装置。
  7. 　前記位置特定部は、
    　前記操作入力と共に座標指定がなされた場合、前記第２のポイントを指定されたポイントとすることを特徴とする請求項１乃至６の何れか１項に記載の表示処理装置。
  8. 　表示処理装置が、
    　表示部の画面から受け付けた操作入力に対応する前記画面の表示領域内の第１のポイントを特定し、
    　前記表示領域の端部に設定される所定ポイントから、前記第１のポイントへの半直線上の前記表示領域内に存在し、前記第１のポイントから所定の距離にある第２のポイントを前記表示領域に識別可能に表示することを特徴とする表示処理方法。
  9. 　表示部の画面から受け付けた操作入力に対応する前記画面の表示領域内の第１のポイントを特定し、
    　前記表示領域の端部に設定される所定ポイントから、前記第１のポイントへの半直線上の前記表示領域内に存在し、前記第１のポイントから所定の距離にある第２のポイントを前記表示領域に識別可能に表示する、処理をコンピュータに実行させる表示処理プログラム。
PCT/JP2013/080509 2013-11-12 2013-11-12 表示処理装置、表示処理方法、及び表示処理プログラム WO2015071947A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/080509 WO2015071947A1 (ja) 2013-11-12 2013-11-12 表示処理装置、表示処理方法、及び表示処理プログラム
JP2015547296A JP6107968B2 (ja) 2013-11-12 2013-11-12 表示処理装置、表示処理方法、及び表示処理プログラム
US15/151,267 US20160253042A1 (en) 2013-11-12 2016-05-10 Display process apparatus, display process method, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/080509 WO2015071947A1 (ja) 2013-11-12 2013-11-12 表示処理装置、表示処理方法、及び表示処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/151,267 Continuation US20160253042A1 (en) 2013-11-12 2016-05-10 Display process apparatus, display process method, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2015071947A1 true WO2015071947A1 (ja) 2015-05-21

Family

ID=53056917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/080509 WO2015071947A1 (ja) 2013-11-12 2013-11-12 表示処理装置、表示処理方法、及び表示処理プログラム

Country Status (3)

Country Link
US (1) US20160253042A1 (ja)
JP (1) JP6107968B2 (ja)
WO (1) WO2015071947A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150324087A1 (en) * 2014-03-14 2015-11-12 Samsung Electronics Co., Ltd. Method and electronic device for providing user interface
JP2019185383A (ja) * 2018-04-10 2019-10-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6569546B2 (ja) * 2016-01-28 2019-09-04 富士通コネクテッドテクノロジーズ株式会社 表示装置、表示制御方法、および表示制御プログラム
CN114546145B (zh) * 2020-11-24 2024-03-01 明基智能科技（上海）有限公司 游标控制方法及应用其的触控显示装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054583A1 (ja) * 2011-10-11 2013-04-18 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクト指示方法、装置及びコンピュータ・プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411283B1 (en) * 1999-05-20 2002-06-25 Micron Technology, Inc. Computer touch screen adapted to facilitate selection of features at edge of screen
US7605804B2 (en) * 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
JP4609557B2 (ja) * 2008-08-29 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法
US8970518B2 (en) * 2010-03-10 2015-03-03 Panasonic Intellectual Property Corporation Of America Click position control apparatus, click position control method, and touch sensor system
US9158445B2 (en) * 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
JP5102412B1 (ja) * 2011-12-27 2012-12-19 パナソニック株式会社 情報端末、情報端末の制御方法、及び、プログラム
JP6137453B2 (ja) * 2013-02-08 2017-05-31 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 制御装置及び制御プログラム
JP5787238B2 (ja) * 2013-04-10 2015-09-30 コニカミノルタ株式会社 制御装置及び操作制御方法並びに操作制御プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054583A1 (ja) * 2011-10-11 2013-04-18 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクト指示方法、装置及びコンピュータ・プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150324087A1 (en) * 2014-03-14 2015-11-12 Samsung Electronics Co., Ltd. Method and electronic device for providing user interface
US9891782B2 (en) * 2014-03-14 2018-02-13 Samsung Electronics Co., Ltd Method and electronic device for providing user interface
JP2019185383A (ja) * 2018-04-10 2019-10-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2021096876A (ja) * 2018-04-10 2021-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US11209974B2 (en) 2018-04-10 2021-12-28 Nintendo Co., Ltd. Storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method for determining a correction offset for a dragged object
JP7168713B2 (ja) 2018-04-10 2022-11-09 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法

Also Published As

Publication number Publication date
JPWO2015071947A1 (ja) 2017-03-09
US20160253042A1 (en) 2016-09-01
JP6107968B2 (ja) 2017-04-05

Similar Documents

Publication Publication Date Title
US11775248B2 (en) Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display
EP3262499B1 (en) Device, method, and computer readable storage medium for providing and interacting with a virtual drawing aid
CN105335001B (zh) 具有弯曲显示器的电子设备以及用于控制其的方法
US10304163B2 (en) Landscape springboard
US10620781B2 (en) Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US20210049321A1 (en) Device, method, and graphical user interface for annotating text
US9032338B2 (en) Devices, methods, and graphical user interfaces for navigating and editing text
JP5905417B2 (ja) 携帯端末および表示制御方法
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
US9208698B2 (en) Device, method, and graphical user interface for manipulating a three-dimensional map view based on a device orientation
EP3185116A1 (en) Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface
US11822780B2 (en) Devices, methods, and systems for performing content manipulation operations
US10684704B2 (en) Devices and method for manipulating user interfaces with stylus and non-stylus contacts
JP6102474B2 (ja) 表示装置、入力制御方法、及び入力制御プログラム
KR20140067334A (ko) 터치 입력 방법 및 휴대 단말
JP6107968B2 (ja) 表示処理装置、表示処理方法、及び表示処理プログラム
KR20140055880A (ko) 가상 화면 제어 방법 및 장치
JP2015050755A (ja) 情報処理装置、制御方法、及びプログラム
US11914857B1 (en) Methods and graphical user interfaces for pointing and editing on computing devices with touch-sensitive displays
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
KR102157621B1 (ko) 휴대장치 및 그 컨텐츠 공유 방법
KR20120094728A (ko) 유저인터페이스 제공 방법 및 이를 이용한 휴대 단말기
JP2014110044A (ja) 電子機器、表示制御方法およびプログラム
JP2018005956A (ja) 携帯端末、フォルダ制御プログラムおよびフォルダ制御方法
JP2015164069A (ja) 携帯端末、フォルダ制御プログラムおよびフォルダ制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13897429

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015547296

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13897429

Country of ref document: EP

Kind code of ref document: A1