WO2016114269A1 - 情報処理装置およびその制御方法 - Google Patents

情報処理装置およびその制御方法 Download PDF

Info

Publication number
WO2016114269A1
WO2016114269A1 PCT/JP2016/050734 JP2016050734W WO2016114269A1 WO 2016114269 A1 WO2016114269 A1 WO 2016114269A1 JP 2016050734 W JP2016050734 W JP 2016050734W WO 2016114269 A1 WO2016114269 A1 WO 2016114269A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
mode
control unit
unit
threshold
Prior art date
Application number
PCT/JP2016/050734
Other languages
English (en)
French (fr)
Inventor
一仁 住田
清介 宮澤
裕介 平野
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US15/535,418 priority Critical patent/US20170351394A1/en
Priority to JP2016569364A priority patent/JPWO2016114269A1/ja
Priority to CN201680004507.1A priority patent/CN107111440A/zh
Publication of WO2016114269A1 publication Critical patent/WO2016114269A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to an information processing apparatus and a control method thereof, and more particularly to an information processing apparatus including a display unit and an object detection unit and a control method thereof.
  • Patent Document 1 discloses two modes: a scroll mode in which display contents can be scrolled by a touch panel provided on a display screen, and a pointer mode in which a selection target displayed on the display screen by the touch panel can be selected. There is described a pointer display device that can switch modes by long-pressing a touch panel.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 2011-170901 (published on September 1, 2011)”
  • the present inventors have a display unit and an object detection unit having a planar detection area for detecting an object that is close or in contact with the display unit at a position different from the display area of the display unit.
  • An information processing apparatus equipped with the information processing apparatus has been developed, and a simpler operation in such an information processing apparatus has been intensively studied.
  • the present invention has been made in view of the above problems, and a main object of the present invention is to provide a technique for realizing a simpler operation in an information processing apparatus including a display unit and an object detection unit.
  • an information processing device provides a display portion and a planar detection region that detects an object that is close to or touches at a position different from the display region of the display portion.
  • An object detection unit a position information acquisition unit that acquires position information indicating the position at which the object detection unit has detected the object, and in the first mode, the position of the pointer on the display area is determined according to the position information.
  • the display control unit that scrolls at least a part of the display area in accordance with the change in the position information, and the duration for which the position information continues to indicate the same position is the first threshold value.
  • An operation control unit that switches the operation of the display control unit from the first mode to the second mode when the time exceeds the second threshold, and executes an action according to the position of the pointer when the duration exceeds the second threshold.
  • the control method of the information processing device includes a display unit and an object detection unit that has a planar detection region for detecting an object that is close to or touches at a position different from the display region of the display unit. And a position information acquisition unit that acquires position information indicating the position at which the object detection unit has detected the object.
  • the display method In the first mode, the display method according to the position information The position of the pointer on the area is determined, and in the second mode, the display control step of scrolling at least a part of the display area according to the change of the position information, and the position information continuously indicates the same position.
  • the continuous duration exceeds the first threshold
  • the operation of the display control process is switched from the first mode to the second mode.
  • an action corresponding to the position of the pointer is performed. Action to perform And a control process.
  • the user can switch from the first mode to the second mode and perform another action without releasing an object (for example, a finger) for operation from the object detection unit. Can be continued. Thereby, a simpler operation can be realized in the information processing apparatus including the display unit and the object detection unit.
  • an object for example, a finger
  • FIG. 2 is a diagram illustrating an appearance of the mobile phone 10 according to the present embodiment.
  • the mobile phone 10 is a so-called foldable mobile phone.
  • the first housing 1 and the second housing 2 are connected via a hinge 3 and are rotatable about the axis of the hinge 3.
  • casing 2 are substantially flat plate shape, for example.
  • a display unit 14 is disposed on one surface of the first housing 1.
  • a hard key 15 is arranged on one surface of the second housing 2, and the touch pad (object detection unit) 16 is superimposed on the hard key 15 below the hard key 15 (inside the second housing 2). Sensors are arranged.
  • the cellular phone 10 has an open state (the form shown in FIG. 2) in which the first housing 1 and the second housing 2 are opened, and a surface (display surface) on which the display unit 14 of the first housing 1 is disposed. And a closed state (not shown) in which the surface (operation surface) on which the hard key 15 of the second housing 2 is disposed is opposed.
  • the display unit 14 displays an image.
  • an LCD liquid crystal display
  • an organic EL display or the like can be applied to the display unit 14.
  • the hard key 15 is for the user to operate the mobile phone 10.
  • the hard key 15 is a physical key that outputs a signal corresponding to the key pressed by the user.
  • the hard key 15 is a menu key, a numeric keypad, a cross key, a center key, an on-hook key, an off-hook key, or the like.
  • the touch pad 16 is for operating the mobile phone 10.
  • the touch pad 16 includes the sensor, detects an object (such as a user's finger or stylus) that approaches or touches the touch pad 16 at predetermined time intervals, and detects the detected position (for example, two-dimensional on the touch pad 16). Position information indicating coordinates) is output.
  • the detection area where the touch pad 16 detects an object is the entire surface (operation surface) on which the hard keys 15 of the second housing 2 are arranged. That is, the operation surface of the second housing 2 is the detection surface of the touch pad 16. Therefore, the key top surface of the hard key 15 is a part of the detection surface and is included in the detection region.
  • the sensor included in the touch pad 16 is a capacitance sensor or the like.
  • the touch pad 16 detects whether or not the user's finger is in contact with the operation surface of the second housing 2. As shown in FIG. 2, the operation surface (detection region of the touch pad 16) of the second housing 2 is located at a position different from the display surface (display region) of the display unit 14.
  • the mobile phone 10 is not limited to this, and may be a mobile phone of straight type, slide type, biaxial hinge type, or the like. In the present embodiment, a mobile phone is illustrated, but the present invention is not limited to this.
  • the present invention can be applied to any information processing apparatus including a display unit and an object detection unit having a planar detection area for detecting an object approaching or in contact with the display unit at a position different from the display area of the display unit. is there.
  • the present invention is applicable to, for example, notebook PCs, portable game machines, digital cameras, digital video cameras, portable music players, and the like.
  • the mobile phone 10 has the two operation units (input units) of the hard key 15 and the touch pad 16.
  • the mobile phone 10 has a “key operation mode”, “pointer mode” (first mode), and “scroll mode” (second mode). There are three modes.
  • the key operation mode is a mode that can be operated only with the hard key 15. That is, in the key operation mode, the operation using the touch pad 16 is invalid.
  • key operation mode for example, operate the cross key to move the focus (select an item in the list), press the center key to make a decision, operate the numeric keypad to enter numbers or characters, or go off-hook.
  • a call can be started by pressing a key, or a call or application can be ended by pressing an on-hook key.
  • the key operation mode press and hold the off-hook key to enter pointer mode.
  • a specific application is activated to shift to the pointer mode.
  • the key operation mode is set.
  • the pointer mode is a mode in which an arrow mark cursor is displayed on the screen, and a cursor moving operation and a determination operation using the touch pad 16 are enabled.
  • the pointer mode includes a cursor non-display state and a cursor display state.
  • the cursor non-display state the user touches the touch pad 16 (the operation surface of the second housing 2) and swipes a little to display the cursor. That is, the cursor transitions to the cursor display state.
  • the operation by the hard key 15 is possible similarly to the key operation mode.
  • the user can move the cursor by swiping or flicking the touch pad 16, or single-tap the touch pad 16 within a predetermined time (for example, 1.5 seconds) after the cursor moves.
  • the determination can be input at the position where the cursor is located, or the determination can be input at the position where the cursor is located by double-tapping the touch pad 16.
  • the cursor is deleted. That is, the state transits to a cursor non-display state.
  • the transition to the cursor non-display state also occurs when a predetermined time elapses without operating the touch pad 16.
  • the key operation mode is entered by terminating the specific application.
  • a long tap on the touch pad 16 makes a transition to the scroll mode.
  • the cursor is displayed.
  • Scroll mode is a mode that enables the screen to be scrolled by the touch pad 16.
  • the screen can be scrolled by swiping or flicking the touch pad 16, or predetermined processing corresponding to the running application can be executed by long-tapping the touch pad 16.
  • a single tap of the touch pad 16 makes a transition to the pointer mode.
  • the mode is changed to the pointer mode.
  • the key operation mode is entered.
  • FIG. 1 is a block diagram showing a main configuration of a mobile phone 10 according to the present embodiment.
  • the mobile phone 10 includes a main control unit 11, a storage unit 12, a work memory 13, a display unit 14, hard keys 15, and a touch pad 16.
  • the mobile phone 10 may include members such as a communication unit, a voice input unit, and a voice output unit, but these members are not shown because they are not related to the features of the invention.
  • the main control unit 11 is, for example, a CPU (Central Processing Unit), the storage unit 12 is, for example, a ROM (Read Only Memory), the work memory 13 is, for example, a RAM (Random Access Memory), and the main control unit 11 is By executing the program read from the storage unit 12 to the work memory 13, various calculations are performed and the respective units included in the mobile phone 10 are comprehensively controlled.
  • the storage unit 12 also stores a time threshold (first threshold) T1 and a time threshold (second threshold) T2.
  • the main control unit 11 includes, as functional blocks, a touch pad control unit (position information acquisition unit) 21, a touch event processing unit (motion control unit) 22, an application control unit (motion control unit) 23, and display control.
  • a touch pad control unit position information acquisition unit
  • a touch event processing unit motion control unit
  • an application control unit motion control unit
  • display control This is a configuration including the unit 24.
  • the touch pad control unit 21 acquires position information from the touch pad 16, and specifies a touch event based on the acquired position information.
  • the touch pad control unit 21 generates event information indicating the identified touch event, and notifies the generated event information to the touch event processing unit 22.
  • the touch pad control unit 21 determines the type of touch event at each detection interval of the touch pad 16, and specifies the touch event.
  • the touch pad control unit 21 determines that the touch down has occurred at the position indicated by the acquired position information. Further, when the position information is not sent from the touch pad 16 in the state where the position information has been received from the touch pad 16 last time, the touch pad control unit 21 performs the touch at the position indicated by the position information acquired last time. Judge that there was an up.
  • the touch pad control unit 21 acquires position information from the touch pad 16 in a state where the position information has been received from the touch pad 16 last time, and the position indicated by the acquired position information is the position indicated by the previously acquired position information. If it is different from, it is determined that there has been a move up to the position indicated by the position information acquired this time. As described above, the touch pad control unit 21 specifies one of touch-up, touch-down, and move as a touch event.
  • the touch pad control unit 21 When the touch pad control unit 21 specifies a touch event, the touch pad control unit 21 generates event information including type information and position information indicating the type of touch event (touch down, touch up, or move). Specifically, when the touch event is a touchdown, the event information includes position information indicating a touchdown position. When the touch event is a touch-up, the event information includes position information indicating a touch-up position (previous touch-down or move position). If the touch event is a move, the event information includes position information indicating the position of the move.
  • event information includes type information and position information indicating the type of touch event (touch down, touch up, or move). Specifically, when the touch event is a touchdown, the event information includes position information indicating a touchdown position. When the touch event is a touch-up, the event information includes position information indicating a touch-up position (previous touch-down or move position). If the touch event is a move, the event information includes position information indicating the position of the move.
  • the touch event processing unit 22 acquires event information from the touch pad control unit 21, processes the event information, and notifies the application control unit 23 or the display control unit 24 of the result.
  • User operations on the touch pad 16 include a touch operation, a single tap, a double tap, a long tap, a swipe, and a flick.
  • swipe and flick are not particularly distinguished, and these are collectively referred to as a scroll operation.
  • the touch event processing unit 22 determines the type of user operation based on one or more touch events specified by the touch pad control unit 21.
  • the touch operation is an operation in which the user brings an object into contact with the touch pad 16.
  • the touch event processing unit 22 determines that the user has performed a touch operation.
  • the single tap is an operation in which the user releases the object from the touch pad 16 immediately after contacting the object with the touch pad 16.
  • the touch event processing unit 22 detects a touchdown and detects a touchup next time or within a predetermined period, the touch event processing unit 22 determines that the user has performed a single tap.
  • the double tap is an operation in which the user performs an operation of continuously releasing the object from the touch pad 16 twice in succession by bringing the object into contact with the touch pad 16.
  • the touch event processing unit 22 determines that the user has double-tapped when it is determined that there has been a single tap twice consecutively within a predetermined period.
  • the long tap is an operation in which the user brings the object into contact with the touch pad 16 and releases the object from the touch pad 16 after a predetermined period. The long tap determination by the touch event processing unit 22 will be described later.
  • the scroll operation is an operation in which a user moves an object on the touch pad 16 while bringing the object into contact with the touch pad 16 and bringing the object into contact with the touch pad 16. When the touch event processing unit 22 detects a touchdown (or move) and then detects a move that moves more than a predetermined distance, the touch event processing unit 22 determines that the user has performed a scroll operation.
  • the touch event processing unit 22 notifies the application control unit 23 of the detected single tap, double tap, and long tap.
  • the touch event processing unit 22 notifies the display control unit 24 of the position information and the detected scroll operation. Note that the touch event processing unit 22 may further notify the application control unit 23 of the touch event itself, the scroll operation, and the like.
  • the application control unit 23 controls applications that can be executed by the mobile phone 10. Specifically, the application control unit 23 acquires a user operation from the touch event processing unit 22. The application control unit 23 executes a predetermined process in the running application according to the acquired user operation. The application control unit 23 can control any application that can be executed by the mobile phone 10, such as a call, mail, image display, video playback, document creation, and the like.
  • the display control unit 24 controls the display content of the display unit 14 based on the output from the application control unit 23.
  • the display control unit 24 also controls various cursors displayed on the display unit 14 and controls scrolling in the display area of the display unit 14.
  • the display control unit 24 determines the position of the pointer on the display area according to the position information acquired from the touch event processing unit 22, and causes the display unit 14 to display the cursor 6 indicating the pointer.
  • the display control unit 24 scrolls (moves and displays) at least a part of the display area according to the scroll operation acquired from the touch event processing unit 22. As described above, the scroll operation is detected according to the change in the position information. In the scroll mode, the display control unit 24 causes the display unit 14 to display the cursor 7 indicating the scroll mode. Moreover, in one embodiment, the display control unit 24 may move at least a part of the display area and acquire the display content to be displayed in the moved area from the application control unit 23.
  • the touch event processing unit 22 controls whether the display control unit 24 operates in the pointer mode or the scroll mode.
  • the touch event processing unit 22 when the user presses and holds the touch pad 16 for a long time, the touch event processing unit 22 has a touch duration time (duration) in which the position information continues to indicate the same position as the time threshold T1, It is determined whether or not each of T2 has been exceeded.
  • the touch event processing unit 22 detects that the touch pad control unit 21 does not detect a touch up or move after each time threshold value elapses after the touch pad control unit 21 detects the touch down. It can be determined that the touch duration has exceeded each time threshold.
  • the touch event processing unit 22 measures a touch duration time during which the touch pad control unit 21 does not detect touch up or move after the touch pad control unit 21 detects touch down. , Each time threshold may be compared.
  • the touch event processing unit 22 switches the operation of the display control unit 24 from the pointer mode to scrolling when the touch duration exceeds the time threshold T1, and the application control when the touch duration exceeds the time threshold T2.
  • the unit 23 is notified of the long touch described above.
  • the application control unit 23 that has acquired the long touch executes an action (for example, display of the list image 8) according to the position of the pointer.
  • the application control unit 23 sends an instruction to the display control unit 24 to display the display content including one or more selection targets 5 on the display unit 14, and whether or not the pointer is set to the selection target. Depending on which selection target 5 is selected, an action to be executed may be determined.
  • the user can continue to switch from the pointer mode to scrolling and to perform another action by simply adjusting the long press time without once releasing the finger 4 or the like from the touch pad 16. .
  • the time threshold T1 is shorter than the time threshold T2, and the display control unit 24 switches to the scroll mode when the touch duration exceeds the time threshold T1, and the touch event processing unit 22
  • the application control unit 23 causes the list image 8 to be superimposed on the display area of the display unit 14, and the display control unit 24 is detected according to the change in the position information.
  • the list image 8 is scrolled according to the scroll operation. Thereby, the user can realize display of the list image 8 and scrolling of the list image 8 without releasing the finger 4 from the touch pad 16.
  • FIG. 3 is a flowchart for explaining an example of processing when the touch pad is pressed and held in the present embodiment
  • FIG. 4 is a diagram for explaining the processing example.
  • step S1 when the display control unit 24 operates in the pointer mode and the cursor 6 indicating the pointer is set to the selection target 5, the user uses the finger 4 for a long time. Assume that the push has started. At this time, the touchpad control unit 21 detects a touchdown (step S1).
  • the touch event processing unit 22 acquires a touchdown from the touchpad control unit 21, the touch event processing unit 22 starts to determine whether or not a touchup is detected before the time threshold T1 elapses (step S2). And when touch-up is detected before the elapse of the time threshold T1, a single tap is detected as a user operation and notified to the application control unit 23.
  • the application control unit 23 notified of the single tap determines whether or not the pointer is set to the selection target 5 based on the position information at the time of touch-up (step S3), and the pointer is set to the selection target 5 In step S4, an action when the selection target 5 is selected is executed. Then, it returns to step S1.
  • the touch event processing unit 22 changes the operation of the display control unit 24 from the pointer mode to the scroll mode (step S5). .
  • the display control unit 24 causes the display unit 14 to display the cursor 7 indicating the scroll mode.
  • the touch event process part 22 acquires whether the selection target 5 exists in the touch position which position information shows from the application control part 23 (step S6), and when not existing, a long press corresponding
  • the touch event processing unit 22 notifies the display control unit 24 of the scroll operation, and the display control unit 24 displays in accordance with the scroll operation.
  • the scrolling of the area is executed (step S9).
  • the touch event processing unit 22 detects a long touch and notifies the application control unit 23.
  • the application control unit 23 notified of the long touch executes an action corresponding to the selection target 5 present at the touch position (step S10). For example, as shown in FIG. 4C, a list image (superimposed display image) 8 including a list of next actions related to the selection target 5 is superimposed on the display unit 14 to be selected by the user. It may be.
  • the action to be executed is not limited to the display of the list image, and any type of image (superimposed display image) related to the selection target 5 may be superimposed on the display unit 14, Other actions, for example, an action such as starting a drag operation of the selection target 5 may be executed.
  • the touch event processing unit 22 determines whether or not the touch pad control unit 21 detects a move (step S11).
  • the touch control unit 21 detects a move
  • the touch control unit 21 performs a scroll operation on the display control unit 24. Notice.
  • the display control unit 24 notified of the scroll operation executes scrolling of the list image 8 (step S12).
  • the touch event processing unit 22 determines whether or not the condition that the touch pad control unit 21 detects touch-up and the touch-down is not detected for a predetermined time is satisfied (step S13), and unless the condition is satisfied. Returning to step S11, the scroll operation of the list image 8 is continued. The reason that the condition that the touchdown is not detected for a predetermined time is included is to prevent malfunction during the scroll mode.
  • the touch event processing unit 22 changes the operation of the display control unit 24 from the scroll mode to the pointer mode (step S14). Thereby, the user can point and select an item in the list image 8.
  • touch event processing unit 22 and the application control unit 23 are not limited to this, and the other function may be performed by the other. Further, the touch event processing unit 22 and the application control unit 23 may be integrally configured as an operation control unit.
  • the time threshold value T1 is shorter than the time threshold value T2, and the display control unit 24 switches to the scroll mode when the touch duration exceeds the time threshold value T1, and the touch event processing unit 22 and the application
  • the control unit 23 switches the operation of the display control unit 24 from the scroll mode to the pointer mode according to the type of action executed by the application control unit 23.
  • the display control unit operates in the pointer mode after the action.
  • the user executes the action and switches to the pointer mode. This can be realized without separating the finger 4 from the touch pad 16.
  • FIG. 5 is a flowchart for explaining an example of processing when the touch pad is pressed long in this embodiment
  • FIG. 6 is a diagram for explaining the processing example.
  • steps S1 to S10 are executed as in the first embodiment (see (a), (b), (c), and (e) of FIG. 6). Subsequently, the touch event processing unit 22 acquires whether or not the executed action is a display of the list image 8 from the application control unit 23 (step S20).
  • the touch event processing unit 22 acquires the size of the list image 8 from the application control unit 23, and It is determined whether or not the size exceeds the size of the display area (screen size) of the display unit 14 (step S21).
  • steps S11 to S14 are executed as in the first embodiment.
  • the touch event processing unit 22 shifts the operation of the display control unit 24 to the pointer mode (step S22). As a result, as shown in FIG. 6D, the user can select the item 8a of the list image 8 without once releasing the finger 4 from the touch pad 16, thereby realizing a simpler operation. it can.
  • step S23 even when the action executed by the application control unit 23 is not the display of the list image 8 but, for example, the start of the drag operation of the selection target 5 as shown in FIG. 22 shifts the operation of the display control unit 24 to the pointer mode (step S23). Thereby, as shown in FIG. 6F, the user can perform the drag operation of the selection target 5 without once releasing the finger 4 from the touch pad 16, and can realize a simpler operation. . Note that when the user releases the finger 4 from the touch pad 16 and the touch pad control unit 21 detects a touch-up, the application control unit 23 may perform a drop operation.
  • a time threshold T3 is set, and the time threshold T2 is shorter than the time threshold T3.
  • the touch event processing unit 22 and the application control unit 23 exceed the time threshold T2
  • the list image 8 is superimposed on the display area of the display unit 14, and the display control unit 24 switches to the scroll mode when the touch duration exceeds the time threshold value T3, and the list image 8 is changed according to the change of the position information. Scroll.
  • the user can realize display of the list image 8 and scrolling of the list image 8 without releasing the finger 4 from the touch pad 16.
  • FIG. 7 is a block diagram showing a main configuration of the mobile phone according to the present embodiment.
  • the storage unit 12 stores a time threshold (first threshold) T3 in addition to the time threshold T1 and the time threshold (second threshold) T2.
  • FIG. 8 is a flowchart for explaining an example of processing when the touch pad is pressed and held in the present embodiment
  • FIG. 9 is a diagram for explaining the processing example.
  • steps S1 to S4 are executed as in the first embodiment (see FIG. 9A). Subsequently, the touch event processing unit 22 acquires whether or not the display area (screen) of the display unit 14 is scrollable from the display control unit 24 (step S30). If the display area of the display unit 14 can be scrolled, steps S5 to S10 are subsequently executed as in the first embodiment, and then step S22 is executed as in the second embodiment. The process proceeds as in Example 2.
  • steps S6 to S8 and S10 are executed in the pointer mode without executing step S5 (FIGS. 9B and 9C). )reference).
  • steps S6 to S8 and S10 are executed in the pointer mode without executing step S5 (FIGS. 9B and 9C). )reference).
  • a move is detected before the elapse of the time threshold value T2 in step S8, it is not in the scroll mode, so the process does not proceed to step S9 but returns to step S1 via step S31.
  • the touch event processing unit 22 acquires the size of the list image 8 from the application control unit 23, and determines whether or not the size exceeds the size of the display area (screen size) of the display unit 14 (step S1). S22). At this time, as shown in FIG. 9B, when the size of the list image 8 does not exceed the screen size, since the pointer mode has already been established, the long press processing is terminated as it is.
  • the touch event processing unit 22 determines that the time threshold T3 has elapsed. Prior to this, it is determined whether or not touch-up is detected (step S33). If touch-up is detected before the elapse of the time threshold T3, the long press processing is terminated as it is. On the other hand, if touch-up is not detected before the time threshold T3 has elapsed, the touch event processing unit 22 changes the operation of the display control unit 24 to the scroll mode (step S34), and is the same as in the first embodiment. Steps S11 to S14 are executed. Thereby, as shown in FIG. 9D, the user can scroll the list image 8 without once releasing the finger 4 from the touch pad 16, and can realize a simpler operation.
  • the control block of the mobile phone 10 is a logic formed in an integrated circuit (IC chip) or the like. It may be realized by a circuit (hardware) or may be realized by software using a CPU (Central Processing Unit).
  • the mobile phone 10 includes a CPU that executes instructions of a program that is software that implements each function, a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU), or A storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • a computer or CPU
  • the recording medium a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the information processing apparatus (cellular phone 10) according to aspect 1 of the present invention has an object detection that has a display unit 14 and a planar detection region for detecting an object that is close to or in contact with the display unit at a position different from the display region of the display unit.
  • the position information acquisition unit touch pad control unit 21
  • the first mode pointer mode
  • a second mode scroll mode
  • the operation of the display control unit is switched from the first mode to the second mode
  • the connection time exceeds the second threshold value (time threshold T2)
  • a operation control section to perform an action in accordance with the position of the pointer (touch event processing unit 22 and the application control unit 23).
  • the operation of the display control unit is When the mode is switched from the first mode to the second mode and the duration exceeds the second threshold, an action corresponding to the position of the pointer is executed. Therefore, the user can continuously perform the switching from the first mode to the second mode and another action without once separating the object from the object detection unit. Thereby, a simpler operation can be realized.
  • the first threshold value (time threshold value T1) is shorter than the second threshold value (time threshold value T2).
  • the superimposed display image (list image 8) is displayed in the display area, and the display control unit switches the first time when the duration time exceeds the first threshold value.
  • the superimposed display image may be scrolled according to the change in the position information.
  • the operation of the display control unit switches from the first mode to the second mode, and then the duration exceeds the second threshold.
  • the superimposed display image is displayed in the display area, and the superimposed image is scrolled according to the change in the position information.
  • the first threshold value (time threshold value T1) is shorter than the second threshold value (time threshold value T2). You may comprise so that operation
  • movement of the said display control part may be switched from said 2nd mode to said 1st mode when the said continuous time exceeds said 2nd threshold value.
  • the display control unit operates in the first mode after the action.
  • operation of a display control part can be automatically switched from said 2nd mode to said 1st mode.
  • the user can continuously execute the action and switch from the second mode to the first mode without once separating the object from the object detection unit. Thereby, a simpler operation can be realized.
  • the second threshold value (time threshold value T2) is shorter than the first threshold value (time threshold value T3).
  • the superimposed display image (list image 8) is displayed in the display area, and the display control unit is configured to display the second mode when the duration time exceeds the first threshold value.
  • the superimposed display image may be scrolled in accordance with the change in the position information.
  • the operation of the display control unit is While switching from the first mode to the second mode, the superimposed image is scrolled according to the change in the position information. Accordingly, the user continuously performs the display of the superimposed display image, the switching from the first mode to the second mode, and the scrolling of the superimposed display image without once separating the object from the object detection unit. be able to. Thereby, a simpler operation can be realized.
  • the control method of the information processing apparatus includes a display unit 14 and an object detection unit (which has a planar detection area for detecting an object that is approaching or touching at a position different from the display area of the display unit (A method for controlling an information processing apparatus comprising: a touch pad 16); and a position information acquisition unit (touch pad control unit 21) that acquires position information indicating a position where the object detection unit detects the object.
  • a method for controlling an information processing apparatus comprising: a touch pad 16); and a position information acquisition unit (touch pad control unit 21) that acquires position information indicating a position where the object detection unit detects the object.
  • the mode pointer mode
  • the position of the pointer on the display area is determined according to the position information.
  • the second mode at least a part of the display area is changed according to the change in the position information.
  • the operation of the display control process is switched from the first mode to the second mode, When the continuation time exceeds a second threshold value, and a motion control step of executing the action corresponding to the position of the pointer.
  • the information processing apparatus may be realized by a computer.
  • the computer operates as each unit (software element: the display control unit and the operation control unit) included in the information processing apparatus.
  • an information processing apparatus control program for realizing the information processing apparatus on a computer and a computer-readable recording medium on which the information processing apparatus is recorded also fall within the scope of the present invention.
  • the present invention can be generally used for an information processing apparatus including a display unit and an object detection unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　表示部と物体検出部とを備えた情報処理装置において、より簡易な操作を実現する。表示部（１４）およびタッチパッド（１６）を備えた携帯電話機（１０）は、タッチ継続時間が時間閾値（Ｔ１）を超えたとき、ポインタモードからスクロールモードに切り替え、タッチ継続時間が時間閾値（Ｔ２）を超えたとき、ポインタの位置に応じたアクションを実行する。

Description

情報処理装置およびその制御方法
　本発明は、情報処理装置およびその制御方法に関するものであり、詳細には、表示部と物体検出部とを備えた情報処理装置およびその制御方法に関するものである。
　特許文献１には、表示画面上に設けられたタッチパネルによって表示内容のスクロールが可能なスクロールモードと、当該タッチパネルによって表示画面に表示された選択対象を選択することができるポインタモードとの二つのモードを有しており、タッチパネルを長押しすることにより、モードの切り替えが可能なポインタ表示装置が記載されている。
日本国公開特許公報「特開２０１１－１７０９０１号公報（２０１１年９月１日公開）」
　しかし、特許文献１に記載の技術では、上記モードの切り替えと別のアクションとを行う場合、それぞれの操作の間に、一旦、タッチパネルから指を離す操作が必要となる。ゆえに、ユーザの操作が煩雑なものとなってしまう。
　ここで、本発明者らは、独自の発想に基づき、表示部と、近接または接触する物体を検出する平面状の検出領域を該表示部の表示領域とは異なる位置に有する物体検出部とを備えた情報処理装置を開発しており、このような情報処理装置におけるより簡易な操作を鋭意検討している。
　本発明は、上記課題に鑑みてなされたものであり、表示部と物体検出部とを備えた情報処理装置において、より簡易な操作を実現するための技術を提供することを主たる目的とする。
　上記の課題を解決するために、本発明の一態様に係る情報処理装置は、表示部と、近接または接触する物体を検出する平面状の検出領域を該表示部の表示領域とは異なる位置に有する物体検出部と、該物体検出部が該物体を検出した位置を示す位置情報を取得する位置情報取得部と、第一モードでは、該位置情報に応じて該表示領域上のポインタの位置を決定し、第二モードでは、該位置情報の変化に応じて該表示領域の少なくとも一部をスクロールさせる表示制御部と、該位置情報が継続して同じ位置を示している継続時間が第一閾値を超えたとき、該表示制御部の動作を第一モードから第二モードに切り替え、該継続時間が第二閾値を超えたとき、該ポインタの位置に応じたアクションを実行する動作制御部とを備える。
　また、本発明の一態様に係る情報処理装置の制御方法は、表示部と、近接または接触する物体を検出する平面状の検出領域を該表示部の表示領域とは異なる位置に有する物体検出部と、該物体検出部が該物体を検出した位置を示す位置情報を取得する位置情報取得部とを備える情報処理装置の制御方法であって、第一モードでは、該位置情報に応じて該表示領域上のポインタの位置を決定し、第二モードでは、該位置情報の変化に応じて該表示領域の少なくとも一部をスクロールさせる表示制御工程と、該位置情報が継続して同じ位置を示している継続時間が第一閾値を超えたとき、該表示制御工程の動作を第一モードから第二モードに切り替え、該継続時間が第二閾値を超えたとき、該ポインタの位置に応じたアクションを実行する動作制御工程とを含む。
　本発明の一態様によれば、ユーザは、操作のための物体（例えば、指）を、物体検出部から一旦離すことなく、上記第一モードから上記第二モードへの切り替えと、別のアクションとを続けて行うことができる。これにより、表示部と物体検出部とを備えた情報処理装置において、より簡易な操作を実現することができる。
本発明の一実施形態に係る携帯電話機の要部構成を示すブロック図である。 本発明の一実施形態に係る携帯電話機の外観を示す図である。 本発明の一実施形態においてタッチパッドを長押ししたときの処理の一例を説明するフローチャートである。 本発明の一実施形態においてタッチパッドを長押ししたときの処理の一例を説明する図である。 本発明の一実施形態においてタッチパッドを長押ししたときの処理の一例を説明するフローチャートである。 本発明の一実施形態においてタッチパッドを長押ししたときの処理の一例を説明する図である。 本発明の一実施形態に係る携帯電話機の要部構成を示すブロック図である。 本発明の一実施形態においてタッチパッドを長押ししたときの処理の一例を説明するフローチャートである。 本発明の一実施形態においてタッチパッドを長押ししたときの処理の一例を説明する図である。
　〔実施形態１〕
　以下、本発明の一実施形態について、詳細に説明する。
　（携帯電話機の概要）
　本実施形態に係る携帯電話機（情報処理装置）について、図２に基づいて説明する。図２は、本実施形態に係る携帯電話機１０の外観を示す図である。
　図２に示すように、携帯電話機１０は、いわゆる折り畳み式の携帯電話機である。第１筐体１および第２筐体２がヒンジ３を介して接続されており、ヒンジ３の軸を中心に回動可能である。第１筐体１および第２筐体２は、例えば、略平板状である。第１筐体１の一方の面に表示部１４が配置されている。第２筐体２の一方の面にハードキー１５が配置され、ハードキー１５の下方（第２筐体２の内部）に、ハードキー１５に重畳してタッチパッド（物体検出部）１６のためのセンサが配置されている。
　携帯電話機１０は、第１筐体１および第２筐体２を開いている開状態（図２に示す形態）と、第１筐体１の表示部１４が配置されている面（表示面）と、第２筐体２のハードキー１５が配置されている面（操作面）とが対向している閉状態（不図示）とに変形可能である。
　表示部１４は、画像を表示するものである。表示部１４は、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイなどを適用することが可能である。
　ハードキー１５は、ユーザが携帯電話機１０を操作するためのものである。ハードキー１５は、ユーザが押下したキーに対応する信号を出力する物理的なキーである。例えば、ハードキー１５は、メニューキー、テンキー、十字キー、センターキー、オンフックキー、オフフックキー等である。
　タッチパッド１６は、携帯電話機１０を操作するためのものである。タッチパッド１６は、前記センサを備えており、タッチパッド１６に近接または接触する物体（ユーザの指、スタイラス等）を所定時間毎に検出し、検出した位置（例えば、タッチパッド１６上の２次元座標）を示す位置情報を出力する。タッチパッド１６が物体を検出する検出領域は、第２筐体２のハードキー１５が配置されている面（操作面）の全体である。すなわち、第２筐体２の操作面がタッチパッド１６の検出面である。そのため、ハードキー１５のキートップ面は前記検出面の一部であり、検出領域に含まれる。タッチパッド１６が備えるセンサは、静電容量センサ等である。
　本実施形態では、タッチパッド１６は、第２筐体２の操作面上にユーザの指が接触しているか否かを検出する。図２に示すように、第２筐体２の操作面（タッチパッド１６の検出領域）は、表示部１４の表示面（表示領域）と異なる位置にある。
　なお、図２には折り畳み式の携帯電話機１０が示されているが、これに限るものではなく、ストレート式、スライド式、２軸ヒンジ式等の携帯電話機であってもよい。また、本実施形態では、携帯電話機を例示しているが、これに限るものではない。本発明は、表示部と、近接または接触する物体を検出する平面状の検出領域を前記表示部の表示領域とは異なる位置に有する物体検出部と、を備える任意の情報処理装置に適用可能である。本発明は、例えば、ノートＰＣ、携帯ゲーム機、デジタルカメラ、デジタルビデオカメラ、携帯音楽プレイヤー等に適用可能である。
　（携帯電話機の操作体系）
　上述のように携帯電話機１０は、ハードキー１５およびタッチパッド１６の２つの操作部（入力部）を有する。ユーザのタッチパッド１６による操作を容易にするため（誤操作を防止するため）、携帯電話機１０は、「キー操作モード」、「ポインタモード」（第一モード）、「スクロールモード」（第二モード）の３つのモードを有する。
　キー操作モードは、ハードキー１５のみで操作可能なモードである。すなわち、キー操作モードでは、タッチパッド１６による操作が無効である。キー操作モードでは、例えば、十字キーを操作してフォーカスを移動（リストの項目を選択）したり、センターキーを押下して決定したり、テンキーを操作して数字または文字を入力したり、オフフックキーを押下して通話を開始したり、オンフックキーを押下して通話またはアプリケーションを終了したりすることができる。
　キー操作モードにおいて、オフフックキーを長押しすることにより、ポインタモードへ移行する。また、キー操作モードにおいて、特定のアプリケーションを起動することにより、ポインタモードへ移行する。なお、携帯電話機１０の起動時は、キー操作モードとなる。
　ポインタモードは、画面上に矢印マークのカーソルを表示し、タッチパッド１６によるカーソル移動操作および決定操作を可能にするモードである。ポインタモードには、カーソル非表示状態とカーソル表示状態とがある。カーソル非表示状態では、ユーザがタッチパッド１６（第２筐体２の操作面）にタッチして少しスワイプすることにより、カーソルが表示される。すなわち、カーソル表示状態に遷移する。また、キー操作モードと同様にハードキー１５による操作が可能である。カーソル表示状態では、ユーザは、タッチパッド１６をスワイプまたはフリックすることにより、カーソルを移動させたり、カーソルが移動してから所定時間（例えば１．５秒）以内にタッチパッド１６をシングルタップすることにより、カーソルがある位置で決定を入力したり、タッチパッド１６をダブルタップすることにより、カーソルがある位置で決定を入力したりすることができる。また、カーソル表示状態において、ハードキー１５を押下すると、カーソルが消去される。すなわち、カーソル非表示状態に遷移する。また、カーソル表示状態において、タッチパッド１６を操作することなく所定時間経過した場合も、カーソル非表示状態に遷移する。
　ポインタモードにおいて、オフフックキーを長押しすることにより、キー操作モードに移行する。また、前記特定のアプリケーションを終了することにより、キー操作モードへ移行する。ポインタモードにおいて、タッチパッド１６をロングタップすることにより、スクロールモードへ移行する。なお、ポインタモードに移行した場合、カーソル表示状態となる。
　スクロールモードは、タッチパッド１６による画面のスクロールを可能にするモードである。スクロールモードでは、タッチパッド１６をスワイプまたはフリックすることにより、画面をスクロールしたり、タッチパッド１６をロングタップすることにより、起動中のアプリケーションに応じた所定の処理を実行したりすることができる。スクロールモードにおいて、タッチパッド１６をシングルタップすることにより、ポインタモードへ移行する。また、スクロールモードにおいて、タッチパッド１６を操作することなく所定時間経過した場合も、ポインタモードに移行する。また、スクロールモードにおいて、前記特定のアプリケーションが終了した場合、キー操作モードに移行する。
　（携帯電話機の構成）
　次に、図１に基づいて、携帯電話機１０の構成および機能について詳細に説明する。図１は、本実施形態に係る携帯電話機１０の要部構成を示すブロック図である。
　図１に示すように、携帯電話機１０は、主制御部１１、記憶部１２、ワークメモリ１３、表示部１４、ハードキー１５およびタッチパッド１６を備える。なお、携帯電話機１０は、通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
　主制御部１１は、例えばＣＰＵ（Central Processing Unit）であり、記憶部１２は、例えばＲＯＭ（Read Only Memory）であり、ワークメモリ１３は、例えばＲＡＭ（RandomAccess Memory）であり、主制御部１１は、記憶部１２からワークメモリ１３に読み出されたプログラムを実行することにより、各種の演算を行うと共に、携帯電話機１０が備える各部を統括的に制御するものである。記憶部１２はまた、時間閾値（第一閾値）Ｔ１および時間閾値（第二閾値）Ｔ２を記憶している。
　本実施形態では、主制御部１１は、機能ブロックとして、タッチパッド制御部（位置情報取得部）２１、タッチイベント処理部（動作制御部）２２、アプリ制御部（動作制御部）２３および表示制御部２４を備える構成である。
　タッチパッド制御部２１は、タッチパッド１６から位置情報を取得し、取得した位置情報に基づいて、タッチイベントを特定する。タッチパッド制御部２１は、特定したタッチイベントを示すイベント情報を生成し、生成したイベント情報をタッチイベント処理部２２に通知する。
　具体的には、タッチパッド制御部２１は、タッチパッド１６の検出間隔毎にタッチイベントの種別の判定を行い、タッチイベントを特定する。タッチパッド制御部２１は、前回にタッチパッド１６から位置情報を受けていない状態において、タッチパッド１６から位置情報を取得した場合、取得した位置情報の示す位置において、タッチダウンがあったと判定する。また、タッチパッド制御部２１は、前回にタッチパッド１６から位置情報を受けている状態において、タッチパッド１６から位置情報が送られてこなかった場合、前回に取得した位置情報の示す位置において、タッチアップがあったと判定する。また、タッチパッド制御部２１は、前回にタッチパッド１６から位置情報を受けている状態において、タッチパッド１６から位置情報を取得し、取得した位置情報の示す位置が前回取得した位置情報の示す位置と異なる場合、今回取得した位置情報の示す位置まで、ムーブがあったと判定する。このように、タッチパッド制御部２１は、タッチイベントとして、タッチアップ、タッチダウンまたはムーブの何れかを特定する。
　タッチパッド制御部２１は、タッチイベントを特定すると、タッチイベントの種別（タッチダウン、タッチアップまたはムーブ）を示す種別情報および位置情報を含むイベント情報を生成する。具体的には、タッチイベントがタッチダウンの場合、イベント情報は、タッチダウンの位置を示す位置情報を含む。また、タッチイベントがタッチアップの場合、イベント情報は、タッチアップの位置（前回のタッチダウンまたはムーブの位置）を示す位置情報を含む。また、タッチイベントがムーブの場合、イベント情報は、ムーブの位置を示す位置情報を含む。
　タッチイベント処理部２２は、タッチパッド制御部２１からイベント情報を取得し、当該イベント情報を処理して、その結果をアプリ制御部２３または表示制御部２４に通知する。
　ここで、タッチイベント処理部２２によるタッチパッド１６に対するユーザ操作の判定について説明する。タッチパッド１６に対するユーザ操作として、タッチ操作、シングルタップ、ダブルタップ、ロングタップ、スワイプ、フリック等がある。本実施形態では、スワイプおよびフリックを特に区別しないため、これらを総称してスクロール操作と称する。タッチイベント処理部２２は、タッチパッド制御部２１が特定した１または複数のタッチイベントに基づいて、ユーザ操作の種別を判定する。
　タッチ操作とは、ユーザがタッチパッド１６に物体を接触させる操作である。タッチイベント処理部２２は、タッチダウンを検出した場合、ユーザがタッチ操作を行ったと判定する。シングルタップとは、ユーザがタッチパッド１６に物体を接触させてすぐにタッチパッド１６から物体を離す操作である。タッチイベント処理部２２は、タッチダウンを検出し、次回または所定期間以内にタッチアップを検出した場合、ユーザがシングルタップを行ったと判定する。ダブルタップとは、ユーザがタッチパッド１６に物体を接触させてすぐにタッチパッド１６から物体を離す操作を２回連続で行う操作である。タッチイベント処理部２２は、所定期間以内に２回連続でシングルタップがあったと判定した場合、ユーザがダブルタップを行ったと判定する。ロングタップとは、ユーザがタッチパッド１６に物体を接触させて所定期間後にタッチパッド１６から物体を離す操作である。タッチイベント処理部２２によるロングタップの判定については後述する。スクロール操作とは、ユーザがタッチパッド１６に物体を接触させて、物体を接触させながらタッチパッド１６上で物体を動かす操作である。タッチイベント処理部２２は、タッチダウン（またはムーブ）を検出し、次に所定距離以上移動するムーブを検出した場合、ユーザがスクロール操作を行ったと判定する。
　タッチイベント処理部２２は、検出したシングルタップ、ダブルタップおよびロングタップをアプリ制御部２３に通知する。また、タッチイベント処理部２２は、位置情報および検出したスクロール操作を表示制御部２４に通知する。なお、タッチイベント処理部２２は、タッチイベントそのものや、スクロール操作等を、さらにアプリ制御部２３に通知してもよい。
　アプリ制御部２３は、携帯電話機１０で実行可能なアプリケーションを制御するものである。具体的には、アプリ制御部２３は、タッチイベント処理部２２からユーザ操作を取得する。アプリ制御部２３は、取得したユーザ操作に応じて、起動中のアプリケーションにおいて予め定められた処理を実行する。アプリ制御部２３は、例えば、通話、メール、画像表示、動画再生、文書作成等の携帯電話機１０で実行可能な任意のアプリケーションを制御することができる。
　表示制御部２４は、アプリ制御部２３からの出力に基づき、表示部１４の表示内容を制御する。また、表示制御部２４は、表示部１４に表示される各種カーソルの制御および表示部１４の表示領域におけるスクロールの制御を行う。
　表示制御部２４は、ポインタモードでは、タッチイベント処理部２２から取得した位置情報に応じて表示領域上のポインタの位置を決定し、当該ポインタを示すカーソル６を表示部１４に表示させる。
　また、表示制御部２４は、スクロールモードでは、タッチイベント処理部２２から取得した、スクロール操作に応じて表示領域を少なくとも一部をスクロール（移動表示）させる。なお、上述したように、スクロール操作は、位置情報の変化に応じて検出されたものである。表示制御部２４は、スクロールモードでは、スクロールモードであることを示すカーソル７を表示部１４に表示させる。また、一実施形態において、表示制御部２４は、表示領域を少なくとも一部を移動させると共に、移動させた後の領域に表示する表示内容を、アプリ制御部２３から取得するようにしてもよい。
　表示制御部２４がポインタモードで動作するか、スクロールモードで動作するかは、タッチイベント処理部２２によって制御される。
　（ユーザがタッチパッドを長押ししたときの処理）
　続いて、ユーザがタッチパッド１６を長押ししたときの処理（長押し対応処理）について説明する。
　本実施形態では、ユーザがタッチパッド１６を長押ししているとき、タッチイベント処理部２２は、位置情報が継続して同じ位置を示しているタッチ継続時間（継続時間）が、時間閾値Ｔ１、Ｔ２の夫々を超えたか否かを判定する。一実施形態において、タッチイベント処理部２２は、タッチパッド制御部２１がタッチダウンを検知してから、各時間閾値が経過するまでに、タッチパッド制御部２１がタッチアップまたはムーブを検知していなかったときに、タッチ継続時間が、各時間閾値を超えたと判定することができる。また、他の実施形態において、タッチイベント処理部２２は、タッチパッド制御部２１がタッチダウンを検知してから、タッチパッド制御部２１がタッチアップまたはムーブを検知していないタッチ継続時間を計測し、各時間閾値と比較してもよい。
　そして、タッチイベント処理部２２は、タッチ継続時間が、時間閾値Ｔ１を超えたとき、表示制御部２４の動作をポインタモードからスクロールに切り替え、タッチ継続時間が時間閾値Ｔ２を超えたとき、アプリ制御部２３に上述したロングタッチを通知する。ロングタッチを取得したアプリ制御部２３は、ポインタの位置に応じたアクション（例えば、リスト画像８の表示）を実行する。
　なお、アプリ制御部２３は、例えば、表示部１４に一つ以上の選択対象５を含む表示内容を表示するように表示制御部２４に指示を送り、上記ポインタが選択対象に合わされているか否か、どの選択対象５に合わされているかに応じて、実行するアクションを決定してもよい。
　このように、ユーザは、長押しの時間を調整するだけで、指４等をタッチパッド１６から一旦離すことなく、ポインタモードからスクロールへの切り替えと、別のアクションとを続けて行うことができる。
　また、本実施形態では、時間閾値Ｔ１の方が時間閾値Ｔ２よりも短く、表示制御部２４は、タッチ継続時間が時間閾値Ｔ１を超えたときにスクロールモードに切り替わっており、タッチイベント処理部２２およびアプリ制御部２３は、タッチ継続時間が時間閾値Ｔ２を超えたとき、表示部１４の表示領域にリスト画像８を重畳表示させ、表示制御部２４は、位置情報の変化に応じて検知されたスクロール操作に応じてリスト画像８をスクロールさせる。これにより、ユーザは、リスト画像８の表示と、当該リスト画像８のスクロールとを、指４をタッチパッド１６から離すことなく実現することができる。
　以下、本実施形態においてタッチパッドを長押ししたときの処理の詳細について図３、図４に基づいて説明する。図３は、本実施形態においてタッチパッドを長押ししたときの処理の一例を説明するフローチャートであり、図４は、当該処理例を説明するための図である。
　まず、図４の（ａ）に示すように、表示制御部２４がポインタモードで動作しており、ポインタを示すカーソル６が選択対象５に合わされた状態において、ユーザが、指４を用いて長押しを開始したものとする。このとき、タッチパッド制御部２１は、タッチダウンを検知する（ステップＳ１）。
　タッチイベント処理部２２は、タッチパッド制御部２１からタッチダウンを取得すると、時間閾値Ｔ１の経過前にタッチアップが検知されるか否かの判定を開始する（ステップＳ２）。そして、時間閾値Ｔ１の経過前にタッチアップを検知した場合には、ユーザ操作として、シングルタップを検出し、アプリ制御部２３に通知する。シングルタップを通知されたアプリ制御部２３は、タッチアップ時の位置情報に基づき、ポインタが選択対象５に合わされているか否かを判定し（ステップＳ３）、ポインタが選択対象５に合わされている場合には、選択対象５を選択したときのアクションを実行する（ステップＳ４）。その後、ステップＳ１に戻る。
　また、ステップＳ２において、時間閾値Ｔ１の経過前にタッチアップが検知されなかった場合、タッチイベント処理部２２は、表示制御部２４の動作を、ポインタモードからスクロールモードへと遷移させる（ステップＳ５）。これにより、図４の（ｂ）に示すように、表示制御部２４は、表示部１４に、スクロールモードを示すカーソル７を表示させる。
　そして、タッチイベント処理部２２は、アプリ制御部２３から、位置情報が示すタッチ位置に選択対象５が存在するか否かを取得し（ステップＳ６）、存在しない場合には、長押し対応処理を終了させる。一方、タッチ位置に選択対象５が存在する場合には、時間閾値Ｔ２の経過前に、タッチアップが検知されるか否か（ステップＳ７）、および、時間閾値Ｔ２の経過前に、ムーブが検知されるか否か（ステップＳ８）の判定を開始する。
　時間閾値Ｔ２の経過前に、タッチアップが検知された場合には、長押し対応処理を終了させる。また、時間閾値Ｔ２の経過前に、ムーブが検知された場合には、タッチイベント処理部２２は、スクロール操作を表示制御部２４に通知し、表示制御部２４は、当該スクロール操作に応じて表示領域のスクロールを実行する（ステップＳ９）。
　一方、時間閾値Ｔ２の経過前に、タッチアップもムーブも検知されなかった場合には、タッチイベント処理部２２はロングタッチを検出し、アプリ制御部２３に通知する。ロングタッチが通知されたアプリ制御部２３は、タッチ位置に存在する選択対象５に応じたアクションを実行する（ステップＳ１０）。例えば、図４の（ｃ）に示すように、選択対象５に関連する次のアクションのリストを含むリスト画像（重畳表示画像）８を、表示部１４に重畳表示させて、ユーザに選択させるようにしてもよい。
　なお、ステップＳ１０において、実行させるアクションは、リスト画像の表示に限定されず、選択対象５に関連する任意の種類の画像（重畳表示画像）を、表示部１４に重畳表示してもよいし、その他のアクション、例えば、選択対象５のドラッグ操作の開始等のアクションを実行してもよい。
　ここで、図４の（ｃ）に示すように、リスト画像８のサイズが、表示部１４の表示領域のサイズ（画面サイズ）よりも大きく、リスト画像８のスクロールが必要な場合であっても、ステップＳ５においてスクロールモードに遷移しているため、ユーザはさらなる操作を行うことなく、リスト画像８のスクロールを実行することができる。
　すなわち、タッチイベント処理部２２は、タッチパッド制御部２１がムーブを検知するか否かを判定し（ステップＳ１１）、タッチパッド制御部２１がムーブを検知した場合、表示制御部２４にスクロール操作を通知する。そして、図４の（ｄ）に示すように、スクロール操作が通知された表示制御部２４は、リスト画像８のスクロールを実行する（ステップＳ１２）。
　そして、タッチイベント処理部２２は、タッチパッド制御部２１がタッチアップを検知し、所定時間タッチダウンが検知されないという条件が満たされるか否かを判定し（ステップＳ１３）、当該条件が満たされない限り、ステップＳ１１に戻って、リスト画像８のスクロール動作を継続する。なお、所定時間タッチダウンが検知されないという条件が含まれている理由は、スクロールモード中の誤動作を防ぐためである。
　一方、上記条件が満たされた場合、タッチイベント処理部２２は、表示制御部２４の動作を、スクロールモードからポインタモードに遷移させる（ステップＳ１４）。これにより、ユーザは、リスト画像８の項目をポイントして、選択することができる。
　なお、上述したタッチイベント処理部２２およびアプリ制御部２３の機能の切り分けはこれに限定されるものではなく、一部の機能を他方が行ってもよい。また、タッチイベント処理部２２およびアプリ制御部２３が一体となって動作制御部として構成されていてもよい。
　〔実施形態２〕
　本発明の他の実施形態について説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材、および、同じ処理を行うステップについては、同じ符号を付記し、その説明を省略する。
　本実施形態では、時間閾値Ｔ１の方が時間閾値Ｔ２よりも短く、表示制御部２４は、タッチ継続時間が時間閾値Ｔ１を超えたときにスクロールモードに切り替わっており、タッチイベント処理部２２およびアプリ制御部２３は、タッチ継続時間が時間閾値Ｔ２を超えたとき、アプリ制御部２３が実行するアクションの種類に応じて、表示制御部２４の動作を、スクロールモードからポインタモードに切り替える。上記アクションの内容によっては、当該アクション後、表示制御部がポインタモードで動作することが好ましい場合があり、本実施形態によれば、ユーザは、上記アクションの実行と、ポインタモードへの切り替えとを、指４をタッチパッド１６から離すことなく実現することができる。
　以下、本実施形態においてタッチパッドを長押ししたときの処理の詳細について図５、図６に基づいて説明する。図５は、本実施形態においてタッチパッドを長押ししたときの処理の一例を説明するフローチャートであり、図６は、当該処理例を説明するための図である。
　まず、実施形態１と同様にステップＳ１～Ｓ１０が実行される（図６の（ａ）、（ｂ）、（ｃ）、（ｅ）参照）。続いて、タッチイベント処理部２２は、アプリ制御部２３から、実行したアクションがリスト画像８の表示であるか否かを取得する（ステップＳ２０）。
　アプリ制御部２３が実行したアクションがリスト画像８の表示である場合（図６の（ｃ））、まず、タッチイベント処理部２２は、アプリ制御部２３からリスト画像８のサイズを取得し、当該サイズが、表示部１４の表示領域のサイズ（画面サイズ）を超えたか否かを判定する（ステップＳ２１）。そして、リスト画像８のサイズが画面サイズを超えており、リスト画像８のスクロールが必要な場合には、実施形態１と同様にステップＳ１１～Ｓ１４を実行する。一方、リスト画像８のサイズが画面サイズを超えていない場合には、タッチイベント処理部２２は、表示制御部２４の動作をポインタモードに遷移させる（ステップＳ２２）。これにより、図６の（ｄ）に示すように、ユーザは、指４を一旦タッチパッド１６から離すことなくリスト画像８の項目８ａを選択することができ、より簡便な操作を実現することができる。
　また、アプリ制御部２３が実行したアクションがリスト画像８の表示でなく、例えば、図６の（ｅ）に示すように、選択対象５のドラッグ操作の開始である場合にも、タッチイベント処理部２２は、表示制御部２４の動作をポインタモードに遷移させる（ステップＳ２３）。これにより、図６の（ｆ）に示すように、ユーザは、指４を一旦タッチパッド１６から離すことなく選択対象５のドラッグ操作を行うことができ、より簡便な操作を実現することができる。なお、ユーザが、指４をタッチパッド１６から離し、タッチパッド制御部２１がタッチアップを検知したとき、アプリ制御部２３は、ドロップ操作を実行すればよい。
　〔実施形態３〕
　本発明のさらに他の実施形態について説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材、および、同じ処理を行うステップについては、同じ符号を付記し、その説明を省略する。
　本実施形態では、時間閾値Ｔ３が設定されており、時間閾値Ｔ２の方が時間閾値Ｔ３よりも短く、タッチイベント処理部２２およびアプリ制御部２３は、タッチ継続時間が時間閾値Ｔ２を超えたとき、表示部１４の表示領域にリスト画像８を重畳表示させ、表示制御部２４は、タッチ継続時間が時間閾値Ｔ３を超えたときにスクロールモードに切り替えて、位置情報の変化に応じてリスト画像８をスクロールさせる。これにより、ユーザは、リスト画像８の表示と、当該リスト画像８のスクロールとを、指４をタッチパッド１６から離すことなく実現することができる。
　図７は、本実施形態に係る携帯電話機の要部構成を示すブロック図である。図７に示すように、本実施形態では、記憶部１２が、時間閾値Ｔ１および時間閾値（第二閾値）Ｔ２に加えて、時間閾値（第一閾値）Ｔ３を記憶している。
　以下、本実施形態においてタッチパッドを長押ししたときの処理の詳細について図８、９に基づいて説明する。図８は、本実施形態においてタッチパッドを長押ししたときの処理の一例を説明するフローチャートであり、図９は、当該処理例を説明するための図である。
　まず、実施形態１と同様にステップＳ１～Ｓ４が実行される（図９の（ａ）参照）。続いて、タッチイベント処理部２２は、表示部１４の表示領域（画面）が、スクロール可能か否かを、表示制御部２４から取得する（ステップＳ３０）。表示部１４の表示領域が、スクロール可能である場合には、続いて実施形態１と同様にステップＳ５～Ｓ１０を実行し、続いて実施例２と同様にステップＳ２２を実行し、以降は、実施例２と同様に処理を進める。
　一方、表示部１４の表示領域が、スクロール可能ではない場合には、ステップＳ５を実行せずに、ポインタモードのまま、ステップＳ６～Ｓ８およびＳ１０を実行する（図９の（ｂ）および（ｃ）参照）。ただし、ステップＳ８において、時間閾値Ｔ２の経過前にムーブが検知された場合、スクロールモードではないため、ステップＳ９には進まず、ステップＳ３１を介してステップＳ１に戻る。
　続いて、タッチイベント処理部２２は、アプリ制御部２３からリスト画像８のサイズを取得し、当該サイズが、表示部１４の表示領域のサイズ（画面サイズ）を超えたか否かを判定する（ステップＳ２２）。このとき、図９の（ｂ）に示すように、リスト画像８のサイズが画面サイズを超えていない場合には、既にポインタモードであるため、そのまま長押し対応処理を終了させる。
　一方、図９の（ｃ）に示すように、リスト画像８のサイズが画面サイズを超えており、リスト画像８のスクロールが必要な場合には、タッチイベント処理部２２は、時間閾値Ｔ３の経過前に、タッチアップが検知されるか否かの判定を開始する（ステップＳ３３）。時間閾値Ｔ３の経過前に、タッチアップが検知された場合には、そのまま長押し対応処理を終了させる。一方、時間閾値Ｔ３の経過前に、タッチアップが検知されなかった場合には、タッチイベント処理部２２は、表示制御部２４の動作をスクロールモードに遷移させ（ステップＳ３４）、実施形態１と同様にステップＳ１１～Ｓ１４を実行する。これにより、図９の（ｄ）に示すように、ユーザは、指４を一旦タッチパッド１６から離すことなくリスト画像８をスクロールさせることができ、より簡便な操作を実現することができる。
　〔ソフトウェアによる実現例〕
　携帯電話機１０の制御ブロック（特に、主制御部１１のタッチパッド制御部２１、タッチイベント処理部２２、アプリ制御部２３および表示制御部２４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、携帯電話機１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る情報処理装置（携帯電話機１０）は、表示部１４と、近接または接触する物体を検出する平面状の検出領域を該表示部の表示領域とは異なる位置に有する物体検出部（タッチパッド１６）と、該物体検出部が該物体を検出した位置を示す位置情報を取得する位置情報取得部（タッチパッド制御部２１）と、第一モード（ポインタモード）では、該位置情報に応じて該表示領域上のポインタの位置を決定し、第二モード（スクロールモード）では、該位置情報の変化に応じて該表示領域の少なくとも一部をスクロールさせる表示制御部２４と、該位置情報が継続して同じ位置を示している継続時間が第一閾値（時間閾値Ｔ１、時間閾値Ｔ３）を超えたとき、該表示制御部の動作を第一モードから第二モードに切り替え、該継続時間が第二閾値（時間閾値Ｔ２）を超えたとき、該ポインタの位置に応じたアクションを実行する動作制御部（タッチイベント処理部２２およびアプリ制御部２３）とを備える。
　上記の構成によれば、物体検出部が上記物体を検出した位置を示す位置情報が継続して同じ位置を示している継続時間が第一閾値を超えたとき、表示制御部の動作が上記第一モードから上記第二モードに切り替わり、当該継続時間が第二閾値を超えたとき、ポインタの位置に応じたアクションが実行される。ゆえに、ユーザは、上記物体を物体検出部から一旦離すことなく、上記第一モードから上記第二モードへの切り替えと、別のアクションとを続けて行うことができる。これにより、より簡易な操作を実現することができる。
　本発明の態様２に係る情報処理装置は、上記態様１において、上記第一閾値（時間閾値Ｔ１）の方が上記第二閾値（時間閾値Ｔ２）よりも短く、上記動作制御部は、上記継続時間が上記第二閾値を超えたとき、上記表示領域に重畳表示画像（リスト画像８）を表示させ、上記表示制御部は、上記継続時間が上記第一閾値を超えたときに切り替えた上記第二モードにおいて、該重畳表示画像が表示されているとき、上記位置情報の変化に応じて該重畳表示画像をスクロールさせるように構成してもよい。
　上記の構成によれば、上記継続時間が第一閾値を超えたとき、表示制御部の動作が上記第一モードから上記第二モードに切り替わり、その後、当該継続時間が第二閾値を超えたとき、表示領域に重畳表示画像が表示され、上記位置情報の変化に応じて当該重畳画像がスクロールされる。これにより、ユーザは、上記第一モードから上記第二モードへの切り替えと、重畳表示画像の表示と、当該重畳表示画像のスクロールとを、上記物体を物体検出部から一旦離すことなく続けて行うことができる。これにより、さらに簡易な操作を実現することができる。
　本発明の態様３に係る情報処理装置は、上記態様１または２において、上記第一閾値（時間閾値Ｔ１）の方が上記第二閾値（時間閾値Ｔ２）よりも短く、上記動作制御部は、上記継続時間が上記第二閾値を超えたとき、上記表示制御部の動作を上記第二モードから上記第一モードに切り替えるように構成してもよい。
　上記アクションの内容によっては、当該アクション後、表示制御部が第一モードで動作することが好ましい場合がある。上記の構成によれば、上記アクションが実行された後に、表示制御部の動作を自動的に上記第二モードから上記第一モードに切り替えることができる。これにより、ユーザは、上記アクションの実行と、第二モードから上記第一モードへの切り替えとを、上記物体を物体検出部から一旦離すことなく続けて行うことができる。これにより、さらに簡易な操作を実現することができる。
　本発明の態様４に係る情報処理装置は、上記態様１において、上記第二閾値（時間閾値Ｔ２）の方が上記第一閾値（時間閾値Ｔ３）よりも短く、上記動作制御部は、上記継続時間が上記第二閾値を超えたとき、上記表示領域に重畳表示画像（リスト画像８）を表示させ、上記表示制御部は、上記継続時間が上記第一閾値を超えたときに上記第二モードに切り替えて、上記位置情報の変化に応じて該重畳表示画像をスクロールさせるように構成してもよい。
　上記の構成によれば、上記継続時間が第二閾値を超えたとき、表示領域に重畳表示画像が表示され、その後、当該継続時間が第一閾値を超えたとき、表示制御部の動作が上記第一モードから上記第二モードに切り替わると共に、上記位置情報の変化に応じて当該重畳画像がスクロールされる。これにより、ユーザは、重畳表示画像の表示と、上記第一モードから上記第二モードへの切り替えと、上記重畳表示画像のスクロールとを、上記物体を物体検出部から一旦離すことなく続けて行うことができる。これにより、さらに簡易な操作を実現することができる。
　本発明の態様５に係る情報処理装置の制御方法は、表示部１４と、近接または接触する物体を検出する平面状の検出領域を該表示部の表示領域とは異なる位置に有する物体検出部（タッチパッド１６）と、該物体検出部が該物体を検出した位置を示す位置情報を取得する位置情報取得部（タッチパッド制御部２１）とを備える情報処理装置の制御方法であって、第一モード（ポインタモード）では、該位置情報に応じて該表示領域上のポインタの位置を決定し、第二モード（スクロールモード）では、該位置情報の変化に応じて該表示領域の少なくとも一部をスクロールさせる表示制御工程と、該位置情報が継続して同じ位置を示している継続時間が第一閾値を超えたとき、該表示制御工程の動作を第一モードから第二モードに切り替え、該継続時間が第二閾値を超えたとき、該ポインタの位置に応じたアクションを実行する動作制御工程とを含む。
　上記の構成によれば、上記態様１の情報処理装置と同等の効果を奏する。
　本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部（ソフトウェア要素：上記表示制御部および上記動作制御部）として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　本発明は、表示部と物体検出部とを備える情報処理装置一般に利用することができる。
　　４　指（物体）
　　５　選択対象
　　６，７　カーソル
　　８　リスト画像（重畳表示画像）
　　１０　携帯電話機（情報処理装置）
　　１４　表示部
　　１６　タッチパッド（物体検出部）
　　２１　タッチパッド制御部（位置情報取得部）
　　２２　タッチイベント処理部（動作制御部）
　　２３　アプリ制御部（動作制御部）
　　２４　表示制御部
　　Ｔ１　時間閾値（第一閾値）
　　Ｔ２　時間閾値（第二閾値）
　　Ｔ３　時間閾値（第一閾値）

Claims (5)

  1. 　表示部と、
    　近接または接触する物体を検出する平面状の検出領域を該表示部の表示領域とは異なる位置に有する物体検出部と、
    　該物体検出部が該物体を検出した位置を示す位置情報を取得する位置情報取得部と、
    　第一モードでは、該位置情報に応じて該表示領域上のポインタの位置を決定し、第二モードでは、該位置情報の変化に応じて該表示領域の少なくとも一部をスクロールさせる表示制御部と、
    　該位置情報が継続して同じ位置を示している継続時間が第一閾値を超えたとき、該表示制御部の動作を第一モードから第二モードに切り替え、該継続時間が第二閾値を超えたとき、該ポインタの位置に応じたアクションを実行する動作制御部とを備える、情報処理装置。
  2. 　上記第一閾値の方が上記第二閾値よりも短く、
    　上記動作制御部は、上記継続時間が上記第二閾値を超えたとき、上記表示領域に重畳表示画像を表示させ、
    　上記表示制御部は、上記継続時間が上記第一閾値を超えたときに切り替えた上記第二モードにおいて、該重畳表示画像が表示されているとき、上記位置情報の変化に応じて該重畳表示画像をスクロールさせる、請求項１に記載の情報処理装置。
  3. 　上記第一閾値の方が上記第二閾値よりも短く、
    　上記動作制御部は、上記継続時間が上記第二閾値を超えたとき、上記表示制御部の動作を上記第二モードから上記第一モードに切り替える、請求項１または２に記載の情報処理装置。
  4. 　上記第二閾値の方が上記第一閾値よりも短く、
    　上記動作制御部は、上記継続時間が上記第二閾値を超えたとき、上記表示領域に重畳表示画像を表示させ、
    　上記表示制御部は、上記継続時間が上記第一閾値を超えたときに上記第二モードに切り替えて、上記位置情報の変化に応じて該重畳表示画像をスクロールさせる、請求項１に記載の情報処理装置。
  5. 　表示部と、近接または接触する物体を検出する平面状の検出領域を該表示部の表示領域とは異なる位置に有する物体検出部と、該物体検出部が該物体を検出した位置を示す位置情報を取得する位置情報取得部とを備える情報処理装置の制御方法であって、
    　第一モードでは、該位置情報に応じて該表示領域上のポインタの位置を決定し、第二モードでは、該位置情報の変化に応じて該表示領域の少なくとも一部をスクロールさせる表示制御工程と、
    　該位置情報が継続して同じ位置を示している継続時間が第一閾値を超えたとき、該表示制御工程の動作を第一モードから第二モードに切り替え、該継続時間が第二閾値を超えたとき、該ポインタの位置に応じたアクションを実行する動作制御工程とを含む、情報処理装置の制御方法。
PCT/JP2016/050734 2015-01-15 2016-01-12 情報処理装置およびその制御方法 WO2016114269A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/535,418 US20170351394A1 (en) 2015-01-15 2016-01-12 Information processing apparatus and method of controlling same
JP2016569364A JPWO2016114269A1 (ja) 2015-01-15 2016-01-12 情報処理装置およびその制御方法
CN201680004507.1A CN107111440A (zh) 2015-01-15 2016-01-12 信息处理装置及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015006037 2015-01-15
JP2015-006037 2015-01-15

Publications (1)

Publication Number Publication Date
WO2016114269A1 true WO2016114269A1 (ja) 2016-07-21

Family

ID=56405812

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050734 WO2016114269A1 (ja) 2015-01-15 2016-01-12 情報処理装置およびその制御方法

Country Status (4)

Country Link
US (1) US20170351394A1 (ja)
JP (1) JPWO2016114269A1 (ja)
CN (1) CN107111440A (ja)
WO (1) WO2016114269A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166886A (ja) * 2016-07-26 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、操作デバイス、及び操作デバイスの制御方法
KR20210118938A (ko) * 2019-04-10 2021-10-01 광저우 스위엔 일렉트로닉스 코., 엘티디. 터치 조작 모드의 제어 방법, 장치, 설비 및 저장매체
US11173393B2 (en) 2017-09-29 2021-11-16 Sony Interactive Entertainment Inc. Operation device and control apparatus therefor
US11198060B2 (en) 2016-03-04 2021-12-14 Sony Interactive Entertainment Inc. Control apparatus and control program
JP7001368B2 (ja) 2017-02-23 2022-01-19 株式会社東海理化電機製作所 操作装置
US11511185B2 (en) 2017-10-27 2022-11-29 Sony Interactive Entertainment Inc. Operation device
US11524226B2 (en) 2016-07-26 2022-12-13 Sony Interactive Entertainment Inc. Operation device and method for controlling the same
US11596858B2 (en) 2016-07-21 2023-03-07 Sony Interactive Entertainment Inc. Operating device and control system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195472A1 (ja) * 2016-05-11 2017-11-16 シャープ株式会社 情報処理装置、情報処理装置の制御方法、および制御プログラム
US11686493B2 (en) * 2019-12-04 2023-06-27 Ademco Inc. Digital HVAC controller for navigating information based on two or more inputs
US11280512B2 (en) 2019-12-04 2022-03-22 Ademco Inc. Digital HVAC controller with carousel screens
JP2023184295A (ja) * 2022-06-17 2023-12-28 カシオ計算機株式会社 電子楽器、電子楽器の操作状況報知方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
JP2012203484A (ja) * 2011-03-24 2012-10-22 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013222214A (ja) * 2012-04-12 2013-10-28 Denso Corp 表示操作装置および表示システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7673111B2 (en) * 2005-12-23 2010-03-02 Intel Corporation Memory system with both single and consolidated commands
JP4840413B2 (ja) * 2008-07-02 2011-12-21 ソニー株式会社 情報表示方法、情報処理装置および情報表示用プログラム
JP5136675B2 (ja) * 2011-06-09 2013-02-06 ソニー株式会社 ポインタ表示装置、ポインタ表示検出方法及び情報機器
JP2013257641A (ja) * 2012-06-11 2013-12-26 Fujitsu Ltd 情報端末装置及び表示制御方法
TW201409425A (zh) * 2012-08-22 2014-03-01 Fu Zhi Technology Co Ltd 教學系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
JP2012203484A (ja) * 2011-03-24 2012-10-22 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013222214A (ja) * 2012-04-12 2013-10-28 Denso Corp 表示操作装置および表示システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11654353B2 (en) 2016-03-04 2023-05-23 Sony Interactive Entertainment Inc. Control apparatus and control program
US11198060B2 (en) 2016-03-04 2021-12-14 Sony Interactive Entertainment Inc. Control apparatus and control program
US11596858B2 (en) 2016-07-21 2023-03-07 Sony Interactive Entertainment Inc. Operating device and control system
US11344797B2 (en) 2016-07-26 2022-05-31 Sony Interactive Entertainment Inc. Information processing system, operation device, and operation device control method with multi-mode haptic feedback
US11524226B2 (en) 2016-07-26 2022-12-13 Sony Interactive Entertainment Inc. Operation device and method for controlling the same
JP2020166886A (ja) * 2016-07-26 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、操作デバイス、及び操作デバイスの制御方法
US11980810B2 (en) 2016-07-26 2024-05-14 Sony Interactive Entertainment Inc. Information processing system, operation device, and operation device control method
US12109487B2 (en) 2016-07-26 2024-10-08 Sony Interactive Entertainment Inc. Operation device and method for controlling the same
JP7001368B2 (ja) 2017-02-23 2022-01-19 株式会社東海理化電機製作所 操作装置
US11173393B2 (en) 2017-09-29 2021-11-16 Sony Interactive Entertainment Inc. Operation device and control apparatus therefor
US11511185B2 (en) 2017-10-27 2022-11-29 Sony Interactive Entertainment Inc. Operation device
KR20210118938A (ko) * 2019-04-10 2021-10-01 광저우 스위엔 일렉트로닉스 코., 엘티디. 터치 조작 모드의 제어 방법, 장치, 설비 및 저장매체
KR102684576B1 (ko) 2019-04-10 2024-07-11 광저우 스위엔 일렉트로닉스 코., 엘티디. 터치 조작 모드의 제어 방법, 장치, 설비 및 저장매체

Also Published As

Publication number Publication date
US20170351394A1 (en) 2017-12-07
CN107111440A (zh) 2017-08-29
JPWO2016114269A1 (ja) 2017-09-21

Similar Documents

Publication Publication Date Title
WO2016114269A1 (ja) 情報処理装置およびその制御方法
JP5970086B2 (ja) タッチスクリーンホバリング入力処理
AU2007342094B2 (en) Back-side interface for hand-held devices
AU2011282997B2 (en) Motion continuation of touch input
US20170038906A1 (en) Information processing device, operation input method and operation input program
US20100182264A1 (en) Mobile Device Equipped With Touch Screen
EP2416233A1 (en) Information processing apparatus, information processing method, and computer program
WO2012089921A1 (en) Method and apparatus for controlling a zoom function
CN101379461A (zh) 具有多重触摸输入的便携式电子设备
WO2013093205A1 (en) Apparatus and method for providing transitions between screens
WO2014002633A1 (ja) 処理装置、動作制御方法及びプログラム
JPWO2014141548A1 (ja) 表示制御
JP6027703B1 (ja) 情報処理装置および制御プログラム
JP6114886B2 (ja) 情報処理装置、情報処理装置の制御方法および制御プログラム
JP6077573B2 (ja) 情報処理装置、その制御方法、および制御プログラム
JP6367720B2 (ja) 情報処理装置およびプログラム
JP6134748B2 (ja) 情報処理装置、その制御方法、および制御プログラム
JP6118005B1 (ja) 情報処理装置および制御プログラム
JP2016130976A (ja) 情報処理装置、情報処理装置の制御方法、および制御プログラム
JP7196246B2 (ja) ユーザインターフェース処理プログラム、記録媒体、ユーザインターフェース処理方法
WO2015114938A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016218859A (ja) 情報処理装置、制御方法、および制御プログラム
JP6603797B2 (ja) 情報処理装置、情報処理装置の制御方法、および制御プログラム
WO2015015731A1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム製品
JP2018180917A (ja) 電子機器、電子機器の制御方法、および電子機器の制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16737340

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016569364

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15535418

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16737340

Country of ref document: EP

Kind code of ref document: A1