WO2015141091A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2015141091A1
WO2015141091A1 PCT/JP2014/083985 JP2014083985W WO2015141091A1 WO 2015141091 A1 WO2015141091 A1 WO 2015141091A1 JP 2014083985 W JP2014083985 W JP 2014083985W WO 2015141091 A1 WO2015141091 A1 WO 2015141091A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
position change
information processing
designated area
detected
Prior art date
Application number
PCT/JP2014/083985
Other languages
English (en)
French (fr)
Inventor
晃 亀井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/127,297 priority Critical patent/US20170131824A1/en
Priority to CN201480077040.4A priority patent/CN106104449A/zh
Publication of WO2015141091A1 publication Critical patent/WO2015141091A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to an information processing device having a touch panel, an information processing method, and an information processing program.
  • Patent Document 1 discloses a technique for restricting scrolling during a drag operation on a touch panel.
  • Patent Document 2 discloses a technique in which two fingers are touched on a touch panel, a display screen is scrolled with one finger, and a link is instructed with the other finger.
  • JP 2013-092942 A International Publication WO2009 / 044770
  • An object of the present invention is to provide a technique for solving the above-described problems.
  • an apparatus provides: Touch detection means for detecting the presence of the first touch and the second touch on the touch panel; Position change detection means for detecting a position change of the first touch and the second touch; When the position change of the first touch is detected by the position change detecting means and the position change of the second touch is not detected, the position change of the first touch is set in the designated area setting on the screen displayed on the touch panel.
  • a designated area setting estimating means for estimating that Is provided.
  • the method according to the present invention comprises: A touch detection step of detecting the presence of the first touch and the second touch on the touch panel; A position change detecting step for detecting a position change of the first touch and the second touch; When the position change of the first touch is detected and the position change of the second touch is not detected in the position change detection step, the position change of the first touch is set in a designated area setting on the screen displayed on the touch panel. A designated area setting estimating step for estimating that including.
  • a program provides: A touch detection step of detecting the presence of the first touch and the second touch on the touch panel; A position change detecting step for detecting a position change of the first touch and the second touch; When the position change of the first touch is detected and the position change of the second touch is not detected in the position change detection step, the position change of the first touch is set in a designated area setting on the screen displayed on the touch panel. A designated area setting estimating step for estimating that Is executed on the computer.
  • a user can accurately specify a desired area on the display screen with a simple operation.
  • the information processing apparatus 100 is an apparatus that controls setting of a designated area on a display screen.
  • the information processing apparatus 100 includes a touch detection unit 110, a position change detection unit 120, and a designated area estimation unit 130.
  • the touch detection unit 110 detects the presence of the first touch 102 and the second touch 103 with respect to the touch panel 101.
  • the position change detection unit 120 detects position changes of the first touch 102 and the second touch 103. In the screen where the position change of the first touch 102 is detected by the position change detection unit 120 and the position change of the second touch 103 is not detected, the position change detection unit 120 displays the position change of the first touch 102 on the touch panel 101. It is estimated that this is for setting the designated area 104.
  • the information processing apparatus 100 detects the start of some operation from the user on the touch panel 101 and starts receiving operation data.
  • the touch detection unit 110 detects the position coordinates on the touch panel 201 touched by the user's finger.
  • the position change detection unit 120 detects a stroke based on the temporal position change of the touch.
  • the estimation unit 130 estimates the touch of the designated area setting based on the detection of the position change of the two touches.
  • the user can accurately specify a desired area on the display screen with a simple operation of two touches.
  • the information processing apparatus estimates that the first touch is for setting a designated area on the screen. Then, it is presumed that the second touch whose position change is not detected is for scrolling. Thereafter, when a position change of the second touch is detected, scrolling is performed according to the position change. Also, the division of roles of the two touches of the present embodiment is distinguished from existing pinch-in (reduction display processing) and enlargement / reduction processing of pinch-out (enlargement display processing), or rotation operation.
  • FIG. 2 is a diagram for explaining the designated area setting in the information processing apparatus 200 according to the present embodiment.
  • the left diagram of FIG. 2 is a diagram showing a state where the roles are divided such that the left-hand touch is for scrolling and the right-hand touch is for setting a designated area.
  • the right diagram in FIG. 2 is a diagram showing a state where the left hand touch is for setting a designated area and the right hand touch is for scrolling, and the roles are shared.
  • a document 203 is displayed on the display panel unit 202.
  • the change in the touch position of the right hand 206 is detected without detecting the change in the touch position of the left hand 205.
  • the touch of the left hand 205 is used for scrolling, and the touch of the right hand 206 is used for setting a designated area.
  • the touch of the right hand 206 draws a closed curve 204, and the inner region 207 of the closed curve 204 is selected.
  • a change in the position of the touch of the left hand 205 is detected without detecting a change in the position of the right hand 206 touch.
  • the touch of the left hand 205 is assigned to the designated area, and the touch of the right hand 206 is assigned to the scroll. Touching the left hand 205 draws a closed curve 214, and the inner region 217 of the closed curve 214 is selected.
  • FIG. 3 is a diagram for explaining the designated area setting in the information processing apparatus 200 according to the present embodiment.
  • FIG. 3 shows scrolling by changing the position of the scrolling touch.
  • FIG. 3 illustrates the change in position of the left hand 205 to the left hand 305 after the division of roles for the scrolling of the left hand 205 and the setting of the designated area for the touch of the right hand 206, as shown in the left diagram of FIG. Yes.
  • the screen scrolls to the left like the document 303 in accordance with the moving direction of the left hand touch, and the closed curve 204 and its internal area 207 scroll to the closed curve 304 and its internal area 307.
  • FIG. 4A is a diagram illustrating an appearance of the information processing apparatus 200 according to the present embodiment.
  • FIG. 4A shows the portable terminal using touch panels, such as a smart phone and a tablet, the information processing apparatus of a present Example is not limited to a smart phone and a tablet.
  • the touch panel 201 and the display panel unit 202 function as an operation unit and a display unit. Further, the information processing apparatus 200 includes a microphone 403 and a speaker 404 as voice input / output functions.
  • the information processing apparatus 200 includes a switch group 405 including a power switch. Further, the information processing apparatus 200 includes an external interface 406 used for external input / output device connection and communication connection.
  • FIG. 4B is a block diagram illustrating a configuration of the information processing apparatus 200 according to the present embodiment.
  • FIG. 4B shows a basic configuration of a mobile terminal using a touch panel such as a smartphone or a tablet, but is not limited thereto.
  • 4B may be realized by a single piece of hardware, or may be realized by software by having a unique processor and executing a program. Alternatively, it may be realized by firmware combining hardware and software.
  • each component in FIG. 4B is illustrated separately from other components so as to function independently. However, in reality, the country component is realized by a combination of multilevel control from the lowest level control to the highest level control by the application program by basic hardware, OS (Operating System) and input / output control. It is.
  • OS Operating System
  • the processor 400 has at least one CPU (Central Processing Unit) and controls the entire information processing apparatus 200.
  • the processor 400 preferably has a built-in unique memory.
  • the screen operation processing unit 410 is a component that performs the processing of this embodiment, receives a user operation input from the touch panel 201, changes a display screen corresponding to the user operation input, and displays it on the display panel unit 202.
  • the screen operation processing unit 410 may be realized by the processor 400 executing a related program, but it is desirable to provide an independent screen operation processor.
  • the voice processing unit 420 processes voice input from the microphone 403 and transmits the voice input via the communication processing unit 440, for example, and gives a user voice instruction to be changed to user operation input from the touch panel 201.
  • the audio processing unit 420 generates notification / warning to the user, video reproduction audio, and the like, and outputs the audio from the speaker. It is desirable that the sound processing unit 420 also includes a sound processing processor independent of the processor 400.
  • the switch processing unit 430 executes processing based on the switch input from the switch group 405.
  • the communication processing unit 440 transmits / receives data via a network.
  • the interface control unit 450 controls data input / output with an input / output device connected via the external interface 406. It is desirable that the communication processing unit 440 is also provided with an audio processing processor independent of the processor 400.
  • the memory control unit 460 controls the exchange of data and programs between the processor 400 and the ROM (Read Only Memory) 461, the RAM (Random Access Memory) 462, and the storage 463 configured by, for example, a flash memory.
  • the memory control unit 460 is also preferably provided with an audio processing processor independent of the processor 400.
  • FIG. 5 is a block diagram illustrating a functional configuration of the screen operation processing unit 410 according to the present embodiment.
  • the screen operation processing unit 410 includes an operation reception unit 520, an operation analysis unit 530, a user operation determination unit 540, and a display control unit 550.
  • the operation reception unit 520 receives a user operation from the touch panel 201 and acquires a touch position and an operation.
  • the operation analysis unit 530 analyzes the operation content in consideration of information on the display screen from the operation and position of the user operation received by the operation reception unit 520. In the present embodiment, in particular, two touches on the touch panel are detected, position changes of the touches are detected, and a history of position changes is stored.
  • the user operation determination unit 540 determines an operation desired by the user from the operation content analyzed by the operation analysis unit 530.
  • the display control unit 550 includes a display driver, reads display information from a display information database (hereinafter referred to as DB) 570, and implements an operation desired by the user on the display screen according to the determination result of the user operation determination unit 540. Then, the screen of the display panel unit 202 is controlled by changing the image memory.
  • the display information DB 570 stores information displayed on the display panel unit 202 under the control of the display control unit 550. Such display information includes all contents such as documents.
  • the display information DB 570 may be provided in, for example, the storage 463 in FIG.
  • 5 may be realized by the processing of the processor of the screen operation processing unit 410, or may be processed by a unique processor depending on the functional configuration unit for speeding up. 5 is limited to the operation of the screen operation processing unit 410.
  • These function configuration units exchange data with other components of the information processing apparatus 200 in FIG. 4B. May be performed.
  • FIG. 6 is a block diagram illustrating a functional configuration of the operation reception unit 520 according to the present embodiment.
  • the operation reception unit 520 receives a user operation from the touch panel 201 and acquires a touch position and an operation.
  • the operation reception unit 520 includes an event detection unit 601, a touch position detection unit 602, and a stroke detection unit 603.
  • the event detection unit 601 detects the start of some operation from the user on the touch panel 201 and starts accepting operation data.
  • the touch position detection unit 602 detects position coordinates on the touch panel 201 touched by the user's finger.
  • the stroke detection unit 603 detects a stroke based on a temporal position change of the user's touch.
  • FIG. 7 is a block diagram illustrating a functional configuration of the operation analysis unit 530 according to the present embodiment.
  • the operation analysis unit 530 analyzes the operation content in consideration of information on the display screen from the operation and position of the user operation received by the operation reception unit 520.
  • the operation analysis unit 530 of the present embodiment includes a two-touch detection unit 701, a first touch position change detection unit 702, a second touch position change detection unit 703, and a position change storage unit 704.
  • the 2-touch detection unit 701 detects whether there are two touches on the touch panel.
  • the first touch position change detection unit 702 and the second touch position change detection unit 703 detect a position change of each touch on the touch panel.
  • the position change storage unit 704 stores a history of position changes of each touch. Information in the position change storage unit 704 is used to estimate what operation the user wants with each touch. In the present embodiment, for example, it is used for determining area designation on the screen.
  • operation analysis unit 530 is specialized for the operation of the present embodiment, and a general-purpose functional configuration is not illustrated.
  • FIG. 8A is a block diagram illustrating a functional configuration of the user operation determination unit 540 according to the present embodiment.
  • the user operation determination unit 540 determines an operation desired by the user from the operation content analyzed by the operation analysis unit 530.
  • the user operation determination unit 540 includes a designated area setting estimation unit 801, a scroll estimation unit 802, and a selection range acquisition unit 803.
  • the designated area setting estimation unit 801 uses the analysis result of the touch operation in the operation analysis unit 530 to estimate that the touch is for setting the designated area in the screen displayed on the touch panel.
  • the scroll estimation unit 802 uses the analysis result of the touch operation in the operation analysis unit 530 to estimate that the touch is for scrolling the screen displayed on the touch panel.
  • the selection range acquisition unit 803 acquires the data in the selection range by the touch, which is estimated by the specified region setting estimation unit 801 for setting the specified region on the screen, in this example, the document portion.
  • the user operation determination unit 540 also determines user operations such as “pinch (enlargement / reduction processing)”, “drag”, and “scroll”, which are other touch panel operations.
  • FIG. 8B is a diagram showing a configuration of the user operation determination table 810 according to the present embodiment.
  • the user operation determination table 810 is used by the user operation determination unit 540 to determine a user operation from a touch operation with a user's finger.
  • the user operation determination table 810 stores the processing content 815 in association with the number of touches 811, the first touch state 812, the second touch state 813, and other conditions 814.
  • processing contents related to the present embodiment include the following.
  • the change in position is The detected touch is presumed to be for setting the designated area, and the touch whose position change is not detected is presumed to be a touch for scrolling.
  • a position change is detected in one of the first touch and the second touch and a change in the position of the other touch is not detected, and one touch draws an arc around the other touch, Estimated as rotation processing of the display screen.
  • the threshold value may be set appropriately from the accumulation of experience values.
  • FIG. 9 is a block diagram illustrating a functional configuration of the display control unit 550 according to the present embodiment.
  • Display control unit 550 includes a display driver.
  • the display control unit 550 reads display information in the display information DB 570 and controls the screen of the display panel 202 according to the determination result of the user operation determination unit 540.
  • the operation desired by the user can be realized on the display screen by the control of the display control unit 550.
  • the display control unit 550 includes a display position control unit 901, a display size control unit 902, and an identification display control unit 903.
  • the display position control unit 901 controls which position of the display information read from the display information DB 570 is displayed. In the present embodiment, for example, the display position of the document is controlled in accordance with operations such as scrolling and rotation.
  • the display size control unit 902 controls the size of display information displayed on the display screen, that is, the magnification. In the present embodiment, for example, the display size is controlled in the case of pitch operation.
  • the identification display control unit 903 performs control so that the document set in the designated area on the display screen is displayed in an identifiable manner. In this embodiment, according to the determination result of the user operation determination unit 540, the portion of the document in which the designated area is set is displayed so as to be identifiable.
  • FIG. 10 is a flowchart showing a procedure of screen operation processing of the information processing apparatus 200 according to the present embodiment. This flowchart is executed by the processor 400 or the CPU of the screen operation processing unit 410 to realize each functional component of the screen operation processing unit 410. Here, a case where the CPU of the screen operation processing unit 410 executes will be described.
  • step S1001 the screen operation processing unit 410 displays a predetermined part of the document designated for display by the user as shown in FIGS.
  • step S ⁇ b> 1003 the screen operation processing unit 410 estimates whether or not it is a designated area setting in the display document by the user. If the designated area is set in the display document, the screen operation processing unit 410 determines a selection range in the area in step S1005. On the other hand, if the designated area is not set in the display document, the screen operation processing unit 410 performs other processing in step S1007.
  • FIG. 11 is a flowchart showing the procedure of the designated area setting estimation process (S1003A) according to the present embodiment.
  • step S1003A is a detailed flowchart of this embodiment of step S1003 in FIG.
  • step S1101 the screen operation processing unit 410 determines whether there are two touch fingers. If there are two touch fingers, the screen operation processing unit 410 determines in step S1103 whether the position change of one touch is not detected and the position change of the other touch is detected. If a change in the position of one touch is not detected, and a change in the position of the other touch is detected, the screen operation processing unit 410 determines in step S1105 whether the conditions for rotation and pinch operation are met. If the conditions for the rotation and the pinch operation are not satisfied, the screen operation processing unit 410 sets a touch whose position change is not detected for scrolling and a touch whose position change is detected for setting a designated area in step S1107. In step S1109, the screen operation processing unit 410 responds “YES” and returns to the flowchart of FIG.
  • step S1111 the screen operation processing unit 410 returns “NO” in step S1111 and returns to the flowchart of FIG.
  • the designated area setting and the scrolling are shared in distinction from the existing two finger touch operations.
  • the desired area can be specified accurately.
  • the information processing apparatus differs from the second embodiment in that the role sharing of two touches is estimated based on the touch position. That is, a touch within a predetermined area at the corner of the touch panel is estimated for scrolling, and a touch at the center of the other touch panel is estimated for setting a designated area. Since other configurations and operations are the same as those of the second embodiment, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof is omitted.
  • FIG. 12 is a diagram for explaining designated area setting in the information processing apparatus 200 according to the present embodiment.
  • the touch when a touch is detected in any of the predetermined areas 1208 at the four corners of the touch panel 201, the touch is divided for scrolling, and the other touch is assigned for setting the designated area.
  • the right hand 1206 is for scrolling and the left hand 1205 is for setting a designated area. Then, the inner area 1207 of the closed curve 1204 drawn by the touch of the left hand 1205 is selected.
  • FIG. 13 is a diagram showing a configuration of the user operation determination table 1310 according to the present embodiment.
  • the user operation determination table 1310 is used by the user operation determination unit 540 to determine a user operation from a touch operation with a user's finger.
  • the user operation determination table 1310 stores the processing content 1315 in association with the number of touches 1311, the first touch state 1312, the second touch state 1313, and other conditions 1314.
  • the number of touches is “2” and the designated area is shared with the scroll will be described.
  • the change in the relative position of the two touches is not linear.
  • the touch whose position change is detected is estimated to be for setting the designated area, and the touch whose position change is not detected is estimated as a touch for scrolling.
  • the touch in the corner area is for scrolling, and the touch that is not in the corner area (in the center portion) is for setting the designated area.
  • the corner area of the touch panel is set, a corner area where a document is not displayed or a corner area where the possibility of setting a designated area is small is appropriately set.
  • FIG. 14 is a flowchart showing the procedure of the designated area setting estimation process (S1003B) according to the present embodiment.
  • step S1003A is a detailed flowchart of this embodiment of step S1003 in FIG.
  • steps similar to those in FIG. 11 are denoted by the same step numbers, and description thereof is omitted.
  • step S1403 the screen operation processing unit 410 determines whether one of the touches is within a predetermined area at the corner. If one is in the predetermined area of the corner, the screen operation processing unit 410 proceeds to step S1105. In step S1407, the screen operation processing unit 410 sets a touch whose position change is not detected for scrolling, a touch whose position change is detected for setting a designated area, and performs a touch within a predetermined area in a corner. For scrolling, a touch that is not within a predetermined area at the corner is set for setting the designated area.
  • the designated area setting and the scrolling are divided according to the touch position in distinction from the existing two finger touch operations, so that it is easier for the user.
  • a simple operation a desired area on the display screen can be designated accurately.
  • the information processing apparatus according to the present embodiment when compared with the second embodiment and the third embodiment described above, can select a subsequent process following the designated area setting by long-touching two touches after the designated area setting operation. It differs in that an icon appears.
  • Other configurations and operations are the same as those of the second embodiment and the third embodiment. Therefore, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof is omitted.
  • FIG. 15 is a diagram for explaining designated area setting in the information processing apparatus 200 according to the present embodiment.
  • the left diagram in FIG. 15 is the same as the left diagram in FIG. 2.
  • the left hand 205 is used for scrolling and the right hand 206 is used for setting a designated area, and the touch of the right hand 206 draws a closed curve 204.
  • the internal area 207 is selected.
  • the selection icon 1508 appears and the subsequent processing can be selected.
  • the selection icon 1508 in FIG. 15 illustrates “copy”, “cut”, “web search”, “local search”, and the like of the document in the internal area 207, but is not limited thereto. .
  • FIG. 16 is a block diagram illustrating a functional configuration of the operation analysis unit 1630 according to the present embodiment.
  • the same functional components as those in FIG. 7 are denoted by the same reference numerals, and description thereof is omitted.
  • the long touch detection unit 1605 of the operation analysis unit 1630 detects whether each touch is a long touch based on the touch position information from the operation reception unit 520. For example, when the same position is touched beyond a predetermined threshold, it is determined that the touch is long.
  • FIG. 17A is a block diagram illustrating a functional configuration of the user operation determination unit 1740 according to the present embodiment.
  • the same number is attached
  • the selection icon generation unit 1704 of the user operation determination unit 1740 is a long touch for both of the two touches that are assigned to the designated area setting and scrolling. When it is determined that there is, a selection icon is displayed.
  • FIG. 17B is a diagram showing a configuration of the user operation determination table 1710 according to the present embodiment.
  • the user operation determination table 1710 is used by the user operation determination unit 1740 to determine a user operation from a touch operation with a user's finger.
  • the user operation determination table 1710 stores processing contents 1715 in association with the number of touches 1711, the first touch state 1712, the second touch state 1713, and other conditions 1714. Since the user operation determination table 1710 stores data similar to that in FIG. 13, the data of this embodiment will be described below.
  • a selection icon is displayed as the processing content 1715. Is displayed.
  • FIG. 18 is a flowchart showing a procedure of screen operation processing of the information processing apparatus 200 according to the present embodiment. This flowchart is executed by the processor 400 or the CPU of the screen operation processing unit 410 to realize each functional component of the screen operation processing unit 410. Here, a case where the CPU of the screen operation processing unit 410 executes will be described. In FIG. 18, steps similar to those in FIG. 10 are denoted by the same step numbers and description thereof is omitted.
  • step S1809 the screen operation processing unit 410 determines whether both of the two touches are long touches. If both of the two touches are long touches, the screen operation processing unit 410 displays a selection icon in step S1811.
  • the process subsequent to the setting of the designated area by two touches can be realized by making the two touches a long touch, a series of processes by the user can be seamlessly realized.
  • the second touch of the left hand 205 determines how to use the selection range (copy, cut, search, etc.). May be.
  • an operation selection icon 2001 may be displayed around the second touch, and an operation corresponding to the moving direction of the second touch may be performed.
  • the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention on a computer, a program installed on the computer, a medium storing the program, and a WWW (World Wide Web) server that downloads the program are also included in the scope of the present invention. . In particular, at least a non-transitory computer readable medium storing a program for causing a computer to execute the processing steps included in the above-described embodiments is included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　本発明の装置は、ユーザが簡単な操作で表示画面上の所望の領域を正確に指定する情報処理装置である。情報処理装置は、タッチパネルに対し、第１タッチおよび第２タッチの存在を検出するタッチ検出部と、第１タッチおよび第２タッチの位置変化を検出する位置変化検出部と、位置変化検出部で第１タッチの位置変化が検出され第２タッチの位置変化が検出されない場合に、第１タッチの位置変化が前記タッチパネルに表示された画面中の指定領域設定のためのものであると推定する推定部と、を備える。

Description

情報処理装置、情報処理方法および情報処理プログラム
　本発明は、タッチパネルを有する情報処理装置、情報処理方法および情報処理プログラムに関する。
　上記技術分野において、特許文献１には、タッチパネルにおけるドラッグ操作時にスクロールを制限する技術が開示されている。また、特許文献２には、タッチパネルに２本の指をタッチさせて、一方の指で表示画面をスクロールし、他方の指でリンクの指示をする技術が開示されている。
特開２０１３－０９２９４２号公報 国際公開ＷＯ２００９／０４４７７０号公報
　しかしながら、上記文献に記載の技術では、表示画面上の領域を指定するユーザの操作により画面がスクロールしてしまい、所望の領域を正確に指定できないという問題を防ぐことができなかった。
　本発明の目的は、上述の課題を解決する技術を提供することにある。
　上記目的を達成するため、本発明に係る装置は、
　タッチパネルに対し、第１タッチおよび第２タッチの存在を検出するタッチ検出手段と、
　前記第１タッチおよび前記第２タッチの位置変化を検出する位置変化検出手段と、
　前記位置変化検出手段で前記第１タッチの位置変化が検出され前記第２タッチの位置変化が検出されない場合に、前記第１タッチの位置変化が前記タッチパネルに表示された画面中の指定領域設定のためのものであると推定する指定領域設定推定手段と、
　を備える。
　上記目的を達成するため、本発明に係る方法は、
　タッチパネルに対し、第１タッチおよび第２タッチの存在を検出するタッチ検出ステップと、
　前記第１タッチおよび前記第２タッチの位置変化を検出する位置変化検出ステップと、
　前記位置変化検出ステップにおいて前記第１タッチの位置変化が検出され前記第２タッチの位置変化が検出されない場合に、前記第１タッチの位置変化が前記タッチパネルに表示された画面中の指定領域設定のためのものであると推定する指定領域設定推定ステップと、
　を含む。
　上記目的を達成するため、本発明に係るプログラムは、
　タッチパネルに対し、第１タッチおよび第２タッチの存在を検出するタッチ検出ステップと、
　前記第１タッチおよび前記第２タッチの位置変化を検出する位置変化検出ステップと、
　前記位置変化検出ステップにおいて前記第１タッチの位置変化が検出され前記第２タッチの位置変化が検出されない場合に、前記第１タッチの位置変化が前記タッチパネルに表示された画面中の指定領域設定のためのものであると推定する指定領域設定推定ステップと、
　をコンピュータに実行させる。
　本発明によれば、ユーザが簡単な操作で表示画面上の所望の領域を正確に指定することができる。
本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置における指定領域設定を説明する図である。 本発明の第２実施形態に係る情報処理装置における指定領域設定を説明する図である。 本発明の第２実施形態に係る情報処理装置の外観を示す図である。 本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る画面操作処理部の機能構成を示すブロック図である。 本発明の第２実施形態に係る操作受付部の機能構成を示すブロック図である。 本発明の第２実施形態に係る操作解析部の機能構成を示すブロック図である。 本発明の第２実施形態に係るユーザ操作判定部の機能構成を示すブロック図である。 本発明の第２実施形態に係るユーザ操作判定テーブルの構成を示す図である。 本発明の第２実施形態に係る表示制御部の機能構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の画面操作処理の手順を示すフローチャートである。 本発明の第２実施形態に係る指定領域推定処理の手順を示すフローチャートである。 本発明の第３実施形態に係る情報処理装置における指定領域設定を説明する図である。 本発明の第３実施形態に係るユーザ操作判定テーブルの構成を示す図である。 本発明の第３実施形態に係る指定領域設定処理の手順を示すフローチャートである。 本発明の第４実施形態に係る情報処理装置における指定領域設定を説明する図である。 本発明の第４実施形態に係る操作解析部の機能構成を示すブロック図である。 本発明の第４実施形態に係るユーザ操作判定部の機能構成を示すブロック図である。 本発明の第４実施形態に係るユーザ操作判定テーブルの構成を示す図である。 本発明の第４実施形態に係る情報処理装置の画面操作処理の手順を示すフローチャートである。 本発明の他の実施形態に係る情報処理装置の画面操作例を示す図である。 本発明の他の実施形態に係る情報処理装置の画面操作例を示す図である。
　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
　［第１実施形態］
　本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、表示画面における指定領域設定を制御する装置である。
　図１に示すように、情報処理装置１００は、タッチ検出部１１０と、位置変化検出部１２０と、指定領域推定部１３０と、を含む。タッチ検出部１１０は、タッチパネル１０１に対し、第１タッチ１０２および第２タッチ１０３の存在を検出する。位置変化検出部１２０は、第１タッチ１０２および第２タッチ１０３の位置変化を検出する。推定部１３０は、位置変化検出部１２０で第１タッチ１０２の位置変化が検出され第２タッチ１０３の位置変化が検出されない場合に、第１タッチ１０２の位置変化がタッチパネル１０１に表示された画面中の指定領域１０４の設定のためのものであると推定する。
　情報処理装置１００は、タッチパネル１０１上でユーザからの何らかの操作開始を検出して、操作データの受付を開始する。タッチ検出部１１０は、ユーザの指がタッチしているタッチパネル２０１上の位置座標を検出する。位置変化検出部１２０は、タッチの時間的な位置変化に基づいて、ストロークを検出する。推定部１３０は、２つのタッチの位置変化の検出に基づいて、指定領域設定のタッチを推定する。
　本実施形態によれば、ユーザが２つのタッチという簡単な操作で表示画面上の所望の領域を正確に指定することができる。
　［第２実施形態］
　次に、本発明の第２実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、タッチパネル上への２つのタッチがある場合に、第１タッチの位置変化を検出すると、第１タッチを画面中の指定領域設定のためと推定する。そして、位置変化が検出されない第２タッチをスクロールのためと推定する。その後、第２タッチの位置変化が検出されると、その位置変化に従うスクロールを行なう。また、本実施形態の２つのタッチの役割分担は、既存のピンチイン（縮小表示処理）やピンチアウト（拡大表示処理）の拡大縮小処理、あるいは、回転操作、と区別される。
　《本実施形態の指定領域設定》
　図２および図３を参照して、本実施形態の情報処理装置による指定領域設定の概要を説明する。
　図２は、本実施形態に係る情報処理装置２００における指定領域設定を説明する図である。図２の左図は、左手のタッチがスクロール用で、右手のタッチが指定領域設定用として、役割分担した状態を示す図である。一方、図２の右図は、左手のタッチが指定領域設定用で、右手のタッチがスクロール用として、役割分担した状態を示す図である。
　図２の左図においては、ディスプレイパネル部２０２に文書２０３が表示されている。タッチパネル２０１に対しては、左手２０５と右手２０６との２つのタッチがあり、本例では、左手２０５のタッチの位置変化が検出されないまま、右手２０６のタッチの位置変化が検出された状態である。この時点で、左手２０５のタッチはスクロール用、右手２０６のタッチは指定領域設定用に役割分担される。右手２０６のタッチは閉曲線２０４を描き、閉曲線２０４の内部領域２０７が選択される。
　一方、図２の右図においては、右手２０６タッチの位置変化が検出されないまま、左手２０５のタッチの位置変化が検出された状態である。この時点で、左手２０５のタッチは指定領域設定用、右手２０６のタッチはスクロール用に役割分担される。左手２０５のタッチは閉曲線２１４を描き、閉曲線２１４の内部領域２１７が選択される。
　図３は、本実施形態に係る情報処理装置２００における指定領域設定を説明する図である。図３は、スクロール用タッチの位置変化によるスクロールを示している。
　図３は、図２の左図のように、左手２０５のタッチはスクロール用、右手２０６のタッチは指定領域設定用に役割分担した後の、左手２０５の左手３０５への位置変化を図示している。この時には、左手タッチの移動方向に伴って文書３０３のように画面が左方向にスクロールし、閉曲線２０４とその内部領域２０７は、閉曲線３０４とその内部領域３０７にスクロールする。
　《情報処理装置》
　図４Ａは、本実施形態に係る情報処理装置２００の外観を示す図である。なお、図４Ａには、スマートフォンやタブレットなどのタッチパネルを用いた携帯端末を示すが、本実施例の情報処理装置は、スマートフォンやタブレットに限定されない。
　情報処理装置２００では、タッチパネル２０１とディスプレイパネル部２０２とが操作部および表示部として機能する。また、情報処理装置２００は、音声入出力機能としてマイク４０３とスピーカ４０４とを有する。また、情報処理装置２００は、電源スイッチを含むスイッチ群４０５を有する。また、情報処理装置２００は、外部の入出力機器接続や通信接続に使用される外部インタフェース４０６を有する。
　（情報処理装置の機能構成）
　図４Ｂは、本実施形態に係る情報処理装置２００の構成を示すブロック図である。なお、図４Ｂには、スマートフォンやタブレットなどのタッチパネルを用いた携帯端末の基本的な構成を示すが、これに限定されない。また、図４Ｂの各構成要素は、単体のハードウェアで実現されても、独自のプロセッサを有してプログラムを実行することでソフトウェアにより実現されてもよい。あるいは、ハードウェアとソフトウェアとを組み合わせたファームウェアで実現されてもよい。また、図４Ｂの各構成要素は、独立して機能を果たすように他の構成要素と分離して図示されている。しかし、実際には、国構成要素は、ベーシックなハードウェアとＯＳ(Operating System)や入出力制御とにより最下層制御から、アプリケーションプログラムによる最上位制御までの重層的制御の組み合わせで実現されるものである。
　プロセッサ４００は、少なくとも１つのＣＰＵ(Central Processing Unit)を有し、情報処理装置２００の全体を制御する。なお、プロセッサ４００は固有のメモリを内蔵するものが望ましい。画面操作処理部４１０は、本実施形態の処理を行なう構成要素であり、タッチパネル２０１からのユーザ操作入力を受け付けて、ユーザ操作入力に対応する表示画面変更を行ない、ディスプレイパネル部２０２に表示する。なお、画面操作処理部４１０は、プロセッサ４００が関連プログラムを実行することによって実現されてもよいが、独立した画面操作用プロセッサを設けるのが望ましい。音声処理部４２０は、マイク４０３からの音声入力を処理して、例えば、通信処理部４４０を介して送信し、タッチパネル２０１からのユーザ操作入力に変わるユーザ音声指示を行なう。また、音声処理部４２０は、ユーザへの通知／警告や、映像再生音声などを生成して、スピーカから音声出力する。かかる音声処理部４２０も、プロセッサ４００とは独立した音声処理用プロセッサを設けるのが望ましい。
　スイッチ処理部４３０は、スイッチ群４０５からのスイッチ入力に基づいた処理を実行する。通信処理部４４０は、ネットワークを介して、データの送受信を行なう。インタフェース制御部４５０は、外部インタフェース４０６を介して接続された入出力機器とのデータ入出力を制御する。かかる通信処理部４４０も、プロセッサ４００とは独立した音声処理用プロセッサを設けるのが望ましい。メモリ制御部４６０は、例えば、フラッシュメモリなどで構成されたＲＯＭ(Read Only Memory)４６１、ＲＡＭ(Random Access Memory)４６２およびストレージ４６３と、プロセッサ４００とのデータやプログラムのやり取りを制御する。かかるメモリ制御部４６０も、プロセッサ４００とは独立した音声処理用プロセッサを設けるのが望ましい。
　以下、本実施形態における画面操作処理部４１０について、さらに詳細に説明する。
　（画面操作処理部）
　図５は、本実施形態に係る画面操作処理部４１０の機能構成を示すブロック図である。
　画面操作処理部４１０は、操作受付部５２０と、操作解析部５３０と、ユーザ操作判定部５４０と、表示制御部５５０と、を備える。操作受付部５２０は、タッチパネル２０１からのユーザの操作を受け付けて、タッチ位置や動作を取得する。操作解析部５３０は、操作受付部５２０が受け付けたユーザ操作の動作や位置などから、表示画面の情報も考慮して操作内容を解析する。本実施形態においては、特に、タッチパネル上の２つのタッチを検出したり、そのタッチの位置変化を検出したり、位置変化の履歴を格納したりする。ユーザ操作判定部５４０は、操作解析部５３０が解析した操作内容から、ユーザが望んだ操作を判定する。本実施形態においては、２つのタッチの位置変化の検出に基づいて、指定領域設定のタッチを推定する。表示制御部５５０は、表示ドライバを含み、表示情報データベース（以下、ＤＢ）５７０の表示情報を読み出して、ユーザ操作判定部５４０の判定結果に従って、ユーザが望んだ操作を表示画面上に実現するよう、画像メモリを変更してディスプレイパネル部２０２の画面を制御する。ここで、表示情報ＤＢ５７０は、表示制御部５５０の制御の下でディスプレイパネル部２０２に表示される情報を格納する。かかる表示情報には文書などの全てのコンテンツが含まれる。表示情報ＤＢ５７０は、例えば、図４のストレージ４６３に設けられてもよい。
　なお、図５の機能構成部は、画面操作処理部４１０のプロセッサの処理により実現されても、高速化のため機能構成部によっては独自のプロセッサで処理されてもよい。また、図５の各機能構成部は、画面操作処理部４１０の動作に限定されて示されているが、これら機能構成部が図４Ｂの情報処理装置２００の他の構成要素とのデータのやり取りを行なってもよい。
　（操作受付部）
　図６は、本実施形態に係る操作受付部５２０の機能構成を示すブロック図である。操作受付部５２０は、タッチパネル２０１からのユーザの操作を受け付けて、タッチ位置や動作を取得する。
　操作受付部５２０は、イベント検出部６０１と、タッチ位置検出部６０２と、ストローク検出部６０３と、を備える。イベント検出部６０１は、タッチパネル２０１上でユーザからの何らかの操作開始を検出して、操作データの受付を開始する。タッチ位置検出部６０２は、ユーザの指がタッチしているタッチパネル２０１上の位置座標を検出する。ストローク検出部６０３は、ユーザのタッチの時間的な位置変化に基づいて、ストロークを検出する。
　（操作解析部）
　図７は、本実施形態に係る操作解析部５３０の機能構成を示すブロック図である。操作解析部５３０は、操作受付部５２０が受け付けたユーザ操作の動作や位置などから、表示画面の情報も考慮して操作内容を解析する。
　本実施形態の操作解析部５３０は、２タッチ検出部７０１と、第１タッチ位置変化検出部７０２と、第２タッチ位置変化検出部７０３と、位置変化格納部７０４と、を備える。２タッチ検出部７０１は、タッチパネルの２つのタッチがあったか否かを検出する。２つのタッチがあると、第１タッチ位置変化検出部７０２と第２タッチ位置変化検出部７０３とが、それぞれのタッチのタッチパネル上での位置変化を検出する。位置変化格納部７０４は、各タッチの位置変化の履歴を格納する。位置変化格納部７０４の情報は、ユーザが各タッチでどんな操作を望むかを推定するために使用される。本実施形態においては、例えば、画面上の領域指定などを判定するために使用される。
　なお、操作解析部５３０の機能構成は、本実施形態の動作に特化したもので、汎用の機能構成などは図示していない。
　（ユーザ操作判定部）
　図８Ａは、本実施形態に係るユーザ操作判定部５４０の機能構成を示すブロック図である。ユーザ操作判定部５４０は、操作解析部５３０が解析した操作内容から、ユーザが望んだ操作を判定する。
　ユーザ操作判定部５４０は、指定領域設定推定部８０１と、スクロール推定部８０２と、選択範囲取得部８０３と、を備える。指定領域設定推定部８０１は、操作解析部５３０におけるタッチ操作の解析結果を用いて、タッチがタッチパネルに表示された画面中の指定領域設定のためのものであると推定する。また、スクロール推定部８０２は、操作解析部５３０におけるタッチ操作の解析結果を用いて、タッチがタッチパネルに表示された画面のスクロールのためのものであると推定する。選択範囲取得部８０３は、指定領域設定推定部８０１が画面中の指定領域設定のためのものであると推定したタッチによる選択範囲内のデータ、本例では文書の部分を取得する。
　なお、ユーザ操作判定部５４０においては、他のタッチパネル操作である、“ピンチ（拡大縮小処理）”、“ドラッグ”、“スクロール”などのユーザ操作の判定も行なわれる。
　図８Ｂは、本実施形態に係るユーザ操作判定テーブル８１０の構成を示す図である。ユーザ操作判定テーブル８１０は、ユーザの指によるタッチ操作からユーザ操作を判定するためにユーザ操作判定部５４０によって使用される。
　ユーザ操作判定テーブル８１０は、タッチ数８１１と、第１タッチの状態８１２と、第２タッチの状態８１３と、他の条件８１４と、に対応付けて、処理内容８１５を記憶する。
　例えば、本実施形態に関連する処理内容としては、以下のものがある。第１タッチと第２タッチとの一方の位置変化を検出し、他方の位置変化を検出していない場合であって、２つのタッチの相対位置の変化が直線的でない場合には、位置変化が検出されたタッチを指定領域設定のためと推定し、位置変化が検出されないタッチをスクロールのためのタッチと推定する。また、第１タッチと第２タッチとの一方に位置変化を検出し、他方の位置変化を検出していない場合であって、一方のタッチが他方のタッチを中心に孤を描いていれば、表示画面の回転処理と推定する。なお、両方のタッチの位置変化を検出しても、２つのタッチが軸の回りを回転していれば、表示画面の回転処理と推定してもよい。また、第１タッチと第２タッチとの両方の位置変化を検出していて、２つのタッチが直線的に離間または近接していれば、ピンチ（拡大表示処理／縮小表示処理）と推定する。なお、一方の位置変化が検出されない場合であっても、直線的に離間または近接していればピンチ（拡大表示処理／縮小表示処理）と推定してもよい。
　なお、直線的な離間または近接か、直線的でない相対位置の変化か、については、例えば、２タッチ間を結ぶ直線の傾きの変化が所定閾値を越えない場合を直線的と判断する。閾値は経験値の集積から適切に設定すればよい。
　（表示制御部）
　図９は、本実施形態に係る表示制御部５５０の機能構成を示すブロック図である。表示制御部５５０は、表示ドライバを含む。表示制御部５５０は、表示情報ＤＢ５７０の表示情報を読み出して、ユーザ操作判定部５４０の判定結果に従って、ディスプレイパネル２０２の画面を制御する。表示制御部５５０の制御により、ユーザが望んだ操作を表示画面上に実現することができる。
　表示制御部５５０は、表示位置制御部９０１と、表示サイズ制御部９０２と、識別表示制御部９０３と、を備える。表示位置制御部９０１は、表示情報ＤＢ５７０から読出された表示情報のどの位置を表示するかを制御する。本実施形態においては、例えば、スクロールや回転などの操作に応じて文書の表示位置を制御する。表示サイズ制御部９０２は、表示画面の表示する表示情報のサイズ、すなわち倍率、を制御する。本実施形態においては、例えば、ピッチ操作の場合に表示サイズを制御する。識別表示制御部９０３は、表示画面上で指定領域設定された文書を識別可能に表示するように制御する。本実施形態においては、ユーザ操作判定部５４０の判定結果に従って、文書中の指定領域設定された部分を識別可能に表示する。
　《画面操作処理の手順》
　図１０は、本実施形態に係る情報処理装置２００の画面操作処理の手順を示すフローチャートである。このフローチャートは、プロセッサ４００、あるいは、画面操作処理部４１０のＣＰＵが実行することにより、画面操作処理部４１０の各機能構成部を実現する。ここでは、画面操作処理部４１０のＣＰＵが実行する場合を説明する。
　画面操作処理部４１０は、ステップＳ１００１において、図２や図３のように、ユーザが表示指定をした文書の所定部分を表示する。画面操作処理部４１０は、ステップＳ１００３において、ユーザによる表示文書中の指定領域設定であるか否かを推定する。表示文書中の指定領域設定であれば、画面操作処理部４１０は、ステップＳ１００５において、領域内の選択範囲を決定する。一方、表示文書中の指定領域設定でなければ、画面操作処理部４１０は、ステップＳ１００７において、他の処理をする。
　（指定領域設定推定処理）
　　図１１は、本実施形態に係る指定領域設定推定処理（Ｓ１００３Ａ）の手順を示すフローチャートである。ここで、ステップＳ１００３Ａは、図１０のステップＳ１００３の本実施形態における詳細なフローチャートである。
　画面操作処理部４１０は、ステップＳ１１０１において、タッチ指が２本であるか否かを判定する。タッチ指が２本であれば、画面操作処理部４１０は、ステップＳ１１０３において、一方のタッチの位置変化が検出されず、他方のタッチの位置変化が検出されたかを判定する。一方のタッチの位置変化が検出されず、他方のタッチの位置変化が検出されたならば、画面操作処理部４１０は、ステップＳ１１０５において、回転やピンチ操作の条件に当てはまるか否かを判定する。回転やピンチ操作の条件に当てはまらなければ、画面操作処理部４１０は、ステップＳ１１０７において、位置変化が検出されないタッチをスクロール用に、位置変化が検出されたタッチを指定領域設定用に設定する。そして、画面操作処理部４１０は、ステップＳ１１０９において、“ＹＥＳ”を応答して図１０のフローチャートに戻る。
　一方、上記条件を全て満たさなければ、画面操作処理部４１０は、ステップＳ１１１１において、“ＮＯ”を応答して図１０のフローチャートに戻る。
　本実施形態によれば、タッチパネル上に２つのタッチがある場合に、既存の２つの指タッチの操作と区別して、指定領域設定とスクロールとを分担するので、ユーザによる簡単な操作で表示画面上の所望の領域を正確に指定することができる。
　［第３実施形態］
　次に、本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、は、上記第２実施形態と比べると、２つのタッチの役割分担をタッチ位置により推定する点で異なる。すなわち、タッチパネルの隅の所定領域内でのタッチをスクロール用と推定し、それ以外のタッチパネルの中央部分のタッチを指定領域設定用と推定する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　《本実施形態の指定領域設定》
　図１２は、本実施形態に係る情報処理装置２００における指定領域設定を説明する図である。なお、図１２において、図２と同様の構成要素には同じ参照番号を付して、説明は省略する。
　図１２においては、タッチパネル２０１の四隅の所定領域１２０８のいずれかにタッチを検出すると、そのタッチがスクロール用、もう１つのタッチが指定領域設定用に役割分担される。図１２においては、右手１２０６がスクロール用、左手１２０５が指定領域設定用となる。そして、左手１２０５のタッチが描いた閉曲線１２０４の内部領域１２０７が選択される。
　（ユーザ操作判定部）
　図１３は、本実施形態に係るユーザ操作判定テーブル１３１０の構成を示す図である。ユーザ操作判定テーブル１３１０は、ユーザの指によるタッチ操作からユーザ操作を判定するためにユーザ操作判定部５４０によって使用される。
　ユーザ操作判定テーブル１３１０は、タッチ数１３１１と、第１タッチの状態１３１２と、第２タッチの状態１３１３と、他の条件１３１４と、に対応付けて、処理内容１３１５を記憶する。なお、図１３においては、タッチ数が“２”の場合で、指定領域設定とスクロールとの分担の場合を説明する。
　第２実施形態と同様に、第１タッチと第２タッチとの一方の位置変化が検出され、他方の位置変化が検出されない場合であって、２つのタッチの相対位置の変化が直線的でない場合には、位置変化が検出されたタッチを指定領域設定のためと推定し、位置変化が検出されないタッチをスクロールのためのタッチと推定する。
　本実施形態においては、隅領域のタッチをスクロールのためのものであると推定し、隅領域でない（中央部分の）タッチを指定領域設定のためのものであると推定する。この場合には、特に他の条件はなくてもよい。なお、タッチパネルのどこを隅領域とするかについては、限定はないが、文書が表示されない隅領域や、指定領域設定の可能性が小さい隅領域が適切に設定される。
　（指定領域設定推定処理）
　図１４は、本実施形態に係る指定領域設定推定処理（Ｓ１００３Ｂ）の手順を示すフローチャートである。ここで、ステップＳ１００３Ａは、図１０のステップＳ１００３の本実施形態における詳細なフローチャートである。なお、図１４において、図１１と同様のステップには同じステップ番号を付して、説明を省略する。
　画面操作処理部４１０は、ステップＳ１４０３において、タッチの一方が隅の所定領域内にあるか否かを判定する。一方が隅の所定領域内にあれば、画面操作処理部４１０は、ステップＳ１１０５に進む。そして、画面操作処理部４１０は、ステップＳ１４０７において、位置変化が検出されないタッチをスクロール用に、位置変化が検出されたタッチを指定領域設定用に設定し、また、隅の所定領域内のタッチをスクロール用に、隅の所定領域内でないタッチを指定領域設定用に設定する。
　本実施形態によれば、タッチパネル上に２つのタッチがある場合に、既存の２つの指タッチの操作と区別して、タッチの位置により指定領域設定とスクロールとを分担するので、ユーザによる、より簡単な操作で表示画面上の所望の領域を正確に指定することができる。
　［第４実施形態］
　次に、本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態および第３実施形態と比べると、指定領域設定の操作後に２つのタッチをロングタッチすると、指定領域設定に続く以降の処理を選択できる選択アイコンが出現する点で異なる。その他の構成および動作は、第２実施形態と第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　《本実施形態の指定領域設定》
　図１５は、本実施形態に係る情報処理装置２００における指定領域設定を説明する図である。なお、図１５において、図２と同様の構成要素には同じ参照番号を付して、説明は省略する。
　図１５の左図は、図２に左図と同じであり、左手２０５がスクロール用、右手２０６が指定領域設定用に役割分担されて、右手２０６のタッチが閉曲線２０４を描いて、閉曲線２０４の内部領域２０７が選択された状態である。ここで、図１５の右図のように、右手２０６および左手２０５の両方がロングタッチすると、選択アイコン１５０８が出現して、引き続く処理を選択できることになる。なお、図１５の選択アイコン１５０８には、内部領域２０７の文書の“コピー”、“カット”、“ウェブ検索”、“ローカル検索”などが図示されているが、これに限定されるわけではない。
　（操作解析部）
　図１６は、本実施形態に係る操作解析部１６３０の機能構成を示すブロック図である。なお、図１６において、図７と同様の機能構成部には同じ参照番号を付して、説明を省略する。
　操作解析部１６３０のロングタッチ検出部１６０５は、操作受付部５２０からのタッチ位置情報に基づいて、各タッチがロングタッチかを検出する。例えば、所定閾値を超えて同じ位置をタッチしていた場合にロングタッチと判定する。
　（ユーザ操作判定部）
　図１７Ａは、本実施形態に係るユーザ操作判定部１７４０の機能構成を示すブロック図である。図１７Ａにおいて、図８Ａと同様の機能構成部には同じ番号を付して説明を省略する。
　ユーザ操作判定部１７４０の選択アイコン生成部１７０４は、操作解析部１６３０からの各タッチのロングタッチ情報に基づいて、指定領域設定とスクロールとに役割る分担された２つのタッチの両方がロングタッチであると判定した場合に、選択アイコンを表示する。
　図１７Ｂは、本実施形態に係るユーザ操作判定テーブル１７１０の構成を示す図である。ユーザ操作判定テーブル１７１０は、ユーザの指によるタッチ操作からユーザ操作を判定するためにユーザ操作判定部１７４０によって使用される。
　ユーザ操作判定テーブル１７１０は、タッチ数１７１１と、第１タッチの状態１７１２と、第２タッチの状態１７１３と、他の条件１７１４と、に対応付けて、処理内容１７１５を記憶する。ユーザ操作判定テーブル１７１０には、図１３と同様のデータが記憶されているので、以下、本実施形態のデータについて説明する。
　本実施形態においては、他の条件１７１４として記憶されている指定領域設定操作後に続く操作として、第１タッチおよび第２タッチの両方がロングタッチされていると判定されば、処理内容１７１５として選択アイコンが表示される。
　《画面操作処理の手順》
　図１８は、本実施形態に係る情報処理装置２００の画面操作処理の手順を示すフローチャートである。このフローチャートは、プロセッサ４００、あるいは、画面操作処理部４１０のＣＰＵが実行することにより、画面操作処理部４１０の各機能構成部を実現する。ここでは、画面操作処理部４１０のＣＰＵが実行する場合を説明する。なお、図１８において、図１０と同様のステップには同じステップ番号を付して、説明を省略する。
　画面操作処理部４１０は、ステップＳ１８０９において、２つのタッチの両方がロングタッチであるか否かを判定する。２つのタッチの両方がロングタッチであれば、画面操作処理部４１０は、ステップＳ１８１１において、選択アイコンを表示する。
　本実施形態によれば、２つのタッチによる指定領域設定に引き続く処理を、２つのタッチをロングタッチとすることにより実現できるので、ユーザによる、一連の処理をシームレスに実現することができる。
　［他の実施形態］
　なお、上記実施形態においては、横書きにおける処理を説明したが、縦書きにおいても同様な処理が適用され、同じ効果が達成される。また、上記実施形態では、画面表示されるコンテンツとして文書を例に説明したが、文書に限定されるものではない。上記実施形態では、２本の指デタッチする場合について説明したが、本発明はこれに限定されるものではない。例えば、図１９に示すように３本以上の指でタッチパネルにタッチする場合にも適用できる。例えば、拡大縮小しながら指定領域を設定するなどといった使い方ができる。また、上記実施形態では、第２タッチをスクロールに用いる例について示したが、本発明はこれに限定されるものではない。例えば、右手２０６の第１タッチで指定領域を設定して文書などの選択範囲２０７を決定しつつ、左手２０５の第２タッチで、その選択範囲の用い方（コピー、カット、検索など）を決定してもよい。例えば、第２タッチの周囲に、操作選択アイコン２００１を表示して、第２タッチの移動方向に応じた操作を行なってもよい。
　また、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
　この出願は、２０１４年３月２０日に出願された日本国特許出願　特願２０１４－０５９２４０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (8)

  1. 　タッチパネルに対し、第１タッチおよび第２タッチの存在を検出するタッチ検出手段と、
    　前記第１タッチおよび前記第２タッチの位置変化を検出する位置変化検出手段と、
    　前記位置変化検出手段で前記第１タッチの位置変化が検出され前記第２タッチの位置変化が検出されない場合に、前記第１タッチの位置変化が前記タッチパネルに表示された画面中の指定領域設定のためのものであると推定する指定領域設定推定手段と、
    　を備える情報処理装置。
  2. 　前記位置変化検出手段で前記第１タッチの位置変化が検出され前記第２タッチの位置変化が検出されない場合に、前記第２タッチの位置変化を画面のスクロールのためのものであると推定するスクロール推定手段をさらに備える請求項１に記載の情報処理装置。
  3. 　前記指定領域設定推定手段は、前記第２タッチが前記タッチパネルの隅の所定領域内である場合に、前記第１タッチの位置変化が前記タッチパネルに表示された画面中の指定領域設定のためのものであると推定し、
    　前記スクロール推定手段は、前記第２タッチが前記タッチパネルの前記隅の所定領域内である場合に、前記第２タッチの位置変化を画面のスクロールのためのものであると推定する請求項２に記載の情報処理装置。
  4. 　前記第１タッチおよび前記第２タッチの位置が直線的に離間または近接する方向に、前記第１タッチおよび前記第２タッチの一方または両方が移動した場合に、前記タッチパネルに表示されたコンテンツの拡大表示処理または縮小表示処理を行なう拡大縮小処理手段をさらに備える請求項１乃至３のいずれか１項に記載の情報処理装置。
  5. 　前記第１タッチおよび前記第２タッチのいずれか一方を中心とする弧を描くように他方のタッチの位置が移動した方向に、前記タッチパネルに表示されたコンテンツの回転処理を行なう回転処理手段をさらに備える請求項１乃至４のいずれか１項に記載の情報処理装置。
  6. 　前記第１タッチおよび前記第２タッチの両方がロングタッチであると判定された場合に、処理を選択するための選択アイコンを表示する表示制御手段をさらに備える請求項１乃至５のいずれか１項に記載の情報処理装置。
  7. 　タッチパネルに対し、第１タッチおよび第２タッチの存在を検出するタッチ検出ステップと、
    　前記第１タッチおよび前記第２タッチの位置変化を検出する位置変化検出ステップと、
    　前記位置変化検出ステップにおいて前記第１タッチの位置変化が検出され前記第２タッチの位置変化が検出されない場合に、前記第１タッチの位置変化が前記タッチパネルに表示された画面中の指定領域設定のためのものであると推定する指定領域設定推定ステップと、
    　を含む情報処理方法。
  8. 　タッチパネルに対し、第１タッチおよび第２タッチの存在を検出するタッチ検出ステップと、
    　前記第１タッチおよび前記第２タッチの位置変化を検出する位置変化検出ステップと、
    　前記位置変化検出ステップにおいて前記第１タッチの位置変化が検出され前記第２タッチの位置変化が検出されない場合に、前記第１タッチの位置変化が前記タッチパネルに表示された画面中の指定領域設定のためのものであると推定する指定領域設定推定ステップと、
    　をコンピュータに実行させる情報処理プログラム。
PCT/JP2014/083985 2014-03-20 2014-12-22 情報処理装置、情報処理方法および情報処理プログラム WO2015141091A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/127,297 US20170131824A1 (en) 2014-03-20 2014-12-22 Information processing apparatus, information processing method, and information processing program
CN201480077040.4A CN106104449A (zh) 2014-03-20 2014-12-22 信息处理装置、信息处理方法、以及信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-059240 2014-03-20
JP2014059240 2014-03-20

Publications (1)

Publication Number Publication Date
WO2015141091A1 true WO2015141091A1 (ja) 2015-09-24

Family

ID=54144086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/083985 WO2015141091A1 (ja) 2014-03-20 2014-12-22 情報処理装置、情報処理方法および情報処理プログラム

Country Status (3)

Country Link
US (1) US20170131824A1 (ja)
CN (1) CN106104449A (ja)
WO (1) WO2015141091A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK180359B1 (en) 2019-04-15 2021-02-03 Apple Inc Accelerated scrolling and selection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242847A (ja) * 2011-05-13 2012-12-10 Ntt Docomo Inc 表示装置、ユーザインタフェース方法及びプログラム
JP2013045362A (ja) * 2011-08-25 2013-03-04 Konica Minolta Business Technologies Inc 電子情報端末及び領域設定制御プログラム
JP2013246521A (ja) * 2012-05-23 2013-12-09 Square Enix Co Ltd 情報処理装置，情報処理方法，及びゲーム装置
JP2013254463A (ja) * 2012-06-08 2013-12-19 Canon Inc 情報処理装置及びその制御方法、プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
TW200701082A (en) * 2005-06-23 2007-01-01 Elan Microelectronics Corp Scroll control method used in the touch panel
WO2007149357A2 (en) * 2006-06-16 2007-12-27 Cirque Corporation A method of scrolling that is activated by touchdown in a predefined location on a touchpad that recognizes gestures for controlling scrolling functions
US8997015B2 (en) * 2006-09-28 2015-03-31 Kyocera Corporation Portable terminal and control method therefor
WO2008079308A2 (en) * 2006-12-19 2008-07-03 Cirque Corporation Method for activating and controlling scrolling on a touchpad
US7936341B2 (en) * 2007-05-30 2011-05-03 Microsoft Corporation Recognizing selection regions from multiple simultaneous inputs
US8810522B2 (en) * 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
KR101553629B1 (ko) * 2009-05-06 2015-09-17 삼성전자주식회사 인터페이스 제공 방법
JP5270485B2 (ja) * 2009-07-30 2013-08-21 富士通コンポーネント株式会社 タッチパネル装置及び方法並びにプログラム及び記録媒体
JP5230684B2 (ja) * 2010-05-13 2013-07-10 パナソニック株式会社 電子機器、表示方法、及びプログラム
JP2015038642A (ja) * 2010-06-09 2015-02-26 株式会社東芝 表示処理装置及び表示処理方法
KR101739054B1 (ko) * 2010-09-08 2017-05-24 삼성전자주식회사 디바이스상의 움직임 제어 방법 및 장치
WO2013051049A1 (ja) * 2011-10-03 2013-04-11 古野電気株式会社 タッチパネルを有する装置、レーダ装置、プロッタ装置、舶用ネットワークシステム、視点変更方法及び視点変更プログラム
KR101710418B1 (ko) * 2011-12-19 2017-02-28 삼성전자주식회사 휴대 단말기의 멀티 터치 인터렉션 제공 방법 및 장치
US9250768B2 (en) * 2012-02-13 2016-02-02 Samsung Electronics Co., Ltd. Tablet having user interface
KR20130127146A (ko) * 2012-05-14 2013-11-22 삼성전자주식회사 다중 터치에 대응하는 기능을 처리하기 위한 방법 및 그 전자 장치
KR20140135884A (ko) * 2013-05-16 2014-11-27 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242847A (ja) * 2011-05-13 2012-12-10 Ntt Docomo Inc 表示装置、ユーザインタフェース方法及びプログラム
JP2013045362A (ja) * 2011-08-25 2013-03-04 Konica Minolta Business Technologies Inc 電子情報端末及び領域設定制御プログラム
JP2013246521A (ja) * 2012-05-23 2013-12-09 Square Enix Co Ltd 情報処理装置，情報処理方法，及びゲーム装置
JP2013254463A (ja) * 2012-06-08 2013-12-19 Canon Inc 情報処理装置及びその制御方法、プログラム

Also Published As

Publication number Publication date
US20170131824A1 (en) 2017-05-11
CN106104449A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
US11966558B2 (en) Application association processing method and apparatus
US10627990B2 (en) Map information display device, map information display method, and map information display program
KR102549529B1 (ko) 전자 장치에서 제 1 애플리케이션 아이콘을 이용하여 제 2 애플리케이션을 실행하기 위한 방법
US9851898B2 (en) Method for changing display range and electronic device thereof
KR102061776B1 (ko) 객체 위치를 변경하기 위한 방법 및 그 전자 장치
US10620972B2 (en) Processing touch gestures in hybrid applications
AU2014201249B2 (en) Method for controlling display function and an electronic device thereof
US9372613B2 (en) Scrolling method and electronic device thereof
US20140068499A1 (en) Method for setting an edit region and an electronic device thereof
KR20150007048A (ko) 전자 장치의 디스플레이 방법
KR20140040401A (ko) 한 손 제어 모드를 제공하기 위한 방법 및 그 전자장치
JP2014142707A (ja) 情報処理装置、情報処理方法及びプログラム
US20190095049A1 (en) Window expansion method and associated electronic device
KR102096070B1 (ko) 터치 인식 개선 방법 및 그 전자 장치
WO2015141089A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2014146127A (ja) 情報処理装置、情報処理方法及びプログラム
US10254940B2 (en) Modifying device content to facilitate user interaction
JP5620895B2 (ja) 表示制御装置、方法及びプログラム
WO2015141091A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR101412431B1 (ko) 멀티 터치와 탭핑을 결합하여 사용자 명령을 입력하는 방식의 사용자 인터페이스 방법 및 이를 적용한 전자 기기
US9635170B2 (en) Apparatus and method for controlling terminal to expand available display region to a virtual display space
WO2017161753A1 (zh) 一种应用于电子设备的页面切换方法及装置
US20170083177A1 (en) Information processing apparatus, information processing method, and information processing program
US10324617B2 (en) Operation control method and terminal
AU2019205000B2 (en) Component display processing method and user equipment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14886028

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15127297

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14886028

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP