WO2015141090A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2015141090A1
WO2015141090A1 PCT/JP2014/083984 JP2014083984W WO2015141090A1 WO 2015141090 A1 WO2015141090 A1 WO 2015141090A1 JP 2014083984 W JP2014083984 W JP 2014083984W WO 2015141090 A1 WO2015141090 A1 WO 2015141090A1
Authority
WO
WIPO (PCT)
Prior art keywords
stroke
information processing
scroll
unit
processing apparatus
Prior art date
Application number
PCT/JP2014/083984
Other languages
English (en)
French (fr)
Inventor
穂高 菅野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/125,270 priority Critical patent/US20170097762A1/en
Priority to CN201480077310.1A priority patent/CN106133672B/zh
Publication of WO2015141090A1 publication Critical patent/WO2015141090A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and an information processing program.
  • Patent Document 1 acquires the horizontal and vertical coordinate values of the touch point during the drag operation on the touch screen. Then, if at least one of the coordinate values when the touch start point is the origin is less than a predetermined threshold value, the movement amount of at least one of the horizontal direction and the vertical direction of the drag operation is reset to zero.
  • An object of the present invention is to provide a technique for solving the above-described problems.
  • an information processing apparatus provides: When a stroke of a user operation on the touch panel is acquired and it is estimated that the operation by the stroke draws the outline of the closed region, the scroll operation by the stroke is locked.
  • an information processing method includes: An acquisition step of acquiring a stroke of a user operation on the touch panel; A determination step of determining whether or not the operation by the stroke can be estimated to draw a contour of a closed region; When it is estimated that the operation by the stroke draws the outline of the closed region, a scroll lock step for locking the scroll operation by the stroke; It is characterized by including.
  • an information processing program provides: An acquisition step of acquiring a stroke of a user operation on the touch panel; A determination step of determining whether or not the operation by the stroke can be estimated to draw a contour of a closed region; When it is estimated that the operation by the stroke draws the outline of the closed region, a scroll lock step for locking the scroll operation by the stroke; Is executed by a computer.
  • the information processing apparatus 100 includes a stroke acquisition unit 110 and a scroll lock unit 120.
  • the stroke acquisition unit 110 acquires a user operation stroke 102 on the touch panel 101.
  • the scroll lock unit 120 determines whether or not the stroke 102 acquired by the stroke acquisition unit 110 draws the outline of the closed region 103, and when it is estimated that the stroke 102 draws the outline of the closed region 103, The screen scroll operation 104 is locked.
  • the scroll lock unit 120 determines conditions such as the direction of the stroke 102, the accumulation of vertical and horizontal components, the ratio of vertical and horizontal components, or the main vector. Based on such conditions, it is determined that the user's stroke should be scroll-locked by estimating that the selection range of the closed region is generated at the initial time point.
  • the information processing apparatus acquires a stroke of a user operation on the touch panel, and locks a scroll operation by the stroke when it is estimated that the operation by the stroke draws the outline of the closed region.
  • the outline of the closed region is drawn based on the ratio of the movement amount in the horizontal direction and the movement amount in the vertical direction in the stroke operation.
  • FIG. 3 shows an overview of the processing of the information processing apparatus 300 according to the base technology.
  • a closed curve is to be drawn from the start point 304 on the touch panel 302 in order to designate a selection range of the closed region in a state where the document 303 is displayed on the display panel 301 of the information processing apparatus 300.
  • the central view of FIG. 3 shows a state where the user's finger has reached the point 305. At this point, since the user's finger has moved upward, the document 303 scrolls upward.
  • the right diagram in FIG. 3 shows a state where the user's finger has reached the point 306. At this point, since the user's finger has moved downward, the document 303 scrolls downward.
  • FIG. 2 is a diagram illustrating an outline of processing of the information processing apparatus 200 according to the present embodiment.
  • a closed curve is to be drawn from the start point 204 on the touch panel 201 in order to designate the selection range of the closed region with the document 203 displayed on the display panel 202 of the information processing apparatus 200.
  • the central view of FIG. 2 shows a state where the user's finger has reached the point 205. At this point, the user's finger is moving upward, but the information processing apparatus 200 determines that the selection range of the closed region is specified and scrolls the display of the document 203, so the selection range is specified in the same screen state. it can. In addition, even when the user's finger has reached the point 206 in the right diagram of FIG. 2, the user's finger is moving downward, but the information processing apparatus 200 determines that the closed region selection range is designated. Since the display of the document 203 is scroll-locked, the selection range can be designated in the same screen state.
  • the information processing apparatus 200 scrolls and locks the document 203 on the display panel 202, so that the user can accurately specify the selection range of the closed region. .
  • FIG. 4A is a diagram illustrating an appearance of the information processing apparatus 200 according to the present embodiment.
  • 4A shows a portable terminal using a touch panel such as a smartphone or a tablet, but the information processing apparatus using the touch panel is not limited to a smartphone or a tablet.
  • the touch panel 201 and the display panel 202 function as an operation unit and a display unit. Further, the information processing apparatus 200 includes a microphone 403 and a speaker 404 as voice input / output functions.
  • the information processing apparatus 200 includes a switch group 405 including a power switch. Further, the information processing apparatus 200 includes an external interface 406 used for external input / output device connection and communication connection.
  • FIG. 4B is a block diagram illustrating a configuration of the information processing apparatus 200 according to the present embodiment.
  • FIG. 4B shows a basic configuration of a mobile terminal using a touch panel such as a smartphone or a tablet, but is not limited thereto.
  • 4B may be realized by a single piece of hardware, or may be realized by software by having a unique processor and executing a program. Alternatively, it may be realized by firmware combining hardware and software.
  • each component in FIG. 4B is illustrated separately from other components so as to function independently. However, in reality, each component is realized by a combination of multilevel control from the lowest level control to the highest level control by the application program by basic hardware, OS (Operating System) and input / output control. It is.
  • OS Operating System
  • the processor 400 has at least one CPU (Central Processing Unit) and controls the entire information processing apparatus 200.
  • the processor 400 preferably has a built-in unique memory.
  • the screen operation processing unit 410 is a component that performs the processing of the present embodiment, receives a user operation input from the touch panel 201, changes a display screen corresponding to the user operation input, and displays it on the display panel 202.
  • the screen operation processing unit 410 may be realized by the processor 400 executing a related program, but it is desirable to provide an independent screen operation processor.
  • the voice processing unit 420 processes voice input from the microphone 403 and transmits the voice input via the communication processing unit 440, for example, and gives a user voice instruction to be changed to user operation input from the touch panel 201.
  • the audio processing unit 420 generates notification / warning to the user, video reproduction audio, and the like, and outputs the audio from the speaker. It is desirable that the sound processing unit 420 also includes a sound processing processor independent of the processor 400.
  • the switch processing unit 430 executes processing based on the switch input from the switch group 405.
  • the communication processing unit 440 transmits / receives data via a network.
  • the interface control unit 450 controls data input / output with an input / output device connected via the external interface 406. It is desirable that the communication processing unit 440 is also provided with an audio processing processor independent of the processor 400.
  • the memory control unit 460 controls the exchange of data and programs between the processor 400 and the ROM (Read Only Memory) 461, the RAM (Random Access Memory) 462, and the storage 463 configured by, for example, a flash memory.
  • the memory control unit 460 is also preferably provided with an audio processing processor independent of the processor 400.
  • FIG. 5 is a block diagram illustrating a functional configuration of the screen operation processing unit 410 according to the present embodiment.
  • the screen operation processing unit 410 includes an operation reception unit 520, an operation analysis unit 530, a user operation determination unit 540, and a display control unit 550.
  • the operation reception unit 520 receives a user operation from the touch panel 201 and acquires a touch position and an operation.
  • the operation analysis unit 530 analyzes the operation content in consideration of information on the display screen from the operation and position of the user operation received by the operation reception unit 520. In the present embodiment, the operation analysis unit 530 particularly analyzes data related to a stroke necessary for estimating that the outline of the closed region is drawn.
  • the user operation determination unit 540 determines an operation desired by the user from the operation content analyzed by the operation analysis unit 530. In the present embodiment, the user operation determination unit 540 performs scroll control including scroll lock.
  • Display control unit 550 includes a display driver.
  • the display control unit 550 reads content including a document from the storage 463, and controls screen display on the display panel 202 according to the determination result of the user operation determination unit 540.
  • the operation desired by the user can be realized on the display screen by the control of the display control unit 550.
  • 5 may be realized by the processing of the processor of the screen operation processing unit 410, or may be processed by a unique processor depending on the functional configuration unit for speeding up. 5 is limited to the operation of the screen operation processing unit 410.
  • These function configuration units exchange data with other components of the information processing apparatus 200 in FIG. 4B. May be performed.
  • FIG. 6 is a block diagram illustrating a functional configuration of the operation reception unit 520 according to the present embodiment.
  • the operation reception unit 520 receives a user operation from the touch panel 201 and acquires a touch position and an operation.
  • the operation reception unit 520 includes an event detection unit 601, a touch position detection unit 602, and a stroke detection unit 603.
  • the event detection unit 601 detects the start of some operation from the user on the touch panel 201 and starts accepting operation data.
  • the touch position detection unit 602 detects position coordinates on the touch panel 201 touched by the user's finger.
  • the stroke detection unit 603 detects a stroke that is a trajectory from the start point to the end point of the touch based on the time change of the user touch.
  • FIG. 7 is a block diagram illustrating a functional configuration of the operation analysis unit 530 according to the present embodiment.
  • the operation analysis unit 530 analyzes the operation content in consideration of information on the display screen from the operation and position of the user operation received by the operation reception unit 520.
  • the operation analysis unit 530 includes a stroke component extraction unit 701, a stroke history storage unit 702, and a stroke locus generation unit 703.
  • the stroke component extraction unit 701 extracts a stroke component detected by the stroke detection unit 603 of the operation reception unit 520. For example, a horizontal component and a vertical component of the touch panel 201 or a direction component from the starting point of the stroke to the current point is extracted.
  • the stroke history accumulation unit 702 accumulates the coordinates or speed of the stroke path.
  • the stroke trajectory generation unit 703 generates a stroke trajectory from the accumulated stroke history.
  • FIG. 8A is a block diagram illustrating a functional configuration of the user operation determination unit 540 according to the present embodiment.
  • the user operation determination unit 540 determines an operation desired by the user from the operation content analyzed by the operation analysis unit 530.
  • the user operation determination unit 540 performs scroll control including scroll lock.
  • the user operation determination unit 540 includes a scroll lock determination unit 801, a scroll lock condition storage unit 802, and a stroke locus position control unit 803.
  • the scroll lock determination unit 801 refers to the conditions for the scroll lock stored in the scroll lock condition storage unit 802 and controls scroll lock and scroll release.
  • the scroll lock condition storage unit 802 generates a selection range of the closed region at the initial point of the user's stroke from conditions such as the direction of the stroke by the user, the accumulation of the vertical and horizontal components, the ratio of the vertical and horizontal components, or the main vector. Stores the condition to be estimated as scroll lock.
  • the stroke trajectory position control unit 803 generates fluctuation that occurs in the middle of the stroke, for example, when the user does not draw a straight line or an accurate circle and the vertical and horizontal components do not have a certain tendency. .
  • the stroke locus position control unit 803 is intended to prevent an error from occurring in the estimation of the selection range generation due to these fluctuations. For example, if the deviation width does not exceed the threshold value or if it is a temporary fluctuation, control is performed so that the selection range estimation judgment condition is deleted when the deviation is restored.
  • simple stroke trajectory position control for example, a solution that takes an average value for a predetermined stroke length can be used.
  • FIG. 8B is a diagram showing a configuration of the scroll lock condition storage unit 802 according to the present embodiment.
  • the configuration of the scroll lock condition storage unit 802 is shown in one table format for simplification, but tables according to the respective conditions may be combined. Further, the conditions are not limited to FIG. 8B.
  • FIG. 8B as a plurality of conditions, whether vertical or horizontal scrolling is permitted 881, scroll component 882 at each time point, change 883 in the ratio of vertical and horizontal components, and cumulative value from the start point of vertical and horizontal components (in particular, (Absolute value accumulation) 884 and vector history 885 are shown. Based on these conditions, an estimation result 886 that the user is drawing a closed region indicating a selection range instead of scrolling, and scroll control 887 indicating whether scrolling is possible or scroll lock according to the estimation result 886 are stored.
  • the component ratio 883 there are the following examples. For example, if the ratio between the vertical direction component and the horizontal direction component does not change more than a predetermined threshold value, it is estimated that the closed region of the selection range is not drawn, and scrolling according to the stroke is performed. On the other hand, if the ratio of the vertical direction component and the horizontal direction component tends to shift from one to the other, it is estimated that the stroke has changed the direction and the closed region of the selection range is drawn, and scroll lock is performed. However, in the case of a stroke component, there is an influence of stroke fluctuation.
  • the change in the ratio of the accumulated values of the vertical and horizontal components of the stroke from the start point, particularly the absolute value, is less than or equal to the threshold value ⁇ , it is estimated that the closed region of the selection range is not drawn, and the stroke Scroll according to.
  • the change in the ratio exceeds the threshold value ⁇ , it is estimated that a closed region of the selection range is drawn, and stroke lock is performed. If the determination is based on the change in the ratio of the accumulated value, stable determination is possible.
  • the stroke vector history for example, if the principal component of the vector changes from the horizontal direction to the vertical direction or from the vertical direction to the horizontal direction, it is estimated that a closed region of the selection range is drawn, and the stroke lock To do. However, even if the direction of the principal component changes, if the direction of the principal component does not change again, or if the direction changes to the opposite direction due to the inflection point, it is estimated that the closed region of the selection range is not drawn, and the stroke Release the lock.
  • the scroll lock determination unit 801 may perform determination by a program instead of using the data in the scroll lock condition storage unit 802.
  • FIG. 8C is a diagram illustrating the stroke analysis processing of the scroll lock determination unit 801 according to the present embodiment.
  • FIG. 8C shows the scroll lock conditions 811 and 812 and the conditions 821 and 822 that do not lock the scroll.
  • the conditions are a part of the conditions and are not limited thereto.
  • the scroll lock condition 811 illustrates a condition for scroll lock when the absolute value of the X component
  • the scroll lock condition 812 illustrates the condition for scroll lock when the absolute value of the X component
  • condition 821 for not scroll-locking illustrates the condition for not scroll-locking when the absolute value of the X component
  • condition 822 for not scroll-locking illustrates the condition for not scroll-locking when the absolute value of the X component
  • FIG. 8D to 8F show the analysis under each condition for realizing the data in the scroll lock condition storage unit 802 in FIG. 8B and the stroke analysis process in FIG. 8C.
  • the conditions for estimating that the user generates the selection range of the closed region are analyzed.
  • 8D to 8F as summarized on the right side, mainly the accumulated value of the absolute value of the X component (horizontal component in this example) and the Y component (vertical component in this example).
  • a change in the ratio of the absolute value to the cumulative value is a condition for control switching of scroll / scroll lock / lock release. In this way, by using the cumulative value of absolute values, fluctuations that occur when the ratio of the directly detected X component to Y component is used are also prevented.
  • FIG. 8D is a diagram illustrating the stroke analysis processing of the scroll lock determination unit 801 according to the present embodiment.
  • FIG. 8D is an analysis of scroll lock conditions when scrolling in the vertical and horizontal directions is possible.
  • FIG. 8D shows the case where the starting point is on a horizontal stroke.
  • the selection range is not generated.
  • the cumulative value of the stroke as shown in FIG. 8C, when the central portion in the horizontal direction is the start point, the horizontal component is accumulated for a while and then the cumulative vertical component is increased.
  • the generation of the selection range can be estimated by the change in the vertical component, the horizontal component, and the ratio of the stroke.
  • FIG. 8E is a diagram for explaining the stroke analysis processing of the scroll lock determination unit 801 according to the present embodiment.
  • FIG. 8E shows the analysis of the scroll lock condition when the horizontal scroll is not possible, for example, when the document is a whole document displayed on the horizontal screen.
  • the horizontal scroll is not possible, it can be estimated that the selection range is generated when the horizontal stroke starts. In this case, vertical scroll lock may be performed.
  • FIG. 8F is a diagram for explaining the stroke analysis process of the scroll lock determination unit 801 according to the present embodiment.
  • FIG. 8F is an analysis of the scroll lock condition when the starting point is in the middle.
  • FIG. 8F shows a case where the start point is on a vertical stroke.
  • the troclock condition storage unit 802 is generated.
  • FIG. 9 is a block diagram illustrating a functional configuration of the display control unit 550 according to the present embodiment.
  • Content including a document is read from the storage 463, and the screen display on the display panel 202 is controlled according to the determination result of the user operation determination unit 540.
  • the display control unit 550 includes a display position control unit 901 and an identification display control unit 903.
  • the display position control unit 901 controls which position of the content read from the storage 463 is displayed. In the present embodiment, the display position of the document is controlled.
  • the identification display control unit 903 performs control so that the selected range of the document is displayed on the display screen in an identifiable manner.
  • FIG. 10 is a flowchart showing a procedure of screen operation processing of the information processing apparatus 200 according to the present embodiment. This flowchart is executed by the processor 400 or the CPU of the screen operation processing unit 410 to realize each functional component of the screen operation processing unit 410. Here, a case where the CPU of the screen operation processing unit 410 executes will be described.
  • step S1001 the screen operation processing unit 410 displays a predetermined portion of the document designated by the user for display.
  • step S1003 the screen operation processing unit 410 monitors whether or not the user's finger touches the touch panel 201. If a touch of a finger is detected, the screen operation processing unit 410 acquires a stroke in step S1005.
  • step S1007 the screen operation processing unit 410 executes a stroke analysis process for analyzing whether or not to draw a contour of a closed region that specifies a selection range from the acquired stroke. From the result of the stroke analysis, the screen operation processing unit 410 determines in step S1009 whether the stroke is to designate a selection range. If it is determined that the stroke is to designate the selection range, the screen operation processing unit 410 performs scroll lock in step S1011. If it is determined that the stroke is not intended to designate a selection range, the screen operation processing unit 410 performs scrolling in step S1013.
  • step S1015 If the touch by the user's finger is continued in step S1015, the screen operation processing unit 410 returns to step S1005 and repeats the process.
  • the screen operation processing unit 410 executes processing corresponding to the set range designation in step S1017.
  • FIG. 11 is a flowchart showing a procedure of stroke analysis processing (S1007) according to the present embodiment.
  • step S1101 the screen operation processing unit 410 acquires stroke data.
  • step S1103 the screen operation processing unit 410 acquires the amount of movement of the stroke in the horizontal direction.
  • step S1105 the screen operation processing unit 410 acquires the amount of movement of the stroke in the vertical direction.
  • step S1101 the screen operation processing unit 410 calculates a ratio between the horizontal movement amount and the vertical movement amount.
  • step S1109 the screen operation processing unit 410 determines whether the calculated ratio is greater than a predetermined threshold value ⁇ . When the ratio is larger than the predetermined threshold value ⁇ , the screen operation processing unit 410 estimates that the stroke is drawn in the closed region in step S1111 and determines that the scroll lock should be performed in step S1113. If the ratio is equal to or less than the predetermined threshold value ⁇ , the screen operation processing unit 410 estimates that the stroke is not closed region drawing in step S1115.
  • scroll control is performed so that the user can reliably specify the range. Can be realized.
  • the information processing apparatus according to the present embodiment is orthogonal to the first direction when the stroke of the component in the first direction is detected in the screen in which the first direction does not scroll in the stroke analysis.
  • the second difference is that the scrolling in the second direction is locked. Since other configurations and operations are the same as those of the second embodiment, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof is omitted.
  • FIG. 12 is a flowchart showing a procedure of stroke analysis processing (S1007) according to the present embodiment.
  • step S1201 it is determined whether the screen can be scrolled in only one direction. If the display screen is a screen that can be scrolled both in the horizontal direction and in the vertical direction, the determination is NO and the processing of this flowchart ends. If the screen can be scrolled only in one of the horizontal and vertical directions, the process advances to step S1203.
  • step S1203 it is determined whether or not the stroke acquired in step S1005 is a stroke in a direction (for example, horizontal direction) different from the scrollable direction (for example, vertical direction).
  • step S1205 If it is determined that a stroke in a direction (for example, the horizontal direction) different from the scrollable direction (for example, the vertical direction) is acquired, the process proceeds to step S1205, and scroll lock control is performed.
  • a direction for example, the horizontal direction
  • the scrollable direction for example, the vertical direction
  • scroll locking is performed in response to detection of strokes in multiple directions on a screen that can be scrolled only in one direction, so that more user-friendly scroll locking control can be performed.
  • the information processing apparatus according to the present embodiment is different from the second embodiment in that a user operation is first detected to perform scroll lock, and then released according to conditions. Since other configurations and operations are the same as those of the second embodiment, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof is omitted.
  • FIG. 13 is a flowchart illustrating a procedure of screen operation processing of the information processing apparatus according to the present embodiment.
  • step S1307 when the display control unit 550 detects an operation on the touch panel, in step S1307, the display control unit 550 performs scroll lock control for a predetermined distance.
  • step S1007 if it is determined in step S1009 that the operation is not a range designation operation, the process advances to step S1319 to release the scroll lock and perform scrolling.
  • the scroll lock is first performed when a touch panel operation is received, and the scroll lock is released under a predetermined condition. Therefore, more user-friendly scroll lock control can be performed.
  • the information processing apparatus according to the present embodiment is different from the second embodiment in that the scroll lock is performed according to the change in the ratio of the vertical component to the horizontal component of the vector at each point on the stroke. Since other configurations and operations are the same as those of the second embodiment, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof is omitted.
  • FIG. 14 is a diagram for explaining stroke analysis processing of the information processing apparatus according to the present embodiment.
  • the stroke draws a locus from point 1401 through point 1402 to point 1403.
  • the ratio R (the absolute value of the Y component
  • ) is R1 (point 1401) ⁇ R2 (point 1402) ⁇ R3 (point 1403).
  • the movement of the user's finger on the touch panel 201 is a locus surrounding a closed region for range selection, and scroll lock is performed.
  • the scroll lock is first performed when a touch panel operation is received, and the scroll lock is maintained under a predetermined condition. Therefore, more user-friendly scroll lock control can be performed.
  • the scroll lock control may be performed.
  • the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention on a computer, a program installed on the computer, a medium storing the program, and a WWW (World Wide Web) server that downloads the program are also included in the scope of the present invention. . In particular, at least a non-transitory computer readable medium storing a program for causing a computer to execute the processing steps included in the above-described embodiments is included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　本発明の装置は、よりユーザフレンドリーな画面制御を実現する情報処理装置である。情報処理装置は、タッチパネルに対するユーザ操作のストロークを取得し、そのストロークによる操作が閉領域の輪郭を描くものと推定した場合、ストロークによるスクロール動作をロックすることを特徴とする。また、ストロークによる操作が閉領域の輪郭を描くものと推定しなかった場合に、スクロール動作のロックを解除することを特徴とする。かかる推定は、ストロークの移動量に基づいて行なわれる。

Description

情報処理装置、情報処理方法および情報処理プログラム
　本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
　上記技術分野において、特許文献１に記載の技術は、タッチスクリーン上のドラッグ操作中のタッチ点の水平方向と垂直方向の座標値を取得する。そして、タッチ開始点を原点とした場合の、それらの少なくとも一方の座標値が所定の閾値未満である場合、ドラッグ操作の水平方向および垂直方向の少なくとも一方の移動量をゼロにリセットする。
特開２０１３－０９２９４２号公報
　しかしながら、上記文献に記載の技術では、ストロークが描くと推定される形状に応じたスクロールロック制御は実現できず、十分にユーザフレンドリーな画面制御とはなっていなかった。
　本発明の目的は、上述の課題を解決する技術を提供することにある。
　上記目的を達成するため、本発明に係る情報処理装置は、
　タッチパネルに対するユーザ操作のストロークを取得し、そのストロークによる操作が閉領域の輪郭を描くものと推定した場合、前記ストロークによるスクロール動作をロックすることを特徴とする。
　上記目的を達成するため、本発明に係る情報処理方法は、
　タッチパネルに対するユーザ操作のストロークを取得する取得ステップと、
　前記ストロークによる操作が閉領域の輪郭を描くものと推定できるか否か判定する判定ステップと、
　前記ストロークによる操作が閉領域の輪郭を描くものと推定した場合、前記ストロークによるスクロール動作をロックするスクロールロックステップと、
　を含むことを特徴とする。
　上記目的を達成するため、本発明に係る情報処理プログラムは、
　タッチパネルに対するユーザ操作のストロークを取得する取得ステップと、
　前記ストロークによる操作が閉領域の輪郭を描くものと推定できるか否か判定する判定ステップと、
　前記ストロークによる操作が閉領域の輪郭を描くものと推定した場合、前記ストロークによるスクロール動作をロックするスクロールロックステップと、
　をコンピュータに実行させることを特徴とする。
　本発明によれば、よりユーザフレンドリーな画面制御を実現できる。
本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の処理の概要を示す図である。 前提技術に係る情報処理装置の処理の概要を示す図である。 本発明の第２実施形態に係る情報処理装置の外観を示す図である。 本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る画面操作処理部の機能構成を示すブロック図である。 本発明の第２実施形態に係る操作受付部の機能構成を示すブロック図である。 本発明の第２実施形態に係る操作解析部の機能構成を示すブロック図である。 本発明の第２実施形態に係るユーザ操作判定部の機能構成を示すブロック図である。 本発明の第２実施形態に係るスクロールロック条件格納部の構成を示す図である。 本発明の第２実施形態に係るスクロールロック判定部のストローク解析処理を説明する図である。 本発明の第２実施形態に係るスクロールロック判定部のストローク解析処理を説明する図である。 本発明の第２実施形態に係るスクロールロック判定部のストローク解析処理を説明する図である。 本発明の第２実施形態に係るスクロールロック判定部のストローク解析処理を説明する図である。 本発明の第２実施形態に係る表示制御部の機能構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の画面操作処理の手順を示すフローチャートである。 本発明の第２実施形態に係るストローク解析処理の手順を示すフローチャートである。 本発明の第３実施形態に係るストローク解析処理の手順を示すフローチャートである。 本発明の第４実施形態に係る情報処理装置の画面操作処理の手順を示すフローチャートである。 本発明の第５実施形態に係る情報処理装置のストローク解析処理を説明するための図である。
　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
　［第１実施形態］
　本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。図１に示すように、情報処理装置１００は、ストローク取得部１１０とスクロールロック部１２０とを含む。ストローク取得部１１０は、タッチパネル１０１に対するユーザ操作のストローク１０２を取得する。そして、スクロールロック部１２０は、ストローク取得部１１０が取得したストローク１０２が閉領域１０３の輪郭を描くか否か判断し、ストローク１０２が閉領域１０３の輪郭を描くものと推定した場合、ストローク１０２による画面のスクロール動作１０４をロックする。
　ストローク取得部１１０がストローク１０２を取得すると、スクロールロック部１２０は、例えば、そのストローク１０２の方向、縦横成分の累積、縦横成分の割合、あるいは主ベクトルなどの条件を判定する。そしてそのような条件に基づいて、ユーザのストロークをその初期の時点で、閉領域の選択範囲を生成と推定してスクロールロックとすべきは判定する。
　これにより、ストロークが描くと推定される形状に応じたスクロールロック制御を行ない、十分にユーザフレンドリーな画面制御を実現できる。
　［第２実施形態］
　次に、本発明の第２実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、タッチパネルに対するユーザ操作のストロークを取得し、そのストロークによる操作が閉領域の輪郭を描くものと推定した場合、ストロークによるスクロール動作をロックする。本例では、ストローク操作における水平方向の移動量と垂直方向の移動量との割合に基づいて、閉領域の輪郭を描くものと推定する。
　《前提技術の処理》
　本実施形態の説明の前に、図３により、前提技術に係る情報処理装置３００の処理の概要を示す。
　図３の左図においては、情報処理装置３００のディスプレイパネル３０１に文書３０３が表示された状態で閉領域の選択範囲を指定するため、タッチパネル３０２上で始点３０４から閉曲線を描こうとしている。図３の中央図は、ユーザの指が点３０５に来た状態を示す。この時点では、ユーザの指が上方に動いたため、文書３０３は上方にスクロールする。また、図３の右図は、ユーザの指が点３０６に来た状態を示す。この時点では、ユーザの指が下方に動いたため、文書３０３は下方にスクロールする。
　このように、ディスプレイパネル３０１上の文書３０３がスクロールするために、ユーザが、閉領域の選択範囲を正確に指定できない。
　《本実施形態の処理》
　図２は、本実施形態に係る情報処理装置２００の処理の概要を示す図である。
　図２の左図においては、情報処理装置２００のディスプレイパネル２０２に文書２０３が表示された状態で閉領域の選択範囲を指定するため、タッチパネル２０１上で始点２０４から閉曲線を描こうとしている。図２の中央図は、ユーザの指が点２０５に来た状態を示す。この時点では、ユーザの指が上方に動いているが、情報処理装置２００が閉領域の選択範囲指定と判断して文書２０３の表示をスクロールロックしているので、同じ画面状態で選択範囲を指定できる。また、図２の右図の、ユーザの指が点２０６に来た状態であっても、ユーザの指が下方に動いているが、情報処理装置２００が閉領域の選択範囲指定と判断して文書２０３の表示をスクロールロックしているので、同じ画面状態で選択範囲を指定できる。
　このように、閉領域の選択範囲を指定しようとしていると判断すると、情報処理装置２００がディスプレイパネル２０２上の文書２０３がスクロールロックするために、ユーザが、閉領域の選択範囲を正確に指定できる。
　《情報処理装置》
　図４Ａは、本実施形態に係る情報処理装置２００の外観を示す図である。なお、図４Ａには、スマートフォンやタブレットなどのタッチパネルを用いた携帯端末を示すが、タッチパネルを用いた情報処理装置であればスマートフォンやタブレットなどに限定されない。
　情報処理装置２００では、タッチパネル２０１とディスプレイパネル２０２とが操作部および表示部として機能する。また、情報処理装置２００は、音声入出力機能としてマイク４０３とスピーカ４０４とを有する。また、情報処理装置２００は、電源スイッチを含むスイッチ群４０５を有する。また、情報処理装置２００は、外部の入出力機器接続や通信接続に使用される外部インタフェース４０６を有する。
　（情報処理装置の機能構成）
　図４Ｂは、本実施形態に係る情報処理装置２００の構成を示すブロック図である。なお、図４Ｂには、スマートフォンやタブレットなどのタッチパネルを用いた携帯端末の基本的な構成を示すが、これに限定されない。また、図４Ｂの各構成要素は、単体のハードウェアで実現されても、独自のプロセッサを有してプログラムを実行することでソフトウェアにより実現されてもよい。あるいは、ハードウェアとソフトウェアとを組み合わせたファームウェアで実現されてもよい。また、図４Ｂの各構成要素は、独立して機能を果たすように他の構成要素と分離して図示されている。しかし、実際には、各構成要素は、ベーシックなハードウェアとＯＳ(Operating System)や入出力制御とにより最下層制御から、アプリケーションプログラムによる最上位制御までの重層的制御の組み合わせで実現されるものである。
　プロセッサ４００は、少なくとも１つのＣＰＵ(Central Processing Unit)を有し、情報処理装置２００の全体を制御する。なお、プロセッサ４００は固有のメモリを内蔵するものが望ましい。画面操作処理部４１０は、本実施形態の処理を行なう構成要素であり、タッチパネル２０１からのユーザ操作入力を受け付けて、ユーザ操作入力に対応する表示画面変更を行ない、ディスプレイパネル２０２に表示する。なお、画面操作処理部４１０は、プロセッサ４００が関連プログラムを実行することによって実現されてもよいが、独立した画面操作用プロセッサを設けるのが望ましい。音声処理部４２０は、マイク４０３からの音声入力を処理して、例えば、通信処理部４４０を介して送信し、タッチパネル２０１からのユーザ操作入力に変わるユーザ音声指示を行なう。また、音声処理部４２０は、ユーザへの通知／警告や、映像再生音声などを生成して、スピーカから音声出力する。かかる音声処理部４２０も、プロセッサ４００とは独立した音声処理用プロセッサを設けるのが望ましい。
　スイッチ処理部４３０は、スイッチ群４０５からのスイッチ入力に基づいた処理を実行する。通信処理部４４０は、ネットワークを介して、データの送受信を行なう。インタフェース制御部４５０は、外部インタフェース４０６を介して接続された入出力機器とのデータ入出力を制御する。かかる通信処理部４４０も、プロセッサ４００とは独立した音声処理用プロセッサを設けるのが望ましい。メモリ制御部４６０は、例えば、フラッシュメモリなどで構成されたＲＯＭ(Read Only Memory)４６１、ＲＡＭ(Random Access Memory)４６２およびストレージ４６３と、プロセッサ４００とのデータやプログラムのやり取りを制御する。かかるメモリ制御部４６０も、プロセッサ４００とは独立した音声処理用プロセッサを設けるのが望ましい。
　以下、本実施形態における画面操作処理部４１０について、さらに詳細に説明する。
　（画面操作処理部）
　図５は、本実施形態に係る画面操作処理部４１０の機能構成を示すブロック図である。
　画面操作処理部４１０は、操作受付部５２０と、操作解析部５３０と、ユーザ操作判定部５４０と、表示制御部５５０と、を備える。操作受付部５２０は、タッチパネル２０１からのユーザの操作を受け付けて、タッチ位置や動作を取得する。操作解析部５３０は、操作受付部５２０が受け付けたユーザ操作の動作や位置などから、表示画面の情報も考慮して操作内容を解析する。本実施形態において、操作解析部５３０は、特に、閉領域の輪郭を描くものと推定するために必要なストロークに関連するデータを解析する。ユーザ操作判定部５４０は、操作解析部５３０が解析した操作内容から、ユーザが望んだ操作を判定する。本実施形態において、ユーザ操作判定部５４０は、スクロールロックを含むスクロール制御を行なう。表示制御部５５０は、表示ドライバを含む。表示制御部５５０は、ストレージ４６３から文書を含むコンテンツを読み出して、ユーザ操作判定部５４０の判定結果に従って、ディスプレイパネル２０２への画面表示を制御する。表示制御部５５０の制御により、ユーザが望んだ操作を表示画面上に実現できる。
　なお、図５の機能構成部は、画面操作処理部４１０のプロセッサの処理により実現されても、高速化のため機能構成部によっては独自のプロセッサで処理されてもよい。また、図５の各機能構成部は、画面操作処理部４１０の動作に限定されて示されているが、これら機能構成部が図４Ｂの情報処理装置２００の他の構成要素とのデータのやり取りを行なってもよい。
　（操作受付部）
　図６は、本実施形態に係る操作受付部５２０の機能構成を示すブロック図である。操作受付部５２０は、タッチパネル２０１からのユーザの操作を受け付けて、タッチ位置や動作を取得する。
　操作受付部５２０は、イベント検出部６０１と、タッチ位置検出部６０２と、ストローク検出部６０３と、を備える。イベント検出部６０１は、タッチパネル２０１上でユーザからの何らかの操作開始を検出して、操作データの受付を開始する。タッチ位置検出部６０２は、ユーザの指がタッチしているタッチパネル２０１上の位置座標を検出する。ストローク検出部６０３は、ユーザタッチの時間変化に基づいて、タッチの始点から終点までの軌跡であるストロークを検出する。
　（操作解析部）
　図７は、本実施形態に係る操作解析部５３０の機能構成を示すブロック図である。操作解析部５３０は、操作受付部５２０が受け付けたユーザ操作の動作や位置などから、表示画面の情報も考慮して操作内容を解析する。
　操作解析部５３０は、ストローク成分抽出部７０１と、ストローク履歴蓄積部７０２と、ストローク軌跡生成部７０３と、を備える。ストローク成分抽出部７０１は、操作受付部５２０のストローク検出部６０３が検出したストロークの成分を抽出する。例えば、タッチパネル２０１の横方向と縦方向との成分、あるいは、ストロークの起点から現在地点への方向成分などを抽出する。ストローク履歴蓄積部７０２は、ストロークの経路の座標あるいは速度などを蓄積する。ストローク軌跡生成部７０３は、蓄積されたストローク履歴からストロークの軌跡を生成する。
　（ユーザ操作判定部）
　図８Ａは、本実施形態に係るユーザ操作判定部５４０の機能構成を示すブロック図である。ユーザ操作判定部５４０は、操作解析部５３０が解析した操作内容から、ユーザが望んだ操作を判定する。本実施形態において、ユーザ操作判定部５４０は、スクロールロックを含むスクロール制御を行なう。
　ユーザ操作判定部５４０は、スクロールロック判定部８０１と、スクロールロック条件格納部８０２と、ストローク軌跡位置制御部８０３と、を備える。スクロールロック判定部８０１は、スクロールロック条件格納部８０２に格納されたスクロールロックすべき条件を参照して、スクロールロックおよびスクロール解除を制御する。スクロールロック条件格納部８０２は、ユーザによるストロークの方向、縦横成分の累積、縦横成分の割合、あるいは主ベクトルなどの条件から、ユーザのストロークをその初期の時点で、閉領域の選択範囲を生成と推定してスクロールロックとすべき条件を格納する。ストローク軌跡位置制御部８０３は、ストロークの途中で発生する揺らぎ、例えば、ユーザは一直線や正確な丸を描けずに、縦方向と横方向との成分がある一定の傾向を持たない場合も発生する。ストローク軌跡位置制御部８０３は、これらの揺らぎによる選択範囲の生成の推定に誤りが出ることをあらかじめ防ぐためのものである。例えば、そのずれ幅が閾値を越えない場合や一時的な揺らぎであれば、復帰した時点で選択範囲の推定の判断条件から削除するよう制御する。簡単なストローク軌跡位置制御としては、例えば、所定ストローク長さに互る平均値を取る解決法使用できる。
　（スクロールロック条件格納部）
　図８Ｂは、本実施形態に係るスクロールロック条件格納部８０２の構成を示す図である。なお、図８Ｂでは、簡略化のために１つのテーブル形式でスクロールロック条件格納部８０２の構成を示したが、それぞれの条件に従うテーブルを組み合わせてもよい。また、条件は図８Ｂに限定されない。
　図８Ｂには、複数の条件として、縦または横のスクロール動作の可否８８１と、各時点のスクロール成分８８２と、縦横の成分の割合の変化８８３と、縦横成分の始点からの累積値（特に、絶対値の累積）８８４と、ベクトル履歴８８５と、が示されている。それらの条件から、ユーザがスクロールではなく選択範囲を示す閉領域を描いているとの推定結果８８６と、その推定結果８８６に応じた、スクロール可かスクロールロックかのスクロール制御８８７とを記憶する。
　例えば、成分割合８８３の場合としては、以下の例がある。例えば、縦方向成分と横方向成分との割合に所定閾値以上の変化がなければ、選択範囲の閉領域を描いてないと推定して、ストロークに従うスクロールを行なう。一方、縦方向成分と横方向成分との割合が一方から他方に移行する傾向があると、ストロークが方向を変えたとして選択範囲の閉領域を描いていると推定して、スクロールロックを行なう。しかしながら、ストロークの成分に場合は、ストロークの揺らぎの影響がある。
　次に、始点からのストロークの縦横成分のそれぞれの累積値、特に絶対値の累積値、の割合の変化が、閾値α以下ならば、選択範囲の閉領域を描いてないと推定して、ストロークに従うスクロールを行なう。一方、割合の変化が閾値αを越えるならば、選択範囲の閉領域を描いていると推定して、ストロークロックを行なう。累積値の割合の変化による判定であれば、安定した判定が可能となる。
　次に、ストロークのベクトル履歴においては、例えば、ベクトルの主成分が横方向から縦方向に、あるいは縦方向から横方向に変われば、選択範囲の閉領域を描いていると推定して、ストロークロックを行なう。しかしながら、主成分の方向が変わっても、再度、主成分の方向が変わらない場合や、変曲点による反対方向に変わった場合は、選択範囲の閉領域を描いてないと推定して、ストロークロックの解除を行なう。
　次に、横方向のスクロールが不可の状態で横方向のストローク成分があれば、また、縦方向のスクロールが不可の状態で縦方向のストローク成分があれば、選択範囲の閉領域を描いていると推定して、ストロークロックを行なう。
　なお、スクロールロック判定部８０１は、スクロールロック条件格納部８０２のデータを利用するのでなく、プログラムによる判定を行なってもよい。
　（ストローク解析処理）
　図８Ｃは、本実施形態に係るスクロールロック判定部８０１のストローク解析処理を説明する図である。図８Ｃには、スクロールロック条件８１１および８１２と、スクロールロックしない条件８２１および８２２と、が図示されている。なお、かかる条件はその一部であってこれに限定されるものではない。
　スクロールロック条件８１１は、Ｘ成分の絶対値|Thx|＞Ｙ成分の絶対値|Thy|の場合にスクロールロックする条件を図示する。スクロールロック条件８１２は、Ｘ成分の絶対値|Thx|＜Ｙ成分の絶対値|Thy|の場合にスクロールロックする条件を図示する。
　一方、スクロールロックしない条件８２１は、Ｘ成分の絶対値|Thx|＜Ｙ成分の絶対値|Thy|の場合にスクロールロックしない条件を図示する。スクロールロックしない条件８２２は、Ｘ成分の絶対値|Thx|＞Ｙ成分の絶対値|Thy|の場合にスクロールロックしない条件を図示する。
　（ストローク解析処理のための分析）
　図８Ｄ乃至図８Ｆは、図８Ｂのスクロールロック条件格納部８０２のデータや図８Ｃにおけるストローク解析処理を実現するための各条件下の分析である。上記ストロークロック条件格納部８０２を作成するため、ユーザが閉領域の選択範囲を生成することを推定するための条件を分析したものである。なお、図８Ｄ乃至図８Ｆの各図においては、右側にそれぞれまとめたように、主として、Ｘ成分（本例では横成分）の絶対値の累積値と、Ｙ成分（本例では縦成分）の絶対値の累積値との割合の変化が、スクロール／スクロールロック／ロック解除の制御切替の条件となっている。このように、絶対値の累積値を用いることで、直接検出したＸ成分とＹ成分との割合そのものを使う場合に発生する揺らぎを防いでもいる。
　図８Ｄは、本実施形態に係るスクロールロック判定部８０１のストローク解析処理を説明する図である。図８Ｄは、縦方向および横方向にスクロール可能な場合の、スクロールロックの条件を分析したものである。図８Ｄは、始点が横方向のストローク上にある場合である。閉領域の選択範囲を生成しようとする場合、ストロークは、横方向を主ベクトルとするストロールから縦方向を主ベクトルに変わり、再度、横方向を主ベクトルとするストロークに変わる。したがって、ストロークの主ベクトルが横から縦に変わった場合には、選択範囲の生成と推定可能である。しかしながら、ストロークの主ベクトルが横から縦に変わっても、再度、横に変わらない場合や、変曲点で反対方向に向いた場合などは、選択範囲の生成でないと判断される。また、ストロークの累積値を考えると、図８Ｃのように、横方向の中心部分が始点とすると、しばらく横成分が累積されてから縦成分の累積が増加するように変化する。このように、ストロークの縦成分と横成分と割合の変化によって、選択範囲の生成を推定可能である。
　図８Ｅは、本実施形態に係るスクロールロック判定部８０１のストローク解析処理を説明する図である。図８Ｅは、横方向のスクロール不可の場合、例えば、文書であれば横方向の画面に全文書が表示されている場合の、スクロールロックの条件を分析したものである。横方向のスクロールが不可の状態の場合には、横方向のストロークが始まった時点で、選択範囲の生成と推定可能である。この場合には、縦方向のスクロールロックを行なってもよい。
　図８Ｆは、本実施形態に係るスクロールロック判定部８０１のストローク解析処理を説明する図である。図８Ｆは、始点が途中の場合の、スクロールロックの条件を分析したものである。図８Ｆは、始点が縦方向のストローク上にある場合である。閉領域の選択範囲を生成しようとする場合、ストロークは、縦方向を主ベクトルとするストロールから横方向を主ベクトルに変わり、再度、縦方向を主ベクトルとするストロークに変わる。したがって、ストロークの主ベクトルが縦から横に変わった場合には、選択範囲の生成と推定可能である。しかしながら、ストロークの主ベクトルが縦から横に変わっても、再度、縦に変わらない場合や、変曲点で反対方向に向いた場合などは、選択範囲の生成でないと判断される。この場合にも、縦長の丸であれば、図８Ｃと同じような、縦成分と横成分の累積により選択範囲の生成を推定可能であるが、横書き文書の場合であれば、基本的に横長の丸となるので、図８Ｅの場合は、ストロークの主ベクトルや縦成分と横成分との割合で選択範囲の生成を推定するのが望ましい。
　上記図８Ｄ乃至図８Ｆのそれぞれ代表的なシチュエーションでの分析に基づいて、トロークロック条件格納部８０２が生成される。
　（表示制御部）
　図９は、本実施形態に係る表示制御部５５０の機能構成を示すブロック図である。ストレージ４６３から文書を含むコンテンツを読み出して、ユーザ操作判定部５４０の判定結果に従って、ディスプレイパネル２０２への画面表示を制御する。
　表示制御部５５０は、表示位置制御部９０１と、識別表示制御部９０３と、を備える。表示位置制御部９０１は、ストレージ４６３から読出されたコンテンツのどの位置を表示するかを制御する。本実施形態においては、文書の表示位置を制御する。識別表示制御部９０３は、表示画面上で文書の選択範囲を識別可能に表示するように制御する。
　《画面操作処理の手順》
　図１０は、本実施形態に係る情報処理装置２００の画面操作処理の手順を示すフローチャートである。このフローチャートは、プロセッサ４００、あるいは、画面操作処理部４１０のＣＰＵが実行することにより、画面操作処理部４１０の各機能構成部を実現する。ここでは、画面操作処理部４１０のＣＰＵが実行する場合を説明する。
　画面操作処理部４１０は、ステップＳ１００１において、ユーザが表示指定をした文書の所定部分を表示する。画面操作処理部４１０は、ステップＳ１００３において、タッチパネル２０１上へのユーザの指のタッチがあったか否かを監視する。指のタッチを検出すれば、画面操作処理部４１０は、ステップＳ１００５において、ストロークを取得する。
　画面操作処理部４１０は、ステップＳ１００７において、取得したストロークから選択範囲を指定する閉領域の輪郭を描くか否かを解析するストローク解析処理を実行する。ストローク解析の結果から、画面操作処理部４１０は、ステップＳ１００９において、ストロークが選択範囲を指定しようとするものかを判定する。ストロークが選択範囲を指定しようとするものと判定した場合は、画面操作処理部４１０は、ステップＳ１０１１において、スクロールロックを行なう。ストロークが選択範囲を指定しようとするものでないと判定した場合は、画面操作処理部４１０は、ステップＳ１０１３において、スクロールを行なう。
　画面操作処理部４１０は、ステップＳ１０１５において、ユーザの指によるタッチが継続していれば、ステップＳ１００５に戻って処理を繰り返す。ユーザの指がタッチパネル２０１から離れた場合、画面操作処理部４１０は、ステップＳ１０１７において、設定された範囲指定に対応する処理を実行する。
　（ストローク解析処理）
　図１１は、本実施形態に係るストローク解析処理（Ｓ１００７）の手順を示すフローチャートである。
　画面操作処理部４１０は、ステップＳ１１０１において、ストロークデータを取得する。そして、画面操作処理部４１０は、ステップＳ１１０３において、ストロークの水平方向の移動量を取得する。次に、画面操作処理部４１０は、ステップＳ１１０５において、ストロークの垂直方向の移動量を取得する。
　画面操作処理部４１０は、ステップＳ１１０１において、水平方向の移動量と垂直方向の移動量の割合を算出する。画面操作処理部４１０は、ステップＳ１１０９において、算出した割合が、所定の閾値αより大きいか否かを判定する。割合が所定の閾値αより大きい場合は、画面操作処理部４１０は、ステップＳ１１１１において、ストロークが閉領域描画と推定して、ステップＳ１１１３において、スクロールロックすべき判定とする。割合が所定の閾値α以下の場合は、画面操作処理部４１０は、ステップＳ１１１５において、ストロークが閉領域描画でないと推定する。
　本実施形態によれば、ストロークが描く形状が範囲指定の閉領域であると推定すると、スクロールロックを行なって、ユーザが範囲指定を確実に行なえるよう制御するので、十分にユーザフレンドリーな画面制御を実現できる。
　［第３実施形態］
　次に、本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、ストローク解析において、第１方向がスクロールしない画面において、その第１方向の成分のストロークを検出した場合、第１方向と直交する第２方向のスクロールをロックする点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　（ストローク解析処理）
　図１２は、本実施形態に係るストローク解析処理（Ｓ１００７）の手順を示すフローチャートである。
　ステップＳ１２０１においては、一方向のみスクロールできる画面か否か判定する。表示画面が、水平方向、垂直方向共にスクロールできる画面であれば、ＮＯとなり、このフローチャートの処理を終了する。水平方向および垂直方向のいずれか一方向にしかスクロールできない画面の場合にはステップＳ１２０３に進む。
　ステップＳ１２０３においては、ステップＳ１００５で取得したストロークが、スクロールできる方向（例えば垂直方向）とは異なる方向（例えば水平方向）へのストロークか否か判定する。
　そして、スクロールできる方向（例えば垂直方向）とは異なる方向（例えば水平方向）へのストロークを取得したと判定した場合には、ステップＳ１２０５に進み、スクロールロック制御を行なう。
　以上、本実施形態によれば、一方向にしかスクロールできない画面において多方向へのストロークの検出に応答してスクロールロックするので、よりユーザフレンドリーなスクロールロック制御を行なうことができる。
　［第４実施形態］
　次に、本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、まずユーザ操作を検出してスクロールロックを行ない、その後条件に応じて解除する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　（画面操作処理の手順）
　図１３は、本実施形態に係る情報処理装置の画面操作処理の手順を示すフローチャートである。
　図１３において、表示制御部５５０は、タッチパネルに対する操作を検出すると、ステップＳ１３０７において、所定距離のストロークの間はスクロールロック制御を行なう。そして、ステップＳ１００７のストローク解析の結果、ステップＳ１００９において範囲指定操作ではないと判断されるとステップＳ１３１９に進み、スクロールロックを解除して、スクロールを行なう。
　以上、本実施形態によれば、まずタッチパネル操作を受け付けた場合にスクロールロックを行ない、所定条件下でそのスクロールロックを解除するため、よりユーザフレンドリーなスクロールロック制御を行なうことができる。
　［第５実施形態］
　次に、本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、ストローク上の各点におけるベクトルの水平方向成分に対する垂直方向成分の割合の変化に応じてスクロールロックを行なう点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　（ストローク解析処理）
　図１４は、本実施形態に係る情報処理装置のストローク解析処理を説明するための図である。
　図１４において、ストロークが、点１４０１から点１４０２を経て点１４０３までの軌跡を描いたとする。この場合、割合Ｒ＝（Ｙ成分の絶対値｜Ｔhy｜／Ｘ成分の絶対値｜Ｔhx｜）の値は、Ｒ１（点１４０１）＜Ｒ２（点１４０２）＜Ｒ３（点１４０３）となる。このように変化した場合、タッチパネル２０１上のユーザの指の動きは範囲選択のための閉領域を囲む軌跡であると推定して、スクロールロックを行なう。
　以上、本実施形態によれば、まずタッチパネル操作を受け付けた場合にスクロールロックを行ない、所定条件下でそのスクロールロックを維持するため、よりユーザフレンドリーなスクロールロック制御を行なうことができる。
　その他、ストロークの方向転換を検出して、ストロークが方向転換を行なえばスクロールロック制御を行なってもよい。
　［他の実施形態］
　なお、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
　この出願は、２０１４年３月２０日に出願された日本国特許出願　特願２０１４－０５９２３９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (7)

  1. 　タッチパネルに対するユーザ操作のストロークを取得し、そのストロークによる操作が閉領域の輪郭を描くものと推定した場合、前記ストロークによるスクロール動作をロックすることを特徴とする情報処理装置。
  2. 　前記ストロークの開始から、所定距離のストロークによるスクロール動作をロックしておき、
    　前記閉領域の輪郭を描くものと推定しなかった場合に、スクロール動作のロックを解除することを特徴とする、請求項１に記載の情報処理装置。
  3. 　前記ストロークにおける水平方向の移動量と垂直方向の移動量との割合に基づいて、前記閉領域の輪郭を描くものと推定することを特徴とする請求項１または２に記載の情報処理装置。
  4. 　前記水平方向の移動量に対する前記垂直方向の移動量の割合が変化した場合に、前記ストロークによるスクロール動作をロックすることを特徴とする請求項３に記載の情報処理装置。
  5. 　第１方向がスクロールしない画面において、該第１方向の成分のストロークを検出した場合、前記第１方向と直交する第２方向のスクロール動作をロックすることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
  6. 　タッチパネルに対するユーザ操作のストロークを取得する取得ステップと、
    　前記ストロークによる操作が閉領域の輪郭を描くものと推定できるか否か判定する判定ステップと、
    　前記ストロークによる操作が閉領域の輪郭を描くものと推定した場合、前記ストロークによるスクロール動作をロックするスクロールロックステップと、
    　を含むことを特徴とする情報処理方法。
  7. 　タッチパネルに対するユーザ操作のストロークを取得する取得ステップと、
    　前記ストロークによる操作が閉領域の輪郭を描くものと推定できるか否か判定する判定ステップと、
    　前記ストロークによる操作が閉領域の輪郭を描くものと推定した場合、前記ストロークによるスクロール動作をロックするスクロールロックステップと、
    　をコンピュータに実行させることを特徴とする情報処理プログラム。
PCT/JP2014/083984 2014-03-20 2014-12-22 情報処理装置、情報処理方法および情報処理プログラム WO2015141090A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/125,270 US20170097762A1 (en) 2014-03-20 2014-12-22 Information processing apparatus, information processing method, and information processing program
CN201480077310.1A CN106133672B (zh) 2014-03-20 2014-12-22 信息处理装置、信息处理方法和信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014059239 2014-03-20
JP2014-059239 2014-03-20

Publications (1)

Publication Number Publication Date
WO2015141090A1 true WO2015141090A1 (ja) 2015-09-24

Family

ID=54144085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/083984 WO2015141090A1 (ja) 2014-03-20 2014-12-22 情報処理装置、情報処理方法および情報処理プログラム

Country Status (3)

Country Link
US (1) US20170097762A1 (ja)
CN (1) CN106133672B (ja)
WO (1) WO2015141090A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD822060S1 (en) * 2014-09-04 2018-07-03 Rockwell Collins, Inc. Avionics display with icon
USD952650S1 (en) * 2020-03-04 2022-05-24 Nextnav, Llc Display screen or portion thereof with graphical user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169493A (ja) * 2008-01-11 2009-07-30 Ntt Docomo Inc タッチパネル表示制御システム、タッチパネル表示制御方法、タッチパネル表示制御プログラム
JP2012168621A (ja) * 2011-02-10 2012-09-06 Sharp Corp タッチ描画表示装置及びその操作方法
JP2013092942A (ja) * 2011-10-26 2013-05-16 Sony Computer Entertainment Inc スクロール制御装置、端末装置およびスクロール制御方法
JP2013175018A (ja) * 2012-02-24 2013-09-05 Kddi Corp 表示装置、表示方法およびプログラム
JP2013246792A (ja) * 2012-05-29 2013-12-09 Kyocera Corp 携帯端末

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0626872A1 (en) * 1991-12-04 1994-12-07 SMITH, Martin Electronic golf practice device
US9134899B2 (en) * 2011-03-14 2015-09-15 Microsoft Technology Licensing, Llc Touch gesture indicating a scroll on a touch-sensitive display in a single direction
KR101859099B1 (ko) * 2011-05-31 2018-06-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US20130222329A1 (en) * 2012-02-29 2013-08-29 Lars-Johan Olof LARSBY Graphical user interface interaction on a touch-sensitive device
US9304656B2 (en) * 2012-03-30 2016-04-05 Google Inc. Systems and method for object selection on presence sensitive devices
KR20140074490A (ko) * 2012-12-10 2014-06-18 삼성전자주식회사 디스플레이장치 및 그 컨텐츠 제어방법
US20150248166A1 (en) * 2014-01-26 2015-09-03 Shangkar Meitei Mayanglambam System for spontaneous recognition of continuous gesture input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169493A (ja) * 2008-01-11 2009-07-30 Ntt Docomo Inc タッチパネル表示制御システム、タッチパネル表示制御方法、タッチパネル表示制御プログラム
JP2012168621A (ja) * 2011-02-10 2012-09-06 Sharp Corp タッチ描画表示装置及びその操作方法
JP2013092942A (ja) * 2011-10-26 2013-05-16 Sony Computer Entertainment Inc スクロール制御装置、端末装置およびスクロール制御方法
JP2013175018A (ja) * 2012-02-24 2013-09-05 Kddi Corp 表示装置、表示方法およびプログラム
JP2013246792A (ja) * 2012-05-29 2013-12-09 Kyocera Corp 携帯端末

Also Published As

Publication number Publication date
CN106133672B (zh) 2019-07-12
CN106133672A (zh) 2016-11-16
US20170097762A1 (en) 2017-04-06

Similar Documents

Publication Publication Date Title
US8952992B2 (en) Zoom processing device, zoom processing method, and computer program
KR102024422B1 (ko) 파일 폴더 내의 파일을 오픈하기 위한 방법 및 단말기
US8291348B2 (en) Computing device and method for selecting display regions responsive to non-discrete directional input actions and intelligent content analysis
EP2592537B1 (en) Method and apparatus for designating entire area using partial area touch in a portable equipment
US20120235933A1 (en) Mobile terminal and recording medium
JP2013530587A5 (ja)
KR20130097594A (ko) 단말기에서 콘텐츠 이동 방법 및 장치
US20190286310A1 (en) Widget Area Adjustment Method and Apparatus
US20140173532A1 (en) Display control apparatus, display control method, and storage medium
WO2015141089A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2015141090A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
EP2871826B1 (en) Method, device and terminal for adjusting widget
US20150058797A1 (en) Window expansion method and associated electronic device
CN103809894A (zh) 一种手势的识别方法及电子设备
KR102086193B1 (ko) 멀티 핑거 터치 상호작용 동안의 패닝 및 스케일링을 검출하는 기법
KR102134443B1 (ko) 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법
WO2015141093A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20160110016A1 (en) Display control device, control method thereof, and program
KR101412431B1 (ko) 멀티 터치와 탭핑을 결합하여 사용자 명령을 입력하는 방식의 사용자 인터페이스 방법 및 이를 적용한 전자 기기
CN105892845A (zh) 多点触控调整视频窗口的方法及设备
CN111352561A (zh) 一种在触摸屏上进行触控的方法及装置
JP6463209B2 (ja) 表示装置及び表示方法
KR101544527B1 (ko) 터치 방식을 이용한 입력 제어 방법 및 시스템
WO2015141091A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2016015279A1 (zh) 信息输入的处理方法和移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14886125

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15125270

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14886125

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP