WO2017221510A1 - 携帯端末装置及び携帯端末装置の制御方法 - Google Patents

携帯端末装置及び携帯端末装置の制御方法 Download PDF

Info

Publication number
WO2017221510A1
WO2017221510A1 PCT/JP2017/013981 JP2017013981W WO2017221510A1 WO 2017221510 A1 WO2017221510 A1 WO 2017221510A1 JP 2017013981 W JP2017013981 W JP 2017013981W WO 2017221510 A1 WO2017221510 A1 WO 2017221510A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
terminal device
button
virtual button
screen
Prior art date
Application number
PCT/JP2017/013981
Other languages
English (en)
French (fr)
Inventor
陽 島田
Original Assignee
京セラドキュメントソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラドキュメントソリューションズ株式会社 filed Critical 京セラドキュメントソリューションズ株式会社
Priority to EP17800688.8A priority Critical patent/EP3477454A4/en
Priority to CN201780001347.XA priority patent/CN107850980A/zh
Priority to JP2017553204A priority patent/JP6380689B2/ja
Priority to US15/568,247 priority patent/US20180210616A1/en
Publication of WO2017221510A1 publication Critical patent/WO2017221510A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0279Improving the user comfort or ergonomics
    • H04M1/0281Improving the user comfort or ergonomics for providing single handed use or left/right hand conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Definitions

  • the present invention relates to a mobile terminal device and a control method of the mobile terminal device, and more particularly to a technique for improving the operability with one hand of the mobile terminal device.
  • the present invention has been made to solve the above problems, and it is an object of the present invention to improve the operability with one hand of a portable terminal device.
  • a portable terminal device includes a touch panel display unit, and a control unit that performs screen display control on the display unit and operates according to a touch operation on a screen of the display unit, the control The unit generates a virtual button corresponding to the existing button originally arranged at a predetermined position of the screen image of any application, arranges the virtual button at another predetermined position of the screen image, and arranges the virtual button.
  • the mobile terminal device displays the screen image displayed on the screen of the display unit, and operates as if the touch operation was performed on the existing button corresponding to the touch operation on the virtual button.
  • a control method of a portable terminal device is a control method of a portable terminal device including a touch panel type display unit, which is originally disposed at a predetermined position of a screen image of an arbitrary application. Generating a virtual button corresponding to the existing button, arranging the virtual button at another predetermined position of the screen image, and displaying a screen image on which the virtual button is arranged on the screen of the display unit , And when there is a touch operation on the virtual button, there is a step of operating as if the touch operation on the corresponding existing button was performed.
  • the virtual button corresponding to it is generated and displayed at the position where the finger reaches and touch the existing button by touching the virtual button. The same effect is obtained.
  • the operability with one hand of the portable terminal device can be improved.
  • FIG. 16 is an external view of a mobile terminal device according to a third modification.
  • (A) And (B) is a figure which shows a user's grasping and operating a portable terminal device concerning modification 3 with one hand. It is a figure which shows an example of the area
  • FIG. 1 is a figure which shows a user's grasping and operating a portable terminal device concerning modification 3.
  • FIG. 1 is an external view of a portable terminal device 10 according to an embodiment of the present invention.
  • the portable terminal device 10 is a terminal having a flat rectangular external shape with a vertically-long rectangular shape that can be operated with one hand.
  • the size of the portable terminal device 10 is about 140 mm in height, about 70 mm in width, and about 7 to 8 mm in thickness, but is not limited thereto. That is, the portable terminal device 10 is a terminal generally called a smart phone.
  • a touch panel display unit 101 is disposed to cover substantially the entire front surface of the mobile terminal device 10. Although the size of the screen of the display unit 101 is typically around 5 to 6 inches, it is not limited thereto.
  • a terminal having a display unit 101 with a large screen of about 9 inches or more is generally called a tablet terminal. The tablet terminal is difficult to operate with one hand, and is held by one hand and operated by the other hand, or placed on a desk or the like for use.
  • a camera In addition to the display unit 101, a camera, a speaker, an LED (Light Emitting Diode), a hard button, and the like are disposed on the outer surface of the mobile terminal device 10, but such members are not illustrated in FIG. ing.
  • LED Light Emitting Diode
  • FIG. 2 is a block diagram showing an outline of an internal configuration of the mobile terminal device 10.
  • the mobile terminal device 10 includes a display unit 101, a CPU (Central Processing Unit) 102, a memory 103, a communication interface 104, a sensor group 105, and a camera 106. These components are connected to one another by a bus 107 to enable transmission and reception of data or signals.
  • a bus 107 to enable transmission and reception of data or signals.
  • the display unit 101 includes a display configured of a liquid crystal display, an organic EL display, and the like, and a touch panel disposed in front of the display screen portion. That is, the display unit 101 provides a graphical user interface (GUI) that displays various images and receives input by a touch operation from the user.
  • GUI graphical user interface
  • the touch panel can detect a touch operation and specify coordinates of the touch position.
  • the display unit 101 can display various operation buttons (button objects, soft buttons) at arbitrary positions on the display screen, and detect whether or not the operation buttons are touched.
  • the CPU 102 manages overall operation control of the mobile terminal device 10. Specifically, the CPU 102 executes an application program (application) installed in the mobile terminal device 10 to perform screen display control on the display unit 101, and operates according to a touch operation on the screen of the display unit 101. . For example, when the CPU 102 executes the application for remote operation of the multifunction device, the copy, print, scan, and facsimile functions of the multifunction device are remotely controlled through the GUI displayed on the screen of the display unit 101 of the portable terminal device 10. be able to.
  • application application
  • the memory 103 is configured of a read only memory (ROM), a random access memory (RAM), and the like.
  • the memory 103 stores various programs to be executed by the CPU 102.
  • the memory 103 also stores image data captured by the camera 106 and temporary data used by the CPU 102 when an application is executed.
  • the communication interface 104 is a wireless communication interface that performs wireless communication with a wireless base station or an external device.
  • a wireless communication method Wi-Fi (registered trademark), Bluetooth (registered trademark) or the like can be used.
  • the communication interface 104 can perform carrier communication by 3G communication, LTE (Long Term Evolution), or the like.
  • the sensor group 105 includes various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an azimuth sensor, and a brightness sensor.
  • the camera 106 is an imaging device having an optical system and an image sensor such as a CCD image sensor or a CMOS image sensor.
  • the camera 106 forms an optical image of an object on an image sensor by an optical system, and photoelectrically converts the image by an image sensor.
  • the photoelectrically converted signal is processed by the CPU 102 to generate still image data and moving image data.
  • the portable terminal device 10 has a speaker, a microphone, an LED, a hard button, a vibrator and the like in addition to the above components, for convenience, such components are not shown in FIG.
  • the mobile terminal device 10 As described above, in the mobile terminal device 10, various screen images are displayed on the screen of the display unit 101 by the activated application.
  • the mobile terminal device 10 When operating the mobile terminal device 10 with one hand, the mobile terminal device 10 is supported except for the thumb, and the free thumb (operating finger) is moved to operate the screen image. At this time, the thumb may not reach the end of the screen of the display unit 101 in the portable terminal device 10 provided with the display unit 101 having a large screen of about 5 inches or more.
  • Such a button placed out of reach of the thumb needs to be operated with the other hand, or the screen must be scrolled or rotated to a position where the thumb can reach.
  • the virtual button described below is introduced to enable one-handed operation even if the screen size of the display unit 101 is relatively large.
  • FIG. 3A shows an example of a display screen without a virtual button.
  • FIG. 3B shows an example of a display screen with a virtual button.
  • the screen image of the application is a GUI image for remotely operating the MFP in the case of the application for remote operation of the MFP described above, and corresponds to a designated URL (Uniform Resource Locator) in the case of a web browser. It is a web page image.
  • URL Uniform Resource Locator
  • the application is composed of various GUI images (screen images) such as a home screen and a setting screen, and the screen image displayed on the screen of the display unit 101 is switched according to the user operation.
  • GUI images screen images
  • a web page image is displayed on the screen of the display unit 101. If the web page image is large relative to the display area of the display unit 101, the web page image can be scrolled on the screen of the display unit 101.
  • FIG. 3A and FIG. 3B show examples of display screens of a portion of such a GUI image or web page image.
  • the screen image of the application is designed by arranging various buttons at predetermined positions. Therefore, when the mobile terminal device 10 activates the application, the button B1 is displayed at a predetermined position in the display area of the display unit 101, as shown in FIGS. 3 (A) and 3 (B).
  • the operation finger 20 (the thumb of the left hand) is moved to operate the screen image of the application displayed on the screen of the display unit 101.
  • the screen of the display unit 101 is approximately 5 inches or more, the operation finger 20 may not reach the upper right of the screen of the display unit 101. That is, the display area of the display unit 101 is divided into a first display area A1 to which the operation finger 20 reaches and a second display area A2 to which the operation finger 20 does not reach, bordering on the limit line 21 to which the operation finger 20 reaches.
  • the button B1 is disposed in the first display area A2, in the case of FIG. 3A, the button B1 can not be touch-operated by the operating finger 20.
  • the virtual button B1 ' is displayed in the first display area A1.
  • the virtual button B1 ′ is a button corresponding to the button B1 (existing button) originally disposed at a predetermined position of the screen image of the application. That is, when the touch operation is performed on the virtual button B1 ′, the CPU 102 can operate as if the touch operation on the existing button B1 corresponding to the virtual button B1 ′.
  • FIG. 4 is a flowchart showing a procedure of generating a virtual button.
  • the user can start the virtual button generation application (S11 ).
  • the CPU 102 performs a predetermined gesture with the operation finger 20 on the screen of the display unit 101, shakes or tilts the mobile terminal device 10, or emits a predetermined word to the mobile terminal device 10 It is determined that activation of the virtual button generation application is requested, and the program of the virtual button generation application is read from the memory 103 and executed.
  • the CPU 102 When the virtual button generation application is activated, the CPU 102 causes the virtual button to be displayed on the screen of the display unit 101 superimposed on the screen image of the application currently displayed (S12). At this time, the arrangement position of the virtual button is not yet determined, and the user can drag the virtual button to freely change the position. Then, when the user issues an instruction to determine the position of the virtual button, the CPU 102 stores the position of the virtual button in the screen image of the currently displayed application in the memory 103 (S13).
  • the CPU 102 When the display position of the virtual button is determined, the CPU 102 requests the selection of the button to be associated with the virtual button among the existing buttons in the screen image of the currently displayed application (S14). When the user performs a touch operation on any existing button, the CPU 102 associates the virtual button with the existing button operated by the touch, and stores the correspondence, the arrangement position of the virtual button, and the like in the memory 103 (S15).
  • the virtual button can be generated only in a specific screen image in association with the application or URL. For example, it is possible to generate a virtual button only on the setting screen without generating a virtual button on the home screen of a certain application, and to generate a virtual button on any of the home screen and the setting screen in another application.
  • buttons can be arranged at different positions for each screen image in association with an application or a URL.
  • virtual buttons corresponding to existing buttons common to a home screen and a setting screen of a certain application can be arranged at different positions on the home screen and the setting screen.
  • the CPU 102 identifies the limit line 21 from the locus of the touch position on the screen of the display unit 101.
  • the first display area A1 to which the operation finger reaches and the second display area A2 to which the operation finger 20 does not reach are determined (FIG. 3A).
  • the CPU 102 identifies the existing button B1 in the second display area A2, generates a virtual button B1 ′ corresponding to the existing button B1, and causes the virtual button B1 ′ to be displayed at an appropriate position in the first display area A1.
  • the CPU 102 can use the position of the center of gravity of the locus of the touch position as an appropriate position. That is, the CPU 102 obtains the position of the center of gravity of the locus from the locus of the touch position on the screen of the display unit 101, and generates and displays the virtual button B1 'corresponding to the existing button B1 at the position of the calculated center of gravity. Good. Thereby, a virtual button can be generated automatically.
  • the CPU 102 can select a plurality of positions as appropriate positions. That is, the CPU 102 may generate a plurality of virtual buttons B1 'corresponding to the existing button B1 and display the plurality of virtual buttons B1' at different positions. Thereby, the operability with one hand of the portable terminal device 10 can be surely improved.
  • buttons corresponding to the frequently used existing buttons may be automatically generated.
  • the CPU 102 may automatically generate a plurality of virtual buttons respectively corresponding to the plurality of existing buttons. Thereby, the operability with one hand of the portable terminal device 10 can be surely improved.
  • the skin of the virtual button is various, such as single color, gradation, and pattern, but can be set to the same skin as the existing button.
  • the CPU 102 can acquire an image of an area surrounded by a selection frame in the screen image of the currently displayed application, and set the image as the skin of the virtual button.
  • the virtual button B1 ' is made the same skin as the existing button B1, and the user can intuitively understand the correspondence between the virtual button B1' and the existing button B1.
  • FIG. 5 is a flowchart showing display control of the virtual button.
  • the user starts an arbitrary application installed on the mobile terminal device 10 (S101).
  • the CPU 102 reads the program of the application instructed to be activated from the memory 103 and executes the program.
  • the CPU 102 also reads a program of a virtual button display application for displaying a virtual button from the memory 103 and executes the program.
  • the CPU 102 specifies which screen image of which application the image currently displayed on the screen of the display unit 101 is (S102). Then, the CPU 102 refers to the memory 103, and information on the virtual button generated / arranged on the specified screen image, that is, information such as the arrangement position of the virtual button, the skin, the correspondence between the virtual button and the existing button Acquire (S103).
  • the virtual button is not arranged on the currently displayed screen image, and the display processing of the virtual button ends.
  • the CPU 102 acquires the tilt of the mobile terminal device 10 from the signal of the sensor group 105. Then, when it is determined that the mobile terminal device 10 is inclined by a predetermined amount or more (YES in S105), the CPU 102 displays a virtual button at a predetermined position on the screen of the display unit 101 (S106). On the other hand, when the mobile terminal device 10 is not inclined by a predetermined amount or more (NO in S105), the CPU 102 does not display the virtual button on the screen of the display unit 101.
  • switching the presence / absence of display of the virtual button according to the inclination of the mobile terminal device 10 causes the virtual button to overlap the existing button because the display area of the display unit 101 of the mobile terminal device 10 is limited. It is because it considered that it might be displayed. In particular, in the web page image, when the content of the page is updated, the virtual button and the existing button may overlap. Therefore, by tilting the mobile terminal device 10 to switch the presence or absence of the display of the virtual button, it is possible to prevent the virtual button from being displayed when the user thinks unnecessary, thereby improving the convenience of the user. be able to.
  • step S105 if step S105 is omitted and information on the virtual button can be acquired, the virtual button may be displayed at a predetermined position on the screen of the display unit 101 without fail.
  • the CPU 102 can paste and display the virtual button at a predetermined position of the screen image of the application. In this case, when the screen image of the application displayed on the screen of the display unit 101 is scrolled, the CPU 102 moves the display position of the virtual button following the scrolling of the screen image.
  • the CPU 102 can permanently display the virtual button at a predetermined position of the display area of the display unit 101. In this case, even if the display screen of the display unit 101 is scrolled, the virtual buttons remain at the same position and continue to be displayed.
  • the virtual button displayed in the resident mode is displayed above the existing button. May overlap.
  • the CPU 102 can change the resident display position of the virtual button so as to avoid the existing button.
  • the virtual button when the virtual button is arranged to overlap the existing button, or when the resident display position of the virtual button is fixed, the virtual button is displayed overlapping the existing button. In such a case (YES in S107), the CPU 102 notifies the user that the virtual button overlaps the existing button (S108).
  • notification methods such as pop-up display on the screen of the display unit 101, emitting an alarm sound, and vibrating the mobile terminal device 10 with a vibrator.
  • steps S107 and S108 may be omitted.
  • the CPU 102 determines that the existing button corresponding to the virtual button is subjected to a touch operation.
  • the operation assigned to the button is executed (S110).
  • step S112 may be omitted and the virtual button may continue to be displayed even if the existing button is touch-operated.
  • the virtual button corresponding to it is generated and displayed at the position where the finger reaches and touch the virtual button.
  • the same effect as touching an existing button can be obtained. Thereby, the operability with one hand of the portable terminal device 10 can be improved.
  • the present invention is not limited to the configuration of the above embodiment, and various modifications are possible.
  • the existing button is associated with a hard button that can be operated while operating the mobile terminal device 10 with one hand, and the hard button is pressed. It may be processed as the existing button is touch-operated.
  • locus data indicating loci of a plurality of patterns is stored in advance.
  • the CPU 102 performs pattern matching between the locus of the detected touch position and the pattern of the locus stored in the memory 103 or the like, and the locus of the touch position when the matching rate is equal to or more than a predetermined value. Is determined to correspond to a predetermined pattern.
  • the above process causes the CPU 102 to perform the above determination process triggered by an operation in which the user draws a locus of a predetermined pattern on the display unit 101 by the above process, and the temporary installation button is arranged in the first display area and displayed It can be done.
  • the CPU 102 may cause the display unit 101 to display an acceptance screen (see FIG. 6) for accepting the change, addition, or deletion of the predetermined pattern in accordance with an operation from the user.
  • the CPU 102 generates a pattern of a locus based on the locus of the touch position input by the user on the reception screen described above, and stores the generated pattern of the locus in a storage unit such as the memory 103.
  • the CPU 102 may store the pattern selected by the user from the plurality of patterns shown on the reception screen in a storage unit such as the memory 103 as the pattern of the predetermined trajectory.
  • FIG. 7 is an external view of the portable terminal device according to the third modification.
  • the display unit 101 is a curved display.
  • This curved display is an integral curved display including a flat surface 101A and a curved surface 101B extended from the flat surface 101A, the flat surface 101A being disposed on the main surface side of the mobile terminal device, and the curved surface 101B being It is arrange
  • a touch panel is disposed on the upper surface of the above-described curved display, and in addition to the touch operation on the flat surface 101A, the touch operation on the curved surface 101B can be detected.
  • the CPU 102 displays a work screen when an application such as a browser or text creation software is executed on the flat surface 101A of the display unit 101, and a curved screen 101B of the display unit 101 on the work screen displayed on the flat surface 101A.
  • the related information (for example, a list of bookmarks when the work screen of the browser is displayed on the flat surface 101A) is displayed. Thereby, the user can confirm the information related to the work screen by viewing the curved surface 101B while browsing the work screen displayed on the flat surface 101A.
  • the CPU 102 when the touch operation on the curved surface 101B is detected, the CPU 102 causes the operation finger to reach the display area of the display unit 101 from the touch position on the curved surface 101B. 1 Determine a display area and a second display area which the operation finger does not reach.
  • FIG. 8A and FIG. 8B are views showing a state in which the user holds and operates the mobile terminal device according to the third modification with one hand.
  • the user grasps and operates near the center of the portable terminal device.
  • the user holds and operates the lower side of the portable terminal device.
  • the range that the user's operation finger can reach varies depending on the position at which the user grips the portable terminal device. Specifically, as shown in FIG. 8A, when the user grasps the vicinity of the center of the portable terminal device, the user's operation finger reaches the entire area of the display portion 101, but the operation finger is shown in FIG. 8B. As described above, when the user grips the lower side of the mobile terminal device, the user's operation finger does not reach the top of the display unit 101. In the mobile terminal device according to the third modification, the position at which the user grips the mobile terminal device is specified from the touch position on the curved surface 101B.
  • the user's operation finger contacts the lower end in the longitudinal direction of the curved surface 101B.
  • the CPU 102 specifies a range separated by a predetermined length from the contact position as the first display area where the operating finger reaches, and the operating finger separates a range separated from the predetermined length from the contact position. Identify as a second display area that does not reach.
  • the CPU 102 specifies in advance the sex and age (whether adult or child) of the user who operates the mobile terminal device, and the above according to the length of the finger assumed from the sex and age.
  • the predetermined length may be changed to specify the first display area and the second display area.
  • the first display is performed when the longitudinal direction end of the curved surface 101B is touched by the detected touch operation.
  • a process of determining the area and the second display area, and a process of arranging and displaying the virtual button in the first display area are performed.
  • the touch position touched by the detected touch operation is the central portion in the longitudinal direction of the curved surface 101B and the longitudinal end of the curved surface 101B
  • the process of determining the first display area and the second display area and the process of arranging and displaying the virtual button in the first display area are not performed.
  • FIG. 9 is a diagram illustrating an example of a region on the curved surface 101B of the mobile terminal device according to the fourth modification. As shown in the drawing, in the mobile terminal device according to the fourth modification, the area of the curved surface 101B is divided into an area A and an area C at the longitudinal end and an area B at the longitudinal center.
  • the CPU 102 detects that the touch position touched by the detected touch operation is the region B in the central portion in the longitudinal direction of the curved surface 101B. It is determined that the operation finger reaches the entire area of the display unit 101, and the process of arranging the virtual button is not performed. By processing in this way, it is possible to easily determine the case where it is necessary to arrange a virtual button.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

携帯端末装置(10)は、タッチパネル式の表示部(101)と、表示部(101)に対する画面表示制御を行い、表示部(101)の画面に対するタッチ操作に応じて動作する制御部(102)とを備え、制御部(102)は、任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタン(B1)に対応する仮想ボタン(B1')を生成して該仮想ボタン(B1')を該画面画像の別の所定位置に配置して該仮想ボタン(B1')が配置された画面画像を表示部(101)の画面に表示させ、該仮想ボタン(B1')に対してタッチ操作があったとき、それに対応する既存ボタン(B1)に対してタッチ操作があったものとして動作する。

Description

携帯端末装置及び携帯端末装置の制御方法
 本発明は、携帯端末装置及び携帯端末装置の制御方法に関し、特に、携帯端末装置の片手での操作性向上の技術に関する。
 比較的大きな画面を有する携帯端末装置を片手で操作していると、画面の端にあるボタン等のオブジェクトに指が届かないことがある。そのような場合、もう片方の手を使ってそのボタンにタッチ操作しなければならず、片手で操作したいというユーザーの意思に反してユーザーに不便を強いることとなる。下記特許文献1には、片手で携帯端末装置を操作する場合において筐体に加えられる把持力を検出し、把持力に応じて、指が届かないオブジェクトを指の近くに寄せるように表示制御する技術が開示されている。
国際公開第2013/035229号
 上記特許文献1の技術では、片手で携帯端末装置を操作中に指が届かない位置にボタンが表示されていれば、まず、筐体を把持してそのボタンを指が届く位置に寄せ、それからボタンにタッチするという二段階のステップを踏まなければならず、操作が煩わしいという問題がある。
 本発明は、上記の問題を解決するためになされたものであり、携帯端末装置の片手での操作性を向上させることを目的とする。
 本発明の一局面に係る携帯端末装置は、タッチパネル式の表示部と、前記表示部に対する画面表示制御を行い、前記表示部の画面に対するタッチ操作に応じて動作する制御部とを備え、前記制御部は、任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタンに対応する仮想ボタンを生成して該仮想ボタンを該画面画像の別の所定位置に配置して該仮想ボタンが配置された画面画像を前記表示部の画面に表示させ、該仮想ボタンに対してタッチ操作があったとき、それに対応する既存ボタンに対してタッチ操作があったものとして動作する携帯端末装置である。
 また、本発明の別の一局面に係る携帯端末装置の制御方法は、タッチパネル式の表示部を備えた携帯端末装置の制御方法であって、任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタンに対応する仮想ボタンを生成するステップ、前記仮想ボタンを前記画面画像の別の所定位置に配置するステップ、前記仮想ボタンが配置された画面画像を前記表示部の画面に表示させるステップ、及び前記仮想ボタンに対してタッチ操作があったとき、それに対応する既存ボタンに対してタッチ操作があったものとして動作するステップを、具備するものである。
 本発明によれば、表示中の画面における既存ボタンに指が届かなければ、それに対応する仮想ボタンを生成して指が届く位置に表示させて仮想ボタンをタッチ操作することで既存ボタンをタッチ操作するのと同じ効果が得られる。これにより、携帯端末装置の片手での操作性を向上させることができる。
本発明の一実施形態に係る携帯端末装置の外観図である。 本発明の一実施形態に係る携帯端末装置の内部構成の概略を示すブロック図である。 (A)は仮想ボタンなしの表示画面例を示す図であり、(B)は仮想ボタンありの表示画面例を示す図である。 仮想ボタンの生成手順を示すフローチャートである。 仮想ボタンの表示制御を示すフローチャートである。 変形例2にかかる携帯端末装置の表示部に表示される受付画面の一例を示す図である。 変形例3にかかる携帯端末装置の外観図である。 (A)および(B)は、変形例3にかかる携帯端末装置をユーザーが片手で掴んで操作する様子を示す図である。 変形例4にかかる携帯端末装置の湾曲面における領域の一例を示す図である。
 以下、本発明の一実施形態に係る携帯端末装置及びその制御方法について図面を参照して説明する。
 図1は、本発明の一実施形態に係る携帯端末装置10の外観図である。携帯端末装置10は、縦長矩形の偏平な外観形状を有し、片手で操作することができる大きさの端末である。典型的には携帯端末装置10の大きさは高さ140mm前後、幅70mm前後、厚み7~8mm前後であるがこれに限定されない。すなわち、携帯端末装置10は、一般にスマートフォンと呼ばれる端末である。
 携帯端末装置10の前面のほぼ全体をカバーするようにタッチパネル式の表示部101が配置されている。典型的には表示部101の画面の大きさは5~6インチ前後であるがこれに限定されない。なお、9インチ程度以上の大型画面の表示部101を有する端末は一般にタブレット端末と呼ばれる。タブレット端末は片手で操作することが困難であり、一方の手で持って他方の手で操作するか、机上等に置いて使用する。
 なお、携帯端末装置10の外面には表示部101以外にカメラ、スピーカー、LED(Light Emitting Diode)、ハードボタン等が配置されているが、便宜上、図1ではそのような部材の図示を省略している。
 図2は、携帯端末装置10の内部構成の概略を示すブロック図である。携帯端末装置10は、表示部101と、CPU(Central Processing Unit)102と、メモリー103と、通信インターフェイス104と、センサー群105と、カメラ106とを備える。これら各構成要素はバス107により互いに接続されてデータ又は信号の送受信が可能とされている。
 表示部101は、液晶ディスプレイや有機ELディスプレイ等から構成されるディスプレイと、表示画面部分の前面に配置されるタッチパネルとを有している。すなわち、表示部101は、様々な画像を表示するとともにユーザーからのタッチ操作による入力を受け付けるGUI(Graphical User Interface)を提供する。当該タッチパネルは、タッチ操作を検知してそのタッチ位置の座標を特定することができる。これにより、表示部101は、その表示画面の任意の位置に様々な操作ボタン(ボタンオブジェクト、ソフトボタン)を表示して当該操作ボタンがタッチ操作されたか否かを検知することができる。
 CPU102は、携帯端末装置10の全体的な動作制御を司る。具体的には、CPU102は携帯端末装置10にインストールされたアプリケーションプログラム(アプリ)を実行して、表示部101に対する画面表示制御を行い、また、表示部101の画面に対するタッチ操作に応じて動作する。例えば、CPU102が複合機のリモート操作用アプリを実行することで、携帯端末装置10の表示部101の画面に表示されたGUIを通じて複合機のコピー、プリント、スキャン、ファクシミリの各機能をリモート操作することができる。
 メモリー103は、ROM(Read Only Memory)やRAM(Random Access Memory)等から構成される。メモリー103は、CPU102で実行される各種プログラムを記憶している。また、メモリー103は、カメラ106で撮像された画像データやアプリ実行時にCPU102によって使用される一時的なデータ等を記憶する。
 通信インターフェイス104は、無線基地局や外部装置との無線通信を行う無線通信インターフェイスである。無線通信方式としてWi-Fi(登録商標)やBluetooth(登録商標)等を使用することができる。また、通信インターフェイス104は3G通信やLTE(Long Term Evolution)等によるキャリア通信が可能である。
 センサー群105は、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、輝度センサー等の各種センサーを含む。
 カメラ106は、光学系と、CCDイメージセンサーやCMOSイメージセンサー等のイメージセンサーとを有する撮像デバイスである。カメラ106は、光学系で被写体の光学像をイメージセンサーに結像してイメージセンサーで光電変換する。光電変換された信号はCPU102により処理されて静止画像データや動画像データが生成される。
 なお、携帯端末装置10には上記の構成要素以外にスピーカー、マイクロフォン、LED、ハードボタン、バイブレーター等が搭載されているが、便宜上、図2ではそのような構成要素の図示を省略している。
 上述したように、携帯端末装置10では起動されたアプリによって表示部101の画面に様々な画面画像が表示される。携帯端末装置10を片手で操作する場合、親指以外で携帯端末装置10を支持してフリーになった親指(操作指)を動かして画面画像を操作することとなる。このとき、概ね5インチ以上の大型画面の表示部101を備えた携帯端末装置10では親指が表示部101の画面の端まで届かないことがある。そのような親指が届かない位置に配置されたボタンはもう片方の手を使って操作するか、画面をスクロール又は回転させて親指が届く位置に移動させる必要がある。この問題に対して、本実施形態に係る携帯端末装置10では下述の仮想ボタンを導入することで、表示部101の画面サイズが比較的大きくても片手での操作を可能にしている。
 図3(A)は、仮想ボタンなしの表示画面例を示す図である。図3(B)は、仮想ボタンありの表示画面例を示す図である。
 携帯端末装置10でアプリを起動すると表示部101の画面にそのアプリの画面画像が表示される。アプリの画面画像は、上述した複合機のリモート操作用アプリの場合には複合機をリモート操作するためのGUI画像であり、ウェブブラウザーの場合には指定されたURL(Uniform Resource Locator)に対応するウェブページ画像である。
 一般にアプリはホーム画面や設定画面等の様々なGUI画像(画面画像)から構成されており、ユーザー操作に応じて表示部101の画面に表示される画面画像が切り替わる。一方、ウェブブラウザーの場合には表示部101の画面にウェブページ画像が表示される。ウェブページ画像が表示部101の表示領域に対して長大な場合、表示部101の画面上でウェブページ画像をスクロールさせることが可能である。図3(A)及び図3(B)は、そのようなGUI画像又はウェブページ画像の一部分の表示画面例を示す。
 一般にアプリの画面画像は所定位置に各種ボタンが配置されてデザインされている。従って、携帯端末装置10でアプリを起動すると、図3(A)及び図3(B)に示したように、表示部101の表示領域の所定位置にボタンB1が表示される。
 ここで携帯端末装置10を左手だけで操作することを想定する。この場合、操作指20(左手の親指)を動かして表示部101の画面に表示されたアプリの画面画像を操作することとなる。表示部101の画面が概ね5インチ以上になると、表示部101の画面右上に操作指20が届かないことがある。すなわち、表示部101の表示領域は、操作指20が届く限界線21を境に、操作指20が届く第1表示領域A1と、操作指20が届かない第2表示領域A2とに分けられる。ここでボタンB1は第1表示領域A2内に配置されているため、図3(A)の場合には操作指20でボタンB1をタッチ操作することができない。
 一方、図3(B)では、第1表示領域A1に仮想ボタンB1'が表示されている。仮想ボタンB1'は、アプリの画面画像の所定位置に元々配置されているボタンB1(既存ボタン)に対応するボタンである。すなわち、CPU102は、仮想ボタンB1'に対してタッチ操作があったとき、それに対応する既存ボタンB1に対してタッチ操作があったものとして動作することができる。
 ユーザーは任意のタイミングで仮想ボタンを生成することができる。図4は、仮想ボタンの生成手順を示すフローチャートである。
 携帯端末装置10を片手で操作中に表示部101の画面に表示されたアプリの画面画像において操作指20が届かないボタンがあったとき、ユーザーは仮想ボタン生成アプリを起動することができる(S11)。例えば、表示部101の画面に対して操作指20で所定のジェスチャーをしたり、携帯端末装置10を振ったり傾けたり、携帯端末装置10に対して所定の言葉を発したりすることで、CPU102は仮想ボタン生成アプリの起動が要求されたと判断してメモリー103から仮想ボタン生成アプリのプログラムを読み出して実行する。
 仮想ボタン生成アプリが起動されると、CPU102は、現在表示中のアプリの画面画像に重ねて表示部101の画面に仮想ボタンを表示させる(S12)。このとき、仮想ボタンの配置位置はまだ確定しておらず、ユーザーは仮想ボタンをドラッグしてその位置を自由に変更することができる。そして、ユーザーが仮想ボタンの位置確定の指示を出すと、CPU102は、現在表示中のアプリの画面画像における仮想ボタンの位置をメモリー103に記憶する(S13)。
 仮想ボタンの表示位置が確定されると、CPU102は、現在表示中のアプリの画面画像における既存ボタンのうち仮想ボタンに対応付けるボタンの選択を要求する(S14)。ユーザーが任意の既存ボタンにタッチ操作すると、CPU102は、仮想ボタンと当該タッチ操作された既存ボタンとを対応付けて、その対応関係や仮想ボタンの配置位置等をメモリー103に記憶する(S15)。
 仮想ボタンは、アプリやURLに関連付けて特定の画面画像にだけ生成することができる。例えば、あるアプリのホーム画面には仮想ボタンを生成せずに設定画面にのみ仮想ボタンを生成し、別のアプリではホーム画面及び設定画面のいずれにも仮想ボタンを生成するということができる。
 また、仮想ボタンは、アプリやURLに関連付けて画面画像毎に違った位置に配置することができる。例えば、あるアプリのホーム画面及び設定画面に共通する既存ボタンに対応する仮想ボタンをホーム画面と設定画面とでそれぞれ違った位置に配置することができる。
 仮想ボタンの生成を自動で行うことも可能である。例えば、携帯端末装置10を片手で操作中にユーザーが表示部101の画面上で限界線21を描くジェスチャーをすると、CPU102は、表示部101の画面に対するタッチ位置の軌跡から限界線21を特定し、表示部101の表示領域において操作指が届く第1表示領域A1及び操作指20が届かない第2表示領域A2を判定する(図3(A))。そして、CPU102は、第2表示領域A2における既存ボタンB1を特定し、それに対応する仮想ボタンB1'を生成して第1表示領域A1の適当な位置に表示させる。例えば、CPU102は、適当な位置として、タッチ位置の軌跡の重心の位置を用いることができる。つまり、CPU102は、表示部101の画面に対するタッチ位置の軌跡から当該軌跡の重心の位置を求め、求めた重心の位置に、既存ボタンB1に対応する仮想ボタンB1'を生成して表示させてもよい。これにより、仮想ボタンを自動的に生成することができる。また、CPU102は、適当な位置として、複数の位置を選択することができる。すなわち、CPU102は、既存ボタンB1に対応する複数の仮想ボタンB1'を生成して、これら複数の仮想ボタンB1'を互いに異なる位置に表示させてもよい。これにより、携帯端末装置10の片手での操作性を確実に向上させることができる。第2表示領域A2に複数の既存ボタンが存在する場合には、よく使われる既存ボタンに対応する仮想ボタンを自動生成するようにしてもよい。また、この説明以外に、CPU102は、例えば、第2表示領域A2に複数の既存ボタンが存在する場合には、これら複数の既存ボタンに各々対応する複数の仮想ボタンを自動生成してもよい。これにより、携帯端末装置10の片手での操作性を確実に向上させることができる。
 仮想ボタンのスキンは単色、グラデーション、パターン等様々であるが、既存ボタンと同じスキンに設定することもできる。具体的には、ステップS15において、CPU102は、現在表示中のアプリの画面画像において選択枠で囲まれた領域の画像を取得し、当該画像を仮想ボタンのスキンに設定することができる。これにより、図3(B)に示したように、仮想ボタンB1'を既存ボタンB1と同じスキンにして、ユーザーに仮想ボタンB1'と既存ボタンB1との対応関係を直感的にわかりやすくすることができる。
 任意のアプリの画面画像において仮想ボタンを一度生成すると、次からそのアプリの画面画像が表示される際に仮想ボタンも表示される。以下、仮想ボタンの表示制御について説明する。図5は、仮想ボタンの表示制御を示すフローチャートである。
 ユーザーは携帯端末装置10にインストールされた任意のアプリを起動する(S101)。CPU102は、起動が指示されたアプリのプログラムをメモリー103から読み出して実行する。このとき、CPU102は、仮想ボタンを表示するための仮想ボタン表示アプリのプログラムもメモリー103から読み出して実行する。
 CPU102は、表示部101の画面に現在表示中の画像がどのアプリのどの画面画像であるかを特定する(S102)。そして、CPU102は、メモリー103を参照して、当該特定した画面画像に生成・配置された仮想ボタンに関する情報、すなわち、仮想ボタンの配置位置、スキン、仮想ボタンと既存ボタンとの対応関係といった情報を取得する(S103)。
 仮想ボタンに関する情報が取得できなければ(S104でNO)、現在表示中の画面画像に仮想ボタンは配置されていないため、仮想ボタンの表示処理は終了する。
 一方、仮想ボタンに関する情報が取得できたならば(S104でYES)、CPU102は、センサー群105の信号から携帯端末装置10の傾きを取得する。そして、携帯端末装置10が所定量以上傾いたと判断した場合(S105でYES)、CPU102は、表示部101の画面の所定位置に仮想ボタンを表示させる(S106)。一方、携帯端末装置10が所定量以上傾いていない場合(S105でNO)、CPU102は、表示部101の画面に仮想ボタンを表示させない。
 このように、携帯端末装置10の傾きに応じて仮想ボタンの表示の有無を切り替えるのは、携帯端末装置10の表示部101の表示領域が限られていることにより仮想ボタンが既存ボタンに重ねて表示されることがあることを考慮したからである。特に、ウェブページ画像ではページの内容が更新されると、仮想ボタンと既存ボタンとが重なってしまうことがある。そこで、携帯端末装置10を傾けて仮想ボタンの表示の有無を切り替えるようにすることで、ユーザーが不要と思う場合には仮想ボタンを表示させないようにすることができ、ユーザーの利便性を向上させることができる。
 なお、ステップS105を省略して、仮想ボタンに関する情報が取得できたならば、表示部101の画面の所定位置に仮想ボタンを必ず表示させるようにしてもよい。
 CPU102は、仮想ボタンをアプリの画面画像の所定位置に貼り付けて表示させることができる。この場合、表示部101の画面に表示されたアプリの画面画像をスクロールさせると、CPU102は、画面画像のスクロールに追従して仮想ボタンの表示位置を移動させる。
 あるいは、CPU102は、仮想ボタンを表示部101の表示領域の所定位置に常駐表示させることができる。この場合、表示部101の表示画面をスクロールさせても仮想ボタンは同じ位置に留まって表示され続ける。
 仮想ボタンを常駐表示させているときに表示部101の画面に表示中の画面画像をスクロールさせたり切り替えたりすることで画面表示が変更されると、常駐表示させている仮想ボタンが既存ボタンの上に重なるおそれがある。そのような場合、CPU102は、既存ボタンを避けるように仮想ボタンの常駐表示位置を変更することができる。
 元々、仮想ボタンが既存ボタンの上に重なるように配置されていたり、仮想ボタンの常駐表示位置を固定したりする場合、仮想ボタンが既存ボタンの上に重なって表示されてしまう。そのような場合(S107でYES)、CPU102は、仮想ボタンが既存ボタンの上に重なっている旨をユーザーに通知する(S108)。通知方法は、表示部101の画面にポップアップ表示をしたり、アラーム音を発したり、バイブレーターで携帯端末装置10を震動させたりする等様々である。
 なお、ユーザー通知が不要であれば、ステップS107及びS108は省略してもよい。
 CPU102は、表示部101の画面に表示させている仮想ボタンに対してタッチ操作があったとき(S109でYES)、その仮想ボタンに対応する既存ボタンに対してタッチ操作があったものとして当該既存ボタンに割り当てられた動作を実行する(S110)。
 一方、CPU102は、既存ボタンに対してタッチ操作があったとき(S109でNO、S111でYES)、それに対応する仮想ボタンの表示を消し(S112)、タッチ操作された既存ボタンに割り当てられた動作を実行する(S110)。このように仮想ボタンではなく既存ボタンがタッチ操作されたということは、仮想ボタンが不要であると判断できるため仮想ボタンの表示を消してもよいと考えられる。もちろん、ステップS112を省略して、既存ボタンがタッチ操作された場合であっても仮想ボタンを表示させ続けてもよい。
 以上のように本実施形態によれば、表示中の画面における既存ボタンに指が届かなければ、それに対応する仮想ボタンを生成して指が届く位置に表示させて仮想ボタンをタッチ操作することで既存ボタンをタッチ操作するのと同じ効果が得られる。これにより、携帯端末装置10の片手での操作性を向上させることができる。
 なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。
 <変形例1>
 例えば、仮想ボタンを表示部101の画面に表示するのに代えて、携帯端末装置10を片手で操作中に操作することができるハードボタンに既存ボタンを対応付けて、当該ハードボタンが押されたときに既存ボタンがタッチ操作されたとして処理するようにしてもよい。
 <変形例2>
 上記の実施形態では、CPU102が、表示部101の画面に対するタッチ位置の軌跡から表示部101の表示領域において操作指が届く第1表示領域及び操作指が届かない第2表示領域を判定する場合を説明した。変形例2では、単に表示部101の画面に対するタッチ位置の軌跡が検出された場合にCPU102が上記の判定処理を行うのではなく、その軌跡が予め定められたパターンに該当するか否かをCPU102が判定し、予め定められたパターンに該当する場合に、CPU102が上記の判定処理を行う。
 メモリー103などの記憶部には、予め、複数パターンの軌跡を示す軌跡データが記憶されている。CPU102は、検出されたタッチ位置の軌跡とメモリー103等に記憶されている軌跡のパターンとの間でパターンマッチングを行い、その一致率が予め定められた値以上である場合に、タッチ位置の軌跡が予め定められたパターンに該当すると判定する。
 上記の処理により、ユーザーが表示部101上に予め定められたパターンの軌跡を描くという動作をトリガーとして、CPU102に上記の判定処理を行わせて、仮装ボタンを第1表示領域に配置して表示させることができる。
 また、CPU102は、ユーザーからの操作に応じて、上記の予め定められたパターンの変更、追加、または削除を受け付けるための受付画面(図6参照)を表示部101に表示させてもよい。図6に示す例では、CPU102は、上記の受付画面においてユーザーが入力したタッチ位置の軌跡に基づいて軌跡のパターンを生成し、当該生成した軌跡のパターンをメモリー103などの記憶部に記憶させる。また、CPU102は、上記の受付画面に示された複数のパターンからユーザーにより選択されたパターンを、上記の予め定められた軌跡のパターンとしてメモリー103などの記憶部に記憶させてもよい。
 <変形例3>
 図7は、変形例3にかかる携帯端末装置の外観図である。変形例3にかかる携帯端末装置では、表示部101が曲面ディスプレイとなっている。この曲面ディスプレイは、フラット面101Aおよび当該フラット面101Aから延設された湾曲面101Bを含む一体の曲面ディスプレイであり、フラット面101Aが本携帯端末装置の主面側に配置され、湾曲面101Bが本携帯端末装置の側面側に配置されている。また、上記の曲面ディスプレイの上面には、タッチパネルが配置されており、フラット面101Aに対するタッチ操作に加えて、湾曲面101Bに対するタッチ操作を検出可能となっている。
 CPU102は、表示部101のフラット面101Aに、ブラウザや文章作成ソフトなどのアプリケーションを実行した際の作業画面を表示し、表示部101の湾曲面101Bに、フラット面101Aに表示された作業画面に関連する情報(例えば、フラット面101Aにブラウザの作業画面が表示されている場合には、ブックマークの一覧など)を表示する。これにより、ユーザーは、フラット面101Aに表示された作業画面を閲覧しながらも、湾曲面101Bを見ることで、その作業画面に関連する情報を確認することができる。
 ここで、変形例3にかかる携帯端末装置では、CPU102が、湾曲面101Bに対するタッチ操作が検出されている場合に、湾曲面101Bに対するタッチ位置から、表示部101の表示領域において操作指が届く第1表示領域及び操作指が届かない第2表示領域を判定する。
 図8(A)および図8(B)は、変形例3にかかる携帯端末装置を、ユーザーが片手で掴んで操作している様子を示す図である。図8(A)に示す例では、ユーザーが携帯端末装置の中心付近を掴んで操作している。一方、図8(B)に示す例では、ユーザーが携帯端末装置の下側を掴んで操作している。
 ここで、ユーザーの操作指が届く範囲は、ユーザーが携帯端末装置を掴む位置によって変わる。具体的には、図8(A)に示すように、ユーザーが携帯端末装置の中心付近を掴む場合には、ユーザーの操作指が表示部101の全域に届くが、図8(B)に示すように、ユーザーが携帯端末装置の下側を掴む場合には、ユーザーの操作指が表示部101の上部には届かない。変形例3にかかる携帯端末装置では、このユーザーが携帯端末装置を掴む位置を、湾曲面101Bに対するタッチ位置から特定する。
 図8(B)に示す例では、ユーザーの操作指が、湾曲面101Bの長手方向の下側端部と接触する。この場合、CPU102は、当該接触位置から予め定められた長さだけ離れた範囲を操作指が届く第1表示領域として特定し、当該接触位置から予め定められた長さより離れた範囲を操作指が届かない第2表示領域として特定する。
 なお、CPU102は、予め携帯端末装置を操作するユーザーの性別や、年齢(大人であるか子供であるか)を特定し、当該性別や年齢から想定される指の長さに応じて、上記の予め定められた長さを変えて第1表示領域および第2表示領域を特定してもよい。
 <変形例4>
 変形例4にかかる携帯端末装置では、湾曲面101Bに対するタッチ操作が検出されている場合に、当該検出されたタッチ操作により湾曲面101Bの長手方向端部がタッチされているときに、第1表示領域及び第2表示領域を判定する処理と、仮想ボタンを第1表示領域に配置して表示させる処理とを行う。一方、湾曲面101Bに対するタッチ操作が検出されている場合であっても、当該検出されたタッチ操作によりタッチされるタッチ位置が湾曲面101Bの長手方向中央部であり、湾曲面101Bの長手方向端部がタッチされていないときには、第1表示領域及び第2表示領域を判定する処理と、仮想ボタンを第1表示領域に配置して表示させる処理とを行わない。
 図9は、変形例4にかかる携帯端末装置の湾曲面101Bにおける領域の一例を示す図である。本図に示すように、変形例4にかかる携帯端末装置では、湾曲面101Bの領域を、長手方向端部の領域Aおよび領域Cと長手方向中央部の領域Bとに分割しておく。
 CPU102は、湾曲面101Bに対するタッチ操作が検出されている場合であっても、当該検出されたタッチ操作によりタッチされるタッチ位置が湾曲面101Bの長手方向中央部の領域Bである場合には、表示部101の全ての領域に操作指が届くと判定して、上記の仮想ボタンを配置する処理を行わない。このように処理することで、仮想ボタンを配置する必要がある場合を簡易に判定することができる。
 なお、図1乃至図9を用いて上記実施形態および各変形例により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。また、上記の実施形態で示した構成および上記の各変形例で示した構成を組み合わせてもよい。

Claims (17)

  1.  タッチパネル式の表示部と、
     前記表示部に対する画面表示制御を行い、前記表示部の画面に対するタッチ操作に応じて動作する制御部とを備え、
     前記制御部は、任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタンに対応する仮想ボタンを生成して該仮想ボタンを該画面画像の別の所定位置に配置して該仮想ボタンが配置された画面画像を前記表示部の画面に表示させ、該仮想ボタンに対してタッチ操作があったとき、それに対応する既存ボタンに対してタッチ操作があったものとして動作する携帯端末装置。
  2.  前記制御部は、前記表示部の画面に表示された画面画像のスクロールに追従して仮想ボタンの表示を移動させる請求項1に記載の携帯端末装置。
  3.  前記制御部は、前記表示部の表示領域の所定位置に仮想ボタンを常駐表示させる請求項1に記載の携帯端末装置。
  4.  前記制御部は、前記表示部の画面表示の変更により、常駐表示させている仮想ボタンが既存ボタンの上に重なるおそれがあるとき、該既存ボタンを避けるように該仮想ボタンの常駐表示位置を変更する請求項3に記載の携帯端末装置。
  5.  前記携帯端末装置の傾きを検出するセンサーを備え、
     前記制御部は、前記センサーにより検出された前記携帯端末装置の傾きに応じて仮想ボタンの表示の有無を切り替える請求項1に記載の携帯端末装置。
  6.  前記制御部は、仮想ボタンを既存ボタンの上に重ねて表示させる場合、仮想ボタンが既存ボタンの上に重なっている旨をユーザーに通知する請求項1に記載の携帯端末装置。
  7.  前記制御部は、前記表示部の画面に対するタッチ位置の軌跡から前記表示部の表示領域において操作指が届く第1表示領域及び操作指が届かない第2表示領域を判定し、前記第2表示領域における既存ボタンに対応する仮想ボタンを生成して該仮想ボタンを前記第1表示領域に配置して表示させる請求項1に記載の携帯端末装置。
  8.  前記制御部は、前記表示部の画面に対するタッチ位置の軌跡から当該軌跡の重心の位置を求め、求めた前記重心の位置に、前記既存ボタンに対応する前記仮想ボタンを生成して表示させる請求項7に記載の携帯端末装置。
  9.  前記制御部は、前記表示部の画面に対するタッチ位置の軌跡が検出された場合に、当該タッチ位置の軌跡が予め定められたパターンに該当するか否かを判定し、当該タッチ位置の軌跡が予め定められたパターンに該当するときに、前記第1表示領域及び第2表示領域を判定する処理と、前記仮想ボタンを前記第1表示領域に配置して表示させる処理とを行う、請求項7に記載の携帯端末装置。
  10.  前記制御部は、ユーザーからの操作に応じて、前記予め定められたパターンの変更、追加、または削除を受け付ける、請求項9に記載の携帯端末装置。
  11.  前記表示部は、フラット面および当該フラット面から延設された湾曲面を含む一体の曲面ディスプレイであり、前記フラット面が本携帯端末装置の主面側に配置され、前記湾曲面が本携帯端末装置の側面側に配置され、
     前記制御部は、前記湾曲面に対するタッチ操作が検出されている場合、当該湾曲面に対するタッチ位置から、前記表示部の表示領域において操作指が届く第1表示領域及び操作指が届かない第2表示領域を判定し、前記第2表示領域における既存ボタンに対応する仮想ボタンを生成して該仮想ボタンを前記第1表示領域に配置して表示させる、請求項1に記載の携帯端末装置。
  12.  前記制御部は、前記湾曲面に対するタッチ操作が検出されている場合、当該検出されたタッチ操作により前記湾曲面の長手方向端部がタッチされているときに、前記第1表示領域及び第2表示領域を判定する処理と、前記仮想ボタンを前記第1表示領域に配置して表示させる処理とを行う、請求項11に記載の携帯端末装置。
  13.  前記制御部は、前記フラット面にアプリケーションを実行した際の作業画面を表示させるとともに、前記フラット面に表示させた作業画面に関連する関連情報を前記湾曲面に表示させる請求項11に記載の携帯端末装置。
  14.  前記制御部は、既存ボタンに対してタッチ操作があったとき、それに対応する仮想ボタンの表示を消す請求項1に記載の携帯端末装置。
  15.  前記制御部は、複数の前記既存ボタンが存在する場合には、前記複数の既存ボタンに各々対応する複数の前記仮想ボタンを生成する請求項1に記載の携帯端末装置。
  16.  前記制御部は、前記既存ボタンに対応する複数の前記仮想ボタンを生成して互いに異なる位置に表示させる請求項1に記載の携帯端末装置。
  17.  タッチパネル式の表示部を備えた携帯端末装置の制御方法であって、
     任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタンに対応する仮想ボタンを生成するステップ、
     前記仮想ボタンを前記画面画像の別の所定位置に配置するステップ、
     前記仮想ボタンが配置された画面画像を前記表示部の画面に表示させるステップ、及び
     前記仮想ボタンに対してタッチ操作があったとき、それに対応する既存ボタンに対してタッチ操作があったものとして動作するステップを、具備する携帯端末装置の制御方法。
PCT/JP2017/013981 2016-06-23 2017-04-03 携帯端末装置及び携帯端末装置の制御方法 WO2017221510A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17800688.8A EP3477454A4 (en) 2016-06-23 2017-04-03 PORTABLE TERMINAL DEVICE AND CONTROL METHOD FOR PORTABLE TERMINAL DEVICE
CN201780001347.XA CN107850980A (zh) 2016-06-23 2017-04-03 便携式终端装置以及便携式终端装置的控制方法
JP2017553204A JP6380689B2 (ja) 2016-06-23 2017-04-03 携帯端末装置及び携帯端末装置の制御方法
US15/568,247 US20180210616A1 (en) 2016-06-23 2017-04-03 Mobile terminal device and method for controlling mobile terminal device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016124643 2016-06-23
JP2016-124643 2016-06-23

Publications (1)

Publication Number Publication Date
WO2017221510A1 true WO2017221510A1 (ja) 2017-12-28

Family

ID=60784414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013981 WO2017221510A1 (ja) 2016-06-23 2017-04-03 携帯端末装置及び携帯端末装置の制御方法

Country Status (5)

Country Link
US (1) US20180210616A1 (ja)
EP (1) EP3477454A4 (ja)
JP (1) JP6380689B2 (ja)
CN (1) CN107850980A (ja)
WO (1) WO2017221510A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160091A (ja) * 2018-03-15 2019-09-19 京セラドキュメントソリューションズ株式会社 携帯端末装置および携帯端末装置の表示制御方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6984190B2 (ja) * 2017-06-16 2021-12-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
WO2019056393A1 (zh) * 2017-09-25 2019-03-28 华为技术有限公司 一种终端界面的显示方法及终端
WO2019195428A1 (en) 2018-04-04 2019-10-10 Qorvo Us, Inc. Gallium-nitride-based module with enhanced electrical performance and process for making the same
CN110069180A (zh) * 2019-03-28 2019-07-30 维沃软件技术有限公司 一种功能控制方法及终端设备
JP7223624B2 (ja) * 2019-04-12 2023-02-16 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法
WO2021171376A1 (ja) * 2020-02-25 2021-09-02 三菱電機株式会社 表示制御装置および表示端末

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160564A (ja) * 2009-01-06 2010-07-22 Toshiba Corp 携帯端末
JP2013047919A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 装置、方法、及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US20070132789A1 (en) * 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
US8316307B2 (en) * 2006-10-13 2012-11-20 At&T Intellectual Property I, Lp Method and apparatus for abstracting internet content
JP4364273B2 (ja) * 2007-12-28 2009-11-11 パナソニック株式会社 携帯端末装置及び表示制御方法並びに表示制御プログラム
US8621379B2 (en) * 2010-03-12 2013-12-31 Apple Inc. Device, method, and graphical user interface for creating and using duplicate virtual keys
JP5670137B2 (ja) * 2010-09-28 2015-02-18 京セラ株式会社 携帯型電子機器及び携帯型電子機器の表示制御方法
US8924382B2 (en) * 2011-10-03 2014-12-30 Oracle International Corporation Techniques for distributing information over a network
US10216286B2 (en) * 2012-03-06 2019-02-26 Todd E. Chornenky On-screen diagonal keyboard
KR101515623B1 (ko) * 2012-05-14 2015-04-28 삼성전자주식회사 벤디드 디스플레이를 갖는 휴대단말의 기능 운용 방법 및 장치
CN102830917A (zh) * 2012-08-02 2012-12-19 上海华勤通讯技术有限公司 移动终端及其触控建立方法
US20170083109A1 (en) * 2013-05-20 2017-03-23 Yonggui Li Keyboard and mouse of handheld digital device
US20140152593A1 (en) * 2012-12-03 2014-06-05 Industrial Technology Research Institute Method And System For Operating Portable Devices
KR20140071118A (ko) * 2012-12-03 2014-06-11 삼성전자주식회사 가상 버튼을 디스플레이하기 위한 방법 및 그 전자 장치
KR101977086B1 (ko) * 2012-12-12 2019-05-10 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN104216657A (zh) * 2014-09-05 2014-12-17 深圳市中兴移动通信有限公司 移动终端及其操作方法
US10282069B2 (en) * 2014-09-30 2019-05-07 Microsoft Technology Licensing, Llc Dynamic presentation of suggested content
CN204790953U (zh) * 2015-06-19 2015-11-18 深圳长城开发科技股份有限公司 触摸感应装置
CN105183235B (zh) * 2015-10-19 2018-02-06 上海斐讯数据通信技术有限公司 一种触控屏边缘防误触的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160564A (ja) * 2009-01-06 2010-07-22 Toshiba Corp 携帯端末
JP2013047919A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3477454A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160091A (ja) * 2018-03-15 2019-09-19 京セラドキュメントソリューションズ株式会社 携帯端末装置および携帯端末装置の表示制御方法
JP7035662B2 (ja) 2018-03-15 2022-03-15 京セラドキュメントソリューションズ株式会社 携帯端末装置および携帯端末装置の表示制御方法

Also Published As

Publication number Publication date
CN107850980A (zh) 2018-03-27
EP3477454A4 (en) 2020-01-15
EP3477454A1 (en) 2019-05-01
JP6380689B2 (ja) 2018-08-29
JPWO2017221510A1 (ja) 2018-06-21
US20180210616A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
WO2017221510A1 (ja) 携帯端末装置及び携帯端末装置の制御方法
US20150324082A1 (en) Image display control apparatus, image display apparatus, non-transitory computer readable medium, and image display control method
US9632642B2 (en) Terminal apparatus and associated methodology for automated scroll based on moving speed
WO2013150998A1 (ja) 携帯型電子機器
US8542185B2 (en) Method and apparatus for operating mobile terminal
EP2068235A2 (en) Input device, display device, input method, display method, and program
CN108984067B (zh) 一种显示控制方法及终端
JP5413688B2 (ja) 画像区画プログラム、及び、表示装置
CN104932809B (zh) 用于控制显示面板的装置和方法
US20160034131A1 (en) Methods and systems of a graphical user interface shift
WO2020134744A1 (zh) 图标移动方法及移动终端
KR20180134668A (ko) 이동 단말기 및 그 제어방법
EP2400380A2 (en) Display apparatus and control method thereof
JP6973025B2 (ja) 表示装置、画像処理装置及びプログラム
US11354031B2 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method for controlling a scroll speed of a display screen
JP2014016743A (ja) 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム
JP6149684B2 (ja) 携帯端末、画像処理装置、及びプログラム
JP6153487B2 (ja) 端末及び制御方法
JP6677213B2 (ja) 情報処理装置、画像形成装置、および情報処理プログラム
KR20140140759A (ko) 터치스크린을 구비하는 디바이스에서 화면 표시 방법 및 장치
US20150149547A1 (en) Information processing system and information processing device
JP2014071669A (ja) 情報表示装置、制御方法及びプログラム
JP5907096B2 (ja) 情報端末装置、画像表示方法および画像表示プログラム
JP6616379B2 (ja) 電子機器
US20200033959A1 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017553204

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15568247

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17800688

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE