WO2017221510A1 - 携帯端末装置及び携帯端末装置の制御方法 - Google Patents

携帯端末装置及び携帯端末装置の制御方法 Download PDF

Info

Publication number
WO2017221510A1
WO2017221510A1 PCT/JP2017/013981 JP2017013981W WO2017221510A1 WO 2017221510 A1 WO2017221510 A1 WO 2017221510A1 JP 2017013981 W JP2017013981 W JP 2017013981W WO 2017221510 A1 WO2017221510 A1 WO 2017221510A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
terminal device
button
virtual button
screen
Prior art date
Application number
PCT/JP2017/013981
Other languages
English (en)
French (fr)
Inventor
陽 島田
Original Assignee
京セラドキュメントソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラドキュメントソリューションズ株式会社 filed Critical 京セラドキュメントソリューションズ株式会社
Priority to EP17800688.8A priority Critical patent/EP3477454A4/en
Priority to CN201780001347.XA priority patent/CN107850980A/zh
Priority to JP2017553204A priority patent/JP6380689B2/ja
Priority to US15/568,247 priority patent/US20180210616A1/en
Publication of WO2017221510A1 publication Critical patent/WO2017221510A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0279—Improving the user comfort or ergonomics
    • H04M1/0281—Improving the user comfort or ergonomics for providing single handed use or left/right hand conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268—Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Definitions

  • the present invention relates to a mobile terminal device and a control method of the mobile terminal device, and more particularly to a technique for improving the operability with one hand of the mobile terminal device.
  • the present invention has been made to solve the above problems, and it is an object of the present invention to improve the operability with one hand of a portable terminal device.
  • a portable terminal device includes a touch panel display unit, and a control unit that performs screen display control on the display unit and operates according to a touch operation on a screen of the display unit, the control The unit generates a virtual button corresponding to the existing button originally arranged at a predetermined position of the screen image of any application, arranges the virtual button at another predetermined position of the screen image, and arranges the virtual button.
  • the mobile terminal device displays the screen image displayed on the screen of the display unit, and operates as if the touch operation was performed on the existing button corresponding to the touch operation on the virtual button.
  • a control method of a portable terminal device is a control method of a portable terminal device including a touch panel type display unit, which is originally disposed at a predetermined position of a screen image of an arbitrary application. Generating a virtual button corresponding to the existing button, arranging the virtual button at another predetermined position of the screen image, and displaying a screen image on which the virtual button is arranged on the screen of the display unit , And when there is a touch operation on the virtual button, there is a step of operating as if the touch operation on the corresponding existing button was performed.
  • the virtual button corresponding to it is generated and displayed at the position where the finger reaches and touch the existing button by touching the virtual button. The same effect is obtained.
  • the operability with one hand of the portable terminal device can be improved.
  • FIG. 16 is an external view of a mobile terminal device according to a third modification.
  • (A) And (B) is a figure which shows a user's grasping and operating a portable terminal device concerning modification 3 with one hand. It is a figure which shows an example of the area
  • FIG. 1 is a figure which shows a user's grasping and operating a portable terminal device concerning modification 3.
  • FIG. 1 is an external view of a portable terminal device 10 according to an embodiment of the present invention.
  • the portable terminal device 10 is a terminal having a flat rectangular external shape with a vertically-long rectangular shape that can be operated with one hand.
  • the size of the portable terminal device 10 is about 140 mm in height, about 70 mm in width, and about 7 to 8 mm in thickness, but is not limited thereto. That is, the portable terminal device 10 is a terminal generally called a smart phone.
  • a touch panel display unit 101 is disposed to cover substantially the entire front surface of the mobile terminal device 10. Although the size of the screen of the display unit 101 is typically around 5 to 6 inches, it is not limited thereto.
  • a terminal having a display unit 101 with a large screen of about 9 inches or more is generally called a tablet terminal. The tablet terminal is difficult to operate with one hand, and is held by one hand and operated by the other hand, or placed on a desk or the like for use.
  • a camera In addition to the display unit 101, a camera, a speaker, an LED (Light Emitting Diode), a hard button, and the like are disposed on the outer surface of the mobile terminal device 10, but such members are not illustrated in FIG. ing.
  • LED Light Emitting Diode
  • FIG. 2 is a block diagram showing an outline of an internal configuration of the mobile terminal device 10.
  • the mobile terminal device 10 includes a display unit 101, a CPU (Central Processing Unit) 102, a memory 103, a communication interface 104, a sensor group 105, and a camera 106. These components are connected to one another by a bus 107 to enable transmission and reception of data or signals.
  • a bus 107 to enable transmission and reception of data or signals.
  • the display unit 101 includes a display configured of a liquid crystal display, an organic EL display, and the like, and a touch panel disposed in front of the display screen portion. That is, the display unit 101 provides a graphical user interface (GUI) that displays various images and receives input by a touch operation from the user.
  • GUI graphical user interface
  • the touch panel can detect a touch operation and specify coordinates of the touch position.
  • the display unit 101 can display various operation buttons (button objects, soft buttons) at arbitrary positions on the display screen, and detect whether or not the operation buttons are touched.
  • the CPU 102 manages overall operation control of the mobile terminal device 10. Specifically, the CPU 102 executes an application program (application) installed in the mobile terminal device 10 to perform screen display control on the display unit 101, and operates according to a touch operation on the screen of the display unit 101. . For example, when the CPU 102 executes the application for remote operation of the multifunction device, the copy, print, scan, and facsimile functions of the multifunction device are remotely controlled through the GUI displayed on the screen of the display unit 101 of the portable terminal device 10. be able to.
  • application application
  • the memory 103 is configured of a read only memory (ROM), a random access memory (RAM), and the like.
  • the memory 103 stores various programs to be executed by the CPU 102.
  • the memory 103 also stores image data captured by the camera 106 and temporary data used by the CPU 102 when an application is executed.
  • the communication interface 104 is a wireless communication interface that performs wireless communication with a wireless base station or an external device.
  • a wireless communication method Wi-Fi (registered trademark), Bluetooth (registered trademark) or the like can be used.
  • the communication interface 104 can perform carrier communication by 3G communication, LTE (Long Term Evolution), or the like.
  • the sensor group 105 includes various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an azimuth sensor, and a brightness sensor.
  • the camera 106 is an imaging device having an optical system and an image sensor such as a CCD image sensor or a CMOS image sensor.
  • the camera 106 forms an optical image of an object on an image sensor by an optical system, and photoelectrically converts the image by an image sensor.
  • the photoelectrically converted signal is processed by the CPU 102 to generate still image data and moving image data.
  • the portable terminal device 10 has a speaker, a microphone, an LED, a hard button, a vibrator and the like in addition to the above components, for convenience, such components are not shown in FIG.
  • the mobile terminal device 10 As described above, in the mobile terminal device 10, various screen images are displayed on the screen of the display unit 101 by the activated application.
  • the mobile terminal device 10 When operating the mobile terminal device 10 with one hand, the mobile terminal device 10 is supported except for the thumb, and the free thumb (operating finger) is moved to operate the screen image. At this time, the thumb may not reach the end of the screen of the display unit 101 in the portable terminal device 10 provided with the display unit 101 having a large screen of about 5 inches or more.
  • Such a button placed out of reach of the thumb needs to be operated with the other hand, or the screen must be scrolled or rotated to a position where the thumb can reach.
  • the virtual button described below is introduced to enable one-handed operation even if the screen size of the display unit 101 is relatively large.
  • FIG. 3A shows an example of a display screen without a virtual button.
  • FIG. 3B shows an example of a display screen with a virtual button.
  • the screen image of the application is a GUI image for remotely operating the MFP in the case of the application for remote operation of the MFP described above, and corresponds to a designated URL (Uniform Resource Locator) in the case of a web browser. It is a web page image.
  • URL Uniform Resource Locator
  • the application is composed of various GUI images (screen images) such as a home screen and a setting screen, and the screen image displayed on the screen of the display unit 101 is switched according to the user operation.
  • GUI images screen images
  • a web page image is displayed on the screen of the display unit 101. If the web page image is large relative to the display area of the display unit 101, the web page image can be scrolled on the screen of the display unit 101.
  • FIG. 3A and FIG. 3B show examples of display screens of a portion of such a GUI image or web page image.
  • the screen image of the application is designed by arranging various buttons at predetermined positions. Therefore, when the mobile terminal device 10 activates the application, the button B1 is displayed at a predetermined position in the display area of the display unit 101, as shown in FIGS. 3 (A) and 3 (B).
  • the operation finger 20 (the thumb of the left hand) is moved to operate the screen image of the application displayed on the screen of the display unit 101.
  • the screen of the display unit 101 is approximately 5 inches or more, the operation finger 20 may not reach the upper right of the screen of the display unit 101. That is, the display area of the display unit 101 is divided into a first display area A1 to which the operation finger 20 reaches and a second display area A2 to which the operation finger 20 does not reach, bordering on the limit line 21 to which the operation finger 20 reaches.
  • the button B1 is disposed in the first display area A2, in the case of FIG. 3A, the button B1 can not be touch-operated by the operating finger 20.
  • the virtual button B1 ' is displayed in the first display area A1.
  • the virtual button B1 ′ is a button corresponding to the button B1 (existing button) originally disposed at a predetermined position of the screen image of the application. That is, when the touch operation is performed on the virtual button B1 ′, the CPU 102 can operate as if the touch operation on the existing button B1 corresponding to the virtual button B1 ′.
  • FIG. 4 is a flowchart showing a procedure of generating a virtual button.
  • the user can start the virtual button generation application (S11 ).
  • the CPU 102 performs a predetermined gesture with the operation finger 20 on the screen of the display unit 101, shakes or tilts the mobile terminal device 10, or emits a predetermined word to the mobile terminal device 10 It is determined that activation of the virtual button generation application is requested, and the program of the virtual button generation application is read from the memory 103 and executed.
  • the CPU 102 When the virtual button generation application is activated, the CPU 102 causes the virtual button to be displayed on the screen of the display unit 101 superimposed on the screen image of the application currently displayed (S12). At this time, the arrangement position of the virtual button is not yet determined, and the user can drag the virtual button to freely change the position. Then, when the user issues an instruction to determine the position of the virtual button, the CPU 102 stores the position of the virtual button in the screen image of the currently displayed application in the memory 103 (S13).
  • the CPU 102 When the display position of the virtual button is determined, the CPU 102 requests the selection of the button to be associated with the virtual button among the existing buttons in the screen image of the currently displayed application (S14). When the user performs a touch operation on any existing button, the CPU 102 associates the virtual button with the existing button operated by the touch, and stores the correspondence, the arrangement position of the virtual button, and the like in the memory 103 (S15).
  • the virtual button can be generated only in a specific screen image in association with the application or URL. For example, it is possible to generate a virtual button only on the setting screen without generating a virtual button on the home screen of a certain application, and to generate a virtual button on any of the home screen and the setting screen in another application.
  • buttons can be arranged at different positions for each screen image in association with an application or a URL.
  • virtual buttons corresponding to existing buttons common to a home screen and a setting screen of a certain application can be arranged at different positions on the home screen and the setting screen.
  • the CPU 102 identifies the limit line 21 from the locus of the touch position on the screen of the display unit 101.
  • the first display area A1 to which the operation finger reaches and the second display area A2 to which the operation finger 20 does not reach are determined (FIG. 3A).
  • the CPU 102 identifies the existing button B1 in the second display area A2, generates a virtual button B1 ′ corresponding to the existing button B1, and causes the virtual button B1 ′ to be displayed at an appropriate position in the first display area A1.
  • the CPU 102 can use the position of the center of gravity of the locus of the touch position as an appropriate position. That is, the CPU 102 obtains the position of the center of gravity of the locus from the locus of the touch position on the screen of the display unit 101, and generates and displays the virtual button B1 'corresponding to the existing button B1 at the position of the calculated center of gravity. Good. Thereby, a virtual button can be generated automatically.
  • the CPU 102 can select a plurality of positions as appropriate positions. That is, the CPU 102 may generate a plurality of virtual buttons B1 'corresponding to the existing button B1 and display the plurality of virtual buttons B1' at different positions. Thereby, the operability with one hand of the portable terminal device 10 can be surely improved.
  • buttons corresponding to the frequently used existing buttons may be automatically generated.
  • the CPU 102 may automatically generate a plurality of virtual buttons respectively corresponding to the plurality of existing buttons. Thereby, the operability with one hand of the portable terminal device 10 can be surely improved.
  • the skin of the virtual button is various, such as single color, gradation, and pattern, but can be set to the same skin as the existing button.
  • the CPU 102 can acquire an image of an area surrounded by a selection frame in the screen image of the currently displayed application, and set the image as the skin of the virtual button.
  • the virtual button B1 ' is made the same skin as the existing button B1, and the user can intuitively understand the correspondence between the virtual button B1' and the existing button B1.
  • FIG. 5 is a flowchart showing display control of the virtual button.
  • the user starts an arbitrary application installed on the mobile terminal device 10 (S101).
  • the CPU 102 reads the program of the application instructed to be activated from the memory 103 and executes the program.
  • the CPU 102 also reads a program of a virtual button display application for displaying a virtual button from the memory 103 and executes the program.
  • the CPU 102 specifies which screen image of which application the image currently displayed on the screen of the display unit 101 is (S102). Then, the CPU 102 refers to the memory 103, and information on the virtual button generated / arranged on the specified screen image, that is, information such as the arrangement position of the virtual button, the skin, the correspondence between the virtual button and the existing button Acquire (S103).
  • the virtual button is not arranged on the currently displayed screen image, and the display processing of the virtual button ends.
  • the CPU 102 acquires the tilt of the mobile terminal device 10 from the signal of the sensor group 105. Then, when it is determined that the mobile terminal device 10 is inclined by a predetermined amount or more (YES in S105), the CPU 102 displays a virtual button at a predetermined position on the screen of the display unit 101 (S106). On the other hand, when the mobile terminal device 10 is not inclined by a predetermined amount or more (NO in S105), the CPU 102 does not display the virtual button on the screen of the display unit 101.
  • switching the presence / absence of display of the virtual button according to the inclination of the mobile terminal device 10 causes the virtual button to overlap the existing button because the display area of the display unit 101 of the mobile terminal device 10 is limited. It is because it considered that it might be displayed. In particular, in the web page image, when the content of the page is updated, the virtual button and the existing button may overlap. Therefore, by tilting the mobile terminal device 10 to switch the presence or absence of the display of the virtual button, it is possible to prevent the virtual button from being displayed when the user thinks unnecessary, thereby improving the convenience of the user. be able to.
  • step S105 if step S105 is omitted and information on the virtual button can be acquired, the virtual button may be displayed at a predetermined position on the screen of the display unit 101 without fail.
  • the CPU 102 can paste and display the virtual button at a predetermined position of the screen image of the application. In this case, when the screen image of the application displayed on the screen of the display unit 101 is scrolled, the CPU 102 moves the display position of the virtual button following the scrolling of the screen image.
  • the CPU 102 can permanently display the virtual button at a predetermined position of the display area of the display unit 101. In this case, even if the display screen of the display unit 101 is scrolled, the virtual buttons remain at the same position and continue to be displayed.
  • the virtual button displayed in the resident mode is displayed above the existing button. May overlap.
  • the CPU 102 can change the resident display position of the virtual button so as to avoid the existing button.
  • the virtual button when the virtual button is arranged to overlap the existing button, or when the resident display position of the virtual button is fixed, the virtual button is displayed overlapping the existing button. In such a case (YES in S107), the CPU 102 notifies the user that the virtual button overlaps the existing button (S108).
  • notification methods such as pop-up display on the screen of the display unit 101, emitting an alarm sound, and vibrating the mobile terminal device 10 with a vibrator.
  • steps S107 and S108 may be omitted.
  • the CPU 102 determines that the existing button corresponding to the virtual button is subjected to a touch operation.
  • the operation assigned to the button is executed (S110).
  • step S112 may be omitted and the virtual button may continue to be displayed even if the existing button is touch-operated.
  • the virtual button corresponding to it is generated and displayed at the position where the finger reaches and touch the virtual button.
  • the same effect as touching an existing button can be obtained. Thereby, the operability with one hand of the portable terminal device 10 can be improved.
  • the present invention is not limited to the configuration of the above embodiment, and various modifications are possible.
  • the existing button is associated with a hard button that can be operated while operating the mobile terminal device 10 with one hand, and the hard button is pressed. It may be processed as the existing button is touch-operated.
  • locus data indicating loci of a plurality of patterns is stored in advance.
  • the CPU 102 performs pattern matching between the locus of the detected touch position and the pattern of the locus stored in the memory 103 or the like, and the locus of the touch position when the matching rate is equal to or more than a predetermined value. Is determined to correspond to a predetermined pattern.
  • the above process causes the CPU 102 to perform the above determination process triggered by an operation in which the user draws a locus of a predetermined pattern on the display unit 101 by the above process, and the temporary installation button is arranged in the first display area and displayed It can be done.
  • the CPU 102 may cause the display unit 101 to display an acceptance screen (see FIG. 6) for accepting the change, addition, or deletion of the predetermined pattern in accordance with an operation from the user.
  • the CPU 102 generates a pattern of a locus based on the locus of the touch position input by the user on the reception screen described above, and stores the generated pattern of the locus in a storage unit such as the memory 103.
  • the CPU 102 may store the pattern selected by the user from the plurality of patterns shown on the reception screen in a storage unit such as the memory 103 as the pattern of the predetermined trajectory.
  • FIG. 7 is an external view of the portable terminal device according to the third modification.
  • the display unit 101 is a curved display.
  • This curved display is an integral curved display including a flat surface 101A and a curved surface 101B extended from the flat surface 101A, the flat surface 101A being disposed on the main surface side of the mobile terminal device, and the curved surface 101B being It is arrange
  • a touch panel is disposed on the upper surface of the above-described curved display, and in addition to the touch operation on the flat surface 101A, the touch operation on the curved surface 101B can be detected.
  • the CPU 102 displays a work screen when an application such as a browser or text creation software is executed on the flat surface 101A of the display unit 101, and a curved screen 101B of the display unit 101 on the work screen displayed on the flat surface 101A.
  • the related information (for example, a list of bookmarks when the work screen of the browser is displayed on the flat surface 101A) is displayed. Thereby, the user can confirm the information related to the work screen by viewing the curved surface 101B while browsing the work screen displayed on the flat surface 101A.
  • the CPU 102 when the touch operation on the curved surface 101B is detected, the CPU 102 causes the operation finger to reach the display area of the display unit 101 from the touch position on the curved surface 101B. 1 Determine a display area and a second display area which the operation finger does not reach.
  • FIG. 8A and FIG. 8B are views showing a state in which the user holds and operates the mobile terminal device according to the third modification with one hand.
  • the user grasps and operates near the center of the portable terminal device.
  • the user holds and operates the lower side of the portable terminal device.
  • the range that the user's operation finger can reach varies depending on the position at which the user grips the portable terminal device. Specifically, as shown in FIG. 8A, when the user grasps the vicinity of the center of the portable terminal device, the user's operation finger reaches the entire area of the display portion 101, but the operation finger is shown in FIG. 8B. As described above, when the user grips the lower side of the mobile terminal device, the user's operation finger does not reach the top of the display unit 101. In the mobile terminal device according to the third modification, the position at which the user grips the mobile terminal device is specified from the touch position on the curved surface 101B.
  • the user's operation finger contacts the lower end in the longitudinal direction of the curved surface 101B.
  • the CPU 102 specifies a range separated by a predetermined length from the contact position as the first display area where the operating finger reaches, and the operating finger separates a range separated from the predetermined length from the contact position. Identify as a second display area that does not reach.
  • the CPU 102 specifies in advance the sex and age (whether adult or child) of the user who operates the mobile terminal device, and the above according to the length of the finger assumed from the sex and age.
  • the predetermined length may be changed to specify the first display area and the second display area.
  • the first display is performed when the longitudinal direction end of the curved surface 101B is touched by the detected touch operation.
  • a process of determining the area and the second display area, and a process of arranging and displaying the virtual button in the first display area are performed.
  • the touch position touched by the detected touch operation is the central portion in the longitudinal direction of the curved surface 101B and the longitudinal end of the curved surface 101B
  • the process of determining the first display area and the second display area and the process of arranging and displaying the virtual button in the first display area are not performed.
  • FIG. 9 is a diagram illustrating an example of a region on the curved surface 101B of the mobile terminal device according to the fourth modification. As shown in the drawing, in the mobile terminal device according to the fourth modification, the area of the curved surface 101B is divided into an area A and an area C at the longitudinal end and an area B at the longitudinal center.
  • the CPU 102 detects that the touch position touched by the detected touch operation is the region B in the central portion in the longitudinal direction of the curved surface 101B. It is determined that the operation finger reaches the entire area of the display unit 101, and the process of arranging the virtual button is not performed. By processing in this way, it is possible to easily determine the case where it is necessary to arrange a virtual button.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

携帯端末装置（１０）は、タッチパネル式の表示部（１０１）と、表示部（１０１）に対する画面表示制御を行い、表示部（１０１）の画面に対するタッチ操作に応じて動作する制御部（１０２）とを備え、制御部（１０２）は、任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタン（Ｂ１）に対応する仮想ボタン（Ｂ１'）を生成して該仮想ボタン（Ｂ１'）を該画面画像の別の所定位置に配置して該仮想ボタン（Ｂ１'）が配置された画面画像を表示部（１０１）の画面に表示させ、該仮想ボタン（Ｂ１'）に対してタッチ操作があったとき、それに対応する既存ボタン（Ｂ１）に対してタッチ操作があったものとして動作する。

Description

携帯端末装置及び携帯端末装置の制御方法
　本発明は、携帯端末装置及び携帯端末装置の制御方法に関し、特に、携帯端末装置の片手での操作性向上の技術に関する。
　比較的大きな画面を有する携帯端末装置を片手で操作していると、画面の端にあるボタン等のオブジェクトに指が届かないことがある。そのような場合、もう片方の手を使ってそのボタンにタッチ操作しなければならず、片手で操作したいというユーザーの意思に反してユーザーに不便を強いることとなる。下記特許文献１には、片手で携帯端末装置を操作する場合において筐体に加えられる把持力を検出し、把持力に応じて、指が届かないオブジェクトを指の近くに寄せるように表示制御する技術が開示されている。
国際公開第２０１３／０３５２２９号
　上記特許文献１の技術では、片手で携帯端末装置を操作中に指が届かない位置にボタンが表示されていれば、まず、筐体を把持してそのボタンを指が届く位置に寄せ、それからボタンにタッチするという二段階のステップを踏まなければならず、操作が煩わしいという問題がある。
　本発明は、上記の問題を解決するためになされたものであり、携帯端末装置の片手での操作性を向上させることを目的とする。
　本発明の一局面に係る携帯端末装置は、タッチパネル式の表示部と、前記表示部に対する画面表示制御を行い、前記表示部の画面に対するタッチ操作に応じて動作する制御部とを備え、前記制御部は、任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタンに対応する仮想ボタンを生成して該仮想ボタンを該画面画像の別の所定位置に配置して該仮想ボタンが配置された画面画像を前記表示部の画面に表示させ、該仮想ボタンに対してタッチ操作があったとき、それに対応する既存ボタンに対してタッチ操作があったものとして動作する携帯端末装置である。
　また、本発明の別の一局面に係る携帯端末装置の制御方法は、タッチパネル式の表示部を備えた携帯端末装置の制御方法であって、任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタンに対応する仮想ボタンを生成するステップ、前記仮想ボタンを前記画面画像の別の所定位置に配置するステップ、前記仮想ボタンが配置された画面画像を前記表示部の画面に表示させるステップ、及び前記仮想ボタンに対してタッチ操作があったとき、それに対応する既存ボタンに対してタッチ操作があったものとして動作するステップを、具備するものである。
　本発明によれば、表示中の画面における既存ボタンに指が届かなければ、それに対応する仮想ボタンを生成して指が届く位置に表示させて仮想ボタンをタッチ操作することで既存ボタンをタッチ操作するのと同じ効果が得られる。これにより、携帯端末装置の片手での操作性を向上させることができる。
本発明の一実施形態に係る携帯端末装置の外観図である。 本発明の一実施形態に係る携帯端末装置の内部構成の概略を示すブロック図である。 （Ａ）は仮想ボタンなしの表示画面例を示す図であり、（Ｂ）は仮想ボタンありの表示画面例を示す図である。 仮想ボタンの生成手順を示すフローチャートである。 仮想ボタンの表示制御を示すフローチャートである。 変形例２にかかる携帯端末装置の表示部に表示される受付画面の一例を示す図である。 変形例３にかかる携帯端末装置の外観図である。 （Ａ）および（Ｂ）は、変形例３にかかる携帯端末装置をユーザーが片手で掴んで操作する様子を示す図である。 変形例４にかかる携帯端末装置の湾曲面における領域の一例を示す図である。
　以下、本発明の一実施形態に係る携帯端末装置及びその制御方法について図面を参照して説明する。
　図１は、本発明の一実施形態に係る携帯端末装置１０の外観図である。携帯端末装置１０は、縦長矩形の偏平な外観形状を有し、片手で操作することができる大きさの端末である。典型的には携帯端末装置１０の大きさは高さ１４０ｍｍ前後、幅７０ｍｍ前後、厚み７～８ｍｍ前後であるがこれに限定されない。すなわち、携帯端末装置１０は、一般にスマートフォンと呼ばれる端末である。
　携帯端末装置１０の前面のほぼ全体をカバーするようにタッチパネル式の表示部１０１が配置されている。典型的には表示部１０１の画面の大きさは５～６インチ前後であるがこれに限定されない。なお、９インチ程度以上の大型画面の表示部１０１を有する端末は一般にタブレット端末と呼ばれる。タブレット端末は片手で操作することが困難であり、一方の手で持って他方の手で操作するか、机上等に置いて使用する。
　なお、携帯端末装置１０の外面には表示部１０１以外にカメラ、スピーカー、ＬＥＤ（Light Emitting Diode）、ハードボタン等が配置されているが、便宜上、図１ではそのような部材の図示を省略している。
　図２は、携帯端末装置１０の内部構成の概略を示すブロック図である。携帯端末装置１０は、表示部１０１と、ＣＰＵ（Central Processing Unit）１０２と、メモリー１０３と、通信インターフェイス１０４と、センサー群１０５と、カメラ１０６とを備える。これら各構成要素はバス１０７により互いに接続されてデータ又は信号の送受信が可能とされている。
　表示部１０１は、液晶ディスプレイや有機ＥＬディスプレイ等から構成されるディスプレイと、表示画面部分の前面に配置されるタッチパネルとを有している。すなわち、表示部１０１は、様々な画像を表示するとともにユーザーからのタッチ操作による入力を受け付けるＧＵＩ（Graphical User Interface）を提供する。当該タッチパネルは、タッチ操作を検知してそのタッチ位置の座標を特定することができる。これにより、表示部１０１は、その表示画面の任意の位置に様々な操作ボタン（ボタンオブジェクト、ソフトボタン）を表示して当該操作ボタンがタッチ操作されたか否かを検知することができる。
　ＣＰＵ１０２は、携帯端末装置１０の全体的な動作制御を司る。具体的には、ＣＰＵ１０２は携帯端末装置１０にインストールされたアプリケーションプログラム（アプリ）を実行して、表示部１０１に対する画面表示制御を行い、また、表示部１０１の画面に対するタッチ操作に応じて動作する。例えば、ＣＰＵ１０２が複合機のリモート操作用アプリを実行することで、携帯端末装置１０の表示部１０１の画面に表示されたＧＵＩを通じて複合機のコピー、プリント、スキャン、ファクシミリの各機能をリモート操作することができる。
　メモリー１０３は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等から構成される。メモリー１０３は、ＣＰＵ１０２で実行される各種プログラムを記憶している。また、メモリー１０３は、カメラ１０６で撮像された画像データやアプリ実行時にＣＰＵ１０２によって使用される一時的なデータ等を記憶する。
　通信インターフェイス１０４は、無線基地局や外部装置との無線通信を行う無線通信インターフェイスである。無線通信方式としてＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等を使用することができる。また、通信インターフェイス１０４は３Ｇ通信やＬＴＥ（Long Term Evolution）等によるキャリア通信が可能である。
　センサー群１０５は、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、輝度センサー等の各種センサーを含む。
　カメラ１０６は、光学系と、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサー等のイメージセンサーとを有する撮像デバイスである。カメラ１０６は、光学系で被写体の光学像をイメージセンサーに結像してイメージセンサーで光電変換する。光電変換された信号はＣＰＵ１０２により処理されて静止画像データや動画像データが生成される。
　なお、携帯端末装置１０には上記の構成要素以外にスピーカー、マイクロフォン、ＬＥＤ、ハードボタン、バイブレーター等が搭載されているが、便宜上、図２ではそのような構成要素の図示を省略している。
　上述したように、携帯端末装置１０では起動されたアプリによって表示部１０１の画面に様々な画面画像が表示される。携帯端末装置１０を片手で操作する場合、親指以外で携帯端末装置１０を支持してフリーになった親指（操作指）を動かして画面画像を操作することとなる。このとき、概ね５インチ以上の大型画面の表示部１０１を備えた携帯端末装置１０では親指が表示部１０１の画面の端まで届かないことがある。そのような親指が届かない位置に配置されたボタンはもう片方の手を使って操作するか、画面をスクロール又は回転させて親指が届く位置に移動させる必要がある。この問題に対して、本実施形態に係る携帯端末装置１０では下述の仮想ボタンを導入することで、表示部１０１の画面サイズが比較的大きくても片手での操作を可能にしている。
　図３（Ａ）は、仮想ボタンなしの表示画面例を示す図である。図３（Ｂ）は、仮想ボタンありの表示画面例を示す図である。
　携帯端末装置１０でアプリを起動すると表示部１０１の画面にそのアプリの画面画像が表示される。アプリの画面画像は、上述した複合機のリモート操作用アプリの場合には複合機をリモート操作するためのＧＵＩ画像であり、ウェブブラウザーの場合には指定されたＵＲＬ（Uniform Resource Locator）に対応するウェブページ画像である。
　一般にアプリはホーム画面や設定画面等の様々なＧＵＩ画像（画面画像）から構成されており、ユーザー操作に応じて表示部１０１の画面に表示される画面画像が切り替わる。一方、ウェブブラウザーの場合には表示部１０１の画面にウェブページ画像が表示される。ウェブページ画像が表示部１０１の表示領域に対して長大な場合、表示部１０１の画面上でウェブページ画像をスクロールさせることが可能である。図３（Ａ）及び図３（Ｂ）は、そのようなＧＵＩ画像又はウェブページ画像の一部分の表示画面例を示す。
　一般にアプリの画面画像は所定位置に各種ボタンが配置されてデザインされている。従って、携帯端末装置１０でアプリを起動すると、図３（Ａ）及び図３（Ｂ）に示したように、表示部１０１の表示領域の所定位置にボタンＢ１が表示される。
　ここで携帯端末装置１０を左手だけで操作することを想定する。この場合、操作指２０（左手の親指）を動かして表示部１０１の画面に表示されたアプリの画面画像を操作することとなる。表示部１０１の画面が概ね５インチ以上になると、表示部１０１の画面右上に操作指２０が届かないことがある。すなわち、表示部１０１の表示領域は、操作指２０が届く限界線２１を境に、操作指２０が届く第１表示領域Ａ１と、操作指２０が届かない第２表示領域Ａ２とに分けられる。ここでボタンＢ１は第１表示領域Ａ２内に配置されているため、図３（Ａ）の場合には操作指２０でボタンＢ１をタッチ操作することができない。
　一方、図３（Ｂ）では、第１表示領域Ａ１に仮想ボタンＢ１'が表示されている。仮想ボタンＢ１'は、アプリの画面画像の所定位置に元々配置されているボタンＢ１（既存ボタン）に対応するボタンである。すなわち、ＣＰＵ１０２は、仮想ボタンＢ１'に対してタッチ操作があったとき、それに対応する既存ボタンＢ１に対してタッチ操作があったものとして動作することができる。
　ユーザーは任意のタイミングで仮想ボタンを生成することができる。図４は、仮想ボタンの生成手順を示すフローチャートである。
　携帯端末装置１０を片手で操作中に表示部１０１の画面に表示されたアプリの画面画像において操作指２０が届かないボタンがあったとき、ユーザーは仮想ボタン生成アプリを起動することができる（Ｓ１１）。例えば、表示部１０１の画面に対して操作指２０で所定のジェスチャーをしたり、携帯端末装置１０を振ったり傾けたり、携帯端末装置１０に対して所定の言葉を発したりすることで、ＣＰＵ１０２は仮想ボタン生成アプリの起動が要求されたと判断してメモリー１０３から仮想ボタン生成アプリのプログラムを読み出して実行する。
　仮想ボタン生成アプリが起動されると、ＣＰＵ１０２は、現在表示中のアプリの画面画像に重ねて表示部１０１の画面に仮想ボタンを表示させる（Ｓ１２）。このとき、仮想ボタンの配置位置はまだ確定しておらず、ユーザーは仮想ボタンをドラッグしてその位置を自由に変更することができる。そして、ユーザーが仮想ボタンの位置確定の指示を出すと、ＣＰＵ１０２は、現在表示中のアプリの画面画像における仮想ボタンの位置をメモリー１０３に記憶する（Ｓ１３）。
　仮想ボタンの表示位置が確定されると、ＣＰＵ１０２は、現在表示中のアプリの画面画像における既存ボタンのうち仮想ボタンに対応付けるボタンの選択を要求する（Ｓ１４）。ユーザーが任意の既存ボタンにタッチ操作すると、ＣＰＵ１０２は、仮想ボタンと当該タッチ操作された既存ボタンとを対応付けて、その対応関係や仮想ボタンの配置位置等をメモリー１０３に記憶する（Ｓ１５）。
　仮想ボタンは、アプリやＵＲＬに関連付けて特定の画面画像にだけ生成することができる。例えば、あるアプリのホーム画面には仮想ボタンを生成せずに設定画面にのみ仮想ボタンを生成し、別のアプリではホーム画面及び設定画面のいずれにも仮想ボタンを生成するということができる。
　また、仮想ボタンは、アプリやＵＲＬに関連付けて画面画像毎に違った位置に配置することができる。例えば、あるアプリのホーム画面及び設定画面に共通する既存ボタンに対応する仮想ボタンをホーム画面と設定画面とでそれぞれ違った位置に配置することができる。
　仮想ボタンの生成を自動で行うことも可能である。例えば、携帯端末装置１０を片手で操作中にユーザーが表示部１０１の画面上で限界線２１を描くジェスチャーをすると、ＣＰＵ１０２は、表示部１０１の画面に対するタッチ位置の軌跡から限界線２１を特定し、表示部１０１の表示領域において操作指が届く第１表示領域Ａ１及び操作指２０が届かない第２表示領域Ａ２を判定する（図３（Ａ））。そして、ＣＰＵ１０２は、第２表示領域Ａ２における既存ボタンＢ１を特定し、それに対応する仮想ボタンＢ１'を生成して第１表示領域Ａ１の適当な位置に表示させる。例えば、ＣＰＵ１０２は、適当な位置として、タッチ位置の軌跡の重心の位置を用いることができる。つまり、ＣＰＵ１０２は、表示部１０１の画面に対するタッチ位置の軌跡から当該軌跡の重心の位置を求め、求めた重心の位置に、既存ボタンＢ１に対応する仮想ボタンＢ１'を生成して表示させてもよい。これにより、仮想ボタンを自動的に生成することができる。また、ＣＰＵ１０２は、適当な位置として、複数の位置を選択することができる。すなわち、ＣＰＵ１０２は、既存ボタンＢ１に対応する複数の仮想ボタンＢ１'を生成して、これら複数の仮想ボタンＢ１'を互いに異なる位置に表示させてもよい。これにより、携帯端末装置１０の片手での操作性を確実に向上させることができる。第２表示領域Ａ２に複数の既存ボタンが存在する場合には、よく使われる既存ボタンに対応する仮想ボタンを自動生成するようにしてもよい。また、この説明以外に、ＣＰＵ１０２は、例えば、第２表示領域Ａ２に複数の既存ボタンが存在する場合には、これら複数の既存ボタンに各々対応する複数の仮想ボタンを自動生成してもよい。これにより、携帯端末装置１０の片手での操作性を確実に向上させることができる。
　仮想ボタンのスキンは単色、グラデーション、パターン等様々であるが、既存ボタンと同じスキンに設定することもできる。具体的には、ステップＳ１５において、ＣＰＵ１０２は、現在表示中のアプリの画面画像において選択枠で囲まれた領域の画像を取得し、当該画像を仮想ボタンのスキンに設定することができる。これにより、図３（Ｂ）に示したように、仮想ボタンＢ１'を既存ボタンＢ１と同じスキンにして、ユーザーに仮想ボタンＢ１'と既存ボタンＢ１との対応関係を直感的にわかりやすくすることができる。
　任意のアプリの画面画像において仮想ボタンを一度生成すると、次からそのアプリの画面画像が表示される際に仮想ボタンも表示される。以下、仮想ボタンの表示制御について説明する。図５は、仮想ボタンの表示制御を示すフローチャートである。
　ユーザーは携帯端末装置１０にインストールされた任意のアプリを起動する（Ｓ１０１）。ＣＰＵ１０２は、起動が指示されたアプリのプログラムをメモリー１０３から読み出して実行する。このとき、ＣＰＵ１０２は、仮想ボタンを表示するための仮想ボタン表示アプリのプログラムもメモリー１０３から読み出して実行する。
　ＣＰＵ１０２は、表示部１０１の画面に現在表示中の画像がどのアプリのどの画面画像であるかを特定する（Ｓ１０２）。そして、ＣＰＵ１０２は、メモリー１０３を参照して、当該特定した画面画像に生成・配置された仮想ボタンに関する情報、すなわち、仮想ボタンの配置位置、スキン、仮想ボタンと既存ボタンとの対応関係といった情報を取得する（Ｓ１０３）。
　仮想ボタンに関する情報が取得できなければ（Ｓ１０４でＮＯ）、現在表示中の画面画像に仮想ボタンは配置されていないため、仮想ボタンの表示処理は終了する。
　一方、仮想ボタンに関する情報が取得できたならば（Ｓ１０４でＹＥＳ）、ＣＰＵ１０２は、センサー群１０５の信号から携帯端末装置１０の傾きを取得する。そして、携帯端末装置１０が所定量以上傾いたと判断した場合（Ｓ１０５でＹＥＳ）、ＣＰＵ１０２は、表示部１０１の画面の所定位置に仮想ボタンを表示させる（Ｓ１０６）。一方、携帯端末装置１０が所定量以上傾いていない場合（Ｓ１０５でＮＯ）、ＣＰＵ１０２は、表示部１０１の画面に仮想ボタンを表示させない。
　このように、携帯端末装置１０の傾きに応じて仮想ボタンの表示の有無を切り替えるのは、携帯端末装置１０の表示部１０１の表示領域が限られていることにより仮想ボタンが既存ボタンに重ねて表示されることがあることを考慮したからである。特に、ウェブページ画像ではページの内容が更新されると、仮想ボタンと既存ボタンとが重なってしまうことがある。そこで、携帯端末装置１０を傾けて仮想ボタンの表示の有無を切り替えるようにすることで、ユーザーが不要と思う場合には仮想ボタンを表示させないようにすることができ、ユーザーの利便性を向上させることができる。
　なお、ステップＳ１０５を省略して、仮想ボタンに関する情報が取得できたならば、表示部１０１の画面の所定位置に仮想ボタンを必ず表示させるようにしてもよい。
　ＣＰＵ１０２は、仮想ボタンをアプリの画面画像の所定位置に貼り付けて表示させることができる。この場合、表示部１０１の画面に表示されたアプリの画面画像をスクロールさせると、ＣＰＵ１０２は、画面画像のスクロールに追従して仮想ボタンの表示位置を移動させる。
　あるいは、ＣＰＵ１０２は、仮想ボタンを表示部１０１の表示領域の所定位置に常駐表示させることができる。この場合、表示部１０１の表示画面をスクロールさせても仮想ボタンは同じ位置に留まって表示され続ける。
　仮想ボタンを常駐表示させているときに表示部１０１の画面に表示中の画面画像をスクロールさせたり切り替えたりすることで画面表示が変更されると、常駐表示させている仮想ボタンが既存ボタンの上に重なるおそれがある。そのような場合、ＣＰＵ１０２は、既存ボタンを避けるように仮想ボタンの常駐表示位置を変更することができる。
　元々、仮想ボタンが既存ボタンの上に重なるように配置されていたり、仮想ボタンの常駐表示位置を固定したりする場合、仮想ボタンが既存ボタンの上に重なって表示されてしまう。そのような場合（Ｓ１０７でＹＥＳ）、ＣＰＵ１０２は、仮想ボタンが既存ボタンの上に重なっている旨をユーザーに通知する（Ｓ１０８）。通知方法は、表示部１０１の画面にポップアップ表示をしたり、アラーム音を発したり、バイブレーターで携帯端末装置１０を震動させたりする等様々である。
　なお、ユーザー通知が不要であれば、ステップＳ１０７及びＳ１０８は省略してもよい。
　ＣＰＵ１０２は、表示部１０１の画面に表示させている仮想ボタンに対してタッチ操作があったとき（Ｓ１０９でＹＥＳ）、その仮想ボタンに対応する既存ボタンに対してタッチ操作があったものとして当該既存ボタンに割り当てられた動作を実行する（Ｓ１１０）。
　一方、ＣＰＵ１０２は、既存ボタンに対してタッチ操作があったとき（Ｓ１０９でＮＯ、Ｓ１１１でＹＥＳ）、それに対応する仮想ボタンの表示を消し（Ｓ１１２）、タッチ操作された既存ボタンに割り当てられた動作を実行する（Ｓ１１０）。このように仮想ボタンではなく既存ボタンがタッチ操作されたということは、仮想ボタンが不要であると判断できるため仮想ボタンの表示を消してもよいと考えられる。もちろん、ステップＳ１１２を省略して、既存ボタンがタッチ操作された場合であっても仮想ボタンを表示させ続けてもよい。
　以上のように本実施形態によれば、表示中の画面における既存ボタンに指が届かなければ、それに対応する仮想ボタンを生成して指が届く位置に表示させて仮想ボタンをタッチ操作することで既存ボタンをタッチ操作するのと同じ効果が得られる。これにより、携帯端末装置１０の片手での操作性を向上させることができる。
　なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。
　＜変形例１＞
　例えば、仮想ボタンを表示部１０１の画面に表示するのに代えて、携帯端末装置１０を片手で操作中に操作することができるハードボタンに既存ボタンを対応付けて、当該ハードボタンが押されたときに既存ボタンがタッチ操作されたとして処理するようにしてもよい。
　＜変形例２＞
　上記の実施形態では、ＣＰＵ１０２が、表示部１０１の画面に対するタッチ位置の軌跡から表示部１０１の表示領域において操作指が届く第１表示領域及び操作指が届かない第２表示領域を判定する場合を説明した。変形例２では、単に表示部１０１の画面に対するタッチ位置の軌跡が検出された場合にＣＰＵ１０２が上記の判定処理を行うのではなく、その軌跡が予め定められたパターンに該当するか否かをＣＰＵ１０２が判定し、予め定められたパターンに該当する場合に、ＣＰＵ１０２が上記の判定処理を行う。
　メモリー１０３などの記憶部には、予め、複数パターンの軌跡を示す軌跡データが記憶されている。ＣＰＵ１０２は、検出されたタッチ位置の軌跡とメモリー１０３等に記憶されている軌跡のパターンとの間でパターンマッチングを行い、その一致率が予め定められた値以上である場合に、タッチ位置の軌跡が予め定められたパターンに該当すると判定する。
　上記の処理により、ユーザーが表示部１０１上に予め定められたパターンの軌跡を描くという動作をトリガーとして、ＣＰＵ１０２に上記の判定処理を行わせて、仮装ボタンを第１表示領域に配置して表示させることができる。
　また、ＣＰＵ１０２は、ユーザーからの操作に応じて、上記の予め定められたパターンの変更、追加、または削除を受け付けるための受付画面（図６参照）を表示部１０１に表示させてもよい。図６に示す例では、ＣＰＵ１０２は、上記の受付画面においてユーザーが入力したタッチ位置の軌跡に基づいて軌跡のパターンを生成し、当該生成した軌跡のパターンをメモリー１０３などの記憶部に記憶させる。また、ＣＰＵ１０２は、上記の受付画面に示された複数のパターンからユーザーにより選択されたパターンを、上記の予め定められた軌跡のパターンとしてメモリー１０３などの記憶部に記憶させてもよい。
　＜変形例３＞
　図７は、変形例３にかかる携帯端末装置の外観図である。変形例３にかかる携帯端末装置では、表示部１０１が曲面ディスプレイとなっている。この曲面ディスプレイは、フラット面１０１Ａおよび当該フラット面１０１Ａから延設された湾曲面１０１Ｂを含む一体の曲面ディスプレイであり、フラット面１０１Ａが本携帯端末装置の主面側に配置され、湾曲面１０１Ｂが本携帯端末装置の側面側に配置されている。また、上記の曲面ディスプレイの上面には、タッチパネルが配置されており、フラット面１０１Ａに対するタッチ操作に加えて、湾曲面１０１Ｂに対するタッチ操作を検出可能となっている。
　ＣＰＵ１０２は、表示部１０１のフラット面１０１Ａに、ブラウザや文章作成ソフトなどのアプリケーションを実行した際の作業画面を表示し、表示部１０１の湾曲面１０１Ｂに、フラット面１０１Ａに表示された作業画面に関連する情報（例えば、フラット面１０１Ａにブラウザの作業画面が表示されている場合には、ブックマークの一覧など）を表示する。これにより、ユーザーは、フラット面１０１Ａに表示された作業画面を閲覧しながらも、湾曲面１０１Ｂを見ることで、その作業画面に関連する情報を確認することができる。
　ここで、変形例３にかかる携帯端末装置では、ＣＰＵ１０２が、湾曲面１０１Ｂに対するタッチ操作が検出されている場合に、湾曲面１０１Ｂに対するタッチ位置から、表示部１０１の表示領域において操作指が届く第１表示領域及び操作指が届かない第２表示領域を判定する。
　図８（Ａ）および図８（Ｂ）は、変形例３にかかる携帯端末装置を、ユーザーが片手で掴んで操作している様子を示す図である。図８（Ａ）に示す例では、ユーザーが携帯端末装置の中心付近を掴んで操作している。一方、図８（Ｂ）に示す例では、ユーザーが携帯端末装置の下側を掴んで操作している。
　ここで、ユーザーの操作指が届く範囲は、ユーザーが携帯端末装置を掴む位置によって変わる。具体的には、図８（Ａ）に示すように、ユーザーが携帯端末装置の中心付近を掴む場合には、ユーザーの操作指が表示部１０１の全域に届くが、図８（Ｂ）に示すように、ユーザーが携帯端末装置の下側を掴む場合には、ユーザーの操作指が表示部１０１の上部には届かない。変形例３にかかる携帯端末装置では、このユーザーが携帯端末装置を掴む位置を、湾曲面１０１Ｂに対するタッチ位置から特定する。
　図８（Ｂ）に示す例では、ユーザーの操作指が、湾曲面１０１Ｂの長手方向の下側端部と接触する。この場合、ＣＰＵ１０２は、当該接触位置から予め定められた長さだけ離れた範囲を操作指が届く第１表示領域として特定し、当該接触位置から予め定められた長さより離れた範囲を操作指が届かない第２表示領域として特定する。
　なお、ＣＰＵ１０２は、予め携帯端末装置を操作するユーザーの性別や、年齢（大人であるか子供であるか）を特定し、当該性別や年齢から想定される指の長さに応じて、上記の予め定められた長さを変えて第１表示領域および第２表示領域を特定してもよい。
　＜変形例４＞
　変形例４にかかる携帯端末装置では、湾曲面１０１Ｂに対するタッチ操作が検出されている場合に、当該検出されたタッチ操作により湾曲面１０１Ｂの長手方向端部がタッチされているときに、第１表示領域及び第２表示領域を判定する処理と、仮想ボタンを第１表示領域に配置して表示させる処理とを行う。一方、湾曲面１０１Ｂに対するタッチ操作が検出されている場合であっても、当該検出されたタッチ操作によりタッチされるタッチ位置が湾曲面１０１Ｂの長手方向中央部であり、湾曲面１０１Ｂの長手方向端部がタッチされていないときには、第１表示領域及び第２表示領域を判定する処理と、仮想ボタンを第１表示領域に配置して表示させる処理とを行わない。
　図９は、変形例４にかかる携帯端末装置の湾曲面１０１Ｂにおける領域の一例を示す図である。本図に示すように、変形例４にかかる携帯端末装置では、湾曲面１０１Ｂの領域を、長手方向端部の領域Ａおよび領域Ｃと長手方向中央部の領域Ｂとに分割しておく。
　ＣＰＵ１０２は、湾曲面１０１Ｂに対するタッチ操作が検出されている場合であっても、当該検出されたタッチ操作によりタッチされるタッチ位置が湾曲面１０１Ｂの長手方向中央部の領域Ｂである場合には、表示部１０１の全ての領域に操作指が届くと判定して、上記の仮想ボタンを配置する処理を行わない。このように処理することで、仮想ボタンを配置する必要がある場合を簡易に判定することができる。
　なお、図１乃至図９を用いて上記実施形態および各変形例により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。また、上記の実施形態で示した構成および上記の各変形例で示した構成を組み合わせてもよい。

Claims (17)

  1. 　タッチパネル式の表示部と、
    　前記表示部に対する画面表示制御を行い、前記表示部の画面に対するタッチ操作に応じて動作する制御部とを備え、
    　前記制御部は、任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタンに対応する仮想ボタンを生成して該仮想ボタンを該画面画像の別の所定位置に配置して該仮想ボタンが配置された画面画像を前記表示部の画面に表示させ、該仮想ボタンに対してタッチ操作があったとき、それに対応する既存ボタンに対してタッチ操作があったものとして動作する携帯端末装置。
  2. 　前記制御部は、前記表示部の画面に表示された画面画像のスクロールに追従して仮想ボタンの表示を移動させる請求項１に記載の携帯端末装置。
  3. 　前記制御部は、前記表示部の表示領域の所定位置に仮想ボタンを常駐表示させる請求項１に記載の携帯端末装置。
  4. 　前記制御部は、前記表示部の画面表示の変更により、常駐表示させている仮想ボタンが既存ボタンの上に重なるおそれがあるとき、該既存ボタンを避けるように該仮想ボタンの常駐表示位置を変更する請求項３に記載の携帯端末装置。
  5. 　前記携帯端末装置の傾きを検出するセンサーを備え、
    　前記制御部は、前記センサーにより検出された前記携帯端末装置の傾きに応じて仮想ボタンの表示の有無を切り替える請求項１に記載の携帯端末装置。
  6. 　前記制御部は、仮想ボタンを既存ボタンの上に重ねて表示させる場合、仮想ボタンが既存ボタンの上に重なっている旨をユーザーに通知する請求項１に記載の携帯端末装置。
  7. 　前記制御部は、前記表示部の画面に対するタッチ位置の軌跡から前記表示部の表示領域において操作指が届く第１表示領域及び操作指が届かない第２表示領域を判定し、前記第２表示領域における既存ボタンに対応する仮想ボタンを生成して該仮想ボタンを前記第１表示領域に配置して表示させる請求項１に記載の携帯端末装置。
  8. 　前記制御部は、前記表示部の画面に対するタッチ位置の軌跡から当該軌跡の重心の位置を求め、求めた前記重心の位置に、前記既存ボタンに対応する前記仮想ボタンを生成して表示させる請求項７に記載の携帯端末装置。
  9. 　前記制御部は、前記表示部の画面に対するタッチ位置の軌跡が検出された場合に、当該タッチ位置の軌跡が予め定められたパターンに該当するか否かを判定し、当該タッチ位置の軌跡が予め定められたパターンに該当するときに、前記第１表示領域及び第２表示領域を判定する処理と、前記仮想ボタンを前記第１表示領域に配置して表示させる処理とを行う、請求項７に記載の携帯端末装置。
  10. 　前記制御部は、ユーザーからの操作に応じて、前記予め定められたパターンの変更、追加、または削除を受け付ける、請求項９に記載の携帯端末装置。
  11. 　前記表示部は、フラット面および当該フラット面から延設された湾曲面を含む一体の曲面ディスプレイであり、前記フラット面が本携帯端末装置の主面側に配置され、前記湾曲面が本携帯端末装置の側面側に配置され、
    　前記制御部は、前記湾曲面に対するタッチ操作が検出されている場合、当該湾曲面に対するタッチ位置から、前記表示部の表示領域において操作指が届く第１表示領域及び操作指が届かない第２表示領域を判定し、前記第２表示領域における既存ボタンに対応する仮想ボタンを生成して該仮想ボタンを前記第１表示領域に配置して表示させる、請求項１に記載の携帯端末装置。
  12. 　前記制御部は、前記湾曲面に対するタッチ操作が検出されている場合、当該検出されたタッチ操作により前記湾曲面の長手方向端部がタッチされているときに、前記第１表示領域及び第２表示領域を判定する処理と、前記仮想ボタンを前記第１表示領域に配置して表示させる処理とを行う、請求項１１に記載の携帯端末装置。
  13. 　前記制御部は、前記フラット面にアプリケーションを実行した際の作業画面を表示させるとともに、前記フラット面に表示させた作業画面に関連する関連情報を前記湾曲面に表示させる請求項１１に記載の携帯端末装置。
  14. 　前記制御部は、既存ボタンに対してタッチ操作があったとき、それに対応する仮想ボタンの表示を消す請求項１に記載の携帯端末装置。
  15. 　前記制御部は、複数の前記既存ボタンが存在する場合には、前記複数の既存ボタンに各々対応する複数の前記仮想ボタンを生成する請求項１に記載の携帯端末装置。
  16. 　前記制御部は、前記既存ボタンに対応する複数の前記仮想ボタンを生成して互いに異なる位置に表示させる請求項１に記載の携帯端末装置。
  17. 　タッチパネル式の表示部を備えた携帯端末装置の制御方法であって、
    　任意のアプリケーションの画面画像の所定位置に元々配置されている既存ボタンに対応する仮想ボタンを生成するステップ、
    　前記仮想ボタンを前記画面画像の別の所定位置に配置するステップ、
    　前記仮想ボタンが配置された画面画像を前記表示部の画面に表示させるステップ、及び
    　前記仮想ボタンに対してタッチ操作があったとき、それに対応する既存ボタンに対してタッチ操作があったものとして動作するステップを、具備する携帯端末装置の制御方法。
PCT/JP2017/013981 2016-06-23 2017-04-03 携帯端末装置及び携帯端末装置の制御方法 WO2017221510A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17800688.8A EP3477454A4 (en) 2016-06-23 2017-04-03 PORTABLE TERMINAL DEVICE AND CONTROL METHOD FOR PORTABLE TERMINAL DEVICE
CN201780001347.XA CN107850980A (zh) 2016-06-23 2017-04-03 便携式终端装置以及便携式终端装置的控制方法
JP2017553204A JP6380689B2 (ja) 2016-06-23 2017-04-03 携帯端末装置及び携帯端末装置の制御方法
US15/568,247 US20180210616A1 (en) 2016-06-23 2017-04-03 Mobile terminal device and method for controlling mobile terminal device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016124643 2016-06-23
JP2016-124643 2016-06-23

Publications (1)

Publication Number Publication Date
WO2017221510A1 true WO2017221510A1 (ja) 2017-12-28

Family

ID=60784414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013981 WO2017221510A1 (ja) 2016-06-23 2017-04-03 携帯端末装置及び携帯端末装置の制御方法

Country Status (5)

Country Link
US (1) US20180210616A1 (ja)
EP (1) EP3477454A4 (ja)
JP (1) JP6380689B2 (ja)
CN (1) CN107850980A (ja)
WO (1) WO2017221510A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160091A (ja) * 2018-03-15 2019-09-19 京セラドキュメントソリューションズ株式会社 携帯端末装置および携帯端末装置の表示制御方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6984190B2 (ja) * 2017-06-16 2021-12-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
WO2019056393A1 (zh) * 2017-09-25 2019-03-28 华为技术有限公司 一种终端界面的显示方法及终端
WO2019195428A1 (en) 2018-04-04 2019-10-10 Qorvo Us, Inc. Gallium-nitride-based module with enhanced electrical performance and process for making the same
CN110069180A (zh) * 2019-03-28 2019-07-30 维沃软件技术有限公司 一种功能控制方法及终端设备
JP7223624B2 (ja) * 2019-04-12 2023-02-16 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法
WO2021171376A1 (ja) * 2020-02-25 2021-09-02 三菱電機株式会社 表示制御装置および表示端末

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160564A (ja) * 2009-01-06 2010-07-22 Toshiba Corp 携帯端末
JP2013047919A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 装置、方法、及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US20070132789A1 (en) * 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
US8316307B2 (en) * 2006-10-13 2012-11-20 At&T Intellectual Property I, Lp Method and apparatus for abstracting internet content
JP4364273B2 (ja) * 2007-12-28 2009-11-11 パナソニック株式会社 携帯端末装置及び表示制御方法並びに表示制御プログラム
US8621379B2 (en) * 2010-03-12 2013-12-31 Apple Inc. Device, method, and graphical user interface for creating and using duplicate virtual keys
JP5670137B2 (ja) * 2010-09-28 2015-02-18 京セラ株式会社 携帯型電子機器及び携帯型電子機器の表示制御方法
US8924382B2 (en) * 2011-10-03 2014-12-30 Oracle International Corporation Techniques for distributing information over a network
US10216286B2 (en) * 2012-03-06 2019-02-26 Todd E. Chornenky On-screen diagonal keyboard
KR101515623B1 (ko) * 2012-05-14 2015-04-28 삼성전자주식회사 벤디드 디스플레이를 갖는 휴대단말의 기능 운용 방법 및 장치
CN102830917A (zh) * 2012-08-02 2012-12-19 上海华勤通讯技术有限公司 移动终端及其触控建立方法
US20170083109A1 (en) * 2013-05-20 2017-03-23 Yonggui Li Keyboard and mouse of handheld digital device
US20140152593A1 (en) * 2012-12-03 2014-06-05 Industrial Technology Research Institute Method And System For Operating Portable Devices
KR20140071118A (ko) * 2012-12-03 2014-06-11 삼성전자주식회사 가상 버튼을 디스플레이하기 위한 방법 및 그 전자 장치
KR101977086B1 (ko) * 2012-12-12 2019-05-10 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN104216657A (zh) * 2014-09-05 2014-12-17 深圳市中兴移动通信有限公司 移动终端及其操作方法
US10282069B2 (en) * 2014-09-30 2019-05-07 Microsoft Technology Licensing, Llc Dynamic presentation of suggested content
CN204790953U (zh) * 2015-06-19 2015-11-18 深圳长城开发科技股份有限公司 触摸感应装置
CN105183235B (zh) * 2015-10-19 2018-02-06 上海斐讯数据通信技术有限公司 一种触控屏边缘防误触的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160564A (ja) * 2009-01-06 2010-07-22 Toshiba Corp 携帯端末
JP2013047919A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3477454A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160091A (ja) * 2018-03-15 2019-09-19 京セラドキュメントソリューションズ株式会社 携帯端末装置および携帯端末装置の表示制御方法
JP7035662B2 (ja) 2018-03-15 2022-03-15 京セラドキュメントソリューションズ株式会社 携帯端末装置および携帯端末装置の表示制御方法

Also Published As

Publication number Publication date
CN107850980A (zh) 2018-03-27
EP3477454A4 (en) 2020-01-15
EP3477454A1 (en) 2019-05-01
JP6380689B2 (ja) 2018-08-29
JPWO2017221510A1 (ja) 2018-06-21
US20180210616A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
WO2017221510A1 (ja) 携帯端末装置及び携帯端末装置の制御方法
US20150324082A1 (en) Image display control apparatus, image display apparatus, non-transitory computer readable medium, and image display control method
US9632642B2 (en) Terminal apparatus and associated methodology for automated scroll based on moving speed
WO2013150998A1 (ja) 携帯型電子機器
US8542185B2 (en) Method and apparatus for operating mobile terminal
EP2068235A2 (en) Input device, display device, input method, display method, and program
CN108984067B (zh) 一种显示控制方法及终端
JP5413688B2 (ja) 画像区画プログラム、及び、表示装置
CN104932809B (zh) 用于控制显示面板的装置和方法
US20160034131A1 (en) Methods and systems of a graphical user interface shift
WO2020134744A1 (zh) 图标移动方法及移动终端
KR20180134668A (ko) 이동 단말기 및 그 제어방법
EP2400380A2 (en) Display apparatus and control method thereof
JP6973025B2 (ja) 表示装置、画像処理装置及びプログラム
US11354031B2 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method for controlling a scroll speed of a display screen
JP2014016743A (ja) 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム
JP6149684B2 (ja) 携帯端末、画像処理装置、及びプログラム
JP6153487B2 (ja) 端末及び制御方法
JP6677213B2 (ja) 情報処理装置、画像形成装置、および情報処理プログラム
KR20140140759A (ko) 터치스크린을 구비하는 디바이스에서 화면 표시 방법 및 장치
US20150149547A1 (en) Information processing system and information processing device
JP2014071669A (ja) 情報表示装置、制御方法及びプログラム
JP5907096B2 (ja) 情報端末装置、画像表示方法および画像表示プログラム
JP6616379B2 (ja) 電子機器
US20200033959A1 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017553204

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15568247

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17800688

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE