WO2014006799A1 - 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2014006799A1
WO2014006799A1 PCT/JP2013/002268 JP2013002268W WO2014006799A1 WO 2014006799 A1 WO2014006799 A1 WO 2014006799A1 JP 2013002268 W JP2013002268 W JP 2013002268W WO 2014006799 A1 WO2014006799 A1 WO 2014006799A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
vibration
area
electronic device
overlap
Prior art date
Application number
PCT/JP2013/002268
Other languages
English (en)
French (fr)
Inventor
内田　薫
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2014006799A1 publication Critical patent/WO2014006799A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to an electronic device, a control method thereof, and a non-transitory computer-readable medium storing a control program, and more particularly, to an electronic device that displays a user interface on a display unit, a control method thereof, and a control program stored therein. It relates to a temporary computer readable medium.
  • a touch panel that detects a user's touch operation (contact operation) on a display screen is widely used.
  • GUI Graphic User Interface
  • GUI parts such as icons displayed on the display screen
  • Patent Document 1 describes a technique for operating a touch panel to enlarge the screen display of an electronic device.
  • GUI parts such as displayed icons
  • the number of GUI parts tends to increase. If many GUI components are to be displayed on the display screen of the electronic device, each GUI component is displayed in a small size, which makes it difficult for the user to perform a touch operation on the GUI component.
  • the user can perform an operation of enlarging the entire display screen to enlarge all GUI components displayed on the display screen.
  • An object of the present invention is to provide a non-transitory computer-readable medium in which an electronic device that solves such a problem, a control method thereof, and a control program are stored.
  • An electronic apparatus includes a display unit that displays a plurality of display objects indicating an operation area, a detection unit that detects an operation position of the display unit with respect to a display surface, a vibration unit that generates vibrations, and the display object. And a control unit that determines whether or not the display area overlaps and issues a vibration instruction to the vibration unit according to the overlapping state.
  • the method for controlling an electronic device displays a plurality of display objects indicating an operation area on a display unit, detects an operation position on the display surface of the display unit, and determines whether the display object overlaps the display area. Then, according to the overlapping state, a vibration instruction is given to the vibration part that generates vibration.
  • a non-transitory computer readable medium storing a control program for an electronic device according to the present invention is a control program for causing a computer to execute a control process for the electronic device, and displays a plurality of display objects indicating operation areas. Display on the screen, detect the operation position on the display surface of the display unit, determine whether or not the display area of the display object overlaps, and issue a vibration instruction to the vibration unit that generates vibration according to the overlapping state. is there.
  • an electronic device capable of suppressing deterioration of operability, a control method thereof, and a non-transitory computer-readable medium storing a control program.
  • FIG. 1 is a configuration diagram illustrating an external configuration of an electronic device according to a first embodiment.
  • 1 is a configuration diagram illustrating an external configuration of an electronic device according to a first embodiment.
  • 3 is a configuration diagram illustrating a configuration of a display module according to Embodiment 1.
  • FIG. 3 is a configuration diagram illustrating a configuration of a display module according to Embodiment 1.
  • FIG. 3 is a configuration diagram illustrating a configuration of a display module according to Embodiment 1.
  • FIG. 3 is a configuration diagram illustrating a configuration of a hardware block of the electronic device according to the first embodiment.
  • FIG. 3 is a configuration diagram showing a functional block configuration of the electronic device according to the first embodiment.
  • FIG. 4 is a waveform diagram showing a vibration pattern of the electronic device according to the first embodiment.
  • FIG. 4 is a waveform diagram showing a vibration pattern of the electronic device according to the first embodiment.
  • FIG. 4 is a waveform diagram showing a vibration pattern of the electronic device according to the first embodiment.
  • FIG. 4 is a waveform diagram showing a vibration pattern of the electronic device according to the first embodiment.
  • 3 is a flowchart illustrating a method for controlling the electronic device according to the first embodiment.
  • 10 is an image diagram of a display screen displayed on the display unit according to Embodiment 2.
  • FIG. 10 is an image diagram of a display screen displayed on the display unit according to Embodiment 2.
  • FIG. 10 is an image diagram of a display screen displayed on the display unit according to Embodiment 2.
  • FIG. 10 is an image diagram of a display screen displayed on the display unit according to Embodiment 2.
  • FIG. 10 is an image diagram of a display screen displayed on the display unit according to Embodiment 2.
  • FIG. 10 is an image diagram of a display screen displayed on the display unit according to Embodiment 2.
  • FIG. 10 is an image diagram of a display screen displayed on a display unit according to Embodiment 3.
  • FIG. 10 is an image diagram of a display screen displayed on a display unit according to Embodiment 3.
  • FIG. 10 is an image diagram of a display screen displayed on a display unit according to Embodiment 3.
  • FIG. 10 is an image diagram of a display screen displayed on a display unit according to Embodiment 3.
  • FIG. 10 is an image diagram of a display screen displayed on a display unit according to Embodiment 3.
  • FIG. 10 is an image diagram of a display screen displayed on a display unit according to Embodiment 3.
  • FIG. 10 is an image diagram of a display screen displayed on
  • 10 is a flowchart illustrating a method for controlling an electronic device according to a fourth embodiment.
  • 10 is an image diagram of a display screen displayed on a display unit according to Embodiment 4.
  • FIG. 10 is an image diagram of a display screen displayed on a display unit according to Embodiment 4.
  • FIG. 10 is an image diagram of a display screen displayed on a display unit according to Embodiment 4.
  • FIG. It is a flowchart which shows the control method of the electronic device which concerns on other embodiment.
  • an electronic device 100 includes a display unit 101, a detection unit 102, a control unit 103, and a vibration unit 104.
  • the display unit 101 displays a plurality of display objects indicating the operation area
  • the detection unit 102 detects an operation position on the display surface of the display unit
  • the control unit 103 determines whether or not the display object overlaps the display area.
  • the main feature of the present invention is to issue a vibration instruction to the vibration unit 104 that generates vibration according to the overlapping state.
  • the vibration unit 104 vibrates according to the overlapping state of the display area of the display object, Tactile feedback is provided. For this reason, the user can intuitively grasp that the display object is affected by the display object changing operation. Therefore, since the user can determine whether or not to continue the display object changing operation, deterioration in operability can be suppressed.
  • a plurality of operation buttons are arranged on the GUI of the application, and the operation display area of the first operation button is expanded.
  • the second operation button is enlarged over the operation display area of the second operation button, and it is difficult to display the operation of the second operation button if the enlargement is continued. When it becomes, the vibration is gradually increased, and feedback is given to the user.
  • a hidden area (the ratio of the hidden area of the total area may be used) when it is determined that the determination means is hiding the operation display area of another operation button.
  • FIG. 2A is a front external view of electronic device 1 according to the present embodiment
  • FIG. 2B is a side external view thereof.
  • the electronic device 1 is an electronic device that can be carried by a user, such as a smartphone, a tablet-type mobile terminal device, a mobile phone, a game machine, or an electronic book terminal.
  • the electronic device may be an electronic device that allows a user to perform a touch operation (contact operation) on the display screen, and may be a computer device such as a personal computer.
  • the electronic apparatus 1 includes a display module 10 disposed on the main surface and a housing 20 disposed on the back surface.
  • the casing 20 has a concave cross section, and is fixedly arranged so as to cover the entire back surface of the display module 10.
  • the main surface is a surface facing the user side in the electronic device 1 in a state of being held by the user. It is also a display surface that performs the input operation. Further, the back surface (back surface) is a surface opposite to the main surface in the electronic device 1.
  • the display module 10 includes a display unit (display screen) 11 that displays a GUI and the like, and a touch panel 12 on which a user performs an input operation.
  • the display module 10 (the main surface of the electronic device 1) includes a camera 13 for imaging the user and the like, a microphone 14 for inputting sound and the like, and a speaker 15 for outputting sound and the like.
  • a process function corresponding to the operation is executed.
  • FIG. 3A is a front view of the display module 10 according to the present embodiment
  • FIG. 3B is a side view thereof.
  • the display module 10 includes a display unit 11 and a touch panel 12 disposed on the surface side (main surface side) of the display unit 11.
  • the display unit 11 is bonded to the center of the back surface (back surface) of the touch panel 12 with an adhesive or the like, and the surface area of the display unit 11 that the user visually recognizes via the touch panel 12 becomes a display region (display screen). .
  • a vibration unit 16 is disposed at one end of the back surface of the touch panel 12.
  • the vibration unit 16 is bonded to the touch panel 12 with an adhesive or the like.
  • the vibration unit 16 is a haptic element for providing haptic feedback to the user. As shown in FIGS. 3A and 3B, by providing the display module 10 with the vibration unit 16, vibration according to an operation on the touch panel 12 can be transmitted to the user.
  • one vibration unit 16 may be disposed in the display module 10, or a plurality of vibration units 16 may be disposed in the display module 10 as illustrated in FIG.
  • FIG. 4 shows an example in which four vibration parts 16 a to 16 d are arranged, and the vibration parts 16 a to 16 d are arranged near the corners of the display unit 11, respectively.
  • the vibration can be accurately transmitted to the user by one vibration unit as shown in FIGS. 3A and 3B.
  • the screen size of the display unit 11 is large, a plurality of vibration units are arranged as shown in FIG. 4, and the vibration unit close to the area operated by the user is vibrated, so that the user can vibrate according to the operation position. Can be accurately conveyed.
  • FIG. 5 shows a hardware block configuration of the electronic apparatus 1 according to the present embodiment.
  • the electronic device 1 includes a display unit 11, a touch panel 12, a camera 13, a microphone 14, a speaker 15, and a vibration unit 16 as in FIGS. 2A and 2B to 4, and further includes a control unit.
  • the control unit 17 is a control unit that controls the operation of each unit, such as a CPU.
  • the control unit 17 executes a control program and an application program stored in the storage unit 18 and controls an output operation such as a display according to an input operation and each program.
  • the wireless communication unit 19 is a communication unit for performing wireless communication with a base station and other communication devices.
  • the wireless communication unit 19 transmits and receives audio signals for calls and the like, and transmits and receives application data and the like that are processed and displayed by an application program. In addition, you may perform not only wireless but wired communication and other communication control.
  • the display unit 11 is a display such as a liquid crystal display or an organic EL display.
  • the display unit 11 displays GUI parts such as icons in accordance with instructions from the control unit 17.
  • the touch panel 12 is affixed to the display unit 11 as illustrated in FIGS. 3A and 3B and detects a user's touch operation (contact operation) on the display unit 11.
  • the touch panel 12 detects the position on the display unit 11 touched by the user's finger using capacitance or the like, and outputs a signal indicating the detected position to the control unit 17.
  • the vibration unit 16 is attached to the touch panel 12 as shown in FIGS. 3A and 3B, and performs tactile feedback to the user by vibration.
  • the vibration unit 16 is a piezoelectric element or the like, is supplied with a control signal according to a user operation from the control unit 17, and vibrates the touch panel 12 (display unit) with strength or length based on the control signal.
  • the camera 13 is an image pickup device that picks up an image of a user or an image pickup device arranged on the back surface of the electronic device 1. Image data obtained by capturing a still image or a moving image with the camera 13 is output to the control unit 17. The control unit 17 displays the image data on the display unit 11 or stores it in the storage unit 18.
  • the microphone 14 inputs a voice from the user, and the speaker 15 outputs a voice or the like to the user. For example, a sound signal corresponding to the sound input from the user is transmitted to the microphone 14 via the wireless communication unit 19, and a sound corresponding to the sound signal received by the wireless communication unit 19 is output from the speaker 15 to the user.
  • the storage unit 18 is a storage unit such as a flash memory, and stores information necessary for the operation of the control unit 17 and each unit.
  • the storage unit 18 stores a control program executed by the control unit 17, an application program, display data necessary for displaying a GUI, and the like.
  • FIG. 6 shows a functional block configuration realized by the control unit 17 of the electronic apparatus 1 according to the present embodiment.
  • the control unit 17 includes a GUI display unit 31, an operation detection unit 32, a GUI enlargement unit 33, a GUI movement unit 34, an overlap detection unit 35, and a vibration control unit 36.
  • the functional blocks in FIG. 6 are examples, and other block configurations may be used as long as a control operation according to the present embodiment described later with reference to FIG. 8 can be realized.
  • the GUI display unit 31, the GUI enlargement unit 33, the GUI movement unit 34, the overlap detection unit 35, and the vibration control unit 36 may be a single control unit.
  • Each block (functional unit or processing unit) in FIG. 6 may be configured by hardware, software, or both.
  • each block of the control unit 17 is realized by executing a control program for performing a control operation according to the present embodiment on a CPU (computer).
  • the program can be stored and provided to a computer using various types of non-transitory computer readable media.
  • Non-transitory computer readable media include various types of tangible storage media.
  • non-transitory computer-readable media examples include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROM (Read Only Memory) CD-R, CD -R / W, including semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the GUI display unit 31 controls the display unit 11 to display GUI parts such as icons.
  • GUI parts such as icons.
  • the GUI display unit 31 displays a GUI component necessary for operating the application program.
  • the GUI parts are various figures displayed on the display unit 11 as a user interface, and include, for example, icons, buttons, frames, windows, operation areas, and the like.
  • the operation detection unit 32 receives a user's touch operation through the touch panel 12 and detects what operation has been performed.
  • the operation detection unit 32 receives a position signal corresponding to the operation from the touch panel 12 and detects a user operation on the GUI component.
  • the operation detection unit 32 detects a flick operation, a drag operation, a tap operation, a double tap operation, a pinch-in operation, a pinch-out operation, and the like according to a user operation on the touch panel 12, and notifies each unit that an input operation has been detected. To do.
  • the GUI enlargement unit 33 enlarges and displays the GUI component in response to a user operation on the GUI component such as an icon displayed on the display unit 11. For example, when the user performs a pinch-out operation on the GUI component of the display unit 11, the GUI enlargement unit 33 enlarges and displays the display region (GUI region) of the GUI component according to the pinch-out operation.
  • GUI region display region
  • the GUI moving unit 34 moves and displays the GUI component in response to a user operation on the GUI component such as an icon displayed on the display unit 11. For example, when the user performs a drag operation on the GUI component of the display unit 11, the GUI move unit 34 moves and displays the display region (GUI region) of the GUI component according to the drag operation.
  • GUI region display region
  • the overlap detection unit 35 detects an overlap between the display area of the GUI component expanded or moved by the GUI expansion unit 33 or the GUI movement unit 34 and the display area of another GUI component.
  • the overlap detector 35 compares the position (display area) of the enlarged or moved GUI part with the position (display area) of another GUI part, detects whether the GUI parts are displayed in an overlapping manner, and The overlapping amount (area that is hidden or the ratio of the area) is calculated.
  • the GUI for detecting the overlap (hidden) due to the movement or enlargement operation is a GUI whose operability is deteriorated by hiding at least the display.
  • the control unit 17 or the storage unit 18 stores a priority to be displayed for each GUI, detects an overlap based on the priority, and performs vibration control.
  • the vibration When overlapping with a GUI having a higher priority than the GUI to be operated, the vibration may be controlled by detecting the overlap. Further, vibration is controlled by detecting an overlap based on the operation frequency for each GUI. When overlapping with a GUI that is more frequently used by the user than the GUI to be operated, the vibration may be controlled by detecting the overlap. Further, vibration is controlled by detecting an overlap based on the function of the GUI. When the GUI to be operated overlaps with a basic function of the electronic device 1, for example, a GUI for a telephone call or mail, the vibration control may be performed by detecting the overlap.
  • the vibration control unit 36 controls the vibration of the vibration unit 16 according to the overlap of the operated GUI component.
  • the vibration control unit 36 vibrates the vibration unit 16 with a size corresponding to the amount of GUI overlap detected by the overlap detection unit 35.
  • the vibration control unit 36 vibrates the vibration unit 16 more greatly as the overlap amount is larger, and vibrates the vibration unit 16 smaller as the overlap amount is smaller.
  • the vibration control unit 36 controls the vibration pattern of the vibration unit 16 according to the overlapping amount (overlapping area or area ratio) of GUI parts.
  • 7A to 7D show an example of a vibration pattern of the vibration unit 16 controlled by the vibration control unit 36.
  • FIG. For example, as the vibration pattern control, the vibration intensity, vibration time, vibration cycle, vibration rhythm, and the like are switched in a plurality of stages according to display data.
  • more vibration patterns may be generated by combining the strength of vibration, the time for vibration, the period of vibration, the rhythm of vibration, and the like.
  • control the vibration level (strength) more strongly, control the vibration time longer, control the vibration cycle shorter, and control the rhythm tempo faster.
  • control vibration level (intensity) weaker, control vibration time shorter, control vibration period longer, control vibration rhythm tempo slower. Any one or combination.
  • FIG. 7A is an example in which the strength of the vibration level is controlled in two stages. For example, when the GUI component overlap amount is large, the maximum level of the vibration pattern is increased to control to vibrate more strongly (a-1), and when the GUI component overlap amount is small, the vibration pattern The maximum level is reduced to control to vibrate weaker (a-2).
  • FIG. 7B is an example in which the length of vibration time is controlled in two stages. For example, when the GUI component overlap amount is large, the vibration pattern period is lengthened and controlled to vibrate longer (b-1). When the GUI component overlap amount is small, the vibration pattern period Is controlled so as to vibrate shorter (b-2).
  • FIG. 7C is an example in which the period (frequency) of the vibration pattern is controlled in two stages. For example, when the GUI component overlap amount is large, control is performed so as to vibrate faster by shortening the vibration pattern cycle (c-1), and when the GUI component overlap amount is small, the vibration pattern cycle. And control to vibrate more slowly (c-2).
  • FIG. 7D is an example in which the rhythm of the vibration pattern is controlled in two stages.
  • the vibration pattern rhythm is controlled to be vibrated at a faster tempo with 2 beats each (d-1).
  • the vibration pattern rhythm is controlled by one beat at a time so as to vibrate less at a slower tempo (d-2).
  • FIG. 8 shows a control operation (control method) for tactile feedback of the electronic apparatus 1 according to the present embodiment.
  • the GUI display unit 31 displays GUI parts on the display unit 11 (S101). For example, when the electronic device 1 is activated or an application program is executed, the GUI display unit 31 displays a GUI component such as an icon on the display unit 11 according to the activation program or the application program.
  • the operation detection unit 32 detects a user operation on the GUI component input to the touch panel 12 (S102).
  • the operation detection unit 32 receives a user operation from the touch panel 12 and determines whether the user operation is a GUI enlargement operation for enlarging the GUI component or a GUI move operation for moving the GUI component. To do.
  • the operation detection unit 32 detects an arbitrary touch pattern and causes each unit to perform an operation corresponding to the touch pattern.
  • the GUI enlargement operation is a pinch-out operation with respect to the GUI part
  • the GUI movement operation is a drag operation with respect to the GUI part.
  • the GUI enlargement unit 33 enlarges and displays the GUI component according to the user operation (S103). For example, when the user performs a pinch-out operation on the displayed GUI component, the operation detection unit 32 determines that the operation is a GUI expansion operation, and the GUI expansion unit 33 displays the GUI component display area according to the user operation. Magnify and display.
  • the GUI movement unit 34 moves and displays the GUI component according to the user operation (S104). For example, when the user performs a drag operation on the displayed GUI component, the operation detection unit 32 determines that the operation is a GUI move operation, and the GUI move unit 34 displays the GUI component display area in accordance with the user operation. Move to display.
  • the overlap detection unit 35 determines the overlap between the enlarged or moved GUI part and another GUI part by the GUI enlarged display of S103 or the GUI movement display of S104 (S105).
  • the overlap detection unit 35 detects whether or not the area of the enlarged or moved GUI part overlaps the area of another GUI part, and further calculates the amount of overlap (area or area ratio). To do.
  • the vibration control unit 36 vibrates the vibration part 16 according to the detected overlap of the GUI part (S106).
  • the vibration control unit 36 controls the vibration of the vibration unit 16 according to the overlap amount of the GUI parts detected in S105.
  • the vibration control unit 36 selects a vibration pattern as shown in FIGS. 7A to 7D according to the overlap of the GUI parts, and outputs a vibration pattern control signal to the vibration unit 16.
  • the vibration control unit 36 causes the vibration unit 16 to vibrate more greatly as the GUI component overlap amount is larger, and causes the vibration unit 16 to vibrate smaller as the GUI component overlap amount is smaller. Thereafter, when the enlargement operation or the movement operation continues, the vibration control is repeated through S103 to S106.
  • the operated GUI parts and other GUI parts Is detected, and vibration feedback is performed according to the amount of overlap. For this reason, when the user enlarges or moves the GUI component, an overlap with another GUI component can be intuitively grasped. Therefore, it is possible to suppress deterioration in operability due to other GUI parts being hidden and displayed.
  • an example of a screen image in electronic device 1 described in Embodiment 1 will be mainly described.
  • an example will be described in which a first icon and a second icon are displayed as a GUI component in an overlapping manner.
  • an object (display object) displayed on the display unit 11 includes a GUI, an icon, a window, an operation area, and the like.
  • the window includes a display of a plurality of GUI parts such as buttons, menus, and text boxes, and also includes a window that displays only display data such as an image.
  • the operation area includes a plurality of GUI parts such as icons, buttons, and handwriting areas.
  • 9A to 9C are display examples of the display unit 11 in the electronic apparatus 1 according to the present embodiment.
  • 9A is a display example in which icons are enlarged and displayed in the order of FIGS. 9A, 9B, and 9C.
  • Icons 201 to 204 are GUI parts (buttons) for executing various application programs. That is, when the user performs a tap operation on the icons 201 to 204, an application program corresponding to the icons 201 to 204 is executed.
  • the user performs a pinch-out operation by bringing a finger into contact with the icon 201 as indicated by an arrow 205 and an arrow 206. Then, the icon 201 is enlarged and displayed as shown in FIG. 9B.
  • a pinch-out operation is performed on the icon 201, only the icon 201 is enlarged and the display of the other icons 202 to 204 is not changed.
  • the control unit 17 detects the pinch-out operation, the control unit 17 acquires the icon 201 and the operation amount for which the pinch-out operation has been performed, enlarges the icon 201 according to the operation amount, and displays the icon 201 on the display unit 11.
  • the user further performs a pinch-out operation by touching the icon 201 with a finger as indicated by arrows 207 and 208.
  • the control unit 17 further enlarges the icon 201 and displays it on the display unit 11 as shown in FIG. 9C. Due to the enlargement of the icon 201, the display area of the icon 201 and the display area of the icon 202 are displayed overlapping each other. In the overlapping region 209 where the icon 201 and the icon 202 overlap, the display of the icon 202 is hidden, so that the operability of the icon 202 is deteriorated. For this reason, as described in the first embodiment, vibration feedback is performed on the display unit 11 in accordance with the overlap between the enlarged icon 201 and the icon 202.
  • the control unit 17 When the control unit 17 detects an overlap between the icon 201 and the icon 202 to be enlarged, the control unit 17 starts vibration control of the vibration unit 16 and greatly vibrates the vibration unit 16 as the overlapping region 209 increases. Thereby, it is possible to intuitively grasp the influence of the enlargement of the icon 201 on the display of other icons.
  • 10A and 10B are other display examples of the display unit 11 in the electronic apparatus 1 according to the present embodiment.
  • 10A is a display example in which icons are moved and displayed in the order of FIG. 10A and FIG. 10B.
  • FIG. 9A when the electronic device 1 is activated, a plurality of icons 201 to 204 are displayed on the display unit 11 as shown in FIG. 10A.
  • the user performs a drag operation by bringing a finger into contact with the icon 201 as indicated by an arrow 210. Then, the icon 201 is moved and displayed as shown in FIG. 10B.
  • the control unit 17 acquires the icon 201 in which the drag operation has been performed, the operation amount and the operation direction, and moves the icon 201 according to the operation amount and the operation direction to display them on the display unit 11.
  • the control unit 17 When the control unit 17 detects the overlap between the moving icon 201 and the icon 202, the control unit 17 starts vibration control of the vibration unit 16, and greatly vibrates the vibration unit 16 as the overlapping region 211 widens. Thereby, it is possible to intuitively grasp the influence of the movement of the icon 201 on the display of other icons.
  • the icon display area is changed according to the enlargement or movement operation for one icon, and the other icons are displayed.
  • the display unit 11 is vibrated according to the amount of overlap. For this reason, the user can intuitively understand that the operability of other icons deteriorates due to the expansion or movement of the icon, and the deterioration of the operability can be suppressed.
  • Embodiment 3 The third embodiment will be described below with reference to the drawings.
  • an example of a screen image in electronic device 1 described in Embodiment 1 will be mainly described.
  • an example in which the first display area and the second display area are displayed as a GUI component in an overlapping manner will be described.
  • 11A and 11B are display examples of the display unit 11 in the electronic apparatus 1 according to the present embodiment.
  • 11A is a display example in which the first display area is enlarged and displayed in the order of FIG. 11A and FIG. 11B.
  • a first display area 250 is displayed on the upper part and a second display area 251 is displayed on the lower part, as shown in FIG. 11A.
  • a frame frame 252 that divides the display area 250 and the second display area 251 is displayed.
  • the first display area 250 displays a list of titles and links of a plurality of display data
  • the second display area 251 displays data related to the list data displayed in the list. For example, when the user selects a list display item in the first display area 250, detailed information (linked file) of the selected item is displayed in the second display area 251.
  • the user performs a drag operation by bringing a finger into contact with the frame frame 252 as indicated by an arrow 253. Then, as shown in FIG. 11B, the first display area 250 is enlarged and displayed.
  • the control unit 17 detects the drag operation, the control unit 17 acquires the frame frame 252 in which the drag operation has been performed, the operation amount and the operation direction, moves the frame frame 252 in accordance with the operation amount and the operation direction, and displays the first display area. 250 is enlarged and displayed on the display unit 11.
  • the second display area 251 decreases due to the enlargement of the first display area 250. For this reason, the display area of the first display area 250 and the display area of the second display area 251 are overlapped and displayed. In the overlapping region 254 where the first display region 250 and the second display region 250 overlap, the display of the second display region 251 is hidden, so that the operability (visibility) of the second display region 251 is deteriorated. To do. For this reason, as described in the first embodiment, vibration feedback is performed on the display unit 11 in accordance with the overlap between the enlarged first display area 250 and the second display area 251.
  • the control unit 17 When detecting the overlap between the first display area 250 and the second display area 251 to be enlarged, the control unit 17 starts the vibration of the vibration unit 16 and greatly vibrates the vibration unit 16 as the overlap region 254 widens. . Thereby, the influence on the display of the 2nd display area 251 by expansion of the 1st display area 250 can be grasped intuitively.
  • 12A and 12B are other display examples of the display unit 11 in the electronic apparatus 1 according to the present embodiment. It is a display example which expands and displays a 1st display area in order of Drawing 12A and Drawing 12B.
  • a first display area 260 is displayed on the upper part and a second display area 261 is displayed on the lower part, as shown in FIG.
  • a frame frame 262 that divides the display area 260 and the second display area 261 is displayed.
  • the first display area 260, the second display area 261, and the frame 262 are also GUI components.
  • the first display area 260 displays display data such as moving images
  • the second display area 261 displays buttons, icons, and the like for operating display data such as moving images. For example, when the user selects a button in the second display area 261, display data such as a moving image is reproduced in the first display area 260 in accordance with the button.
  • the user performs a drag operation by bringing a finger into contact with the frame frame 262 as indicated by an arrow 263. Then, as shown in FIG. 12B, the first display area 260 is enlarged and displayed.
  • the control unit 17 detects the drag operation, the control unit 17 acquires the frame frame 262 in which the drag operation is performed, the operation amount and the operation direction, moves the frame frame 262 in accordance with the operation amount and the operation direction, and also displays the first display area. 260 is enlarged and displayed on the display unit 11.
  • the second display area 261 decreases due to the enlargement of the first display area 260. For this reason, the display area of the first display area 260 and the display area of the second display area 261 are displayed so as to overlap each other. In the overlapping area 264 where the first display area 260 and the second display area 260 overlap, the display of the second display area 261 is hidden, so that the operability of the second display area 261 is deteriorated. For this reason, as described in the first embodiment, vibration feedback is performed on the display unit 11 in accordance with the overlap between the enlarged first display area 260 and the second display area 261.
  • the control unit 17 When the control unit 17 detects an overlap between the first display region 260 and the second display region 261 to be enlarged, the control unit 17 starts vibration control of the vibration unit 16 and greatly vibrates the vibration unit 16 as the overlap region 264 widens. Let Thereby, the influence on the display of the 2nd display area 261 by expansion of the 1st display area 260 can be grasped intuitively.
  • the first display area is changed according to the operation of the frame.
  • the display unit 11 is vibrated according to the amount of overlap with the second display area. For this reason, the user can intuitively grasp that the operability of the second display area deteriorates due to the enlargement of the first display area, and the deterioration of the operability can be suppressed.
  • FIG. 13 shows a control operation (control method) for tactile feedback of the electronic apparatus 1 according to the present embodiment.
  • a GUI component is displayed (S101), a user operation on the GUI component is detected (S102), and the GUI component is expanded (S103) or GUI in accordance with the user operation.
  • the part is moved (S104).
  • the overlap detection unit 35 determines the overlap between the enlarged or moved GUI part and the peripheral area of another GUI part by the GUI enlarged display of S103 or the GUI movement display of S104 (S201).
  • the overlap detection unit 35 detects whether or not the enlarged or moved GUI part area overlaps with the peripheral area of another GUI part, and further detects the amount of overlap.
  • the vibration control unit 36 vibrates the vibration part 16 according to the overlap with the detected peripheral area of the GUI part (S106).
  • the vibration control unit 36 controls the vibration of the vibration unit 16 according to the amount of overlap between the GUI component detected in S201 and the surrounding area.
  • the vibration control unit 36 selects a vibration pattern as shown in FIGS. 7A to 7D in accordance with the size of the overlap between the GUI component and the peripheral region, and outputs a vibration pattern control signal to the vibration unit 16.
  • the vibration control unit 36 causes the vibration unit 16 to vibrate more as the overlap amount between the GUI component and the peripheral region is larger, and causes the vibration unit 16 to vibrate smaller as the overlap amount of the GUI component is smaller.
  • the vibration control unit 36 vibrates the vibration part 16 according to the detected overlap of the GUI part. (S106).
  • the vibration control unit 36 selects a vibration pattern as shown in FIGS. 7A to 7D according to the overlap of the GUI parts, and outputs a vibration pattern control signal to the vibration unit 16.
  • the vibration control unit 36 causes the vibration unit 16 to vibrate more greatly as the GUI component overlap amount is larger, and causes the vibration unit 16 to vibrate smaller as the GUI component overlap amount is smaller. Further, the vibration is made larger than the vibration in the case of overlapping with the surrounding area (S202).
  • FIGS. 14A to 14C are display examples of the display unit 11 in the electronic apparatus 1 according to the present embodiment. Similarly to FIGS. 9A to 9C, the display example is an enlarged display of icons in the order of FIGS. 14A, 14B, and 14C.
  • a plurality of icons 201 to 204 are displayed on the display unit 11 as shown in FIG. 9A, as shown in FIG. 14A.
  • the user performs a pinch-out operation by bringing a finger into contact with the icon 201 as indicated by an arrow 205 and an arrow 206.
  • the icon 201 is enlarged and displayed as shown in FIG. 14B.
  • vibration feedback is performed on the display unit 11 in accordance with the overlap between the enlarged icon 201 and the peripheral area 202a of the icon 202.
  • the vibration of the display unit 11 is started, and the vibration unit 16 is vibrated greatly as the overlapping region 270 expands.
  • the user further performs a pinch-out operation by bringing a finger into contact with the icon 201 as indicated by arrows 207 and 208.
  • the icon 201 is further enlarged and displayed as shown in FIG. 14C.
  • vibration feedback is performed on the display unit 11 in accordance with the overlap between the enlarged icon 201 and the icon 202.
  • the vibration unit 16 is vibrated to a greater extent than when the icon 201 overlaps the surrounding area.
  • the vibration part 16 is vibrated greatly as the overlapping region 271 is expanded. Thereby, it is possible to intuitively grasp the influence of the enlargement of the icon 201 on the display of other icons.
  • an overlap between the enlarged or moved GUI component and the peripheral region of another GUI component is detected, and vibration feedback is performed according to the overlap amount with the peripheral region. For this reason, when the user enlarges or moves the GUI component, the user can intuitively understand the state before the GUI component approaches another GUI component. Therefore, since it can be known in advance that other GUI parts are hidden, deterioration of operability can be further suppressed.
  • the control unit stops the display area change instruction when the user stops giving an enlargement instruction by releasing his / her finger while vibration feedback is occurring. It is determined that the enlargement instruction has been made, and the enlargement instruction is canceled. That is, visually, when an enlargement instruction is given and the enlargement instruction is stopped due to vibration generated while another display object is enlarged, the other display object returns to the size before the enlargement instruction is given. On the other hand, if the enlargement instruction cannot be stopped even with vibration feedback, overlapping display may be allowed.
  • FIG. 15 shows an example of the control operation when performing vibration feedback according to the possibility that such GUIs overlap.
  • the control unit 17 GUI display unit 31
  • the control unit 17 operation detection unit 32
  • the control unit 17 determines a possibility that a GUI component to be enlarged or moved by a user operation overlaps with another GUI component (S303).
  • the control unit 17 specifies the display area of the GUI part after the enlargement or movement according to the user operation, and displays the GUI part after the enlargement or the movement and other GUI parts. It is detected whether or not the region overlaps, and the amount of overlap is calculated.
  • the control unit 17 vibrates the vibration unit 16 according to the detected overlap amount of the GUI component (S304).
  • the control unit 17 determines whether the user operation on the GUI component has been canceled (S305). For example, when it is detected that the user has lifted his / her finger from the touch panel during a pinch-out operation for enlarging the GUI component, or when a pinch-in operation has been performed in the reverse direction so as to restore enlargement by the pinch-out operation It is determined to be canceled. Also, it is canceled when it is detected that the user has lifted his / her finger from the touch panel during the drag operation for moving the GUI component, or when the drag operation is detected in the reverse direction so as to return the movement by the drag operation. Is determined.
  • the control unit 17 (GUI display unit 31) enlarges or moves the GUI component according to the user operation and displays it on the display unit 11 (S306).
  • the control unit 17 (GUI display unit 31) stops the enlargement or movement display of the GUI component (S307). For example, after the GUI part is enlarged or moved and displayed halfway, the GUI part is displayed after being returned to the state before enlargement or before the movement, or when the GUI part is not enlarged or moved, it is not enlarged or moved as it is.
  • the possibility that the GUI component to be enlarged or moved overlaps with another GUI component is detected, and vibration feedback is performed according to the overlap amount, so that another GUI can be specified by an instruction to enlarge or move the GUI component.
  • the user can intuitively grasp the state before the parts overlap. Therefore, since it can be known in advance that other GUI parts are hidden, deterioration of operability can be further suppressed.

Abstract

電子機器（１００）は、操作領域を示す複数の表示物を表示する表示部（１０１）と、表示部（１０１）の表示面に対する操作位置を検出する検出部（１０２）と、振動を発生する振動部（１０４）と、表示物の表示領域に対する重複有無を判別し、重複状態に応じて振動部（１０４）に対する振動指示を行う制御部（１０３）とを備えるものである。これにより、操作に応じて表示物が重複した場合に振動させることができるため、操作性の悪化を抑止することが可能となる

Description

電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、ユーザインタフェースを表示部に表示する電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体に関する。
　近年、スマートフォンやタブレット端末などの電子機器が普及してきている。このような電子機器では表示画面に対するユーザのタッチ操作（接触操作）を検出するタッチパネルが広く利用されている。
　タッチパネルを有する電子機器では、表示画面にＧＵＩ（Graphical User Interface）として複数のアイコンが表示されており、ユーザがタッチパネルを介してアイコンを操作すると、アイコンに対応したアプリケーションプログラムの処理が実行される。
　また、関連する電子機器は、高機能化及び多機能化が進んでいることから、表示画面に表示されるアイコン等のＧＵＩ部品の数が増えてきている。
　なお、関連する技術として、タッチパネルを操作して電子機器の画面表示を拡大する技術が特許文献１に記載されている。
特開２００８－２９９４７４号公報
　上記のように関連する電子機器では、表示されるアイコン等のＧＵＩ部品の数が増加する傾向にある。電子機器の表示画面に多くのＧＵＩ部品を表示しようとすると、各ＧＵＩ部品を小さく表示することになるため、ユーザがＧＵＩ部品をタッチ操作することが難しくなる。
　例えば、特許文献１に記載のように、関連する電子機器では、ユーザが表示画面の全体を拡大する操作を行い、表示画面に表示される全てのＧＵＩ部品を拡大することも可能である。
　しかしながら、特許文献１のように、全てのＧＵＩ部品を制限なく拡大して表示すると、画面内に全てのＧＵＩ部品を表示することが困難となる。例えば、機能的に常に表示する必要のあるＧＵＩ部品が表示されなくなると、ユーザが必要な操作を行うことができなくなる。
　このため、関連する技術では、ＧＵＩ部品を拡大して表示すると、他のＧＵＩ部品の表示に影響が生じるため、操作性が悪化するという問題があった。
　本発明の目的は、このような問題を解決する電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体を提供することである。
　本発明に係る電子機器は、操作領域を示す複数の表示物を表示する表示部と、前記表示部の表示面に対する操作位置を検出する検出部と、振動を発生する振動部と、前記表示物の表示領域に対する重複有無を判別し、重複状態に応じて前記振動部に対する振動指示を行う制御部とを備えるものである。
　本発明に係る電子機器の制御方法は、操作領域を示す複数の表示物を表示部に表示し、前記表示部の表示面に対する操作位置を検出し、前記表示物の表示領域に対する重複有無を判別し、重複状態に応じて、振動を発生する振動部に対する振動指示を行うものである。
　本発明に係る電子機器の制御プログラムが格納された非一時的なコンピュータ可読媒体は、電子機器の制御処理をコンピュータに実行させるための制御プログラムであって、操作領域を示す複数の表示物を表示部に表示し、前記表示部の表示面に対する操作位置を検出し、前記表示物の表示領域に対する重複有無を判別し、重複状態に応じて、振動を発生する振動部に対する振動指示を行うものである。
　本発明によれば、操作性の悪化を抑止することが可能な電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
本発明に係る電子機器の主要な特徴を説明するための構成図である。 実施の形態１に係る電子機器の外観構成を示す構成図である。 実施の形態１に係る電子機器の外観構成を示す構成図である。 実施の形態１に係る表示モジュールの構成を示す構成図である。 実施の形態１に係る表示モジュールの構成を示す構成図である。 実施の形態１に係る表示モジュールの構成を示す構成図である。 実施の形態１に係る電子機器のハードウェアブロックの構成を示す構成図である。 実施の形態１に係る電子機器の機能ブロックの構成を示す構成図である。 実施の形態１に係る電子機器の振動パターンを示す波形図である。 実施の形態１に係る電子機器の振動パターンを示す波形図である。 実施の形態１に係る電子機器の振動パターンを示す波形図である。 実施の形態１に係る電子機器の振動パターンを示す波形図である。 実施の形態１に係る電子機器の制御方法を示すフローチャートである。 実施の形態２に係る表示部に表示する表示画面のイメージ図である。 実施の形態２に係る表示部に表示する表示画面のイメージ図である。 実施の形態２に係る表示部に表示する表示画面のイメージ図である。 実施の形態２に係る表示部に表示する表示画面のイメージ図である。 実施の形態２に係る表示部に表示する表示画面のイメージ図である。 実施の形態３に係る表示部に表示する表示画面のイメージ図である。 実施の形態３に係る表示部に表示する表示画面のイメージ図である。 実施の形態３に係る表示部に表示する表示画面のイメージ図である。 実施の形態３に係る表示部に表示する表示画面のイメージ図である。 実施の形態４に係る電子機器の制御方法を示すフローチャートである。 実施の形態４に係る表示部に表示する表示画面のイメージ図である。 実施の形態４に係る表示部に表示する表示画面のイメージ図である。 実施の形態４に係る表示部に表示する表示画面のイメージ図である。 その他の実施の形態に係る電子機器の制御方法を示すフローチャートである。
（本発明の特徴）
　本発明の実施の形態の説明に先立って、図１を用いて、本発明の特徴についてその概要を説明する。図１に示すように、本発明に係る電子機器１００は、表示部１０１、検出部１０２、制御部１０３、振動部１０４を備えている。
　表示部１０１は、操作領域を示す複数の表示物を表示し、検出部１０２は、表示部の表示面に対する操作位置を検出し、制御部１０３は、表示物の表示領域に対する重複有無を判別し、重複状態に応じて、振動を発生する振動部１０４に対する振動指示を行うことを、本発明の主要な特徴としている。
　このように本発明に係る電子機器１００では、ユーザが表示部１０１に表示される表示物に対し操作を行うと、表示物の表示領域の重複状態に応じて振動部１０４が振動し、ユーザに触覚フィードバックが行われる。このため、表示物の変更操作により他の表示物の表示に影響が生じることを、ユーザが直感的に把握することができる。したがって、ユーザが表示物の変更操作を続けるかどうか判断できるため、操作性の悪化を抑止することができる。
　すなわち、本発明では、表示物（オブジェクト）であるアプリケーションのＧＵＩをユーザが変更しようとしたときにハプティクス（振動）で、操作領域が隠れるそうだとユーザへ警告する。アプリケーションのＧＵＩで、操作ボタンの大きさを拡大しようとするときに、ユーザが画面を目視しながら画面操作を行わないと、他の操作ボタンを隠してしまうことがあるため、ユーザにとって煩わしく操作性が悪かった。
　そこで、本発明では、アプリケーションのＧＵＩに複数の操作ボタン（各操作ボタンはユーザによって表示操作領域を拡大するなどのカスタマイズが可能）が配置されており、第１の操作ボタンの操作表示領域を拡大（例えば操作しやすくするための目的で）する操作をする途中で、第２の操作ボタンの操作表示領域の上まで拡大させてしまい、拡大を続けると第２の操作ボタンの操作表示が難しい状態になる場合に徐々に振動を大きくしていき、ユーザにフィードバックをする。
　例えば、アプリケーション側に、ユーザによって操作ボタンの操作表示領域を拡大縮小させる拡大操作手段と、当該拡大操作手段によって拡大対象となっている操作ボタンが他の操作ボタンの操作表示領域を隠してないかを判断する判断手段と、当該判断手段が他の操作ボタンの操作表示領域を隠していると判断された場合に、隠れている面積（全体面積のうちの隠れてしまった面積の割合でも良い）を算出する算出手段と、当該算出手段によって他の操作ボタンの操作表示領域の隠れた面積が広くなるに従って振動を大きくする振動制御手段とを備える。これにより、ユーザが画面表示を目視で確認するよりも、ＧＵＩを容易にカスタマイズすることが可能になる。
（実施の形態１）
　以下、図面を参照して実施の形態１について説明する。図２Ａは、本実施の形態に係る電子機器１の正面外観図であり、図２Ｂはその側面外観図である。電子機器１は、例えば、スマートフォン、タブレット型の携帯端末装置、携帯電話、ゲーム機、電子書籍端末などユーザが携帯可能な電子機器である。なお、ユーザが表示画面をタッチ操作（接触操作）可能な電子機器であればよく、その他、パーソナルコンピュータ等のコンピュータ装置であってもよい。
　図２Ａ及び図２Ｂに示すように、本実施の形態に係る電子機器１は、主面に配置される表示モジュール１０と、裏面に配置される筐体２０とを備えている。筐体２０は、その断面が凹型に形成されており、表示モジュール１０の裏面全体を覆うように固定して配置されている。
　なお、主面（表面）とは、電子機器１において、ユーザが把持した状態でユーザ側に対向する面であり、主にユーザと入出力を行う入出力面、すなわち、ユーザにＧＵＩ等を表示する表示面でもあり、ユーザが入力操作を行う操作面でもある。また、裏面（背面）とは、電子機器１において主面と反対側の面である。
　表示モジュール１０は、ＧＵＩ等を表示する表示部（表示画面）１１、ユーザが入力操作を行うタッチパネル１２を有している。また、表示モジュール１０（電子機器１の主面）は、ユーザ自身等を撮像するためのカメラ１３、音声等を入力するマイク１４、音声等を出力するスピーカ１５を有している。例えば、表示モジュール１０の表示部１１がアイコン等のＧＵＩ部品を表示し、ユーザがタッチパネル１２に指などで触れてＧＵＩ部品を操作すると、操作に応じた処理（機能）を実行する。
　図３Ａは、本実施の形態に係る表示モジュール１０の正面図であり、図３Ｂはその側面図である。図３Ａ及び図３Ｂに示すように、表示モジュール１０は、表示部１１と、表示部１１の表面側（主面側）に配置されたタッチパネル１２とを有する。表示部１１は、タッチパネル１２の背面（裏面）中央部に、接着剤等により接合されており、タッチパネル１２を介してユーザが視認する表示部１１の表面の領域が表示領域（表示画面）となる。
　また、タッチパネル１２の背面の一端部に振動部１６が配置されている。例えば、振動部１６は、接着剤等によりタッチパネル１２に接合されている。振動部１６は、ユーザに触覚フィードバックを行うための触覚（ハプティクス）素子である。図３Ａ及び図３Ｂに示すように、表示モジュール１０に振動部１６を備えることで、タッチパネル１２に対する操作に応じた振動をユーザへ伝えることができる。
　図３Ａ及び図３Ｂに示すように、表示モジュール１０に１つの振動部１６を配置してもよいし、図４に示すように、表示モジュール１０に複数の振動部１６を配置してもよい。図４は、４つの振動部１６ａ～１６ｄを配置した例であり、表示部１１の角部近傍にそれぞれ振動部１６ａ～１６ｄを配置している。表示部１１の画面サイズが小さい場合には、図３Ａ及び図３Ｂのように１つの振動部によりユーザへ振動を正確に伝えることができる。表示部１１の画面サイズが大きい場合には、図４のように複数の振動部を配置し、ユーザの操作している領域に近い振動部を振動させることで、ユーザへ操作位置に応じた振動を精度よく伝えることができる。
　図５は、本実施の形態に係る電子機器１のハードウェアブロックの構成を示している。図５に示すように、電子機器１は、図２Ａ及び図２Ｂ～図４と同様、表示部１１、タッチパネル１２、カメラ１３、マイク１４、スピーカ１５、振動部１６を備えており、さらに、制御部１７、無線通信部１９、記憶部１８を有している。
　制御部１７は、各部の動作を制御する制御部であり、例えばＣＰＵ等である。制御部１７は、記憶部１８に記憶されている制御プログラムやアプリケーションプログラムを実行し、入力操作や各プログラムにしたがって、表示等の出力動作を制御する。
　無線通信部１９は、基地局や他の通信装置等と無線通信を行うための通信部である。無線通信部１９は、通話等のための音声信号を送受信し、また、アプリケーションプログラムが処理し表示するためのアプリケーションデータ等を送受信する。なお、無線に限らず有線通信やその他の通信制御を行ってもよい。
　表示部１１は、液晶ディスプレイや有機ＥＬディスプレイ等の表示ディスプレイである。表示部１１は、制御部１７からの指示にしたがってアイコン等のＧＵＩ部品を表示する。
　タッチパネル１２は、図３Ａ及び図３Ｂのように表示部１１に貼り付けられており、表示部１１に対するユーザのタッチ操作（接触操作）を検出する。タッチパネル１２は、静電容量などを用いてユーザの指が触れた表示部１１上の位置を検出し、検出した位置を示す信号を制御部１７へ出力する。
　振動部１６は、図３Ａ及び図３Ｂのようにタッチパネル１２に貼り付けられており、振動によってユーザへ触覚フィードバックを行う。振動部１６は、圧電素子等であり、制御部１７からユーザ操作に応じた制御信号が供給され、制御信号に基づいた強さや長さでタッチパネル１２（表示部）を振動させる。
　カメラ１３は、ユーザを撮像する撮像素子や、電子機器１の裏面に配置した撮像素子である。カメラ１３により静止画や動画を撮影した画像データが制御部１７へ出力される。制御部１７は、画像データを表示部１１へ表示したり、記憶部１８へ記憶したりする。
　マイク１４は、ユーザからの音声等を入力し、スピーカ１５は、ユーザへ音声等を出力する。例えば、マイク１４にユーザから入力される音声に応じた音声信号を無線通信部１９を介して送信し、無線通信部１９が受信した音声信号に応じた音声をスピーカ１５からユーザへ出力する。
　記憶部１８は、フラッシュメモリ等の記憶部であり、制御部１７や各部の動作に必要な情報が記憶される。例えば、記憶部１８は、制御部１７で実行される制御プログラムやアプリケーションプログラム、ＧＵＩ等の表示に必要な表示データ等が記憶される。
　図６は、本実施の形態に係る電子機器１の制御部１７で実現される機能ブロックの構成を示している。図６に示すように、制御部１７は、ＧＵＩ表示部３１、操作検出部３２、ＧＵＩ拡大部３３、ＧＵＩ移動部３４、重なり検出部３５、振動制御部３６を有している。図６の機能ブロックは一例であり、図８で後述する本実施形態に係る制御動作が実現できればその他のブロック構成であってもよい。例えば、ＧＵＩ表示部３１、ＧＵＩ拡大部３３、ＧＵＩ移動部３４、重なり検出部３５、振動制御部３６を一つの制御部としてもよい。
　なお、図６の各ブロック（機能部もしくは処理部）を、ハードウェア又はソフトウェア、もしくはその両方によって構成してもよい。例えば、制御部１７の各ブロックは、本実施形態に係る制御動作を行うための制御プログラムをＣＰＵ（コンピュータ）で実行することにより実現される。
　このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　ＧＵＩ表示部３１は、表示部１１にアイコン等のＧＵＩ部品を表示するように制御する。アプリケーションプログラムが制御部１７で実行されると、ＧＵＩ表示部３１は、アプリケーションプログラムの操作に必要なＧＵＩ部品を表示する。ＧＵＩ部品（表示物）は、ユーザインタフェースとして表示部１１に表示される種々の図形であり、例えば、アイコンやボタン、フレーム、ウィンドウ、操作領域等が含まれる。
　操作検出部３２は、タッチパネル１２によりユーザのタッチ操作を受け付け、どのような操作が行われたのかを検出する。操作検出部３２は、表示部１１に表示されたアイコン等のＧＵＩ部品をユーザが操作すると、タッチパネル１２から操作に応じた位置信号が入力され、ＧＵＩ部品に対するユーザ操作を検出する。操作検出部３２は、タッチパネル１２に対するユーザの操作に応じて、フリック操作、ドラッグ操作、タップ操作、ダブルタップ操作、ピンチイン操作、ピンチアウト操作等を検出し、入力操作を検出したことを各部へ通知する。
　ＧＵＩ拡大部３３は、表示部１１に表示されているアイコン等のＧＵＩ部品に対するユーザ操作に応じて、ＧＵＩ部品を拡大して表示する。例えば、ＧＵＩ拡大部３３は、ユーザが表示部１１のＧＵＩ部品に対しピンチアウト操作を行うと、ピンチアウト動作に応じてＧＵＩ部品の表示領域（ＧＵＩ領域）を拡大して表示する。
　ＧＵＩ移動部３４は、表示部１１に表示されているアイコン等のＧＵＩ部品に対するユーザ操作に応じて、ＧＵＩ部品を移動して表示する。例えば、ＧＵＩ移動部３４は、ユーザが表示部１１のＧＵＩ部品に対しドラッグ操作を行うと、ドラッグ操作に応じてＧＵＩ部品の表示領域（ＧＵＩ領域）を移動して表示する。
　重なり検出部３５は、ＧＵＩ拡大部３３やＧＵＩ移動部３４が拡大または移動したＧＵＩ部品の表示領域と、他のＧＵＩ部品の表示領域との重なりを検出する。重なり検出部３５は、拡大または移動したＧＵＩ部品の位置（表示領域）と、他のＧＵＩ部品の位置（表示領域）とを比較し、ＧＵＩ部品が重なって表示されるかどうか検出し、また、重なっている重なり量（隠れてしまう面積や面積の割合）を算出する。移動または拡大操作による重なり（隠れ）を検出するＧＵＩは、少なくとも表示が隠れることにより操作性が悪化するＧＵＩである。例えば、制御部１７もしくは記憶部１８は、ＧＵＩごとに表示する優先度を記憶しており、優先度に基づいて重なりを検出し振動制御を行う。操作するＧＵＩよりも優先度が高いＧＵＩと重なる場合に、重なりを検出して振動制御を行ってもよい。また、ＧＵＩごとの操作頻度に基づいて重なりを検出し振動制御を行う。操作するＧＵＩよりもユーザの使用頻度が高いＧＵＩと重なる場合に、重なりを検出して振動制御を行ってもよい。また、ＧＵＩの機能に基づいて重なりを検出し振動制御を行う。操作するＧＵＩが電子機器１の基本的な機能、例えば、通話やメール等のためのＧＵＩと重なる場合に、重なりを検出して振動制御を行ってもよい。
　振動制御部３６は、表示部１１に表示されているＧＵＩ部品をユーザが操作すると、操作されたＧＵＩ部品の重なりに応じて振動部１６を振動制御する。振動制御部３６は、重なり検出部３５が検出したＧＵＩの重なり量に応じた大きさで振動部１６を振動させる。振動制御部３６は、重なり量が大きいほど振動部１６を大きく振動させ、重なり量が小さいほど振動部１６を小さく振動させる。また、重なるＧＵＩごとに振動を制御してもよい。例えば、ＧＵＩの種類や表示する優先度等に応じて振動を制御する。
　振動制御部３６は、ＧＵＩ部品の重なり量（重複面積や面積の割合）に応じて振動部１６の振動パターンを制御する。図７Ａ～図７Ｄは、振動制御部３６が制御する振動部１６の振動パターンの一例を示している。例えば、振動パターンの制御として、振動の強さ、振動する時間、振動の周期、振動のリズム等を表示データに応じて複数段階に切り替える。なお、振動の強さ、振動する時間、振動の周期、振動のリズム等を組み合わせて、より多くの振動パターンを生成してもよい。すなわち、振動をより大きく制御することには、振動レベル（強度）をより強く制御すること、振動時間をより長く制御すること、振動周期をより短く制御すること、振動リズムのテンポをより速く制御することのいずれかまたは組み合わせを含む。振動をより小さく制御することには、振動レベル（強度）をより弱く制御すること、振動時間をより短く制御すること、振動周期をより長く制御すること、振動リズムのテンポをより遅く制御することのいずれかまたは組み合わせを含む。
　図７Ａは、振動レベルの強さを２段階に制御する例である。例えば、ＧＵＩ部品の重なり量が大きい場合には、振動パターンの最大レベルを大きくしてより強く振動するように制御し（ａ－１）、ＧＵＩ部品の重なり量が小さい場合には、振動パターンの最大レベルを小さくしてより弱く振動するように制御する（ａ－２）。
　図７Ｂは、振動時間の長さを２段階に制御する例である。例えば、ＧＵＩ部品の重なり量が大きい場合には、振動パターンの期間を長くしてより長く振動するように制御し（ｂ－１）、ＧＵＩ部品の重なり量が小さい場合には、振動パターンの期間を短くしてより短く振動するように制御する（ｂ－２）。
　図７Ｃは、振動パターンの周期（周波数）を２段階に制御する例である。例えば、ＧＵＩ部品の重なり量が大きい場合には、振動パターンの周期を短くしてより速く振動するように制御し（ｃ－１）、ＧＵＩ部品の重なり量が小さい場合には、振動パターンの周期を長くしてよりゆっくり振動するように制御する（ｃ－２）。
　図７Ｄは、振動パターンのリズムを２段階に制御する例である。例えば、ＧＵＩ部品の重なり量が大きい場合には、振動パターンのリズムを２拍ずつとしてより速いテンポで多く振動するように制御し（ｄ－１）、ＧＵＩ部品の重なり量が小さい場合には、振動パターンのリズムを１拍ずつとしてより遅いテンポで少なく振動するように制御する（ｄ－２）。
　図８は、本実施の形態に係る電子機器１の触覚フィードバックのための制御動作（制御方法）を示している。
　まず、ＧＵＩ表示部３１は、ＧＵＩ部品を表示部１１に表示する（Ｓ１０１）。例えば、電子機器１が起動された場合や、アプリケーションプログラムが実行された場合に、ＧＵＩ表示部３１は、起動プログラムやアプリケーションプログラムにしたがって、表示部１１にアイコン等のＧＵＩ部品を表示する。
　続いて、操作検出部３２は、タッチパネル１２に入力されるＧＵＩ部品に対するユーザの操作を検出する（Ｓ１０２）。操作検出部３２は、タッチパネル１２からユーザ操作を受け付け、ユーザ操作が、ＧＵＩ部品を拡大するためのＧＵＩ拡大操作であるか、あるいは、ＧＵＩ部品を移動するためのＧＵＩ移動操作であるか否か判定する。
　操作検出部３２は、任意のタッチパターンを検出し、タッチパターンに応じた動作を各部に実行させる。例えば、ＧＵＩ拡大操作をＧＵＩ部品に対するピンチアウト操作とし、ＧＵＩ移動操作をＧＵＩ部品に対するドラッグ操作とする。また、各操作を、ユーザが操作する領域に応じて識別してもよい。例えば、ＧＵＩ拡大または移動用の操作領域を表示し、この操作領域を操作した場合にＧＵＩ部品の拡大または移動操作であると判定してもよい。
　Ｓ１０２において、ユーザ操作がＧＵＩ拡大操作である場合、ＧＵＩ拡大部３３は、ユーザ操作にしたがってＧＵＩ部品を拡大して表示する（Ｓ１０３）。例えば、ユーザが表示されているＧＵＩ部品に対してピンチアウト操作を行うと、操作検出部３２はＧＵＩ拡大操作であると判定し、ＧＵＩ拡大部３３は、ユーザ操作に応じてＧＵＩ部品の表示領域を拡大して表示する。
　Ｓ１０２において、ユーザ操作がＧＵＩ移動操作である場合、ＧＵＩ移動部３４は、ユーザ操作にしたがってＧＵＩ部品を移動して表示する（Ｓ１０４）。例えば、ユーザが表示されているＧＵＩ部品に対してドラッグ操作を行うと、操作検出部３２はＧＵＩ移動操作であると判定し、ＧＵＩ移動部３４は、ユーザ操作に応じてＧＵＩ部品の表示領域を移動して表示する。
　続いて、重なり検出部３５は、Ｓ１０３のＧＵＩ拡大表示、またはＳ１０４のＧＵＩ移動表示により、拡大または移動したＧＵＩ部品と他のＧＵＩ部品との重なりを判定する（Ｓ１０５）。重なり検出部３５は、拡大または移動したＧＵＩ部品の領域と、他のＧＵＩ部品の領域とが重なっているかどうか検出し、さらに、どの程度重なっているのか重なり量（面積または面積の割合）を算出する。
　拡大または移動したＧＵＩ部品と他のＧＵＩ部品とが重なっている場合、振動制御部３６は、検出したＧＵＩ部品の重なりに応じて振動部１６を振動させる（Ｓ１０６）。振動制御部３６は、Ｓ１０５で検出したＧＵＩ部品の重なり量に応じて、振動部１６の振動を制御する。振動制御部３６は、ＧＵＩ部品の重なりの大小に応じて、図７Ａ～図７Ｄで示したような振動パターンを選択し、振動パターンの制御信号を振動部１６へ出力する。振動制御部３６は、ＧＵＩ部品の重なり量が大きいほど振動部１６を大きく振動させ、ＧＵＩ部品の重なり量が小さいほど振動部１６を小さく振動させる。その後さらに、拡大操作または移動操作が続く場合には、Ｓ１０３～Ｓ１０６により振動制御を繰り返す。
　なお、ＧＵＩ部品が重なってすぐに振動を開始しなくてもよい。例えば、ＧＵＩ部品の重なりが検出され、さらにＧＵＩ部品が操作できなくなる程度（所定の面積）まで、ＧＵＩ部品が隠れた場合に振動するように制御してもよい。
　以上のように本実施の形態では、電子機器の表示部に複数のＧＵＩ部品を表示し、ユーザがＧＵＩ部品に対し拡大または移動操作を行った場合に、操作したＧＵＩ部品と他のＧＵＩ部品との重なりを検出し、重なり量に応じて振動フィードバックを行う。このため、ユーザがＧＵＩ部品を拡大または移動したときの、他のＧＵＩ部品との重なりを直感的に把握することができる。したがって、他のＧＵＩ部品が隠れて表示されることによる操作性の悪化を抑止することができる。
（実施の形態２）
　以下、図面を参照して実施の形態２について説明する。本実施の形態では、主に、実施の形態１で示した電子機器１における画面イメージの例について説明する。特に、本実施の形態では、ＧＵＩ部品として第１のアイコンと第２のアイコンとが重なって表示される場合の例について説明する。なお、ここではアイコンの表示例について説明するが、表示部１１に表示するオブジェクト（表示物）には、ＧＵＩ、アイコン、ウィンドウ、操作領域等を含む。例えば、ウィンドウには、ボタンやメニュー、テキストボックス等の複数のＧＵＩ部品の表示を含み、また、単に画像等の表示データのみを表示するウィンドウも含む。操作領域には、アイコンやボタン、手書き領域等の複数のＧＵＩ部品を含む。
　図９Ａ～図９Ｃは、本実施の形態に係る電子機器１における表示部１１の表示例である。図９Ａ、図９Ｂ、図９Ｃの順にアイコンを拡大表示する表示例である。
　例えば、電子機器１を起動すると、図９Ａのように、表示部１１には複数のアイコン２０１～２０４が表示される。アイコン２０１～２０４は、各種アプリケーションプログラムを実行するためのＧＵＩ部品（ボタン）である。すなわち、アイコン２０１～２０４に対しユーザがタップ操作を行うと、アイコン２０１～２０４に対応するアプリケーションプログラムが実行される。
　図９Ａの画面表示において、ユーザが、アイコン２０１に対し、矢印２０５及び矢印２０６のように指を接触させてピンチアウト操作を行う。そうすると、図９Ｂのように、アイコン２０１が拡大して表示される。アイコン２０１に対しピンチアウト操作を行うと、アイコン２０１のみが拡大表示され、他のアイコン２０２～２０４の表示は変更されない。制御部１７は、ピンチアウト操作を検出すると、ピンチアウト操作が行われたアイコン２０１と操作量を取得し、操作量に応じてアイコン２０１を拡大して表示部１１に表示する。
　関連する電子機器では、表示部に対し拡大操作を行うと全てのアイコンが拡大表示されていた。このため、拡大する必要のないアイコンまで拡大表示されることになり、全てのアイコンの操作性に影響が生じていた。図９Ｂのように、操作対象のアイコンのみを拡大表示することで、他のアイコンの操作性に影響を与えることなく、ユーザ所望のアイコンの操作性を向上させることができる。
　図９Ｂの画面表示において、さらに、ユーザがアイコン２０１に対し、矢印２０７及び矢印２０８のように指を接触させてピンチアウト操作を行う。そうすると、制御部１７は、図９Ｃのように、アイコン２０１をさらに拡大して表示部１１に表示する。アイコン２０１の拡大により、アイコン２０１の表示領域と、アイコン２０２の表示領域とが重なって表示される。アイコン２０１とアイコン２０２が重なった重なり領域２０９では、アイコン２０２の表示が隠れてしまうため、アイコン２０２の操作性が悪化する。このため、実施の形態１で説明したように、拡大したアイコン２０１とアイコン２０２との重なりに応じて表示部１１に対し振動フィードバックを行う。
　制御部１７は、拡大するアイコン２０１とアイコン２０２との重なりを検出すると、振動部１６の振動制御を開始し、重なり領域２０９が広がるにしたがって振動部１６を大きく振動させる。これにより、アイコン２０１の拡大による他のアイコンの表示への影響を直感的に把握することができる。
　図１０Ａ及び図１０Ｂは、本実施の形態に係る電子機器１における表示部１１の他の表示例である。図１０Ａ、図１０Ｂの順にアイコンを移動表示する表示例である。例えば、図９Ａと同様に、電子機器１を起動すると、図１０Ａのように、表示部１１には複数のアイコン２０１～２０４が表示される。
　図１０Ａの画面表示において、ユーザが、アイコン２０１に対し、矢印２１０のように指を接触させてドラッグ操作を行う。そうすると、図１０Ｂのように、アイコン２０１が移動して表示される。制御部１７は、ドラッグ操作を検出すると、ドラッグ操作が行われたアイコン２０１と操作量及び操作方向を取得し、操作量及び操作方向に応じてアイコン２０１を移動して表示部１１に表示する。
　アイコン２０１の移動により、アイコン２０１の表示領域と、アイコン２０２の表示領域とが重なって表示される。アイコン２０１とアイコン２０２が重なった重なり領域２１１では、アイコン２０２の表示が隠れてしまうため、アイコン２０２の操作性が悪化する。このため、実施の形態１で説明したように、移動したアイコン２０１とアイコン２０２との重なりに応じて表示部１１に対し振動フィードバックを行う。
　制御部１７は、移動するアイコン２０１とアイコン２０２との重なりを検出すると、振動部１６の振動制御を開始し、重なり領域２１１が広がるにしたがって振動部１６を大きく振動させる。これにより、アイコン２０１の移動による他のアイコンの表示への影響を直感的に把握することができる。
　以上のように、本実施の形態では、複数のアイコンを表示部に表示した場合の画面表示において、１つのアイコンに対する拡大または移動操作に応じてアイコンの表示領域を変更し、他のアイコンとの重なり量に応じて表示部１１を振動させることとした。このため、アイコンの拡大または移動により他のアイコンの操作性が悪化することをユーザが直感的に把握でき、操作性の悪化を抑止することができる。
（実施の形態３）
　以下、図面を参照して実施の形態３について説明する。本実施の形態では、主に、実施の形態１で示した電子機器１における画面イメージの例について説明する。特に、本実施の形態では、ＧＵＩ部品として第１の表示領域と第２の表示領域とが重なって表示される場合の例について説明する。
　図１１Ａ及び図１１Ｂは、本実施の形態に係る電子機器１における表示部１１の表示例である。図１１Ａ、図１１Ｂの順に第１の表示領域を拡大表示する表示例である。
　例えば、所定のアプリケーションプログラムを実行すると、図１１Ａのように、表示部１１には、上部に第１の表示領域２５０が表示され、下部に第２の表示領域２５１とが表示され、第１の表示領域２５０と第２の表示領域２５１とを区切るフレーム枠２５２が表示される。なお、このような第１の表示領域２５０、第２の表示領域２５１及びフレーム枠２５２もＧＵＩ部品である。第１の表示領域２５０は、複数の表示データのタイトルやリンク等がリスト表示され、第２の表示領域２５１は、リスト表示されたリストデータに関連するデータが表示される。例えば、第１の表示領域２５０におけるリスト表示の項目をユーザが選択すると、第２の表示領域２５１に、選択した項目の詳細な情報（リンクされているファイル）等が表示される。
　図１１Ａの画面表示において、ユーザが、フレーム枠２５２に対し、矢印２５３のように指を接触させてドラッグ操作を行う。そうすると、図１１Ｂのように、第１の表示領域２５０が拡大して表示される。制御部１７は、ドラッグ操作を検出すると、ドラッグ操作が行われたフレーム枠２５２と操作量及び操作方向を取得し、操作量及び操作方向に応じてフレーム枠２５２を移動するとともに第１の表示領域２５０を拡大して表示部１１に表示する。
　第１の表示領域２５０の拡大により、第２の表示領域２５１が減少する。このため、第１の表示領域２５０の表示領域と、第２の表示領域２５１の表示領域とが重なって表示される。第１の表示領域２５０と第２の表示領域２５０が重なった重なり領域２５４では、第２の表示領域２５１の表示が隠れてしまうため、第２の表示領域２５１の操作性（視認性）が悪化する。このため、実施の形態１で説明したように、拡大した第１の表示領域２５０と第２の表示領域２５１との重なりに応じて表示部１１に対し振動フィードバックを行う。
　制御部１７は、拡大する第１の表示領域２５０と第２の表示領域２５１との重なりを検出すると、振動部１６の振動を開始し、重なり領域２５４が広がるにしたがって振動部１６を大きく振動させる。これにより、第１の表示領域２５０の拡大による第２の表示領域２５１の表示への影響を直感的に把握することができる。
　図１２Ａ及び図１２Ｂは、本実施の形態に係る電子機器１における表示部１１の他の表示例である。図１２Ａ、図１２Ｂの順に第１の表示領域を拡大表示する表示例である。
　例えば、所定のアプリケーションプログラムを実行すると、図１２Ａのように、表示部１１には、上部に第１の表示領域２６０が表示され、下部に第２の表示領域２６１とが表示され、第１の表示領域２６０と第２の表示領域２６１とを区切るフレーム枠２６２が表示される。なお、このような第１の表示領域２６０、第２の表示領域２６１及びフレーム枠２６２もＧＵＩ部品である。第１の表示領域２６０は、動画等の表示データが表示され、第２の表示領域２６１は、動画等の表示データを操作するためのボタンやアイコン等が表示される。例えば、第２の表示領域２６１におけるボタンをユーザが選択すると、第１の表示領域２６０に、ボタンに応じて動画等の表示データの再生等が行われる。
　図１２Ａの画面表示において、ユーザが、フレーム枠２６２に対し、矢印２６３のように指を接触させてドラッグ操作を行う。そうすると、図１２Ｂのように、第１の表示領域２６０が拡大して表示される。制御部１７は、ドラッグ操作を検出すると、ドラッグ操作が行われたフレーム枠２６２と操作量及び操作方向を取得し、操作量及び操作方向に応じてフレーム枠２６２を移動するとともに第１の表示領域２６０を拡大して表示部１１に表示する。
　第１の表示領域２６０の拡大により、第２の表示領域２６１が減少する。このため、第１の表示領域２６０の表示領域と、第２の表示領域２６１の表示領域とが重なって表示される。第１の表示領域２６０と第２の表示領域２６０が重なった重なり領域２６４では、第２の表示領域２６１の表示が隠れてしまうため、第２の表示領域２６１の操作性が悪化する。このため、実施の形態１で説明したように、拡大した第１の表示領域２６０と第２の表示領域２６１との重なりに応じて表示部１１に対し振動フィードバックを行う。
　制御部１７は、拡大する第１の表示領域２６０と第２の表示領域２６１との重なりを検出すると、振動部１６の振動制御を開始し、重なり領域２６４が広がるにしたがって振動部１６を大きく振動させる。これにより、第１の表示領域２６０の拡大による第２の表示領域２６１の表示への影響を直感的に把握することができる。
　以上のように、本実施の形態では、第１の表示表域と第２の表示領域とを表示部に表示した場合の画面表示において、フレーム枠の操作に応じて第１の表示領域を変更し、第２の表示領域との重なり量に応じて表示部１１を振動させることとした。このため、第１の表示領域の拡大により第２の表示領域の操作性が悪化することをユーザが直感的に把握でき、操作性の悪化を抑止することができる。
（実施の形態４）
　以下、図面を参照して実施の形態４について説明する。本実施の形態は、実施の形態１における重なり検出において、ＧＵＩ部品の周辺領域との重なりを検出する例について説明する。
　図１３は、本実施の形態に係る電子機器１の触覚フィードバックのための制御動作（制御方法）を示している。
　まず、実施の形態１の図８と同様に、ＧＵＩ部品を表示し（Ｓ１０１）、ＧＵＩ部品に対するユーザ操作を検出し（Ｓ１０２）、ユーザ操作に応じて、ＧＵＩ部品の拡大（Ｓ１０３）、またはＧＵＩ部品の移動（Ｓ１０４）を行う。
　続いて、重なり検出部３５は、Ｓ１０３のＧＵＩ拡大表示、またはＳ１０４のＧＵＩ移動表示により、拡大または移動したＧＵＩ部品と他のＧＵＩ部品の周辺領域との重なりを判定する（Ｓ２０１）。重なり検出部３５は、拡大または移動したＧＵＩ部品の領域と、他のＧＵＩ部品の周辺領域とが重なっているかどうか検出し、さらに、どの程度重なっているのか重なり量を検出する。
　拡大または移動したＧＵＩ部品と他のＧＵＩ部品の周辺領域とが重なっている場合、振動制御部３６は、検出したＧＵＩ部品の周辺領域との重なりに応じて振動部１６を振動させる（Ｓ１０６）。振動制御部３６は、Ｓ２０１で検出したＧＵＩ部品と周辺領域との重なり量に応じて、振動部１６の振動を制御する。振動制御部３６は、ＧＵＩ部品と周辺領域の重なりの大小に応じて、図７Ａ～図７Ｄで示したような振動パターンを選択し、振動パターンの制御信号を振動部１６へ出力する。振動制御部３６は、ＧＵＩ部品と周辺領域とのの重なり量が大きいほど振動部１６を大きく振動させ、ＧＵＩ部品の重なり量が小さいほど振動部１６を小さく振動させる。
　また、拡大または移動したＧＵＩ部品と他のＧＵＩ部品との重なりを判定し（Ｓ１０５）、両者が重なっている場合、振動制御部３６は、検出したＧＵＩ部品の重なりに応じて振動部１６を振動させる（Ｓ１０６）。振動制御部３６は、ＧＵＩ部品の重なりの大小に応じて、図７Ａ～図７Ｄで示したような振動パターンを選択し、振動パターンの制御信号を振動部１６へ出力する。振動制御部３６は、ＧＵＩ部品の重なり量が大きいほど振動部１６を大きく振動させ、ＧＵＩ部品の重なり量が小さいほど振動部１６を小さく振動させる。また、周辺領域と重なった場合（Ｓ２０２）の振動よりも大きく振動させる。
　図１４Ａ～図１４Ｃは、本実施の形態に係る電子機器１における表示部１１の表示例である。図９Ａ～図９Ｃと同様に、図１４Ａ、図１４Ｂ、図１４Ｃの順にアイコンを拡大表示する表示例である。
　例えば、電子機器１を起動すると、図１４Ａのように、図９Ａと同様、表示部１１には複数のアイコン２０１～２０４が表示される。図１４Ａの画面表示において、ユーザが、アイコン２０１に対し、矢印２０５及び矢印２０６のように指を接触させてピンチアウト操作を行う。そうすると、図１４Ｂのように、アイコン２０１が拡大して表示される。
　本実施の形態では、拡大したアイコン２０１とアイコン２０２の周辺領域２０２ａとの重なりに応じて表示部１１に対し振動フィードバックを行う。拡大するアイコン２０１とアイコン２０２の周辺領域２０２ａとの重なりが検出されると、表示部１１の振動が開始され、重なり領域２７０が広がるにしたがって振動部１６を大きく振動させる。
　図１４Ｂの画面表示において、さらに、ユーザがアイコン２０１に対し、矢印２０７及び矢印２０８のように指を接触させてピンチアウト操作を行う。そうすると、図１４Ｃのように、アイコン２０１がさらに拡大して表示される。図９Ｃと同様に、拡大したアイコン２０１とアイコン２０２との重なりに応じて表示部１１に対し振動フィードバックを行う。拡大するアイコン２０１とアイコン２０２との重なりが検出されると、周辺領域と重なった場合よりも振動部１６を大きく振動させる。さらに、重なり領域２７１が広がるにしたがって振動部１６を大きく振動させる。これにより、アイコン２０１の拡大による他のアイコンの表示への影響を直感的に把握することができる。
　以上のように本実施の形態では、拡大または移動したＧＵＩ部品と他のＧＵＩ部品の周辺領域との重なりを検出し、周辺領域との重なり量に応じて振動フィードバックを行う。このため、ユーザがＧＵＩ部品を拡大または移動したときに、他のＧＵＩ部品に近づいた重なる前の状態をユーザが直感的に把握することができる。したがって、他のＧＵＩ部品が隠れることを事前に知ることができるため、操作性の悪化をさらに抑止することができる。
（その他の実施の形態）
　上記実施の形態において、重なりと表現しているが、これは現在表示されている一の表示物が占める領域に対し、他の表示物の表示指示が発生し、当該指示で示される表示領域が、重複する場合を示しても良い。すなわち、未だ可視的に重複はなされていなくても重複する可能性がある場合に、振動フィードバックを行っても良い。例えば、ユーザにより、他の表示物に対し拡大指示を行った場合、拡大指示を受けた制御部が、他の表示物が占める領域を拡大するよう指示する際、拡大指示で示される表示領域に対し、一の表示物の表示領域の重複を判別し、拡大指示に基づく拡大指示に応じて、振動フィードバックを行うことが可能となる。
　これにより、実際に表示物同士が重なることなく振動フィードバックが発生するため、表示物の表示領域を過度に変化させることなく、最適サイズのままで領域変更処理を完了することが可能となる。
　さらには、振動フィードバックが所定期間の間のみ実行される場合、振動フィードバックが発生している間に、指を離すなどしてユーザによる拡大指示をやめた場合、制御部は、表示領域変更指示を中止したと判別し、当該拡大指示をキャンセルする。
　すなわち、可視的には、拡大指示を行い、他の表示物が拡大変化する最中に発生した振動によって、拡大指示をやめると、他の表示物は拡大指示を行う前の大きさに戻る。その一方で、振動フィードバックがあっても拡大指示をやめない場合には、重複表示を許してもよい。
　図１５は、このようなＧＵＩが重なる可能性に応じて振動フィードバックを行う場合の制御動作例を示している。まず、制御部１７（ＧＵＩ表示部３１）は、ＧＵＩ部品を表示部１１に表示し（Ｓ３０１）、制御部１７（操作検出部３２）は、表示したＧＵＩ部品を拡大または移動するユーザ操作を受け付ける（Ｓ３０２）。
　続いて、制御部１７（重なり検出部３５）は、ユーザ操作により拡大または移動しようとするＧＵＩ部品と他のＧＵＩ部品とが重なる可能性を判定する（Ｓ３０３）。制御部１７は、ＧＵＩ部品の表示を変更する前に、ユーザ操作に応じた拡大後または移動後のＧＵＩ部品の表示領域を特定し、拡大後または移動後のＧＵＩ部品と他のＧＵＩ部品の表示領域とが重なるかどうか検出し、さらに、どの程度重なるのか重なり量を算出する。続いて、制御部１７（振動制御部３６）は、ＧＵＩ部品が他のＧＵＩ部品と重なる可能性がある場合、検出したＧＵＩ部品の重なり量に応じて振動部１６を振動させる（Ｓ３０４）。
　続いて、制御部１７（操作検出部３２）は、ＧＵＩ部品に対するユーザ操作がキャンセルされたかどうか判定する（Ｓ３０５）。例えば、ＧＵＩ部品を拡大するためのピンチアウト操作中にユーザがタッチパネルから指を離したことを検出したり、ピンチアウト操作による拡大を戻すように逆方向にピンチイン操作を行ったことを検出した場合にキャンセルと判定する。また、ＧＵＩ部品を移動するためのドラッグ操作中にユーザがタッチパネルから指を離したことを検出したり、ドラッグ操作による移動を戻すように逆方向にドラッグ操作を行ったことを検出した場合にキャンセルと判定する。
　制御部１７（ＧＵＩ表示部３１）は、ユーザ操作がキャンセルされない場合は、ユーザ操作にしたがってＧＵＩ部品を拡大または移動して表示部１１に表示する（Ｓ３０６）。また、制御部１７（ＧＵＩ表示部３１）は、ユーザ操作がキャンセルされた場合には、ＧＵＩ部品の拡大または移動表示を中止する（Ｓ３０７）。例えば、ＧＵＩ部品を途中まで拡大または移動して表示した後、拡大前または移動前の状態に戻して表示したり、ＧＵＩ部品を拡大または移動していない場合にはそのまま拡大または移動を行わない。
　以上のように、拡大または移動しようとするＧＵＩ部品と他のＧＵＩ部品との重なる可能性を検出し、重なり量に応じて振動フィードバックを行うことで、ＧＵＩ部品の拡大または移動指示により他のＧＵＩ部品と重なる前の状態をユーザが直感的に把握することができる。したがって、他のＧＵＩ部品が隠れることを事前に知ることができるため、操作性の悪化をさらに抑止することができる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年７月５日に出願された日本出願特願２０１２－１５１０７７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　　　電子機器
１０　　表示モジュール
１１　　表示部
１２　　タッチパネル
１３　　カメラ
１４　　マイク
１５　　スピーカ
１６　　振動部
１７　　制御部
１８　　記憶部
１９　　無線通信部
２０　　筐体
３１　　ＧＵＩ表示部
３２　　操作検出部
３３　　ＧＵＩ拡大部
３４　　ＧＵＩ移動部
３５　　重なり検出部
３６　　振動制御部
１００　電子機器
１０１　表示部
１０２　検出部
１０３　制御部
１０４　振動部

Claims (18)

  1. 　操作領域を示す複数の表示物を表示する表示手段と、
    　前記表示手段の表示面に対する操作位置を検出する検出手段と、
    　振動を発生する振動手段と、
    　前記表示物の表示領域に対する重複有無を判別し、重複状態に応じて前記振動手段に対する振動指示を行う制御手段とを備える電子機器。
  2. 　前記制御手段は、前記検出手段の検出結果が、前記一の表示物の表示領域の変更指示である場合、前記一の表示物の表示領域の変更を行うと共に、前記表示手段に表示されている前記他の表示物の表示領域との重複有無を判別する、
    　請求項１に記載の電子機器。
  3. 　前記制御手段は、前記一の表示物の表示領域と前記他の表示物の周辺領域との重複有無を判別する、
    　請求項２に記載の電子機器。
  4. 　前記制御手段は、前記一の表示物の表示領域と前記他の表示物の表示領域とが重複する場合と、前記一の表示物の表示領域と前記他の表示物の周辺領域とが重複する場合の方とで、異なる振動となるように前記振動指示を行う、
    　請求項３に記載の電子機器。
  5. 　前記制御手段は、前記重複有りと判別した場合、前記重複領域の領域面積に応じて、前記振動手段に対する振動指示を行う、
    　請求項は２乃至３のいずれか一項に記載の電子機器。
  6. 　前記制御手段は、前記重複有りと判別した場合、前記重複領域の変化量に応じて、前記振動手段に対する振動指示を行う、
    　請求項２乃至５のいずれか一項に記載の電子機器。
  7. 　前記制御手段は、前記重複有りと判別した場合、前記一の表示物の表示領域に占める重複領域の割合に応じて、前記振動手段に対する振動指示を行う、
    　請求項２乃至６のいずれか一項に記載の電子機器。
  8. 　前記一の表示物の表示領域の変更指示は、前記一の表示物の表示領域の拡大操作である、
    　請求項２乃至７のいずれか一項に記載の電子機器。
  9. 　前記一の表示物の表示領域の変更指示は、前記一の表示物の表示領域の移動操作である、
    　請求項２乃至７のいずれか一項に記載の電子機器。
  10. 　前記制御手段は、各表示物の優先度情報を保持し、前記優先度情報に基づいて前記振動指示を行う、
    　請求項１乃至９のいずれか一項に記載の電子機器。
  11. 　前記制御手段は、前記表示物の操作頻度に基づいて前記振動指示を行う、
    　請求項１乃至１０のいずれか一項に記載の電子機器。
  12. 　前記表示物は、電子機器の基本機能を実行するための領域を含む、
    　請求項１乃至１１のいずれか一項に記載の電子機器。
  13. 　前記表示物は、所定のアプリケーションプログラムを実行するためのアイコンまたはボタンを含む、
    　請求項１乃至１２のいずれか一項に記載の電子機器。
  14. 　前記表示物は、所定のアプリケーションプログラムの実行内容を表示するためのウィンドウを含む、
    　請求項１乃至１３のいずれか一項に記載の電子機器。
  15. 　前記第表示物は、複数のユーザインタフェースの表示領域を含む、
    　請求項１乃至１４のいずれか一項に記載の電子機器。
  16. 　前記表示手段は、前記複数の表示物の表示領域を区切るフレーム枠を表示し、
    　前記制御手段は、前記フレーム枠の移動操作に応じて、前記重複有無を判別する、
    　請求項１乃至１５のいずれか一項に記載の電子機器。
  17. 　操作領域を示す複数の表示物を表示手段に表示し、
    　前記表示手段の表示面に対する操作位置を検出し、
    　前記表示物の表示領域に対する重複有無を判別し、重複状態に応じて、振動を発生する振動手段に対する振動指示を行う、
    　電子機器の制御方法。
  18. 　電子機器の制御処理をコンピュータに実行させるための制御プログラムが格納された非一時的なコンピュータ可読媒体であって、
    　操作領域を示す複数の表示物を表示手段に表示し、
    　前記表示手段の表示面に対する操作位置を検出し、
    　前記表示物の表示領域に対する重複有無を判別し、重複状態に応じて、振動を発生する振動手段に対する振動指示を行う、
    　電子機器の制御プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2013/002268 2012-07-05 2013-04-01 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体 WO2014006799A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-151077 2012-07-05
JP2012151077 2012-07-05

Publications (1)

Publication Number Publication Date
WO2014006799A1 true WO2014006799A1 (ja) 2014-01-09

Family

ID=49881577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/002268 WO2014006799A1 (ja) 2012-07-05 2013-04-01 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2014006799A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102819A (ja) * 2012-11-20 2014-06-05 Immersion Corp ガイド及び静電的摩擦との協力のための触覚的な手がかり（ＨａｐｔｉｃＣｕｅｓ）を提供する方法及び装置
WO2014095756A1 (en) * 2012-12-19 2014-06-26 Nokia Corporation User interfaces and associated methods
JP2015219738A (ja) * 2014-05-19 2015-12-07 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法及びプログラム
WO2016178289A1 (ja) * 2015-05-07 2016-11-10 富士通株式会社 電子機器及び振動制御プログラム
JP2018109974A (ja) * 2016-12-27 2018-07-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 視野を用いる触覚フィードバック
JP2019144989A (ja) * 2018-02-23 2019-08-29 京セラドキュメントソリューションズ株式会社 表示制御装置
JP7401281B2 (ja) 2019-12-11 2023-12-19 セイコーインスツル株式会社 情報伝達装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131063A (ja) * 1997-07-10 1999-02-02 Hitachi Ltd アイコン自動拡大方法
JP2002236550A (ja) * 2001-02-07 2002-08-23 Fujitsu Ten Ltd 画面位置入力方法および装置
JP2009217816A (ja) * 2008-03-10 2009-09-24 Lg Electronics Inc 端末機及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131063A (ja) * 1997-07-10 1999-02-02 Hitachi Ltd アイコン自動拡大方法
JP2002236550A (ja) * 2001-02-07 2002-08-23 Fujitsu Ten Ltd 画面位置入力方法および装置
JP2009217816A (ja) * 2008-03-10 2009-09-24 Lg Electronics Inc 端末機及びその制御方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078384B2 (en) 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
JP2014102819A (ja) * 2012-11-20 2014-06-05 Immersion Corp ガイド及び静電的摩擦との協力のための触覚的な手がかり（ＨａｐｔｉｃＣｕｅｓ）を提供する方法及び装置
WO2014095756A1 (en) * 2012-12-19 2014-06-26 Nokia Corporation User interfaces and associated methods
US9202350B2 (en) 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
JP2016504683A (ja) * 2012-12-19 2016-02-12 ノキア テクノロジーズ オサケユイチア ユーザ・インタフェースおよび関連する方法
US9665177B2 (en) 2012-12-19 2017-05-30 Nokia Technologies Oy User interfaces and associated methods
JP2015219738A (ja) * 2014-05-19 2015-12-07 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法及びプログラム
WO2016178289A1 (ja) * 2015-05-07 2016-11-10 富士通株式会社 電子機器及び振動制御プログラム
EP3293616A4 (en) * 2015-05-07 2018-05-02 Fujitsu Limited Electronic device and vibration control program
JP2018109974A (ja) * 2016-12-27 2018-07-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 視野を用いる触覚フィードバック
EP3343326A3 (en) * 2016-12-27 2018-11-21 Immersion Corporation Haptic feedback using a field of view
US10324531B2 (en) 2016-12-27 2019-06-18 Immersion Corporation Haptic feedback using a field of view
US10564729B2 (en) 2016-12-27 2020-02-18 Immersion Corporation Haptic feedback using a field of view
JP2019144989A (ja) * 2018-02-23 2019-08-29 京セラドキュメントソリューションズ株式会社 表示制御装置
JP7124336B2 (ja) 2018-02-23 2022-08-24 京セラドキュメントソリューションズ株式会社 表示制御装置
JP7401281B2 (ja) 2019-12-11 2023-12-19 セイコーインスツル株式会社 情報伝達装置及びプログラム

Similar Documents

Publication Publication Date Title
WO2014006799A1 (ja) 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体
JP5121963B2 (ja) 電子機器及び制御方法
JP5762944B2 (ja) 装置、方法、及びプログラム
KR101701492B1 (ko) 데이터 표시 방법 및 그를 수행하는 단말기
KR101971982B1 (ko) 터치 감지 및 터치압력 감지가 가능한 장치 및 제어방법
US10073585B2 (en) Electronic device, storage medium and method for operating electronic device
KR101141198B1 (ko) 진동 피드백 제공 단말 및 그 방법
JP5827109B2 (ja) 装置、方法、及びプログラム
JP6032702B2 (ja) タッチスクリーンを具備する電子機器における画面拡大装置及び方法
JP2013047919A (ja) 装置、方法、及びプログラム
KR20130097331A (ko) 터치 스크린을 구비하는 전자기기에서 객체를 선택하기 위한 장치 및 방법
JP6048489B2 (ja) 表示装置
JP5858896B2 (ja) 電子機器、制御方法及び制御プログラム
JP2011204127A (ja) 携帯端末及び表示制御プログラム
KR102113509B1 (ko) 가상 키패드 제어 방법 및 그 전자 장치
US20130328827A1 (en) Information terminal device and display control method
JP2014134867A (ja) 情報処理端末
JP2014006799A (ja) 電子機器
JP6147660B2 (ja) 携帯電子機器
JP2013080353A (ja) 装置、方法、及びプログラム
JP6100657B2 (ja) 電子機器
JP2014229287A (ja) 情報処理装置、その処理方法、およびプログラム
JP6493599B2 (ja) 電子機器
JP6434339B2 (ja) 電子機器、制御方法、及び制御プログラム
JP2018106597A (ja) 表示制御装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13813403

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13813403

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP