WO2015025550A1 - 表示装置、および、タッチ操作処理方法 - Google Patents

表示装置、および、タッチ操作処理方法 Download PDF

Info

Publication number
WO2015025550A1
WO2015025550A1 PCT/JP2014/056922 JP2014056922W WO2015025550A1 WO 2015025550 A1 WO2015025550 A1 WO 2015025550A1 JP 2014056922 W JP2014056922 W JP 2014056922W WO 2015025550 A1 WO2015025550 A1 WO 2015025550A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
display
thumb
touch
display device
Prior art date
Application number
PCT/JP2014/056922
Other languages
English (en)
French (fr)
Inventor
茂人 吉田
上野 雅史
知洋 木村
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/902,930 priority Critical patent/US9870081B2/en
Publication of WO2015025550A1 publication Critical patent/WO2015025550A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1656Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Definitions

  • the present invention relates to a display device that processes a touch operation and a touch operation processing method.
  • a user's handle holding the display device is determined based on a detection result of a first detection unit separately provided on a portion other than the display surface of the display device, and the above is performed according to the handle.
  • a display device that controls the display mode of an image displayed on a display surface is disclosed.
  • sensors are provided on the back and side surfaces of the terminal housing, and by using information such as the number of fingers to be held and contact positions, the user's terminal grip method, the finger movable range is estimated, A mobile terminal and a key display method for optimizing the input method are disclosed.
  • Patent Document 1 in order to determine the gripping form in the display device, a dedicated sensor (Patent Document 1) is used in addition to the touch panel sensor provided on the display surface of the display device (the keyboard arrangement surface of the mobile terminal). First detector / first sensor of Patent Document 2). For this reason, the number of components to be mounted on the display device increases, the detection mechanism becomes complicated, and as a result, the processing load of the display device increases. The above problem is particularly serious when the display device is applied to a portable terminal in which the demand for reduction in thickness and weight is particularly severe.
  • the usage mode for example, the grip mode
  • the usage mode can be changed without increasing the processing load. Can be determined.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to improve operability by providing a user interface according to a usage form without complicating a detection mechanism of a display device. It is to realize a display device and a touch operation processing method.
  • a display device stores a display member, an operation detection member superimposed on the display member, the display member, and the operation detection member. And the operation detection member detects a touch operation on the display area of the display member, and a part of the operation detection member performs a touch operation on an end surface of the casing other than the display area.
  • a display device for detecting wherein the display device determines a gripping form based on a touch position of the touch operation with respect to the end face detected by the operation detection member, and the user performs a touch operation on the display area.
  • a usage pattern determination unit that determines a target area that is an area of interest, and a display on the display member according to the gripping mode and the target area determined by the usage pattern determination unit. It is characterized by comprising a display control unit for changing the display mode of that screen.
  • a display device stores a display member, an operation detection member superimposed on the display member, the display member, and the operation detection member.
  • the operation detection member detects a touch operation on the display area of the display member, and a part of the operation detection member touches an end surface of the casing other than the display area.
  • a display device that detects an operation and the display device stores, for one or more objects included in a screen to be displayed on the display member, a position of a touchable area that can accept a touch operation on the object.
  • a use form determining unit that determines a grip form based on a storage member, a touch position of a touch operation on the end face detected by the operation detection member, and the use form Depending on the holding pattern determined by the determination unit, it is characterized by comprising a touchable area correcting unit for correcting the position of the touch area of the object stored in the storage member.
  • a touch operation processing method includes a display member, an operation detection member superimposed on the display member, the display member, and the operation detection member. And the operation detection member detects a touch operation on the display area of the display member, and a part of the operation detection member is an end surface of the casing other than the display area.
  • the usage pattern determination step for determining the attention area that is the area that the user is interested in touching among the areas, and the gripping pattern determined in the usage pattern determination step.
  • it is characterized by comprising a display control step of changing the display mode of the screen to be displayed on the display member.
  • FIG. 1 It is a functional block diagram which shows the principal part structure of the display apparatus which concerns on Embodiment 1 of this invention. It is a perspective view which shows an example of schematic structure of the display apparatus of this invention as a portable terminal. It is sectional drawing which shows an example of schematic structure of the display apparatus of this invention. It is a perspective view which shows another example of schematic structure of the display apparatus of this invention as a portable terminal. It is sectional drawing which shows another example of schematic structure of the display apparatus of this invention. It is sectional drawing which shows an example of schematic structure of the display apparatus of this invention, (a) is a figure which shows schematic structure at the time of providing a cover glass, (b) shows schematic structure at the time of providing a lens. FIG.
  • FIG. 1 It is a schematic top view which shows an example of the touchscreen with which the display apparatus of this invention is provided.
  • (A) And (b) is a figure for demonstrating the detection method of the input operation of a depth direction.
  • (A)-(d) is a figure which shows some examples of the grip form which a display apparatus determines, especially the example of the touch position detected in the end surface of a housing
  • (A) And (b) is a figure which shows some examples of the attention area which a display apparatus determines, especially the example of the touch position detected in the end surface of a housing
  • 6 is a diagram illustrating an example of a layout determination rule stored in a storage unit of the display device according to the first embodiment.
  • (A)-(c) is a figure which shows the specific example of the layout defined in the layout decision rule.
  • 6 is a flowchart illustrating a flow of processing of a touch operation on an end surface, which is performed by the display device according to the first embodiment. It is a functional block diagram which shows the principal part structure of the display apparatus which concerns on Embodiment 2 and 3 of this invention. It is a figure which shows an example of the map correction rule memorize
  • (A) is a figure which shows a specific example of the character input screen displayed on a display panel
  • (b) is a figure which shows the map (touchable area
  • (c) is a figure which shows the map (touchable area
  • 10 is a flowchart illustrating a flow of processing of a touch operation on an end surface, which is executed by the display device according to the second embodiment.
  • FIG. 7C is a diagram illustrating a map after being corrected by the touchable area correction unit in the case of an area
  • FIG. 10C is a diagram illustrating a case where the gripping form is right-handed and the attention area is the far thumb area. It is a figure which shows the map after correct
  • FIG. 10 is a flowchart illustrating a flow of processing of a touch operation on an end surface, which is executed by the display device according to the third embodiment. It is a figure for demonstrating the function of the display apparatus of this invention which displays UI components according to the touch position of the touch operation with respect to an end surface.
  • the display device 1 is described as a rectangular plate-like member whose upper surface is a rectangular plate member unless otherwise specified.
  • the present invention is not limited to this, and the upper surface may be an elliptical shape, a circular shape, or the like. Instead of a plate-like member, it may have a shape with irregularities on its surface. That is, any shape may be used as long as the function described below can be implemented.
  • the display device 1 functions as a mobile terminal
  • Examples of the portable terminal to which the display device 1 of the present invention is applied include a multi-function mobile phone (so-called smartphone), a tablet, and the like.
  • FIG. 2 is a perspective view showing an example of a schematic configuration of the display device 1 as a portable terminal.
  • 3 shows an example of a schematic configuration of the display device 1, and is a schematic cross-sectional view when the display device 1 shown in FIG. 2 is cut along the line A-A '.
  • the display device 1 as a mobile terminal is a device that displays an image and can acquire an input operation on the image. As shown in FIG. 2, the shape of the display device 1 is defined by the housing 17, and an image is displayed in the display area P of the display screen (display panel 12).
  • the display device 1 includes a display panel 12, a transparent adhesive layer (OCA) 13, a touch panel 14 (operation detection member), a transparent adhesive layer 15, and a backlight 11.
  • OCA transparent adhesive layer
  • a cover glass 16 is laminated in this order. Further, these members are supported by a housing 17 provided in the display device 1. That is, the housing 17 stores the display panel 12 and the touch panel 14.
  • the display panel 12 can adopt a known configuration.
  • the display panel 12 includes an insulating active matrix substrate (not shown) made of glass or the like and an optically transparent counter substrate (not shown) made of glass facing the active matrix substrate at a predetermined interval. And a liquid crystal layer sandwiched between the active matrix substrate and the counter substrate.
  • the liquid crystal layer various types of liquid crystal layers can be used.
  • two polarizing plates 12 a and 12 d are provided so as to sandwich a TFT layer 12 b including a thin film transistor (TFT), thereby enabling gradation display of an image.
  • TFT thin film transistor
  • a color filter 12c is provided on the counter substrate side, so that color display is possible.
  • the display panel 12 is provided with data signal lines extending in the column direction, scanning signal lines extending in the row direction and capacitive wiring, and pixels arranged in the row and column directions. Various signal lines are provided on the active matrix substrate.
  • each pixel is the same, and at least one pixel electrode is provided corresponding to one pixel, and one data signal line, one scanning signal line, and one capacitor wiring are provided.
  • the pixel electrode is connected to the data signal line through the thin film transistor disposed in the TFT layer 12b connected to the scanning signal line, and the counter electrode provided on the counter substrate A liquid crystal capacitor is formed between the two.
  • the thin film transistor provided in each pixel has a source electrode connected to the pixel electrode, a drain electrode connected to the data signal line, and a gate electrode connected to the scanning signal line.
  • the transistor is controlled to be turned on / off by the scanning signal (gate signal) supplied from the scanning signal line, and a voltage corresponding to the data signal supplied to the data signal line is applied to the liquid crystal layer, and the transistor is turned off. The voltage is held.
  • the display panel 12 is controlled by various drive circuits and display control circuits (none of these circuits are shown) included in the display device 1.
  • Examples of the various drive circuits include a data signal line drive circuit and a scanning signal line drive circuit.
  • the display panel 12 is controlled by these circuits, whereby an image is displayed in the display area P.
  • the backlight 11 makes display light incident on the display panel 12.
  • the backlight 11 may be externally attached to the display device 1.
  • the touch panel 14 is superimposed on the display panel 12 and is a member that detects contact or approach of an object such as a user's finger or pointing pen at least within the display area P of the display panel 12. As a result, it is possible to acquire a user's input operation on the image displayed in the display area P and perform operation control of a predetermined function (various applications) based on the input operation.
  • a capacitive touch panel can be employed as the touch panel 14.
  • a transparent adhesive layer 13 is provided between the display panel 12 and the touch panel 14, and the display panel 12 and the touch panel 14 are fixed.
  • An air layer air gap
  • the transparent adhesive layer 15 is provided between the touch panel 14 and the cover glass 16, and fixes the touch panel 14 and the cover glass 16.
  • the cover glass 16 is a transparent plate-like member, and is disposed so as to cover the touch panel 14 in order to protect the touch panel 14 from external factors.
  • the shape of the cover glass 16 is a rectangular shape is assumed here, not only this but the end part (outer edge) may have a notch shape.
  • the outer edge of the display device 1 since the distance from the outer edge of the cover glass 16 to the outer edge electrode group of the touch panel 14 (the electrode group including the detection electrode 31a and the drive electrode 32a (see FIG. 6)) can be shortened, the outer edge of the display device 1 ( The detection accuracy on the outer surface A of the display device 1 other than the display area P (see FIG. 6) can be increased.
  • the housing 17 stores the display panel 12 and the touch panel 14 as described above.
  • the housing 17 is made of a material having a high dielectric constant.
  • the “material having a high dielectric constant” refers to a material having a dielectric constant that makes it easy for the touch panel 14 to detect contact or approach of a finger or the like to the outer edge of the display device 1.
  • the material used for the housing 17 it is preferable to use a material having a relative permittivity of 3 or more (preferably 6 or more) that facilitates the detection.
  • the detection accuracy at the outer edge of the display device 1 can be increased.
  • each member of the display device 1 as a portable terminal in each embodiment is as follows as an example.
  • the backlight 11 has a thickness of 0.74 mm
  • the polarizing plate 12a has a thickness of 0.15 mm
  • the TFT layer 12b has a thickness of 0.25 mm
  • the color filter 12c has a thickness of 0.15 mm
  • the polarizing plate 12d has a thickness of 0.1. 11 mm
  • the thickness of the transparent adhesive layer 13 is 0.2 mm
  • the thickness of the touch panel 14 is 0.4 mm
  • the thickness of the transparent adhesive layer 15 is 0.1 mm
  • the thickness h1 of the cover glass 16 is 2 mm.
  • the thickness h2 from the surface of the cover glass 16 to the interface between the touch panel 14 and the transparent adhesive layer 13 is 2.5 mm
  • the thickness h3 from the surface of the cover glass 16 to the interface between the color filter 12c and the TFT layer 12b is 2. 96 mm.
  • the horizontal length (width) of the housing 17 is set to a length that allows the touch panel 14 to detect contact or approach of a finger or the like to the outer surface (end surface) of the housing 17 as will be described later. Has been.
  • FIG. 4 is a perspective view showing another example of the schematic configuration of the display device 1 as a portable terminal.
  • FIG. 5 shows an example of a schematic configuration of the display device 1, and is a schematic cross-sectional view when the display device 1 shown in FIG. 4 is cut along the line AA ′.
  • the display device 1 based on the modification differs from the display device 1 of FIGS. 2 and 3 in that it includes a lens 18 instead of the cover glass 16 as shown in FIGS.
  • the functions of the members such as the display panel 12 and the touch panel 14 are the same as those of the display device 1. Therefore, only the parts different from the display device 1 will be mainly described, and the other description will be omitted.
  • a lens 18 is laminated on the touch panel 14 of the display device 1.
  • the lens 18 is a transparent plate-like member, and is disposed so as to cover the touch panel 14 in order to protect the touch panel 14 from external factors.
  • the lens 18 has a notch R1 (notch shape) at its end (outer edge), and changes the traveling direction of light emitted from the display panel 12.
  • the lens 18 having the notch R1 By providing the lens 18 having the notch R1, the detection accuracy of the touch panel 14 at the outer edge of the display device 1 can be increased. Further, the traveling direction of the light emitted from the pixels arranged on the outer edge of the display panel 12 is changed by the cutout portion R1, and is emitted from the area outside the pixel (non-display area). Therefore, the viewing angle of the image (display area when viewed from the user) can be enlarged. In the case where the enlargement function is not necessary, it is not always necessary to have the cutout portion R1.
  • the thickness of each member of the display device 1 is the same as that of the display device 1 shown in FIGS.
  • the thickness h1 ′ of the lens 18 is 2.13 mm
  • the thickness h2 ′ from the surface of the lens 18 to the interface between the touch panel 14 and the transparent adhesive layer 13 is 2.63 mm
  • the lens 18 is 2.63 mm
  • the thickness h3 ′ from the surface to the interface between the color filter 12c and the TFT layer 12b is 3.09 mm.
  • the width w1 of the notch R1 is 2.1 mm.
  • FIG. 6 is a cross-sectional view showing an example of a specific configuration of the display device 1 of the present invention.
  • FIG. 6A is a diagram showing a specific configuration of the display device 1 including the cover glass 16.
  • 6B is a diagram showing a specific configuration of the display device 1 based on the modification including the lens 18.
  • FIG. 1 in order to simplify description here, illustration of structures, such as the transparent adhesion layer 15 shown in FIG. 3 and FIG. 5, is abbreviate
  • a touch operation an operation of bringing an object such as a finger or a touch pen into contact with or approaching a display area or an end surface.
  • the touch panel 14 includes a detection electrode 31 and a drive electrode 32 as an electrode group for detecting a touch operation by an object on a substrate. And it has the detection electrode 31a and the drive electrode 32a as an outer edge electrode group arrange
  • a first wiring storage portion 12A in which various wirings of the display panel 12 can be arranged is provided between the display panel 12 and the inner surface of the housing 17. Between the touch panel 14 and the housing
  • positioned are provided.
  • the shortest distance d between the touch panel 14 and the end surface of the casing 17 other than the display area P is that the touch panel 14 detects a touch operation on the outer surface A. Is less than the detectable distance. According to this configuration, a touch operation on the end surface (outer surface A) of the casing 17 other than the display area P can be detected.
  • the touch panel 14 that detects a touch operation on the display region P can detect a touch operation on the outer surface A, and thus detects an object such as a finger on the outer surface A. It is not necessary to separately provide a detection member (dedicated sensor) for this purpose. Therefore, it is possible to detect a touch operation on the end face without increasing the number of parts (without complicating the detection mechanism) of the display device 1.
  • the shortest distance d is specifically the first distance between each of the detection electrode 31a and the drive electrode 32a as the outer edge electrode group provided in the touch panel 14 and the outer surface A, as shown in FIG. It is.
  • the first distance (shortest distance d) is perpendicular to the display panel 12 and the touch panel 14 (specifically, the detection electrode 31 and the drive electrode 32) and the outer surface of the cover glass 16 (contact of a finger or the like).
  • the second distance d1 is equal to or less than the second distance d1 that is a distance between the surface and the upper surface of the display device 1. In the case of this configuration, a touch operation on the outer surface A of the housing 17 can be reliably detected.
  • the display device 1 has a narrow frame (frameless) in which the shortest distance d is defined so that contact or approach of a finger or the like to the outer surface A of the housing 17 can be detected. It is the structure which was made. Thereby, sensing of the touch operation with respect to the end surface of the housing
  • the design of the display device 1 can be improved by narrowing the frame.
  • the shortest distance d between the touch panel 14 and the end face (here, the outer surface B) of the casing 17 other than the display area P is the touch panel. 14 is below the detectable distance in which the touch operation to the outer surface B can be detected.
  • the outer surface B includes two outer surfaces, that is, the outer surface of the notch R1 of the lens 18 in addition to the outer surface of the housing 17 (the outer surface A shown in FIG. 6A). .
  • the shortest distance d (first distance) is determined by the detection electrode 31a and the drive electrode 32a as the outer edge electrode group included in the touch panel 14 and the outer surface B. It becomes the distance.
  • the shortest distance d is preferably equal to or less than the second distance d1, and at least at one end surface that is a part of the outer surface B, the shortest distance d may be equal to or less than the detectable distance.
  • FIG. 7 is a top view illustrating a schematic configuration of the touch panel 14.
  • the touch panel 14 includes, on a substrate 21, a detection electrode 31 and a drive electrode 32 as an electrode group for detecting a touch operation in a matrix. And it has the detection electrode 31a and the drive electrode 32a as an outer edge electrode group arrange
  • the detection electrode 31 and the drive electrode 32 are controlled by a TP controller (touch panel controller) 33.
  • TP controller touch panel controller
  • the display device 1 is configured to detect a touch operation on the end surface (the outer surface A or B in FIG. 6) of the housing 17. Therefore, in the case of the display device 1 including the cover glass 16, the second wiring storage portion 14A (the frame wiring width w0 of the touch panel 14) of the touch panel 14 illustrated in FIG. 6A is preferably 1 mm or less. In the case of the display device 1 including the lens 18, it is preferable that each electrode and the second wiring storage portion 14 ⁇ / b> A are arranged so as not to disturb the light path of the light emitted from the display panel 12.
  • FIGS. 8A and 8B are diagrams for explaining a detection method of an input operation in the depth direction.
  • the cover glass 16 and the lens 18 are preferably notched.
  • the display apparatus 1 provided with the lens 18 which has notch R1.
  • the finger 94 When there is an input operation in the depth direction of the display device 1 as shown in FIG. 8A, specifically, as shown in FIG. 8B, the finger 94 is at least a notch R1 of the lens 18. It moves along (a part of the outer surface B).
  • the TP controller 33 receives the signals (capacitances C1 and C2) from the detection electrodes 31 and 31a adjacent to each other at the position of each finger 94, and the difference ( By calculating C1-C2), the movement in the depth direction can be detected.
  • the detection electrode 31a and the drive electrode 32a arranged near the end face of the housing 17 detect the touch operation on the corresponding display area.
  • an outer edge electrode group that detects a touch operation on the end face is an outer edge electrode group that detects a touch operation on the end face.
  • the end surface (for example, the housing 17 of the display device 1)
  • the touch operation on the outer surface A or B) can be detected.
  • the user instead of accepting a touch operation on the image displayed on the display panel 12 (on the display area), the user need not touch the display area when accepting a touch operation on the end face.
  • the user's touch operation can be acquired while preventing the visibility and operability of the image from being deteriorated.
  • various user interfaces are realized in the display device 1 (mobile terminal) in accordance with the combination of the touch operations. It becomes possible.
  • Embodiment 1 Provides to be Solved by the Invention
  • the ease and difficulty of the touch operation vary depending on the position of the finger performing the touch operation and the position on the display area to be touched. There's a problem. This variation is particularly noticeable when the user performs a touch operation with one hand. For example, as shown in FIG. 10, when the display device is held with the left hand and the touch operation is performed with the thumb of the left hand, it is difficult to operate if it is too far from the thumb. As described above, the operability variation occurring in the display area cannot be eliminated only by determining the gripping form as in the techniques of Patent Documents 1 and 2.
  • Embodiment 1 will describe in detail a display device of the present invention that can eliminate variability in operability occurring in a display area and improve operability.
  • Embodiment 1 of the present invention will be described with reference to FIGS. 1 to 13 as follows.
  • FIG. 1 is a functional block diagram showing a main configuration of the display device 1.
  • the control unit 50 of the display device 1 will be described mainly focusing on processing when the display device 1 acquires a touch operation (particularly, an input operation on the end surface (outer surface A or B) of the display device 1).
  • the display device 1 mainly includes a display panel 12, a touch panel 14, a control unit 50, and a storage unit 60.
  • the display apparatus 1 as a portable terminal (for example, a smart phone) is provided with the general function of the smart phone, description was abbreviate
  • the touch panel 14 and the display panel 12 are as described above.
  • the control part 50 is demonstrated. Note that the configuration of the control unit 50 is merely an example, and is not limited to this configuration.
  • the control unit 50 controls each unit of the display device 1 in an integrated manner, and includes an operation acquisition unit 51, an input operation determination unit 52, a usage form determination unit 55, and a display control unit 54 as functional blocks.
  • the control unit 50 may further include an application execution unit 56 that executes various applications installed in the display device 1.
  • Each unit shown as the functional block includes a program stored in a storage device (here, the storage unit 60) such as a ROM (read only memory) in a processing unit such as a CPU (central processing unit). ) Etc., and can be realized by reading out and executing it.
  • the operation acquisition unit 51 acquires a touch operation of an object on the display area P (see FIG. 2) of the display device 1 and the end surface of the display device 1. Acquisition of a touch operation by the operation acquisition unit 51 is performed by receiving a detection signal from the TP controller 33. Specifically, the TP controller 33 detects at which position the detection electrode 31 or 31a has a capacitance change, and transmits the detection result to the operation acquisition unit 51 as the detection signal.
  • the input operation determination unit 52 determines a position where the touch operation is performed (hereinafter referred to as a touch position) and a type of the touch operation performed based on the detection signal acquired by the operation acquisition unit 51.
  • the input operation determination unit 52 transmits the determination result, that is, touch operation information including the coordinate information of the touch position and the type of touch operation (tap, double tap, flick, drag, pinch in, pinch out, etc.) to the downstream functional block.
  • touch operation information including the coordinate information of the touch position and the type of touch operation (tap, double tap, flick, drag, pinch in, pinch out, etc.)
  • the input operation determination unit 52 uses the touch operation information as an application.
  • the information is transmitted to the execution unit 56 and also to the usage form determination unit 55.
  • the control unit 50 may include a processing execution unit (not shown) in addition to the application execution unit 56.
  • the input operation determination unit 52 can transmit the touch operation information to the process execution unit when the process execution unit performs some process in response to the touch operation.
  • the usage pattern determination unit 55 determines the usage pattern of the user with respect to the display device 1 according to the touch position of the object on the end face of the display device 1.
  • the usage pattern determination unit 55 determines the grip pattern according to the touch position on the end surface where the touch operation is performed.
  • the grip form is information indicating which hand the display device 1 is gripped by the user, and determining the grip form means that the user uses the display device 1 by gripping it with the right hand. It is to determine whether it is used by holding with the left hand.
  • the usage pattern determination unit 55 determines the attention area according to the touch position of the object on the end face.
  • the attention area refers to a partial area of the display area P that the user is paying attention to while using the display device 1 (an area to be operated with a finger or the like and its surrounding area).
  • a partial area divided into left and right halves is defined in advance.
  • the usage pattern determination unit 55 determines whether the region that the user is interested in operating is the left or right partial region according to the touch position.
  • the application execution unit 56 executes a predetermined function (application) according to the touch operation determined by the input operation determination unit 52.
  • the application include, but are not limited to, a mail function, a text editing function, a website browsing function, a phone book function, a game function, and the like.
  • the application execution unit 56 realizes each function described above by executing each application program stored in the storage unit 60.
  • the application execution unit 56 executes processing corresponding to the touch operation information transmitted from the input operation determination unit 52 according to the application program, generates a screen reflecting the execution result, and outputs the screen to the display control unit 54. For example, if the touch operation instructs creation of an email, the application execution unit 56 related to the email function generates and displays a user interface (UI) screen for inputting the text of the email according to the touch operation. Output to the control unit 54.
  • UI user interface
  • the display control unit 54 displays information on the display panel 12. Specifically, the data signal line driving circuit (not shown), the scanning signal line driving circuit, the display control circuit, and the like included in the display device 1 are controlled, and the usage pattern determination unit 55 and application execution unit 56 (other processing not shown) The execution result (for example, UI screen) output by the execution unit) is output to the display panel 12 as a video signal.
  • the display control unit 54 changes the layout of execution results such as the UI screen generated by the application execution unit 56 according to the usage mode determined by the usage mode determination unit 55.
  • the storage unit 60 is a storage device that stores various data used by the display device 1.
  • the storage unit 60 stores at least a map 61 and a layout determination rule 62.
  • the storage unit 60 includes (1) a control program executed by the display device 1, (2) an OS program, (3) various application programs executed by the display device 1 (application execution unit 56), and (4) Various data to be read when the application program is executed is stored.
  • Various data stored in the storage unit 60 may be stored in a volatile manner or in a non-volatile manner depending on the application. That is, the storage unit 60 for storing various data may be configured by a non-volatile storage device such as a ROM (Read Only Memory) or a flash memory, or as a temporary storage unit such as a random access memory (RAM).
  • the optimal storage device may be selected according to the purpose.
  • the map 61 is coordinate information indicating the layout of the screen output to the display panel 12. Specifically, the map 61 includes coordinate positions of touch-operable objects (including UI parts such as software keys) arranged on the screen.
  • touch-operable objects including UI parts such as software keys
  • the application execution unit 56 can grasp which object is touched by referring to the map 61, and is assigned to the object in advance. Can be executed.
  • the layout determination rule 62 is information for designating a layout that conforms to the usage pattern determined by the usage pattern determination unit 55.
  • the display control unit 54 can select a layout that matches the determined usage pattern by referring to the layout determination rule 62, and can change the layout of the screen to the selected layout. Thereby, the display panel 12 displays a screen having a layout suitable for the user's usage mode at that time.
  • the usage pattern determination unit 55 determines the grip mode and the attention area.
  • FIG. 9 is a diagram illustrating a specific example of the gripping form, in particular, some examples of the touch position detected on the end surface of the housing 17.
  • the usage pattern determination unit 55 can specify a touch position over a wide range (hereinafter, a wide touch position) as compared with the five fingers as the touch position of the thumb ball. Further, as shown in the figure, the thumb and the thumb ball touch at the same side, and the remaining four fingers touch at the side facing the side. Therefore, when the touch positions in the relatively narrow range (hereinafter referred to as “narrow touch positions”) are detected on the same four sides, the usage pattern determination unit 55 determines the touch positions of the four fingers other than the thumb. It can be specified as a position.
  • the usage pattern determining unit 55 can identify the side where the thumb and the thumb ball are in contact with each other and the side where the four fingers other than the thumb are in contact with each other with respect to the left and right sides facing each other. It becomes possible, and the gripping form can be determined based on this. Specifically, as illustrated in FIG. 9A, the usage pattern determination unit 55 determines that the side on which the thumb and the thumb ball are in contact is the left side and the four fingers are based on the wide touch position and the two or more narrow touch positions. Specify that the tangent side is the right side. Since the thumb touches on the left side when the left hand is held, it is determined that the gripping form is the left hand held. On the other hand, as shown in FIG.
  • the usage pattern determination unit 55 specifies that the side where the thumb and the thumb ball are in contact is the right side and the side where the four fingers are in contact is the left side. Then, since the thumb touches on the right side in the case of right hand holding, it is determined that the gripping form is right hand holding.
  • the usage form determination unit 55 can determine the gripping form even when the wide touch position is not detected on any side.
  • the side where there is no wide touch position and at least two narrow touch positions are identified as the side where the four fingers are in contact, and the opposite side is identified as the thumb. It can be specified that the side touches the thumb ball.
  • the usage pattern determination unit 55 determines that the grip pattern is left-handed.
  • the usage pattern determination unit 55 can determine the grip pattern even when two or more narrow touch positions are not detected on any side.
  • the side having one wide touch position and less than two narrow touch positions is specified as the side where the thumb and the thumb ball are in contact with each other, and faces the side. The side can be identified as the side where the four fingers touch.
  • the usage pattern determination unit 55 determines that the grip pattern is left-handed.
  • the usage pattern determination unit 55 determines that determination is impossible and does not determine the gripping pattern.
  • gripping form determination algorithm is an example, and the gripping form determination method executed by the use form determination unit 55 is not limited to the above.
  • the usage pattern determination unit 55 only needs to be able to determine whether it is right-handed or left-handed.
  • FIG. 10 is a diagram showing specific examples of the attention area, in particular, some examples of touch positions detected on the end face of the housing 17.
  • the user performs a touch operation on the display area P with the thumb of the gripping hand while holding the display device 1 with one hand (here, the left hand).
  • the region to be touched region of interest
  • the near thumb region is the left half region of the display region P in this example.
  • the usage pattern determination unit 55 is focused on when the two or more narrow touch positions are detected on the same side and the wide touch position is not detected on the side facing the side.
  • the attention area is determined to be the near thumb area.
  • the gripping form is right-handed, the thumb touches the right side of the display area P, so the near thumb area is the right half area of the display area P.
  • the user performs a touch operation on the display region P with the thumb of the gripping hand while holding the display device 1 with one hand (here, the left hand).
  • a region to be touched region of interest
  • the far thumb region is the right half region of the display region P in this example.
  • the thumb ball is normally in contact with the left side of the end face, but the four fingers are not in contact with the right side of the end face.
  • the usage pattern determination unit 55 detects a wide touch position on one side and detects two or more narrow touch positions on the side opposite to the side (the detected narrow width). When the number of touch positions is less than two), the attention area is determined to be the far thumb area. When the gripping form is right hand holding, the thumb touches on the right side, so the far thumb area is the left half area of the display area P.
  • the usage pattern determination unit 55 determines that there is no bias in the attention area when the combination of the narrow touch position and the wide touch position does not match any of the above conditions.
  • the usage pattern determination unit 55 transmits the usage pattern determined as described above to the display control unit 54.
  • the usage form output to the display control unit 54 includes information indicating a gripping form (right hand holding or left hand holding) and an attention area (near thumb area, far thumb area, or no bias). ).
  • the display control unit 54 can select the layout according to the usage pattern, that is, the gripping pattern and the attention area, according to the layout determination rule 62.
  • FIG. 11 is a diagram illustrating an example of the layout determination rule 62.
  • the layout determination rule 62 is shown as a table format data structure, and is not intended to limit the data structure to the table format.
  • the layout determination rule 62 is a data structure in which a suitable layout is associated with a combination of a gripping form and a region of interest.
  • a suitable layout is associated with a combination of a gripping form and a region of interest.
  • three types of layouts are defined in advance, but this is an example and there is no intention to limit the layout determination rule 62.
  • six types of layouts may be defined for each combination.
  • the display control unit 54 can select a layout according to the usage mode determined by the usage mode determination unit 55 by referring to the layout determination rule 62 shown in FIG. Specifically, for example, when it is determined that the grip form is left-handed and the attention area is the near thumb area, the display control unit 54 can select a layout with a wide left side. Then, the display control unit 54 changes the layout of the screen supplied from the application execution unit 56 to a layout in which the left side is widened. For example, the layout is changed as shown in FIG.
  • FIG. 12 is a diagram showing some specific examples of layouts defined in the layout determination rule 62.
  • FIG. 12 is a figure which shows the specific example of the character input screen displayed on the display panel 12 based on the layout with the wide left side.
  • FIG. 12B is a diagram showing a specific example of a character input screen based on the normal layout.
  • C is a figure which shows the specific example of the character input screen based on a layout with the right side wide.
  • the normal layout specifies that the screen of the execution result output by the application execution unit 56 is output as a video signal to the display panel 12 as the original. In this case, therefore, the screen generated by the application execution unit 56 is displayed as it is on the display panel 12 ((b) of FIG. 12).
  • the layout on the left side is wide.
  • the layout with the wide left side is the width of the UI part in which most of the UI parts are arranged in the left third of the display area among the UI parts included in the original execution result screen. It stipulates to make it wide.
  • the display control unit 54 expands the horizontal width of the UI components 80a to 80f based on the layout on the left side. .
  • the enlargement ratio at this time is not particularly limited, but it is desirable that the magnification is 1.5 times or less with respect to the width of the original UI part in consideration of operability and visibility.
  • the display control unit 54 reduces the horizontal width of the right UI component by increasing the width of the left UI component.
  • the reduction ratio at this time is not particularly limited, it is desirable that the reduction ratio is 0.5 times or more with respect to the width of the original UI part in consideration of operability and visibility. In any case, the enlargement ratio and the reduction ratio are appropriately determined so that all the original UI parts can be accommodated in the display area, and in consideration of operability and visibility.
  • the enlargement ratio and the reduction ratio may be dynamically determined by the display control unit 54, or may be defined in advance for each layout in the layout determination rule 62.
  • the character input screen whose layout has been changed so that the left side is widened by the display control unit 54 is displayed on the display panel 12, for example, as shown in FIG.
  • the layout on the right side is wide.
  • the A layout with a wide right side is opposite to a layout with a wide left side as an example.
  • most of the UI parts are one third of the right side of the display area.
  • the width of the UI parts arranged in the region is specified to be widened. In the example shown in FIGS.
  • the display control unit 54 enlarges the horizontal width of the UI components 81a to 81g based on the layout on the right side, and conversely, the UI component arranged on the left side. Reduce the width of.
  • the enlargement ratio and reduction ratio are appropriately determined in the same way as the layout on the left side is wide.
  • the character input screen whose layout has been changed so that the right side is widened by the display control unit 54 is displayed on the display panel 12, for example, as shown in FIG.
  • FIG. 13 is a flowchart illustrating a flow of processing of a touch operation on the end surface, which is executed by the display device 1 according to the first embodiment.
  • the operation acquisition unit 51 acquires a touch operation on the end surface (the outer surface A or B shown in FIG. 6) of the display device 1 (YES in S101)
  • the touch operation information including the touch position is input by the input operation determination unit 52. At least, it is supplied to the usage pattern determination unit 55.
  • the usage pattern determination unit 55 determines the usage pattern of the display device 1 based on the supplied touch operation information.
  • the usage pattern determination unit 55 determines the grip pattern based on the touch position (S102).
  • the display device 1 may return to the state of accepting the touch operation without determining the attention area.
  • the use form determination unit 55 determines the gripping form (or continues the determination of the gripping form) based on the touch position, and determines the attention area. Specifically, any two or more of four fingers other than the thumb (narrow touch position) are detected on the same side of the display area, and a thumb ball (wide touch position) is detected on the side opposite to the side. If not (YES in S104), the usage pattern determination unit 55 determines that the attention area is the near thumb area (S105). Here, the use form determination unit 55 determines that the attention area is a left area close to the thumb when the grip form is left-handed, and the attention area is the right area close to the thumb when the grip form is right-handed. It turns out that.
  • the usage pattern determination unit 55 determines that the region of interest is a far thumb region (S107).
  • the use form determination unit 55 determines that the attention area is a right area far from the thumb when the grip form is left-handed, and the attention area is a left area far from the thumb when the grip form is right-handed. It turns out that.
  • the usage pattern determination unit 55 causes the attention area to be biased to both the left and right. It is determined that it is not present (S108).
  • the display control unit 54 refers to the layout determination rule 62 and selects a layout according to the usage mode (gripping mode and attention area) determined by the usage mode determination unit 55.
  • Information is displayed on the display panel 12 based on the selected layout (S109).
  • the displayed information is, for example, a screen that is generated as a result of the processing executed by the application execution unit 56 in accordance with the touch operation detected in S101.
  • the display control unit 54 is not limited to this, and the display control unit 54 maintains the layout changed as described above for a predetermined time (arbitrary n seconds), and returns the changed layout to the original layout after the predetermined time has elapsed. There may be.
  • the information processed by the display device 1 (the screen generated by the application execution unit 56) has a layout that is used by the user. And then displayed on the display panel 12 ((a) to (c) in FIG. 12).
  • the display control unit 54 displays the information (UI component) displayed in the area in an enlarged manner.
  • the UI component to be operated is displayed in a large area in the region where it is difficult to operate, and the user can easily operate the UI component to be operated.
  • Embodiment 2 >> [Problems to be Solved by the Invention]
  • the ease and difficulty of the touch operation vary depending on the position of the finger performing the touch operation and the position on the display area to be touched. There's a problem. This variation is particularly noticeable when the user performs a touch operation with one hand. For example, as shown in FIG. 10, when the display device is held with the left hand and a touch operation is performed with the thumb of the left hand, it is difficult to operate the region that is too far from the thumb.
  • the display device of the present invention that can eliminate the operability variation in the display area and improve the operability, and in particular, does not make the user aware of the change of the layout.
  • a display device that improves operability without impairing visibility will be described in detail.
  • Embodiment 2 of the present invention will be described with reference to FIGS. 14 to 17 as follows.
  • members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
  • FIG. 14 is a functional block diagram illustrating a main configuration of the display device 1.
  • the display device 1 shown in FIG. 14 is different from the display device 1 shown in FIG. 1 as follows.
  • the control unit 50 further includes a touchable area correction unit 57 as a functional block.
  • the usage pattern determined by the usage pattern determination unit 55 is supplied not to the display control unit 54 but to the application execution unit 56 and the touchable area correction unit 57 and is used by the application execution unit 56 and the touchable area correction unit 57. It is a configuration.
  • the storage unit 60 stores a map correction rule 63 instead of the layout determination rule 62.
  • the visible area coordinate position indicating where the object is displayed on the display panel 12 and the touchable area indicating where the touch operation on the object is received on the touch panel 14 are displayed. It was assumed that the coordinate position coincided.
  • the coordinate position of the visible area may not match the coordinate position of the touchable area for one screen. Therefore, in the second embodiment, the map 61 is a touchable area map in which the coordinate position of the object does not necessarily match the coordinate position of the visible area of the screen in association with the screen output to the display panel 12 by the display control unit 54. Data structure to be held.
  • the usage pattern determination unit 55 only needs to determine at least the gripping pattern, and it is not essential to determine the attention area as in the first embodiment.
  • the touchable area correction unit 57 corrects the coordinate position of the touchable area of the object included in the map 61 (touchable area map) according to the usage form.
  • the application execution unit 56 supplies the screen to the display control unit 54 and stores the map 61 corresponding to the screen in the storage unit 60. At this time, the coordinate position of the touchable area of the object included in the map 61 coincides with the coordinate position of the visible area of the object on the display panel 12. Thereafter, a touch operation on the end face is detected, and the use form determination unit 55 determines the grip form.
  • the touchable area correction unit 57 performs correction on the map 61 according to the determined gripping form according to the map correction rule 63.
  • FIG. 15 is a diagram illustrating an example of the map correction rule 63.
  • the map correction rule 63 is a data structure in which correction contents, that is, information defining how the map 61 should be corrected is associated with each other according to the gripping form.
  • the correction content defined in the map correction column is an example, and the map correction rule 63 of the present invention is not limited to this.
  • the touchable area correction unit 57 can perform map correction according to the gripping form determined by the use form determination unit 55 by referring to the map correction rule 63 shown in FIG. Specifically, when it is determined that the gripping form is left-handed, the touchable area correction unit 57 corrects the coordinate position of the touchable area included in the map 61 to the left from the coordinate position of the visible area. I do. Although not shown, the number of pixels to be shifted to the left is also defined in advance in the map correction column.
  • FIG. 16B is a diagram showing a map 61 (touchable area map) corresponding to the character input screen, and more particularly, a diagram showing the map 61 after being corrected according to the gripping form being left-handed. It is.
  • the touchable area correction unit 57 sets the coordinate position of the touchable area to the left of the coordinate position of the original visible area according to the map correction rule 63. Shift to Thus, as shown in FIG. 16B, the map 61 is updated to include the corrected coordinate position.
  • the application execution unit 56 grasps which object is touched according to the corrected map 61, and is assigned to the object in advance. Execute the process.
  • the character input screen displayed on the display panel 12 is as shown in FIG.
  • the position where the touch operation for each object (UI component) is accepted is shifted to the left from the displayed position.
  • the area where the UI component 81c is displayed on the display panel 12 is within the left one-third area as shown in FIG. 16A, but the UI component 81c is touched.
  • the region where the operation can be accepted is corrected to the left from the appearance as indicated by the thick broken line in FIG.
  • the touchable area is corrected in the same manner as in the case of left-handed except that the left and right sides are reversed.
  • FIG. 16C is a diagram showing a map 61 (touchable area map) corresponding to the character input screen, and more particularly, a diagram showing the map 61 after being corrected in accordance with the holding form being right-handed. It is.
  • the touchable area correction unit 57 shifts the coordinate position of the touchable area to the right from the coordinate position of the original visible area according to the map correction rule 63.
  • the map 61 is updated to include the corrected coordinate position.
  • the position at which a touch operation is accepted for each UI component arranged on the character input screen is shifted to the right from the displayed position.
  • the position where the UI component 80c is displayed is as shown in FIG. 16A, but the area where the touch operation can be accepted with respect to the UI component 80c is indicated by a thick dotted frame in FIG. As you can see, it is corrected to the right of appearance.
  • FIG. 17 is a flowchart illustrating a flow of a touch operation process performed on the end surface, which is executed by the display device 1 according to the second embodiment.
  • the operation acquisition unit 51 acquires a touch operation on the end face of the display device 1 (YES in S201)
  • the touch operation information including the touch position is supplied to at least the usage pattern determination unit 55 by the input operation determination unit 52.
  • the usage pattern determination unit 55 determines the usage pattern of the display device 1, that is, the gripping pattern, based on the supplied touch operation information (S202).
  • the display device 1 returns to the state of accepting the touch operation.
  • the touchable area correction unit 57 corrects the coordinate position of the touchable area according to the gripping form determined by the usage form determination unit 55 according to the map correction rule 63 (FIG. 15) (S204).
  • the application execution unit 56 executes the application with reference to the corrected map 61 (S205). That is, when any touch operation is performed on the display area, it is determined based on the corrected map 61 which object is touched by the touch operation.
  • the corrected map 61 is maintained until the touch position on the rear end surface is changed, and the application execution unit 56 continues processing according to the map 61 (NO in S206). If the touch position on the end face changes (YES in S206), the determination of the grip form and the correction of the map 61 are repeated based on the newly detected touch position.
  • the display device 1 As described above, according to the above-described configuration and method of the display device 1 according to the second embodiment of the present invention, it is possible to improve operability with respect to an area that is too far from the thumb.
  • the display device 1 When the display device 1 is operated with one hand holding the display device 1, it is difficult for the thumb to reach an area far from the thumb in the display area. Therefore, there is a tendency that the actual touch position is unintentionally shifted toward the thumb.
  • the touchable area is corrected closer to the thumb, so that the shift can be offset.
  • UI parts that are actually displayed on the display panel 12 are arranged according to a normal layout, and the display position is not changed. Therefore, since the appearance does not change, the user does not need to be aware of the layout change, and thus visibility is not impaired. As a result, there is an effect that a display device that improves operability without impairing visibility can be realized.
  • Embodiment 3 [Problems to be Solved by the Invention]
  • the ease and difficulty of the touch operation vary depending on the position of the finger performing the touch operation and the position on the display area to be touched. There's a problem. This variation is particularly noticeable when the user performs a touch operation with one hand. For example, as shown in FIG. 10, when the display device is gripped with the left hand and a touch operation is performed with the thumb of the left hand, it is difficult to operate on an area that is too far from the thumb. It is hard to do. In particular, it is more difficult to operate near the base of the thumb. As described above, the operability variation occurring in the display area cannot be eliminated only by determining the gripping form as in the techniques of Patent Documents 1 and 2. In addition, if the display mode is frequently changed, the user is confused and the visibility is impaired.
  • the display device of the present invention that can eliminate variability in operability occurring in the display area and improve operability, in particular, does not make the user aware of the change in layout, and therefore, A display device that improves operability without impairing visibility will be described in detail.
  • Embodiment 3 of the present invention will be described below with reference to FIGS. 14 and 18 to 20.
  • members having the same functions as those described in the above embodiments are denoted by the same reference numerals and description thereof is omitted.
  • [Functional configuration of display device 1] 14 is the same as that of the display device 1 of the second embodiment except for the following points.
  • the usage pattern determination unit 55 is configured to determine the attention area as well as the gripping pattern as the usage pattern, as in the first embodiment.
  • the map correction rule 63 is a data structure in which correction contents are associated with each other according to the combination of the gripping form and the attention area.
  • the touchable area correction unit 57 is configured to correct the coordinate position of the touchable area by changing the correction position and the correction level according to the correction content according to the gripping form and the attention area.
  • FIG. 18 is a diagram illustrating an example of the map correction rule 63.
  • the correction contents are associated with each other in accordance with the combination of the grip form and the attention area. Further, in the correction content, in addition to the correction direction, the area to be corrected and the degree of correction are defined.
  • the touchable area correction unit 57 can perform map correction according to the usage pattern determined by the usage pattern determination unit 55 by referring to the map correction rule 63 shown in FIG. Specifically, when it is determined that the gripping form is left-handed and the attention area is the near thumb area, most of the left half area of the display area P (see FIG. 10) is included. Correction is performed by shifting the coordinate position of the touchable area of the object by two offset values to the right of the coordinate position of the visible area. A larger offset value indicates a greater degree of correction. Note that the number of pixels corresponding to the “offset value 1” is not particularly limited and is not shown in the drawing. However, based on the actual size of the display area of the display device 1 or the like, Assume that it is specified in advance in another table.
  • the offset value is defined so that the region of interest is corrected more largely in the case of the near thumb region than in the case of the far thumb region.
  • the correction target range and the correction direction are defined so that the touchable area of the far thumb area is corrected closer to the thumb.
  • the correction target range and the correction direction are defined so as to correct the touchable area of the near thumb area in a direction away from the thumb.
  • the above correction content is defined based on the following tendency of erroneous operations by the user. That is, when operating the far thumb region, the touch position tends to be unintentionally shifted toward the thumb. Further, when operating on the near thumb region, it is difficult to operate near the thumb, and the touch position tends to be unintentionally shifted away from the thumb. Further, the near thumb region, in particular, the region near the base of the thumb, etc., is more difficult to operate than the far thumb region, and the shift tends to be larger. Therefore, by defining the correction contents as described above, it is possible to more appropriately cancel the touch position shift in consideration of the tendency of the user's erroneous operation.
  • FIG. 19 is a diagram showing a map 61 before correction corresponding to the original character input screen generated by the application execution unit 56.
  • FIG. 19B is a diagram showing the map 61 after being corrected by the touchable area correction unit 57 when the gripping form is left-handed and the attention area is the near thumb area.
  • FIG. 19C is a diagram illustrating the map 61 after being corrected by the touchable area correction unit 57 when the gripping form is right-handed and the attention area is the far thumb area.
  • the touchable area correction unit 57 When the gripping form is left-handed and the attention area is the near thumb area, the touchable area correction unit 57 performs the target UI component according to the map correction rule 63 as shown in FIG. Perform correction to shift the touchable area. Specifically, the touchable area correction unit 57 moves the UI part that is mostly included in the left half area of the display area (the area on the left side of the alternate long and short dash line) to the right (away from the thumb) from the coordinate position of the visible area. Direction), the touchable area is shifted by two offset values.
  • the touchable area correction unit 57 When the gripping form is right-handed and the attention area is the far thumb area, the touchable area correction unit 57 performs the target UI component according to the map correction rule 63 as shown in FIG. Perform correction to shift the touchable area. Specifically, the touchable area correction unit 57 has one offset value to the right (closer to the thumb) than the coordinate position of the visible area, for UI parts that are mostly included in the left half area of the display area. Shift the touchable area.
  • the touchable area correction unit 57 performs the following operation on UI components that are mostly included in the right half area of the display area.
  • the touchable area is shifted by two offset values to the left (in the direction away from the thumb) from the coordinate position of the visible area.
  • the touchable area correction unit 57 determines the coordinates of the visible area for UI parts that are mostly included in the right half area of the display area.
  • the touchable area is shifted by one offset value to the left of the position (closer to the thumb).
  • the touchable area correction unit 57 may not perform correction when it is determined that the attention area is not biased. In this case, as shown in FIG. 19A, the original map 61 is continuously stored in the storage unit 60.
  • FIG. 20 is a flowchart illustrating a flow of a touch operation process performed on the end surface, which is executed by the display device 1 according to the third embodiment.
  • S301 to S303 correspond to the processing flows S101 to S103 of the first embodiment.
  • the attention area determination process in S304 corresponds to the process flows S104 to S108 in the first embodiment.
  • the touchable area correction unit 57 subsequently determines the gripping pattern determined according to the map correction rule 63 (FIG. 18).
  • the coordinate position of the touchable area is corrected according to the attention area (S305). Specifically, since it is as described above, the description will not be repeated here.
  • S306 to S307 correspond to the processing flows S205 to S206 of the second embodiment.
  • the configuration and the method of the display device 1 according to the third embodiment of the present invention it is possible to improve the operability with respect to an area that is too far from the thumb and an area that is too close to the thumb.
  • the variation in operability for each region can be eliminated.
  • the correction target range, the correction direction, and the degree of correction can be varied according to the use mode, it is possible to more appropriately cancel the touch operation deviation in consideration of the tendency of the user's erroneous operation. Become.
  • UI parts that are actually displayed on the display panel 12 are arranged according to a normal layout, and the display position is not changed. Therefore, since the appearance does not change, the user does not need to be aware of the layout change, and thus visibility is not impaired. As a result, there is an effect that it is possible to realize a display device that can improve operability more appropriately according to the usage form without impairing visibility.
  • the display device 1 may display UI components that can be operated in accordance with a touch operation on the end face with the thumb on the display panel 12.
  • FIG. 21 is a diagram for explaining the function of the display device 1 for displaying the UI parts.
  • the usage pattern determination unit 55 identifies the touch position of the thumb on the end surface based on the touch operation information supplied from the input operation determination unit 52. As shown in FIG. 21A, the usage pattern determination unit 55 can specify the wide touch position, that is, the narrow touch position detected on the same side as the thumb ball as the touch position of the thumb. Alternatively, when two or more narrow touch positions are detected in one side even if a wide touch position is not detected, one narrow touch position on the side opposite to the side is specified as the touch position of the thumb. be able to.
  • the usage pattern determination unit 55 supplies the thumb touch position to the application execution unit 56.
  • the application execution unit 56 arranges the UI component 82 in a predetermined range (for example, the hatched range shown in FIG. 21A) with the identified thumb position as a reference.
  • the screen including the UI component 82 generated by the application execution unit 56 is supplied to the display control unit 54.
  • the display control unit 54 displays the screen on the display panel 12 as shown in FIG.
  • the UI component 82 is displayed at a position where the user can easily operate with the thumb, the user operability is improved.
  • the UI component 82 is, for example, a slide bar. The user can freely move the position of the slide thumb (knob) by sliding the thumb on the end surface or by sliding on the display area where the UI component 82 is displayed.
  • the application execution unit 56 may switch the display / non-display of the UI component 82 according to the attention area. For example, when the user's attention area is the far thumb area, there is almost no possibility that the UI component 82 arranged near the thumb touch position is touch-operated. Therefore, when it is determined that the attention area is the far thumb area, the application execution unit 56 may hide the UI component 82 disposed near the thumb.
  • the display device 1 (the display control unit 54) has a configuration in which the horizontal width of the object, that is, the horizontal width of the object is enlarged or reduced according to the usage pattern.
  • the display control unit 54 may be configured to further increase or decrease the vertical direction, that is, the height of the object, according to the layout determination rule 62.
  • the display device 1 (touchable area correction unit 57) is configured to correct the coordinate position of the object in the left-right direction according to the usage mode.
  • the touchable area correction unit 57 may be configured to further correct the coordinate position in the vertical direction in accordance with the map correction rule 63.
  • control blocks of the display device 1 are integrated circuits (IC chips). ) Or the like, or may be realized by software using a CPU (Central Processing Unit).
  • the display device 1 includes a CPU that executes instructions of a program that is software for realizing each function, a ROM (Read (Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU), or A storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • a computer or CPU
  • the recording medium a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • a display device stores a display member (display panel 12), an operation detection member (touch panel 14) superimposed on the display member, the display member, and the operation detection member.
  • the use form determination unit (55) for determining the gripping form and determining the attention area that is the area that the user is interested in touching among the display areas, and the use form determination unit.
  • a display control unit for changing the display mode of the screen to be displayed on the display member and (54).
  • the use form determination unit determines the form in which the user holds the display device, that is, the grip form, based on the touch position of the touch operation on the end face. At the same time, a region that the user is interested in touching, that is, a region of interest is determined. And a display control part changes the display mode of the screen displayed on a display member according to the said holding
  • the display device in which the operation detection member combines the detection of the touch operation with respect to the display area and the touch operation with respect to the end face of the housing, the display is displayed on the display member in consideration of the attention area as well as the gripping form.
  • the display mode of the screen to be changed is changed.
  • the display mode is such that the user is holding the display device and where in the display area the user is paying attention. Together, it is maintained in an optimal manner.
  • the display control unit is specified based on the determined gripping form and the attention area among the touch-operable objects included in the screen.
  • the width of at least the object displayed in a part of the display area is enlarged.
  • a display control part performs the process which expands the horizontal width about the object displayed on the area
  • the object displayed on the area that the user is trying to operate is displayed with a wider width than the original size. For this reason, the user can easily perform a touch operation on the object displayed on the area.
  • the display control unit is configured so that the use form determination unit causes the gripping form to be left-handed and the attention area to be close to the thumb of the holding hand.
  • the left half of the display area when it is determined that the area is the thumb area, or when the gripping form is right-handed and the attention area is determined to be the far thumb area far from the thumb of the holding hand.
  • the width of at least a part of the object displayed on the screen is enlarged, and the usage pattern determination unit determines that the grip pattern is right-handed and the attention area is the near thumb area, or the grip pattern is When it is determined that the region of interest is the far thumb region, the width of at least a part of the object displayed in the right half of the display region is enlarged.
  • the usage pattern determination unit determines whether the grip pattern is right-handed or left-handed, and determines whether the attention area is on the side close to the thumb or on the side far from the thumb. judge. Based on the grip form determined in this way and the attention area, the area to be operated by the user is specifically specified as the left half area or the right half area on the display area.
  • the display control unit can display an object (such as a UI component) displayed in the left half area or the right half area on the specified display area, that is, an area that is difficult to operate, with a wide width.
  • an object such as a UI component
  • the display device stores a display member (display panel 12), an operation detection member (touch panel 14) superimposed on the display member, the display member, and the operation detection member.
  • a storage member (60) for storing the position of the touchable area that can be received, and a touch position of the touch operation on the end surface detected by the operation detection member.
  • a use form determining unit (55) for determining the grip form, and correcting the position of the touchable area of the object stored in the storage member according to the grip form determined by the use form determining unit.
  • the screen displayed on the display member includes one or more objects that can be touched.
  • the storage member stores information (position of a touchable area) indicating which position on the operation detection member should be touched in order to touch each object.
  • the touchable area correction unit corrects the position of the touchable area stored in the storage member according to the determined gripping form.
  • the erroneous operation is an erroneous operation in which, for example, when an object in a region where a finger is difficult to reach is touched in front of a target object unintentionally, the object is touched.
  • the correction is performed on the position of the touchable area stored in the storage member, the correction result does not appear on the screen displayed on the display member. Therefore, since the appearance does not change, the user does not need to be aware of the layout change, and thus visibility is not impaired.
  • the touchable area correction unit displays in the display area when the use form determination unit determines that the gripping form is left-handed.
  • the position of the touchable area is corrected to the left with respect to at least a part of the object to be touched, and the position of the touchable area is determined with respect to at least a part of the object when it is determined that the gripping form is right-handed. Correct to the right.
  • the touchable area correction unit corrects the position of the touchable area to the right or left, that is, closer to the thumb, according to the determined gripping form. Therefore, it is possible to cancel the above deviation.
  • UI parts that are actually displayed on the display member are arranged according to a normal layout, and the display position is not changed. Therefore, since the appearance does not change, the user does not need to be aware of the layout change, and thus visibility is not impaired. As a result, there is an effect that a display device that improves operability without impairing visibility can be realized.
  • the usage pattern determination unit is an attention area that is an area that the user is interested in touching in the display area.
  • the touchable area correction unit varies the correction target range, the correction direction, and the degree of correction on the display area according to the gripping form and the attention area determined by the usage pattern determination unit. Thus, the position of the touchable area of the object is corrected.
  • the touchable area correction unit is suitable for the object in the display area suitable for the tendency to shift that is likely to occur in the usage pattern in the appropriate direction according to the determined usage pattern.
  • the position of the touchable area is corrected by the specified amount.
  • the touchable area correction unit is configured such that the use form determination unit determines that the gripping form is left-handed and the attention area is close to the thumb of the holding hand. If it is determined that the area is the near thumb area, the position of at least a part of the touchable area of the object displayed in the left half of the display area is corrected to the right by the first offset value, and the usage pattern determination unit When the gripping form is left-handed and the target area is determined to be the far thumb area far from the thumb of the hand, at least a part of the object displayed in the right half of the display area can be touched The position of the area is corrected to the left by a second offset value smaller than the first offset value, and the use form determination unit determines that the grip form is right-handed and the attention area is the near thumb area If it is determined that there is, the position of at least a part of the touchable area of the object displayed in the right half of the display area is corrected to the left by the first offset value, and the
  • the user tends to touch a position closer to the thumb than intended in an area that is too far from the thumb.
  • a region that is too close to the thumb there is a tendency to touch a position far from the thumb than intended.
  • the displacement of the touch position described above is larger when operating an area that is too close to the thumb than when operating an area that is too far from the thumb. It tends to be.
  • the touchable area correction unit corrects the touchable area based on the larger first offset value when it is determined that the near thumb area is attracting attention. To do.
  • the direction of correction is specified in a direction in which the deviation is offset based on the determined gripping form and the attention area in consideration of the tendency of the erroneous operation.
  • the usage pattern determination unit includes a detection range among a plurality of touch positions detected on the end face by the operation detection member.
  • the touch position is identified as the touch position of the thumb ball, and when there is a touch position whose detection range is narrower than the predetermined position, the touch position is set to four fingers other than the thumb and the thumb. Based on the combination of the touch position of the thumb, four fingers, and the thumb ball, whether the attention area is the near thumb area near the thumb of the holding hand or not It is determined whether the far thumb region is far from the thumb of the hand.
  • the display device determines whether the user is holding the display device with the left hand or the right hand, and also the region that the user is paying attention to (for example, the region closer to the thumb). , The region far from the thumb).
  • a touch operation processing method includes a display member, an operation detection member superimposed on the display member, and a housing that stores the display member and the operation detection member.
  • the operation detection member detects a touch operation with respect to the display area of the display member, and a display device in which a part of the operation detection member detects a touch operation on the end surface of the casing other than the display area is executed.
  • a touch operation processing method wherein the gripping mode is determined based on the touch position of the touch operation on the end face detected by the operation detection member, and attention is paid to the user trying to perform a touch operation in the display area. Display on the display member according to the use form determination step for determining the attention area, which is a region that is present, and the gripping form and the attention area determined in the use form determination step. And a display control step of changing the display mode of the screen to be.
  • This provides an effect of improving the operability by providing a user interface corresponding to the usage form without complicating the detection mechanism of the display device.
  • the display device may be realized by a computer.
  • the display device is controlled by the computer by causing the computer to operate as each unit included in the display device.
  • a program and a computer-readable recording medium on which the program is recorded also fall within the scope of the present invention.
  • the present invention can be used for a display device that can detect a touch operation (contact or approach) of a finger or the like on the end surface of the housing of the display device, for example, a multi-function mobile phone, a tablet, a monitor, a television, or the like.
  • a display device that can detect a touch operation (contact or approach) of a finger or the like on the end surface of the housing of the display device, for example, a multi-function mobile phone, a tablet, a monitor, a television, or the like.
  • a relatively small display device such as a multi-function mobile phone
  • Display device 12 Display panel (display member) 14 Touch panel (operation detection member) 17 Case 50 Control Unit 51 Operation Acquisition Unit 52 Input Operation Determination Unit 54 Display Control Unit 55 Usage Form Determination Unit 56 Application Execution Unit 57 Touchable Area Correction Unit 60 Storage Unit (Storage Member) 61 Map 62 Layout decision rule 63 Map correction rule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

 表示装置の検知機構を複雑にすることなく、利用形態に応じて操作性を向上させる。本発明に係る表示装置(1)は、筐体(17)の端面(A、B)に対するタッチ操作のタッチ位置に基づいて、把持形態を判定するとともに、表示領域(P)のうちユーザがタッチ操作しようと注目している領域である注目領域を判定する利用形態判定部(55)と、把持形態と注目領域とに応じて、表示領域に表示させる画面の表示態様を変更する表示制御部(54)とを備えている。

Description

表示装置、および、タッチ操作処理方法
 本発明は、タッチ操作を処理する表示装置、および、タッチ操作処理方法に関する。
 近年、タッチパネルを備えた表示装置の開発が進んでおり、その一例として特許文献1および2が挙げられる。
 特許文献1には、表示装置の表示面以外の部分に別途設けられた第1検知部の検知結果に基づいて、当該表示装置を把持するユーザの持ち手を判定し、持ち手に応じて上記表示面に表示される画像の表示態様を制御する表示装置が開示されている。
 特許文献2には、端末筐体の背面および側面にセンサを設け、保持する指の本数や接触位置等の情報を利用することにより、ユーザの端末の握り方、指の可動範囲を推定し、入力方法を最適化する携帯端末およびキー表示方法が開示されている。
日本国公開特許公報「特開2011-164676号(2011年8月25日公開)」 日本国公開特許公報「特開2012-27581号(2012年2月9日公開)」 日本国特許公報「特許495516号(2012年3月23日登録)」
 しかしながら、上記従来の構成では、表示装置において、把持形態を判定するためには、表示装置の表示面(携帯端末のキーボード配置面)に設けるタッチパネルのセンサとは別に、専用のセンサ(特許文献1の第1検知部/特許文献2の第1のセンサ)を設けなければならない。そのため、表示装置に搭載する部品点数が増えて、検知機構が複雑化し、その結果、表示装置の処理負荷が増大するという問題が生じる。上記表示装置を、薄型軽量化への要求が特に厳しい携帯端末に適用する場合には、上記問題は特に深刻である。
 表示装置において、検知機構を複雑にすることなく、表示面以外の部分に対する接触(または接近)の操作を検知することができれば、処理負荷を増大させることなく、利用形態(例えば、把持形態)を判定することができる。そして、利用形態に応じた多種多様なユーザインターフェースをユーザに提供し、操作性を向上させることが可能である。
 本発明は、上記の問題点に鑑みてなされたものであり、その目的は、表示装置の検知機構を複雑にすることなく、利用形態に応じたユーザインターフェースを提供することにより操作性を向上させる表示装置、および、タッチ操作処理方法を実現することにある。
 上記の課題を解決するために、本発明の一態様に係る表示装置は、表示部材と、該表示部材に重畳された操作検知部材と、上記表示部材と上記操作検知部材とを格納している筐体とを備え、上記操作検知部材が、上記表示部材の表示領域に対するタッチ操作を検知するとともに、該操作検知部材の一部が、上記表示領域以外の上記筐体の端面へのタッチ操作を検知する表示装置であって、該表示装置は、上記操作検知部材によって検知された、上記端面に対するタッチ操作のタッチ位置に基づいて、把持形態を判定するとともに、上記表示領域のうちユーザがタッチ操作しようと注目している領域である注目領域を判定する利用形態判定部と、上記利用形態判定部によって判定された把持形態と注目領域とに応じて、上記表示部材に表示させる画面の表示態様を変更する表示制御部とを備えていることを特徴としている。
 上記の課題を解決するために、本発明の別の一態様に係る表示装置は、表示部材と、該表示部材に重畳された操作検知部材と、上記表示部材と上記操作検知部材とを格納している筐体とを備え、上記操作検知部材が、上記表示部材の表示領域に対するタッチ操作を検知するとともに、該操作検知部材の一部が、上記表示領域以外の上記筐体の端面へのタッチ操作を検知する表示装置であって、該表示装置は、上記表示部材に表示させる画面に含まれる1以上のオブジェクトについて、該オブジェクトに対するタッチ操作を受け付けることが可能なタッチ可能領域の位置を記憶する記憶部材と、上記操作検知部材によって検知された、上記端面に対するタッチ操作のタッチ位置に基づいて、把持形態を判定する利用形態判定部と、上記利用形態判定部によって判定された把持形態に応じて、上記記憶部材に記憶されている上記オブジェクトのタッチ可能領域の位置を補正するタッチ可能領域補正部とを備えていることを特徴としている。
 上記の課題を解決するために、本発明のさらに別の一態様に係るタッチ操作処理方法は、表示部材と、該表示部材に重畳された操作検知部材と、上記表示部材と上記操作検知部材とを格納している筐体とを備え、上記操作検知部材が、上記表示部材の表示領域に対するタッチ操作を検知するとともに、該操作検知部材の一部が、上記表示領域以外の上記筐体の端面へのタッチ操作を検知する表示装置が実行するタッチ操作処理方法であって、上記操作検知部材によって検知された、上記端面に対するタッチ操作のタッチ位置に基づいて、把持形態を判定するとともに、上記表示領域のうちユーザがタッチ操作しようと注目している領域である注目領域を判定する利用形態判定ステップと、上記利用形態判定ステップにて判定された把持形態と注目領域とに応じて、上記表示部材に表示させる画面の表示態様を変更する表示制御ステップとを含むことを特徴としている。
 本発明の一態様によれば、表示装置の検知機構を複雑にすることなく、利用形態に応じたユーザインターフェースを提供することにより操作性を向上させるという効果を奏する。
本発明の実施形態1に係る表示装置の要部構成を示す機能ブロック図である。 携帯端末としての本発明の表示装置の概略構成の一例を示す斜視図である。 本発明の表示装置の概略構成の一例を示す断面図である。 携帯端末としての本発明の表示装置の概略構成の他の一例を示す斜視図である。 本発明の表示装置の概略構成の他の一例を示す断面図である。 本発明の表示装置の概略構成の一例を示す断面図であり、(a)はカバーガラスを備えた場合の概略構成を示す図であり、(b)はレンズを備えた場合の概略構成を示す図である。 本発明の表示装置が備えるタッチパネルの一例を示す概略的な上面図である。 (a)および(b)は、奥行き方向の入力操作の検知方法を説明するための図である。 (a)~(d)は、表示装置が判定する把持形態の具体例、特に、筐体の端面において検出されるタッチ位置の例をいくつか示す図である。 (a)および(b)は、表示装置が判定する注目領域の具体例、特に、筐体の端面において検出されるタッチ位置の例をいくつか示す図である。 実施形態1の表示装置の記憶部に記憶されている、レイアウト決定規則の一例を示す図である。 (a)~(c)は、レイアウト決定規則に定義されているレイアウトの具体例を示す図である。 実施形態1の表示装置が実行する、端面に対するタッチ操作の処理の流れを示すフローチャートである。 本発明の実施形態2および3に係る表示装置の要部構成を示す機能ブロック図である。 実施形態2の表示装置の記憶部に記憶されている、マップ補正規則の一例を示す図である。 (a)は、表示パネルに表示される文字入力画面の一具体例を示す図であり、(b)は、上記文字入力画面に対応するマップ(タッチ可能領域マップ)を示す図、特に、把持形態が左手持ちであることに応じて補正された後のマップを示す図であり、(c)は、上記文字入力画面に対応するマップ(タッチ可能領域マップ)を示す図、特に、把持形態が右手持ちであることに応じて補正された後のマップを示す図である。 実施形態2の表示装置が実行する、端面に対するタッチ操作の処理の流れを示すフローチャートである。 実施形態3の表示装置の記憶部に記憶されている、マップ補正規則の一例を示す図である。 (a)は、アプリケーション実行部によって生成されたオリジナルの文字入力画面に対応する、補正前のマップを示す図であり、(b)は、把持形態が左手持ちであって、注目領域が近親指領域である場合に、タッチ可能領域補正部によって補正された後のマップを示す図であり、(c)は、把持形態が右手持ちであって、注目領域が遠親指領域である場合に、タッチ可能領域補正部によって補正された後のマップを示す図である。 実施形態3の表示装置が実行する、端面に対するタッチ操作の処理の流れを示すフローチャートである。 端面に対するタッチ操作のタッチ位置に応じてUI部品を表示する、本発明の表示装置の機能を説明するための図である。
 まず、本発明の各実施形態の詳細を説明する前に、本発明の各実施形態に係る表示装置のハードウェア構成について説明する。
 〔表示装置の概略構成〕
 まず、表示装置1の概略構成について、図2~図8を用いて説明する。以下の説明では、表示装置1が液晶ディスプレイで実現される場合について説明するが、これに限らず、プラズマディスプレイ、有機ELディスプレイ、電界放出ディスプレイ等から構成されていてもよい。また、表示装置1は、特に断りのない限り、その上面が矩形の板状部材であるものとして説明するが、これに限らず、その上面が楕円形状、円形状等であってもよく、また板状部材でなく、その表面に凹凸があるような形状であってもよい。すなわち、下記に説明する機能を実施可能な構成であれば、どのような形状であってもよい。
 表示装置1が携帯端末として機能する場合について、図2および図3を用いて説明する。本発明の表示装置1が適用される携帯端末としては、例えば、多機能携帯電話機(所謂スマートフォン)、タブレットなどが挙げられる。
 図2は、携帯端末としての表示装置1の概略構成の一例を示す斜視図である。また、図3は、表示装置1の概略構成の一例を示し、図2に示す表示装置1がA-A’線により切り取られたときの概略的な断面図である。
 携帯端末としての表示装置1は、画像を表示するとともに、画像に対する入力操作を取得可能な装置である。表示装置1は、図2に示すように、筐体17によってその形状が規定されており、表示画面(表示パネル12)の表示領域P内に画像が表示される。
 より具体的には、図3に示すように、表示装置1は、バックライト11の上に、表示パネル12、透明粘着層(OCA)13、タッチパネル14(操作検知部材)、透明粘着層15およびカバーガラス16がこの順で積層されて構成されている。また、これらの部材は、表示装置1が備える筐体17にて支持されている。すなわち、筐体17は、表示パネル12とタッチパネル14とを格納しているものである。
 表示パネル12は、周知の構成を採用することができる。例えば、表示パネル12は、ガラス等でなる絶縁性を有するアクティブマトリクス基板(不図示)と、このアクティブマトリクス基板に対して所定の間隔で対向するガラス等でなる光透過性を有する対向基板(不図示)と、アクティブマトリクス基板と対向基板との間に挟持された液晶層とで構成される。液晶層としては、種々のタイプの液晶層を用いることができる。例えば図3の例では、薄膜トランジスタ(TFT)を備えたTFT層12bを挟むように配置された2つの偏光板12a、12dが設けられており、これにより画像の階調表示が可能な構成となっている。また、対向基板側には、カラーフィルタ12cが設けられており、これによりカラー表示が可能な構成となっている。
 表示パネル12には、列方向に延伸するデータ信号線、行方向に延伸する走査信号線および容量配線、行および列方向に並べられた画素が設けられている。各種信号線はアクティブマトリクス基板に設けられている。
 各画素の構造は同一の構成であり、1つの画素に対応して、少なくとも1つの画素電極が設けられ、データ信号線と走査信号線と容量配線とがそれぞれ1本ずつ設けられている。各画素では、アクティブマトリクス基板において、画素電極が、走査信号線に接続された上記TFT層12bに配置された薄膜トランジスタを介してデータ信号線に接続されており、対向基板に設けられた対向電極との間に液晶容量が形成されている。
 各画素に設けられた薄膜トランジスタは、ソース電極が画素電極に接続され、ドレイン電極がデータ信号線に接続され、ゲート電極が走査信号線に接続されている。これにより、トランジスタは、走査信号線から供給される走査信号(ゲート信号)によってオン/オフ制御され、データ信号線に供給されるデータ信号に応じた電圧が液晶層に印加され、トランジスタがオフ時に、該電圧が保持される構成となっている。
 そして、表示パネル12は、表示装置1が備える各種駆動回路および表示制御回路(いずれの回路も不図示)によって制御される。各種駆動回路としては、例えばデータ信号線駆動回路、走査信号線駆動回路等がある。これらの回路によって表示パネル12が制御さることにより、表示領域Pに画像が表示される。
 バックライト11は、表示パネル12に対して表示光を入射する。なお、バックライト11は、表示装置1に対して外付けされるものであってもよい。
 タッチパネル14は、表示パネル12に重畳されており、少なくとも表示パネル12の表示領域P内へのユーザの指、指示ペンなどの対象物の接触または接近を検知する部材である。これにより、表示領域Pに表示された画像に対するユーザの入力操作を取得し、当該入力操作に基づく所定の機能(種々のアプリケーション)の動作制御を行うことが可能となる。タッチパネル14としては、例えば、静電容量方式のタッチパネルが採用することができる。
 また、表示パネル12とタッチパネル14との間には透明粘着層13が設けられており、表示パネル12およびタッチパネル14が固定されている。この透明粘着層13の代わりに空気層(エアギャップ)を設けてもよい。ただし、各実施形態に係る表示装置1では、透明粘着層13が設けられていることが好ましい。図3に示すように透明粘着層13を設けることにより、表示装置1の光学特性を向上させることができ、また、各層の膜厚(ギャップ)制御性も向上させることができるからである。
 透明粘着層15は、タッチパネル14とカバーガラス16との間に設けられ、タッチパネル14およびカバーガラス16を固定している。
 カバーガラス16は、透明性を有する板状部材であり、タッチパネル14を外因から保護するために、タッチパネル14を覆うように配置されている。なお、ここではカバーガラス16の形状が矩形状となっている場合を想定しているが、これに限らず、その端部(外縁)に切り欠き形状を有していてもよい。この場合、カバーガラス16の外縁からタッチパネル14の外縁電極群(検出電極31aおよび駆動電極32aからなる電極群(図6参照))までの距離を短くすることができるので、表示装置1の外縁(表示領域P以外の表示装置1の外側表面A(図6参照))における検知精度を高めることができる。
 筐体17は、上述したように、表示パネル12とタッチパネル14とを格納している。また、筐体17には、高誘電率を有する材質が用いられている。ここで、「高誘電率を有する材質」とは、上記表示装置1の外縁に対する指等の接触または接近をタッチパネル14が検知することを容易にする程度の誘電率を有する材質をいう。具体的には、筐体17に用いられる材質としては、上記検知を容易にする程度、すなわち3以上(好ましくは6以上)の比誘電率を有する材質が用いられることが好ましい。このような高誘電率を有する材質が筐体17に用いられることにより、表示装置1の外縁における検知精度を高めることができる。
 また、各実施形態における携帯端末としての表示装置1の各部材の厚みは、一例として、以下のとおりである。
 すなわち、バックライト11の厚みが0.74mm、偏光板12aの厚みが0.15mm、TFT層12bの厚みが0.25mm、カラーフィルタ12cの厚みが0.15mm、偏光板12dの厚みが0.11mm、透明粘着層13の厚みが0.2mm、タッチパネル14の厚みが0.4mm、透明粘着層15の厚みが0.1mm、カバーガラス16の厚みh1が2mmである。さらに、カバーガラス16の表面からタッチパネル14と透明粘着層13との界面までの厚みh2は2.5mm、カバーガラス16の表面からカラーフィルタ12cとTFT層12bとの界面までの厚みh3は2.96mmである。
 当然ながら、上記の厚みはあくまで一例を示すものであって、表示装置1を備える携帯端末の大きさ等によって適宜変更される。なお、筐体17の水平方向の長さ(幅)は、後述するように、タッチパネル14が筐体17の外側表面(端面)への指等の接触または接近を検知可能な長さ以下に設定されている。
  (変形例)
 図4および図5を用いて表示装置1の変形例について説明する。図4は、携帯端末としての表示装置1の概略構成の他の例を示す斜視図である。また、図5は、当該表示装置1の概略構成の一例を示し、図4に示す表示装置1がA-A’線により切り取られたときの概略的な断面図である。
 変形例に基づく表示装置1は、図4および図5に示すように、カバーガラス16の代わりにレンズ18を備えている点で、図2および図3の表示装置1と異なるが、それ以外の表示パネル12、タッチパネル14などの各部材の機能については、表示装置1の各部材と同一である。それゆえ、主として、表示装置1と異なる部分のみ説明し、それ以外の説明は省略する。
 図5に示すように、表示装置1のタッチパネル14の上にレンズ18が積層されている。このレンズ18は、透明性を有する板状部材であり、タッチパネル14を外因から保護するために、タッチパネル14を覆うように配置されている。また、レンズ18は、その端部(外縁)に切り欠き部R1(切り欠き形状)を有しており、表示パネル12から出射された光の進行方向を変更するものである。
 切り欠き部R1を有するレンズ18を備えることにより、表示装置1の外縁におけるタッチパネル14の検知精度を高めることができる。また、表示パネル12の外縁に配置された画素から出射される光の進行方向が、切り欠き部R1によって変更され、当該画素の外側の領域(非表示領域)から出射される。したがって、画像の視野角度(ユーザからみたときの表示領域)を拡大することができる。なお、拡大機能がなくてもよい場合には、切り欠き部R1を有している必要は必ずしもない。
 また、本変形例に基づく表示装置1の各部材の厚みについて、カバーガラス16以外の各部材の厚みは、図2および図3に示す表示装置1と同じである。図4および図5に示す表示装置1において、レンズ18の厚みh1’は2.13mm、レンズ18の表面からタッチパネル14と透明粘着層13との界面までの厚みh2’は2.63mm、レンズ18の表面からカラーフィルタ12cとTFT層12bとの界面までの厚みh3’は3.09mmである。また、切り欠き部R1の幅w1は、2.1mmである。これらの厚みはあくまで一例を示すものであって、表示装置1を備える携帯端末の大きさ等によって適宜変更される。
 〔表示装置の具体的構成〕
 次に、表示装置1の具体的構成について、図6を用いて説明する。図6は、本発明の表示装置1の具体的構成の一例を示す断面図であり、図6の(a)はカバーガラス16を備えた表示装置1の具体的構成を示す図であり、図6の(b)はレンズ18を備えた変形例に基づく表示装置1の具体的構成を示す図である。なお、ここでは説明を簡略化するために、図3および図5に示した透明粘着層15などの構成の図示は省略している。
 以下では、ユーザが意図するかしないかにかかわらず、指、タッチペン等の対象物を、表示領域または端面に対して、接触または接近させる動作を、総称してタッチ操作と呼ぶことにする。
 図6の(a)に示すとおり、タッチパネル14は、基板の上に、対象物によるタッチ操作を検知するための電極群としての検出電極31および駆動電極32を備えている。そして、上記電極群のうちのタッチパネル14(すなわち、上記基板)の外縁に沿って配設された外縁電極群としての検出電極31aおよび駆動電極32aを備えている。
 また、図6の(a)に示すように、表示パネル12と筐体17の内側表面との間には、表示パネル12の各種配線が配設可能な第1配線格納部12Aが備えられ、タッチパネル14と筐体17との間には、タッチパネル14の各種配線が配設される第2配線格納部14Aが備えられている。
 そして、タッチパネル14と、表示領域P以外の筐体17の端面(図6の(a)では外側表面A)との最短距離dが、タッチパネル14が当該外側表面Aへのタッチ操作を検知することが可能な検知可能距離以下となっている。この構成によれば、表示領域P以外の筐体17の端面(外側表面A)に対するタッチ操作を検知することができる。
 また、上記構成によれば、表示領域Pへのタッチ操作を検知するタッチパネル14が、外側表面Aへのタッチ操作を検知することができるゆえ、当該外側表面Aへの指等の対象物を検知するための検知部材(専用のセンサ)を別途設ける必要がない。それゆえ、表示装置1について部品点数を増やすことなく(検知機構を複雑化することなく)、端面に対するタッチ操作を検知することができる。
 さらに、この最短距離dは、具体的には図6の(a)に示すように、タッチパネル14が備える外縁電極群としての検出電極31aおよび駆動電極32aのそれぞれと外側表面Aとの第1距離である。そして、この第1距離(最短距離d)は、表示パネル12と垂直方向で、かつ、タッチパネル14(具体的には検出電極31および駆動電極32)とカバーガラス16の外側表面(指等の接触面で、かつ表示装置1の上面)との距離である第2距離d1以下であることが好ましい。この構成の場合、筐体17の外側表面Aに対するタッチ操作を確実に検知することができる。
 以上のとおり、表示装置1は、筐体17の外側表面Aに対する指等の接触または接近を検知することが可能なように最短距離dが規定された、狭額縁化(額縁レス化)が図られた構成である。これにより、筐体17の端面に対するタッチ操作のセンシングが可能となる。また、狭額縁化を図ることにより、表示装置1のデザイン性を向上させることも可能となる。
  (変形例)
 変形例に基づく表示装置1においては、図6の(b)に示すとおり、タッチパネル14と、表示領域P以外の筐体17の端面(ここでは、外側表面B)との最短距離dが、タッチパネル14が当該外側表面Bへのタッチ操作を検知することが可能な検知可能距離以下となっている。ここで、外側表面Bは、2つの外側表面、すなわち、筐体17の外側表面(図6(a)に示す外側表面A)に加え、レンズ18の切り欠き部R1の外側表面を含んでいる。
 本変形例では、図6の(b)に示すように、上記最短距離d(第1距離)は、タッチパネル14が備える外縁電極群としての検出電極31aおよび駆動電極32aのそれぞれと外側表面Bとの距離となる。そして、この最短距離dが第2距離d1以下であることが好ましく、また、外側表面Bの一部である少なくとも一端面において、最短距離dが検知可能距離以下であればよい。
  (タッチパネルの構造)
 図7は、タッチパネル14の概略構成を示す上面図である。図示のように、タッチパネル14は、基板21の上に、タッチ操作を検知するための電極群としての検出電極31および駆動電極32を、マトリクス状に備えている。そして、上記電極群のうちのタッチパネル14(すなわち、上記基板21)の外縁に沿って配設された外縁電極群としての検出電極31aおよび駆動電極32aを備えている。そして、これらの検出電極31および駆動電極32の制御は、TPコントローラ(タッチパネルコントローラ)33によって行われる。
 また、表示装置1は、筐体17の端面(図6の外側表面AまたはB)に対するタッチ操作を検知する構成となっている。そのため、図6の(a)に示すタッチパネル14の第2配線格納部14A(タッチパネル14の額縁配線幅w0)は、カバーガラス16を備える表示装置1の場合、1mm以下であることが好ましい。また、レンズ18を備える表示装置1の場合、表示パネル12から出射される光の光線経路を妨げないように、各電極および第2配線格納部14Aが配置されることが好ましい。
  (奥行き方向の検知)
 図8の(a)および(b)は、奥行き方向の入力操作の検知方法を説明するための図である。なお、奥行き方向の入力操作を検知するためには、カバーガラス16およびレンズ18が切り欠き形状であることが好ましい。以下では、切り欠き部R1を有するレンズ18を備えた表示装置1を用いて説明する。
 図8の(a)に示すように表示装置1の奥行き方向に対する入力操作がある場合、具体的には、図8の(b)に示すように、指94が少なくともレンズ18の切り欠き部R1(外側表面Bの一部)を沿うように移動することとなる。この場合、TPコントローラ33(図7参照)が、各指94の位置において、互いに隣接する検出電極31および検出電極31aからの信号(静電容量C1およびC2)を受信し、当該信号の差分(C1-C2)を算出することにより、上記奥行き方向の移動を検知することが可能となる。
 なお、上記差分の算出、すなわち隣接検出電極間における差動読み出しの制御については、周知の構成が採用されてよく、例えば特許文献3等が挙げられる。それゆえ、ここではその詳細な説明は省略する。
 以上のとおり、本発明の表示装置1の上記の構成によれば、筐体17の端面に近い位置に配置された検出電極31aおよび駆動電極32aが、対応する表示領域に対するタッチ操作を検知する電極として機能するとともに、端面に対するタッチ操作を検知する外縁電極群としても機能する。
 これにより、端面に対するタッチ操作を検知するための別途の検出電極を設けずとも、表示領域のタッチ操作を検知することに代えて(あるいは加えて)、表示装置1の筐体17の端面(例えば、外側表面AまたはB)に対するタッチ操作を検知することができる。
 例えば、表示パネル12に表示される画像上(表示領域上)において、タッチ操作を受け付けることに代えて、端面においてタッチ操作を受け付ける場合には、ユーザは表示領域上をタッチする必要がなくなるので、上記画像の視認性および操作性を低下させることを防ぎつつ、ユーザのタッチ操作を取得することが可能となる。あるいは、表示領域上でタッチ操作を受け付けることに加えて、端面においてタッチ操作を受け付ける場合には、そのタッチ操作の組み合わせに応じて、多種多様なユーザインターフェースを表示装置1(携帯端末)において実現することが可能となる。
 以下では、端面と表示領域との両方でタッチ操作を受け付ける、本発明の表示装置1について、その動作内容を実施形態ごとに詳細に説明する。
 ≪実施形態1≫
 〔発明が解決しようとする課題〕
 ユーザが、表示装置のタッチパネルに対してタッチ操作を行うとき、タッチ操作を行う指の位置と、タッチしたい表示領域上の位置とによって、タッチ操作のし易さ、し難さにばらつきがあるという問題がある。ユーザが片手でタッチ操作するときには、このばらつきは特に顕著になる。例えば、図10のように、左手で表示装置を把持し、その左手の親指でタッチ操作を行う場合、親指から遠すぎると操作し難く、反対に、親指に近すぎても操作し難い。このように、表示領域の中で生じる操作性のばらつきは、特許文献1および2の技術のように把持形態を判定するだけでは、解消されない。
 実施形態1では、表示領域の中で生じる操作性のばらつきを解消し、操作性を向上させることが可能な本発明の表示装置について、詳細に説明する。
 本発明の実施形態1について図1~図13に基づいて説明すれば、以下のとおりである。
 〔表示装置1の機能構成〕
 図1は、表示装置1の要部構成を示す機能ブロック図である。表示装置1の制御部50について、主として、表示装置1が、タッチ操作(特に、表示装置1の端面(外側表面AまたはB)に対する入力操作)を取得したときの処理に特化して説明する。
 図1に示すように、表示装置1は、主として、表示パネル12、タッチパネル14、制御部50および記憶部60を備えている。その他にも、携帯端末(例えば、スマートフォン)としての表示装置1は、スマートフォンの一般的な機能を備えているが、このうち本発明に直接関係の無い部分については記載を省略した。タッチパネル14および表示パネル12については上述とおりである。以下では、制御部50について説明する。なお、制御部50の構成はあくまで一例であって、この構成に限定されるものではない。
 制御部50は、表示装置1の各部を統括して制御するものであり、機能ブロックとして、操作取得部51、入力操作判定部52、利用形態判定部55および表示制御部54を備えている。制御部50は、さらに、表示装置1にインストールされた各種アプリケーションを実行するアプリケーション実行部56を備えていてもよい。上記機能ブロックとして示される各部は、CPU(central processing unit)等の演算処理装置がROM(read only memory)等の記憶装置(ここでは記憶部60)に記憶されているプログラムをRAM(random access memory)等の一時記憶部(不図示)に読み出して実行することで実現できる。
 操作取得部51は、表示装置1の表示領域P(図2参照)および表示装置1の端面に対する対象物のタッチ操作を取得するものである。操作取得部51によるタッチ操作の取得は、TPコントローラ33からの検知信号を受信することにより行われる。具体的には、TPコントローラ33は、どの位置の検出電極31または31aにおける容量変化であるのかを検知し、その検知結果を上記検知信号として操作取得部51に送信する。
 入力操作判定部52は、操作取得部51が取得した検知信号に基づいて、タッチ操作が行われた位置(以下、タッチ位置)と、行われたタッチ操作の種別とを判定するものである。入力操作判定部52は、判定結果、すなわち、タッチ位置の座標情報およびタッチ操作の種別(タップ、ダブルタップ、フリック、ドラッグ、ピンチイン、ピンチアウトなど)を含むタッチ操作情報を下流の機能ブロックに伝達する。具体的には、入力操作判定部52は、操作取得部51が取得した検知信号が、外縁電極群としての検出電極31aにおける容量変化に基づくものである場合には、上記タッチ操作情報を、アプリケーション実行部56に伝達するとともに、利用形態判定部55にも伝達する。また、取得された検知信号が検出電極31における容量変化に基づくものである場合には、上記タッチ操作情報をアプリケーション実行部56などに伝達する。制御部50は、アプリケーション実行部56の他に、図示しない処理実行部を備えていてもよい。この場合、入力操作判定部52は、処理実行部がタッチ操作に応じて何らかの処理を行う場合には、当該処理実行部に上記タッチ操作情報を伝達することができる。
 利用形態判定部55は、表示装置1の端面における対象物のタッチ位置に応じて、表示装置1に対するユーザの利用形態を判定するものである。
 具体的には、利用形態判定部55は、タッチ操作が行われた端面上のタッチ位置に応じて把持形態を判定する。把持形態とは、表示装置1がユーザによっていずれの手で把持されているのかを示す情報であり、把持形態を判定するとは、すなわち、ユーザが表示装置1を右手で把持して利用しているのか、左手で把持して利用しているのかを判定することである。
 さらに、本実施形態では、利用形態判定部55は、端面における対象物のタッチ位置に応じて注目領域を判定する。注目領域とは、表示領域Pのうち、ユーザが表示装置1の利用中に注目している部分領域(指等で操作しようとしている領域およびその周辺)のことを指す。本実施形態では、一例として、表示領域Pについて、左右に2等分した部分領域をあらかじめ定義しておく。利用形態判定部55は、タッチ位置に応じて、ユーザが操作しようと注目している領域が、左右いずれの部分領域であるのかを判定する。
 利用形態判定部55が実行する把持形態判定の方法および注目領域判定の方法については、後に別図を参照しながら詳述する。
 アプリケーション実行部56は、入力操作判定部52が判定したタッチ操作に従って、所定の機能(アプリケーション)を実行するものである。アプリケーションとしては、これに限定されないが、例えば、メール機能、テキスト編集機能、Webサイト閲覧機能、電話帳機能、ゲーム機能などが挙げられる。アプリケーション実行部56は、上述の各機能を、記憶部60に記憶されている各アプリケーションプログラムを実行することによって実現する。
 アプリケーション実行部56は、上記アプリケーションプログラムにしたがって、入力操作判定部52から伝達されたタッチ操作情報に対応する処理を実行し、実行結果を反映した画面を生成して表示制御部54に出力する。例えば、メール機能に係るアプリケーション実行部56は、上記タッチ操作が、メールの作成を指示するものであれば、これに従って、メールの本文を入力するためのユーザインターフェース(UI)画面を生成し、表示制御部54に出力する。
 表示制御部54は、表示パネル12に情報を表示するものである。具体的には、表示装置1が備える不図示のデータ信号線駆動回路、走査信号線駆動回路、表示制御回路等を制御して、利用形態判定部55およびアプリケーション実行部56(その他不図示の処理実行部)が出力した実行結果(例えば、UI画面など)を映像信号として表示パネル12に出力する。
 本実施形態では、表示制御部54は、特に、利用形態判定部55が判定した利用形態に応じて、アプリケーション実行部56が生成したUI画面などの実行結果のレイアウトを変更する。
 表示制御部54が実行するレイアウト変更の方法については、後に別図を参照しながら詳述する。
 記憶部60は、表示装置1が使用する各種データを格納する記憶装置である。本実施形態では、記憶部60は、少なくとも、マップ61およびレイアウト決定規則62を記憶している。なお、図示しないが、記憶部60は、表示装置1が実行する(1)制御プログラム、(2)OSプログラム、(3)表示装置1(アプリケーション実行部56)が実行する各種アプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを記憶している。
 記憶部60に格納される各種データは、用途に応じて、揮発的に記憶されてもよいし、不揮発的に記憶されてもよい。すなわち、各種データを記憶する記憶部60は、ROM(Read Only Memory)、フラッシュメモリ等の不揮発性の記憶装置によって構成されてもよいし、一時記憶部として、RAM(random access memory)等の揮発性の記憶装置によって構成されてもよく、目的に応じて最適なものが選択される。
 マップ61は、表示パネル12に出力されている画面のレイアウトを示す座標情報である。具体的には、マップ61は、上記画面に配置されたタッチ操作可能なオブジェクト(ソフトウェアキーなどUI部品を含む)の座標位置を含む。アプリケーション実行部56は、入力操作判定部52からタッチ位置を伝達されたとき、マップ61を参照することにより、どのオブジェクトがタッチ操作されたのかを把握することができ、そのオブジェクトに事前に割り当てられた処理を実行することができる。
 レイアウト決定規則62は、利用形態判定部55によって判定された利用形態に適合するレイアウトを指定する情報である。表示制御部54は、レイアウト決定規則62を参照することにより、判定された利用形態に適合するレイアウトを選択し、上記画面のレイアウトを選択したレイアウトに変更することができる。これにより、表示パネル12には、そのときのユーザの利用形態に適合したレイアウトの画面が表示される。
 〔把持形態判定および注目領域判定〕
 利用形態判定部55は、入力操作判定部52から伝達されたタッチ操作情報、特に、端面上のタッチ位置に基づいて、把持形態を判定するとともに注目領域を判定する。
 図9は、把持形態の具体例、特に、筐体17の端面において検出されるタッチ位置の例をいくつか示す図である。
 図9の(a)および(b)に示すとおり、ユーザが片手で表示装置1を把持する場合、通常、五指の指先と、親指の付け根付近(以下、拇指球)とが端面に接する。このうち、拇指球が端面に接する範囲は、五指が接する範囲と比較して広くなる。そのため、利用形態判定部55は、五指と比較して広範囲に亘るタッチ位置(以下、広タッチ位置)を、拇指球のタッチ位置と特定することができる。さらに、同図に示すとおり、親指と拇指球とが同じ辺で接し、その辺に対向する辺において残りの四指が接する。そのため、利用形態判定部55は、比較的狭い範囲のタッチ位置(以下、狭タッチ位置)が、4つ同じ辺において検出された場合に、それらの狭タッチ位置を、親指以外の四指のタッチ位置と特定することができる。
 以上のようにして、利用形態判定部55は、端面の対向する左右2辺について、親指と拇指球とが接する辺と、それに対向して親指以外の四指が接する辺とを特定することが可能となり、これに基づいて把持形態を判定することができる。具体的には、図9の(a)に示すとおり、利用形態判定部55は、広タッチ位置と2以上の狭タッチ位置とに基づいて、親指および拇指球が接する辺が左辺、四指が接する辺が右辺であると特定する。そして、左手持ちの場合に親指が左辺にて接することから、把持形態は左手持ちであると判定する。反対に、図9の(b)に示すとおり、利用形態判定部55は、親指および拇指球が接する辺が右辺、四指が接する辺が左辺であると特定する。そして、右手持ちの場合に親指が右辺にて接することから、把持形態は右手持ちであると判定する。
 なお、利用形態判定部55は、いずれの辺においても広タッチ位置が検出されない場合
であっても、把持形態を判定できる。例えば、図9の(c)に示すとおり、広タッチ位置がなく、かつ、狭タッチ位置が少なくとも2つ検出された辺を、四指が接する辺であると特定し、それに対向する辺を親指および拇指球が接する辺であると特定することができる。同図に示す例では、利用形態判定部55は、把持形態は左手持ちであると判定する。さらに、利用形態判定部55は、いずれの辺においても狭タッチ位置が2つ以上検出されない場合であっても、把持形態を判定できる。例えば、図9の(d)に示すとおり、広タッチ位置が1つあり、かつ、狭タッチ位置が2つ未満である辺を、親指および拇指球が接する辺であると特定し、それに対向する辺を四指が接する辺であると特定することができる。同図に示す例では、利用形態判定部55は、把持形態は左手持ちであると判定する。
 本実施形態では、利用形態判定部55は、狭タッチ位置および広タッチ位置の組み合わせが、上述のいずれの条件にも合致しない場合には、判定不可と判断し、把持形態の判定を行わない。
 なお、上記の把持形態判定アルゴリズムは一例であり、利用形態判定部55が実行する把持形態判定の方法は上記に限定されない。利用形態判定部55は、右手持ちか、左手持ちかを判定できればよい。
 図10は、注目領域の具体例、特に、筐体17の端面において検出されるタッチ位置の例をいくつか示す図である。
 図10の(a)に示すとおり、ユーザが片手(ここでは、左手)で表示装置1を把持しつつ、把持している手の親指で、表示領域Pに対してタッチ操作を行う場合であって、タッチ操作しようとしている領域(注目領域)が、親指に近い側の領域(以下、近親指領域)である場合を想定する。図10の(a)に示す例は、左手持ちの例であるので、この例では、近親指領域は、表示領域Pの左半分の領域である。この左の近親指領域を左手でタッチしようとする場合、通常、四指は端面の右辺にて接触するが、拇指球は端面の左辺にて非接触となる。この特徴を利用して、利用形態判定部55は、狭タッチ位置が同じ辺に2個以上検出され、かつ、その辺に対向する辺において広タッチ位置が検出されない場合に、ユーザが注目している注目領域は、近親指領域であると判定する。なお、把持形態が右手持ちの場合には、親指は表示領域Pの右辺において接するので、近親指領域は表示領域Pの右半分の領域となる。
 図10の(b)に示すとおり、ユーザが片手(ここでは、左手)で表示装置1を把持しつつ、把持している手の親指で、表示領域Pに対してタッチ操作を行う場合であって、タッチ操作しようとしている領域(注目領域)が、親指から遠い側の領域(以下、遠親指領域)である場合を想定する。図10の(b)に示す例は、左手持ちの例であるので、この例では、遠親指領域は、表示領域Pの右半分の領域である。この右の遠親指領域を左手でタッチしようとする場合、通常、拇指球は端面の左辺にて接触するが、四指は端面の右辺にて非接触となる。この特徴を利用して、利用形態判定部55は、ある一方の辺において広タッチ位置が検出され、かつ、その辺に対向する辺において狭タッチ位置が2つ以上検出されない場合(検出された狭タッチ位置が2つ未満の場合)に、注目領域は、遠親指領域であると判定する。なお、把持形態が右手持ちの場合には、親指は右辺において接するので、遠親指領域は表示領域Pの左半分の領域となる。
 なお、本実施形態では、利用形態判定部55は、狭タッチ位置および広タッチ位置の組み合わせが、上述のいずれの条件にも合致しない場合には、注目領域に偏りがないと判定する。
 利用形態判定部55は、以上のようにして判定した利用形態を、表示制御部54に伝達する。本実施形態では、表示制御部54に対して出力される利用形態は、把持形態(右手持ち、または、左手持ち)を示す情報と、注目領域(近親指領域、遠親指領域、または、偏りなし)を示す情報とを含んでいる。
 これにより、表示制御部54は、利用形態、すなわち、把持形態および注目領域に応じたレイアウトを、レイアウト決定規則62にしたがって選択することができる。
 〔レイアウト決定規則とレイアウト〕
 図11は、レイアウト決定規則62の一例を示す図である。なお、図11において、レイアウト決定規則62をテーブル形式のデータ構造にて示したことは一例であって、当該データ構造を、テーブル形式に限定する意図はない。以降、データ構造を説明するためのその他の図においても同様である。
 図11に示すとおり、レイアウト決定規則62は、把持形態と注目領域との組み合わせに応じて、適合するレイアウトが対応付けられているデータ構造である。図11に示す例では、3種類のレイアウトが予め定義されているが、これは一例であって、レイアウト決定規則62を限定する意図はない。例えば、上記組み合わせごとに6種類のレイアウトが定義されていてもよい。
 表示制御部54は、図11に示すレイアウト決定規則62を参照することにより、利用形態判定部55が判定した利用形態に応じたレイアウトを選択することが可能である。具体的には、例えば、把持形態が左手持ち、かつ、注目領域が近親指領域であると判定された場合には、表示制御部54は、左側が広いレイアウトを選択することができる。そして、表示制御部54は、アプリケーション実行部56から供給された画面のレイアウトを左側が広くなるレイアウトに変更する。レイアウトは、例えば、図12に示すように変更される。
 図12は、レイアウト決定規則62に定義されているレイアウトの具体例をいくつか示す図である。
 本実施形態では、一例として、3種類のレイアウトが定義されている。図12の(a)は、左側が広いレイアウトに基づいて表示パネル12に表示される文字入力画面の具体例を示す図である。図12の(b)は、通常レイアウトに基づく文字入力画面の具体例を示す図である。図12の(c)は、右側が広いレイアウトに基づく文字入力画面の具体例を示す図である。
 図11のレイアウト決定規則62に従えば、注目領域に偏りがない場合には、通常レイアウトが選択される。通常レイアウトは、アプリケーション実行部56が出力した実行結果の画面を、オリジナルのまま表示パネル12に映像信号として出力することを指定している。この場合、したがって、表示パネル12には、アプリケーション実行部56によって生成された画面がそのまま表示される(図12の(b))。
 図11のレイアウト決定規則62に従えば、把持形態が左手持ちで注目領域が近親指領域の場合、および、把持形態が右手持ちで注目領域が遠親指領域の場合、左側が広いレイアウトが選択される。左側が広いレイアウトは、一例として、オリジナルの実行結果の画面に含まれているUI部品のうち、UI部品の大部分が表示領域の左側3分の1の領域に配置されるUI部品の横幅を広くすることを規定している。例えば、図12の(b)に示す文字入力画面がアプリケーション実行部56から供給された場合には、表示制御部54は、左側が広いレイアウトに基づいて、UI部品80a~80fの横幅を拡大する。このときの拡大率は特に制限されないが、操作性および視認性を考慮して、オリジナルのUI部品の横幅に対して1.5倍以下にすることが望ましい。一方、表示制御部54は、左側のUI部品の幅を広げた分、右側のUI部品の横幅を縮小する。このときの縮小率は特に制限されないが、操作性および視認性を考慮して、オリジナルのUI部品の横幅に対して0.5倍以上にすることが望ましい。いずれにしても、拡大率および縮小率は、オリジナルのUI部品がすべて表示領域に収まるように、かつ、操作性および視認性を考慮して適宜決定される。拡大率および縮小率は、表示制御部54によって動的に決定されてもよいし、レイアウト決定規則62において、レイアウトごとに予め規定されていてもよい。表示制御部54によって左側が広くなるようにレイアウトが変更された文字入力画面は、例えば、図12の(a)に示すように、表示パネル12に表示される。
 図11のレイアウト決定規則62に従えば、把持形態が左手持ちで注目領域が遠親指領域の場合、および、把持形態が右手持ちで注目領域が近親指領域の場合、右側が広いレイアウトが選択される。右側が広いレイアウトは、上記左側が広いレイアウトとは反対に、一例として、オリジナルの実行結果の画面に含まれているUI部品のうち、UI部品の大部分が表示領域の右側3分の1の領域に配置されるUI部品の横幅を広くすることを規定している。図12の(b)および(b)に示す例では、表示制御部54は、右側が広いレイアウトに基づいて、UI部品81a~81gの横幅を拡大し、反対に、左側に配置されるUI部品の横幅を縮小する。拡大率および縮小率について、左側が広いレイアウトと同様に適宜決定される。表示制御部54によって右側が広くなるようにレイアウトが変更された文字入力画面は、例えば、図12の(c)に示すように、表示パネル12に表示される。
 〔処理フロー〕
 図13は、実施形態1の表示装置1が実行する、端面に対するタッチ操作の処理の流れを示すフローチャートである。
 操作取得部51が、表示装置1の端面(図6に示す外側表面AまたはB)に対するタッチ操作を取得すると(S101においてYES)、タッチ位置を含むタッチ操作情報が、入力操作判定部52によって、少なくとも利用形態判定部55に供給される。利用形態判定部55は、供給されたタッチ操作情報に基づいて、表示装置1の利用形態を判定する。
 一例として、利用形態判定部55は、タッチ位置に基づいて、把持形態を判定する(S102)。ここで、把持形態が判定できなかった場合には(S103においてNO)、表示装置1は、注目領域の判定を行わずにタッチ操作を受け付ける状態に戻ってもよい。
 利用形態判定部55は、上記タッチ位置に基づいて、把持形態を判定するとともに(あるいは、把持形態の判定に続けて)注目領域を判定する。詳細には、親指以外の四指(狭タッチ位置)のいずれか2個以上が、表示領域の同じ辺において検出され、かつ、当該辺に対向する辺において拇指球(広タッチ位置)が検出されなかった場合には(S104においてYES)、利用形態判定部55は、注目領域は近親指領域であると判定する(S105)。ここで、利用形態判定部55によって、把持形態が左手持ちの場合、注目領域は親指に近い左側の領域であると判明し、把持形態が右手持ちの場合、注目領域は親指に近い右側の領域であると判明する。
 一方、拇指球(広タッチ位置)がいずれか1つの辺において1個検出され、かつ、当該辺に対向する辺において四指(狭タッチ位置)のいずれかが2個以上検出されなかった場合には(S104においてNO、S106においてYES)、利用形態判定部55は、注目領域は遠親指領域であると判定する(S107)。ここで、利用形態判定部55によって、把持形態が左手持ちの場合、注目領域は親指から遠い右側の領域であると判明し、把持形態が右手持ちの場合、注目領域は親指から遠い左側の領域であると判明する。
 検出された広タッチ位置および狭タッチ位置の組み合わせが、上記のいずれの条件にも合致しない場合(S104においてNO、S106においてNO)、利用形態判定部55は、注目領域は左右のいずれにも偏っていないと判定する(S108)。
 続いて、表示制御部54は、レイアウト決定規則62を参照し、利用形態判定部55によって判定された利用形態(把持形態および注目領域)に応じたレイアウトを選択する。そして、選択したレイアウトに基づいて情報を表示パネル12に表示する(S109)。ここで、表示される情報とは、例えば、S101にて検出されたタッチ操作にしたがって、アプリケーション実行部56が処理を実行した結果、生成する画面である。
 その後端面におけるタッチ位置が変化するまで、上記のレイアウトが維持され(S110においてNO)、端面におけるタッチ位置が変化すれば(S110においてYES)、新たに検出されたタッチ位置に基づいて、利用形態の判定とレイアウトの変更とが繰り返される。あるいは、これに限らず、表示制御部54は、所定時間(任意のn秒間)上記のように変更したレイアウトを維持し、該所定時間経過後、変更したレイアウトを、オリジナルのレイアウトに戻す構成であってもよい。
 以上のとおり、本発明の実施形態1に係る表示装置1の上記の構成および方法によれば、表示装置1が処理した情報(アプリケーション実行部56が生成した画面)は、レイアウトがユーザの利用形態に合わせて変更された上で、表示パネル12に表示される(図12の(a)~(c))。
 具体的には、ユーザが片手でタッチ操作するときには、表示領域上に、親指から遠すぎて操作し難い領域および親指に近すぎて操作し難い領域(親指の根本付近など)ができる。そこで、そのような操作し難い領域が、注目領域であると利用形態判定部55が判定した場合には、当該領域に表示される情報(UI部品)を表示制御部54が拡大して表示する。これにより、操作し難い領域において操作対象のUI部品が大きく表示されるので、ユーザは、操作対象のUI部品を操作し易くなる。結果として、表示領域の中で生じる操作性のばらつきを解消し、操作性を向上させることが可能な表示装置を実現することができるという効果を奏する。
 ≪実施形態2≫
 〔発明が解決しようとする課題〕
 ユーザが、表示装置のタッチパネルに対してタッチ操作を行うとき、タッチ操作を行う指の位置と、タッチしたい表示領域上の位置とによって、タッチ操作のし易さ、し難さにばらつきがあるという問題がある。ユーザが片手でタッチ操作するときには、このばらつきは特に顕著になる。例えば、図10のように、左手で表示装置を把持し、その左手の親指でタッチ操作を行う場合、親指から遠すぎる領域に対して、操作し難い。このような操作性のばらつきを解消するために、特許文献1および2の技術のように把持形態に応じて表示態様を変更することが考えられるが、表示態様が頻繁に変更されるとユーザが混乱し、視認性が損なわれるという問題がある。
 そこで、実施形態2では、表示領域の中で生じる操作性のばらつきを解消し、操作性を向上させることが可能な本発明の表示装置、特に、レイアウトの変更をユーザに意識させず、したがって、視認性を損なわずに操作性を向上させる表示装置について、詳細に説明する。
 本発明の実施形態2について図14~図17に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 〔表示装置1の機能構成〕
 図14は、表示装置1の要部構成を示す機能ブロック図である。図14に示す表示装置1において、図1に示す表示装置1と異なる点は、以下のとおりである。制御部50は、さらに、機能ブロックとして、タッチ可能領域補正部57を備えている。利用形態判定部55によって判定された利用形態は、表示制御部54ではなく、アプリケーション実行部56およびタッチ可能領域補正部57に供給され、アプリケーション実行部56およびタッチ可能領域補正部57によって利用される構成である。記憶部60は、レイアウト決定規則62に代えて、マップ補正規則63を記憶している。
 また、実施形態1では、オブジェクトが表示パネル12のどの位置に表示されているのかを示す可視領域の座標位置と、該オブジェクトに対するタッチ操作をタッチパネル14のどの位置で受け付けるのかを示すタッチ可能領域の座標位置とが一致していることが前提であった。一方、実施形態2では、1つの画面について、可視領域の座標位置とタッチ可能領域の座標位置とが一致しない場合がある。よって、実施形態2では、マップ61は、表示制御部54によって表示パネル12に出力される画面に関連付けて、オブジェクトの座標位置が該画面の可視領域の座標位置と必ずしも一致しないタッチ可能領域マップを保持するデータ構造である。
 また、利用形態判定部55は、少なくとも把持形態を判定すればよく、実施形態1のように注目領域を判定することは、必須ではない。
 タッチ可能領域補正部57は、マップ61(タッチ可能領域マップ)に含まれる、オブジェクトのタッチ可能領域の座標位置を、利用形態に応じて補正するものである。
 まず、アプリケーション実行部56は、実行結果の画面を生成すると、画面を表示制御部54に供給するとともに、該画面に対応するマップ61を記憶部60に格納する。この時点では、マップ61に含まれているオブジェクトのタッチ可能領域の座標位置は、表示パネル12におけるオブジェクトの可視領域の座標位置と一致している。その後、端面に対するタッチ操作が検知され、利用形態判定部55によって把持形態が判定される。
 タッチ可能領域補正部57は、マップ補正規則63にしたがって、判定された把持形態に応じた補正を、マップ61に対して施す。
 〔マップ補正規則とタッチ可能領域マップ〕
 図15は、マップ補正規則63の一例を示す図である。
 図15に示すとおり、マップ補正規則63は、把持形態に応じて、補正内容、すなわち、マップ61をどのように補正すべきかを規定する情報が対応付けられているデータ構造である。マップ補正のカラムに規定されている補正内容は一例であり、本発明のマップ補正規則63は、これには限定されない。
 タッチ可能領域補正部57は、図15に示すマップ補正規則63を参照することにより、利用形態判定部55が判定した把持形態に応じたマップ補正を実施することが可能である。具体的には、把持形態が左手持ちと判定された場合には、タッチ可能領域補正部57は、マップ61に含まれるタッチ可能領域の座標位置を、可視領域の座標位置よりも左にずらす補正を行う。図示していないが、左に何ピクセルずらすのかについても、マップ補正のカラムにおいてあらかじめ規定されているものとする。
 図16の(a)は、表示パネル12に表示される文字入力画面の一具体例を示す図である。すなわち、表示パネル12における可視領域の座標位置が示されている。図16の(b)は、上記文字入力画面に対応するマップ61(タッチ可能領域マップ)を示す図、特に、把持形態が左手持ちであることに応じて補正された後のマップ61を示す図である。このように、把持形態が左手持ちと判定された場合には、タッチ可能領域補正部57は、マップ補正規則63にしたがって、タッチ可能領域の座標位置を、元の可視領域の座標位置よりも左にずらす。こうして、図16の(b)に示すとおり、補正後の座標位置を含むようにマップ61が更新される。
 以後、アプリケーション実行部56は、入力操作判定部52からタッチ位置を伝達されたとき、補正後のマップ61にしたがって、どのオブジェクトがタッチ操作されたのかを把握し、そのオブジェクトに事前に割り当てられた処理を実行する。
 つまり、表示パネル12に表示されている文字入力画面は、図16の(a)のとおりである。これに対し、各オブジェクト(UI部品)に対するタッチ操作が受け付けられる位置は、表示されている位置よりも左にずれている。例えば、UI部品81cが、表示パネル12に表示されている領域は、図16の(a)に示すとおり、見た目では左側の3分の1の領域内に収まっているが、UI部品81cに対するタッチ操作を受付可能な領域は、図16の(a)の破線太枠で示すとおり、見た目より左に補正されている。
 把持形態が右手持ちの場合も、左右が反対になることを除いて、左手持ちの場合と同様にタッチ可能領域が補正される。
 図16の(c)は、上記文字入力画面に対応するマップ61(タッチ可能領域マップ)を示す図、特に、把持形態が右手持ちであることに応じて補正された後のマップ61を示す図である。
 把持形態が右手持ちと判定された場合には、タッチ可能領域補正部57は、マップ補正規則63にしたがって、タッチ可能領域の座標位置を、元の可視領域の座標位置よりも右にずらす。こうして、図16の(c)に示すとおり、補正後の座標位置を含むようにマップ61が更新される。
 図16の(a)に示すように文字入力画面に配置されている各UI部品について、それらに対するタッチ操作が受け付けられる位置は、表示されている位置よりも右にずれている。例えば、UI部品80cが表示されている位置は、図16の(a)に示すとおりであるが、UI部品80cに対するタッチ操作の受付可能領域は、図16の(a)の破線太枠で示すとおり、見た目より右に補正されている。
 〔処理フロー〕
 図17は、実施形態2の表示装置1が実行する、端面に対するタッチ操作の処理の流れを示すフローチャートである。
 操作取得部51が、表示装置1の端面に対するタッチ操作を取得すると(S201においてYES)、タッチ位置を含むタッチ操作情報が、入力操作判定部52によって、少なくとも利用形態判定部55に供給される。利用形態判定部55は、供給されたタッチ操作情報に基づいて、表示装置1の利用形態、すなわち、把持形態を判定する(S202)。
 ここで、把持形態が判定できなかった場合には(S203においてNO)、表示装置1は、タッチ操作を受け付ける状態に戻る。
 続いて、タッチ可能領域補正部57は、マップ補正規則63(図15)にしたがって、利用形態判定部55によって判定された把持形態に応じて、タッチ可能領域の座標位置を補正する(S204)。
 アプリケーション実行部56は、補正後のマップ61を参照して、アプリケーションを実行する(S205)。つまり、表示領域に対して何らかのタッチ操作が行われた場合には、当該タッチ操作によってタッチされたオブジェクトがどれであるのかを、補正後のマップ61に基づいて判断する。
 その後端面におけるタッチ位置が変化するまで、上記補正後のマップ61が維持され、該マップ61にしたがって、アプリケーション実行部56が処理を継続する(S206においてNO)。端面におけるタッチ位置が変化すれば(S206においてYES)、新たに検出されたタッチ位置に基づいて、把持形態の判定とマップ61の補正とが繰り返される。
 以上のとおり、本発明の実施形態2に係る表示装置1の上記の構成および方法によれば、親指から遠すぎる領域に対しての操作性を向上させることが可能となる。表示装置1を把持した一方の手で該表示装置1を操作する場合、表示領域のうち親指から遠い領域に対しては、親指が届きにくい。そのため、実際のタッチ位置が、意図せず親指寄りにずれてしまう傾向がある。しかし、本発明の上記の構成によれば、タッチ可能領域が親指寄りに補正されるため、上記ずれを相殺することが可能となる。その上、実際に表示パネル12に表示されるUI部品は、通常のレイアウトにしたがって配置され、その表示位置が変更されることがない。そのため、見た目に変更が起きないので、ユーザはレイアウトの変更を意識する必要がなく、よって、視認性が損なわれることもない。結果として、視認性を損なわずに操作性を向上させる表示装置を実現することができるという効果を奏する。
 ≪実施形態3≫
 〔発明が解決しようとする課題〕
 ユーザが、表示装置のタッチパネルに対してタッチ操作を行うとき、タッチ操作を行う指の位置と、タッチしたい表示領域上の位置とによって、タッチ操作のし易さ、し難さにばらつきがあるという問題がある。ユーザが片手でタッチ操作するときには、このばらつきは特に顕著になる。例えば、図10のように、左手で表示装置を把持し、その左手の親指でタッチ操作を行う場合、親指から遠すぎる領域に対して、操作し難く、反対に、親指に近すぎても操作し難い。特に、親指の根元付近は、より一層操作し難い。このように、表示領域の中で生じる操作性のばらつきは、特許文献1および2の技術のように把持形態を判定するだけでは、解消されない。また、表示態様が頻繁に変更されるとユーザが混乱し、視認性が損なわれるという問題がある。
 そこで、実施形態3では、表示領域の中で生じる操作性のばらつきを解消し、操作性を向上させることが可能な本発明の表示装置、特に、レイアウトの変更をユーザに意識させず、したがって、視認性を損なわずに操作性を向上させる表示装置について、詳細に説明する。
 本発明の実施形態3について、図14および図18~図20に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記各実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 〔表示装置1の機能構成〕
 実施形態3に係る表示装置1の要部構成は、以下の点を除いて、実施形態2の表示装置1と同様、図14に示すとおりである。
 本実施形態の表示装置1において、利用形態判定部55は、実施形態1と同様に、利用形態として、把持形態とともに注目領域を判定する構成である。
 マップ補正規則63は、把持形態と注目領域との組み合わせに応じて、補正内容が対応付けられているデータ構造である。
 タッチ可能領域補正部57は、把持形態と注目領域とに応じた補正内容にしたがって、補正する位置と補正する程度とを異ならせて、タッチ可能領域の座標位置を補正する構成である。
 〔マップ補正規則とタッチ可能領域マップ〕
 図18は、マップ補正規則63の一例を示す図である。
 図18に示すとおり、本実施形態のマップ補正規則63では、把持形態と注目領域との組み合わせに応じて、補正内容が対応付けられている。さらに、該補正内容においては、補正方向に加えて、補正対象となる領域と、その補正の程度とが規定される。
 タッチ可能領域補正部57は、図18に示すマップ補正規則63を参照することにより、利用形態判定部55が判定した利用形態に応じたマップ補正を実施することが可能である。具体的には、把持形態が左手持ちであって、注目領域が近親指領域であると判定された場合には、表示領域Pの左半分の領域(図10を参照)に大部分が含まれるオブジェクトのタッチ可能領域の座標位置を、可視領域の座標位置よりも、右にオフセット値2つ分ずらす補正を行う。オフセット値の数値が大きいほど、補正の程度が大きいことを示す。なお、「オフセット値1」が何ピクセルに相当するのかについては、特に制限がなく、図示していないが、表示装置1の表示領域の実寸サイズなどに基づいて、マップ補正規則63のテーブル内あるいは別のテーブルにてあらかじめ規定されているものとする。
 図18に示す例では、注目領域が遠親指領域である場合よりも、近親指領域である場合の方が、より大きく補正されるようにオフセット値が規定されている。また、注目領域が遠親指領域である場合には、当該遠親指領域のタッチ可能領域を親指寄りに補正するように補正対象範囲および補正方向が規定されている。また、注目領域が近親指領域である場合には、当該近親指領域のタッチ可能領域を親指から遠ざかる方向に補正するように補正対象範囲および補正方向が規定されている。
 上述の補正内容は、以下の、ユーザによる誤操作の傾向に基づいて規定されている。すなわち、遠親指領域に対する操作時は、タッチ位置が意図せず親指寄りにずれる傾向がある。また、近親指領域に対する操作時は、親指付近にて操作し難く、タッチ位置が意図せず親指から遠ざかる方向にずれる傾向がある。また、近親指領域、特に、親指の根元付近の領域などは、遠親指領域と比較して、より一層操作し難く、ずれもより大きくなる傾向がある。したがって、上述のように補正内容を規定することにより、ユーザの誤操作の傾向を考慮して、より適切にタッチ位置のずれを相殺することが可能となる。
 図19の(a)は、アプリケーション実行部56によって生成されたオリジナルの文字入力画面に対応する、補正前のマップ61を示す図である。図19の(b)は、把持形態が左手持ちであって、注目領域が近親指領域である場合に、タッチ可能領域補正部57によって補正された後のマップ61を示す図である。図19の(c)は、把持形態が右手持ちであって、注目領域が遠親指領域である場合に、タッチ可能領域補正部57によって補正された後のマップ61を示す図である。
 把持形態が左手持ちであって、注目領域が近親指領域である場合には、タッチ可能領域補正部57は、図19の(b)に示すとおり、マップ補正規則63にしたがって、対象のUI部品のタッチ可能領域をずらす補正を行う。具体的には、タッチ可能領域補正部57は、表示領域の左半分の領域(一点鎖線より左側の領域)に大部分が含まれるUI部品について、可視領域の座標位置よりも右(親指から遠ざかる方向)に、オフセット値2つ分、タッチ可能領域をずらす。
 把持形態が右手持ちであって、注目領域が遠親指領域である場合には、タッチ可能領域補正部57は、図19の(c)に示すとおり、マップ補正規則63にしたがって、対象のUI部品のタッチ可能領域をずらす補正を行う。具体的には、タッチ可能領域補正部57は、表示領域の左半分の領域に大部分が含まれるUI部品について、可視領域の座標位置よりも右(親指寄り)に、オフセット値1つ分、タッチ可能領域をずらす。
 図示しないが、把持形態が右手持ちであって、注目領域が近親指領域である場合には、タッチ可能領域補正部57は、表示領域の右半分の領域に大部分が含まれるUI部品について、可視領域の座標位置よりも左(親指から遠ざかる方向)に、オフセット値2つ分、タッチ可能領域をずらす。把持形態が左手持ちであって、注目領域が遠親指領域である場合には、タッチ可能領域補正部57は、表示領域の右半分の領域に大部分が含まれるUI部品について、可視領域の座標位置よりも左(親指寄り)に、オフセット値1つ分、タッチ可能領域をずらす。
 なお、タッチ可能領域補正部57は、注目領域に偏りがないと判定された場合には、補正を行わなくてよい。この場合、図19の(a)に示すとおり、オリジナルのマップ61が記憶部60内で記憶され続ける。
 〔処理フロー〕
 図20は、実施形態3の表示装置1が実行する、端面に対するタッチ操作の処理の流れを示すフローチャートである。
 S301~S303は、実施形態1の処理フローS101~S103に対応する。また、S304の注目領域判定処理は、実施形態1の処理フローS104~S108に対応する。
 以上のように、利用形態判定部55によって把持形態および注目領域の判定が行われると、続いて、タッチ可能領域補正部57は、マップ補正規則63(図18)にしたがって、判定された把持形態および注目領域に応じて、タッチ可能領域の座標位置を補正する(S305)。具体的には、上述したとおりであるので、ここでは説明を繰り返さない。
 S306~S307は、実施形態2の処理フローS205~S206に対応する。
 以上のとおり、本発明の実施形態3に係る表示装置1の上記の構成および方法によれば、親指から遠すぎる領域、および、親指から近すぎる領域に対しての操作性を向上させることが可能となり、領域ごとの操作性のばらつきを解消することができる。
 また、利用形態に応じて、補正対象範囲、補正方向および補正の程度を異ならせることができるので、ユーザの誤操作の傾向を考慮して、より適切にタッチ操作のずれを相殺することが可能となる。
 その上、実際に表示パネル12に表示されるUI部品は、通常のレイアウトにしたがって配置され、その表示位置が変更されることがない。そのため、見た目に変更が起きない
ので、ユーザはレイアウトの変更を意識する必要がなく、よって、視認性が損なわれることもない。結果として、視認性を損なわずに、利用形態に応じてより適切に操作性を向上させる表示装置を実現することができるという効果を奏する。
 〔変形例〕
 (親指のタッチ位置に応じてUI部品を表示)
 実施形態1~3において、表示装置1は、親指による端面に対するタッチ操作にしたがって操作することが可能なUI部品を表示パネル12に表示してもよい。
 図21は、上記UI部品を表示する表示装置1の機能を説明するための図である。
 具体的には、まず、利用形態判定部55は、入力操作判定部52から供給されたタッチ操作情報に基づいて、端面における親指のタッチ位置を特定する。図21の(a)に示すとおり、利用形態判定部55は、広タッチ位置すなわち拇指球と同じ辺にて検出された狭タッチ位置を親指のタッチ位置として特定することができる。あるいは、広タッチ位置が検出されなくても、狭タッチ位置が1つの辺にて2個以上検出された場合に、当該辺に対向する辺における1つの狭タッチ位置を親指のタッチ位置として特定することができる。
 利用形態判定部55は、親指のタッチ位置をアプリケーション実行部56に供給する。アプリケーション実行部56は、特定された親指の位置を基準とする所定の範囲(例えば、図21の(a)に示す斜線の範囲)に、UI部品82を配置する。アプリケーション実行部56によって生成されたUI部品82を含む画面は、表示制御部54に供給される。表示制御部54は、上記画面を、図21の(b)に示すように、表示パネル12に表示する。
 これにより、UI部品82は、ユーザが親指で操作しやすい位置に表示されるため、ユーザの操作性が向上する。図21の(b)に示す例では、UI部品82は、例えば、スライドバーである。ユーザは、親指を端面上にてスライドさせるか、UI部品82が表示されている表示領域上にてスライドさせることにより、スライドサム(つまみ)の位置を自在に動かすことができる。
 さらに、実施形態1および3において、アプリケーション実行部56は、UI部品82の表示/非表示を注目領域に応じて切り替えてもよい。例えば、ユーザの注目領域が遠親指領域である場合、親指のタッチ位置付近に配置されたUI部品82がタッチ操作される可能性はほとんどない。そのため、注目領域が遠親指領域であると判定された場合に、アプリケーション実行部56は、親指近くに配置したUI部品82を非表示にしてもよい。
  (上下方向の変更または補正)
 実施形態1では、表示装置1(表示制御部54)は、利用形態に応じて、左右方向、すなわち、オブジェクトの横幅を拡縮する構成であった。しかし、表示制御部54は、レイアウト決定規則62にしたがって、さらに、上下方向、すなわち、オブジェクトの高さを拡縮できる構成であってもよい。
 実施形態2および3では、表示装置1(タッチ可能領域補正部57)は、利用形態に応じて、オブジェクトの座標位置を左右方向に補正する構成であった。しかし、タッチ可能領域補正部57は、マップ補正規則63にしたがって、さらに、座標位置を上下方向に補正する構成であってもよい。
 〔ソフトウェアによる実現例〕
 表示装置1の制御ブロック(特に、操作取得部51、入力操作判定部52、表示制御部54、利用形態判定部55、アプリケーション実行部56およびタッチ可能領域補正部57)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
 後者の場合、表示装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
 〔まとめ〕
 本発明の態様1に係る表示装置は、表示部材(表示パネル12)と、該表示部材に重畳された操作検知部材(タッチパネル14)と、上記表示部材と上記操作検知部材とを格納している筐体(17)とを備え、上記操作検知部材が、上記表示部材の表示領域(P)に対するタッチ操作を検知するとともに、該操作検知部材の一部が、上記表示領域以外の上記筐体の端面(外側表面A、外側表面B)へのタッチ操作を検知する表示装置(1)であって、該表示装置は、上記操作検知部材によって検知された、上記端面に対するタッチ操作のタッチ位置に基づいて、把持形態を判定するとともに、上記表示領域のうちユーザがタッチ操作しようと注目している領域である注目領域を判定する利用形態判定部(55)と、上記利用形態判定部によって判定された把持形態と注目領域とに応じて、上記表示部材に表示させる画面の表示態様を変更する表示制御部(54)とを備えている。
 上記構成によれば、利用形態判定部が、端面に対するタッチ操作のタッチ位置に基づいて、ユーザが当該表示装置を把持するときの形態、すなわち、把持形態を判定する。それとともに、ユーザがタッチ操作しようと注目している領域、すなわち、注目領域を判定する。そして、表示制御部は、上記把持形態と上記注目領域とに応じて、表示部材に表示させる画面の表示態様を変更する。
 これにより、操作検知部材が、表示領域に対するタッチ操作の検知と、筐体の端面に対するタッチ操作とを兼ねている表示装置において、把持形態に加えて注目領域をも考慮して、表示部材に表示する画面の表示態様が変更される。
 つまり、ユーザの利用中、表示部材に画面が表示されているとき、その表示態様は、ユーザが当該表示装置を把持している形態と、ユーザが表示領域のどこに注目しているのかということに合わせて、最適な態様に維持される。
 結果として、表示装置の検知機構を複雑にすることなく、利用形態に応じたユーザインターフェースを提供することにより操作性を向上させるという効果を奏する。
 本発明の態様2に係る表示装置では、上記態様1において、上記表示制御部は、上記画面に含まれるタッチ操作可能なオブジェクトのうち、上記判定された把持形態と注目領域とに基づいて特定される表示領域の一部に表示されるオブジェクトについて、少なくとも横幅を拡大する。
 上記構成によれば、利用形態判定部によって把持形態と注目領域とが判定されることにより、表示領域のうちのどの部分をユーザが操作しようとしているのかが具体的に特定される。表示制御部は、画面内のタッチ操作可能なオブジェクトのうち、ユーザが操作しようとしている領域上に表示されるオブジェクトについて、その横幅を拡大する処理を行う。
 これにより、ユーザが操作しようとしている領域上に表示されているオブジェクトは、元のサイズよりも横幅が広く表示される。このため、ユーザは、上記領域上に表示されるオブジェクトに対してタッチ操作を行いやすくなる。
 結果として、操作性を向上させることが可能な表示装置を実現することができるという効果を奏する。
 本発明の態様3に係る表示装置では、上記態様2において、上記表示制御部は、上記利用形態判定部によって、把持形態が左手持ちであって、注目領域が持ち手の親指に近い側の近親指領域であると判定された場合、または、把持形態が右手持ちであって、注目領域が持ち手の親指から遠い側の遠親指領域であると判定された場合に、上記表示領域の左半分に表示されるオブジェクトの少なくとも一部の横幅を拡大し、上記利用形態判定部によって、把持形態が右手持ちであって、注目領域が近親指領域であると判定された場合、または、把持形態が左手持ちであって、注目領域が遠親指領域であると判定された場合に、上記表示領域の右半分に表示されるオブジェクトの少なくとも一部の横幅を拡大する。
 上記構成によれば、上記利用形態判定部は、把持形態が右手持ちか、左手持ちか、を判定するとともに、注目領域が、親指に近い側にあるか、親指にから遠い側にあるかを判定する。このように判定された把持形態と、注目領域とによって、ユーザが操作しようとしている領域が、具体的に、表示領域上の左半分の領域か、右半分の領域かが特定される。
 ユーザが片手でタッチ操作するときには、表示領域上に、親指から遠すぎて操作し難い領域および親指に近すぎて操作し難い領域ができる。表示制御部は、特定された表示領域上の左半分の領域または右半分の領域、すなわち、操作し難い領域に表示されるオブジェクト(UI部品など)の横幅を広くして表示することができる。
 これにより、ユーザが操作しようと注目しているが、ユーザにとって操作し難い領域において、操作対象のオブジェクトの少なくとも横幅が広く表示される。よって、ユーザは、操作対象のオブジェクトを操作し易くなる。結果として、表示領域の中に一部の操作し難い領域ができるという操作性のばらつきを解消し、操作性を向上させることが可能な表示装置を実現することができるという効果を奏する。
 本発明の態様4に係る表示装置は、表示部材(表示パネル12)と、該表示部材に重畳された操作検知部材(タッチパネル14)と、上記表示部材と上記操作検知部材とを格納している筐体(17)とを備え、上記操作検知部材が、上記表示部材の表示領域(P)に対するタッチ操作を検知するとともに、該操作検知部材の一部が、上記表示領域以外の上記筐体の端面(外側表面A、外側表面B)へのタッチ操作を検知する表示装置であって、該表示装置は、上記表示部材に表示させる画面に含まれる1以上のオブジェクトについて、該オブジェクトに対するタッチ操作を受け付けることが可能なタッチ可能領域の位置を記憶する記憶部材(60)と、上記操作検知部材によって検知された、上記端面に対するタッチ操作のタッチ位置に基づいて、把持形態を判定する利用形態判定部(55)と、上記利用形態判定部によって判定された把持形態に応じて、上記記憶部材に記憶されている上記オブジェクトのタッチ可能領域の位置を補正するタッチ可能領域補正部(57)とを備えている。
 上記構成によれば、上記表示部材に表示される画面には1以上のタッチ操作可能なオブジェクトが含まれている。そして、上記記憶部材には、各オブジェクトをタッチするためには、上記操作検知部材におけるどの位置をタッチすればよいのかを示す情報(タッチ可能領域の位置)が格納されている。タッチ可能領域補正部は、判定された把持形態に応じて、上記記憶部材に記憶されているタッチ可能領域の位置を補正する。
 これにより、表示部材に表示されたオブジェクトの表示位置から、当該オブジェクトに対するタッチ操作を受け付けるタッチ可能領域の位置が所定の方向に補正される。この補正によって、把持形態によって生じがちなユーザの誤操作に基づくタッチ位置のずれを相殺することができる。上記誤操作とは、例えば、指が届きにくい領域にあるオブジェクトをタッチするときに、意図せず目的のオブジェクトよりも手前をタッチしてしまう、などの誤操作である。
 さらに、上記補正は、記憶部材に記憶されているタッチ可能領域の位置に対して行われるので、その補正の結果は、表示部材に表示される画面には表れない。したがって、見た目に変更が起きないので、ユーザはレイアウトの変更を意識する必要がなく、よって、視認性が損なわれることもない。
 結果として、視認性を損なわずに、誤操作によるタッチ位置のずれを相殺して、操作性を向上させるという効果を奏する。
 本発明の態様5に係る表示装置では、上記態様4において、上記タッチ可能領域補正部は、上記利用形態判定部によって把持形態が左手持ちであると判定された場合には、上記表示領域に表示されるオブジェクトの少なくとも一部について、タッチ可能領域の位置を左に補正し、上記把持形態が右手持ちであると判定された場合には、上記オブジェクトの少なくとも一部について、タッチ可能領域の位置を右に補正する。
 これにより、タッチ操作を行う指(親指など)がある位置から遠すぎる領域に対しての操作性を向上させることが可能となる。表示装置を把持した一方の手で該表示装置を操作する場合、表示領域のうち親指から遠い領域に対しては、親指が届きにくい。そのため、実際のタッチ位置が、意図せず親指寄りにずれてしまう傾向がある。しかし、本発明の上記の構成によれば、タッチ可能領域補正部は、判定された把持形態に応じて、タッチ可能領域の位置を右または左、すなわち、親指寄りに補正する。そのため、上記のずれを相殺することが可能となる。その上、実際に表示部材に表示されるUI部品は、通常のレイアウトにしたがって配置され、その表示位置が変更されることがない。そのため、見た目に変更が起きないので、ユーザはレイアウトの変更を意識する必要がなく、よって、視認性が損なわれることもない。結果として、視認性を損なわずに操作性を向上させる表示装置を実現することができるという効果を奏する。
 本発明の態様6に係る表示装置では、上記態様4において、上記利用形態判定部は、上記把持形態に加えて、上記表示領域のうちユーザがタッチ操作しようと注目している領域である注目領域を判定し、上記タッチ可能領域補正部は、上記利用形態判定部によって判定された把持形態と注目領域とに応じて、表示領域上の補正対象範囲、補正方向、および、補正の程度を異ならせて、上記オブジェクトのタッチ可能領域の位置を補正する。
 ユーザのタッチ位置のずれに係る誤操作の傾向は、利用形態、すなわち把持形態および注目領域によってさまざまである。したがって、利用形態に応じて、適した補正を行う必要がある。
 上記構成によれば、タッチ可能領域補正部は、判定された利用形態に応じて、当該利用形態において生じがちなずれの傾向に適した表示領域の範囲内のオブジェクトについて、適した方向に、適した量だけ、タッチ可能領域の位置の補正を行う。
 結果として、利用形態に応じてより適切にタッチ位置のずれを相殺して、操作性を向上させるという効果を奏する。
 本発明の態様7に係る表示装置では、態様6において、上記タッチ可能領域補正部は、上記利用形態判定部によって、把持形態が左手持ちであって、注目領域が持ち手の親指に近い側の近親指領域であると判定された場合、上記表示領域の左半分に表示されるオブジェクトの少なくとも一部のタッチ可能領域の位置を右に、第1オフセット値分補正し、上記利用形態判定部によって、把持形態が左手持ちであって、注目領域が持ち手の親指から遠い側の遠親指領域であると判定された場合、上記表示領域の右半分に表示されるオブジェクトの少なくとも一部のタッチ可能領域の位置を左に、上記第1オフセット値よりも小さい第2オフセット値分補正し、上記利用形態判定部によって、把持形態が右手持ちであって、注目領域が近親指領域であると判定された場合、上記表示領域の右半分に表示されるオブジェクトの少なくとも一部のタッチ可能領域の位置を左に、上記第1オフセット値分補正し、上記利用形態判定部によって、把持形態が右手持ちであって、注目領域が遠親指領域であると判定された場合、上記表示領域の左半分に表示されるオブジェクトの少なくとも一部のタッチ可能領域の位置を右に、上記第2オフセット値分補正する。
 これにより、タッチ操作を行う指(親指など)がある位置から遠すぎる領域、および、親指から近すぎる領域に対しての操作性を向上させることが可能となり、領域ごとの操作性のばらつきを解消することができる。
 具体的には、ユーザは、親指から遠すぎる領域においては、意図するよりも親指寄りの位置をタッチしてしまう傾向がある。一方、親指から近すぎる領域においては、意図するよりも親指から遠い位置をタッチしてしまう傾向がある。そして、親指の根本付近は、特に操作が行い難いため、上記のタッチ位置のずれは、親指から遠すぎる領域を操作しているときよりも、親指から近すぎる領域を操作しているときにより大きくなりがちである。
 このような傾向を考慮して、タッチ可能領域補正部は、近親指領域が注目されていると判定された場合には、より大きい値である第1オフセット値に基づいて、タッチ可能領域を補正する。なお、補正の方向は、上記の誤操作の傾向を考慮して、判定された把持形態および注目領域に基づいて、ずれが相殺される方向に特定されている。
 結果として、視認性を損なわずに、利用形態に応じてより適切に位置ずれを相殺し、操作性を向上させることができるという効果を奏する。
 本発明の態様8に係る表示装置では、態様1~3、6および7において、上記利用形態判定部は、上記操作検知部材によって上記端面上にて検知された複数のタッチ位置のうち、検知範囲が所定より広いタッチ位置がある場合に、該タッチ位置を拇指球のタッチ位置であると特定し、検知範囲が所定より狭いタッチ位置がある場合に、該タッチ位置を親指および親指以外の四指のうちのいずれかのタッチ位置であると特定し、親指、四指および拇指球のタッチ位置の組み合わせに基づいて、注目領域が、持ち手の親指に近い側の近親指領域であるのか、持ち手の親指から遠い側の遠親指領域であるのかを判定する。
 これにより、表示装置は、ユーザが当該表示装置を左手で把持しているのか、右手で把持しているのかを判定するとともに、ユーザが注目している領域(例えば、親指に近い側の領域か、親指から遠い側の領域か)を判定することができる。
 本発明の態様9に係るタッチ操作処理方法は、表示部材と、該表示部材に重畳された操作検知部材と、上記表示部材と上記操作検知部材とを格納している筐体とを備え、上記操作検知部材が、上記表示部材の表示領域に対するタッチ操作を検知するとともに、該操作検知部材の一部が、上記表示領域以外の上記筐体の端面へのタッチ操作を検知する表示装置が実行するタッチ操作処理方法であって、上記操作検知部材によって検知された、上記端面に対するタッチ操作のタッチ位置に基づいて、把持形態を判定するとともに、上記表示領域のうちユーザがタッチ操作しようと注目している領域である注目領域を判定する利用形態判定ステップと、上記利用形態判定ステップにて判定された把持形態と注目領域とに応じて、上記表示部材に表示させる画面の表示態様を変更する表示制御ステップとを含む。
 これにより、表示装置の検知機構を複雑にすることなく、利用形態に応じたユーザインターフェースを提供することにより操作性を向上させるという効果を奏する。
 本発明の各態様に係る表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置が備える各部として動作させることにより上記表示装置をコンピュータにて実現させる表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
 本発明は、表示装置の筐体の端面への指等のタッチ操作(接触または接近)を検知できる表示装置、例えば、多機能携帯電話機、タブレット、モニター、テレビジョン等に利用することができる。特に、当該表示装置を把持した一方の手でタッチ操作を行うことが可能な比較的小型の表示装置(多機能携帯電話機など)に、好適に利用することができる。
1 表示装置
12 表示パネル(表示部材)
14 タッチパネル(操作検知部材)
17 筐体
50 制御部
51 操作取得部
52 入力操作判定部
54 表示制御部
55 利用形態判定部
56 アプリケーション実行部
57 タッチ可能領域補正部
60 記憶部(記憶部材)
61 マップ
62 レイアウト決定規則
63 マップ補正規則

Claims (9)

  1.  表示部材と、該表示部材に重畳された操作検知部材と、上記表示部材と上記操作検知部材とを格納している筐体とを備え、上記操作検知部材が、上記表示部材の表示領域に対するタッチ操作を検知するとともに、該操作検知部材の一部が、上記表示領域以外の上記筐体の端面へのタッチ操作を検知する表示装置であって、該表示装置は、
     上記操作検知部材によって検知された、上記端面に対するタッチ操作のタッチ位置に基づいて、把持形態を判定するとともに、上記表示領域のうちユーザがタッチ操作しようと注目している領域である注目領域を判定する利用形態判定部と、
     上記利用形態判定部によって判定された把持形態と注目領域とに応じて、上記表示部材に表示させる画面の表示態様を変更する表示制御部とを備えていることを特徴とする表示装置。
  2.  上記表示制御部は、上記画面に含まれるタッチ操作可能なオブジェクトのうち、上記判定された把持形態と注目領域とに基づいて特定される表示領域の一部に表示されるオブジェクトについて、少なくとも横幅を拡大することを特徴とする請求項1に記載の表示装置。
  3.  上記表示制御部は、
      上記利用形態判定部によって、把持形態が左手持ちであって、注目領域が持ち手の親指に近い側の近親指領域であると判定された場合、または、把持形態が右手持ちであって、注目領域が持ち手の親指から遠い側の遠親指領域であると判定された場合に、上記表示領域の左半分に表示されるオブジェクトの少なくとも一部の横幅を拡大し、
      上記利用形態判定部によって、把持形態が右手持ちであって、注目領域が近親指領域であると判定された場合、または、把持形態が左手持ちであって、注目領域が遠親指領域であると判定された場合に、上記表示領域の右半分に表示されるオブジェクトの少なくとも一部の横幅を拡大することを特徴とする請求項2に記載の表示装置。
  4.  表示部材と、該表示部材に重畳された操作検知部材と、上記表示部材と上記操作検知部材とを格納している筐体とを備え、上記操作検知部材が、上記表示部材の表示領域に対するタッチ操作を検知するとともに、該操作検知部材の一部が、上記表示領域以外の上記筐体の端面へのタッチ操作を検知する表示装置であって、該表示装置は、
     上記表示部材に表示させる画面に含まれる1以上のオブジェクトについて、該オブジェクトに対するタッチ操作を受け付けることが可能なタッチ可能領域の位置を記憶する記憶部材と、
     上記操作検知部材によって検知された、上記端面に対するタッチ操作のタッチ位置に基づいて、把持形態を判定する利用形態判定部と、
     上記利用形態判定部によって判定された把持形態に応じて、上記記憶部材に記憶されている上記オブジェクトのタッチ可能領域の位置を補正するタッチ可能領域補正部とを備えていることを特徴とする表示装置。
  5.  上記タッチ可能領域補正部は、
      上記利用形態判定部によって把持形態が左手持ちであると判定された場合には、上記表示領域に表示されるオブジェクトの少なくとも一部について、タッチ可能領域の位置を左に補正し、
      上記把持形態が右手持ちであると判定された場合には、上記オブジェクトの少なくとも一部について、タッチ可能領域の位置を右に補正することを特徴とする請求項4に記載の表示装置。
  6.  上記利用形態判定部は、上記把持形態に加えて、上記表示領域のうちユーザがタッチ操作しようと注目している領域である注目領域を判定し、
     上記タッチ可能領域補正部は、上記利用形態判定部によって判定された把持形態と注目領域とに応じて、表示領域上の補正対象範囲、補正方向、および、補正の程度を異ならせて、上記オブジェクトのタッチ可能領域の位置を補正することを特徴とする請求項4に記載の表示装置。
  7.  上記タッチ可能領域補正部は、
      上記利用形態判定部によって、把持形態が左手持ちであって、注目領域が持ち手の親指に近い側の近親指領域であると判定された場合、上記表示領域の左半分に表示されるオブジェクトの少なくとも一部のタッチ可能領域の位置を右に、第1オフセット値分補正し、
      上記利用形態判定部によって、把持形態が左手持ちであって、注目領域が持ち手の親指から遠い側の遠親指領域であると判定された場合、上記表示領域の右半分に表示されるオブジェクトの少なくとも一部のタッチ可能領域の位置を左に、上記第1オフセット値よりも小さい第2オフセット値分補正し、
      上記利用形態判定部によって、把持形態が右手持ちであって、注目領域が近親指領域であると判定された場合、上記表示領域の右半分に表示されるオブジェクトの少なくとも一部のタッチ可能領域の位置を左に、上記第1オフセット値分補正し、
      上記利用形態判定部によって、把持形態が右手持ちであって、注目領域が遠親指領域であると判定された場合、上記表示領域の左半分に表示されるオブジェクトの少なくとも一部のタッチ可能領域の位置を右に、上記第2オフセット値分補正することを特徴とする請求項6に記載の表示装置。
  8.  上記利用形態判定部は、
     上記操作検知部材によって上記端面上にて検知された複数のタッチ位置のうち、検知範囲が所定より広いタッチ位置がある場合に、該タッチ位置を拇指球のタッチ位置であると特定し、検知範囲が所定より狭いタッチ位置がある場合に、該タッチ位置を親指および親指以外の四指のうちのいずれかのタッチ位置であると特定し、
     親指、四指および拇指球のタッチ位置の組み合わせに基づいて、注目領域が、持ち手の親指に近い側の近親指領域であるのか、持ち手の親指から遠い側の遠親指領域であるのかを判定することを特徴とする請求項1~3、6および7のいずれか1項に記載の表示装置。
  9.  表示部材と、該表示部材に重畳された操作検知部材と、上記表示部材と上記操作検知部材とを格納している筐体とを備え、上記操作検知部材が、上記表示部材の表示領域に対するタッチ操作を検知するとともに、該操作検知部材の一部が、上記表示領域以外の上記筐体の端面へのタッチ操作を検知する表示装置が実行するタッチ操作処理方法であって、
     上記操作検知部材によって検知された、上記端面に対するタッチ操作のタッチ位置に基づいて、把持形態を判定するとともに、上記表示領域のうちユーザがタッチ操作しようと注目している領域である注目領域を判定する利用形態判定ステップと、
     上記利用形態判定ステップにて判定された把持形態と注目領域とに応じて、上記表示部材に表示させる画面の表示態様を変更する表示制御ステップとを含むことを特徴とするタッチ操作処理方法。
PCT/JP2014/056922 2013-08-22 2014-03-14 表示装置、および、タッチ操作処理方法 WO2015025550A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/902,930 US9870081B2 (en) 2013-08-22 2014-03-14 Display device and touch-operation processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013172671 2013-08-22
JP2013-172671 2013-08-22

Publications (1)

Publication Number Publication Date
WO2015025550A1 true WO2015025550A1 (ja) 2015-02-26

Family

ID=52483341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/056922 WO2015025550A1 (ja) 2013-08-22 2014-03-14 表示装置、および、タッチ操作処理方法

Country Status (2)

Country Link
US (1) US9870081B2 (ja)
WO (1) WO2015025550A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161985A (ja) * 2016-03-07 2017-09-14 京セラドキュメントソリューションズ株式会社 入力装置および入力方法
JP2019194891A (ja) * 2019-06-21 2019-11-07 カシオ計算機株式会社 入力装置及び電子機器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180761B2 (en) * 2014-06-27 2019-01-15 Sharp Kabushiki Kaisha Touch-panel-equipped display device including side surface electrodes
CN104133310A (zh) * 2014-08-22 2014-11-05 深圳市中兴移动通信有限公司 一种无边框显示装置
US10466839B2 (en) * 2016-03-30 2019-11-05 Synaptics Incorporated Dynamic differential algorithm for side touch signals
KR20180013321A (ko) * 2016-07-29 2018-02-07 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009090704A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 携帯端末
JP2012027581A (ja) * 2010-07-21 2012-02-09 Kddi Corp 携帯端末およびキー表示方法
WO2012049942A1 (ja) * 2010-10-13 2012-04-19 Necカシオモバイルコミュニケーションズ株式会社 携帯端末装置、および携帯端末装置におけるタッチパネルの表示方法
JP2012191445A (ja) * 2011-03-10 2012-10-04 Kddi Corp 携帯端末装置および制御プログラム
JP2012199888A (ja) * 2011-03-23 2012-10-18 Ntt Docomo Inc 携帯端末
JP2012256153A (ja) * 2011-06-08 2012-12-27 Panasonic Corp 文字入力装置および携帯端末
US20130207913A1 (en) * 2012-02-09 2013-08-15 Sony Mobile Communications Inc. Touch panel device, portable terminal, position detecting method, and recording medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5411733B2 (ja) 2010-02-04 2014-02-12 株式会社Nttドコモ 表示装置及びプログラム
JP4955116B1 (ja) 2010-12-28 2012-06-20 シャープ株式会社 タッチパネルシステムおよび電子機器
US20140062932A1 (en) * 2011-05-11 2014-03-06 Nec Casio Mobile Communications, Ltd. Input device
JP5406333B2 (ja) * 2012-05-29 2014-02-05 京セラ株式会社 携帯端末、制御方法及びプログラム
US8830204B2 (en) * 2012-06-26 2014-09-09 Dell Products L.P. Multi-zone touchscreen sensing at a portable information handling system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009090704A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 携帯端末
JP2012027581A (ja) * 2010-07-21 2012-02-09 Kddi Corp 携帯端末およびキー表示方法
WO2012049942A1 (ja) * 2010-10-13 2012-04-19 Necカシオモバイルコミュニケーションズ株式会社 携帯端末装置、および携帯端末装置におけるタッチパネルの表示方法
JP2012191445A (ja) * 2011-03-10 2012-10-04 Kddi Corp 携帯端末装置および制御プログラム
JP2012199888A (ja) * 2011-03-23 2012-10-18 Ntt Docomo Inc 携帯端末
JP2012256153A (ja) * 2011-06-08 2012-12-27 Panasonic Corp 文字入力装置および携帯端末
US20130207913A1 (en) * 2012-02-09 2013-08-15 Sony Mobile Communications Inc. Touch panel device, portable terminal, position detecting method, and recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161985A (ja) * 2016-03-07 2017-09-14 京セラドキュメントソリューションズ株式会社 入力装置および入力方法
JP2019194891A (ja) * 2019-06-21 2019-11-07 カシオ計算機株式会社 入力装置及び電子機器

Also Published As

Publication number Publication date
US9870081B2 (en) 2018-01-16
US20160154509A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
WO2015025549A1 (ja) 表示装置、および、タッチ操作処理方法
WO2015025550A1 (ja) 表示装置、および、タッチ操作処理方法
US8570283B2 (en) Information processing apparatus, information processing method, and program
US20150268766A1 (en) Method for temporarily manipulating operation of object in accordance with touch pressure or touch area and terminal thereof
US9639204B2 (en) Touch type distinguishing method and touch input device performing the same
US9299314B2 (en) Display device and method for controlling display image
US9317197B2 (en) Storage medium storing information processing program to be executed by computer of information processor to perform a process according to an input to touch surfaces
US9753567B2 (en) Electronic medium display device that performs page turning in response to user operation pressing screen, page turning method, and program
US10088964B2 (en) Display device and electronic equipment
US9904421B2 (en) Touch sensor board, image display device, and touch sensor board manufacturing method
US20120068948A1 (en) Character Input Device and Portable Telephone
US9355805B2 (en) Input device
US20150160842A1 (en) Electronic device and controlling method and program therefor
US20150268827A1 (en) Method for controlling moving direction of display object and a terminal thereof
US20120007825A1 (en) Operating module of hybrid touch panel and method of operating the same
US20160216796A1 (en) Dynamic touch sensor scanning for false border touch input detection
JP6225911B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2014042258A1 (ja) 表示装置、携帯端末、モニター、テレビジョンおよび表示装置の制御方法
TW201222356A (en) Information processing apparatus
US8558806B2 (en) Information processing apparatus, information processing method, and program
CA2641537A1 (en) Touch sensor for a display screen of an electronic device
CN104423687A (zh) 电子装置、屏幕的控制方法及其程序存储介质
US20120050184A1 (en) Method of controlling driving of touch panel
US10509563B2 (en) Dynamic modification of displayed elements of obstructed region
WO2010092708A1 (ja) 表示パネルおよび表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14837761

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14902930

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14837761

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP