WO2016052510A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2016052510A1
WO2016052510A1 PCT/JP2015/077525 JP2015077525W WO2016052510A1 WO 2016052510 A1 WO2016052510 A1 WO 2016052510A1 JP 2015077525 W JP2015077525 W JP 2015077525W WO 2016052510 A1 WO2016052510 A1 WO 2016052510A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
display
line
area
Prior art date
Application number
PCT/JP2015/077525
Other languages
English (en)
French (fr)
Inventor
明良 野田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US15/515,136 priority Critical patent/US20170212587A1/en
Publication of WO2016052510A1 publication Critical patent/WO2016052510A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present invention relates to an electronic device capable of performing a predetermined input in accordance with the movement of a user's body.
  • Patent Document 1 a head-mounted display that detects a user's line-of-sight direction from an electro-oculogram generated by eye movement and controls display of the display unit in accordance with the line-of-sight direction as the electronic apparatus.
  • a gesture for recognizing a gesture made by the user from a moving image taken by the user, determining a type of the gesture, and controlling a control target based on the determined gesture type is a recognition device (Patent Document 2).
  • An object of the present invention is to provide an electronic device provided with a novel input mode that further improves the operability during input.
  • An electronic apparatus includes a display unit and a detection unit that detects a user's line of sight movement.
  • the detection unit detects that the user's line of sight has moved in a predetermined direction
  • the display unit displays The first image is displayed on the predetermined direction side in the region.
  • FIG. 1 is a diagram showing a schematic configuration of an electronic apparatus 1 according to the present invention.
  • FIG. 2 is a view showing the back side of the electronic apparatus 1 according to the present invention.
  • FIG. 3 is a view showing the back side of another electronic apparatus 1 according to the present invention.
  • FIG. 4 is a diagram showing functional blocks of the electronic device 1 according to the embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a combination of a user's predetermined eye movement and an output pattern associated therewith.
  • FIG. 6 is a diagram illustrating a first example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 7 is a diagram illustrating a second example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 8 is a diagram illustrating a third example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 9 is a diagram illustrating a fourth example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 10 is a diagram illustrating a fifth example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 11 is a diagram illustrating a sixth example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 12 is a diagram illustrating a seventh example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 13A is a diagram illustrating another shape of the electronic apparatus 1.
  • FIG. 13B is a diagram illustrating another shape of the electronic apparatus 1.
  • FIG. 1 is a diagram showing a schematic configuration of an electronic apparatus 1 according to an embodiment of the present invention.
  • the electronic device 1 shown in FIG. 1 is provided in a mounting unit 10 that can be mounted on the user's head, a display unit 20 that is attached to the mounting unit 10 and disposed in front of the user's eyes, and a part of the mounting unit 10. And an operation unit 30.
  • the display unit 20 displays an image in a part or all of the display unit 20 so that the user can visually recognize the image.
  • the electronic device 1 has a glasses shape (goggles shape) as shown in FIG.
  • the mounting part 10 of the electronic device 1 includes a front part 11 and side parts 12 and 13.
  • the front unit 11 is disposed in front of the user's eyes, and the side units 12 and 13 are disposed along the user's temporal region.
  • the front part 11 is a part arranged in front of the user's eyes when worn by the user.
  • the front portion 11 is formed by integrating a bridge and two edge portions (rims) provided on the left and right sides of the bridge.
  • the bridge is a portion in contact with the user's nose when the electronic device 1 is worn, and has a shape that is recessed along the user's nose.
  • the edge supports the display unit 20. Further, the edge portion is connected to the side surface portions 12 and 13.
  • the side portions 12 and 13 are portions (the chord portions of the glasses) that are arranged along the heads on both sides of the user when worn on the user as described above, and one end portion is one of the front portions 11. It is connected to the end of the.
  • a spring for adjusting the pressure and an adjuster for changing the angle are arranged at the end of the side surface portion 12 connected to the front surface portion 11 (the base portion of the string of the spectacles of the spectacles). ing.
  • the display unit 20 includes a pair of display units (a first display unit 20a and a second display unit 20b) provided in front of the eyes of the user's left and right eyes.
  • the first display unit 20 a and the second display unit 20 b are surrounded by the edge of the front unit 11.
  • a display panel constituted by a liquid crystal display (LCD), an organic electro-luminescence (EL) panel, or the like can be used.
  • the display part 20 it is preferable to produce a display panel with a translucent or transparent plate-shaped member.
  • the operation unit 30 is touch sensors 30a and 30b that are provided on the side surface portion 12 and the side surface portion 13 to detect contact.
  • touch sensors 30a and 30b various types of sensors such as a capacitance type, an ultrasonic type, a pressure sensitive type, a resistance film type, and a light detection type can be used.
  • the operation unit 30 may have only one of the touch sensors 30a and 30b.
  • FIG. 2 is a view showing the back side of the electronic apparatus 1 according to the present invention.
  • the electronic device 1 includes a myoelectric sensor 40 as a detection unit 40 described later.
  • the myoelectric sensor 40 is provided with an electrode at a position where it can come into contact with the periphery of the user's eyes, and detects a myoelectric potential generated in accordance with the movement of the user's eyes (blinking and eye movement).
  • the measurement electrodes for measuring the myoelectric potential the first electrode 40a and the second electrode 40b that can be in contact with the left and right sides of the user's nose are extended from the bridge of the mounting unit 10 respectively.
  • the 3rd electrode 40c which can contact the center part of a user's nose is provided in a bridge as a reference electrode.
  • the myoelectric sensor 40 is configured such that, for example, when the user moves the line of sight in a predetermined direction (or blinks), the first electrode with the third electrode 40c as a reference is used. Changes in the potentials of 40a and the second electrode 40b are detected.
  • the third electrode 40c as a reference electrode used for the myoelectric sensor 40 may be provided at a position different from the bridge.
  • the third electrode 40c may be provided in the vicinity of the end portion on the side opposite to the front surface portion 11 in the side surface portion 12 (or 13).
  • the detection part 40 is not limited to a myoelectric sensor.
  • FIG. 3 is a view showing the back side of the electronic apparatus 1 according to another embodiment of the present invention.
  • the electronic device 1 includes an imaging unit 40 as the detection unit 40.
  • the imaging unit 40 is provided so as to face the user's face in the front part 11 of the electronic device 1.
  • the imaging unit 40 is provided in the vicinity of both left and right ends of the front unit 11 (referred to as 40d and 40e, respectively).
  • the imaging unit 40 photoelectrically converts imaging light obtained by the lens system including a lens system including an imaging lens, a diaphragm, a zoom lens, a focus lens, a drive system that causes the lens system to perform a focus operation and a zoom operation, and the lens system.
  • a solid-state imaging device array that generates an imaging signal.
  • the solid-state imaging device array may be realized by, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array.
  • FIG. 4 is a diagram showing functional blocks of the electronic device 1 according to the embodiment of the present invention.
  • the electronic device 1 according to the present invention includes a display unit 20, an operation unit 30, a detection unit 40, a control unit 50, a storage unit 60, and a communication unit 70.
  • the display unit 20 displays video and images based on control by the control unit 50.
  • the display unit 20 may display various images, as long as it can display an image that can be visually recognized by the user, that is, can display the image to the user.
  • the display unit 20 may be configured to project an image on a display panel (screen) like a projector.
  • the image may be projected by scanning with laser light, or the image may be projected by transmitting light through a liquid crystal panel.
  • the operation unit 30 is, for example, a touch sensor provided on the side surfaces 12 and 13 of the electronic device 1 and detects a position touched by the user's finger on the side surfaces 12 and 13 as an input position.
  • the operation unit 30 outputs a signal corresponding to the detected input position to the control unit 50. Accordingly, the user can perform various touch operations on the electronic device 1. Examples of the type of touch operation include an operation in which a finger is brought into contact with the side surfaces 12 and 13 and then released in a short time. Moreover, operation which flips the side parts 12 and 13 with a finger
  • the operation which moves to the longitudinal direction of a side surface part, making a finger contact the side surface parts 12 and 13 is mentioned.
  • the direction in which the finger is moved is not limited to this, and may be an operation for moving the finger in the lateral direction of the side surface.
  • the movement in the longitudinal direction and the short direction that is, the X-axis direction and the Y-axis direction) of the side surface with respect to the predetermined surface may be detected together.
  • the operation unit 30 is not limited to the touch sensor, and may be a single button or a plurality of buttons, for example.
  • the detection unit 40 When the detection unit 40 is the myoelectric sensor 40, the detection unit 40 detects a change in myoelectric potential when the user moves his / her line of sight in a predetermined direction (or blinks) as described above. To do. The myoelectric sensor 40 outputs information on the detected myoelectric potential change to the control unit 50.
  • the imaging unit 40 performs imaging of the user's eyes.
  • the imaging unit 40 outputs image data acquired by imaging or a series of image data acquired by imaging every predetermined time (for example, 1/15 seconds) to the control unit 50 as moving image data.
  • the control unit 50 is constituted by, for example, a microprocessor unit (MPU: Micro Processing Unit), and executes various processes of the electronic device 1 described above according to procedures instructed by software. That is, the control unit 50 sequentially reads instruction codes from an operating system program, an application program, and the like, and executes processing. As described above, the control unit 50 controls the operation of each unit and outputs data necessary for each unit, for example, a control signal (or image signal) for displaying a video or an image on the display unit 20.
  • MPU Micro Processing Unit
  • control unit 50 estimates the movement of the user's eyes based on the information on the myoelectric potential change output from the myoelectric sensor 40 as the detection unit 40.
  • Eye movements include blinking, gaze movement presence / absence (including changes in gaze direction, gaze position, and the like).
  • the control unit 50 extracts the subject (eyes) included in the image data or the moving image data output from the imaging unit 40 serving as the detection unit 40, and analyzes the movement of the subject (eyes), thereby obtaining the user's eyes.
  • Estimate the behavior of Eye movements include blinking, gaze movement presence / absence (including changes in gaze direction, gaze position, and the like).
  • the control unit 50 estimates the presence or absence of eye movement by performing a predetermined process such as extracting a subject (eye) included in image data or moving image data and calculating the center of a black eye region.
  • Various image processing techniques can be used as a method for extracting a subject from an image.
  • the storage unit 60 includes, for example, a nonvolatile storage device (nonvolatile semiconductor memory such as ROM: Read Only Memory, a hard disk device, etc.), and a readable / writable storage device (eg, SRAM: Static Random Access Memory, DRAM: Dynamic Random). (Access Memory) and the like, and stores various programs.
  • the storage unit 60 stores in advance a motion pattern of the user's eyes that can be estimated from the information output from the detection unit 40 and a plurality of output patterns associated with each motion pattern.
  • the communication unit 70 includes an antenna and an RF circuit unit, and performs communication (telephone communication and information communication) with an external device wirelessly or by wire based on control by the control unit 50.
  • FIG. 5 shows an example of a combination of a user's predetermined eye movement and an output pattern associated therewith, stored in the storage unit 60.
  • Pattern 1 the user is in a state of looking straight and is not performing a predetermined operation of the eyes.
  • the control unit 50 does not recognize that there has been an input operation by the user, and therefore does not perform output processing.
  • the “movement of the line of sight in a predetermined direction” in the pattern 2 is associated with the movement of the object in the predetermined direction on the display screen, for example. Further, “movement of the line of sight in a predetermined direction” may be associated with, for example, an operation for designating a predetermined position on the display flat screen. In addition, for example, the “movement of the line of sight in a predetermined direction” may be performed by the electronic device 1 with a predetermined process. Examples of the predetermined process include a process of displaying a predetermined operation screen on the display unit 20.
  • the operation of “gazing after moving the line of sight in a predetermined direction” in the pattern 3 is associated with, for example, an operation for causing the electronic device 1 to execute a predetermined process. For example, after the user's line-of-sight position has moved to a position that overlaps a predetermined operation icon displayed on the display unit 20, the operation icon is selected when the user gazes at the operation icon for a predetermined time (for example, 1 second). Therefore, a predetermined process associated with the operation icon is executed.
  • the operation of performing “multiple blinks” in the pattern 4 is associated with, for example, an operation for causing the electronic device 1 to execute a predetermined process. For example, if blinking is performed a plurality of times in a state where the user's line-of-sight position overlaps with a predetermined operation icon displayed on the display unit 20, the operation icon is considered to be selected and is associated with the operation icon.
  • a predetermined process is executed. In addition, it may be assigned to an input for realizing I / O operations such as starting / stopping of the electronic device 1, transitioning / cancelling to a sleep state, execution / stopping of music playback in a music application, etc. good.
  • FIG. 6 is a diagram illustrating a first example of the display mode of the display unit 20 of the electronic device 1.
  • the shape of the display unit 20 may include a curved portion.
  • a rectangular region excerpted from a partial region of the display unit 20 in order to simplify the description. Is shown as a display area 21.
  • the electronic device 1 has information (music name, reproduction) about the music being played in the display area 21 in relation to the date and time and the music application being executed by the electronic device 1 in the upper left. Time etc.) is displayed.
  • This information is displayed as character information, but is not limited to such a display mode.
  • an opaque character may be superimposed on a colored transparent image, or an opaque image may be displayed. Characters may be displayed superimposed on each other.
  • the display mode shown in step S11 is, for example, a state that is taken when the user is in a normal viewing state (pattern 1 in FIG. 5).
  • the detection unit 40 detects that the user's line of sight has moved to the right, as shown in Step S ⁇ b> 12 and Step S ⁇ b> 13 of FIG. 6, the display area 21 of the display unit 20 Then, an object 80 for volume adjustment in music reproduction is displayed.
  • the object 80 includes a slide bar for adjusting the volume.
  • Step S12 in FIG. 6 shows a process in which the object 80 is displayed.
  • Step S13 in FIG. 6 shows a state after the object 80 is displayed on the display unit 20.
  • the object 80 is displayed so as to enter from the outside to the inside of the right end of the display area 21 in the display area 21.
  • step S13 a diagram in which the display area 21 is divided into five areas (21a to 21e) is schematically shown, and the display location of the object 80 when the user moves the line of sight to the right is The area 21e is the right end of the display area 21.
  • the electronic device 1 when the detection unit 40 detects that the user's line of sight has moved in a predetermined direction, the electronic device 1 according to the present invention displays a predetermined first image ( Object). Accordingly, the electronic device 1 does not display an image when the user does not move the line of sight, and the user's field of view is kept wider, and the user desires the user to move the line of sight intentionally. Since an image can be displayed, convenience is improved. That is, the electronic device 1 can realize an input mode with improved operability when inputting.
  • the electronic device 1 may specify a line connecting a point (start point) where the line-of-sight movement is started and a point (end point) where the line-of-sight movement is completed as the direction of the user's line-of-sight movement. .
  • the electronic apparatus 1 may specify a line connecting a point (end point) where the line-of-sight movement is completed and a point that is a predetermined section back from the end point as the direction of the user's line-of-sight movement.
  • the predetermined first image may be displayed in the vicinity of a point where the outline portion of the display area 21 and the user's line-of-sight direction intersect. For example, as shown in step S12 and step S13 of FIG. 6, the electronic device 1 moves to the right direction of the user, and when the movement direction and the right side of the display area 21 intersect, The object 80 (first image) is displayed at 21e).
  • the predetermined first image (object 80) is displayed so as to enter from the outside to the inside in the display area 21 of the display unit 20.
  • the electronic device 1 makes it easier for the user to recognize that a desired image (object 80) has been displayed triggered by the user's line-of-sight movement.
  • the electronic device 1 uses the trigger of displaying the object 80 that the user's line of sight has simply moved to the right.
  • the position of the user's line of sight is FIG.
  • the object 80 may be displayed triggered by the movement to the area 21e in step S13. That is, when the line of sight moves from the first area to the second area among the plurality of areas previously divided in the display area 21 of the display unit 20, the electronic device 1 according to the present invention moves to the second area with a predetermined first number.
  • You may have the structure which displays 1 image. Since the electronic device 1 has such a configuration, the user's desired image can be displayed at a position where the user has actually moved his / her line of sight, so that the electronic device 1 can be easily viewed.
  • the first image (object 80) may be displayed so as to enter the second area from the area opposite to the first area outside the second area.
  • the electronic device 1 may display the object 80 in the area 21e when the user's line-of-sight position continues in the area 21e in step S13 in FIG. 6 for a predetermined time or more. That is, the electronic apparatus 1 according to the present invention has a configuration in which when the detection unit 40 detects that the line-of-sight position is continued in the predetermined display area of the display unit 20, the predetermined first image is displayed in the display area. You may have.
  • the electronic device 1 may display the first image at a predetermined timing when the user's line-of-sight position is in a predetermined display area of the predetermined display unit 20. For example, when the electronic device 1 according to the present invention is activated, if the user's line-of-sight position is in the region 21e as the predetermined display region of the display unit 20, the object 80 may be displayed as the first image. .
  • the first area may be a main display area where a predetermined display is always performed
  • the second area may be a sub display area that displays only when the user's line-of-sight position overlaps.
  • the electronic device 1 is configured to display an operation icon for executing a predetermined process in a predetermined application being executed as the predetermined first image, the user performs a predetermined operation on the operation icon. This makes it easy to operate.
  • the electronic device 1 displays the object 80 (slide bar) for volume adjustment in the area 21e, and the volume is currently set to 20.
  • the state that the music is being played is shown.
  • the electronic device 1 can adjust the volume by a further operation by the user.
  • the electronic device 1 can adjust the volume by performing a predetermined operation on the operation unit 30.
  • the electronic device 1 detects that the touch sensor as the operation unit 30 has detected this.
  • the volume is adjusted. For example, as shown in step S ⁇ b> 13 of FIG. 6, when the user touches the side surface portion 12 of the electronic device 1 and performs a slide operation from the rear to the front when the volume is 20, the electronic device 1, the volume increases to 80 as shown in step S14 of FIG.
  • the electronic device 1 displays a first image including an object 80 (slide bar) that can adjust a parameter associated with the execution content of the application when the line of sight is moved.
  • a parameter is adjusted by performing a predetermined operation by the operation unit 30.
  • FIG. 7 is a diagram illustrating a second example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 7 shows an example in which the electronic device 1 is executing moving image reproduction.
  • the display area 21 is divided into five areas (21a to 21e) in advance.
  • the region 21d includes operation icons (video playback icon, playback stop icon, seek bar (function for displaying data playback location), etc.) related to the video playback application.
  • An object 81a is displayed.
  • the electronic device 1 When the detection unit 40 detects that the user's line of sight has moved leftward in the state shown in step S21 of FIG. 7, the electronic device 1 has the left side of the display unit 20 as shown in step S22 of FIG. 7. In this area (corresponding to the area 21a in step S21 in FIG. 7), an object 81b for adjusting the luminance is displayed.
  • the electronic device 1 displays the display unit 20 as shown in step S23 of FIG.
  • An object 81c for adjusting the sound volume is displayed in the right area (corresponding to the area 21e in step S21 in FIG. 7).
  • the electronic device 1 when the user's line of sight moves in the left direction, displays the first image in the left region 21a among the plurality of regions divided in the display region 21 of the display unit 20.
  • the second image is displayed in the right region 21e among the plurality of regions divided in the display region 21 of the display unit 20.
  • the electronic apparatus 1 uses the user's line of sight simply as moving in a predetermined direction as a trigger for displaying the object, but is not limited thereto.
  • the electronic apparatus 1 moves to the second area.
  • the object 81b first image
  • the line of sight moves from the first area (area 21c) to the third area (area 21e)
  • the object 81c second image
  • the electronic device 1 displays the object 81b (first image) in the area 21a when the user's line-of-sight position continues in the area 21a in step S21 in FIG.
  • the object 81c (second image) may be displayed in the area 21e when the line-of-sight position continues in the area 21e in step S21 in FIG. 7 for a predetermined time.
  • the electronic device 1 displays the object 81 b as the first image in the left area (area 21 a) of the display unit 20 and the second area in the right area (area 21 e) of the display unit 20.
  • the object 81c is displayed as an image, the present invention is not limited to this.
  • the electronic device 1 displays the first image (object 81b) in the left area (area 21a) of the display unit 20, and similarly the first image (object 81b) in the right area (area 21e) of the display unit 20. May be displayed.
  • the electronic device 1 may be configured to display the same object in both the area 21a and the area 21e.
  • the electronic device 1 is not limited to a configuration in which an object is displayed in a region (region 21a and region 21e) near the left and right ends of the display unit 20.
  • the electronic device 1 displays an object in the lower end area 21d of the display unit 20, and when the user's line of sight moves upward, the upper end area of the display unit 20 is displayed. You may make it display an object on 21b. That is, the electronic device 1 according to the present invention may display the third image when the user's line of sight moves in the third direction, and may display the fourth image when the user's line of sight moves in the fourth direction.
  • the third image is, for example, an object 81a shown in FIG. 7 (in this case, the object 81a is not always displayed).
  • the fourth image may be information such as date and time as shown in FIG.
  • FIG. 8 is a diagram illustrating a third example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 8 shows an example in which the electronic device 1 is executing moving image reproduction, as in the second example. 8 the display unit 20 has a first display unit 20a disposed in front of the user's left eye and a second display unit 20b disposed in front of the user's right eye, as shown in FIG. Yes.
  • the electronic device 1 has a left area (in FIG. 8, in the display area 22a) among the plurality of areas divided in the display area 22a of the first display unit 20a.
  • An object 81b for adjusting the luminance is displayed as a first image in a region near the left end).
  • the electronic device 1 when the user's line of sight moves to the right, the electronic device 1 has a right region (in FIG. 8, the second display region 22b) among the plurality of regions divided in the display region 22b of the second display unit 20b.
  • the object 81c for adjusting the sound volume is displayed as the second image in the area near the right end in FIG.
  • the electronic apparatus 1 can display an object on the left and right outsides in the user's field of view, thereby reducing the hindrance to the field of view.
  • the first operation unit 30a provided in the vicinity of the left head receives an operation related to the first image (object 81b) displayed on the left display unit 20a
  • the right head The second operation unit 30b provided in the vicinity of the unit may receive an operation related to the second image (object 81c) displayed on the right display unit 20b.
  • the electronic device 1 moves the line of sight in the left direction, that is, when the user is looking at the left side of the screen, for example, with respect to the operation unit near the left side of the head. Since the operation can be performed (in many cases, the operation can be performed with the left hand), the input operation combining the movement of the eyes and the movement of the hand is not bothered and convenience is improved.
  • FIG. 9 is a diagram illustrating a fourth example of the display mode of the display unit 20 of the electronic device 1.
  • the electronic device 1 is executing a browser application.
  • the electronic device 1 can display one page of the plurality of web pages by making a transition between the plurality of web pages. For example, as shown in step S31 of FIG. 9, in the electronic device 1, the display area 21 of the display unit 20 displays a page 82a as one of a plurality of web pages.
  • the electronic device 1 displays a page in an area near the left end in the display area 21 as illustrated in step S32 of FIG.
  • a first image (page 82b) different from 82a is displayed.
  • the page 82b is displayed so as to partially overlap the page 82a.
  • part or all of the display content of the page 82b is displayed as the first image. Therefore, the user can confirm the display content of the other page 82b different from the page 82a while visually recognizing the page 82a in most of the display area 21.
  • a second image (page 82c) different from the page 82a is displayed in the area near the right end in the display area 21.
  • the page 82b in step S32 in FIG. 9 is a web page before the page 82a
  • the page 82c in step S33 in FIG. 9 can be the web page next to the page 82a.
  • the detection unit 40 detects a predetermined operation of the user's eyes in a state where the first image (part or all of the page 82 b) is displayed as illustrated in Step S ⁇ b> 32 of FIG. 9.
  • the display may be shifted to the page 82b (another page) as shown in step S34 of FIG. That is, the electronic device 1 makes a transition from the state in which the page 82 a is displayed in the majority of the display area 21 to the state in which the page 82 b is displayed in the majority of the display area 21.
  • the detection unit 40 detects a predetermined operation of the user's eyes in a state where the second image (part or all of the page 82 c) is displayed as illustrated in Step S ⁇ b> 33 of FIG. 9.
  • the display may be shifted to the page 82c (another page). That is, the electronic device 1 makes a transition from a state in which the page 82 a is displayed in the majority of the display area 21 to a state in which the page 82 c is displayed in the majority of the display area 21.
  • movement of a user's eyes it is good also as operation
  • FIG. 10 is a diagram illustrating a fifth example of the display mode of the display unit 20 of the electronic device 1.
  • the user visually recognizes a predetermined object via the display unit 20, and a predetermined image including information associated with the object is displayed on the display unit 20.
  • a predetermined image including information associated with the object is displayed on the display unit 20.
  • the user is walking in the city and visually recognizes the building 100 via the display unit 20.
  • information associated with the building 100 is displayed in a balloon form in the display area 21 of the display unit 20 (object 83a).
  • the detection unit 40 detects that the user's line of sight has moved to the left in step S41
  • the object 83a displayed in a balloon form is displayed on the display unit as shown in step S42 of FIG.
  • the display is moved to the area near the left end of the 20 display areas 21 and displayed.
  • the predetermined image is displayed in the first area among the plurality of areas divided in the display area of the display unit 20 (in step S41 in FIG. 10).
  • a predetermined image object 83a
  • the electronic apparatus 1 Since the electronic apparatus 1 has such a configuration, it is possible to move information that is no longer necessary for the user or information that is obstructing the field of vision to the display area desired by the user by simply moving the line of sight. Don't worry about it.
  • the object 83a (predetermined image) is moved and displayed in a region (second region) near the left end in the display region 21.
  • the object 83a and the building 100 are associated with each other.
  • the electronic apparatus 1 can display information about the building 100 in a region separated from the region where the building 100 is visually recognized by movement of the line of sight. Can be easily grasped to be associated with each other.
  • the user's line of sight moves left and right within a predetermined time in a state where the object 83a is displayed in the display area 21 of the display unit 20 as shown in step S41 of FIG.
  • the detection unit 40 detects this, the object 83a may be moved and displayed near the left and right ends of the display area 21 of the display unit 20, or may not be displayed.
  • the electronic apparatus 1 can move and display the object 83a (predetermined image) to an area that does not hinder the user's field of view by a simple movement operation of the line of sight.
  • FIG. 11 is a diagram illustrating a sixth example of the display mode of the display unit 20 of the electronic device 1.
  • a route guidance application is executed in the electronic device 1.
  • a map image 84 near the current position of the user is displayed in the upper left area of the display area 21 of the display unit 20.
  • an aerial photograph 85 near the current position of the user is displayed in the upper right area of the display area 21 of the display unit 20.
  • the display mode of the display area 21 is the state shown in step S51 of FIG. 11, when the detection unit 40 detects that the user's line of sight has moved in the upper left direction, the map image 84 is displayed as shown in FIG. The display is enlarged as shown in step S52.
  • the electronic device 1 has a configuration in which the first image is enlarged when the detection unit 40 detects that the user's line of sight moves in a predetermined direction (first direction). Since the electronic apparatus 1 has such a configuration, it is possible to perform an enlarged display only with the movement of the line of sight with respect to an image desired by the user, so that convenience is improved.
  • the electronic device 1 moves the user's line of sight in a direction different from the upper left direction (first direction). Then, it is good also as a structure which displays the map image 84 reduced and returns to the state shown to FIG.11 S51, for example.
  • the electronic device 1 causes the aviation when the user's line of sight moves in the upper right direction (second direction).
  • the photograph 85 (second image) may be enlarged and displayed, and the map image 84 (first image) may be reduced and displayed. Since the electronic apparatus 1 has such a configuration, the map image 84 is reduced and displayed at the timing when the user moves his / her line of sight from the map image 84 to another display area, so that it is easy to use.
  • the electronic device 1 is configured to enlarge and display the first image when the user's line of sight moves in a predetermined direction.
  • the configuration is not limited to this configuration.
  • the detection unit 40 detects that the user's line-of-sight position is in the display area of the first image for a predetermined time or more
  • the electronic device 1 may display the first image in an enlarged manner.
  • the electronic device 1 determines that the user is going to see a display different from the first image when the user's line of sight moves in a predetermined direction. One image may be reduced and displayed.
  • the user can grasp the destination while easily switching between the map image 84 and the aerial photograph 85 when the electronic device 1 is executing the route guidance application.
  • FIG. 12 is a diagram illustrating a seventh example of the display mode of the display unit 20 of the electronic device 1.
  • a learning application is executed in the electronic device 1.
  • test questions are displayed in the display area 21 of the display unit 20.
  • the electronic device 1 causes the display unit 20 to display a hint 1 on the solution to the problem, for example, as illustrated in step S62 in FIG. 1 information 86a) is displayed.
  • the hint 1 is displayed in an area near the right end of the display area 21. Therefore, the user can solve the problem with reference to the displayed hint 1.
  • the electronic device 1 detects that the user's line of sight has moved to the right again after the hint 1 is displayed on the display unit 20, as shown in step S63 of FIG.
  • the hint 2 (or the detailed hint 2 for the hint 1) (second information 86b) is displayed on the display unit 20. Therefore, the user can solve the problem by referring to the hint 2 when the solution is not known only by the hint 1.
  • the electronic device 1 detects that the user's line of sight has moved leftward, and the step in FIG. As shown in S64, the answer 86c of the problem may be displayed on the display unit 20. The answer is displayed in an area near the left end of the display area 21.
  • the detection unit 40 detects a predetermined action of the user's eyes in a state where the user's line of sight is positioned in the display area where the answer is displayed
  • the electronic device 1 displays details of how to solve the problem on the display unit 20. (Explanation content) may be displayed.
  • the electronic device 1 has a shape such as a spectacle shape (goggles shape) has been shown, but the shape of the electronic device 1 is not limited to this.
  • 13A and 13B are diagrams illustrating another shape of the electronic device 1.
  • the electronic device 1 may have a helmet-type shape that covers substantially the upper half of the user's head.
  • the electronic device 1 may have a mask type shape that covers almost the entire face of the user.
  • the configuration in which the display unit 20 includes the pair of display units 20a and 20b provided in front of the user's left and right eyes has been exemplified. May have a configuration having one display unit provided in front of one of the left and right eyes of the user.
  • the configuration has been illustrated in which the edge of the front portion surrounds the entire periphery of the edge of the display area of the display unit 20, but is not limited thereto, and the display area of the display unit 20 is not limited to this.
  • the structure which has enclosed only a part of edge may be sufficient.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

　電子機器（１）は、表示部（２０）と、ユーザの視線移動を検出する検出部と、を備える。電子機器（１）は、視線が所定方向へ移動したことを検出部が検出すると、表示部（２０）の表示領域における所定方向側に第１画像を表示する。このように構成することで、入力の際の操作性をさらに向上させる新規な入力態様が施された電子機器（１）を提供することができる。例えば、第１画像は、表示部（２０）の表示領域において、該表示領域の外郭部分と視線の移動方向とが交わる点の近傍に表示されてもよい。

Description

電子機器
　この発明は、ユーザの身体の動きに応じて、所定の入力を行うことが可能な電子機器に関する。
　上記の電子機器として、近年、目の動作によって生じる眼電位からユーザの視線方向を検出し、該視線方向に応じて表示部の表示制御を行うヘッドマウントディスプレイがある（特許文献１）。
　また、上記の電子機器として、近年、ユーザが撮影された動画から、該ユーザによるジェスチャを認識するとともに該ジェスチャの種類を判定し、判定されたジェスチャの種類に基づいて、制御対象を制御するジェスチャ認識装置がある（特許文献２）。
特開２０１１－１２５６９２号公報 特開２０１４－４８９３８号公報
　特許文献１に記載のヘッドマウントディスプレイ及び特許文献２に記載の認識装置においては、入力の際の操作性をさらに向上させる新規な入力態様の提案が望まれる。
　本発明の目的は、入力の際の操作性をさらに向上させる新規な入力態様が施された電子機器を提供することにある。
　本発明に係る電子機器は、表示部と、ユーザの視線移動を検出する検出部と、を備え、前記ユーザの視線が所定方向へ移動したことを前記検出部が検出すると、前記表示部の表示領域における前記所定方向側に第１画像を表示することを特徴とする。
　本発明によれば、入力の際の操作性をさらに向上させる新規な入力態様が施された電子機器を提供することができる。
図１は、本発明に係る電子機器１の概略構成を示す図である。 図２は、本発明に係る電子機器１の後ろ側を示した図である。 図３は、本発明に係る他の電子機器１の後ろ側を示した図である。 図４は、本発明の一実施形態に係る電子機器１の機能ブロックを示す図である。 図５は、ユーザの所定の目の動作とそれに対応付けられた出力パターンの組み合わせの一例を示す図である。 図６は、電子機器１の表示部２０の表示態様の第１例を示す図である。 図７は、電子機器１の表示部２０の表示態様の第２例を示す図である。 図８は、電子機器１の表示部２０の表示態様の第３例を示す図である。 図９は、電子機器１の表示部２０の表示態様の第４例を示す図である。 図１０は、電子機器１の表示部２０の表示態様の第５例を示す図である。 図１１は、電子機器１の表示部２０の表示態様の第６例を示す図である。 図１２は、電子機器１の表示部２０の表示態様の第７例を示す図である。 図１３Ａは、電子機器１の別の形状を示す図である。 図１３Ｂは、電子機器１の別の形状を示す図である。
　以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
　図１は、本発明の一実施形態に係る電子機器１の概略構成を示す図である。図１に示す電子機器１は、ユーザの頭部に装着可能な装着部１０と、装着部１０に取付けられてユーザの眼前に配置される表示部２０と、装着部１０の一部に設けられる操作部３０と、を備える。表示部２０は、該表示部２０の一部又は全部の領域に、ユーザが視認できるように画像を表示する。
　電子機器１は、図１に示すように、眼鏡形状（ゴーグル形状）である。電子機器１の装着部１０は、正面部１１と、側面部１２、１３とからなる。装着部１０がユーザに装着されたとき、正面部１１は、ユーザの眼前に配置され、側面部１２、１３は、ユーザの側頭部に沿って配置される。
　正面部１１は、上述したように、ユーザに装着された場合、ユーザの眼前に配置される部分である。正面部１１は、ブリッジと、ブリッジを隔てて左右に設けられる二つの縁部（リム）とが一体となって構成されている。ブリッジは、電子機器１の装着時にユーザの鼻と接する部分であり、ユーザの鼻に沿って凹んだ形状である。縁部は、表示部２０を支持している。また、縁部は、側面部１２、１３と連結している。
　側面部１２、１３は、上述したようにユーザに装着された場合、ユーザの両側頭部に沿って配置される部分（眼鏡の弦の部分）であり、一方の端部が正面部１１の一方の端部と連結している。ここで、正面部１１と連結される側面部１２の端部（眼鏡の弦の根元部分）には、ユーザの使用感に合わせるための、圧力調整用のバネや角度を変更するアジャスタが配置されている。
　表示部２０は、ユーザの左右の目の眼前に設けられる一対の表示部（第１表示部２０ａ、第２表示部２０ｂ）を有している。表示部２０は、第１表示部２０ａ、第２表示部２０ｂの周囲が、正面部１１の縁部によって囲われている。
　表示部２０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどで構成された表示パネルを用いることができる。ここで、表示部２０は、表示パネルを半透明または透明の板状部材で作製することが好ましい。表示部２０の表示パネルを半透明または透明の板状部材で作製することで、ユーザが表示部２０を介して景色を見ることができる。
　操作部３０は、側面部１２と側面部１３の其々に設けられて、接触を検出するタッチセンサ３０ａ、３０ｂである。タッチセンサ３０ａ、３０ｂには、例えば、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のセンサが用いられ得る。尚、本発明に係る電子機器１において、操作部３０は、タッチセンサ３０ａ、３０ｂの何れか一方のみを有する構成であっても良い。
　図２は、本発明に係る電子機器１の後ろ側を示した図である。電子機器１は、後述する検出部４０としての筋電センサ４０を備える。
　筋電センサ４０は、ユーザの目の周辺に接触可能な位置に電極を設け、ユーザの目の動作（まばたきや視線移動）に伴って生じる筋電位を検出する。ここで、筋電位を測定するための測定電極として、ユーザの鼻の左右側部のそれぞれに接触可能な第１電極４０ａと第２電極４０ｂとが、装着部１０のブリッジから延設されるノーズパッドに設けられる。また、基準電極として、ユーザの鼻の中央部に接触可能な第３電極４０ｃがブリッジに設けられる。このような構成とすることにより、筋電センサ４０は、例えば、ユーザが視線を所定の方向に移動させた（或いは、まばたきを行った）ときに、第３電極４０ｃを基準とした第１電極４０ａ及び第２電極４０ｂの電位の変化を検出する。
　筋電センサ４０に用いられる基準電極としての第３電極４０ｃは、ブリッジとは異なる位置に設けられていても良い。例えば、第３電極４０ｃは、側面部１２（或いは１３）における、正面部１１とは反対側の端部近傍に設けてられても良い。
　なお、図２において、電子機器１が検出部４０として筋電センサ４０を備える構成を示したが検出部４０は筋電センサに限定されない。
　図３は、本発明の他の実施例に係る電子機器１の後ろ側を示した図である。電子機器１は、検出部４０としての撮像部４０を備える。
　撮像部４０は、電子機器１の正面部１１におけるユーザの顔面に対面するように設けられる。撮像部４０は、正面部１１の左右両端部の近傍に其々設けられる（其々４０ｄ、４０ｅとする）。撮像部４０は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されても良い。
　次に、図４を用いて、本発明に係る電子機器１の機能について説明する。図４は、本発明の一実施形態に係る電子機器１の機能ブロックを示す図である。図４に示すように、本発明に係る電子機器１は、表示部２０、操作部３０、検出部４０、制御部５０、記憶部６０、及び通信部７０を備える。
　表示部２０は、制御部５０による制御に基づいて映像や画像を表示する。なお、表示部２０は、ユーザが視認できる画像を表示することができれば、つまりユーザに画像を見せることができればよく、種々の構成を用いることができる。例えば、表示部２０としては、プロジェクタのように表示パネル（スクリーン）に画像を投影する構成としても良い。なお、画像を投影させる場合、レーザ光を走査させて画像を投影する構成としても良いし、液晶パネルに光を透過させて画像を投影する構成としても良い。また、表示部２０からユーザに向けて直接レーザ光を照射することでユーザに対して画像を表示する構成としても良い。
　操作部３０は、前述したように、例えば、電子機器１の側面部１２、１３に設けられるタッチセンサであり、側面部１２、１３においてユーザの指が触れた位置を入力位置として検出する。操作部３０は、検出した入力位置に応じた信号を制御部５０へ出力する。これにより、ユーザは、電子機器１に対して種々のタッチ操作を行うことができる。タッチ操作の種類として、例えば、側面部１２、１３に指を接触させた後、短時間のうちに指を離す操作が挙げられる。また、側面部１２、１３を指で任意の方向（例えば、側面部の長手方向）に弾く操作が挙げられる。また、側面部１２、１３に指を接触させたまま側面部の長手方向へ移動させる操作（スライド操作）が挙げられる。なお、指を移動させる方向はこれに限らず、側面部の短手方向へ移動させる操作であっても良い。また、側面部の所定面に対して、該面の長手方向と短手方向（即ちＸ軸方向とＹ軸方向）の移動を併せて検出しても良い。
　なお、操作部３０は、タッチセンサに限定されず、例えば、単一または複数のボタンであっても良い。
　検出部４０は、該検出部４０が筋電センサ４０である場合、前述したように、ユーザが視線を所定の方向に移動させた（或いは、まばたきを行った）ときの筋電位の変化を検出する。筋電センサ４０は、検出された筋電位変化の情報を制御部５０に出力する。
　一方、検出部４０が、撮像部４０である場合、撮影部４０は、ユーザの目の撮影を行う。撮影部４０は、撮影して取得された画像データ、或いは、所定の時間（例えば１／１５秒）毎に撮影して取得された一連の画像データを動画データとして制御部５０に出力する。
　制御部５０は、例えば、マイクロプロセッサユニット（ＭＰＵ：Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）で構成され、ソフトウェアで指示された手順にしたがって上述した電子機器１の各種の処理を実行する。すなわち、制御部５０は、オペレーティングシステムプログラムやアプリケーションのプログラム等から命令コードを順次読み込んで処理を実行する。このように、制御部５０は、各部の動作を制御し、各部に必要なデータ、例えば、表示部２０に映像や画像を表示させるための制御信号（或いは画像信号）を出力する。
　また、制御部５０は、検出部４０としての筋電センサ４０から出力された筋電位変化の情報に基づいて、ユーザの目の動作を推定する。目の動作としては、まばたきの有無、或いは、視線移動の有無（視線方向、視線位置の変化等も含む）等が該当する。
　或いは、制御部５０は、検出部４０としての撮像部４０から出力された画像データ或いは動画データに含まれる被写体（目）を抽出し、被写体（目）の動きを解析することで、ユーザの目の動作を推定する。目の動作としては、まばたきの有無、或いは、視線移動の有無（視線方向、視線位置の変化等も含む）等が該当する。例えば、制御部５０は、画像データ或いは動画データに含まれる被写体（目）を抽出し、さらに黒目領域の中心を算出する等の所定の処理を施すことによって視線移動の有無を推定する。なお、画像から被写体を抽出する方法としては、種々の画像処理技術を用いることができる。
　記憶部６０は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ、ＤＲＡＭ：Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等で構成され、各種プログラムを記憶する。記憶部６０は、検出部４０から出力された情報から推定され得るユーザの目の動作パターンと、各動作パターンに対応付けられた複数の出力パターンとを予め記憶している。
　通信部７０は、アンテナとＲＦ回路部とから成り、制御部５０による制御に基づいて、外部装置と無線または有線で通信（電話通信及び情報通信）を行う。
　以下、電子機器１がユーザの目の所定の動作を検出することで、該動作に対応付けられた所定の出力動作を行う例を、図５～１２を参照して説明する。図５は、記憶部６０に記憶される、ユーザの所定の目の動作とそれに対応付けられた出力パターンの組み合わせの一例を示している。
　パターン１において、ユーザは、正視した状態にあり、目の所定の動作を行っていない。この場合、制御部５０は、ユーザによる入力操作があったことを認識せず、従って出力処理を行わない。
　パターン２における「視線の所定方向への移動」は、例えば、表示画面上でのオブジェクトの所定方向への移動に対応付けられる。また、「視線の所定方向への移動」は、例えば、表示平画面における所定の位置を指定する操作に対応付けられても良い。また、「視線の所定方向への移動」は、例えば、電子機器１に所定の処理を実行されるようにしても良い。所定の処理としては、例えば、表示部２０に所定の操作画面を表示させる処理等が挙げられる。
　パターン３における「視線の所定方向への移動後に注視」する動作は、例えば、電子機器１に所定の処理を実行させる操作に対応付けられる。例えば、ユーザの視線位置が表示部２０に表示された所定の操作アイコンと重なる位置に移動した後に、所定時間（例えば１秒）以上その操作アイコンをユーザが注視すると、操作アイコンが選択されたものと見なされ、操作アイコンに対応付けられた所定の処理を実行するようにする。
　パターン４における「複数回の瞬き」を行う動作は、例えば、電子機器１に所定の処理を実行させる操作に対応付けられる。例えば、ユーザの視線位置が表示部２０に表示された所定の操作アイコンと重なっている状態で、瞬きを複数回行うと、操作アイコンが選択されたものと見なされ、操作アイコンに対応付けられた所定の処理を実行するようにする。また、他にも、電子機器１の起動・停止、スリープ状態への移行・解除、音楽アプリ―ケーションにおける音楽再生の実行・停止等のＩ／Ｏ動作を実現させるための入力に割り当てられても良い。
　次に、電子機器１の表示部２０の表示態様について説明する。図６は、電子機器１の表示部２０の表示態様の第１例を示す図である。図１に示す電子機器１のように、表示部２０の形状は曲線部分を含みうるが、図６では、説明を簡単化するため、表示部２０の一部の領域を抜粋した長方形状の領域を表示領域２１として示している。
　電子機器１は、図６のステップＳ１１に示すように、表示領域２１において、左上には日時や電子機器１により実行中の音楽アプリケーションに関連して、再生中の楽曲に関する情報（楽曲名、再生時間等）が表示されている。この情報は、文字情報として表示されているが、このような表示態様には限定されず、例えば、有色透明な画像上に不透明な文字が重ねられて表示されても良いし、不透明な画像上に文字が重ねられて表示されても良い。なお、ステップＳ１１に示される表示態様は、例えば、ユーザが正視状態にある（図５におけるパターン１）場合に取られる状態である。
　ここで、電子機器１は、ユーザの視線が右方向へ移動したことを検出部４０が検出した場合、図６のステップＳ１２、ステップＳ１３に示されるように、表示部２０の表示領域２１には、楽曲再生における音量調整のためのオブジェクト８０が表示される。なお、オブジェクト８０は、音量を調整するためのスライドバーを含んでいる。
　図６のステップＳ１２は、オブジェクト８０が表示される途中過程を示している。図６のステップＳ１３は、オブジェクト８０が表示部２０に表示された後の状態を示している。ステップＳ１２からわかるように、ユーザが視線を右方向へ移動した場合に、オブジェクト８０は、表示領域２１における該表示領域２１の右端部の外側から内側に進入するように表示される。また、ステップＳ１３では、表示領域２１が５個の領域（２１ａ～２１ｅ）に区分けされた図が模式的に示されており、ユーザが視線を右方向へ移動した場合のオブジェクト８０の表示箇所は、表示領域２１の右側端部である領域２１ｅとなっている。
　図６のステップＳ１１乃至ステップＳ１３に示すように、本発明に係る電子機器１は、ユーザの視線が所定方向へ移動したことを検出部４０が検出すると、表示部２０に所定の第１画像（オブジェクト）を表示する構成を有する。従って、電子機器１は、ユーザが視線を移動させていない状態では画像を表示させず、ユーザの視界がより広く保たれ、ユーザが意図して視線を移動させた場合に、ユーザの所望とする画像を表示させることができるため、利便性が向上する。即ち、電子機器１は、入力の際の操作性が向上された入力態様を実現することができる。
　ここで、ユーザの一連の視線移動における視線経路が直線的ではなく曲線部分を多く含む場合には、ユーザの視線移動の方向が特定されにくくなる。このような場合、電子機器１は、例えば、視線移動が開始された点（始点）と視線移動が終了した点（終点）とを結んだ線をユーザの視線移動の方向として特定しても良い。また、電子機器１は、例えば、視線移動が終了した点（終点）と、該終点から所定区間遡った点とを結んだ線をユーザの視線移動の方向として特定しても良い。
　また、本発明に係る電子機器１において、所定の第１画像は、表示領域２１の外郭部分とユーザの視線方向とが交わる点の近傍に表示されるようにしても良い。電子機器１は、例えば、図６のステップＳ１２、ステップＳ１３に示すように、ユーザの視線が右方向へ移動し、その移動方向と表示領域２１の右辺とが交わると、右辺近傍の領域（領域２１ｅ）にオブジェクト８０（第１画像）が表示される。
　また、本発明に係る電子機器１において、所定の第１画像（オブジェクト８０）は、表示部２０の表示領域２１における外側から内側に進入するようにして表示される。電子機器１は、このような構成とすることにより、ユーザの視線移動を契機として所望の画像（オブジェクト８０）が表示されたことをユーザが認識しやすくなる。
　ここで、上記の説明では、電子機器１は、ユーザの視線が単に右方向へ移動したことをオブジェクト８０の表示の契機としたが、これに限定されず、例えば、ユーザの視線位置が図６のステップＳ１３における領域２１ｅへ移動したことを契機としてオブジェクト８０を表示させるようにしても良い。即ち、本発明に係る電子機器１は、表示部２０の表示領域２１において予め区分けされた複数の領域の内の第１領域から第２領域へ視線が移動すると、該第２領域に所定の第１画像を表示する構成を有していても良い。電子機器１は、このような構成を有することにより、ユーザが実際に視線を移動させた位置にユーザの所望する画像を表示することができるので視認しやすくなる。
　このとき、第１画像（オブジェクト８０）は、第２領域の外部における第１領域とは反対側の領域から、第２領域内へ進入するようにして表示されるようにしても良い。
　また、電子機器１は、例えば、ユーザの視線位置が図６のステップＳ１３における領域２１ｅに所定時間以上、継続してあることを契機として、領域２１ｅにオブジェクト８０を表示させるようにしても良い。即ち、本発明に係る電子機器１は、表示部２０の所定の表示領域に視線位置が継続してあることを検出部４０が検出すると、該表示領域に所定の第１画像を表示する構成を有していても良い。
　また、電子機器１は、所定のタイミングで、ユーザの視線位置が所定の表示部２０の所定の表示領域にあることを契機として第１画像を表示するようにしても良い。例えば、本発明に係る電子機器１を起動させたときに、ユーザの視線位置が表示部２０の所定の表示領域として領域２１ｅにある場合には、第１画像としてオブジェクト８０を表示しても良い。
　また、電子機器１は、第１領域を、所定の表示が常時なされるメイン表示領域とし、第２領域を、ユーザの視線位置が重なっているときだけ表示を行うサブ表示領域としても良い。
　なお、電子機器１は、所定の第１画像として、実行中の所定アプリケーションにおいて、所定の処理を実行させるための操作アイコンを表示する構成とすれば、該操作アイコンに対する所定の操作をユーザが行うことで容易に操作可能となる。
　ここで再度、図６を参照すると、電子機器１は、図６のステップＳ１３において、領域２１ｅには、音量調整のためのオブジェクト８０（スライドバー）が表示され、現在、音量が２０に設定されて楽曲が再生されている状態が示されている。この状態では、電子機器１は、ユーザの更なる操作により音量調節可能であり、例えば、操作部３０に対する所定の操作を行うことによって音量を調整可能となっている。操作部３０に対する所定の操作として、前述したように、ユーザが電子機器１の側面部１２或いは１３に対するスライド操作を行うと、電子機器１は、操作部３０としてのタッチセンサがこれを検出したことを契機として、音量が調整される。例えば、図６のステップＳ１３に示されるように、音量が２０の状態であるときに、ユーザが電子機器１の側面部１２をタッチして、後方から前方へとスライド操作を行うと、電子機器１は、図６のステップＳ１４に示されるように、音量が８０へと増大する。
　つまり、本発明に係る電子機器１は、視線の移動を契機として、アプリケーションの実行内容に関連付けられたパラメータを調整可能なオブジェクト８０（スライドバー）が含まれた第１画像を表示し、第１画像が表示されている状態で、操作部３０による所定の操作を行うことによりパラメータの調整が成される構成を有する。電子機器１は、このような構成を有することにより、検出部４０による検出内容と操作部３０に対する操作内容とを組み合わせることによって、より多くの種類の操作を実行可能にできる。
　次に、電子機器１の表示部２０の他の表示態様について説明する。図７は、電子機器１の表示部２０の表示態様の第２例を示す図である。図７では、電子機器１が動画再生を実行している例が示されている。
　図７のステップＳ２１に模式的に示すように、表示領域２１は、予め、５個の領域（２１ａ～２１ｅ）に区分けされている。電子機器１は、図７のステップＳ２１に示すように、領域２１ｄには、動画再生アプリケーションに関する操作アイコン（動画再生アイコン、再生停止アイコン、シークバー（データの再生箇所を表示する機能）等）を含むオブジェクト８１ａが表示されている。
　電子機器１は、図７のステップＳ２１に示す状態で、ユーザの視線が左方向へ移動したことを検出部４０が検出した場合、図７のステップＳ２２に示されるように、表示部２０の左側の領域（図７のステップＳ２１の領域２１ａに相当）には、輝度を調整するためのオブジェクト８１ｂが表示される。
　また、電子機器１は、図７のステップＳ２１に示す状態で、ユーザの視線が右方向へ移動したことを検出部４０が検出した場合、図７のステップＳ２３に示されるように、表示部２０の右側の領域（図７のステップＳ２１の領域２１ｅに相当）には、音量を調整するためのオブジェクト８１ｃが表示される。
　上記のように、本発明に係る電子機器１は、ユーザの視線が左方向へ移動すると、表示部２０の表示領域２１において区分けされた複数の領域の内、左側の領域２１ａに第１画像を表示し、ユーザの視線が右方向へ移動すると、表示部２０の表示領域２１において区分けされた複数の領域の内、右側の領域２１ｅに第２画像を表示する。電子機器１は、このような構成を有することにより、視線の移動方向によって異なる画像を表示することができ、さらには、その画像を、視線が移動した位置の近傍に併せて表示することができるため、利便性が向上する。
　ここで、上記の説明では、電子機器１は、ユーザの視線が単に所定方向へ移動したことをオブジェクトの表示の契機としたが、これに限定されない。例えば、電子機器１は、表示部２０の表示領域２１において予め区分けされた複数の領域の内の第１領域（領域２１ｃ）から第２領域（領域２１ａ）へ視線が移動すると、該第２領域にオブジェクト８１ｂ（第１画像）を表示させ、第１領域（領域２１ｃ）から第３領域（領域２１ｅ）へ視線が移動すると、該第３領域にオブジェクト８１ｃ（第２画像）を表示させても良い。
　また、例えば、電子機器１は、ユーザの視線位置が図７のステップＳ２１における領域２１ａに所定時間以上、継続してあることを契機として、領域２１ａにオブジェクト８１ｂ（第１画像）を表示させ、視線位置が図７のステップＳ２１における領域２１ｅに所定時間継続してあることを契機として、領域２１ｅにオブジェクト８１ｃ（第２画像）を表示させるようにしても良い。
　なお、図７に示す例では、電子機器１は、表示部２０の左側の領域（領域２１ａ）に第１画像としてオブジェクト８１ｂを表示し、表示部２０の右側の領域（領域２１ｅ）に第２画像としてオブジェクト８１ｃを表示する構成としたが、これに限定されない。例えば、電子機器１は、表示部２０の左側の領域（領域２１ａ）に第１画像（オブジェクト８１ｂ）を表示し、表示部２０の右側の領域（領域２１ｅ）に同じく第１画像（オブジェクト８１ｂ）を表示しても良い。電子機器１は、領域２１ａと領域２１ｅとの双方に同一のオブジェクトを表示させる構成としても良い。
　また、電子機器１は、表示部２０の左右端部近傍の領域（領域２１ａと領域２１ｅ）にオブジェクトを表示する構成に限定されない。例えば、電子機器１は、ユーザの視線が下方向に移動すると、表示部２０の下端部の領域２１ｄにオブジェクトを表示させ、ユーザの視線が上方向に移動すると、表示部２０の上端部の領域２１ｂにオブジェクトを表示させるようにしても良い。即ち、本発明に係る電子機器１は、ユーザの視線が第３方向に移動すると第３画像を表示し、第４方向に移動すると第４画像を表示しても良い。このとき、第３画像は、例えば、図７に示すオブジェクト８１ａである（この場合、オブジェクト８１ａは常時表示されないものとする）。また、第４画像は、例えば、図６に示したような日時等の情報等であって良い。
　図８は、電子機器１の表示部２０の表示態様の第３例を示す図である。図８では、第２例と同様、電子機器１が動画再生を実行している例が示されている。図８において、表示部２０は、図１に示すように、ユーザの左目の目前に配置される第１表示部２０ａとユーザの右目の目前に配置される第２表示部２０ｂとを有している。ここで、電子機器１は、ユーザの視線が左方向へ移動すると、第１表示部２０ａの表示領域２２ａにおいて区分けされた複数の領域の内、左側の領域（図８においては、表示領域２２ａにおける左端近傍の領域）に第１画像として輝度を調整するためのオブジェクト８１ｂを表示する。また、電子機器１は、ユーザの視線が右方向へ移動すると、第２表示部２０ｂの表示領域２２ｂにおいて区分けされた複数の領域の内、右側の領域（図８においては、第２表示領域２２ｂにおける右端近傍の領域）に第２画像として音量を調整するためのオブジェクト８１ｃを表示する。電子機器１は、このような構成とすることにより、ユーザの視界における左右の外側にオブジェクトを表示することができるので、視界の妨げを軽減できる。
　また、本発明に係る電子機器１では、左側頭部の近傍に設けられる第１操作部３０ａが左側の表示部２０ａに表示される第１画像（オブジェクト８１ｂ）に関連する操作を受け付け、右側頭部の近傍に設けられる第２操作部３０ｂが右側の表示部２０ｂに表示される第２画像（オブジェクト８１ｃ）に関連する操作を受け付ける構成を有していても良い。電子機器１は、このような構成を有することにより、例えば、ユーザが視線を左方向に移動させている、即ち、画面の左側を見ているときには、左側頭部の近傍の操作部に対して操作を行える（多くの場合には左手で操作を行える）ので、目の動作と手の動作を組み合わせた入力操作が煩わしくならず、利便性が向上する。
　次に、電子機器１の表示部２０の表示態様における第４例について図９を参照して説明する。図９は、電子機器１の表示部２０の表示態様の第４例を示す図である。第４例において、電子機器１はブラウザアプリケーションを実行している。このとき、電子機器１は、複数のウェブページ間を互いに遷移させて該複数のウェブページの内の一のページを表示可能である。例えば、電子機器１は、図９のステップＳ３１に示すように、表示部２０の表示領域２１には、複数のウェブページの内の一のページとしてページ８２ａが表示されている。
　ここで、電子機器１は、ユーザの視線が左方向へ移動したことを検出部４０が検出した場合、図９のステップＳ３２に示されるように、表示領域２１における左端部近傍の領域に、ページ８２ａとは異なる第１画像（ページ８２ｂ）が表示される。このとき、ページ８２ｂは、ページ８２ａに一部重畳して表示される。また、ページ８２ｂの表示内容の一部または全部が第１画像として表示される。従ってユーザは、表示領域２１の大部分においてページ８２ａを視認しつつ、ページ８２ａとは異なる他のページ８２ｂの表示内容を確認することができる。
　また、電子機器１は、表示部２０の表示状態が図９のステップＳ３１に示す状態である場合に、ユーザの視線が右方向へ移動したことを検出部４０が検出した場合、図９のステップＳ３３に示されるように、表示領域２１における右端部近傍の領域にページ８２ａとは異なる第２画像（ページ８２ｃ）が表示される。
　ここで例えば、図９のステップＳ３２におけるページ８２ｂは、ページ８２ａよりも前のウェブページであり、図９のステップＳ３３におけるページ８２ｃは、ページ８２ａの次のウェブページとすることができる。
　また、例えば、電子機器１は、図９のステップＳ３２に示すような、第１画像（ページ８２ｂの一部または全部）が表示されている状態で、ユーザの目の所定動作を検出部４０が検出すると、図９のステップＳ３４に示すように、ページ８２ｂ（他のページ）に表示を遷移させるようにしても良い。即ち、電子機器１は、表示領域２１の大部分にページ８２ａを表示している状態から表示領域２１の大部分にページ８２ｂを表示している状態に遷移させる。また、例えば、電子機器１は、図９のステップＳ３３に示すような、第２画像（ページ８２ｃの一部または全部）が表示されている状態で、ユーザの目の所定動作を検出部４０が検出すると、ページ８２ｃ（他のページ）に表示を遷移させるようにしても良い。即ち、電子機器１は、表示領域２１の大部分にページ８２ａを表示している状態から表示領域２１の大部分にページ８２ｃを表示している状態に遷移させる。なお、ユーザの目の所定動作としては、例えば、図５のパターン４である複数回の瞬きを行う動作としても良い。電子機器１は、このような構成とすることにより、ユーザが他のページを確認しながら、該他のページの表示に遷移させたいときに容易な動作で実現できる。
　次に、電子機器１の表示部２０の表示態様における第５例について図１０を参照して説明する。図１０は、電子機器１の表示部２０の表示態様の第５例を示す図である。第５例において、ユーザは表示部２０を介して所定の物体を視認しており、また、表示部２０にはその物体に関連付けられた情報を含む所定の画像が表示されている。例えば、図１０のステップＳ４１に示されるように、ユーザは街中を歩いており、表示部２０を介して建物１００を視認している。そして、電子機器１は、表示部２０の表示領域２１には、建物１００に関連付けられた情報が吹き出し形式で表示されている（オブジェクト８３ａ）。
　ここで、ステップＳ４１において、ユーザの視線が左方向へ移動したことを検出部４０が検出した場合、吹き出し形式で表示されているオブジェクト８３ａは、図１０のステップＳ４２に示されるように、表示部２０の表示領域２１における左端部近傍の領域に移動して表示される。
　上記のように、本発明に係る電子機器１は、表示部２０の表示領域において区分けされた複数の領域の内の第１領域に所定の画像が表示されている状態（図１０のステップＳ４１における吹き出し形式で表示された状態）で、ユーザの視線が第２領域に移動すると、或いは、第１領域から第２領域へ向かう方向に視線が移動すると、所定の画像（オブジェクト８３ａ）が第１領域から第２領域に移動して表示される構成を有する。電子機器１は、このような構成を有することにより、視線を動かすだけで、ユーザにとって不要となった情報や視界の妨げになっている情報をユーザの所望する表示領域に移すことができるため、煩わしい思いをしないで済む。
　また、本発明に係る電子機器１は、図１０のステップＳ４２に示されるように、オブジェクト８３ａ（所定の画像）が表示領域２１における左端部近傍の領域（第２領域）に移動して表示される場合には、オブジェクト８３ａと建物１００とが対応付けられている旨の表示を行っても良い。例えば、電子機器１は、図１０のステップＳ４２に示されるように、オブジェクト８３ａが表示されている領域の近傍と、建物１００と重なる位置には其々、アルファベットの「Ａ」が表示されている。電子機器１は、このような構成とすることにより、建物１００に関する情報を、視線の移動によって建物１００が視認される領域と離れた領域に表示させた場合であっても、建物１００と情報とが互いに関連付けられていることを容易に把握させることができる。
　また、本発明に係る電子機器１は、図１０のステップＳ４１に示すような、表示部２０の表示領域２１にオブジェクト８３ａが表示されている状態で、所定時間内にユーザの視線が左右に移動したことを検出部４０が検出すると、オブジェクト８３ａが表示部２０の表示領域２１の左右端部近傍に移動して表示される、或いは、表示されなくなるようにしても良い。電子機器１は、このような構成とすることにより、視線の簡単な移動動作によって、オブジェクト８３ａ（所定の画像）をユーザの視界の妨げとならない領域に移動させて表示させることができる。
　次に、電子機器１の表示部２０の表示態様における第６例について図１１を参照して説明する。図１１は、電子機器１の表示部２０の表示態様の第６例を示す図である。第６例では、電子機器１において、道案内アプリケーションが実行されている。電子機器１は、図１１のステップＳ５１に示されるように、表示部２０の表示領域２１における左上の領域にはユーザの現在位置付近の地図画像８４が表示されている。また、電子機器１は、表示部２０の表示領域２１における右上の領域にはユーザの現在位置付近の航空写真８５が表示されている。
　ここで、表示領域２１の表示態様が図１１のステップＳ５１に示す状態である場合において、ユーザの視線が左上方向へ移動したことを検出部４０が検出した場合、地図画像８４は、図１１のステップＳ５２に示されるように拡大表示される。
　また一方で、表示領域２１の表示態様が図１１のステップＳ５１に示す状態である場合において、ユーザの視線が右上方向へ移動したことを検出部４０が検出した場合、航空写真８５は、図１１のステップＳ５３に示されるように拡大表示される。
　このように、本発明に係る電子機器１は、ユーザの視線が所定の方向（第１方向）へ移動することを検出部４０が検出すると、第１画像を拡大表示する構成を有する。電子機器１は、このような構成を有することにより、ユーザの所望とする画像に対して、視線の移動動作のみで拡大表示を行うことができるため、利便性が向上する。
　また、図１１のステップＳ５２に示すような、地図画像８４（第１画像）が拡大表示されている場合に、電子機器１は、ユーザの視線が左上方向（第１方向）と異なる方向へ移動すると、地図画像８４を縮小表示し、例えば、図１１のステップＳ５１に示す状態に戻す構成としても良い。
　また、図１１のステップＳ５２に示すような、地図画像８４（第１画像）が拡大表示されている場合に、電子機器１は、ユーザの視線が右上方向（第２方向）へ移動すると、航空写真８５（第２画像）を拡大表示するともに、地図画像８４（第１画像）を縮小表示するようにしても良い。電子機器１は、このような構成を有することにより、ユーザが地図画像８４から他の表示領域に視線を移すタイミングで地図画像８４が縮小表示されるので使い勝手が良い。
　なお、上記の例では、電子機器１は、ユーザの視線が所定の方向へ移動することを契機として、第１画像を拡大表示する構成としたが、このような構成に限定されない。例えば、電子機器１は、ユーザの視線位置が第１画像の表示領域に所定時間以上あることを検出部４０が検出すると、第１画像を拡大表示するようにしても良い。また、電子機器１は、第１画像が拡大表示されている場合に、ユーザの視線が所定の方向へ移動すると、ユーザが第１画像とは異なる表示を見ようとしているものと判断し、該第１画像を縮小表示するようにしても良い。
　上記のような構成によれば、ユーザは、電子機器１に道案内アプリケーションを実行させている際に、地図画像８４と航空写真８５とを容易に切り替えながら、目的地を把握できるようになる。
　次に、電子機器１の表示部２０の表示態様における第７例について図１２を参照して説明する。図１２は、電子機器１の表示部２０の表示態様の第７例を示す図である。第７例では、電子機器１において、学習アプリケーションが実行されている。電子機器１は、図１２のステップＳ６１に示されるように、表示部２０の表示領域２１には試験問題が表示されている。
　ここで、電子機器１は、ユーザの視線が右方向へ移動したことを検出部４０が検出すると、例えば、図１２のステップＳ６２に示すように、表示部２０に問題の解法に関するヒント１（第１情報８６ａ）を表示する。ヒント１は、表示領域２１の右端部近傍の領域に表示される。従って、ユーザは、表示されたヒント１を参考にして、問題を解くことができる。
　また、電子機器１は、表示部２０にヒント１が表示された後に、再度、ユーザの視線が右方向へ移動したことを検出すると、図１２のステップＳ６３に示すように、ヒント１に関する他のヒント２（あるいはヒント１に対する詳細なヒント２）（第２情報８６ｂ）を表示部２０に表示する。従って、ユーザは、ヒント１のみでは解法が分からない場合にはヒント２を参考にすることによって、問題を解くことができる。
　また、例えば、図１２のステップＳ６１、Ｓ６２及びＳ６３のいずれか１つに示す状態において、電子機器１は、ユーザの視線が左方向へ移動したことを検出部４０が検出すると、図１２のステップＳ６４に示すように、表示部２０に問題の答え８６ｃを表示するようにしても良い。答えは、表示領域２１の左端部近傍の領域に表示される。また、電子機器１は、答えが表示されている表示領域にユーザの視線が位置している状態で、ユーザの目の所定動作を検出部４０が検出すると、表示部２０に問題の解法の詳細（解説内容）を表示するようにしても良い。
　以上、説明してきたように、本発明によれば、入力の際の操作性をさらに向上させる新規な入力態様が施された電子機器を提供することができる。
　本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。
　上記の実施形態では、電子機器１が、眼鏡形状（ゴーグル形状）のような形状を有する例を示してきたが、電子機器１の形状はこれに限定されない。図１３Ａ及び図１３Ｂは、電子機器１の別の形状を示す図である。例えば、電子機器１は、図１３Ａに示すように、ユーザの頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していても良い。或いは、電子機器１は、図１３Ｂに示すように、ユーザの顔面のほぼ全体を覆うようなマスクタイプの形状を有していても良い。
　また、上記の実施形態では、表示部２０がユーザの左右の目の前に設けられる一対の表示部２０ａ、２０ｂを有している構成を例示してきたが、これに限定されず、表示部２０は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。
　また、上記の実施形態では、正面部の縁部が、表示部２０の表示領域の縁の全周を囲っている構成を例示してきたが、これに限定されず、表示部２０の表示領域の縁の一部のみを囲っている構成であっても良い。
　１　電子機器
　１０　装着部
　１１　正面部
　１２、１３　側面部
　２０　表示部
　３０　操作部
　４０　検出部
　５０　制御部
　６０　記憶部
　７０　通信部

Claims (17)

  1. 　表示部と、
    　ユーザの視線移動を検出する検出部と、を備え、
    　前記ユーザの視線が所定方向へ移動したことを前記検出部が検出すると、前記表示部の表示領域における前記所定方向側に第１画像を表示する
    　電子機器。
  2. 　前記第１画像は、前記表示部の表示領域において、該表示領域の外郭部分と前記視線の移動方向とが交わる点の近傍に表示される
    　請求項１に記載の電子機器。
  3. 　前記所定方向は、前記視線移動が開始された点と該視線移動が終了した点とを結んだ線と同方向である
    　請求項１又は２に記載の電子機器。
  4. 　前記第１画像は、前記表示部の表示領域の外部側から内部側に進入するように表示される
    　請求項１から３の何れか一項に記載の電子機器。
  5. 　前記視線が第１方向に移動すると前記第１画像を表示し、第２方向に移動すると第２画像を表示する
    　請求項１から４の何れか一項に記載の電子機器。
  6. 　ユーザの視線が左方向へ移動すると、前記表示部の表示領域において区分けされた複数の領域の内、左側の領域に前記第１画像を表示し、
    　ユーザの視線が右方向へ移動すると、前記表示部の表示領域において区分けされた複数の領域の内、右側の領域に第２画像を表示する
    　請求項１から５の何れか一項に記載の電子機器。
  7. 　前記表示部は、ユーザの左目の眼前に配置される第１表示部と、ユーザの右目の眼前に配置される第２表示部と、を有し
    　ユーザの視線が左方向へ移動すると、前記第１表示部の表示領域において区分けされた複数の領域の内、左側の領域に前記第１画像を表示し、
    　ユーザの視線が右方向へ移動すると、前記第２表示部の表示領域において区分けされた複数の領域の内、右側の領域に第２画像を表示する
    　請求項１から６の何れか一項に記載の電子機器。
  8. 　左側頭部の近傍に設けられる第１操作部と、右側頭部の近傍に設けられる第２操作部と、を有し、ユーザからの操作を受け付ける操作部をさらに備え、
    　前記第１操作部は、前記第１画像に関連する操作を受け付け、
    　前記第２操作部は、前記第２画像に関連する操作を受け付ける
    　請求項５から７の何れか一項に記載の電子機器。
  9. 　ユーザの左側の耳で支持される第１側面部と、
    　ユーザの右側の耳で支持される第２側面部と、を備え、
    　前記第１操作部は前記第１側面部に設けられ、
    　前記第２操作部は前記第２側面部に設けられる
    　請求項８に記載の電子機器。
  10. 　前記第１画像又は前記第２画像中には、所定アプリケーションの実行内容に関連付けられたパラメータを調整可能なオブジェクトが含まれ、
    　前記操作部に対する所定操作により、前記パラメータが調整される
    　請求項８または９に記載の電子機器。
  11. 　ユーザの視線が下方向へ移動すると、前記表示部の表示領域において区分けされた複数の領域の内、下側の領域に第３画像を表示し、
    　ユーザの視線が上方向へ移動すると、前記表示部の表示領域において区分けされた複数の領域の内、上側の領域に第４画像を表示する
    　請求項６に記載の電子機器。
  12. 　表示部と、
    　前記表示部におけるユーザの視線位置を検出する検出部と、を備え、
    　前記表示部の表示領域において区分けされた複数の領域の内の第１領域から第２領域へ視線が移動すると、該第２領域に第１画像を表示する
    　電子機器。
  13. 　前記複数の領域の内の前記第１領域から、該第１領域よりも左側の前記第２領域へ視線が移動すると、該第２領域に前記第１画像を表示し、
    　前記複数の領域の内の前記第１領域から、該第１領域よりも右側の第３領域へ視線が移動すると、該第２領域に第２画像を表示する
    　請求項１２に記載の電子機器。
  14. 　ユーザからの操作を受け付ける操作部をさらに備え、
    　前記第１画像又は前記第２画像中には、所定アプリケーションの実行内容に関連付けられたパラメータを調整可能なオブジェクトが含まれ、
    　前記操作部に対する所定操作により、前記パラメータが調整される
    　請求項１３に記載の電子機器。
  15. 　表示部と、
    　前記表示部におけるユーザの視線位置を検出する検出部と、を備え、
    　前記表示部の表示領域において区分けされた複数の領域の内の第１領域に前記視線が所定時間以上、継続してあることを前記検出部が検出すると、該第１領域に第１画像を表示する
    　電子機器。
  16. 　前記複数の領域の内の左側の前記第１領域に前記視線が所定時間以上、継続してあることを前記検出部が検出すると、該第１領域に前記第１画像を表示し、
    　前記複数の領域の内の右側の第２領域に前記視線が所定時間以上、継続してあることを前記検出部が検出すると、該第２領域に第２画像を表示する
    　請求項１５に記載の電子機器。
  17. 　ユーザからの操作を受け付ける操作部をさらに備え、
    　前記第１画像又は前記第２画像中には、所定アプリケーションの実行内容に関連付けられたパラメータを調整可能なオブジェクトが含まれ、
    　前記操作部に対する所定操作により、前記パラメータが調整される
    　請求項１６に記載の電子機器。
     
PCT/JP2015/077525 2014-09-29 2015-09-29 電子機器 WO2016052510A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/515,136 US20170212587A1 (en) 2014-09-29 2015-09-29 Electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-199004 2014-09-29
JP2014199004A JP6367673B2 (ja) 2014-09-29 2014-09-29 電子機器

Publications (1)

Publication Number Publication Date
WO2016052510A1 true WO2016052510A1 (ja) 2016-04-07

Family

ID=55630537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/077525 WO2016052510A1 (ja) 2014-09-29 2015-09-29 電子機器

Country Status (3)

Country Link
US (1) US20170212587A1 (ja)
JP (1) JP6367673B2 (ja)
WO (1) WO2016052510A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
JP6407824B2 (ja) 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP6714402B2 (ja) * 2016-03-18 2020-06-24 国立大学法人大阪大学 眼疲労検査装置及び眼疲労検査方法
JP7243193B2 (ja) * 2019-01-10 2023-03-22 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JP7433810B2 (ja) * 2019-08-21 2024-02-20 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム及び記憶媒体
US11792500B2 (en) * 2020-03-18 2023-10-17 Snap Inc. Eyewear determining facial expressions using muscle sensors

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012515986A (ja) * 2009-01-22 2012-07-12 アルカテル−ルーセント ユーエスエー インコーポレーテッド 電子データ入力システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
US7204250B1 (en) * 1999-12-16 2007-04-17 Compumedics Limited Bio-mask
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
WO2013144807A1 (en) * 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012515986A (ja) * 2009-01-22 2012-07-12 アルカテル−ルーセント ユーエスエー インコーポレーテッド 電子データ入力システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEKIRU SERIES HENSHUBU, 11 February 2013 (2013-02-11), pages 4 2 *
MASATAKE YAMATO: "Applying Gaze-added Interface to Drag-and-Drop Opeation", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 44, no. 1, 15 January 2003 (2003-01-15), pages 166 - 175 *

Also Published As

Publication number Publication date
JP6367673B2 (ja) 2018-08-01
US20170212587A1 (en) 2017-07-27
JP2016071539A (ja) 2016-05-09

Similar Documents

Publication Publication Date Title
WO2016052510A1 (ja) 電子機器
US11886638B2 (en) External user interface for head worn computing
US20240036686A1 (en) External user interface for head worn computing
US10133407B2 (en) Display apparatus, display system, method for controlling display apparatus, and program
US9223401B1 (en) User interface
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
US11112866B2 (en) Electronic device
US20170100664A1 (en) External user interface for head worn computing
US20150205351A1 (en) External user interface for head worn computing
US20170017323A1 (en) External user interface for head worn computing
US11194392B2 (en) Method of calibrating eye-tracking application and related optical system
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
US20170139567A1 (en) Entering Unlock Sequences Using Head Movements
CN115598842A (zh) 提升用户体验和注视互动准确度的光学系统和相关方法
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
US11429200B2 (en) Glasses-type terminal
CN117916777A (zh) 手工制作的增强现实努力证据
JP6638392B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JPWO2017047212A1 (ja) 視線操作装置及び方法、並びに医療機器
US10691250B2 (en) Information processing device, information processing method, and program for preventing reflection of an operation in an output
JP7031112B1 (ja) 眼鏡型端末
WO2017051721A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN117289789A (zh) 使用头部姿势来控制设备设置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15847727

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15515136

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15847727

Country of ref document: EP

Kind code of ref document: A1