WO2016121883A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2016121883A1
WO2016121883A1 PCT/JP2016/052525 JP2016052525W WO2016121883A1 WO 2016121883 A1 WO2016121883 A1 WO 2016121883A1 JP 2016052525 W JP2016052525 W JP 2016052525W WO 2016121883 A1 WO2016121883 A1 WO 2016121883A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
line
display
electronic device
control unit
Prior art date
Application number
PCT/JP2016/052525
Other languages
English (en)
French (fr)
Inventor
明良 野田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US15/547,255 priority Critical patent/US20180004288A1/en
Priority to JP2016572152A priority patent/JP6348191B2/ja
Publication of WO2016121883A1 publication Critical patent/WO2016121883A1/ja
Priority to US16/574,022 priority patent/US11112866B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Definitions

  • This application relates to an electronic device capable of performing a predetermined input according to the operation of the user's eyes.
  • a display unit that displays an image and a mouse
  • a gaze detection device that detects a user's gaze direction
  • a display control unit that moves the mouse displayed on the display unit in the detected gaze direction
  • An object of the present application is to provide an electronic device that is further improved in operability in an electronic device that can perform a predetermined input according to the operation of the eyes.
  • An electronic apparatus includes a display unit, and a control unit that estimates a user's line-of-sight position in a display area of the display unit based on a movement operation of the user's line of sight, and the control unit includes: When the first image is displayed in the display area, the line-of-sight position is separated from the area of the first image by a predetermined distance in a direction away from the first image. The image is hidden.
  • An electronic device includes a display unit having a first display region and a second display region, a control unit that estimates a user's line-of-sight position in the display unit based on a movement operation of the user's line of sight
  • the control unit when the first image is displayed in the second display area, takes the first image as a trigger when the line-of-sight position is separated from the second display area by a predetermined distance. It is to hide.
  • An electronic apparatus includes a display unit, and a control unit that estimates a user's line-of-sight position in a display area of the display unit based on a movement operation of the user's line of sight, and the control unit includes: In the display area, a first range and a second range that includes the first range and is larger than the first range are set, and the first image is displayed in the first range. Thus, the first image is not displayed when the line-of-sight position moves out of the second range.
  • An electronic apparatus includes a display unit, and a control unit that estimates a user's line-of-sight position in a display area of the display unit based on a movement operation of the user's line of sight, and the control unit includes: When the line-of-sight position has moved a first distance in the first direction, the first image is displayed on the first direction side in the display area, and the line-of-sight position is displayed while the first image is displayed. The first image is hidden when the second distance longer than the first distance is moved in the second direction opposite to the first direction.
  • An electronic apparatus includes a display unit that displays a first image, and a control unit that estimates a user's line-of-sight position in a display region of the display unit based on a movement operation of the user's line of sight.
  • the control unit when the ratio of the area of the first image to the display area is less than a predetermined value, triggered when the line-of-sight position is separated from the area of the first image by a predetermined distance. The first image is not displayed.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an electronic apparatus 1 according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of the rear side of the electronic apparatus 1 according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of the back side of another electronic device 1 according to an embodiment.
  • FIG. 4 is a diagram illustrating an example of functional blocks of the electronic device 1 according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of a combination of a user's predetermined eye movement and a processing pattern associated therewith according to an embodiment.
  • FIG. 6A is a diagram illustrating an example of a display mode of the display unit 20 of the electronic device 1.
  • FIG. 6A is a diagram illustrating an example of a display mode of the display unit 20 of the electronic device 1.
  • FIG. 6B-1 is a diagram illustrating an example of a display mode of the display unit 20 of the electronic device 1.
  • FIG. 6B-2 is a diagram illustrating an example of a display mode of the display unit 20 of the electronic device 1.
  • FIG. 6C is a diagram illustrating an example of a display mode of the display unit 20 of the electronic device 1.
  • FIG. 7A is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 7B is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 8A is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 8B is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 8A is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 8B is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device
  • FIG. 9A is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 9B is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 10A is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 10B is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 10C is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 10D is a diagram illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIG. 11A is a diagram illustrating an example of another shape of the electronic apparatus 1.
  • FIG. 11B is a diagram illustrating an example of another shape of the electronic apparatus 1.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an electronic device 1 according to an embodiment.
  • the electronic device 1 shown in FIG. 1 is provided in a mounting unit 10 that can be mounted on the user's head, a display unit 20 that is attached to the mounting unit 10 and disposed in front of the user's eyes, and a part of the mounting unit 10. And an operation unit 30.
  • the display unit 20 displays an image in a part or all of the display unit 20 so that the user can visually recognize the image.
  • the electronic device 1 has a glasses shape or a goggle shape as shown in FIG.
  • the mounting part 10 of the electronic device 1 includes a front part 11 and side parts 12 and 13.
  • the front unit 11 is disposed in front of the user's eyes, and the side units 12 and 13 are disposed along the user's temporal region.
  • the front part 11 is a part arranged in front of the user's eyes when worn by the user.
  • the front portion 11 is formed by integrating a bridge and two edge portions provided on the left and right sides of the bridge, so-called rims.
  • the bridge is a portion in contact with the user's nose when the electronic device 1 is worn, and has a shape that is recessed along the user's nose.
  • the edge supports the display unit 20. Further, the edge portion is connected to the side surface portions 12 and 13.
  • the side portions 12 and 13 are portions arranged along the heads on both sides of the user when worn by the user as described above, so-called spectacle string portions.
  • the side portions 12 and 13 have one end connected to one end of the front portion 11.
  • a spring for adjusting pressure and an adjuster for changing the angle are arranged to match the user's feeling of use. ing.
  • the display unit 20 includes a first display unit 20a and a second display unit 20b, which are a pair of display units provided in front of the eyes of the user's left and right eyes.
  • the first display unit 20 a and the second display unit 20 b are surrounded by the edge of the front unit 11.
  • a display panel constituted by a liquid crystal display (LCD), an organic electro-luminescence (EL) panel, or the like can be used.
  • the display part 20 it is preferable to produce a display panel with a translucent or transparent plate-shaped member.
  • the operation unit 30 is provided on each of the side surface portion 12 and the side surface portion 13.
  • the operation unit 30 is touch sensors 30a and 30b that detect contact.
  • various types of sensors such as a capacitance type, an ultrasonic type, a pressure sensitive type, a resistance film type, and a light detection type can be used.
  • the operation unit 30 may have only one of the touch sensors 30a and 30b.
  • FIG. 2 is a diagram illustrating an example of the rear side of the electronic device 1 according to the embodiment.
  • the electronic device 1 includes a myoelectric sensor as a detection unit 40 described later.
  • the myoelectric sensor has an electrode provided at a position where it can contact the periphery of the user's eyes.
  • the myoelectric sensor detects a myoelectric potential generated with the movement of the user's eyes including blinking and line-of-sight movement, for example.
  • the measurement electrodes for measuring the myoelectric potential the first electrode 40a and the second electrode 40b that can be in contact with the left and right sides of the user's nose are extended from the bridge of the mounting unit 10 respectively.
  • the 3rd electrode 40c which can contact the center part of a user's nose is provided in a bridge as a reference electrode.
  • the myoelectric sensor for example, when the user moves the line of sight in a predetermined direction or performs blinking, the first electrode 40a and the third electrode 40c as a reference and A change in potential of the second electrode 40b is detected.
  • the third electrode 40c as a reference electrode used in the myoelectric sensor may be provided at a position different from the bridge.
  • the third electrode 40c may be provided in the vicinity of the end of the side surface portion 12 or the side surface portion 13 opposite to the front surface portion 11.
  • the arrangement configuration of the electrodes is not limited to these, and various known techniques may be applied.
  • the detection unit 40 is not limited to the myoelectric sensor.
  • FIG. 3 is a diagram illustrating an example of the back side of the electronic device 1 according to the embodiment.
  • the electronic device 1 includes an imaging unit as the detection unit 40.
  • the imaging unit is provided in the front part 11 of the electronic device 1 so as to face the user's face.
  • the imaging units are provided in the vicinity of the left and right ends of the front part 11, respectively.
  • the respective imaging units are assumed to be 40d and 40e.
  • the imaging unit photoelectrically converts the lens system composed of an imaging lens, an aperture, a zoom lens, a focus lens, and the like, a drive system that causes the lens system to perform a focus operation and a zoom operation, and imaging light obtained by the lens system.
  • a solid-state image pickup device array for generating an image pickup signal.
  • the solid-state imaging device array may be realized by, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array.
  • FIG. 4 is a diagram illustrating an example of functional blocks of the electronic device 1 according to the embodiment.
  • the electronic device 1 includes a display unit 20, an operation unit 30, a detection unit 40, a control unit 50, a storage unit 60, and a communication unit 70.
  • the display unit 20 displays video and images based on control by the control unit 50.
  • the display unit 20 may display various images, as long as it can display an image that can be visually recognized by the user, that is, can display the image to the user.
  • the display unit 20 may be configured to project an image on a display panel or screen like a projector.
  • the image may be projected by scanning with laser light, or the image may be projected by transmitting light through a liquid crystal panel.
  • the operation unit 30 is, for example, a touch sensor provided on the side surfaces 12 and 13 of the electronic device 1 as described above.
  • the operation unit 30 detects a position touched by the user's finger on the side surface parts 12 and 13 as an input position.
  • the operation unit 30 outputs a signal corresponding to the detected input position to the control unit 50. Accordingly, the user can perform various touch operations on the electronic device 1.
  • a kind of touch operation for example, an operation in which a finger is brought into contact with the side surfaces 12 and 13 and then a finger is released in a short time, or the side surfaces 12 and 13 are moved in an arbitrary direction with a finger, for example, the length of the side surface
  • the direction in which the finger is moved is not limited to this, and the contact movement of the finger in the lateral direction of the side surface may be applied as the predetermined operation.
  • a predetermined operation is performed based on, for example, a plurality of contact positions moving toward each other based on a plurality of contacts on the plurality of surfaces. May be detected.
  • the operation unit 30 is not limited to a touch sensor, and may be a single button or a plurality of buttons, for example.
  • the detection unit 40 When the detection unit 40 is a myoelectric sensor, the detection unit 40 detects a change in myoelectric potential when the user moves the line of sight in a predetermined direction or blinks as described above. The myoelectric sensor outputs information on the detected myoelectric potential change to the control unit 50.
  • the imaging unit 40 captures the eyes of the user.
  • the imaging unit outputs image data acquired by shooting or a series of image data acquired by shooting every 1/15 seconds to the control unit 50 as moving image data.
  • the control unit 50 is constituted by, for example, a microprocessor unit (MPU: Micro Processing Unit).
  • the control unit 50 executes various processes of the electronic device 1 described above according to a procedure instructed by software. That is, the control unit 50 sequentially reads instruction codes from an operating system program, an application program, and the like, and executes processing. As described above, the control unit 50 controls the operation of each unit and outputs data necessary for each unit, for example, a control signal or an image signal for displaying a video or an image on the display unit 20.
  • control unit 50 estimates or detects the movement of the user's eyes based on the information on the myoelectric potential change output from the myoelectric sensor as the detection unit 40.
  • Eye movements include the presence or absence of blinking, or the presence or absence of eye movement including changes in the viewing direction and line-of-sight position.
  • the control unit 50 extracts the eye that is the subject included in the image data or moving image data output from the imaging unit serving as the detection unit 40, and analyzes the movement of the eye that is the subject, thereby Estimate the behavior. Eye movements include the presence or absence of blinking, or the presence or absence of eye movement including changes in the viewing direction and line-of-sight position. For example, the control unit 50 estimates the presence or absence of eye movement by performing predetermined processing such as extracting an eye that is a subject included in image data or moving image data, and further calculating the center of the black eye region.
  • predetermined processing such as extracting an eye that is a subject included in image data or moving image data, and further calculating the center of the black eye region.
  • image processing techniques can be used as a method for extracting a subject from an image.
  • the storage unit 60 is, for example, a nonvolatile storage device, for example, a nonvolatile semiconductor memory such as a ROM (Read Only Memory), a hard disk device, or a readable / writable storage device, for example, an SRAM (Static Random Access Memory), a DRAM. (Dynamic Random Access Memory) etc., and stores various programs.
  • the storage unit 60 stores in advance an operation pattern of the user's eyes that can be estimated from the information output from the detection unit 40, and a plurality of display processing patterns associated with each operation pattern.
  • the communication unit 70 includes an antenna and an RF circuit unit, and performs communication including external communication with, for example, telephone communication and information communication based on control by the control unit 50.
  • FIG. 5 is a diagram illustrating an example of a combination of a user's predetermined eye movement and a processing pattern associated therewith according to an embodiment.
  • FIG. 5 shows an example of a combination of a user's predetermined eye movement and a processing pattern associated therewith, stored in the storage unit 60.
  • 6A to 10D are diagrams illustrating examples of display modes of the display unit 20 based on the predetermined processing pattern illustrated in FIG. 5 in the electronic device 1.
  • Pattern 1 the user is in a state of looking straight and is not performing a predetermined operation of the eyes.
  • the control unit 50 does not recognize that there has been an input operation by the user, and therefore does not perform any particular processing.
  • the “movement of the line of sight in a predetermined direction” in the pattern 2 is associated with, for example, a process (operation) for moving a predetermined object displayed on the display unit 20 in a predetermined direction in the display image. Further, “movement of the line of sight in a predetermined direction” may be associated with, for example, processing for designating a predetermined position in the display image. Further, “movement of the line of sight in a predetermined direction” may be associated with a process of displaying a new image in the display area of the display unit 20, for example.
  • the operation of “gazing after moving the line of sight in a predetermined direction” in the pattern 3 is associated with, for example, an operation for causing the electronic device 1 to execute a predetermined process. For example, when the user's line-of-sight position moves to a position that overlaps with a predetermined operation icon displayed on the display unit 20, the operation icon is selected when it overlaps with the operation icon for a predetermined time, for example, 1 second or more.
  • the predetermined processing associated with the operation icon is executed.
  • the operation of performing “multiple blinks” in the pattern 4 is associated with, for example, an operation for causing the electronic device 1 to execute a predetermined process. For example, if blinking is performed a plurality of times in a state where the user's line-of-sight position overlaps with a predetermined operation icon displayed on the display unit 20, the operation icon is considered to be selected and is associated with the operation icon.
  • a predetermined process is executed. In addition, it may be assigned to operations for realizing I / O operations such as starting / stopping of the electronic device 1, transitioning / cancelling to a sleep state, execution / stopping of music playback in a music application, and the like. Good.
  • FIGS. 6A, 6B-1, 6B-2, and 6C are diagrams illustrating examples of display modes of the display unit 20 of the electronic device 1.
  • FIG. As in the electronic device 1 shown in FIG. 1, the shape of the display unit 20 can include a curved portion, but in FIGS. 6A, 6B-1, 6B-2, and 6C, a partial region of the display unit 20 is shown. An extracted rectangular area is shown as a display area 21.
  • the state shown in FIG. 6A is a state in which the display unit 20 is not displaying any image.
  • the state corresponds to the pattern 1 in FIG.
  • the control unit 50 detects the line-of-sight position of the user in the display area 21 of the display unit 20 based on the detection result detected by the detection unit 40.
  • the user's line-of-sight position is displayed as a cross icon 101. Note that in the electronic device 1, it is not always necessary to display the line-of-sight position so that the user can visually recognize it, and it is sufficient to simply detect the line-of-sight position. In the present embodiment, description will be made assuming that the icon 101 simply indicates the line-of-sight position.
  • the display area 21 is triggered by this.
  • the first image as the object 201 is displayed on the screen.
  • the line-of-sight position 101 before the line-of-sight position is moved is indicated by a broken line
  • the line-of-sight position 102 after the line-of-sight position is moved is indicated by a solid line.
  • the control unit 50 estimates the movement direction of the position, and displays the object 201 at a position based on the estimated direction in the display area 21.
  • first direction the estimated right direction
  • the object 201 is displayed on the one direction side.
  • an object 201 is an image for providing walking guidance to the user.
  • the object 201 shows a route from an arbitrary departure point to an arbitrary destination point.
  • the object 201 includes an arrow icon indicating a direction in which the user should travel or a corner to bend, and character information associated therewith.
  • the object 201 may be displayed by overlaying opaque characters on a colored transparent image, or may be displayed by overlaying opaque characters on an opaque image.
  • the definition of the movement direction of the line-of-sight position and the display position of the object 201 based on the movement direction may be appropriately determined.
  • the movement direction is defined in four directions, left, right, up and down, and the movement vector component of the line-of-sight position is decomposed into four directions, and the display position of the object 201 is determined based on the direction in which the most moved component is the largest among the four directions.
  • the left-right direction may be defined as a direction parallel to the lower side or the upper side when the display region 21 is rectangular, or may be defined as the horizontal direction, or the first display unit 20a and the first side. You may prescribe
  • the direction of movement of the line-of-sight position may be defined in eight directions in which the azimuth interval is 45 °, instead of four directions on the left and right and up and down in which the azimuth interval is 90 °.
  • the display area 21 may be defined as a plurality of divided areas, and the object 201 may be displayed in an area that intersects the moving direction of the line-of-sight position among the plurality of areas.
  • FIG. 6B-2 is a schematic diagram when the display area 21 is defined by being divided into five. Each of the five divided areas has, for example, four areas 21 (a) to (d) including each edge of the display area 21 and an area 21 (e) including the center portion.
  • the intersection between the movement direction and the areas 21 (a) to (d) is estimated, and the object 201 is displayed in the area where the intersection is estimated.
  • a point estimated inside the display region 21 may be applied or estimated outside the display region 21.
  • Applied points may be applied.
  • the point 301 estimated inside the display area 21 may be applied, and the object 201 may be displayed in the area 21 (b) including the point 301.
  • the object 302 may be displayed in the region 21 (d) including the point 302 by applying the point 302 estimated in (1).
  • the electronic device 1 estimates the user's line-of-sight position in the display area 21 of the display unit 20 based on the detection result of the detection unit 40 that detects the movement operation of the user's line of sight, and the line-of-sight position is the first line-of-sight position. It has the structure which displays a 1st image on the 1st direction side in the display area 21 by having moved to the direction. Therefore, useful information can be displayed near the position that the user is viewing in the display area 21.
  • FIG. 6B-1 in the state where the first image that is the object 201 is displayed, as shown in FIG.
  • the control unit 50 estimates that the distance from the region of the object 201 is a predetermined distance d1 in the direction from the position 102 to the position 103, the object 201 is not displayed.
  • a region where the object 201 is displayed is indicated by a broken line.
  • the area where the object 201 is displayed is indicated by a broken line.
  • whether or not the line-of-sight position is moving in the “direction away from the object 201” is defined, for example, as horizontal or horizontal and vertical and vertical, and the movement vector component of the line-of-sight position is defined as the horizontal direction.
  • the “direction away from the object 201” It may be considered that the line-of-sight position has moved to “.
  • the direction of movement of the line-of-sight position may be defined as eight directions with an azimuth interval of 45 ° instead of four directions of up, down, left and right with an azimuth interval of 90 °, or the directions may be further subdivided.
  • the movement direction or vector of the line-of-sight position is not constant.
  • a virtual line connecting a start point that is a point at which line-of-sight movement is started and an end point that is a point at which a series of line-of-sight movement ends may be specified as the direction of the user's line-of-sight movement.
  • a virtual line connecting a point that is a predetermined section backward from the end point that is the point at which the line-of-sight movement has ended may be specified as the direction of the user's line-of-sight movement.
  • the object 201 is displayed when the movement of the line-of-sight position is not detected for a predetermined time or more. It may be.
  • the electronic device 1 is triggered when the line-of-sight position is away from the region of the first image by a predetermined distance in the direction away from the first image in a state where the first image is displayed.
  • the first image is not displayed.
  • 7A and 7B are diagrams illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • FIGS. 7A and 7B at least two areas of the first display area 21 (f) and the second display area 21 (g) in which the display area 21 is divided from each other by a broken line are defined.
  • the control unit 50 estimates that the line-of-sight position has moved from the position 101 in the first display area 21 (f) to the position 102 in the second display area 21 (g). As a trigger, the first image that is the object 201 is displayed in the second display area 21 (g). Note that before the line-of-sight position moves, the object 201 is not displayed and is similar to the state shown in FIG.
  • the control unit 50 confirms that the line-of-sight position is separated from the second display area 21 (g) by a predetermined distance d2. When triggered, the object 201 is hidden.
  • the electronic device 1 is triggered by the movement of the line-of-sight position from the first display area 21 (f) in the display area 21 to the second display area 21 (g).
  • g) has a configuration for displaying the first image. Therefore, useful information can be displayed near the position that the user is viewing in the display area 21.
  • the electronic apparatus 1 is configured to hide the first image when the first image is displayed and the line-of-sight position is separated from the second display area 21 (g) by a predetermined distance d2. Have Accordingly, the first image is not hidden only when the line-of-sight position moves beyond the second display area 21 (g) beyond the second display area 21 (g).
  • FIGS. 8A and 8B are diagrams illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • a first range for displaying the first image when the line-of-sight position enters and a second range that includes the first range and is larger than the first range are defined.
  • the first range is a right region 21 (h) (illustrated in FIG. 8A) of two regions divided by a broken line in the display region 21.
  • the second range is a right region 21 (i) (illustrated in FIG. 8B) of two regions divided by a broken line in the display region 21.
  • the second range 21 (i) includes the first range 21 (h) and is larger than the first range 21 (h).
  • the control unit 50 estimates that the line-of-sight position has moved from outside the first range 21 (h) into the first range 21 (h), and using this as an opportunity, the first range 21
  • the object 201 is displayed in (h). By having such a configuration, it is possible to display useful information near the position that the user is viewing in the display area 21. Note that before the line-of-sight position moves, the object 201 is not displayed and is similar to the state shown in FIG.
  • the control unit 50 hides the object 201 when the line-of-sight position has moved out of the second range 21 (i) while the object 201 is displayed. To. By having such a configuration, the first image is not hidden even if the line-of-sight position is slightly moved.
  • FIGS. 9A and 9B are diagrams illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • the control unit 50 estimates that the line-of-sight position has moved from the position 101 to the position 102, and the state in which the first image that is the object 201 is displayed in the display area 21 is triggered by this. It is shown. Note that before the line-of-sight position moves, the object 201 is not displayed and is similar to the state shown in FIG.
  • the control unit 50 displays the object 201 on the first direction side in the display area 21 based on the first direction in which the line-of-sight position moves from the position 101 to the position 102. At this time, the control unit 50 calculates a first distance that is a movement distance d5 of the line-of-sight position in the first direction.
  • the movement distance d5 may be, for example, the length of a virtual line connecting the start point and the end point in a series of movements of the line-of-sight position.
  • a series of movements of the line-of-sight position is performed when, for example, estimation or detection of line-of-sight movement is started from a state where the line-of-sight position has not fluctuated for a predetermined time and the line-of-sight position has not fluctuated for a predetermined time after movement. May be considered.
  • the movement distance moves in the second direction, which is the direction opposite to the first direction in FIG. 9A.
  • the control unit 50 estimates the second distance that is the moving distance d6 that is longer than the first distance that is d5, the object 201 is not displayed.
  • the movement direction of the actual line-of-sight movement is defined in four directions, left, right, up and down, and the vector component of the actual line-of-sight movement is decomposed into four directions.
  • the direction in which the most moved component is large may be defined as the first direction.
  • the control unit 50 decomposes the movement vector of the line-of-sight position from the position 101 to the position 102 into four directions, left, right, up, and down, and determines the movement distance as the direction in which the most moved component is the largest. A moving component in the right direction of d′ 5 is extracted.
  • the control unit 50 extracts the leftward movement component of the movement distance d′ 6 from the movement vector of the line-of-sight position. Then, the control unit 50 compares the movement distance d′ 5 and the movement distance d′ 6, and performs a process of hiding the object 201 when the movement distance d′ 6 is larger than the movement distance d′ 5. .
  • the electronic device 1 has a configuration in which the first image is displayed on the first direction side in the display region 21 when the line-of-sight position has moved by the first distance in the first direction. Therefore, useful information can be displayed near the position that the user is viewing in the display area 21.
  • the electronic device 1 is triggered by the fact that the line-of-sight position has moved in the second direction opposite to the first direction by a second distance longer than the first distance in a state where the first image is displayed. The image is not displayed. Therefore, even if the line-of-sight position is moved, the first image is not hidden.
  • FIGS. 6A, 6B, 10C, and 10D are diagrams illustrating another example of the display mode of the display unit 20 of the electronic device 1.
  • the control unit 50 estimates that the line-of-sight position has moved from the position 101 to the position 102, and the state in which the first image that is the object 201 is displayed in the display area 21 is shown. Yes.
  • the line-of-sight movement conditions for displaying the object 201 are shown in FIGS. 6A, 6B-1, 6B-2, 6C, 7A, 7B, 8A, 8B, 9A, and 9B described above. Any of the examples may be employed. In other words, the examples shown in FIGS.
  • FIGS. 6A, 6B-1, 6B-2, 6C, 7A, 7B, 8A, 8B, and 9A are shown in FIGS. 6A, 6B-1, 6B-2, 6C, 7A, 7B, 8A, 8B, and 9A. It can be combined with any of the examples shown in FIG. 9B.
  • the line-of-sight position 102 is the departure place “XX station” arbitrarily set by the user in the image for providing the object 201, for example, walking guidance to the user. "Is located in the display area 201 (a).
  • the display area 201 In relation to the display content of b), for example, the information on the turning corner, the object 202 in which the direction to turn is superimposed on the actual landscape photograph or the second image that is simply a map image is displayed. That is, the control unit 50 displays the second image that is the object 202 related to the first image that is the object 201 in an area other than the area of the first image that is the object 201 in the display area 21.
  • the first image which is the object 201
  • the first direction which is the direction when the line-of-sight position moves from the position 101 to the position 102, in other words, in the first direction in the example shown in FIG. 6B-1.
  • the display content of the second image that is the object 202 may be changed based on the movement of the line-of-sight position in the up-down direction that is a direction intersecting the first direction. With such a configuration, the display content of the second image that is the object 202 is not changed by mistake due to the line-of-sight movement for displaying the first image that is the object 201.
  • the display content of the second image that is the object 202 is not necessarily changed by the line-of-sight movement.
  • the display content of the second image that is the object 202 may be changed according to a predetermined contact operation on the operation unit 30 described above. .
  • the “predetermined distance” may be set based on the size of the second image that is the object 202.
  • the “predetermined distance” in the non-display configuration may be set based on the size of the second image that is the object 202.
  • a length that allows the line-of-sight position to move beyond the second image as the object 202 to a position away from the first image as the object 201 may be set as the predetermined distance d7.
  • the predetermined distance may be changed according to the display content displayed as the second image that is the object 202. For example, when the display content of the second image that is the object 202 includes character information at a predetermined rate or more, the display content may be set longer than when the text information includes less than a predetermined rate.
  • the display content may be set longer than when the text information includes less than a predetermined rate.
  • the second image that is the object 202 is visually recognized, and if the object 202 has a desired display content, the user returns the line of sight to the first image that is the object 201, and then, for example, a plurality of times By blinking and performing pattern 4 in FIG. 5, the selection of the display content of the object 202 may be determined or the display of the object 202 may be maintained.
  • the second image, which is the object 202 includes character information, a wider range of line-of-sight movement may be required to grasp the outline. In other words, long-distance line-of-sight movement is required to grasp the outline.
  • the line of sight is moved so as to grasp the outline of the second image that is the object 202.
  • the first image that is the object 201 is not displayed, and as a result, it may be a troublesome operation.
  • the first image that is the object 201 is not displayed depending on whether or not the display content of the second image that is the object 202 includes character information, or how much the character information is included.
  • the line-of-sight movement distance required for display may be changed as appropriate. Therefore, it is possible to realize a line-of-sight movement operation that does not make the user feel bothersome.
  • the predetermined distance may be settable by the user.
  • the electronic device includes a display unit, a detection unit that detects a movement operation of the user's line of sight, and a control unit that estimates a user's line of sight position in the display area of the display unit based on a detection result of the detection unit.
  • the control unit may display the first image on the predetermined direction side in the display area when the line-of-sight position moves in a predetermined direction.
  • the ratio of the first image area to the display area of the display unit is less than a predetermined value
  • the line-of-sight position is separated from the first image area by a predetermined distance.
  • One image may be hidden.
  • the ratio of the area of the first image to the display area of the display unit is equal to or greater than a predetermined value
  • the line-of-sight position is moved out of the area from the area of the first image.
  • the first image may be hidden.
  • the case where the ratio of the area of the first image to the display area of the display unit is equal to or greater than a predetermined value is, for example, the ratio of the area of the first image to the display area of the display unit Is 50% or more and includes the central area of the display area.
  • the configuration in which the first image is displayed based on the movement of the line-of-sight position has been described.
  • predetermined information can be obtained through communication with an external device.
  • the first image related to the information may be displayed in response to receiving the message.
  • the first image may be displayed constantly.
  • the electronic device 1 disclosed in the present specification may further include a configuration in which the first image is not displayed after a predetermined time since the first image is displayed. Good.
  • the electronic device 1 has a shape such as a glasses shape or a goggle shape
  • the shape of the electronic device 1 is not limited to this.
  • the electronic device 1 may have a helmet-type shape that covers substantially the upper half of the user's head.
  • the electronic device 1 may have a mask type shape that covers almost the entire face of the user.
  • the configuration in which the display unit 20 includes the pair of display units 20a and 20b provided in front of the user's left and right eyes has been exemplified. May have a configuration having one display unit provided in front of one of the left and right eyes of the user.
  • edge part of a front part has illustrated the structure surrounding the perimeter of the edge of the display area 21 of the display part 20, it is not limited to this, The display area of the display part 20 The structure which encloses only a part of 21 edge may be sufficient.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　本出願に係る電子機器１は、表示部２０と、ユーザの視線の移動動作に基づいて、表示部２０の表示領域２１におけるユーザの視線位置を推定する制御部５０と、を備える。制御部５０は、表示領域２１にオブジェクト２０１である第１画像が表示された状態で、視線位置が、オブジェクト２０１である第１画像から離れる方向に向かって、第１画像の領域から所定距離ｄ１だけ離れたことを契機に、オブジェクト２０１である第１画像を非表示にする。

Description

電子機器
　本出願は、ユーザの目の動作に応じて、所定の入力を行うことが可能な電子機器に関する。
　上記の電子機器として、近年、画像およびマウスを表示する表示部と、ユーザの視線方向を検出する視線検出装置と、検出された視線方向に表示部に表示されているマウスを移動させる表示制御部と、を備えるヘッドマウントディスプレイが知られている（例えば、特許文献１参照）。
特開２０１１－１２５６９２号公報
　特許文献１に記載のヘッドマウントディスプレイにおいては、入力の際の操作性をさらに向上させる新規な入力態様の提案が望まれる。
　本出願の目的は、目の動作に応じて、所定の入力を行うことが可能な電子機器において、操作性がさらに向上された電子機器を提供することにある。
　態様の一つに係る電子機器は、表示部と、ユーザの視線の移動動作に基づいて、前記表示部の表示領域におけるユーザの視線位置を推定する制御部と、を備え、前記制御部は、前記表示領域に第１画像が表示された状態で、前記視線位置が、該第１画像から離れる方向に向かって、前記第１画像の領域から所定距離だけ離れたことを契機に、該第１画像を非表示にするものである。
　態様の一つに係る電子機器は、第１表示領域と第２表示領域とを有する表示部と、ユーザの視線の移動動作に基づいて、前記表示部におけるユーザの視線位置を推定する制御部と、を備え、前記制御部は、前記第２表示領域に第１画像が表示された状態で、前記視線位置が前記第２表示領域から所定距離だけ離れたことを契機に、該第１画像を非表示にするものである。
　態様の一つに係る電子機器は、表示部と、ユーザの視線の移動動作に基づいて、前記表示部の表示領域におけるユーザの視線位置を推定する制御部と、を備え、前記制御部は、前記表示領域中において、第１範囲と、該第１範囲を包含しかつ該第１範囲よりも大きい第２範囲と、を設定し、前記第１範囲内に前記第１画像が表示された状態で、前記視線位置が前記第２範囲外へ移動したことを契機に、該第１画像を非表示にするものである。
　態様の一つに係る電子機器は、表示部と、ユーザの視線の移動動作に基づいて、前記表示部の表示領域におけるユーザの視線位置を推定する制御部と、を備え、前記制御部は、前記視線位置が第１方向へ第１距離移動したことを契機に、前記表示領域における前記第１方向側に第１画像を表示し、前記第１画像が表示された状態で、前記視線位置が前記第１方向とは反対側の第２方向へ前記第１距離よりも長い第２距離移動したことを契機に該第１画像を非表示にするものである。
　態様の一つに係る電子機器は、第１画像を表示する表示部と、ユーザの視線の移動動作に基づいて、前記表示部の表示領域におけるユーザの視線位置を推定する制御部と、を備え、前記制御部は、前記第１画像の領域が前記表示領域に対して占める割合が所定値未満の場合に、前記視線位置が該第１画像の領域から所定距離だけ離れたことを契機に、該第１画像を非表示にするものである。
図１は、一実施形態に係る電子機器１の概略構成の一例を示す図である。 図２は、一実施形態に係る電子機器１の後ろ側の一例を示した図である。 図３は、一実施形態に係る他の電子機器１の後ろ側の一例を示した図である。 図４は、一実施形態に係る一実施形態に係る電子機器１の機能ブロックの一例を示す図である。 図５は、一実施形態に係るユーザの所定の目の動作とそれに対応付けられた処理パターンの組み合わせの一例を示す図である。 図６Ａは、電子機器１の表示部２０の表示態様の一例を示す図である。 図６Ｂ－１は、電子機器１の表示部２０の表示態様の一例を示す図である。 図６Ｂ－２は、電子機器１の表示部２０の表示態様の一例を示す図である。 図６Ｃは、電子機器１の表示部２０の表示態様の一例を示す図である。 図７Ａは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図７Ｂは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図８Ａは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図８Ｂは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図９Ａは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図９Ｂは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図１０Ａは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図１０Ｂは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図１０Ｃは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図１０Ｄは、電子機器１の表示部２０の表示態様の他の一例を示す図である。 図１１Ａは、電子機器１の別の形状の一例を示す図である。 図１１Ｂは、電子機器１の別の形状の一例を示す図である。
　以下、本出願を実施するための実施形態を、本出願につき図面を参照しつつ詳細に説明する。なお、以下の説明により本出願が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
　図１は、一実施形態に係る電子機器１の概略構成の一例を示す図である。図１に示す電子機器１は、ユーザの頭部に装着可能な装着部１０と、装着部１０に取付けられてユーザの眼前に配置される表示部２０と、装着部１０の一部に設けられる操作部３０と、を備える。表示部２０は、該表示部２０の一部又は全部の領域に、ユーザが視認できるように画像を表示する。
　電子機器１は、図１に示すように、眼鏡形状或いはゴーグル形状である。電子機器１の装着部１０は、正面部１１と、側面部１２、１３とからなる。装着部１０がユーザに装着されたとき、正面部１１は、ユーザの眼前に配置され、側面部１２、１３は、ユーザの側頭部に沿って配置される。
　正面部１１は、上述したように、ユーザに装着された場合、ユーザの眼前に配置される部分である。正面部１１は、ブリッジと、ブリッジを隔てて左右に設けられる二つの縁部、いわゆるリムとが一体となって構成されている。ブリッジは、電子機器１の装着時にユーザの鼻と接する部分であり、ユーザの鼻に沿って凹んだ形状である。縁部は、表示部２０を支持している。また、縁部は、側面部１２、１３と連結している。
　側面部１２、１３は、上述したようにユーザに装着された場合、ユーザの両側頭部に沿って配置される部分、いわゆる眼鏡の弦の部分である。側面部１２、１３は、一方の端部が正面部１１の一方の端部と連結している。ここで、正面部１１と連結される側面部１２の端部である眼鏡の弦の根元部分には、ユーザの使用感に合わせるための、圧力調整用のバネや角度を変更するアジャスタが配置されている。
　表示部２０は、ユーザの左右の目の眼前に設けられる一対の表示部である第１表示部２０ａと第２表示部２０ｂとを有している。表示部２０は、第１表示部２０ａ、第２表示部２０ｂの周囲が、正面部１１の縁部によって囲われている。
　表示部２０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどで構成された表示パネルを用いることができる。ここで、表示部２０は、表示パネルを半透明または透明の板状部材で作製することが好ましい。表示部２０の表示パネルを半透明または透明の板状部材で作製することで、ユーザが表示部２０を介して景色を見ることができる。
　操作部３０は、側面部１２と側面部１３の其々に設けられる。操作部３０は、接触を検出するタッチセンサ３０ａ、３０ｂである。タッチセンサ３０ａ、３０ｂには、例えば、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のセンサが用いられ得る。尚、電子機器１において、操作部３０は、タッチセンサ３０ａ、３０ｂの何れか一方のみを有する構成であってもよい。
　図２は、一実施形態に係る電子機器１の後ろ側の一例を示した図である。電子機器１は、後述する検出部４０としての筋電センサを備える。
　筋電センサは、ユーザの目の周辺に接触可能な位置に設けられる電極を有する。筋電センサは、例えばまばたきや視線移動を含むユーザの目の動作に伴って生じる筋電位を検出する。ここで、筋電位を測定するための測定電極として、ユーザの鼻の左右側部のそれぞれに接触可能な第１電極４０ａと第２電極４０ｂとが、装着部１０のブリッジから延設されるノーズパッドに設けられる。また、基準電極として、ユーザの鼻の中央部に接触可能な第３電極４０ｃがブリッジに設けられる。このような構成とすることにより、筋電センサは、例えば、ユーザが視線を所定の方向に移動させた、或いは、まばたきを行ったときに、第３電極４０ｃを基準とした第１電極４０ａ及び第２電極４０ｂの電位の変化を検出する。
　筋電センサに用いられる基準電極としての第３電極４０ｃは、ブリッジとは異なる位置に設けられていてもよい。例えば、第３電極４０ｃは、側面部１２或いは側面部１３における、正面部１１とは反対側の端部近傍に設けてられてもよい。なお、電極の配置構成はこれらに限定されるものではなく、公知の種々の技術が適用されてよい。
　また、図２において、電子機器１が検出部４０として筋電センサを備える構成を示したが検出部４０は筋電センサに限定されない。
　図３は、一実施形態に係る電子機器１の後ろ側の一例を示した図である。電子機器１は、検出部４０としての撮像部を備える。
　撮像部は、電子機器１の正面部１１において、ユーザの顔面に対面するように設けられる。撮像部は、正面部１１の左右両端部の近傍に其々設けられる。其々の撮像部は、４０ｄ、４０ｅとする。撮像部は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてよい。
　次に、図４を参照して、電子機器１の機能について説明する。図４は、一実施形態に係る電子機器１の機能ブロックの一例を示す図である。図４に示すように、電子機器１は、表示部２０、操作部３０、検出部４０、制御部５０、記憶部６０、及び通信部７０を備える。
　表示部２０は、制御部５０による制御に基づいて映像や画像を表示する。なお、表示部２０は、ユーザが視認できる画像を表示することができれば、つまりユーザに画像を見せることができればよく、種々の構成を用いることができる。例えば、表示部２０としては、プロジェクタのように表示パネル或いはスクリーンに画像を投影する構成としてもよい。なお、画像を投影させる場合、レーザ光を走査させて画像を投影する構成としてもよいし、液晶パネルに光を透過させて画像を投影する構成としてもよい。また、表示部２０からユーザに向けて直接レーザ光を照射することでユーザに対して画像を表示する構成としてもよい。
　操作部３０は、前述したように、例えば、電子機器１の側面部１２、１３に設けられるタッチセンサである。操作部３０は、側面部１２、１３においてユーザの指が触れた位置を入力位置として検出する。操作部３０は、検出した入力位置に応じた信号を制御部５０へ出力する。これにより、ユーザは、電子機器１に対して種々のタッチ操作を行うことができる。タッチ操作の種類として、例えば、側面部１２、１３に指を接触させた後、短時間のうちに指を離す操作や、側面部１２、１３を指で任意の方向、例えば、側面部の長手方向に弾く操作や、側面部１２、１３に指を接触させたまま側面部の長手方向へ移動させる操作等が挙げられる。なお、指を移動させる方向はこれに限らず、側面部の短手方向への指の接触移動を所定の操作として適用してもよい。また、側面部の長手方向への指の接触移動と側面部の短手方向への指の移動とを併せて検出してもよい。また、側面部が複数の面から構成される場合には、該複数の面に対する複数の接触に基づいて、例えば、複数の接触位置が互いに近づく方向へ移動すること等に基づいて、所定の操作を検出してもよい。
　なお、操作部３０は、タッチセンサに限定されず、例えば、単一または複数のボタンであってもよい。
　検出部４０は、該検出部４０が筋電センサである場合、前述したように、ユーザが視線を所定の方向に移動させた、或いは、まばたきを行ったときの筋電位の変化を検出する。筋電センサは、検出された筋電位変化の情報を制御部５０に出力する。
　一方、検出部４０が、撮像部である場合、撮像部は、ユーザの目の撮影を行う。撮像部は、撮影して取得された画像データ、或いは、所定の時間、例えば１／１５秒毎に撮影して取得された一連の画像データを動画データとして制御部５０に出力する。
　制御部５０は、例えば、マイクロプロセッサユニット（ＭＰＵ：Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）で構成されている。制御部５０は、ソフトウェアで指示された手順にしたがって上述した電子機器１の各種の処理を実行する。すなわち、制御部５０は、オペレーティングシステムプログラムやアプリケーションのプログラム等から命令コードを順次読み込んで処理を実行する。このように、制御部５０は、各部の動作を制御し、各部に必要なデータ、例えば、表示部２０に映像や画像を表示させるための制御信号、或いは画像信号を出力する。
　また、制御部５０は、検出部４０としての筋電センサから出力された筋電位変化の情報に基づいて、ユーザの目の動作を推定、或いは検出する。目の動作としては、まばたきの有無、或いは、視線方向、視線位置の変化等も含む視線移動の有無等が該当する。
　或いは、制御部５０は、検出部４０としての撮像部から出力された画像データ或いは動画データに含まれる被写体である目を抽出し、被写体である目の動きを解析することで、ユーザの目の動作を推定する。目の動作としては、まばたきの有無、或いは、視線方向、視線位置の変化等も含む視線移動の有無等が該当する。例えば、制御部５０は、画像データ或いは動画データに含まれる被写体である目を抽出し、さらに黒目領域の中心を算出する等の所定の処理を施すことによって視線移動の有無を推定する。なお、画像から被写体を抽出する方法としては、種々の画像処理技術を用いることができる。
　記憶部６０は、例えば、不揮発性の記憶デバイス、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性半導体メモリ、ハードディスク装置等や、読み書き可能な記憶デバイス、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等で構成され、各種プログラムを記憶する。記憶部６０は、検出部４０から出力された情報から推定され得るユーザの目の動作パターンと、各動作パターンに対応付けられた複数の表示処理パターンとを予め記憶している。
　通信部７０は、アンテナとＲＦ回路部とから成り、制御部５０による制御に基づいて、外部装置と例えば電話通信や情報通信を含む通信を行う。
　以下、電子機器１がユーザの目の所定動作を検出することで、該動作に対応付けられた所定の処理を行う、即ち、所定操作がなされる例を、図５～図１０Ｄを参照して説明する。図５は、一実施形態に係るユーザの所定の目の動作とそれに対応付けられた処理パターンの組み合わせの一例を示す図である。図５は、記憶部６０に記憶される、ユーザの所定の目の動作とそれに対応付けられた処理パターンの組み合わせの一例を示している。図６Ａ～図１０Ｄは、電子機器１において、図５に例示された所定の処理パターンに基づいた表示部２０の表示態様の一例を示す図である。
　パターン１において、ユーザは、正視した状態にあり、目の所定の動作を行っていない。この場合、制御部５０は、ユーザによる入力操作があったことを認識せず、従って特に処理は行わない。
　パターン２における「視線の所定方向への移動」は、例えば、表示部２０に表示される所定オブジェクトを表示画像中において所定方向へ移動させる処理（操作）に対応付けられる。また、「視線の所定方向への移動」は、例えば、表示画像中における所定の位置を指定する処理に対応付けられてもよい。また、「視線の所定方向への移動」は、例えば、表示部２０の表示領域に新たな画像を表示させる処理に対応付けられてもよい。
　パターン３における「視線の所定方向への移動後に注視」する動作は、例えば、電子機器１に所定の処理を実行させる操作に対応付けられる。例えば、ユーザの視線位置が表示部２０に表示された所定の操作アイコンと重なる位置に移動した後に、所定時間、例えば１秒以上継続して操作アイコンと重なっている場合に、操作アイコンが選択されたものと見なされ、操作アイコンに対応付けられた所定の処理を実行するようにする。
　パターン４における「複数回の瞬き」を行う動作は、例えば、電子機器１に所定の処理を実行させる操作に対応付けられる。例えば、ユーザの視線位置が表示部２０に表示された所定の操作アイコンと重なっている状態で、瞬きを複数回行うと、操作アイコンが選択されたものと見なされ、操作アイコンに対応付けられた所定の処理を実行するようにする。また、他にも、電子機器１の起動・停止、スリープ状態への移行・解除、音楽アプリ―ケーションにおける音楽再生の実行・停止等のＩ／Ｏ動作を実現させるための操作に割り当てられてもよい。
　次に、目の所定動作の検出に基づいて所定の処理を実行する例について説明する。図６Ａ，図６Ｂ－１，図６Ｂ－２，図６Ｃは、電子機器１の表示部２０の表示態様の一例を示す図である。図１に示す電子機器１のように、表示部２０の形状は曲線部分を含みうるが、図６Ａ，図６Ｂ－１，図６Ｂ－２，図６Ｃでは、表示部２０の一部の領域を抜粋した長方形状の領域を表示領域２１として示している。
　図６Ａに示す状態は、表示部２０が何も画像を表示していない状態であり、例えば、ユーザが正視状態にある場合、図５におけるパターン１に該当する。このとき、制御部５０は、検出部４０が検出する検出結果に基づいて、表示部２０の表示領域２１におけるユーザの視線位置を検出している。図６Ａにおいては、ユーザの視線位置が十字のアイコン１０１として表示されている。なお、電子機器１においては、必ずしも視線位置をユーザが視認できるように表示する必要はなく、単に視線位置を検出していれば足りる。なお、本実施例では、アイコン１０１が単に視線位置を示しているものとして説明していく。
　ここで、ユーザの視線位置が、図６Ａに示される位置１０１にある状態から、図６Ｂ－１に示される位置１０２へ移動したことを制御部５０が推定すると、これを契機に、表示領域２１にオブジェクト２０１である第１画像が表示される。なお、図６Ｂ－１において、視線位置が移動する前の該視線位置１０１を破線で示し、視線位置が移動した後の該視線位置１０２を実線で示している。以後同様に、視線位置の移動を説明する場合には、移動前の視線位置を破線、移動後の視線位置を実線で示すことにする。制御部５０は、視線位置の移動を推定すると、該位置の移動方向を推定し、表示領域２１における、推定した方向に基づいた位置にオブジェクト２０１を表示する。図６Ｂ－１の例においては、推定した、位置１０１から位置１０２へ向かう方向である略右方向（以下、「第１方向」という。）に基づいて、表示領域２１における右方向側である第１方向側にオブジェクト２０１を表示する。
　図６Ｂ－１において、オブジェクト２０１は、歩行案内をユーザに提供するための画像である。オブジェクト２０１には、任意の出発地点から任意の目的地点に向かう道順が示されている。オブジェクト２０１は、ユーザが進むべき方向、或いは曲がるべき曲がり角を示す矢印アイコンとこれに付随する文字情報とを含んでいる。オブジェクト２０１は、例えば、有色透明な画像上に不透明な文字が重ねられて表示されてもよいし、不透明な画像上に不透明な文字が重ねられて表示されてもよい。
　ここで、視線位置の移動方向と、該移動方向に基づくオブジェクト２０１の表示位置と、の規定は適宜定められてよい。例えば、移動方向を左右上下の４方向に規定し、視線位置の移動ベクトル成分を４方向に分解し、該４方向の内、最も移動した成分が大きい方向に基づいて、オブジェクト２０１の表示位置を決定してもよい。なお、左右方向は、表示領域２１が長方形状の場合には下辺又は上辺に平行な方向と規定してもよいし、或いは水平方向と規定してもよいし、或いは第１表示部２０ａと第２表示部２０ｂとが並ぶ方向と規定してもよい。また、視線位置の移動方向は、方位間隔を９０°とした左右上下の４方向でなく、方位間隔を４５°とした８方向に規定されてもよい。また、表示領域２１を複数の分割された領域として規定し、該複数の領域の内、視線位置の移動方向と交わる領域にオブジェクト２０１を表示するようにしてもよい。図６Ｂ－２は、表示領域２１を５分割して規定した場合の模式図を示している。５分割された各領域は、例えば、表示領域２１の各端辺を含む４つの領域２１（ａ）～（ｄ）と、中心部を含む領域２１（ｅ）を有している。ここで、視線位置が位置１０１から位置１０２に移動すると、該移動方向と領域２１（ａ）～（ｄ）との交点を推定し、該交点が推定された領域にオブジェクト２０１を表示する。ここで、４つの領域２１（ａ）～（ｄ）と視線位置の移動方向との交点は、表示領域２１の内側で推定された点を適用してもよいし、表示領域２１の外側で推定された点を適用してもよい。具体的には例えば、表示領域２１の内側で推定された点３０１を適用し、該点３０１を含む領域２１（ｂ）にオブジェクト２０１を表示してもよいし、一方で、表示領域２１の外側で推定された点３０２を適用し、点３０２を含む領域２１（ｄ）にオブジェクト２０１を表示するようにしてもよい。
　このように、電子機器１は、ユーザの視線の移動動作を検出する検出部４０の検出結果に基づいて、表示部２０の表示領域２１におけるユーザの視線位置を推定し、該視線位置が第１方向へ移動したことを契機に、表示領域２１における第１方向側に第１画像を表示する構成を有する。従って、表示領域２１においてユーザが視認している位置の近くに有用な情報を表示させることができる。
　再度、図６Ｂ－１を参照すると、図６Ｂ－１に示すように、オブジェクト２０１である第１画像が表示されている状態で、図６Ｃに示すように、視線位置が、オブジェクト２０１から離れる方向である位置１０２から位置１０３へ向かう方向に向かって、該オブジェクト２０１の領域から所定距離ｄ１だけ離れたことを制御部５０が推定すると、これを契機に、該オブジェクト２０１が非表示となる。なお、オブジェクト２０１が非表示となっていることを模式的に示すために、オブジェクト２０１が表示されていた領域を破線で示している。以後同様に、オブジェクト２０１が非表示となっていることを示す場合には、オブジェクト２０１が表示されていた領域を破線で示すことにする。
　ここで、視線位置が「オブジェクト２０１から離れる方向」に移動しているか否かを、例えば、横方向である左右と縦方向である上下とを規定し、視線位置の移動ベクトル成分を横方向と縦方向とに分解したときの２つのベクトル成分に基づいて判定してもよい。例えば、視線位置の移動ベクトル成分を横方向と縦方向とに分解し、横方向への移動ベクトル成分と、縦方向への移動ベクトル成分と、の双方が、オブジェクト２０１から離れる方向を有している場合に、「オブジェクト２０１から離れる方向」と判定してよい。また、例えば、横方向への移動ベクトル成分と、縦方向への移動ベクトル成分と、の内の一方が、オブジェクト２０１から離れる方向を有している場合に、「オブジェクト２０１から離れる方向」と判定してよい。また、例えば、横方向への移動ベクトル成分と縦方向への移動ベクトル成分の内、移動距離の長い一方を採用し、該方向がオブジェクト２０１から離れる方向である場合に、「オブジェクト２０１から離れる方向」へ視線位置が移動しているものと見なしてもよい。なお、視線位置の移動方向は、方位間隔を９０°とした上下左右の４方向でなく、方位間隔を４５°とした８方向として規定されてもよいし、方向をさらに細分化してもよい。
　ここで、ユーザの一連の視線移動における視線経路が直線的でなく曲線部分や屈曲部分を所定割合以上含む場合には、視線位置の移動方向、或いはベクトルが一定でなくなる。このような場合、例えば、視線移動が開始された点である始点と一連の視線移動が終了した点である終点とを結んだ仮想線をユーザの視線移動の方向と特定してもよい。また、例えば、一連の視線移動が推定されると、該視線移動が終了した点である終点から所定区間遡った点とを結んだ仮想線をユーザの視線移動の方向と特定してもよい。
　また、ユーザの意図していない視線移動によってオブジェクト２０１が表示されないように、視線位置の移動を検出した後、所定時間以上、視線位置の変動が検出されなかった場合に、オブジェクト２０１を表示するようにしてもよい。
　このように、電子機器１は、第１画像が表示された状態で、視線位置が、該第１画像から離れる方向に向かって、第１画像の領域から所定距離だけ離れたことを契機に、該第１画像を非表示にする構成を有する。このような構成を有することにより、例えば、ユーザが第１画像と他の画像、或いは表示部２０越しに視認される景色の中の所定の対象物とを見比べたい場合に、視線位置が第１画像の領域から外れて第１画像が非表示となったり、視線位置が再度第１画像の領域に近づくことで第１画像が再度表示されたり、といった繰返しがなされないため、使い勝手がよい。
　次に、電子機器１の表示部２０の他の表示態様について説明する。図７Ａ，図７Ｂは、電子機器１の表示部２０の表示態様の他の一例を示す図である。図７Ａ，図７Ｂに示す例では、表示領域２１が破線で互いに分断される第１表示領域２１（ｆ）と第２表示領域２１（ｇ）との少なくとも二つの領域が規定されている。
　図７Ａに示すように、制御部５０は、視線位置が第１表示領域２１（ｆ）内の位置１０１から第２表示領域２１（ｇ）内の位置１０２へ移動したことを推定し、これを契機に、第２表示領域２１（ｇ）にオブジェクト２０１である第１画像を表示させる。なお、視線位置が移動する前においては、オブジェクト２０１が表示されておらず、図６Ａに示す状態と同様となるため、図示を省略する。
　次に、図７Ｂに示すように、オブジェクト２０１である第１画像が表示されている状態で、制御部５０は、視線位置が第２表示領域２１（ｇ）から所定距離ｄ２だけ離れたことを契機に、該オブジェクト２０１を非表示にする。
　このように、電子機器１は、視線位置が表示領域２１の内の第１表示領域２１（ｆ）から第２表示領域２１（ｇ）へ移動したことを契機に、該第２表示領域２１（ｇ）に第１画像を表示する構成を有する。従って、表示領域２１においてユーザが視認している位置の近くに有用な情報を表示させることができる。また、電子機器１は、第１画像が表示された状態で、視線位置が第２表示領域２１（ｇ）から所定距離ｄ２だけ離れたことを契機に、該第１画像を非表示にする構成を有する。従って、視線位置が第２表示領域２１（ｇ）の範囲を超えて該第２表示領域２１（ｇ）外へ移動したのみでは第１画像が非表示となることがない。
　次に、電子機器１の表示部２０の他の表示態様について説明する。図８Ａ，図８Ｂは、電子機器１の表示部２０の表示態様の他の一例を示す図である。図８Ａ，図８Ｂに示す例では、視線位置が入ると第１画像を表示する第１範囲と、該第１範囲を包含しかつ該第１範囲よりも大きい第２範囲と、が規定されている。第１範囲は、表示領域２１において破線で分断される２つの領域の内の右側の領域２１（ｈ）（図８Ａに図示）である。第２範囲は、表示領域２１において破線で分断される２つの領域の内の右側の領域２１（ｉ）（図８Ｂに図示）である。このように、第２範囲２１（ｉ）は、第１範囲２１（ｈ）を包含しかつ該第１範囲２１（ｈ）よりも大きい。
　図８Ａに示すように、制御部５０は、視線位置が第１範囲２１（ｈ）外から第１範囲２１（ｈ）内へ移動したことを推定し、これを契機に、該第１範囲２１（ｈ）にオブジェクト２０１を表示させる。このような構成を有することにより、表示領域２１においてユーザが視認している位置の近くに有用な情報を表示させることができる。なお、視線位置が移動する前においては、オブジェクト２０１が表示されておらず、図６Ａに示す状態と同様となるため、図示を省略する。
　次に、図８Ｂに示すように、オブジェクト２０１が表示されている状態で、制御部５０は、視線位置が第２範囲２１（ｉ）外へ移動したことを契機に、該オブジェクト２０１を非表示にする。このような構成を有することにより、視線位置を多少動かしても第１画像が非表示となることがない。
　次に、電子機器１の表示部２０の他の表示態様について説明する。図９Ａ，図９Ｂは、電子機器１の表示部２０の表示態様の他の一例を示す図である。図９Ａに示すように、制御部５０は、視線位置が位置１０１から位置１０２へ移動したことを推定し、これを契機に、表示領域２１にオブジェクト２０１である第１画像が表示されている状態が示されている。なお、視線位置が移動する前においては、オブジェクト２０１が表示されておらず、図６Ａに示す状態と同様となるため、図示を省略する。
　図９Ａにおいて、制御部５０は、視線位置が位置１０１から位置１０２へ移動する方向である第１方向に基づいて、表示領域２１における第１方向側にオブジェクト２０１を表示する。このとき、制御部５０は、視線位置の第１方向への移動距離ｄ５である第１距離を算出する。移動距離ｄ５は、例えば、視線位置の一連の移動における始点と終点とを結んだ仮想線の長さとしてよい。また、視線位置の一連の移動は、例えば、視線位置が所定時間変動しなかった状態から視線移動の推定或いは検出を開始し、移動後、視線位置が所定時間変動しなかった場合になされたものと見なしてよい。
　次に、図９Ｂに示すように、オブジェクト２０１である第１画像が表示されている状態で、視線位置が、図９Ａにおいて移動した第１方向とは反対方向である第２方向へ、移動距離ｄ５である第１距離よりも長い移動距離ｄ６である第２距離を制御部５０が推定すると、これを契機に、該オブジェクト２０１が非表示となる。
　また、実際の視線移動の移動方向を第１方向とするのではなく、例えば、移動方向を左右上下の４方向に規定し、実際の視線移動のベクトル成分を４方向に分解し、該４方向の内、最も移動した成分が大きい方向を第１方向と規定してもよい。即ち、図９Ａ，図９Ｂで例えると、制御部５０は、位置１０１から位置１０２への視線位置の移動ベクトルを左右上下の４方向に分解し、最も移動した成分が大きかった方向として、移動距離ｄ’５の右方向の移動成分を抽出する。一方、制御部５０は、オブジェクト２０１が表示されている状態で、視線位置の移動を推定或いは検出したときには、視線位置の移動ベクトルから、移動距離ｄ’６の左方向の移動成分を抽出する。そして、制御部５０は、移動距離ｄ’５と移動距離ｄ’６とを比較し、移動距離ｄ’６が移動距離ｄ’５よりも大きい場合にはオブジェクト２０１を非表示とする処理を行う。
　このように、電子機器１は、視線位置が第１方向へ第１距離移動したことを契機に、表示領域２１における第１方向側に第１画像を表示する構成を有する。従って、表示領域２１においてユーザが視認している位置の近くに有用な情報を表示させることができる。また、電子機器１は、第１画像が表示された状態で、視線位置が第１方向とは反対側の第２方向へ第１距離よりも長い第２距離移動したことを契機に該第１画像を非表示にする構成を有する。従って、視線位置を動かしても第１画像が非表示となることがない。
　次に、電子機器１の表示部２０の他の表示態様について説明する。図１０Ａ，図１０Ｂ，図１０Ｃ，図１０Ｄは、電子機器１の表示部２０の表示態様の他の一例を示す図である。図１０Ａでは、視線位置が位置１０１から位置１０２へ移動したことを制御部５０が推定し、これを契機に、表示領域２１にオブジェクト２０１である第１画像が表示されている状態が示されている。オブジェクト２０１を表示するための視線移動の条件は、上述した図６Ａ，図６Ｂ－１，図６Ｂ－２，図６Ｃ，図７Ａ，図７Ｂ，図８Ａ，図８Ｂ，図９Ａ，図９Ｂに示す例のいずれかを採用してよい。言い換えると、図１０Ａ，図１０Ｂ，図１０Ｃ，図１０Ｄに示す例は、図６Ａ，図６Ｂ－１，図６Ｂ－２，図６Ｃ，図７Ａ，図７Ｂ，図８Ａ，図８Ｂ，図９Ａ，図９Ｂに示す例のいずれかと組み合わせることができる。また、図１０Ａに示すように、オブジェクト２０１が表示された状態で、視線位置１０２は、オブジェクト２０１、例えば歩行案内をユーザに提供するための画像におけるユーザが任意に設定した出発地「○○駅」を示す表示領域２０１（ａ）に位置する。
　次に、図１０Ｂに示すように、視線位置が、表示領域２０１（ａ）から、表示領域２０１（ｂ）、例えば曲がり角等のルート途中の案内ポイントを提示する領域へ移動すると、表示領域２０１（ｂ）の表示内容、例えば曲がり角の情報に関連して、実際の風景写真に曲がるべき方向を重畳させたオブジェクト２０２、若しくは単に地図画像である第２画像が表示される。即ち、制御部５０は、表示領域２１におけるオブジェクト２０１である第１画像の領域以外の領域に、該オブジェクト２０１である第１画像に関連するオブジェクト２０２である第２画像を表示する。
　次に、図１０Ｃに示すように、視線位置が、表示領域２０１（ｂ）から、表示領域２０１（ｃ）、例えば表示領域２０１（ｂ）に示される案内ポイントの次の案内ポイントへ移動すると、オブジェクト２０２である第２画像の表示内容が、表示領域２０１（ｂ）に関連する内容から表示領域２０１（ｃ）に関連する内容に変更される。
　このとき、オブジェクト２０１である第１画像において、視線位置が位置１０１から位置１０２へ移動したときの方向である第１方向と交差する方向、言い換えると図６Ｂ－１に示す例における第１方向に該当する方向、へ移動したことを契機に、オブジェクト２０２である第２画像の表示内容を変更する構成としてもよい。即ち、図６Ｂ－１に示す例のように、推定した視線位置の移動方向である、図６Ｂ－１における第１方向に基づいて、表示領域２１における右方向側である第１方向側にオブジェクト２０１を表示する場合には、第１方向と交差する方向である上下方向への視線位置の移動に基づいて、オブジェクト２０２である第２画像の表示内容を変更する構成としてよい。このような構成により、オブジェクト２０１である第１画像を表示させるための視線移動によって、オブジェクト２０２である第２画像の表示内容が誤って変更されてしまわずに済む。
　なお、必ずしも、視線動作によってオブジェクト２０２である第２画像の表示内容を変更する構成である必要はない。例えば、オブジェクト２０２である第２画像が表示されている状態で、前述した操作部３０に対する所定の接触操作に応じてオブジェクト２０２である第２画像の表示内容を変更される構成であってもよい。
　ここで、上述した図６Ｃに示す例の、視線位置が、オブジェクト２０１である第１画像から離れる方向に向かって、第１画像の領域から所定距離ｄ１だけ離れたことを契機に、該第１画像を非表示とする構成における、「所定距離」は、オブジェクト２０２である第２画像の大きさに基づいて設定されてもよい。
　また、図７Ａに示す例の、視線位置が、表示領域２１の内の第１表示領域２１（ｆ）から第２表示領域２１（ｇ）へ移動したことを契機に、該第２表示領域２１（ｇ）にオブジェクト２０１である第１画像を表示し、図７Ｂに示す例の、視線位置が第２表示領域２１（ｇ）から所定距離ｄ２だけ離れたことを契機に、該第１画像を非表示とする構成における、「所定距離」は、オブジェクト２０２である第２画像の大きさに基づいて設定されてもよい。
　例えば、図１０Ｄに示すように、視線位置が、オブジェクト２０２である第２画像を超えてオブジェクト２０１である第１画像から遠ざかる位置に移動する程度の長さを所定距離ｄ７として設定してよい。
　また、所定距離は、オブジェクト２０２である第２画像として表示される表示内容に応じて変更されてもよい。例えば、オブジェクト２０２である第２画像の表示内容が文字情報を所定割合以上含む場合に、文字情報を所定割合未満しか含まない場合と比較して、長く設定されるようにしてもよい。ユーザがオブジェクト２０２である第２画像を視認する場合、オブジェクト２０２である第２画像が、文字情報を含まないイメージのみであれば、該イメージにおける、オブジェクト２０１である第１画像に近い一部のみを視ても概要を把握することができる。言い換えると、このような場合、短距離の視線移動で概要を把握することができる。そして、オブジェクト２０２である第２画像の一部を視認し、オブジェクト２０２が所望とする表示内容であれば、ユーザは、視線をオブジェクト２０１である第１画像に戻し、次いで、例えば、複数回の瞬き、図５におけるパターン４を行うことで、オブジェクト２０２の表示内容の選択決定、或いは、オブジェクト２０２の表示の維持等を実行させてもよい。一方、オブジェクト２０２である第２画像が、文字情報を含むものであれば、概要を把握するためにより広範囲の視線移動を要するかもしれない。言い換えると、概要を把握するために長距離の視線移動が求められる。この場合、仮に、オブジェクト２０１である第１画像を非表示とするために要する視線移動距離の所定距離が短いと、オブジェクト２０２である第２画像の概要を把握しようと視線を移動させることによって、オブジェクト２０１である第１画像が非表示となってしまい、結果、煩わしい操作となってしまうかもしれない。
　このように、オブジェクト２０２である第２画像の表示内容が文字情報を含むか否か、或いは文字情報がどの程度の割合で含まれるのかによって、オブジェクト２０１である第１画像を非表示とするために要する適切な視線移動距離の所定距離が異なる可能性がある。これに対し電子機器１では、オブジェクト２０２である第２画像の表示内容が文字情報を含むか否か、或いは文字情報がどの程度の割合で含まれるのかによって、オブジェクト２０１である第１画像を非表示とするために要する視線移動距離を適宜変更してもよい。従って、ユーザにとって煩わしさが感じさせない視線移動操作を実現することができる。
　また、所定距離は、ユーザによって設定可能であってもよい。
　以上に、本出願を諸図面や実施形態に基づき説明してきたが、本出願はこれに限定されない。例えば、電子機器は、表示部と、ユーザの視線の移動動作を検出する検出部と、前記検出部の検出結果に基づいて、前記表示部の表示領域におけるユーザの視線位置を推定する制御部と、を備え、前記制御部は、前記視線位置が所定方向へ移動したことを契機に、前記表示領域における前記所定方向側に第１画像を表示するものであってよい。また、前記第１画像の領域が前記表示部の表示領域に対して占める割合が所定値未満の場合、前記視線位置が該第１画像の領域から所定距離だけ離れたことを契機に、該第１画像を非表示にするものであってよい。また、前記第１画像の領域が前記表示部の表示領域に対して占める割合が所定値以上の場合、前記視線位置が該第１画像の領域内から領域外へ移動したことを契機に、該第１画像を非表示にするものであってもよい。
　ここで、前記第１画像の領域が前記表示部の表示領域に対して占める割合が所定値以上の場合とは、例えば、前記第１画像の領域が前記表示部の表示領域に対して占める割合が５０％以上でありかつ前記表示領域の中心領域を含んでいる場合である。
　また、上記の実施例では、視線位置の移動に基づいて、第１画像の表示を行う構成を説明してきたが、このような構成に限定されず、例えば、外部装置との通信によって所定の情報を受信したことを契機に、該情報に関連する第１画像を表示する構成であってよい。また、第１画像は、常時表示されるものであってもよい。
　また、上記の実施例では、視線位置の移動に基づいて第１画像を非表示にする構成を説明してきた。なお、本明細書で開示される電子機器１では、このような構成に加えて、第１画像が表示されてから所定時間後に該第１画像を非表示にする構成をさらに有していてもよい。
　本出願を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本出願の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。
　上記の実施形態では、電子機器１が、眼鏡形状或いはゴーグル形状のような形状を有する例を示してきたが、電子機器１の形状はこれに限定されない。例えば、電子機器１は、図１１Ａに示すように、ユーザの頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していてもよい。或いは、電子機器１は、図１１Ｂに示すように、ユーザの顔面のほぼ全体を覆うようなマスクタイプの形状を有していてもよい。
　また、上記の実施形態では、表示部２０がユーザの左右の目の前に設けられる一対の表示部２０ａ、２０ｂを有している構成を例示してきたが、これに限定されず、表示部２０は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であってもよい。
　また、上記の実施形態では、正面部の縁部が、表示部２０の表示領域２１の縁の全周を囲っている構成を例示してきたが、これに限定されず、表示部２０の表示領域２１の縁の一部のみを囲っている構成であってもよい。
　１　　電子機器
　１０　装着部
　１１　正面部
　１２　側面部
　１３　側面部
　２０　表示部
　３０　操作部
　４０　検出部
　５０　制御部
　６０　記憶部
　７０　通信部

Claims (21)

  1. 　表示部と、
    　ユーザの視線の移動動作に基づいて、前記表示部の表示領域におけるユーザの視線位置を推定する制御部と、を備え、
    　前記制御部は、前記表示領域に第１画像が表示された状態で、前記視線位置が、該第１画像から離れる方向に向かって、前記第１画像の領域から所定距離だけ離れたことを契機に、該第１画像を非表示にする
    　電子機器。
  2. 　前記制御部は、前記視線位置が第１方向へ移動したことを契機に、前記表示領域における前記第１方向側に前記第１画像を表示する
    　請求項１に記載の電子機器。
  3. 　前記制御部は、前記第１画像が表示されてから所定時間後に該第１画像を非表示にする
    　請求項２に記載の電子機器。
  4. 　第１表示領域と第２表示領域とを有する表示部と、
    　ユーザの視線の移動動作に基づいて、前記表示部におけるユーザの視線位置を推定する制御部と、を備え、
    　前記制御部は、前記第２表示領域に第１画像が表示された状態で、前記視線位置が前記第２表示領域から所定距離だけ離れたことを契機に、該第１画像を非表示にする
    　電子機器。
  5. 　前記制御部は、前記視線位置が前記第１表示領域から前記第２表示領域へ移動したことを契機に、該第２表示領域に第１画像を表示する
    　請求項４に記載の電子機器。
  6. 　前記制御部は、前記第１画像が表示されてから所定時間後に該第１画像を非表示にする
    　請求項５に記載の電子機器。
  7. 　前記制御部は、前記表示領域における前記第１画像の領域以外の領域に、該第１画像に関連する第２画像を表示する
    　請求項１から６の何れか一項に記載の電子機器。
  8. 　前記所定距離は、前記第２画像の大きさに基づいて設定される
    　請求項７に記載の電子機器。
  9. 　前記所定距離は、前記第２画像として表示される表示内容に応じて変更される
    　請求項８に記載の電子機器。
  10. 　前記所定距離は、前記表示内容が文字情報を所定割合以上含む場合に、前記表示内容が文字情報を所定割合未満しか含まない場合と比較して、長く設定される
    　請求項９に記載の電子機器。
  11. 　前記所定距離は、ユーザによって設定可能である
    　請求項１から７の何れか一項に記載の電子機器。
  12. 　前記制御部は、前記表示領域における前記第１画像の領域以外の領域に、該第１画像に関連する第２画像を表示し、
    　前記第１画像の領域中において、前記視線位置が前記第１方向と交差する方向へ移動したことを契機に、前記第２画像の表示内容を変更する
    　請求項２に記載の電子機器。
  13. 　表示部と、
    　ユーザの視線の移動動作に基づいて、前記表示部の表示領域におけるユーザの視線位置を推定する制御部と、を備え、
    　前記制御部は、前記表示領域中において、第１範囲と、該第１範囲を包含しかつ該第１範囲よりも大きい第２範囲と、を設定し、
    　前記第１範囲内に前記第１画像が表示された状態で、前記視線位置が前記第２範囲外へ移動したことを契機に、該第１画像を非表示にする
    　電子機器。
  14. 　前記制御部は、前記視線位置が前記第１範囲外から該第１範囲内へ移動したことを契機に、該第１範囲内に第１画像を表示する
    　請求項１３に記載の電子機器。
  15. 　表示部と、
    　ユーザの視線の移動動作に基づいて、前記表示部の表示領域におけるユーザの視線位置を推定する制御部と、を備え、
    　前記制御部は、前記視線位置が第１方向へ第１距離移動したことを契機に、前記表示領域における前記第１方向側に第１画像を表示し、
    　前記第１画像が表示された状態で、前記視線位置が前記第１方向とは反対側の第２方向へ前記第１距離よりも長い第２距離移動したことを契機に該第１画像を非表示にする
    　電子機器。
  16. 　前記制御部は、前記第１画像が表示されてから所定時間後に該第１画像を非表示にする
    　請求項１４又は１５に記載の電子機器。
  17. 　第１画像を表示する表示部と、
    　ユーザの視線の移動動作に基づいて、前記表示部の表示領域におけるユーザの視線位置を推定する制御部と、を備え、
    　前記制御部は、前記第１画像の領域が前記表示領域に対して占める割合が所定値未満の場合に、前記視線位置が該第１画像の領域から所定距離だけ離れたことを契機に、該第１画像を非表示にする
    　電子機器。
  18. 　前記制御部は、前記第１画像の領域が前記表示領域に対して占める割合が所定値以上の場合に、前記視線位置が該第１画像の領域内から領域外へ移動したことを契機に、該第１画像を非表示にする
    　請求項１７に記載の電子機器。
  19. 　前記第１画像の領域が前記表示部の表示領域に対して占める割合が所定値以上の場合とは、前記第１画像の領域が前記表示部の表示領域に対して占める割合が５０％以上でありかつ前記表示領域の中心領域を含んでいる場合である
    　請求項１８に記載の電子機器。
  20. 　前記制御部は、前記視線位置が所定方向へ移動したことを契機に、前記表示領域における前記所定方向側に第１画像を表示する
    　請求項１７から１９の何れか一項に記載の電子機器。
  21. 　前記制御部は、前記第１画像が表示されてから所定時間後に該第１画像を非表示にする
    　請求項２０に記載の電子機器。
PCT/JP2016/052525 2015-01-29 2016-01-28 電子機器 WO2016121883A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/547,255 US20180004288A1 (en) 2015-01-29 2016-01-28 Electronic device
JP2016572152A JP6348191B2 (ja) 2015-01-29 2016-01-28 電子機器
US16/574,022 US11112866B2 (en) 2015-01-29 2019-09-17 Electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-015700 2015-01-29
JP2015015700 2015-01-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/547,255 A-371-Of-International US20180004288A1 (en) 2015-01-29 2016-01-28 Electronic device
US16/574,022 Continuation US11112866B2 (en) 2015-01-29 2019-09-17 Electronic device

Publications (1)

Publication Number Publication Date
WO2016121883A1 true WO2016121883A1 (ja) 2016-08-04

Family

ID=56543488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052525 WO2016121883A1 (ja) 2015-01-29 2016-01-28 電子機器

Country Status (3)

Country Link
US (2) US20180004288A1 (ja)
JP (1) JP6348191B2 (ja)
WO (1) WO2016121883A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026130A1 (ja) * 2017-07-31 2019-02-07 日本電気株式会社 作業支援装置、作業支援方法、プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6460255B2 (ja) * 2015-10-19 2019-01-30 富士通株式会社 作業支援システム、作業支援方法および作業支援プログラム
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US11205426B2 (en) * 2017-02-27 2021-12-21 Sony Corporation Information processing device, information processing method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222287A (ja) * 1997-02-10 1998-08-21 Sony Corp 情報入力装置
JP2000089884A (ja) * 1998-09-09 2000-03-31 Hitachi Business Solution Kk 情報処理システム
JP2009015610A (ja) * 2007-07-05 2009-01-22 Yahoo Japan Corp ページアクション起動装置、ページアクション起動制御方法、および、ページアクション起動制御プログラム
WO2014125823A1 (ja) * 2013-02-15 2014-08-21 株式会社デンソー 文字入力装置、および文字入力方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5613025B2 (ja) 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
US10469916B1 (en) * 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
EP3007048A4 (en) 2013-05-29 2017-01-25 Mitsubishi Electric Corporation Information display device
JP6004103B2 (ja) 2013-06-25 2016-10-05 富士通株式会社 情報処理装置およびプログラム
JP2016115965A (ja) * 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222287A (ja) * 1997-02-10 1998-08-21 Sony Corp 情報入力装置
JP2000089884A (ja) * 1998-09-09 2000-03-31 Hitachi Business Solution Kk 情報処理システム
JP2009015610A (ja) * 2007-07-05 2009-01-22 Yahoo Japan Corp ページアクション起動装置、ページアクション起動制御方法、および、ページアクション起動制御プログラム
WO2014125823A1 (ja) * 2013-02-15 2014-08-21 株式会社デンソー 文字入力装置、および文字入力方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026130A1 (ja) * 2017-07-31 2019-02-07 日本電気株式会社 作業支援装置、作業支援方法、プログラム
JPWO2019026130A1 (ja) * 2017-07-31 2020-02-27 日本電気株式会社 作業支援装置、作業支援方法、プログラム

Also Published As

Publication number Publication date
US11112866B2 (en) 2021-09-07
US20180004288A1 (en) 2018-01-04
JP6348191B2 (ja) 2018-06-27
US20200057494A1 (en) 2020-02-20
JPWO2016121883A1 (ja) 2017-08-31

Similar Documents

Publication Publication Date Title
US10620699B2 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
US10591729B2 (en) Wearable device
KR20230066626A (ko) 증강 현실에서 인터랙티브 게임 제어를 위한 손 제스처들의 추적
US11112866B2 (en) Electronic device
JP6367673B2 (ja) 電子機器
US20140256429A1 (en) Image display system and head-mounted display device
CN105612478A (zh) 用户接口程序化的缩放
US20170038838A1 (en) Information processing system and information processing method
US20160358380A1 (en) Head-Mounted Device and Method of Enabling Non-Stationary User to Perform 3D Drawing Interaction in Mixed-Reality Space
KR20220024906A (ko) 연속 카메라 캡처를 위한 듀얼 카메라들의 활용
JP2015225374A (ja) 情報処理装置、方法及びプログラム並びに記録媒体
CN115917465A (zh) 使用卷帘快门相机的视觉惯性追踪
JP2006276748A (ja) 情報呈示装置、情報呈示方法、及びコンピュータプログラム
CN115598842A (zh) 提升用户体验和注视互动准确度的光学系统和相关方法
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US11125997B2 (en) Information processing apparatus, information processing method, and program
JP6670965B2 (ja) 表示システム及び表示方法
JP6686319B2 (ja) 画像投影装置及び画像表示システム
US10691250B2 (en) Information processing device, information processing method, and program for preventing reflection of an operation in an output
JP2014235437A (ja) 表示装置及びプログラム
JP6713591B1 (ja) 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN117289789A (zh) 使用头部姿势来控制设备设置
JP2011197750A (ja) 入力装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16743486

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016572152

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15547255

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16743486

Country of ref document: EP

Kind code of ref document: A1