WO2013179426A1 - 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体 - Google Patents

表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体 Download PDF

Info

Publication number
WO2013179426A1
WO2013179426A1 PCT/JP2012/063985 JP2012063985W WO2013179426A1 WO 2013179426 A1 WO2013179426 A1 WO 2013179426A1 JP 2012063985 W JP2012063985 W JP 2012063985W WO 2013179426 A1 WO2013179426 A1 WO 2013179426A1
Authority
WO
WIPO (PCT)
Prior art keywords
guidance
image
line
sight
user
Prior art date
Application number
PCT/JP2012/063985
Other languages
English (en)
French (fr)
Inventor
明 後藤田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2012/063985 priority Critical patent/WO2013179426A1/ja
Priority to JP2014518157A priority patent/JPWO2013179426A1/ja
Publication of WO2013179426A1 publication Critical patent/WO2013179426A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present invention relates to a technical field of a display device that allows a user to visually recognize only an image in a direction in which a line of sight is directed.
  • Patent Document 1 discloses a display device that can display an image only in a direction in which the user turns his / her line of sight by setting a light condensing point corresponding to an image to be displayed at a substantially center of the eyeball (hereinafter, referred to as a display device). Is referred to as “a gaze direction-dependent display device”).
  • a display device Is referred to as “a gaze direction-dependent display device”.
  • a gaze direction-dependent display device In the line-of-sight-dependent display device, by setting the focal point at the approximate center of the eyeball, only the light in the line-of-sight direction passes through the pupil, so that only the image in the line-of-sight direction is visible.
  • the gaze direction-dependent display device as described above, an image in the gaze direction can be seen, but an image other than the gaze direction cannot be seen. For this reason, the information presented on the display device may not be appropriately provided to the user.
  • Examples of the problem to be solved by the present invention include the above. It is an object of the present invention to provide a display device, a head mounted display, a display method and a display program, and a recording medium that allow a user to appropriately view information by performing line-of-sight guidance.
  • the light corresponding to the image to be displayed is condensed at a position between the user's pupil and the retina, and the information is additionally presented to the real environment visually recognized by the user.
  • a line-of-sight guidance means for displaying a guidance image is provided.
  • a head that condenses light corresponding to an image to be displayed at a position between the user's pupil and the retina, and additionally presents information to the real environment visually recognized by the user.
  • the mount display guides the user's line of sight to the guidance point using the position of the object existing in the real environment or the position of the information displayed for the object existing in the real environment as the guidance point.
  • Eye gaze guidance means for displaying a guidance image of
  • the light corresponding to the image to be displayed is condensed at a position between the user's pupil and the retina, and information is additionally presented to the real environment visually recognized by the user.
  • the display method executed by the apparatus is configured to guide the user's line of sight using a position of an object existing in the real environment or a position of information displayed for the object existing in the real environment as a guide point.
  • a line-of-sight guidance step of displaying a guidance image for guiding to a point is provided.
  • the invention according to claim 23 has a computer and collects light corresponding to the image to be displayed at a position between the pupil and the retina of the user, and provides information on the real environment visually recognized by the user.
  • the display program executed by the display device that additionally presents the position of the object existing in the real environment or the position of the information displayed for the object existing in the real environment as the guidance point.
  • the computer is caused to function as line-of-sight guidance means for displaying a guidance image for guiding the line of sight to the guidance point.
  • the invention described in claim 24 is characterized in that the display medium according to claim 23 is recorded on a recording medium.
  • FIG. 1 shows a schematic configuration of a head mounted display (HMD). It is a block diagram which shows the structure of a control part. The figure for demonstrating the problem of the conventional gaze direction dependence type display apparatus is shown. It is a figure which shows the 1st example of a display of a guidance image. It is a figure which shows the 2nd example of a display of a guidance image. It is a figure which shows the 3rd example of a display of a guidance image. It is a figure which shows the 4th example of a display of a guidance image. It is a figure which shows the 1st example regarding completion
  • a display device that condenses light corresponding to an image to be displayed at a position between a user's pupil and a retina and additionally presents information to a real environment visually recognized by the user Is a guidance for guiding the user's line of sight to the guidance point using the position of the object existing in the real environment or the position of the information displayed for the target object existing in the real environment as a guidance point.
  • Eye gaze guiding means for displaying an image is provided.
  • the above display device causes the image to be visually recognized by condensing light corresponding to the image to be displayed at a position between the user's pupil and the retina (for example, approximately the center of the eyeball). That is, the display device is a gaze direction-dependent display device. Further, the display device is configured to be able to realize AR (Augment Reality) that additionally presents information to the real environment visually recognized by the user. In such a gaze direction-dependent display device, since an image other than the gaze direction cannot be seen by the user, there is a problem that the user can easily miss information presented by the device. Therefore, the line-of-sight guidance means displays a guidance image for guiding the user's line of sight at a guidance point that is a position where the user's line of sight should be directed.
  • AR Augment Reality
  • the guidance point is a position of an object existing in the real environment or a position of information displayed for the object existing in the real environment. According to the display device described above, by guiding the user's line of sight, it is possible to cause the user to appropriately visually recognize the target object existing in the real environment and the information displayed on the target object.
  • the line-of-sight guidance unit displays an image as the guidance image that is reduced in size toward the guidance point as time passes.
  • the line-of-sight guidance means sets a size according to a distance between the guidance point and a position of an end farthest from the guidance point in the display area of the display device.
  • the initial size is set, and the size of the guide image is reduced from the initial size.
  • the line-of-sight guidance unit displays an image having a spatial change according to the distance to the guidance point as the guidance image. Also by this, a user's eyes
  • the spatial change is a change in brightness according to the distance to the guidance point.
  • the spatial change is a color change according to a distance to the guidance point.
  • the spatial change is a change in image density according to a distance to the guidance point.
  • the change in the density of the image is a change in the density of line segments or points.
  • the line-of-sight guidance unit displays an image indicating the direction of the guidance point as the guidance image. Also by this, a user's eyes
  • the display device further includes line-of-sight detection means for detecting the line of sight of the user, and the line-of-sight guidance means is only in an area corresponding to the line of sight detected by the line-of-sight direction detection means.
  • the guidance image is displayed. Thereby, it is possible to display a guide image that is easy for the user to visually recognize around the line-of-sight direction.
  • the line-of-sight guidance unit does not display the guidance image in the first area corresponding to the visual recognition area when the line of sight is directed to the guidance point.
  • the guidance image is not visually recognized, so that the user can be appropriately prevented from feeling uncomfortable.
  • the line-of-sight guidance means changes the size of the first area according to the size of the pupil of the user or the brightness around the user. This is because the pupil diameter changes depending on the brightness around the user (the brightness of the ambient light), and the size of the viewing area that defines the first area changes.
  • the line-of-sight guidance unit may reduce the line-of-sight guidance effect of the guidance image as it approaches the first area in the surrounding second area surrounding the first area.
  • the correct image For example, in the second area, the line-of-sight guidance unit decreases the brightness of the guidance image as it approaches the first area. Thereby, it is possible to appropriately cope with a change in the viewing area due to a change in pupil diameter caused by the brightness of the ambient light.
  • the display device further includes a motion detection unit that detects a motion of the user's head, and the line-of-sight guidance unit moves the head toward the guidance point by the motion detection unit.
  • the display of the guidance image is stopped. Thereby, when the user turns his / her face in the direction of the guidance point, the guidance image is not visually recognized, so that it is possible to appropriately suppress the user from feeling uncomfortable.
  • the display device further includes a line-of-sight detection unit that detects the line of sight of the user, and the line-of-sight guidance unit is configured such that the line of sight detected by the line-of-sight detection unit faces the guidance point. Then, the display of the guidance image is stopped. As a result, when the user turns his / her line of sight to the guidance point, the guidance image is not visually recognized, so that it is possible to appropriately suppress the user from feeling uncomfortable.
  • the line-of-sight guidance unit stops displaying the guidance image when the guidance point is located in front of the user's face. Thereby, when the user turns his / her face in the direction of the object corresponding to the guidance point, the guidance image is not visually recognized, so that it is possible to appropriately suppress the user from feeling uncomfortable.
  • the line-of-sight guidance unit can display the guidance image in the entire display area of the display device. Thereby, it is possible to eliminate the line-of-sight direction in which the line-of-sight guidance effect cannot be obtained in the display area.
  • the line-of-sight guidance unit displays the guidance image in a partial area of the display area of the display device.
  • the partial area corresponds to a specific area of the real environment.
  • the line-of-sight guidance means displays the guidance image for each of the plurality of guidance points using the plurality of guidance points located at different locations.
  • visual_axis can be guide
  • a head mount that condenses light corresponding to an image to be displayed at a position between a user's pupil and retina and additionally presents information to the real environment visually recognized by the user.
  • the display is for guiding the user's line of sight to the guidance point using the position of the object existing in the real environment or the position of the information displayed for the object existing in the real environment as a guidance point.
  • a line-of-sight guidance means for displaying a guidance image is provided.
  • light corresponding to an image to be displayed is condensed at a position between the user's pupil and the retina, and information is additionally presented to the real environment visually recognized by the user.
  • the display method executed by the apparatus is configured to guide the user's line of sight using a position of an object existing in the real environment or a position of information displayed for the object existing in the real environment as a guide point.
  • a line-of-sight guidance step of displaying a guidance image for guiding to a point is provided.
  • the computer has a computer and collects light corresponding to an image to be displayed at a position between the user's pupil and the retina to provide information on the real environment visually recognized by the user.
  • the display program executed by the display device that additionally presents the position of the object existing in the real environment or the position of the information displayed for the object existing in the real environment as the guidance point.
  • the computer is caused to function as line-of-sight guidance means for displaying a guidance image for guiding the line of sight to the guidance point.
  • the above display program can be suitably handled in a state of being recorded on a recording medium.
  • FIG. 1 shows a schematic configuration of a head mounted display (hereinafter referred to as “HMD” as appropriate) 10 according to a first embodiment.
  • the HMD 10 mainly includes a display unit 1, a mask 2, a spherical mirror 3, a half mirror 4, and a control unit 5.
  • the HMD 10 is configured to display an image directly on the retina without using the lens function of the eye by using the spherical mirror 3.
  • HMD10 is comprised by the spectacles type, and is used by mounting
  • the HMD 10 is an example of the “display device” in the present invention.
  • the display unit 1 includes an LCD (Liquid Crystal Display), a DLP (Digital Light Processing), an organic EL, and the like, and emits light corresponding to an image to be displayed. Note that a configuration in which light from a laser light source is scanned by a mirror may be applied to the display unit 1.
  • LCD Liquid Crystal Display
  • DLP Digital Light Processing
  • organic EL organic EL
  • the HMD 10 functions as a visual line direction dependent display device. Details of functions and operations of the line-of-sight direction display device are described in, for example, Patent Document 1.
  • the control unit 5 includes a CPU, RAM, ROM, and the like (not shown), and performs overall control of the HMD 10. Although details will be described later, the control unit 5 is an example of the “line-of-sight guidance unit” in the present invention.
  • the present invention is not limited to condensing light corresponding to an image to be displayed at a position substantially at the center of the eyeball. Even if it is not the position of the approximate center of the eyeball, if the light is condensed at a position between the pupil and the retina, the above-described gaze direction dependent display device can be realized.
  • an apparatus using the spherical mirror 3 is illustrated as the visual line direction-dependent display device, but the present invention is an apparatus using a lens instead of the spherical mirror 3 or a hologram element instead of the spherical mirror 3.
  • the present invention can be applied to various devices such as a device using reflection characteristics.
  • FIG. 2 is a block diagram illustrating a configuration of the control unit 5 according to the first embodiment.
  • the control unit 5 includes a guidance point designation unit 5a, a guidance image generation unit 5b, a display image generation unit 5c, and a display composition unit 5d.
  • the control unit 5 performs control to display a guide image for guiding the user's line of sight at a guide point that is a position where the user's line of sight should be directed.
  • the guidance point designation unit 5a designates a point (guidance point) at which the user's line of sight is to be guided. For example, the guidance point designating unit 5a designates the position corresponding to the image to be presented to the user by the HMD 10 as the guidance point.
  • the guidance image generation unit 5b generates a guidance image for guiding the user's line of sight to the guidance point. A specific example of the guide image will be described later.
  • the display image generation unit 5c generates an image (an image different from the guide image) to be presented to the user by the HMD 10. For example, the display image generation unit 5c generates an image such as CG (Computer / Graphics) or a character.
  • CG Computer / Graphics
  • the display composition unit 5d outputs, to the display unit 1, image data obtained by compositing the guide image generated by the guide image generation unit 5b and the image generated by the display image generation unit 5c.
  • FIGS. 3A and 3B show a display area by a line-of-sight direction display device (the same applies to the drawings shown below).
  • a mail arrival notification see reference numeral 21
  • time see reference numeral 22
  • Reference numerals 20a and 20b denote viewing areas corresponding to the field of view according to the user's viewing direction.
  • FIG. 3A when the user looks at the center, the user notices an incoming mail notification.
  • FIG. 3B when the user looks at the upper right to see the time, the user does not notice the incoming notification of the central mail. At this time, even if highlighting is performed by blinking the incoming mail notification, the user does not notice the incoming mail notification because the highlighted display does not enter the user's view.
  • the conventional gaze direction-dependent display device has a problem in that an image other than the gaze direction cannot be seen by the user, so that the user can easily miss the information presented by the device. Therefore, in the first embodiment, the guidance image for guiding the user's line of sight is displayed at the guidance point using the position corresponding to the image to be presented to the user by the HMD 10 as the guidance point.
  • the guide image is generated by the guide image generation unit 5b of the control unit 5.
  • FIGS. 4A to 4D show temporal changes of the guide image 24.
  • FIG. it is assumed that time elapses in the order of FIG. 4A ⁇ FIG. 4B ⁇ FIG. 4C ⁇ FIG.
  • the star indicating the guidance point 23 is shown from the viewpoint of convenience of explanation, and is not actually displayed (in practice, an image generated by the display image generating unit 5 c is displayed).
  • a plurality of thin lines indicating the trajectory of the guide image 24 are also shown from the viewpoint of convenience of explanation, and are not actually displayed. The same shall apply to the drawings shown below for stars and thin lines.
  • the HMD 10 reduces the size toward the guidance point 23 with time as the guidance image 24 and reduces the size of the circle image ( Specifically, it is an image showing a curve (circumference, arc) constituting a circle, and is hereinafter referred to as a “reduced circle”). That is, the HMD 10 displays a reduced circle whose size decreases with time, with the guidance point 23 as a convergence point. By displaying such a reduced circle, it is possible to appropriately guide the user's line of sight regardless of the area where the user can see in the display area. Therefore, intentional information presentation and line-of-sight guidance can be provided to the user.
  • the circle image Specifically, it is an image showing a curve (circumference, arc) constituting a circle, and is hereinafter referred to as a “reduced circle”. That is, the HMD 10 displays a reduced circle whose size decreases with time, with the guidance point 23 as a convergence point.
  • the HMD 10 starts displaying a reduced circle from the position of the edge of the display area. Specifically, the HMD 10 uses the distance between the guidance point 23 and the position of the end farthest from the guidance point 23 in the display area (in the example shown in FIG. 4, the position on the lower left in general) as the initial radius of the reduced circle. A reduced circle whose radius is gradually reduced from the initial radius is displayed. For example, if the radius of the reduced circle as shown in FIG. 4B is set as the initial radius, the reduced circle is not displayed at the lower left end. Therefore, when the user's line of sight is at the end, the line of sight This is because the induction effect cannot be obtained.
  • the HMD 10 sets the distance between the position of the end farthest from the guide point 23 and the guide point 23 to the initial radius of the reduced circle. Thereby, it is possible to eliminate the line-of-sight direction in which the line-of-sight guidance effect cannot be obtained, and to suppress the deterioration of the time efficiency of the line-of-sight guidance effect.
  • the HMD 10 makes the reduction speed substantially constant. By doing so, the same gaze guidance effect can be produced in the entire display area. Further, if the reduction speed is too fast, the user cannot follow the reduction circle with the eyes, and if the reduction speed is too slow, it takes too much time to guide the line of sight. Therefore, it is preferable to set the reduction speed in consideration of these. Specifically, it is preferable to set the reduction speed so that the user can follow the reduction circle with the eye and the time efficiency of the gaze guidance effect is ensured. In another example, the HMD 10 can increase the reduction speed of the reduction circle in an area where the line-of-sight guidance effect is not required. By doing so, it is possible to improve the time efficiency of the gaze guidance effect.
  • the HMD 10 can repeatedly display a reduced circle. Specifically, the HMD 10 repeatedly performs display such that the reduced circle having the initial radius is displayed again and reduced after the reduced circle has converged (the reduced circle once disappears). Can do. Thereby, even when there is a time when the user does not look at the reduced circle due to blinking or the like, the line of sight can be appropriately guided to the guide point 23.
  • an example of reducing a circle image has been shown as a first display example of the guidance image.
  • the shape of the reduced image is not limited to a circle.
  • images of various shapes such as a square, a star, and a character can be reduced toward the guidance point 23.
  • the reduction speed described in the reduction circle can be similarly applied.
  • the reduction speed can be defined as a change speed of a radius of a circle circumscribing an image to be reduced.
  • ( 1-3-2) Second Display Example In the first display example, an image that is temporally changed in the display area is displayed as a guide image, but in the second display example, a space is displayed in the display area. An image having a typical change is displayed as a guide image. Specifically, in the second display example, an image having a spatial change according to the distance to the guidance point 23 is displayed as a guidance image.
  • FIG. 5 is a diagram showing a second display example of the guidance image.
  • the HMD 10 displays an image whose brightness changes toward the guidance point 23 as a guidance image. This image is configured to become brighter as it gets closer to the guidance point 23 and darker as it gets away from the guidance point 23.
  • an image whose brightness changes toward the guidance point 23 is not limited to being displayed as the guidance image. Instead, an image whose color changes toward the guidance point 23 may be displayed as the guidance image. good. For example, it is possible to display an image in which the yellow degree increases as the distance from the guidance point 23 increases, and the blue level increases as the distance from the guidance point 23 increases.
  • (1-3-3) Third Display Example As in the second display example, an image having a spatial change in the display area is displayed as a guide image. However, in the second display example, an image whose brightness or color changes toward the guidance point 23 is displayed as the guidance image. However, in the third display example, the line segment density toward the guidance point 23 is low. A changing image is displayed as a guide image.
  • FIG. 6 is a diagram showing a third display example of the guidance image.
  • the HMD 10 displays an image in which the density of line segments changes toward the guidance point 23 as a guidance image.
  • This image is composed of line segments extending radially from the guide point 23.
  • the density of the line segment increases as the distance from the induction point 23 increases, and the density of the line segment decreases as the distance from the induction point 23 increases.
  • FIG. 6 shows only a part of the line segments constituting the guide image from the viewpoint of convenience of explanation, and actually more line segments are displayed.
  • the number of line segments constituting the guide image is determined so that, for example, at least one line segment can be seen in any line-of-sight direction.
  • the present invention is not limited to displaying an image in which the line segment density changes toward the guide point 23 as the guide image.
  • an image in which the point density changes toward the guide point 23 is displayed. May be displayed as a guide image.
  • the fourth display example is different from the first to third display examples in that an image indicating the direction of the guide point 23 is displayed as a guide image. Specifically, in the fourth display example, an arrow image indicating the direction of the guide point 23 is displayed as a guide image.
  • FIG. 7 is a diagram showing a fourth display example of the guidance image.
  • the HMD 10 displays a plurality of arrow images each pointing in the direction of the guidance point 23 as a guidance image.
  • the plurality of arrow images extend radially from the guidance point 23.
  • FIG. 7 shows only a part of the arrow image constituting the guide image from the viewpoint of convenience of explanation, and more arrow images are actually displayed.
  • the number of arrow images as guide images is determined so that, for example, at least one arrow image can be seen in any line-of-sight direction.
  • an image that is temporally changed in the display area is displayed as a guide image
  • a space is displayed in the display area.
  • An image having a typical change is displayed as a guide image.
  • an image obtained by combining the first display example and the second to fourth display examples, that is, an image having a temporal change and a spatial change in the display area is used as a guide image. Display.
  • a guide image is displayed using one guide point.
  • guide images corresponding to a plurality of guide points using a plurality of guide points. May be displayed. That is, the display example described above can also be applied when performing guidance to a plurality of locations.
  • a circle image reduced circle
  • the guidance point is changed at a certain time or every cycle, and the guidance image corresponding to the guidance point at that time is displayed, that is, time-division display is performed.
  • the guide image is displayed in each of the areas obtained by dividing the display area into the left and right and top and bottom, that is, the space division display is performed.
  • an area 25a in the display area is an area in which no guide image is displayed
  • an area 26a in the display area is an area in which the guide image is displayed.
  • the area 25a corresponds to a visual recognition area when a line of sight is directed to the guidance point 23.
  • the area 25a is an example of the “first area” in the present invention.
  • the HMD 10 does not display a line-of-sight image in an area 25 a corresponding to the visual recognition area when the user's line of sight is at the guidance point 23. Accordingly, when the user moves his / her line of sight to the guidance point 23, the guidance image is not visually recognized, that is, the display of the guidance image is terminated, so that the user can appropriately suppress the user from feeling uncomfortable. it can. On the other hand, when the user's line of sight is different from the guidance point 23, the user can appropriately guide the line of sight by causing the user to visually recognize the guidance image.
  • the size of the area 25a where the guide image is not displayed may be changed according to the pupil diameter of the user. This is because the size of the viewing area that defines the area 25a varies depending on the pupil diameter.
  • the HMD 10 can detect the pupil diameter of the user by a known method, estimate the viewing area based on the detected pupil diameter, and set the size of the area 25a according to the estimated viewing area.
  • the HMD 10 can detect the brightness of the ambient light, estimate the viewing area corresponding to the pupil diameter based on the detected brightness, and set the size of the area 25a according to the estimated viewing area.
  • the fluctuation of the viewing area due to the change in the pupil diameter caused by the brightness of the ambient light, etc. is considered, and the surrounding area surrounding the area where the guide image is not displayed is considered.
  • the area (hereinafter referred to as “buffer area”) is different from the first example in that a guidance image that gradually reduces the line-of-sight guidance effect is displayed.
  • the display of the guide image is switched on and off by using the area 25a where the guide image is not displayed and the area 26a where the guide image is displayed, but in the second example, By using a buffer area provided between the area where the guide image is not displayed and the area where the guide image is displayed, the display of the guide image is gradually switched from the on state to the display state of the guide image.
  • FIG. 9 is a diagram showing a second example regarding the end of the line-of-sight guidance.
  • an area 25b in the display area is an area in which no guide image is displayed
  • an area 26b in the display area is an area in which the guide image is displayed
  • an area 26c in the display area is the buffer area described above.
  • a guidance image having a normal gaze guidance effect is displayed in the area 26b
  • a guidance image having a gaze guidance effect lower than that in the area 26b is displayed in the buffer area 26c.
  • the buffer area 26c is an example of the “second area” in the present invention, and the size is set according to the fluctuation range of the viewing area due to the change in pupil diameter caused by the brightness of the ambient light and the like.
  • the HMD 10 displays a guide image in which the line-of-sight guidance effect gradually decreases as the line of sight approaches the area 25b where the guide image is not displayed.
  • the HMD 10 lowers the brightness of the guide image, thins the line segment constituting the guide image, or increases the speed at which the guide image is reduced compared to the area 26b.
  • the HMD 10 ends the display of the guide image when a predetermined time has elapsed since the guide image was displayed.
  • Such a third example may be implemented in place of the first and second examples described above, or may be implemented in combination with the first or second example.
  • the HMD 10 ends the display of the guidance image when a predetermined time has elapsed since the movement of the user's head toward the guidance point 23 has occurred. Specifically, in the fourth example, the HMD 10 detects the movement of the user's head based on the output of a sensor such as a camera, an acceleration sensor, or a gyro sensor. Then, when the head movement toward the guidance point 23 is detected, the HMD 10 ends the display of the guidance image when a predetermined time has elapsed after the detection.
  • a sensor such as a camera, an acceleration sensor, or a gyro sensor.
  • the fourth example may be implemented in place of the first to third examples described above, or may be implemented in combination with the first to third examples as appropriate.
  • the HMD 10 ends the display of the guidance image when the user's line of sight faces the guidance point 23. Specifically, in the fifth example, the HMD 10 detects the user's line of sight using a known method, and ends the display of the guidance image when the detected line of sight faces the guidance point 23.
  • the fifth example may be implemented in place of the first to fourth examples described above, or may be implemented in combination with the first to fourth examples as appropriate.
  • the configuration for guiding the user's line of sight to the guidance point 23 as shown in the first embodiment is an AR (Augment Reality) that presents additional information such as CG and characters to the real environment. ).
  • AR system a configuration capable of realizing the AR is appropriately referred to as an “AR system”.
  • the real environment in front and the display image can be simultaneously viewed by the half mirror 4. Therefore, by providing means (for example, a camera) that detects an object or the like that actually exists in the real environment, an image that matches the object can be displayed. That is, an AR system can be realized.
  • means for example, a camera
  • FIG. 10A shows images 30a to 30c displayed by the display unit 1 of the HMD 10, and FIG. 10B is visually recognized in the viewing area 31 when the images 30a to 30c are displayed. The image is shown. In this case, only the image 30b is visually recognized.
  • FIG. 10C shows the objects 32a to 32c existing in the real environment
  • FIG. 10D shows an image visually recognized by the AR system. Specifically, FIG. 10D shows a case where images 30a to 30c as shown in FIG. 10A are displayed in the real environment as shown in FIG. The image visually recognized in the visual recognition area 31 as shown is shown. As shown in FIG. 10 (d), according to the AR system, it is possible to display an image 30b that matches the object 32b that exists in the real environment.
  • the gaze direction-dependent display device HMD10
  • the position of the guide point 23 on the display changes depending on the movement of the head or the like.
  • the specific example regarding the gaze guidance in AR system is shown.
  • Gaze guidance in the AR system In the AR system in the gaze direction-dependent display device, it is possible to display the object and information (image) existing in the real environment with their positions aligned. It is also possible to match the guidance point 23 to the position of an object existing in the real environment. Therefore, when a configuration as shown in the first embodiment (specifically, a configuration in which a guidance image for guiding the line of sight to the guidance point 23 is displayed) is applied to the AR system, the position of the object existing in the real environment Alternatively, the position of the display information (image) associated with the object existing in the real environment can be used as the guidance point 23, and a guidance image for guiding the line of sight can be displayed at the guidance point 23. For example, the guidance images as shown in the first to fourth display examples of the first embodiment can be displayed in the same manner.
  • the position of the target object existing in the real environment and the position of the display information (image) associated with the target object present in the real environment are used as the guidance point 23. Then, a guidance image for guiding the line of sight is displayed at such a guidance point 23.
  • the user pays attention to an arbitrary object existing in the real environment the user tends to turn his face toward the object. Therefore, in the AR system with the gaze direction-dependent display device, when the guidance point 23 that is linked to the position of the object existing in the real environment moves near the front of the user's face, the user's gaze is changed to the guidance point 23.
  • the guidance image display is terminated.
  • Gaze guidance termination may be applied to the AR system in the gaze direction-dependent display device.
  • Gaze guidance by area When a plurality of areas are provided in the display area according to a specific area in the real environment and a guidance image is displayed for each area, the gaze guidance to information unnecessary for the user is performed. Can be suppressed. This makes it possible to achieve both efficient line-of-sight guidance and suppression of provision of unnecessary information to the user.
  • FIG. 11 shows a specific example of gaze guidance by area.
  • FIG. 11 illustrates a case where two areas 40a and 40b corresponding to the two guidance points 23a and 23b are provided in the display area.
  • guide images 42a and 42b similar to the guide image 24 shown in the first display example of the first embodiment are displayed, respectively.
  • circle images (reduced circles) that are reduced in size toward the guidance points 23a and 23b with the passage of time are displayed as the guidance images 42a and 42b, respectively.
  • the guide images 42a and 42b are displayed only in the areas 40a and 40b, respectively, and are not displayed overlapping each other.
  • the guide images 42a and 42b as shown in FIG. 11 are effective when applied in a space where objects are classified by type, such as malls and supermarkets, when there are objects or information that the user wants to see. is there.
  • the area 40a is used for the watch shop
  • the guidance point 23a is a position of a product that the user wants the watch shop to see.
  • the area 40b can be used for the clothes shop
  • the guidance point 23b can be the position of the product that the user wants to see at the clothes shop.
  • the watch area guidance image 42a is viewed by the visual recognition area 43 entering the clock shop area 40a.
  • the user's line of sight is guided to the watch shop guidance point 23a, so that the user pays attention to the product at the guidance point 23a.
  • the user's line of sight is not guided to the guide point 23b for the clothes shop.
  • the user's line of sight is appropriately applied to the target object or information to be noticed for each classified space without detecting the line of sight or the like. Can be guided to. Moreover, since the guide image to the target object or information that the user is not interested in cannot be seen by the user, it is possible to appropriately suppress the user from feeling uncomfortable.
  • the display as shown in FIG. 11 can be realized by “three-dimensional real environment information”, “means for detecting the position and orientation relationship between the image and the real environment”, and the like.
  • the “three-dimensional real environment information” includes three-dimensional area information of a clock shop or a clothes shop, a three-dimensional position of a guidance point, display information, and the like.
  • the “means for detecting the position and orientation relationship between the image and the real environment” can be realized using, for example, a captured image of a camera that captures the real environment in front of the user. Using such “means for detecting the position and orientation relationship between the image and the real environment”, “three-dimensional real environment information” may be displayed in association with each area.
  • FIG. 11 shows an example in which two areas 40a and 40b are provided in the display area and two guide images 42a and 42b are displayed. However, three or more areas are provided in the display area.
  • the induced image may be displayed.
  • the present invention is not limited to providing a plurality of areas in the display area to display a plurality of guidance images. Only one area (a part of the display area) is provided in the display area, and only in that area. A guidance image may be displayed.
  • the user's line of sight can be guided using blinking of an LED or the like, vibration, voice, or the like instead of the guidance image.
  • a plurality of LEDs are provided in the display device, and an LED located at a location corresponding to the direction in which the line of sight should be guided blinks, a location of the display device corresponding to the direction in which the line of sight should be guided is vibrated, The sound can be generated from the position of the display device corresponding to the direction in which the signal is to be guided.
  • the present invention is not limited to application to the HMD 10.
  • the present invention can also be applied to a display device such as a head-up display (HUD).
  • HUD head-up display
  • the present invention can be used for display devices such as a head-mounted display and a head-up display.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　表示装置は、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させることで、画像を視認させる。つまり、表示装置は、視線方向依存型の表示装置である。また、表示装置は、ユーザが視認する現実環境に対して情報を付加提示するＡＲを実現可能に構成されている。表示装置の視線誘導手段は、ユーザの視線を向けさせるべき位置である誘導ポイントにユーザの視線を誘導するための誘導画像を表示させる。誘導ポイントは、現実環境に存在する対象物の位置、又は現実環境に存在する対象物に対して表示された情報の位置である。上記の表示装置によれば、ユーザの視線を誘導することで、現実環境に存在する対象物や対象物に対して表示された情報を、ユーザに適切に視認させることが可能となる。

Description

表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
　本発明は、ユーザが視線を向けた方向の画像のみを視認させる表示装置の技術分野に関する。
　この種の技術が例えば特許文献１に記載されている。特許文献１には、表示すべき画像に対応する光の集光点を眼球の略中心に設定することで、ユーザが視線を向けた方向にのみ画像を表示することが可能な表示装置（以下では「視線方向依存型の表示装置」と呼ぶ。）が記載されている。視線方向依存型の表示装置では、集光点を眼球の略中心に設定することで、視線方向の光線のみが瞳孔を通過するため、視線方向の画像のみが視認されることとなる。
特開２００２－９０６８８号公報
　上記したような視線方向依存型の表示装置では、視線方向の画像は見えるが、視線方向以外の画像は見えない。そのため、当該表示装置にて提示した情報を、ユーザに適切に提供することができない場合があった。
　本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、視線誘導を行うことでユーザに情報を適切に視認させることが可能な表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体を提供することを課題とする。
　請求項１に記載の発明では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置は、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備える。
　請求項２１に記載の発明では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示するヘッドマウントディスプレイは、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備える。
　請求項２２に記載の発明では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示方法は、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導工程を備える。
　請求項２３に記載の発明では、コンピュータを有すると共に、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示プログラムは、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段、として前記コンピュータを機能させる。
　請求項２４に記載の発明では、記録媒体は、請求項２３に記載の表示プログラムを記録したことを特徴とする。
ヘッドマウントディスプレイ（ＨＭＤ）の概略構成を示す。 制御部の構成を示すブロック図である。 従来の視線方向依存型の表示装置の問題点を説明するための図を示す。 誘導画像の第１の表示例を示す図である。 誘導画像の第２の表示例を示す図である。 誘導画像の第３の表示例を示す図である。 誘導画像の第４の表示例を示す図である。 視線誘導の終了に関する第１の例を示す図である。 視線誘導の終了に関する第２の例を示す図である。 ＡＲシステムによる表示を説明するための図を示す。 エリア別の視線誘導の具体例を示す。
　本発明の１つの観点では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置は、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備える。
　上記の表示装置は、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置（例えば眼球の略中心）に集光させることで、画像を視認させる。つまり、表示装置は、視線方向依存型の表示装置である。また、表示装置は、ユーザが視認する現実環境に対して情報を付加提示するＡＲ（Augment Reality）を実現可能に構成されている。このような視線方向依存型の表示装置では、視線方向以外の画像がユーザには見えないため、当該装置によって提示された情報をユーザが見逃しやすいといった課題がある。そのため、視線誘導手段は、ユーザの視線を向けさせるべき位置である誘導ポイントにユーザの視線を誘導するための誘導画像を表示させる。誘導ポイントは、現実環境に存在する対象物の位置、又は現実環境に存在する対象物に対して表示された情報の位置である。上記の表示装置によれば、ユーザの視線を誘導することで、現実環境に存在する対象物や対象物に対して表示された情報を、ユーザに適切に視認させることが可能となる。
　上記の表示装置の一態様では、前記視線誘導手段は、前記誘導画像として、時間の経過に伴って前記誘導ポイントに向かってサイズが縮小してく画像を表示させる。これにより、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。
　上記の表示装置において好適には、前記視線誘導手段は、前記誘導ポイントと、前記表示装置の表示エリアにおいて前記誘導ポイントから最も離れた端の位置との距離に応じたサイズを、前記誘導画像の初期サイズとし、当該初期サイズから前記誘導画像のサイズを縮小していく。これにより、視線誘導効果が得られない視線方向を無くすことができると共に、視線誘導効果の時間効率の悪化を抑制することができる。
　上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導画像として、前記誘導ポイントまでの距離に応じた空間的な変化を有する画像を表示させる。これによっても、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。
　好適な例では、前記空間的な変化は、前記誘導ポイントまでの距離に応じた明るさの変化である。好適な他の例では、前記空間的な変化は、前記誘導ポイントまでの距離に応じた色の変化である。また、好適な他の例では、前記空間的な変化は、前記誘導ポイントまでの距離に応じた画像の密度の変化である。例えば、画像の密度の変化は、線分や点の密度の変化である。
　上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導画像として、前記誘導ポイントの方向を指し示す画像を表示させる。これによっても、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。
　上記の表示装置の他の一態様では、前記ユーザの視線を検出する視線検出手段を更に有し、前記視線誘導手段は、前記視線方向検出手段によって検出された前記視線に応じたエリアにのみ、前記誘導画像を表示させる。これにより、視線方向を中心にユーザが視認しやすい誘導画像を表示させることができる。
　上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導ポイントに視線を向けた際の視認エリアに応じた第１エリアに、前記誘導画像を表示させない。これにより、ユーザが誘導ポイントに視線を移動させると、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
　好適には、前記視線誘導手段は、前記ユーザの瞳孔の大きさ又は前記ユーザの周囲の明るさに応じて、前記第１エリアのサイズを変化させる。こうするのは、ユーザの周囲の明るさ（環境光の明るさ）により瞳孔径が変化し、第１エリアを規定する視認エリアの大きさが変化するからである。
　上記の表示装置の他の一態様では、前記視線誘導手段は、前記第１エリアを取り囲む周囲の第２エリアでは、前記第１エリアに近づくほど、前記誘導画像による視線の誘導効果が低下するような画像を表示させる。例えば、前記視線誘導手段は、前記第２エリアでは、前記第１エリアに近づくほど、前記誘導画像の明るさを低下させる。これにより、環境光の明るさに起因する瞳孔径の変化による視認エリアの変動に対して、適切に対処することができる。
　上記の表示装置の他の一態様では、前記ユーザの頭部の動きを検出する動き検出手段を更に有し、前記視線誘導手段は、前記動き検出手段によって前記誘導ポイントに向かう前記頭部の動きが検出されてから所定時間が経過した際に、前記誘導画像の表示を停止させる。これにより、ユーザが誘導ポイントの方向に顔を向けた際に、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
　上記の表示装置の他の一態様では、記ユーザの視線を検出する視線検出手段を更に有し、前記視線誘導手段は、前記視線検出手段によって検出された前記視線が前記誘導ポイントに向いた際に、前記誘導画像の表示を停止させる。これにより、ユーザが誘導ポイントに視線を向けた際に、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
　上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導ポイントが前記ユーザの顔の正面に位置した際に、前記誘導画像の表示を停止させる。これにより、誘導ポイントに対応する対象物の方向にユーザが顔を向けた際に、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
　上記の表示装置の他の一態様では、前記視線誘導手段は、前記表示装置の表示エリアの全体に、前記誘導画像を表示させることができる。これにより、表示エリアにおいて視線誘導効果が得られない視線方向を無くすことができる。
　上記の表示装置の他の一態様では、前記視線誘導手段は、前記表示装置の表示エリアの一部のエリアに、前記誘導画像を表示させる。これにより、例えばユーザの興味がない情報についての誘導画像を視認させないことができる。よって、ユーザへの不要な情報の提供を抑制することができる。
　好適には、前記一部のエリアは、前記現実環境の特定エリアと対応している。
　好適には、前記視線誘導手段は、異なる場所に位置する複数の前記誘導ポイントを用いて、前記複数の誘導ポイントごとに前記誘導画像を表示させる。これにより、分類された空間ごとに注目して欲しい情報に、ユーザの視線を適切に誘導することができる。
　本発明の他の観点では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示するヘッドマウントディスプレイは、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備える。
　本発明の更に他の観点では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示方法は、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導工程を備える。
　本発明の更に他の観点では、コンピュータを有すると共に、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示プログラムは、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段、として前記コンピュータを機能させる。
　上記の表示プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。
　以下、図面を参照して本発明の好適な実施例について説明する。
　（１）第１実施例
　まず、第１実施例について説明する。
　（１－１）装置構成
　図１は、第１実施例に係るヘッドマウントディスプレイ（以下、適宜「ＨＭＤ」と表記する。）１０の概略構成を示す。ＨＭＤ１０は、主に、表示部１と、マスク２と、球面鏡３と、ハーフミラー４と、制御部５とを有する。ＨＭＤ１０は、球面鏡３を用いることで、眼のレンズ機能を利用せずに直接網膜上に画像を表示可能に構成されている。例えば、ＨＭＤ１０は、眼鏡型に構成されており、ユーザの頭部に装着して使用される。なお、ＨＭＤ１０は、本発明における「表示装置」の一例である。
　表示部１は、ＬＣＤ（Liquid Crystal Display）や、ＤＬＰ（Digital Light Processing）や、有機ＥＬなどで構成され、表示すべき画像に対応する光を出射する。なお、レーザ光源からの光をミラーでスキャンするような構成を、表示部１に適用しても良い。
　表示部１から出射された光はマスク２でマスクされ、マスク２を通過した光は球面鏡３及びハーフミラー４で反射されて眼球に到達する。この場合、マスク２以降の拡散した光は、眼球の略中心の位置に集光する。本実施例に係るＨＭＤ１０は、表示すべき画像に対応する光が眼球の略中心の位置に集光するように光学系が設計されている。これにより、視線方向の光のみが瞳孔を通過するため、視線方向の画像（詳しくは虚像である。以下同様とする。）のみがユーザに視認されることとなる。即ち、ＨＭＤ１０は、視線方向依存型の表示装置として機能する。なお、視線方向依存型の表示装置の機能や作用の詳細については、例えば特許文献１に記載されている。
　制御部５は、図示しないＣＰＵやＲＡＭやＲＯＭなどを有し、ＨＭＤ１０の全体的な制御を行う。詳細は後述するが、制御部５は、本発明における「視線誘導手段」の一例である。
　なお、眼球の略中心の位置に、表示すべき画像に対応する光を集光させることに限定はされない。眼球の略中心の位置でなくても、瞳孔と網膜との間の位置に光を集光すれば、上記した視線方向依存型の表示装置を実現することができる。
　また、図１では、視線方向依存型の表示装置として、球面鏡３を利用した装置を例示したが、本発明は、球面鏡３の代わりにレンズを利用した装置や、球面鏡３の代わりにホログラム素子の反射特性を利用した装置など、種々の装置に適用することができる。
　次に、図２を参照して、第１実施例に係る制御部５の具体的な構成について説明する。図２は、第１実施例に係る制御部５の構成を示すブロック図である。図２に示すように、制御部５は、誘導ポイント指定部５ａと、誘導画像生成部５ｂと、表示画像生成部５ｃと、表示合成部５ｄとを有する。本実施例では、制御部５は、ユーザの視線を向けさせるべき位置である誘導ポイントに、ユーザの視線を誘導するための誘導画像を表示させる制御を行う。
　誘導ポイント指定部５ａは、ユーザの視線を誘導したいポイント（誘導ポイント）を指定する。例えば、誘導ポイント指定部５ａは、ＨＭＤ１０によってユーザに提示すべき画像に対応する位置を、誘導ポイントとして指定する。
　誘導画像生成部５ｂは、ユーザの視線を誘導ポイントに誘導するための誘導画像を生成する。誘導画像の具体例については後述する。
　表示画像生成部５ｃは、ＨＭＤ１０によってユーザに提示すべき画像（誘導画像とは別の画像）を生成する。例えば、表示画像生成部５ｃは、ＣＧ（Computer Graphics）や文字などの画像を生成する。
　表示合成部５ｄは、誘導画像生成部５ｂによって生成された誘導画像と表示画像生成部５ｃによって生成された画像とを合成した画像のデータを、表示部１に出力する。
　（１－２）従来技術の問題点
　ここで、図３を参照して、従来の視線方向依存型の表示装置（例えば特許文献１に記載された装置など）の問題点について説明する。図３（ａ）、（ｂ）で示す矩形エリアは、視線方向依存型の表示装置による表示エリアを示している（以下で示す図面についても同様とする）。ここでは、表示エリアの中央にメールの着信通知（符号２１参照）が表示され、表示エリアの右上側に時刻（符号２２参照）が表示された場合を例示している。また、符号２０ａ、２０ｂは、ユーザの視線方向に応じた視界に相当する視認エリアを示している。
　図３（ａ）に示すように、ユーザが中央に視線を向けている場合には、ユーザはメールの着信通知に気付く。しかしながら、図３（ｂ）に示すように、ユーザが時刻を見るために右上に視線を向けている場合には、ユーザは中央のメールの着信通知に気付かない。このとき、たとえメールの着信通知を点滅等して強調表示を行ったとしても、その強調表示がユーザの視界には入らないため、ユーザはメールの着信通知に気付かない。
　以上のように、従来の視線方向依存型の表示装置では、視線方向以外の画像がユーザには見えないため、当該装置によって提示された情報をユーザが見逃しやすいといった問題点があった。したがって、第１実施例では、ＨＭＤ１０によってユーザに提示すべき画像に対応する位置などを誘導ポイントとして用いて、当該誘導ポイントにユーザの視線を誘導するための誘導画像を表示させる。
　（１－３）表示例
　次に、第１実施例に係る誘導画像の具体例について示す。なお、誘導画像は、制御部５の誘導画像生成部５ｂによって生成される。
　（１－３－１）第１の表示例
　図４を参照して、誘導画像の第１の表示例について説明する。図４（ａ）～（ｄ）では、星２３は誘導ポイントを示しており、太線２４（２４ａ～２４ｄ）は誘導画像を示しており、複数の細線は誘導画像２４の軌道を示している。具体的には、図４（ａ）～（ｄ）は、誘導画像２４の時間変化を示している。この場合、図４（ａ）→図４（ｂ）→図４（ｃ）→図４（ｄ）の順に時間が経過したものとする。
　なお、図４において、誘導ポイント２３を示す星は説明の便宜上の観点から示したものであり、実際には表示されない（実際には、表示画像生成部５ｃによって生成された画像が表示される）。また、誘導画像２４の軌道を示す複数の細線も説明の便宜上の観点から示したものであり、実際には表示されない。星及び細線については、以下で示す図面についてもこれと同様とする。
　第１の表示例では、図４（ａ）～（ｄ）に示すように、ＨＭＤ１０は、誘導画像２４として、時間の経過に伴って誘導ポイント２３に向かってサイズが縮小してく円の画像（詳しくは円を構成する曲線（円周、円弧）を示す画像であり、以下では「縮小円」と呼ぶ。）を表示させる。つまり、ＨＭＤ１０は、誘導ポイント２３を収束点として、時間と共にサイズが縮小していく縮小円を表示させる。このような縮小円を表示させることで、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。よって、ユーザに対して意図的な情報提示および視線誘導が可能となる。
　また、第１の表示例では、ＨＭＤ１０は、表示エリアの端の位置から、縮小円を表示し始める。具体的には、ＨＭＤ１０は、誘導ポイント２３と、表示エリアにおいて誘導ポイント２３から最も離れた端の位置（図４に示す例では概ね左下の位置）との距離を、縮小円の初期半径として、当該初期半径から半径を徐々に小さくしていった縮小円を表示させる。こうしているのは、例えば、図４（ｂ）に示すような縮小円の半径を初期半径とすると、左下の端に縮小円が表示されないため、ユーザの視線が当該端にある場合には、視線誘導効果が得られないからである。また、初期半径が大きすぎると、縮小円が表示されない時間が発生してしまい、視線誘導効果の時間効率が悪いと言えるからである。そのため、ＨＭＤ１０は、誘導ポイント２３から最も離れた端の位置と誘導ポイント２３との距離を縮小円の初期半径にする。これにより、視線誘導効果が得られない視線方向を無くすことができると共に、視線誘導効果の時間効率の悪化を抑制することができる。
　また、縮小円の縮小スピードを「δｒ／δｔ」と定義すると（ｒ：縮小円の半径、ｔ：時間）、１つの例では、ＨＭＤ１０は、縮小スピードを概ね一定にする。こうすることで、表示エリア全体で同じ視線誘導効果を生じさせることができる。また、縮小スピードが速すぎるとユーザが縮小円を眼で追うことができず、縮小スピードが遅すぎると視線誘導に時間がかかり過ぎるため、これらを考慮して縮小スピードを設定することが好ましい。具体的には、ユーザが縮小円を眼で追うことができ、且つ視線誘導効果の時間効率が確保されるような縮小スピードに設定することが好ましい。他の例では、ＨＭＤ１０は、視線誘導効果が必要ないエリアでは、縮小円の縮小スピードを速くすることができる。こうすることで、視線誘導効果の時間効率を良くすることができる。
　更に、ＨＭＤ１０は、縮小円の表示を繰り返し行うことができる。具体的には、ＨＭＤ１０は、縮小円を収束させ終わった後に（この際に縮小円は一旦消滅する）、初期半径を有する縮小円を再度表示させて縮小させていくといった表示を、繰り返し行うことができる。これにより、瞬き等でユーザが縮小円を見ていない時間があっても、視線を誘導ポイント２３に適切に誘導することが可能となる。
　なお、上記では、誘導画像の第１の表示例として、円の画像（縮小円）を縮小する例を示したが、縮小する画像の形状は円に限定はされない。例えば、四角や星やキャラクタなどの種々の形状の画像を、誘導ポイント２３に向かって縮小させることができる。そのような場合にも、縮小円で述べた縮小スピードを同様に適用することができる。例えば、縮小スピードは、縮小させる画像に外接する円の半径の変化速度と定義することができる。
　（１－３－２）第２の表示例
　第１の表示例では、表示エリアにおいて時間的に変化させた画像を誘導画像として表示させていたが、第２の表示例では、表示エリアにおいて空間的な変化を有する画像を誘導画像として表示させる。具体的には、第２の表示例では、誘導ポイント２３までの距離に応じた空間的な変化を有する画像を、誘導画像として表示させる。
　図５は、誘導画像の第２の表示例を示す図である。図５に示すように、第２の表示例では、ＨＭＤ１０は、誘導ポイント２３に向かって明るさが変化する画像を誘導画像として表示させる。この画像は、誘導ポイント２３に近くなるほど明るくなり、誘導ポイント２３から離れるほど暗くなるように構成されている。
　なお、誘導ポイント２３に向かって明るさが変化する画像を誘導画像として表示させることに限定はされず、この代わりに、誘導ポイント２３に向かって色が変化する画像を誘導画像として表示させても良い。例えば、誘導ポイント２３に近くなるほど黄色の度合いが大きくなり、誘導ポイント２３から離れるほど青色の度合いが大きくなるような画像を表示させることができる。
　（１－３－３）第３の表示例
　第３の表示例でも、第２の表示例と同様に、表示エリアにおいて空間的な変化を有する画像を誘導画像として表示させる。しかしながら、第２の表示例では、誘導ポイント２３に向かって明るさや色が変化する画像を誘導画像として表示させていたが、第３の表示例では、誘導ポイント２３に向かって線分の密度が変化するような画像を誘導画像として表示させる。
　図６は、誘導画像の第３の表示例を示す図である。図６に示すように、第３の表示例では、ＨＭＤ１０は、誘導ポイント２３に向かって線分の密度が変化する画像を誘導画像として表示させる。この画像は、誘導ポイント２３から放射状に延びる線分によって構成されている。当該画像では、誘導ポイント２３に近くなるほど線分の密度が大きくなり、誘導ポイント２３から離れるほど線分の密度が小さくなる。
　なお、図６では、説明の便宜上の観点から誘導画像を構成する線分の一部のみを示しており、実際にはもっと多くの線分が表示される。誘導画像を構成する線分の数は、例えば、どの視線方向においても少なくとも１本以上の線分が見えるように決められる。
　また、誘導ポイント２３に向かって線分の密度が変化するような画像を誘導画像として表示させることに限定はされず、この代わりに、誘導ポイント２３に向かって点の密度が変化するような画像を誘導画像として表示させても良い。例えば、誘導ポイント２３に近くなるほど点の密度が大きくなり、誘導ポイント２３から離れるほど点の密度が小さくなるような画像を表示させることができる（誘導ポイント２３からの距離と点の密度との関係は、これの逆にしても良い）。
　（１－３－４）第４の表示例
　第４の表示例では、誘導ポイント２３の方向を指し示すような画像を誘導画像として表示させる点で、第１乃至第３の表示例と異なる。具体的には、第４の表示例では、誘導ポイント２３の方向を指し示す矢印画像を誘導画像として表示させる。
　図７は、誘導画像の第４の表示例を示す図である。図７に示すように、第４の表示例では、ＨＭＤ１０は、各々が誘導ポイント２３の方向を指している複数の矢印画像を、誘導画像として表示させる。複数の矢印画像は、誘導ポイント２３から放射状に延びている。
　なお、図７では、説明の便宜上の観点から誘導画像を構成する矢印画像の一部のみを示しており、実際にはもっと多くの矢印画像が表示される。誘導画像としての矢印画像の数は、例えば、どの視線方向においても少なくとも１つ以上の矢印画像が見えるように決められる。
　（１－３－５）第５の表示例
　第１の表示例では、表示エリアにおいて時間的に変化させた画像を誘導画像として表示させ、第２乃至第４の表示例では、表示エリアにおいて空間的な変化を有する画像を誘導画像として表示させていた。第５の表示例では、第１の表示例と第２乃至第４の表示例とを組み合わせたような画像、つまり表示エリアにおいて時間的な変化及び空間的な変化を有する画像を、誘導画像として表示させる。
　（１－３－６）他の表示例
　上記した表示例では、一つの誘導ポイントを用いて誘導画像を表示させていたが、複数の誘導ポイントを用いて、複数の誘導ポイントに対応する誘導画像を表示させても良い。つまり、上記した表示例は、複数箇所への誘導を行う場合にも適用することができる。１つの例では、複数の誘導ポイントのそれぞれに向かってサイズが縮小していくような円の画像（縮小円）を、同時に表示させる。他の例では、一定時間や一周期毎などで誘導ポイントを変更し、その時点での誘導ポイントに応じた誘導画像を表示させる、つまり時分割表示を行う。更に他の例では、表示エリアを左右や上下に分割したエリアのそれぞれに誘導画像を表示させる、つまり空間分割表示を行う。
　（１－４）誘導画像の表示エリアの限定
　上記した全ての誘導画像は、表示エリア全体ではなく、ユーザの視線方向に応じた視認エリアにのみ表示させても良い。具体的には、公知の手法を用いてユーザの視線を検出すれば、検出された視線に応じた視認エリアにのみ誘導画像を表示させることができる。こうすることで、視線方向を中心にユーザが視認しやすい誘導画像の表示が可能となる。例えば、第４の表示例で示した矢印画像を、ユーザの視線方向を中心に表示することで、矢印画像が指している方向を容易に視認させることが可能となる。
　（１－５）視線誘導の終了
　上記したような誘導画像は、基本的には、ユーザの視線が誘導ポイント２３に向いた後は不要なものとなる。また、視線が誘導ポイント２３に向いた後も誘導画像を表示させると、ユーザが不快感を覚えたりする可能性もある。したがって、ユーザの視線が誘導ポイント２３に向いた後は、誘導画像の表示を終了する（つまり視線誘導を終了する）ことが好ましいと言える。以下に、視線誘導の終了に関する具体例を示す。
　なお、以下で示す視線誘導の終了に関する具体例は、上記した第１乃至第４の表示例で示したような誘導画像に対して適用されるものである。
　（１－５－１）第１の例
　図８を参照して、視線誘導の終了に関する第１の例について説明する。図８において、表示エリア内のエリア２５ａは誘導画像を表示させないエリアであり、表示エリア内のエリア２６ａは誘導画像を表示させるエリアである。エリア２５ａは、誘導ポイント２３に視線を向けた際の視認エリアに相当する。なお、エリア２５ａは、本発明における「第１エリア」の一例である。
　図８に示すように、第１の例では、ＨＭＤ１０は、ユーザの視線が誘導ポイント２３にあるときの視認エリアに相当するエリア２５ａ内には視線画像を表示させない。これにより、ユーザが誘導ポイント２３に視線を移動させると、誘導画像が視認されなくなるため、つまり誘導画像の表示が終了するため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。他方で、ユーザの視線が誘導ポイント２３と異なる際には、ユーザに誘導画像を視認させることで視線を適切に誘導することができる。
　なお、誘導画像を表示させないエリア２５ａのサイズを、ユーザの瞳孔径に応じて変えても良い。こうするのは、エリア２５ａを規定する視認エリアの大きさは、瞳孔径によって変わるからである。例えば、ＨＭＤ１０は、公知の手法によってユーザの瞳孔径を検出し、検出した瞳孔径に基づいて視認エリアを推定し、推定した視認エリアに応じてエリア２５ａのサイズを設定することができる。
　また、瞳孔径は環境光の明るさ（ユーザの周囲の明るさ）によって変化するため、上記のように瞳孔径を直接的に用いる代わりに、環境光の明るさに応じて、誘導画像を表示させないエリア２５ａのサイズを変えても良い。例えば、ＨＭＤ１０は、環境光の明るさを検出し、検出した明るさに基づいて瞳孔径に相当する視認エリアを推定し、推定した視認エリアに応じてエリア２５ａのサイズを設定することができる。
　（１－５－２）第２の例
　第２の例は、環境光の明るさ等に起因する瞳孔径の変化による視認エリアの変動を考慮して、誘導画像を表示させないエリアを取り囲む周囲のエリア（以下では「緩衝エリア」と呼ぶ。）では、視線誘導効果が徐々に低下するような誘導画像を表示させる点で、第１の例と異なる。つまり、第１の例では、誘導画像を表示させないエリア２５ａと誘導画像を表示させるエリア２６ａとを用いることで、誘導画像の表示のオンとオフとを切り替えていたが、第２の例では、誘導画像を表示させないエリアと誘導画像を表示させるエリアとの間に設けられた緩衝エリアを用いることで、誘導画像の表示のオンの状態から誘導画像の表示のオフの状態に徐々に移行させる。
　図９は、視線誘導の終了に関する第２の例を示す図である。図９において、表示エリア内のエリア２５ｂは誘導画像を表示させないエリアであり、表示エリア内のエリア２６ｂは誘導画像を表示させるエリアであり、表示エリア内のエリア２６ｃは上記した緩衝エリアである。詳しくは、エリア２６ｂでは、通常の視線誘導効果を有する誘導画像が表示され、緩衝エリア２６ｃでは、エリア２６ｂよりも視線誘導効果を低下させた誘導画像が表示される。緩衝エリア２６ｃは、本発明における「第２エリア」の一例であり、環境光の明るさ等に起因する瞳孔径の変化による視認エリアの変動幅に応じてサイズが設定される。
　第２の例では、ＨＭＤ１０は、ユーザの視線が緩衝エリア２６ｃにある場合には、視線が誘導画像を表示させないエリア２５ｂに近付くほど、視線誘導効果が徐々に低下するような誘導画像を表示させる。例えば、ＨＭＤ１０は、緩衝エリア２６ｃでは、エリア２６ｂよりも、誘導画像の明るさを下げたり、誘導画像を構成する線分を細線化したり、誘導画像を縮小させるスピードを速くしたりする。
　（１－５－３）第３の例
　第３の例では、ＨＭＤ１０は、誘導画像を表示してから所定時間経過した際に誘導画像の表示を終了する。このような第３の例は、上記した第１の例及び第２の例の代わりに実施することとしても良いし、第１の例又は第２の例と組み合わせて実施しても良い。
　（１－５－４）第４の例
　第４の例では、ＨＭＤ１０は、誘導ポイント２３に向かうユーザの頭部の動きが生じてから所定時間経過した際に誘導画像の表示を終了する。具体的には、第４の例では、ＨＭＤ１０は、カメラや加速度センサやジャイロセンサなどのセンサの出力に基づいて、ユーザの頭部の動きを検出する。そして、ＨＭＤ１０は、誘導ポイント２３に向かう頭部の動きが検出された場合に、その検出後に所定時間経過した際に誘導画像の表示を終了する。
　なお、第４の例は、上記した第１乃至第３の例の代わりに実施することとしても良いし、第１乃至第３の例と適宜組み合わせて実施しても良い。
　（１－５－５）第５の例
　第５の例では、ＨＭＤ１０は、ユーザの視線が誘導ポイント２３に向いた際に誘導画像の表示を終了する。具体的には、第５の例では、ＨＭＤ１０は、公知の手法を用いてユーザの視線を検出し、検出された視線が誘導ポイント２３に向いた際に誘導画像の表示を終了する。
　なお、第５の例は、上記した第１乃至第４の例の代わりに実施することとしても良いし、第１乃至第４の例と適宜組み合わせて実施しても良い。
　（２）第２実施例
　次に、第２実施例について説明する。第２実施例は、第１実施例で示したような、ユーザの視線を誘導ポイント２３に誘導するための構成を、現実環境に対してＣＧや文字等の付加情報を提示するＡＲ（Augment Reality）の構成に適用するものである。以下では、ＡＲを実現可能な構成を適宜「ＡＲシステム」と呼ぶ。
　図１に示したような視線方向依存型の表示装置（ＨＭＤ１０）によれば、ハーフミラー４により、前方の現実環境と表示画像とを同時に視認可能である。そのため、現実環境に実際に存在する対象物等を検出する手段（例えばカメラなど）を設けることで、当該対象物に合わせた画像を表示させることが可能である。つまり、ＡＲシステムを実現することができる。
　図１０を参照して、ＡＲシステムによる表示について具体例を挙げて説明する。図１０（ａ）は、ＨＭＤ１０の表示部１によって表示された画像３０ａ～３０ｃを示しており、図１０（ｂ）は、画像３０ａ～３０ｃを表示させた場合において、視認エリア３１において視認される像を示している。この場合には、画像３０ｂのみが視認される。他方で、図１０（ｃ）は、現実環境に存在する対象物３２ａ～３２ｃを示しており、図１０（ｄ）は、ＡＲシステムによって視認される像を示している。具体的には、図１０（ｄ）は、図１０（ｃ）に示すような現実環境において図１０（ａ）に示すような画像３０ａ～３０ｃを表示させた場合に、図１０（ｂ）に示すような視認エリア３１において視認される像を示している。図１０（ｄ）に示すように、ＡＲシステムによれば、現実環境に存在する対象物３２ｂに合わせた画像３０ｂを表示させることが可能である。
　ここで、上記のＡＲシステムにおいては、視線方向依存型の表示装置（ＨＭＤ１０）を頭部に装着した場合、頭部などの動きによって表示上での誘導ポイント２３の位置が変化する。以下では、ＡＲシステムにおける視線誘導に関する具体例を示す。
　（２－１）ＡＲシステムにおける視線誘導
　視線方向依存型の表示装置でのＡＲシステムでは、現実環境に存在する対象物と情報（画像）とを、位置を合わせて表示することが可能である。また、誘導ポイント２３を、現実環境に存在する対象物の位置に合わせることも可能である。したがって、第１実施例で示したような構成（具体的には誘導ポイント２３に視線を誘導するための誘導画像を表示させる構成）をＡＲシステムに適用すると、現実環境に存在する対象物の位置や現実環境に存在する対象物に付随した表示情報（画像）の位置を誘導ポイント２３として、そのような誘導ポイント２３に視線を誘導するための誘導画像を表示させることができる。例えば、第１実施例の第１乃至第４の表示例で示したような誘導画像を、同様にして表示させることができる。
　（２－２）ＡＲシステムにおける視線誘導の終了
　ＡＲシステムにおいても、ユーザの視線が誘導ポイント２３に向いた後は誘導画像は不要なものとなる。また、視線が誘導ポイント２３に向いた後も誘導画像を表示させると、ユーザが不快感を覚えたりする可能性がある。したがって、ＡＲシステムにおいても、ユーザの視線が誘導ポイント２３に向いた後は、誘導画像の表示を終了することが好ましいと言える。
　上記したように、視線方向依存型の表示装置でのＡＲシステムでは、現実環境に存在する対象物の位置や現実環境に存在する対象物に付随した表示情報（画像）の位置を誘導ポイント２３として、そのような誘導ポイント２３に視線を誘導するための誘導画像を表示させる。ここで、ユーザが現実環境に存在する任意の対象物に注目した場合、ユーザは当該対象物の方向に顔を向ける傾向にある。したがって、視線方向依存型の表示装置でのＡＲシステムでは、現実環境に存在する対象物の位置と連動した誘導ポイント２３がユーザの顔の正面付近に移動した際に、ユーザの視線が誘導ポイント２３に向いたものと判断して、誘導画像の表示を終了する。これにより、適切な視線誘導と、ユーザの不快感等の抑制とを両立することが可能となる。１つの例では、ユーザの前方の現実環境を撮影するカメラの撮影画像などに基づいて、対象物の位置と連動した誘導ポイント２３が顔の正面付近に移動したか否かを判定することができる。
　なお、視線方向依存型の表示装置でのＡＲシステムに対して、「（１－５）視線誘導の終了」のセクションで述べたような種々の視線誘導の終了方法を適用しても良い。
　（２－３）エリア別の視線誘導
　現実環境の特定のエリアに応じて表示エリア内に複数のエリアを設けて、各エリアごとに誘導画像を表示させると、ユーザにとって不要な情報への視線誘導を抑制することができる。これにより、効率的な視線誘導と、ユーザへの不要な情報の提供の抑制とを両立することが可能となる。
　図１１は、エリア別の視線誘導の具体例を示している。図１１は、２つの誘導ポイント２３ａ、２３ｂに応じた２つのエリア４０ａ、４０ｂを表示エリア内に設けた場合を例示している。エリア４０ａ、４０ｂでは、それぞれ、第１実施例の第１の表示例で示した誘導画像２４と同様の誘導画像４２ａ、４２ｂが表示される。具体的には、エリア４０ａ、４０ｂでは、それぞれ、時間の経過に伴って誘導ポイント２３ａ、２３ｂに向かってサイズが縮小してく円の画像（縮小円）が、誘導画像４２ａ、４２ｂとして表示される。なお、誘導画像４２ａ、４２ｂは、それぞれエリア４０ａ、４０ｂ内でのみ表示され、重なって表示されることはない。
　例えば、図１１に示すような誘導画像４２ａ、４２ｂは、モールやスーパーなど物が種類で分けられている空間において、ユーザに見てもらいたい対象物や情報がある場合に適用すると、効果的である。１つの例では、時計屋と洋服屋とが並んでいるモールにおいて、エリア４０ａを時計屋に対して用いることとし、誘導ポイント２３ａを時計屋でユーザに見てもらいたい商品の位置とすることができ、また、エリア４０ｂを洋服屋に対して用いることとし、誘導ポイント２３ｂを洋服屋でユーザに見てもらいたい商品の位置とすることができる。こうした場合、ユーザが時計に興味があり、時計屋に視線を向けると、視認エリア４３が時計屋用のエリア４０ａ内に入ることで、時計屋用の誘導画像４２ａが視認されることとなる。これにより、ユーザの視線が時計屋用の誘導ポイント２３ａに誘導されることで、ユーザは誘導ポイント２３ａにある商品に注目することとなる。この場合、ユーザには洋服屋用の誘導画像４２ｂは見えないので、ユーザの視線は洋服屋用の誘導ポイント２３ｂへは誘導されない。
　以上のように、エリア４０ａ、４０ｂごとに誘導画像４２ａ、４２ｂを表示させることで、視線などを検出することなく、分類された空間ごとに注目して欲しい対象物や情報にユーザの視線を適切に誘導することができる。また、ユーザが興味のない対象物や情報への誘導画像はユーザには見えないため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
　なお、図１１に示すような表示は、「３次元の現実環境の情報」と「画像と現実環境との位置姿勢関係を検出する手段」などによって実現することができる。「３次元の現実環境の情報」としては、時計屋や洋服屋の３次元のエリア情報や、誘導ポイントの３次元位置や、表示情報などである。「画像と現実環境との位置姿勢関係を検出する手段」は、例えばユーザの前方の現実環境を撮影するカメラの撮影画像を用いて実現できる。このような「画像と現実環境との位置姿勢関係を検出する手段」を利用して、「３次元の現実環境の情報」を各エリアに対応付けて表示すれば良い。
　なお、図１１では、表示エリア内に２つのエリア４０ａ、４０ｂを設けて２つの誘導画像４２ａ、４２ｂを表示させる例を示したが、表示エリア内に３つ以上のエリアを設けて３つ以上の誘導画像を表示させても良い。また、表示エリア内に複数のエリアを設けて複数の誘導画像を表示させることに限定はされず、表示エリア内に１つのエリア（表示エリアの一部分のエリア）のみを設けて、そのエリアにのみ誘導画像を表示させても良い。
　（３）変形例
　上記では、誘導画像を用いてユーザの視線を誘導する実施例を示したが、誘導画像を用いることに限定はされない。他の例では、誘導画像の代わりに、ＬＥＤなどの点滅や、振動や、音声などを用いて、ユーザの視線を誘導することができる。例えば、表示装置に複数のＬＥＤを設けて、視線を誘導すべき方向に対応する場所に位置するＬＥＤを点滅させたり、視線を誘導すべき方向に対応する表示装置の箇所を振動させたり、視線を誘導すべき方向に対応する表示装置の箇所から音声を発生させたりすることができる。
　本発明は、ＨＭＤ１０への適用に限定はされない。本発明は、ヘッドアップディスプレイ（ＨＵＤ）などの表示装置にも適用することができる。
　本発明は、ヘッドマウントディスプレイやヘッドアップディスプレイなどの表示装置に利用することができる。
　１　表示部
　２　マスク
　３　球面鏡
　４　ハーフミラー
　５　制御部
　５ａ　誘導ポイント指定部
　５ｂ　誘導画像生成部
　５ｃ　表示画像生成部
　５ｄ　表示合成部
　１０　ヘッドマウントディスプレイ（ＨＭＤ）

Claims (24)

  1. 　表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置であって、
    　前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備えることを特徴とする表示装置。
  2. 　前記視線誘導手段は、前記誘導画像として、時間の経過に伴って前記誘導ポイントに向かってサイズが縮小してく画像を表示させることを特徴とする請求項１に記載の表示装置。
  3. 　前記視線誘導手段は、前記誘導ポイントと、前記表示装置の表示エリアにおいて前記誘導ポイントから最も離れた端の位置との距離に応じたサイズを、前記誘導画像の初期サイズとし、当該初期サイズから前記誘導画像のサイズを縮小していくことを特徴とする請求項２に記載の表示装置。
  4. 　前記視線誘導手段は、前記誘導画像として、前記誘導ポイントまでの距離に応じた空間的な変化を有する画像を表示させることを特徴とする請求項１に記載の表示装置。
  5. 　前記空間的な変化は、前記誘導ポイントまでの距離に応じた明るさの変化であることを特徴とする請求項４に記載の表示装置。
  6. 　前記空間的な変化は、前記誘導ポイントまでの距離に応じた色の変化であることを特徴とする請求項４に記載の表示装置。
  7. 　前記空間的な変化は、前記誘導ポイントまでの距離に応じた画像の密度の変化であることを特徴とする請求項４に記載の表示装置。
  8. 　前記視線誘導手段は、前記誘導画像として、前記誘導ポイントの方向を指し示す画像を表示させることを特徴とする請求項１に記載の表示装置。
  9. 　前記ユーザの視線を検出する視線検出手段を更に有し、
    　前記視線誘導手段は、前記視線方向検出手段によって検出された前記視線に応じたエリアにのみ、前記誘導画像を表示させることを特徴とする請求項１乃至８のいずれか一項に記載の表示装置。
  10. 　前記視線誘導手段は、前記誘導ポイントに視線を向けた際の視認エリアに応じた第１エリアに、前記誘導画像を表示させないことを特徴とする請求項１乃至９のいずれか一項に記載の表示装置。
  11. 　前記視線誘導手段は、前記ユーザの瞳孔の大きさ又は前記ユーザの周囲の明るさに応じて、前記第１エリアのサイズを変化させることを特徴とする請求項１０に記載の表示装置。
  12. 　前記視線誘導手段は、前記第１エリアを取り囲む周囲の第２エリアでは、前記第１エリアに近づくほど、前記誘導画像による視線の誘導効果が低下するような画像を表示させることを特徴とする請求項１０に記載の表示装置。
  13. 　前記視線誘導手段は、前記第２エリアでは、前記第１エリアに近づくほど、前記誘導画像の明るさを低下させることを特徴とする請求項１２に記載の表示装置。
  14. 　前記ユーザの頭部の動きを検出する動き検出手段を更に有し、
    　前記視線誘導手段は、前記動き検出手段によって前記誘導ポイントに向かう前記頭部の動きが検出されてから所定時間が経過した際に、前記誘導画像の表示を停止させることを特徴とする請求項１乃至１３のいずれか一項に記載の表示装置。
  15. 　前記ユーザの視線を検出する視線検出手段を更に有し、
    　前記視線誘導手段は、前記視線検出手段によって検出された前記視線が前記誘導ポイントに向いた際に、前記誘導画像の表示を停止させることを特徴とする請求項１乃至１３のいずれか一項に記載の表示装置。
  16. 　前記視線誘導手段は、前記誘導ポイントが前記ユーザの顔の正面に位置した際に、前記誘導画像の表示を停止させることを特徴とする請求項１乃至１３のいずれか一項に記載の表示装置。
  17. 　前記視線誘導手段は、前記表示装置の表示エリアの全体に、前記誘導画像を表示させることを特徴とする請求項１乃至１６のいずれか一項に記載の表示装置。
  18. 　前記視線誘導手段は、前記表示装置の表示エリアの一部のエリアに、前記誘導画像を表示させることを特徴とする請求項１乃至１６のいずれか一項に記載の表示装置。
  19. 　前記一部のエリアは、前記現実環境の特定エリアと対応していることを特徴とする請求項１８に記載の表示装置。
  20. 　前記視線誘導手段は、異なる場所に位置する複数の前記誘導ポイントを用いて、前記複数の誘導ポイントごとに前記誘導画像を表示させることを特徴とする請求項１７乃至１９のいずれか一項に記載の表示装置。
  21. 　表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示するヘッドマウントディスプレイであって、
    　前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備えることを特徴とするヘッドマウントディスプレイ。
  22. 　表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示方法であって、
    　前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導工程を備えることを特徴とする表示方法。
  23. 　コンピュータを有すると共に、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示プログラムであって、
    　前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段、として前記コンピュータを機能させることを特徴とする表示プログラム。
  24. 　請求項２３に記載の表示プログラムを記録したことを特徴とする記録媒体。
PCT/JP2012/063985 2012-05-30 2012-05-30 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体 WO2013179426A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2012/063985 WO2013179426A1 (ja) 2012-05-30 2012-05-30 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
JP2014518157A JPWO2013179426A1 (ja) 2012-05-30 2012-05-30 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/063985 WO2013179426A1 (ja) 2012-05-30 2012-05-30 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体

Publications (1)

Publication Number Publication Date
WO2013179426A1 true WO2013179426A1 (ja) 2013-12-05

Family

ID=49672680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063985 WO2013179426A1 (ja) 2012-05-30 2012-05-30 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体

Country Status (2)

Country Link
JP (1) JPWO2013179426A1 (ja)
WO (1) WO2013179426A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230560A (ja) * 2014-06-04 2015-12-21 大日本印刷株式会社 表示端末装置、プログラム、及び、表示方法
JP2017016657A (ja) * 2015-06-30 2017-01-19 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 没入型ビデオ・コンテンツの一部分を参照部分の位置に従って処理する方法及び装置
JP2018155872A (ja) * 2017-03-16 2018-10-04 株式会社デンソーウェーブ 情報表示システム
WO2018198503A1 (ja) * 2017-04-26 2018-11-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020501263A (ja) * 2016-12-09 2020-01-16 株式会社ソニー・インタラクティブエンタテインメント ユーザ頭部回転ガイド付きヘッドマウントディスプレイ
JP2020113298A (ja) * 2015-09-16 2020-07-27 グーグル エルエルシー 拡張および／または仮想現実環境におけるタッチスクリーンホバーの検出
JP2020160226A (ja) * 2019-03-26 2020-10-01 株式会社デジタルガレージ 画像処理システム、及び画像処理方法
WO2022065383A1 (ja) * 2020-09-24 2022-03-31 株式会社Ｊｖｃケンウッド 表示システム、表示方法及びプログラム
WO2023189084A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 情報提示方法、情報提示装置、車両制御方法及び車両制御装置
WO2023238703A1 (ja) * 2022-06-07 2023-12-14 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
JP7421709B1 (ja) 2023-09-26 2024-01-25 チームラボ株式会社 キャリブレーション機能付きのシステム、プログラム、及びキャリブレーション方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090688A (ja) * 2000-09-12 2002-03-27 Masahiko Inami 視線方向依存型の網膜ディスプレイ装置
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
JP2005346177A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両用情報提示装置
JP2008083289A (ja) * 2006-09-27 2008-04-10 Sony Corp 撮像表示装置、撮像表示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010145436A (ja) * 2008-12-16 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090688A (ja) * 2000-09-12 2002-03-27 Masahiko Inami 視線方向依存型の網膜ディスプレイ装置
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
JP2005346177A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両用情報提示装置
JP2008083289A (ja) * 2006-09-27 2008-04-10 Sony Corp 撮像表示装置、撮像表示方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230560A (ja) * 2014-06-04 2015-12-21 大日本印刷株式会社 表示端末装置、プログラム、及び、表示方法
JP2017016657A (ja) * 2015-06-30 2017-01-19 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 没入型ビデオ・コンテンツの一部分を参照部分の位置に従って処理する方法及び装置
JP2020113298A (ja) * 2015-09-16 2020-07-27 グーグル エルエルシー 拡張および／または仮想現実環境におけるタッチスクリーンホバーの検出
JP2020501263A (ja) * 2016-12-09 2020-01-16 株式会社ソニー・インタラクティブエンタテインメント ユーザ頭部回転ガイド付きヘッドマウントディスプレイ
JP2022122936A (ja) * 2017-03-16 2022-08-23 株式会社デンソーウェーブ 情報表示システム
JP2018155872A (ja) * 2017-03-16 2018-10-04 株式会社デンソーウェーブ 情報表示システム
JP7265312B2 (ja) 2017-03-16 2023-04-26 株式会社デンソーウェーブ 情報表示システム
WO2018198503A1 (ja) * 2017-04-26 2018-11-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020160226A (ja) * 2019-03-26 2020-10-01 株式会社デジタルガレージ 画像処理システム、及び画像処理方法
JP7258620B2 (ja) 2019-03-26 2023-04-17 株式会社デジタルガレージ 画像処理システム、及び画像処理方法
WO2022065383A1 (ja) * 2020-09-24 2022-03-31 株式会社Ｊｖｃケンウッド 表示システム、表示方法及びプログラム
WO2023189084A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 情報提示方法、情報提示装置、車両制御方法及び車両制御装置
WO2023238703A1 (ja) * 2022-06-07 2023-12-14 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
JP7421709B1 (ja) 2023-09-26 2024-01-25 チームラボ株式会社 キャリブレーション機能付きのシステム、プログラム、及びキャリブレーション方法

Also Published As

Publication number Publication date
JPWO2013179426A1 (ja) 2016-01-14

Similar Documents

Publication Publication Date Title
JP5986198B2 (ja) 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
WO2013179426A1 (ja) 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
US11402639B2 (en) Optical configurations for head-worn see-through displays
JP2017138995A (ja) 表示装置及びヘッドマウントディスプレイ
US8957916B1 (en) Display method
US20150277118A1 (en) Sensor dependent content position in head worn computing
WO2014128747A1 (ja) 入出力装置、入出力プログラム、および入出力方法
WO2014128752A1 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
US20190064528A1 (en) Information processing device, information processing method, and program
JP6509101B2 (ja) 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
JP2024032929A (ja) 表示装置及びヘッドマウントディスプレイ
JP6250025B2 (ja) 入出力装置、入出力プログラム、および入出力方法
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
JP2015026286A (ja) 表示装置、表示システムおよび表示装置の制御方法
US11004273B2 (en) Information processing device and information processing method
US11743447B2 (en) Gaze tracking apparatus and systems
US20220035449A1 (en) Gaze tracking system and method
US10853681B2 (en) Information processing device, information processing method, and program
US11747897B2 (en) Data processing apparatus and method of using gaze data to generate images
JP2018195350A (ja) 表示装置及びヘッドマウントディスプレイ
US20240248527A1 (en) Mixed reality interaction with eye-tracking techniques
US20240192493A1 (en) Pupil-steering for three-dimensional (3d) resolution enhancement in single photon avalanche diode (spad) eye tracking (et)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12877911

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014518157

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12877911

Country of ref document: EP

Kind code of ref document: A1