WO2012169064A1 - 画像表示装置、画像表示方法及び画像表示プログラム - Google Patents

画像表示装置、画像表示方法及び画像表示プログラム Download PDF

Info

Publication number
WO2012169064A1
WO2012169064A1 PCT/JP2011/063366 JP2011063366W WO2012169064A1 WO 2012169064 A1 WO2012169064 A1 WO 2012169064A1 JP 2011063366 W JP2011063366 W JP 2011063366W WO 2012169064 A1 WO2012169064 A1 WO 2012169064A1
Authority
WO
WIPO (PCT)
Prior art keywords
retina
light
image
image display
irradiation position
Prior art date
Application number
PCT/JP2011/063366
Other languages
English (en)
French (fr)
Inventor
敬高 国丸
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2011/063366 priority Critical patent/WO2012169064A1/ja
Priority to JP2011544531A priority patent/JP4926300B1/ja
Publication of WO2012169064A1 publication Critical patent/WO2012169064A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to an image display device such as a head mounted display.
  • Patent Document 1 describes an HMD type image display device that detects a part of scanning light reflected on the surface of the cornea as reflected light and adjusts the focal position of laser light based on the detected reflected light.
  • Patent Document 2 describes a head-mounted image display device that detects an image formation state on a retina of an image and drives an optical system based on the information to change an image formation position.
  • Patent Document 3 describes a retinal projection display device that detects the position of a pupil following the movement of a user's eye and changes the scanning direction of laser light.
  • Patent Documents 1 and 3 only describe performing focus adjustment, detecting pupil movement, and the like, and the irradiation position on the retina of the light emitted from the light source (that is, the pupil) However, there is no description about detecting the position of the image projected on the retina after passing through.
  • the present invention provides an image display device, an image display method, and an image display program capable of detecting an irradiation position on the retina of light emitted from a light source and appropriately adjusting the irradiation position on the retina.
  • the task is to do.
  • the image display device detects a light source that irradiates a user's retina with light for visually recognizing an image, and a return light of the light emitted from the light source from the user's retina. Based on the detection result of the first detection means, the second detection means for detecting the variation of the irradiation position of the light on the retina based on the detection result by the first detection means, and the detection result by the second detection means Adjusting means for adjusting the irradiation position of the light on the retina.
  • the image display device includes a light source that irradiates light to a user's retina to make an image visible, a detection unit that detects return light from the retina, and a detection result by the detection unit. And adjusting means for adjusting the irradiation position of the light on the retina.
  • an image display method executed by an image display device having a light source for irradiating a user's retina with light for visually recognizing an image includes: A first detection step of detecting return light from the retina; a second detection step of detecting a change in an irradiation position of the light on the retina based on a detection result of the first detection step; An adjustment step of adjusting the irradiation position of the light on the retina based on the detection result of the detection step.
  • an image display program executed by an image display device having a light source and a computer for irradiating a user's retina with light for visually recognizing an image is emitted from the light source to the computer.
  • HMD head mounted display
  • an image display device detects a light source that irradiates a user's retina with light for visually recognizing an image, and a return light of the light emitted from the light source from the user's retina. Based on the first detection means, the second detection means for detecting the variation of the irradiation position of the light on the retina based on the detection result by the first detection means, and the detection result by the second detection means Adjusting means for adjusting the irradiation position of the light on the retina.
  • the above-described image display device is mounted on, for example, a user's head and draws an image on the user's retina with light emitted from a light source.
  • the first detecting means detects return light from the retina of the user, which is emitted from the light source.
  • the second detection unit detects a change in the irradiation position of the light on the retina based on the return light detected by the first detection unit.
  • the adjusting unit adjusts the irradiation position of the light on the retina based on the fluctuation of the irradiation position detected by the second detection unit.
  • the irradiation position on a retina can be adjusted appropriately based on the detection result of the irradiation position on the retina of the light irradiated from the light source.
  • the adjustment unit performs adjustment so that the irradiation position of the image on the retina does not fluctuate.
  • the return light from the retina is modulated by a pattern on the retina irradiated with the light, and the second detection means is based on the pattern on the retina. Based on the modulated variation in the return light, variation in the irradiation position on the retina is detected.
  • the return light from the retina is modulated by a pattern (retinal pattern) such as a blood vessel or a nerve on the retina, and based on fluctuations in the return light modulated by the retinal pattern, Changes in the irradiation position on the retina are detected. Thereby, the fluctuation
  • a pattern such as a blood vessel or a nerve on the retina
  • the second detection means includes an image projected on the retina by the light based on the variation of the return light modulated by the pattern on the retina, and the retina A change in relative position with respect to the upper pattern can be detected, and the change in relative position can be used as a change in irradiation position on the retina.
  • the adjusting means can adjust the irradiation position so that a relative position between an image projected on the retina by the light and a pattern on the retina is constant.
  • the image display device includes a light source that irradiates light to a user's retina to make an image visible, a detection unit that detects return light from the retina, and a detection result by the detection unit. And adjusting means for adjusting the irradiation position of the light on the retina. According to said image display apparatus, the irradiation position on the retina of light can be adjusted appropriately based on the detected return light from the retina.
  • an image display method executed by an image display apparatus having a light source that irradiates a user's retina with light for visually recognizing an image is obtained by using the light emitted from the light source.
  • a first detection step for detecting return light from the light source, a second detection step for detecting a change in the irradiation position of the light on the retina based on a detection result of the first detection step, and the second detection An adjustment step of adjusting an irradiation position of the light on the retina based on a detection result of the step.
  • an image display program executed by an image display apparatus having a light source and a computer that irradiates light of a user for visually recognizing an image is emitted from the light source.
  • the above-described image display method and image display program can also appropriately adjust the irradiation position on the retina based on the detection result of the irradiation position on the retina of the light emitted from the light source.
  • the image display program can be suitably handled in a state of being recorded on a recording medium.
  • FIG. 1 is a block diagram schematically showing the overall configuration of a head mounted display (HMD) 1 according to the present embodiment.
  • HMD head mounted display
  • the HMD 1 mainly includes a control unit 11, a storage unit 12, a light source unit 13, and a detector 14.
  • the HMD 1 is configured in, for example, a glasses type, and is configured to be wearable on the user's head.
  • the control unit 11 includes a CPU (Central Processing Unit) and the like, and performs overall control of the HMD 1.
  • the storage unit 12 includes a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, and the like.
  • the storage unit 12 stores a control program for controlling the control unit 11 and provides a working area for the control unit 11. provide.
  • the light source unit 13 includes red, green, and blue laser light sources, a scanning mechanism (scanning mechanism) that scans laser light emitted from the laser light sources, and the like.
  • the HMD 1 draws an image on the retina of the user by scanning the laser light from the laser light source under the control of the control unit 11 described above.
  • the detector 14 is composed of, for example, a light receiving element (such as a photo detector), and detects return light from the retina of the user of the laser light emitted from the laser light source.
  • control unit 11 corresponds to an example of “second detection unit” and “adjustment unit” in the present invention
  • detector 14 corresponds to an example of “first detection unit” in the present invention.
  • the light source unit 13 includes a laser light source 13a, half mirrors 13b and 13d, a scanning mechanism 13c, and the like.
  • the laser light emitted from the laser light source 13a is indicated by a solid line arrow
  • the return light from the retina of the laser light emitted from the laser light source 13a is indicated by a broken line arrow. Note that the optical paths of the laser light emitted from the laser light source 13a and the return light of the laser light from the retina tend to overlap each other, but in FIG. 2, these optical paths are shown shifted for convenience of explanation. .
  • the laser light emitted from the laser light source 13a is reflected by the half mirror 13b and enters the scan mechanism 13c.
  • the scanning mechanism 13c includes a mirror, an actuator, and the like, and reflects incident laser light toward the half mirror 13d. Specifically, the scanning mechanism 13c operates so as to scan (scan) the retina under the control of the control unit 11 in order to draw an image to be displayed on the retina. That is, the scanning mechanism 13c performs an operation for changing the position on the retina where the laser light is irradiated. The scan mechanism 13 c also performs focus adjustment under the control of the control unit 11.
  • the half mirror 13d reflects the laser beam from the scanning mechanism 13c toward the user's eyeball.
  • the laser light emitted from the laser light source 13a is irradiated onto the retina of the user.
  • the image formed by the HMD 1 is visually recognized by the user.
  • the user's retina is also irradiated with light corresponding to a real image (an image corresponding to the surrounding scenery in front of the user) (the light passes through the half mirror 13d). To do).
  • the laser light irradiated on the user's retina is reflected by the retina.
  • the light reflected by the retina (that is, the return light) is reflected by the half mirror 13d, passes through the scanning mechanism 13c and the half mirror 13b, and enters the detector 14.
  • the detector 14 detects the return light incident in this manner by using, for example, a light receiving element (such as a photodetector). That is, the detector 14 detects return light from the image projected on the retina by the laser light. Then, the detector 14 supplies a detection signal corresponding to the detected return light to the control unit 11.
  • the return light detected by the detector 14 includes not only the return light of the laser light but also the return light of the light corresponding to the entity image. However, since the return light of the light corresponding to the entity image is relatively low, the light intensity of the return light of the laser light is relatively high, and therefore the detector 14 tends to detect mainly the return light of the laser light. It is in. In other words, since the light intensity of the return light of the laser light is relatively high, it can be said that the detector 14 can easily detect the return light of the laser light.
  • “fundus examination machine” is known as an apparatus for measuring the condition of the retina.
  • a retinal image can be directly obtained as an electrical signal by a scanning laser ophthalmoscope (SLO).
  • SLO scanning laser ophthalmoscope
  • the detector 14 as described above is provided in the optical system of the HMD 1 to realize the same function as the scanning laser ophthalmoscope within the scanning range of the HMD 1.
  • the HMD 1 desirably has an optical system designed so that the optical distance from the laser light source 13a to the retina and the optical distance from the retina to the detector 14 are substantially equal. By doing so, the return light of the laser light irradiated on the retina can be appropriately detected by the detector 14.
  • the control unit 11 detects a change in the irradiation position of the laser light on the retina based on the return light from the retina detected by the detector 14, and the laser light based on the detection result. Adjust the irradiation position on the retina. Specifically, the control unit 11 performs control to adjust the irradiation position of the laser beam so that the irradiation position on the retina of the image formed by the laser beam does not vary based on the detection result.
  • the control unit 11 utilizes the fact that return light from the retina is modulated by a pattern of blood vessels, nerves, and the like on the retina of the user (hereinafter simply referred to as “retinal pattern”). Based on the fluctuation of the return light modulated by the pattern, the fluctuation of the irradiation position of the laser light on the retina is detected. In this case, the control unit 11 detects a change in the relative position between the image projected on the retina by the laser light and the retinal pattern based on the change in the return light, and detects the change in the relative position on the retina. Used as variation in irradiation position. Then, the control unit 11 adjusts the irradiation position of the laser light so that the relative position between the image projected on the retina and the retinal pattern is constant.
  • FIG. 3 shows an example of an image displayed by the HMD 1 and an image projected on the retina.
  • FIG. 3A shows an example of an entity image. This entity image corresponds to, for example, a scene in front of the user (in other words, a scene visually recognized by the user when the HMD 1 is not worn). Note that FIG. 3A schematically shows a real image (hereinafter the same).
  • FIG. 3B shows an example of an image visually recognized by the user with the HMD 1 attached. Here, a case where an image indicating characters such as “abc” (see broken line area A1) is displayed by HMD1 is illustrated. As shown in FIG. 3B, the user visually recognizes the entity image and the image displayed by the HMD 1 at the same time.
  • FIG. 3C shows an image projected on the retina of the user when the HMD 1 displays the above image.
  • FIG. 3C shows a retinal pattern including blood vessels and nerves on the user's retina, and an image projected on the retina by laser light (the letters “abc” described above are reversed left and right).
  • Image A broken line area A2 in FIG. 3C indicates a scanning range by the HMD 1 (in other words, a scanning range by the scanning mechanism 13c).
  • the scan range A2 corresponds to a range in which an image to be presented to the user is to be displayed, and for example, a preset range is used.
  • FIG. 4 is a diagram for specifically explaining the detection method in the present embodiment.
  • FIG. 4A shows an image that is a generation source of an image projected on the retina by laser light (in other words, an image that is input to the light source unit 13 as an image to be displayed. An example).
  • This original image is the same image as that shown in FIG. In FIG. 4A, grid lines are shown for convenience of explanation, but these are not actually displayed (the same shall apply hereinafter).
  • FIG. 4B shows an example of the return light from the retina detected by the detector 14. That is, an example of an image projected on the retina is shown. Specifically, in FIG. 4B, a diagram corresponding to the raw data detected by the detector 14 is shown on the left side, and predetermined image processing is performed on the raw data on the right side. The figure is shown. For example, in the figure shown on the right side, processing for extracting a portion of an image projected on the retina by laser light is performed with reference to the original image data and the like.
  • FIG. 4B shows that the return light from the retina is modulated by retinal patterns such as blood vessels and nerves on the retina. Specifically, the luminance is uniform in the original image (see FIG. 4A), but in the image corresponding to the return light, it can be seen that the luminance changes according to the retinal pattern. For example, it can be seen that the brightness of the return light in a portion corresponding to a blood vessel or the like is relatively low.
  • FIG. 4C shows the retina detected by the detector 14 when a predetermined time has elapsed since the image shown in FIG. 4B was obtained (for example, after the time required for one scan has elapsed). An example of the return light is shown. Similar to FIG. 4 (b), FIG. 4 (c) also shows a diagram corresponding to the raw data detected by the detector 14 on the left side. The figure which performed image processing is shown.
  • FIG. 4C Comparing FIG. 4B and FIG. 4C, it can be seen that the relative position between the image projected on the retina by the laser beam and the retinal pattern fluctuates. Specifically, in FIG. 4C, it can be seen that the retinal pattern is shifted to the left with respect to the image projected on the retina, as compared with FIG. 4B. Such a shift is caused by, for example, a positional shift between the user's head and the HMD 1 or a movement of the user's line of sight.
  • the control unit 11 detects the change in the relative position between the image projected on the retina and the retinal pattern based on the return light detected by the detector 14. Specifically, the control unit 11 compares the image projected on the retina corresponding to the return light detected by the detector 14 and the original image corresponding to the image projected on the retina. Then, a change in the relative position between the image projected on the retina and the retinal pattern is detected. In this case, the control unit 11 compares an image projected on the retina by comparing a signal corresponding to the original image and a signal corresponding to the return light based on a feature point such as a bright spot position of the original image. The relative position with the retina pattern is extracted.
  • control unit 11 extracts such a relative position with reference to the light emission timing of the laser light used when displaying the original image. For example, every time the image to be projected is scanned, the control unit 11 detects a change in the relative position by extracting the relative position between the image projected on the retina and the retinal pattern.
  • the control unit 11 performs control for adjusting the irradiation position of the laser beam so that the irradiation position of the laser beam on the retina does not vary based on the detection result of the relative position variation described above.
  • the control unit 11 controls the scan mechanism 13c so as to adjust the irradiation position of the laser light so that the relative positional relationship between the image projected on the retina and the retinal pattern is maintained constant.
  • the control unit 11 controls the scan mechanism 13c so as to adjust the irradiation position of the laser light so that the relative positional relationship between the image projected on the retina and the retinal pattern is maintained constant.
  • the projection optical system is also used as a detection optical system as much as possible, it is not necessary to separately provide a camera for detecting the line of sight. Miniaturization and price reduction can be realized.
  • the image projected on the retina is made to follow the movement of the line of sight by controlling the relative positional relationship between the image projected on the retina and the retinal pattern to be kept constant. be able to.
  • the movement of the line of sight can be detected from a control amount (such as a driving amount of the scanning mechanism 13c for correcting the irradiation position) for following the movement of the line of sight. Therefore, according to the present embodiment, it is possible to appropriately detect the movement of the line of sight without adding a component such as a camera for detecting the line of sight, and the movement of the line of sight thus detected is controlled in various ways in the HMD 1. Can be used as a signal for
  • detection and control is performed using an image indicating characters such as “abc” (see FIGS. 3 and 4), but detection and control may be performed using characters other than these. Further, instead of using characters, detection and control may be performed using predetermined figures (such as squares, triangles, circles, and crosses) and line segments.
  • detection and control are performed using an image presented to the user, but detection and control may be performed using an image that is not visually recognized by the user.
  • the detection and control are performed using the scanning range (the range in which the image to be presented to the user should be displayed).
  • the detection and control may be performed using a region other than the scanning range.
  • invisible light such as infrared light is used in place of visible light, and infrared light is projected only on a portion corresponding to the outer frame of the scanning range (the outer frame to be scanned), and based on the return light.
  • the above-described detection and control can be performed. Accordingly, stable operation can be expected regardless of the area and brightness of the projected visible light image (that is, the image image presented to the user).
  • the present invention is applied to a head mounted display (HMD) has been shown, but the application of the present invention is not limited to this.
  • the present invention can be applied to various image display devices that project laser light directly onto the retina. For example, it can be applied to a head-up display.
  • the present invention can be used for an image display device such as a head-mounted display or a head-up display.
  • HMD Head mounted display
  • SYMBOLS Control part
  • storage part Light source unit 13a

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

 画像表示装置は、画像を視認させるための光をユーザの網膜に照射する光源と、光源から照射された光の、ユーザの網膜からの戻り光を検出する第一検出手段と、第一検出手段による検出結果に基づいて、光の網膜上での照射位置の変動を検出する第二検出手段と、第二検出手段による検出結果に基づいて、光の網膜上での照射位置を調整する調整手段と、を備える。これにより、光源から照射された光の網膜上での照射位置の検出結果に基づいて、網膜上での照射位置を適切に調整することが可能となる。

Description

画像表示装置、画像表示方法及び画像表示プログラム
 本発明は、ヘッドマウントディスプレイなどの画像表示装置に関する。
 従来から、ユーザの頭部に装着することが可能に構成されたヘッドマウントディスプレイ(以下、適宜「HMD」と表記する。)などの画像表示装置が知られている。例えば特許文献1には、角膜の表面で反射した走査光の一部を反射光として検出して、検出した反射光に基づいてレーザ光の焦点位置を調整するHMD型の画像表示装置が記載されている。また、例えば特許文献2には、映像の網膜上の結像状態を検出し、その情報に基づいて光学系を駆動して結像位置を変更する頭部装着型映像表示装置が記載されている。また、例えば特許文献3には、ユーザの眼の動きに追従して瞳孔の位置を検出し、レーザ光の走査方向を変化させる網膜投影ディスプレイ装置が記載されている。
特開2009-258686号公報 特開平7-128613号公報 特開2009-122550号公報
 しかしながら、上記した特許文献1及び3には、焦点調節を行うことや瞳孔の動きを検出することなどが記載されているに止まり、光源から照射された光の網膜上での照射位置(つまり瞳孔を通過して網膜上に投射された像の位置)を検出することなどについては記載されていない。
 本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、光源から照射された光の網膜上での照射位置を検出して、網膜上での照射位置を適切に調整することが可能な画像表示装置、画像表示方法及び画像表示プログラムを提供することを課題とする。
 請求項1に記載の発明では、画像表示装置は、画像を視認させるための光をユーザの網膜に照射する光源と、前記光源から照射された光の、前記ユーザの網膜からの戻り光を検出する第一検出手段と、前記第一検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置の変動を検出する第二検出手段と、前記第二検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整手段と、を備える。
 請求項6に記載の発明では、画像表示装置は、画像を視認させるためにユーザの網膜に光を照射する光源と、前記網膜からの戻り光を検出する検出手段と、前記検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整手段と、を備える。
 請求項7に記載の発明では、画像を視認させるための光をユーザの網膜に照射する光源を有する画像表示装置によって実行される画像表示方法は、前記光源から照射された光の、前記ユーザの網膜からの戻り光を検出する第一検出工程と、前記第一検出工程による検出結果に基づいて、前記光の前記網膜上での照射位置の変動を検出する第二検出工程と、前記第二検出工程による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整工程と、を備える。
 請求項8に記載の発明では、画像を視認させるための光をユーザの網膜に照射する光源及びコンピュータを有する画像表示装置によって実行される画像表示プログラムは、前記コンピュータを、前記光源から照射された光の、前記ユーザの網膜からの戻り光を検出する第一検出手段、前記第一検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置の変動を検出する第二検出手段、前記第二検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整手段、として機能させる。
本実施例に係るヘッドマウントディスプレイ(HMD)の全体構成を示す。 本実施例に係るHMDの基本動作を説明するための図を示す。 HMDによって表示された画像及び網膜上に投射された像の一例を示す。 本実施例における検出方法を具体的に説明するための図を示す。
 本発明の1つの観点では、画像表示装置は、画像を視認させるための光をユーザの網膜に照射する光源と、前記光源から照射された光の、前記ユーザの網膜からの戻り光を検出する第一検出手段と、前記第一検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置の変動を検出する第二検出手段と、前記第二検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整手段と、を備える。
 上記の画像表示装置は、例えばユーザの頭部などに装着され、光源から照射させた光によってユーザの網膜上に画像を描画する。第一検出手段は、光源から照射された光の、ユーザの網膜からの戻り光を検出する。第二検出手段は、第一検出手段によって検出された戻り光に基づいて、光の網膜上での照射位置の変動を検出する。そして、調整手段は、第二検出手段によって検出された照射位置の変動に基づいて、光の網膜上での照射位置を調整する。上記の画像表示装置によれば、光源から照射された光の網膜上での照射位置の検出結果に基づいて、網膜上での照射位置を適切に調整することができる。
 上記の画像表示装置の一態様では、前記調整手段は、前記画像の前記網膜上での照射位置が変動しないように調整を行う。
 この態様によれば、視野の定まった位置に、画像を適切に表示させることが可能となる。言い換えると、画像が表示される視野内の位置を一定に維持することが可能となる。また、振動などに起因する画像のぶれを適切に補正することが可能となる。
 上記の画像表示装置の他の一態様では、前記網膜からの戻り光は、前記光が照射される前記網膜上のパターンによって変調されており、前記第二検出手段は、前記網膜上のパターンによって変調された前記戻り光の変動に基づいて、前記網膜上での照射位置の変動を検出する。
 この態様では、網膜からの戻り光が網膜上の血管や神経などのパターン(網膜パターン)によって変調されていることを利用して、網膜パターンによって変調された戻り光の変動に基づいて、光の網膜上での照射位置の変動を検出する。これにより、照射位置の変動を適切に検出することができる。
 上記の画像表示装置において好適には、前記第二検出手段は、前記網膜上のパターンによって変調された前記戻り光の変動に基づいて、前記光によって前記網膜上に投射された像と、前記網膜上のパターンとの相対位置の変動を検出し、当該相対位置の変動を前記網膜上での照射位置の変動として用いることができる。
 また好適には、前記調整手段は、前記光によって前記網膜上に投射された像と、前記網膜上のパターンとの相対位置が一定になるように、前記照射位置を調整することができる。
 本発明の他の観点では、画像表示装置は、画像を視認させるためにユーザの網膜に光を照射する光源と、前記網膜からの戻り光を検出する検出手段と、前記検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整手段と、を備える。上記の画像表示装置によれば、検出された網膜からの戻り光に基づいて、光の網膜上での照射位置を適切に調整することができる。
 本発明の他の観点では、画像を視認させるための光をユーザの網膜に照射する光源を有する画像表示装置によって実行される画像表示方法は、前記光源から照射された光の、前記ユーザの網膜からの戻り光を検出する第一検出工程と、前記第一検出工程による検出結果に基づいて、前記光の前記網膜上での照射位置の変動を検出する第二検出工程と、前記第二検出工程による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整工程と、を備える。
 本発明の更に他の観点では、画像を視認させるための光をユーザの網膜に照射する光源及びコンピュータを有する画像表示装置によって実行される画像表示プログラムは、前記コンピュータを、前記光源から照射された光の、前記ユーザの網膜からの戻り光を検出する第一検出手段、前記第一検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置の変動を検出する第二検出手段、前記第二検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整手段、として機能させる。
 上記の画像表示方法及び画像表示プログラムによっても、光源から照射された光の網膜上での照射位置の検出結果に基づいて、網膜上での照射位置を適切に調整することができる。
 なお、上記画像表示プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。
 以下、図面を参照して本発明の好適な実施例について説明する。
 [全体構成]
 図1は、本実施例に係るヘッドマウントディスプレイ(HMD)1の全体構成を概略的に示したブロック図である。
 HMD1は、主に、制御部11と、記憶部12と、光源ユニット13と、検出器14と、を備える。HMD1は、例えば眼鏡型に構成されており、ユーザの頭部に装着可能に構成されている。
 制御部11は、CPU(Central Processing Unit)などを有しており、HMD1の全体の制御を行う。記憶部12は、ROM(Read Only Memory)やRAM(Random Access Memory)やフラッシュメモリなどで構成され、制御部11を制御する制御プログラムなどが記憶されると共に、制御部11に対してワーキングエリアを提供する。
 光源ユニット13は、赤色、緑色、青色のレーザ光源や、レーザ光源から出射されたレーザ光を走査するスキャン機構(走査機構)などを有する。HMD1は、上記した制御部11の制御の元、レーザ光源からのレーザ光を走査することで、ユーザの網膜上に画像を描画する。検出器14は、例えば受光素子(フォトディテクタなど)で構成され、レーザ光源から照射されたレーザ光の、ユーザの網膜からの戻り光を検出する。
 なお、制御部11は、本発明における「第二検出手段」及び「調整手段」の一例に相当し、検出器14は、本発明における「第一検出手段」の一例に相当する。
 [HMDの基本動作]
 次に、図2を参照して、本実施例に係るHMD1の基本動作について説明する。図2に示すように、光源ユニット13は、レーザ光源13aや、ハーフミラー13b、13dや、スキャン機構13cなどを有する。図2では、レーザ光源13aから照射されたレーザ光を実線矢印で示し、レーザ光源13aから照射されたレーザ光の網膜からの戻り光を破線矢印で示している。なお、レーザ光源13aから照射されたレーザ光と、レーザ光の網膜からの戻り光とは、光路が概ね重なる傾向にあるが、図2では、説明の便宜上、これらの光路をずらして示している。
 レーザ光源13aから出射されたレーザ光は、ハーフミラー13bで反射されて、スキャン機構13cに入射する。スキャン機構13cは、ミラーやアクチュエータなどを具備して構成され、入射されたレーザ光をハーフミラー13dに向けて反射する。具体的には、スキャン機構13cは、表示すべき画像を網膜上に描画するべく、制御部11の制御により網膜上を走査(スキャン)するように動作する。つまり、スキャン機構13cは、レーザ光を照射する網膜上の位置を変更するための動作を行う。また、スキャン機構13cは、制御部11の制御の元、フォーカス調整も行う。
 ハーフミラー13dは、スキャン機構13cからのレーザ光を、ユーザの眼球に向けて反射する。これにより、レーザ光源13aから出射されたレーザ光が、ユーザの網膜上に照射されることとなる。その結果、HMD1によって形成された画像が、ユーザに視認されることとなる。なお、図2では図示していないが、ユーザの網膜上には、実体像(ユーザの目前の周辺景色などに対応する像)に対応する光も照射される(当該光はハーフミラー13dを透過する)。
 ユーザの網膜上に照射されたレーザ光は、網膜で反射する。網膜で反射された光(つまり戻り光)は、ハーフミラー13dで反射し、スキャン機構13c及びハーフミラー13bを透過して、検出器14に入射する。検出器14は、例えば受光素子(フォトディテクタなど)によって、このようにして入射された戻り光を検出する。つまり、検出器14は、レーザ光によって網膜上に投射された像からの戻り光を検出する。そして、検出器14は、検出した戻り光に対応する検出信号を制御部11に供給する。
 なお、検出器14によって検出される戻り光には、レーザ光の戻り光だけでなく、実体像に対応する光の戻り光も含まれる。但し、実体像に対応する光の戻り光は比較的低いのに対して、レーザ光の戻り光の光強度は比較的高いので、検出器14では、主としてレーザ光の戻り光が検出される傾向にある。言い換えると、レーザ光の戻り光の光強度は比較的高いので、検出器14でレーザ光の戻り光を容易に検出することができると言える。
 ところで、網膜の状況を計測する装置として「眼底検査機」が知られている。また、近年、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope:SLO)により、網膜像を直接電気信号として得られることが知られている。本実施例では、HMD1の光学系に上記のような検出器14を設けることで、HMD1の走査範囲内で、走査型レーザ検眼鏡と同様の機能を実現させている。
 なお、HMD1は、レーザ光源13aから網膜までの光学的距離と、網膜から検出器14までの光学的距離とが概ね等しくなるように光学系を設計することが望ましい。こうすることで、網膜に照射したレーザ光の戻り光を、検出器14で適切に検出することが可能となる。
 [検出方法及び制御方法]
 次に、本実施例において制御部11が行う検出方法及び制御方法について説明する。本実施例では、制御部11は、検出器14によって検出された網膜からの戻り光に基づいて、レーザ光の網膜上での照射位置の変動を検出し、その検出結果に基づいて、レーザ光の網膜上での照射位置を調整する。具体的には、制御部11は、検出結果に基づいて、レーザ光によって形成される画像の網膜上での照射位置が変動しないように、レーザ光の照射位置を調整する制御を行う。
 詳しくは、制御部11は、網膜からの戻り光が、ユーザの網膜上の血管や神経などのパターン(以下、単に「網膜パターン」と呼ぶ。)によって変調されていることを利用して、網膜パターンによって変調された戻り光の変動に基づいて、レーザ光の網膜上での照射位置の変動を検出する。この場合、制御部11は、当該戻り光の変動に基づいて、レーザ光によって網膜上に投射された像と網膜パターンとの相対位置の変動を検出し、当該相対位置の変動を網膜上での照射位置の変動として用いる。そして、制御部11は、網膜上に投射された像と網膜パターンとの相対位置が一定になるように、レーザ光の照射位置を調整する。
 ここで、図3及び図4を参照して、本実施例における検出方法及び制御方法を具体的に説明する。
 図3は、HMD1によって表示された画像及び網膜上に投射された像の一例を示す。図3(a)は、実体像の一例を示している。この実体像は、例えばユーザの目前の景色(言い換えるとHMD1を装着していない場合にユーザに視認される景色)に相当する。なお、図3(a)では、実体像を模式的に示している(以下同様とする)。図3(b)は、HMD1を装着している状態でユーザが視認する像の例を示している。ここでは、「abc」といった文字を示す画像(破線領域A1参照)がHMD1によって表示された場合を例示している。図3(b)に示すように、ユーザは、実体像と、HMD1によって表示された画像とを同時に視認することとなる。
 図3(c)は、上記のような画像をHMD1が表示した場合に、ユーザの網膜上に投射された像を示している。具体的には、図3(c)は、ユーザの網膜上の血管や神経などを含む網膜パターン、及びレーザ光によって網膜上に投射された像(上記した「abc」の文字が左右反転された像)を示している。また、図3(c)中の破線領域A2は、HMD1による走査範囲(言い換えるとスキャン機構13cによる走査範囲)を示している。走査範囲A2は、ユーザに提示する画像を表示すべき範囲に相当し、例えば事前に設定された範囲が用いられる。
 図4は、本実施例における検出方法を具体的に説明するための図である。図4(a)は、レーザ光によって網膜上に投射された像の生成元となる画像(言い換えると、表示すべき画像として光源ユニット13に入力される画像であり、以下では「元画像」と呼ぶ。)の一例を示している。この元画像は、図3で示したものと同様の画像である。なお、図4(a)では、説明の便宜上、グリッド線を示しているが、これは実際には表示されない(以下同様であるものとする)。
 図4(b)は、検出器14によって検出された、網膜からの戻り光の一例を示している。つまり、網膜上に投射された像の一例を示している。具体的には、図4(b)では、左側に、検出器14によって検出された生データに相当する図を示しており、右側に、このような生データに対して所定の画像処理を行った図を示している。例えば、右側に示す図は、元画像のデータなどを参照して、レーザ光によって網膜上に投射された像の部分を抽出する処理が行われたものである。図4(b)より、網膜からの戻り光が、網膜上の血管や神経などの網膜パターンによって変調されていることがわかる。具体的には、元画像では輝度が一様であるのに対して(図4(a)参照)、戻り光に対応する像では、網膜パターンに応じて輝度が変わっていることがわかる。例えば、血管などに対応する部分の戻り光の輝度が比較的低くなっていることがわかる。
 図4(c)は、図4(b)に示す像が得られてから所定時間が経過した際に(例えば一回の走査に要する時間の経過後)、検出器14によって検出された網膜からの戻り光の一例を示している。図4(b)と同様に、図4(c)も、左側に、検出器14によって検出された生データに相当する図を示しており、右側に、このような生データに対して所定の画像処理を行った図を示している。
 図4(b)と図4(c)とを比較すると、レーザ光によって網膜上に投射された像と網膜パターンとの相対位置が変動していることがわかる。具体的には、図4(c)は、図4(b)と比較すると、網膜上に投射された像に対して網膜パターンが左側にずれていることがわかる。このようなずれは、例えばユーザの頭とHMD1との位置ずれや、ユーザの視線の移動等に起因する。
 本実施例では、制御部11は、検出器14によって検出された戻り光に基づいて、上記のような網膜上に投射された像と網膜パターンとの相対位置の変動を検出する。具体的には、制御部11は、検出器14によって検出された戻り光に対応する、網膜上に投射された像と、当該網膜上に投射された像に対応する元画像とを比較することで、網膜上に投射された像と網膜パターンとの相対位置の変動を検出する。この場合、制御部11は、元画像に対応する信号と戻り光に対応する信号とを、元画像の輝点位置などの特徴点に基づいて比較することで、網膜上に投射された像と網膜パターンとの相対位置を抽出する。また、制御部11は、元画像を表示する際に用いたレーザ光の発光タイミングなども参照して、このような相対位置を抽出する。例えば、制御部11は、投射すべき像を走査するごとに、網膜上に投射された像と網膜パターンとの相対位置を抽出することにより、相対位置の変動を検出する。
 そして、本実施例では、制御部11は、上記した相対位置の変動の検出結果に基づいて、レーザ光の網膜上での照射位置が変動しないように、レーザ光の照射位置を調整する制御を行う。具体的には、制御部11は、網膜上に投射された像と網膜パターンとの相対位置関係が一定に維持されるように、レーザ光の照射位置を調整するべく、スキャン機構13cに対する制御を行う。これにより、振動などに起因する、ユーザの頭とHMD1との位置ずれによらずに、視野の定まった位置に、HMD1によって画像を表示させることが可能となる。つまり、ユーザの頭とHMD1との位置ずれによる画像のぶれを適切に補正することが可能となる。したがって、本実施例によれば、HMD1の快適な装着感をユーザに提供することが可能となる。
 また、本実施例によれば、投射用の光学系をできる限り検出用の光学系としても使用しているため、視線検出用のカメラ等を別途設ける必要がないので、システム全体の軽量化や小型化や低価格化を実現することができる。
 更に、本実施例によれば、網膜上に投射された像と網膜パターンとの相対位置関係が一定に維持されるように制御することで、網膜上に投射する像を視線の移動に追随させることができる。加えて、視線の移動に追随させるための制御量(照射位置を補正するためのスキャン機構13cの駆動量など)から、視線の移動を検知することができる。よって、本実施例によれば、視線検出用のカメラ等の構成要素を追加することなく、視線の移動を適切に検知することができ、こうして検知された視線の移動を、HMD1における種々の制御のための信号として用いることができる。
 [変形例]
 上記では、「abc」といった文字を示す画像を用いて検出及び制御を行う実施例を示したが(図3及び図4参照)、これ以外の文字を用いて検出及び制御を行っても良い。また、文字を用いる代わりに、所定の図形(四角や三角や丸や十字など)や線分などを用いて検出及び制御を行っても良い。
 上記では、ユーザに提示する画像を用いて検出及び制御を行う実施例を示したが、ユーザに視認されないような画像を用いて検出及び制御を行っても良い。また、上記では走査範囲(ユーザに提示する画像を表示すべき範囲)を用いて検出及び制御を行う実施例を示したが、走査範囲以外の領域を用いて検出及び制御を行っても良い。1つの例では、可視光線の代わりに赤外線などの不可視光線を用い、走査範囲の外枠に相当する部位(走査される外枠)にのみ赤外光を投射して、その戻り光に基づいて、上記した検出及び制御を行うことができる。これにより、投射される可視光の像(つまりユーザに提示する画像の像)の面積や輝度に影響によらず、安定した動作を期待することができる。
 上記では本発明をヘッドマウントディスプレイ(HMD)に適用する例を示したが、本発明の適用はこれに限定されない。本発明は、HMD以外にも、網膜に直接レーザ光を投射する種々の画像表示装置に適用することができる。例えば、ヘッドアップディスプレイに適用することができる。
 以上に述べたように、実施例は、上述した実施例に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能である。
 本発明は、ヘッドマウントディスプレイやヘッドアップディスプレイなどの画像表示装置に利用することができる。
 1 ヘッドマウントディスプレイ(HMD)
 11 制御部
 12 記憶部
 13 光源ユニット
 13a レーザ光源
 13b、13d ハーフミラー
 13c スキャン機構
 14 検出器

Claims (9)

  1.  画像を視認させるための光をユーザの網膜に照射する光源と、
     前記光源から照射された光の、前記ユーザの網膜からの戻り光を検出する第一検出手段と、
     前記第一検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置の変動を検出する第二検出手段と、
     前記第二検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整手段と、を備えることを特徴とする画像表示装置。
  2.  前記調整手段は、前記画像の前記網膜上での照射位置が変動しないように調整を行うことを特徴とする請求項1に記載の画像表示装置。
  3.  前記網膜からの戻り光は、前記光が照射される前記網膜上のパターンによって変調されており、
     前記第二検出手段は、前記網膜上のパターンによって変調された前記戻り光の変動に基づいて、前記網膜上での照射位置の変動を検出することを特徴とする請求項1又は2に記載の画像表示装置。
  4.  前記第二検出手段は、前記網膜上のパターンによって変調された前記戻り光の変動に基づいて、前記光によって前記網膜上に投射された像と、前記網膜上のパターンとの相対位置の変動を検出し、当該相対位置の変動を前記網膜上での照射位置の変動として用いることを特徴とする請求項3に記載の画像表示装置。
  5.  前記調整手段は、前記光によって前記網膜上に投射された像と、前記網膜上のパターンとの相対位置が一定になるように、前記照射位置を調整することを特徴とする請求項4に記載の画像表示装置。
  6.  画像を視認させるためにユーザの網膜に光を照射する光源と、
     前記網膜からの戻り光を検出する検出手段と、
     前記検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整手段と、を備えることを特徴とする画像表示装置。
  7.  画像を視認させるための光をユーザの網膜に照射する光源を有する画像表示装置によって実行される画像表示方法であって、
     前記光源から照射された光の、前記ユーザの網膜からの戻り光を検出する第一検出工程と、
     前記第一検出工程による検出結果に基づいて、前記光の前記網膜上での照射位置の変動を検出する第二検出工程と、
     前記第二検出工程による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整工程と、を備えることを特徴とする画像表示方法。
  8.  画像を視認させるための光をユーザの網膜に照射する光源及びコンピュータを有する画像表示装置によって実行される画像表示プログラムであって、
     前記コンピュータを、
     前記光源から照射された光の、前記ユーザの網膜からの戻り光を検出する第一検出手段、
     前記第一検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置の変動を検出する第二検出手段、
     前記第二検出手段による検出結果に基づいて、前記光の前記網膜上での照射位置を調整する調整手段、として機能させることを特徴とする画像表示プログラム。
  9.  請求項8に記載の画像表示プログラムを記録したことを特徴とする記録媒体。
PCT/JP2011/063366 2011-06-10 2011-06-10 画像表示装置、画像表示方法及び画像表示プログラム WO2012169064A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2011/063366 WO2012169064A1 (ja) 2011-06-10 2011-06-10 画像表示装置、画像表示方法及び画像表示プログラム
JP2011544531A JP4926300B1 (ja) 2011-06-10 2011-06-10 画像表示装置、画像表示方法及び画像表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/063366 WO2012169064A1 (ja) 2011-06-10 2011-06-10 画像表示装置、画像表示方法及び画像表示プログラム

Publications (1)

Publication Number Publication Date
WO2012169064A1 true WO2012169064A1 (ja) 2012-12-13

Family

ID=46261502

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/063366 WO2012169064A1 (ja) 2011-06-10 2011-06-10 画像表示装置、画像表示方法及び画像表示プログラム

Country Status (2)

Country Link
JP (1) JP4926300B1 (ja)
WO (1) WO2012169064A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158151A1 (ja) * 2015-04-01 2016-10-06 フォーブ インコーポレーテッド 視線検出システム、ヘッドマウントディスプレイ、視線検出方法
KR20230015353A (ko) 2020-05-27 2023-01-31 소니그룹주식회사 표시 장치 및 표시 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018122859A1 (en) * 2016-12-31 2018-07-05 Lumus Ltd. Eye tracker based on retinal imaging via light-guide optical element

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07128613A (ja) * 1993-11-04 1995-05-19 Matsushita Electric Ind Co Ltd 頭部装着型映像表示装置
JP2009122550A (ja) * 2007-11-16 2009-06-04 Panasonic Electric Works Co Ltd 網膜投影ディスプレイ装置
JP2009258686A (ja) * 2008-03-28 2009-11-05 Panasonic Corp 画像表示装置および画像表示方法
JP2009282085A (ja) * 2008-05-20 2009-12-03 Panasonic Corp 光学装置およびこれを備えた画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07128613A (ja) * 1993-11-04 1995-05-19 Matsushita Electric Ind Co Ltd 頭部装着型映像表示装置
JP2009122550A (ja) * 2007-11-16 2009-06-04 Panasonic Electric Works Co Ltd 網膜投影ディスプレイ装置
JP2009258686A (ja) * 2008-03-28 2009-11-05 Panasonic Corp 画像表示装置および画像表示方法
JP2009282085A (ja) * 2008-05-20 2009-12-03 Panasonic Corp 光学装置およびこれを備えた画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WU JING-LONG ET AL.: "Measurement of Human Visual Sensation for Development of High Performance Head Mounted Display", DAI 13 KAI ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN YOKOSHU, 3 November 1995 (1995-11-03), pages 671 - 672 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158151A1 (ja) * 2015-04-01 2016-10-06 フォーブ インコーポレーテッド 視線検出システム、ヘッドマウントディスプレイ、視線検出方法
CN107850937A (zh) * 2015-04-01 2018-03-27 Fove股份有限公司 视线检测系统、头戴式显示器、视线检测方法
KR20230015353A (ko) 2020-05-27 2023-01-31 소니그룹주식회사 표시 장치 및 표시 방법
DE112021002930T5 (de) 2020-05-27 2023-03-09 Sony Group Corporation Anzeigevorrichtung und anzeigeverfahren
US11940630B2 (en) 2020-05-27 2024-03-26 Sony Group Corporation Display apparatus and display method

Also Published As

Publication number Publication date
JP4926300B1 (ja) 2012-05-09
JPWO2012169064A1 (ja) 2015-02-23

Similar Documents

Publication Publication Date Title
US11686945B2 (en) Methods of driving light sources in a near-eye display
US10395111B2 (en) Gaze-tracking system and method
US10409146B2 (en) Image projection system, image projection device, image projection method, image projection program, and server device
JP6231545B2 (ja) 画像投影装置
WO2018100241A1 (en) Gaze-tracking system and method of tracking user's gaze
TW201712371A (zh) 資料眼鏡用的投影裝置,資料眼鏡,以及操作資料眼鏡用的投影裝置的方法
CN104094197A (zh) 利用投影仪的注视追踪
KR20150048789A (ko) 시각 보조 프로젝터
US10761329B2 (en) Image projection device
US10726257B2 (en) Gaze-tracking system and method of tracking user's gaze
JP7395803B2 (ja) 眼科装置
JP2018116219A (ja) 画像投影装置
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
JP2011075956A (ja) ヘッドマウントディスプレイ
JP4926300B1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP6866132B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
WO2015193953A1 (ja) 画像表示装置及び光学デバイス
JP2009192561A (ja) 画像表示装置
WO2016152637A1 (ja) 画像表示装置
US20240054972A1 (en) Image display device and image display method
TWI634869B (zh) 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置
JP2024008216A (ja) 画像投影装置及び画像投影方法
WO2018158921A1 (ja) 画像表示装置、及び、眼の挙動検出方法
JP2023135246A (ja) 眼底撮像装置、眼底撮像装置の制御方法、及びプログラム
JP2001339741A (ja) 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2011544531

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11867157

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11867157

Country of ref document: EP

Kind code of ref document: A1