JP6231585B2 - 画像投影装置 - Google Patents

画像投影装置 Download PDF

Info

Publication number
JP6231585B2
JP6231585B2 JP2016000622A JP2016000622A JP6231585B2 JP 6231585 B2 JP6231585 B2 JP 6231585B2 JP 2016000622 A JP2016000622 A JP 2016000622A JP 2016000622 A JP2016000622 A JP 2016000622A JP 6231585 B2 JP6231585 B2 JP 6231585B2
Authority
JP
Japan
Prior art keywords
image
pupil
speed
movement
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016000622A
Other languages
English (en)
Other versions
JP2017122775A (ja
Inventor
菅原　充
充 菅原
鈴木　誠
鈴木　　誠
新井　道夫
道夫 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
QD Laser Inc
Original Assignee
QD Laser Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QD Laser Inc filed Critical QD Laser Inc
Priority to JP2016000622A priority Critical patent/JP6231585B2/ja
Priority to US16/062,424 priority patent/US10761329B2/en
Priority to PCT/JP2016/085255 priority patent/WO2017119213A1/ja
Publication of JP2017122775A publication Critical patent/JP2017122775A/ja
Application granted granted Critical
Publication of JP6231585B2 publication Critical patent/JP6231585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/206—Control of light source other than position or intensity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2066—Reflectors in illumination beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/346—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on modulation of the reflection angle, e.g. micromirrors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像投影装置に関する。
光源から出射された光線を用いユーザの網膜に画像を直接投影するヘッドマウントディスプレイ（ＨＭＤ）などの画像投影装置が知られている（例えば、特許文献１）。このような画像投影装置では、マックスウエル視といわれる方法が用いられる。マックスウエル視では、画像を形成する光線を瞳孔近傍で集束させ、網膜に画像を投影する。
また、ユーザの眼球の移動方向に応じて画像のスクロールやページ送りを行うと共に、ユーザの眼球の移動速度を認識して、認識した速度に応じてスクロール量を決定する画像投影装置が知られている（例えば、特許文献２）。また、ユーザの眼がサッカード運動を起こしている時の視線の速度と眼精疲労度とを対応させ、眼精疲労度に応じて警告メッセージを異ならせる画像投影装置が知られている（例えば、特許文献３）。
国際公開第２０１４／１９２４７９号 特開２０１０−１５２４４３号公報 特開２０１２−１３７６３９号公報
しかしながら、ユーザの眼球の移動方向に応じて画像を制御するだけでは、複数の異なる画像の制御を行う点で改善の余地が残されている。
本発明は、上記課題に鑑みなされたものであり、複数の異なる画像の制御を行うことが可能な画像投影装置を提供することを目的とする。
本発明は、画像を形成する可視光からなる画像用光線を出射するとともに可視光からなる複数の検出用光線を出射する光源を含み、前記画像用光線と前記複数の検出用光線とをユーザの眼球の異なる領域に投射して、前記画像用光線によって前記眼球の網膜に画像を投影する投影部と、前記複数の検出用光線の前記眼球での反射光を検出する光検出器と、前記光検出器による前記複数の検出用光線の前記反射光の検出結果に基づき、前記眼球の瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、前記検出部で検出した前記瞳孔の動いた方向及び前記瞳孔の動きの速さに基づいて、前記画像の制御を行う制御部と、を備えることを特徴とする画像投影装置である。
上記構成において、前記制御部は、前記瞳孔が同じ方向に異なる速さで動いたときで、前記瞳孔の動きの速さが所定の速さ未満であると判定したときに前記画像の第１の制御を行い、前記瞳孔の動きの速さが前記所定の速さ以上であると判定したときに前記画像の第２の制御を行う構成とすることができる。
上記構成において、前記画像の制御は、前記画像の投影位置に関する制御及び前記画像の内容に関する制御の少なくとも一方を含む構成とすることができる。また、上記構成において、前記画像の制御は、前記画像用光線の投射位置を移動させる制御、静止画を別の静止画に切替える制御、動画を停止又は早送りする制御、カメラからの画像を別のカメラからの画像に切替える制御、画像を拡大又は縮小する制御、前記ユーザがシースルーで見えている外界の画像にアイコンを重畳させる制御、及び画像の色又は明るさを変更する制御のいずれかを含む構成とすることができる。
本発明は、画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、前記ユーザの顔に対し前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、前記瞳孔が同じ方向に異なる速さで動いたときに異なる前記画像の制御を行う制御部と、を備え、前記制御部は、前記瞳孔の動きの速さが所定の速さ未満であるときには前記画像の投影位置に関する制御を行い、前記瞳孔の動きの速さが前記所定の速さ以上であるときには前記画像の内容に関する制御を行うことを特徴とする画像投影装置である。
上記構成において、前記網膜に投影される前記画像には、第１の画像と、前記第１の画像とは異なる第２の画像と、が含まれ、前記制御部は、前記瞳孔の動きの速さが前記所定の速さ未満であるときには前記網膜に投影されている前記第１の画像が投影され続けるように前記画像用光線の投射位置を移動させ、前記瞳孔の動きの速さが前記所定の速さ以上であるときには前記網膜に投影されている前記第１の画像を前記第２の画像に切り替える構成とすることができる。
上記構成において、前記網膜に投影される前記画像は、電子書籍を構成するページに対応した画像であり、前記制御部は、前記瞳孔の左右方向への動きの速さが前記所定の速さ以上であるときには前記電子書籍の前記ページを捲る構成とすることができる。
本発明は、画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、前記ユーザの顔に対し前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、前記瞳孔が同じ方向に異なる速さで動いたときに異なる前記画像の制御を行う制御部と、を備え、前記網膜に投影される前記画像は、複数のアイコンを含んだ画像であり、前記制御部は、前記複数のアイコンの中から前記瞳孔が動いた方向及び動きの速さに応じたアイコンを選択することを特徴とする画像投影装置である。
上記構成において、前記制御部は、前記瞳孔が異なる方向に動いたときには異なる前記画像の制御を行う構成とすることができる。
本発明は、画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、前記ユーザの顔に対し前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、前記瞳孔が同じ方向に異なる速さで動いたときに異なる前記画像の制御を行う制御部と、前記瞳孔の径方向に並んで前記眼球の虹彩に投射される複数の検出用光線の反射光を検出する光検出器と、を備え、前記検出部は、前記光検出器による前記複数の検出用光線の反射光の検出結果に基づき、前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出することを特徴とする画像投影装置である。
本発明は、画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、前記瞳孔の径方向に並んで前記眼球の虹彩に投射される複数の検出用光線の反射光を検出する光検出器と、前記光検出器による前記複数の検出用光線の反射光の検出結果に基づき、前記瞳孔が動いた方向及び前記瞳孔の動きの速さを検出する検出部と、検出された前記瞳孔が動いた方向及び前記瞳孔の動きの速さに基づき、複数の異なる前記画像の制御を行う制御部と、を備えることを特徴とする画像投影装置である。
上記構成において、前記複数の検出用光線は、前記瞳孔に対して複数の同心円状で前記虹彩に投射される構成とすることができる。
上記構成において、前記複数の検出用光線と前記画像用光線とは、同じ光源から出射される構成とすることができる。
本発明によれば、複数の異なる画像の制御を行うことができる。
図１は、実施例１に係る画像投影装置の上視図である。 図２は、図１の投射部近傍を拡大した図である。 図３（ａ）は、第１ミラーの振動を示す図、図３（ｂ）は、画像用光線と検出用光線の出射タイミングを示すタイミングチャートである。 図４は、検出用光線の照射位置を示す眼球の正面図である。 図５は、反射光を検出する検出タイミングを示すタイミングチャートである。 図６（ａ）から図６（ｃ）は、投射部及び眼球の上視図である。 図７は、実施例１における制御部及び検出部の動作を示すフローチャートである。 図８は、実施例１における制御部及び検出部の動作を示すフローチャートである。 図９は、実施例２における制御部及び検出部の動作を示すフローチャートである。 図１０（ａ）から図１０（ｃ）は、実施例２における瞳孔の動きと画像用光線の制御とを示す眼球の上視図である。 図１１は、実施例２における瞳孔の動きと画像の制御とを示す図である。 図１２（ａ）及び図１２（ｂ）は、画像用光線と複数の検出用光線の眼球への投射位置の変化を説明する図である。 図１３は、画像用光線と複数の検出用光線の眼球への投射位置の変化を説明する図である。 図１４は、実施例２において制御部が有するテーブルを示す図である。 図１５は、実施例３における瞳孔の動きと画像の制御とを示す図である。 図１６は、実施例４における制御部及び検出部の動作を示すフローチャートである。 図１７は、実施例４においてユーザの網膜に投影される画像を示す図である。
以下、図面を参照しつつ、本発明の実施例について説明する。
図１は、実施例１に係る画像投影装置の上視図である。図２は、図１の投射部近傍を拡大した図である。なお、実施例１の画像投影装置は、ユーザに画像を視認させるための画像用光線が当該ユーザの眼球の網膜に直接投射される、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。
実施例１の画像投影装置１００は、図１のように、光検出器１８、制御部２０、投影部２４および検出部２６を備える。投影部２４は、光源１２、第１ミラー１４、第２ミラー１５、第３ミラー１７、第４ミラー４４、投射部１６、位置調整部２２を備える。光源１２は、メガネ型フレームのツル３０に配置されている。光源１２は、制御部２０の指示の下、例えば単一又は複数の波長の光線３４を出射する。この光線３４には、ユーザの眼球３６の網膜３８に画像を投影するための画像用光線と、ユーザの眼球３６の瞳孔４０の動き及びユーザの瞼の開閉を検出するための検出用光線と、が含まれる。検出用光線は、画像用光線と同じ光源１２から出射されることから、画像用光線と同じく可視光である。光源１２は、例えば赤色レーザ光（波長：６１０ｎｍ〜６６０ｎｍ程度）、緑色レーザ光（波長：５１５ｎｍ〜５４０ｎｍ程度）、及び青色レーザ光（波長：４４０ｎｍ〜４８０ｎｍ程度）を出射する。赤色、緑色、及び青色レーザ光を出射する光源１２として、例えばＲＧＢ（赤・緑・青）それぞれのレーザダイオードチップと３色合成デバイスとマイクロコリメートレンズとが集積された光源が挙げられる。
第１ミラー１４は、メガネ型フレームのツル３０に配置されている。第１ミラー１４は、光源１２から出射された画像用光線を、水平方向及び垂直方向に走査する。また、第１ミラー１４は、光源１２から出射された検出用光線を反射する。第１ミラー１４は、例えばＭＥＭＳ（Micro Electro Mechanical System）ミラーである。なお、光源１２から出射された光線３４は、例えば第２ミラー１５及び第３ミラー１７で反射されて、第１ミラー１４に入射する。
図３（ａ）は、第１ミラーの振動を示す図である。図３（ａ）と後述の図３（ｂ）とを用いて画像用光線と検出用光線について説明する。なお、図３（ａ）及び図３（ｂ）では、説明の明瞭化のために検出用光線の個数を省略している。第１ミラー１４によって画像用光線を走査して網膜３８に画像を投影する方法として、画像の左上から右下まで光を高速に走査して画像を表示する方法（例えばラスタースキャン）がある。図３（ａ）のように、第１ミラー１４は、画像用光線３４ａを走査するために、網膜３８に投影する画像の範囲（図３（ａ）の破線範囲）よりも大きく、水平方向（第１方向）と垂直方向（第１方向に交差する第２方向）とに振動する。第１ミラー１４の振動を符号５０で示している。
第１ミラー１４が大きく振れた箇所で画像用光線３４ａを走査して網膜３８に画像を投影する場合、画像の歪みが大きくなることから、画像用光線３４ａは、第１ミラー１４の振れが小さい箇所で走査される。一方、検出用光線３４ｂは、第１ミラー１４の振動５０のうち、画像用光線３４ａが走査されないタイミングで、第１ミラー１４に入射する。言い換えると、光源１２は、第１ミラー１４の振動５０において、網膜３８に投影する画像の範囲に相当する期間では画像用光線３４ａを第１ミラー１４に出射し、画像の範囲外の時間において検出用光線３４ｂを第１ミラー１４に出射する。
図３（ｂ）は、画像用光線と検出用光線の出射タイミングを示すタイミングチャートであり、第１ミラー１４が図３（ａ）の点Ａから点Ｂまで振動した場合における画像用光線３４ａと検出用光線３４ｂの光源１２からの出射タイミングである。なお、検出用光線３４ｂの光強度は、画像用光線３４ａと同じであってもよいし、異なっていてもよい。検出用光線３４ｂの光強度は、後述する光検出器１８で反射光４６が検出できる程度の光強度であればよい。また、検出用光線３４ｂは、単一波長の光線でよく、網膜３８に投影する画像の１画素又は数画素相当の光線でよい。なお、図３（ａ）では、画像用光線３４ａは矩形状に走査される場合を例に示しているが、この場合に限られず、台形状に走査される場合など、その他の場合でもよい。
図１及び図２のように、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検出用光線３４ｂは、第４ミラー４４によって、メガネ型フレームのレンズ３２に向かって反射される。投射部１６が、レンズ３２の眼球３６側の面に配置されているため、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検出用光線３４ｂは、投射部１６に入射する。投射部１６は、画像用光線３４ａが入射される第１領域１６ａでは、自由曲面又は自由曲面と回折面の合成構造をしたハーフミラーとなっている。これにより、投射部１６に入射された画像用光線３４ａは、眼球３６の瞳孔４０近傍で収束した後に網膜３８に投射される。よって、ユーザは、画像用光線３４ａで形成される画像を認識することができると共に、外界像をシースルーで視認することができる。一方、投射部１６は、検出用光線３４ｂが入射される第２領域１６ｂでは、第１領域１６ａと光学的に不連続な形状をしたハーフミラーとなっている。これにより、検出用光線３４ｂは、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射される場合に、眼球３６の虹彩４２に投射される。このように、画像用光線３４ａが投射される眼球３６の表面領域を第１表面領域３６ａとした場合に、検出用光線３４ｂは、眼球３６の第１表面領域３６ａから離れた第２表面領域３６ｂに投射される。
図４は、検出用光線の照射位置を示す眼球の正面図である。図４を用いて、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射について説明する。図４のように、複数の検出用光線３４ｂが、画像用光線３４ａが瞳孔４０の中心近傍を通過して網膜３８に投射される場合に、虹彩４２に投射される。複数の検出用光線３４ｂは、瞳孔４０に対して複数の同心円状に散在し、瞳孔４０の径方向に並んで、虹彩４２に投射される。投射部１６の第２領域１６ｂが第１領域１６ａに光学的に不連続となっているため、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射されつつ、複数の検出用光線３４ｂが虹彩４２に投射されることが可能となる。また、画像用光線３４ａと複数の検出用光線３４ｂは、第１ミラー１４の振動に対して所定のタイミングで光源１２から出射される。すなわち、画像用光線３４ａと複数の検出用光線３４ｂの相対的な出射タイミングは固定されている。このため、画像用光線３４ａと複数の検出用光線３４ｂは、相対的な位置関係が固定されて、眼球３６に投射される。また、図３（ａ）のように、複数の検出用光線３４ｂは、第１ミラー１４の振動５０の異なる位置で反射された光であることから、虹彩４２の異なる位置に異なる時間（異なるタイミング）で投射される。すなわち、複数の検出用光線３４ｂは、虹彩４２の異なる位置に順々に投射される。
図１及び図２のように、光検出器１８が、レンズ３２のフレームに配置されている。光検出器１８は、例えばフォトディテクタである。光検出器１８は、複数の検出用光線３４ｂが虹彩４２で反射した反射光４６を検出する。図５は、反射光を検出する検出タイミングを示すタイミングチャートである。図５を用いて、制御部２０が光検出器１８を用いて反射光４６を検出する検出タイミングを説明する。なお、図５では、説明の明瞭化のために検出用光線の個数を省略している。図５のように、制御部２０は、光源１２から検出用光線３４ｂを出射させたタイミングで、光検出器１８を用いて反射光４６の検出を行う。これにより、複数の検出用光線３４ｂのうちのどの検出用光線３４ｂの反射光４６が検出されていないかが分かる。なお、光検出器１８の性能などを考慮し、反射光４６の検出の時間に幅を持たせてもよい。
なお、図１及び図２では、光検出器１８が、レンズ３２の中央近傍に配置された場合を例に示したが、反射光４６を検出できる場所であれば、例えばレンズ３２のツル３０近傍や鼻パッド（不図示）近傍などに配置されてもよい。なお、複数の検出用光線３４ｂが虹彩４２に投射される場合であっても、上述したように、複数の検出用光線３４ｂは虹彩４２に順々に投射されることから、１つの光検出器１８で複数の検出用光線３４ｂの反射光４６を検出することができる。
ＣＰＵ（Central Processing Unit）等のプロセッサ並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のメモリは、制御部２０及び検出部２６として機能する。プロセッサ及びメモリは、外部装置（例えば携帯端末など）に設けられている。プロセッサは、メモリに記憶されたプログラムに従って、制御部２０及び検出部２６として機能する。制御部２０と検出部２６は異なるプロセッサにより機能してもよいし、同じプロセッサにより機能してもよい。
制御部２０は、投影部２４を制御する。制御部２０は、入力された画像データに基づく画像用光線３４ａと、瞳孔４０の動き及び瞼の開閉を検出するための検出用光線３４ｂと、を光源１２から出射させる。また、制御部２０は、検出部２６での検出結果に基づいて、光源１２及び第１ミラー１４などを含む光学系を制御する。例えば、制御部２０は、光源１２からの画像用光線３４ａ及び／又は検出用光線３４ｂを含む光線の出射を制御する。例えば、制御部２０は、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる制御を行う。
検出部２６は、光検出器１８の検出結果に基づき、瞳孔４０の動いた方向及び動きの速さ並びに瞼の開閉を検出する。図６（ａ）から図６（ｃ）を用いて、光検出器１８を用いた反射光４６の検出について説明する。図６（ａ）から図６（ｃ）は、投射部及び眼球の上視図である。図６（ａ）は、画像用光線３４ａが瞳孔４０を通過し、複数の検出用光線３４ｂの全てが虹彩４２に投射される場合を示す図である。図６（ｂ）は、眼球３６が回転したことで、複数の検出用光線３４ｂの一部が瞳孔４０を通過して虹彩４２に投射されなくなった場合を示す図である。図６（ｃ）は、瞼３７が閉じたことで、複数の検出用光線３４ｂの全てが虹彩４２に投射されなくなった場合を示す図である。
検出用光線３４ｂが虹彩４２に投射された場合は比較的大きな反射光４６が生じる。一方、眼球３６の回転によって検出用光線３４ｂが瞳孔４０を通過して網膜３８に投射された場合や瞼３７が閉じたことによって検出用光線３４ｂが瞼３７に投射された場合は反射光４６が生じ難い。つまり、図６（ａ）の場合には、光検出器１８は、複数の検出用光線３４ｂの全てにおいて比較的大きな反射光４６を検出する。一方、図６（ｂ）の場合には、光検出器１８は、複数の検出用光線３４ｂのうちの一部において反射光４６を検出しないことが起こり、図６（ｃ）の場合には、光検出器１８は、複数の検出用光線３４ｂの全てにおいて反射光４６を検出しないことが起こる。すなわち、ユーザが眼球３６を動かした場合には、光検出器１８は複数の検出用光線３４ｂのうちの一部の反射光４６を検出しなくなる。ユーザが瞼３７を閉じた場合には、光検出器１８は複数の検出用光線３４ｂの全ての反射光４６を検出しなくなる。
このように、光検出器１８は、ユーザの眼球３６において反射した複数の検出用光線３４ｂの反射光４６を検出する。画像用光線３４ａが照射された位置から反射光４６を検出しなくなった検出用光線３４ｂに対応する位置への方向は、瞳孔４０が動いた方向に相当する。そこで、検出部２６は、この方向を瞳孔４０が動いた方向（すなわち、眼球３６の回転方向）として検出する。また、図４のように、複数の検出用光線３４ｂは瞳孔４０の径方向に並んで眼球３６に投射される。瞳孔４０の径方向に並ぶ検出用光線３４ｂの間隔を予め設定しておくことで、光検出器１８が瞳孔４０の径方向のうちの内側に位置する検出用光線３４ｂの反射光４６を検出しなくなってからより外側に位置する検出用光線３４ｂの反射光４６を検出しなくなるまでの時間から、瞳孔４０の動きの速さが分かる。例えば、瞳孔４０が第１ミラー１４による垂直方向の振動（垂直方向の走査）よりも長い時間をかけて検出用光線３４ｂ間の距離を移動した場合に、瞳孔４０の動きの速さが分かる。そこで、検出部２６は、光検出器１８の検出結果に基づいて、瞳孔４０の動きの速さを検出する。
また、光検出器１８が複数の検出用光線３４ｂの全ての反射光４６を検出しない場合は、ユーザの瞼３７が閉じていることに相当する。そこで、検出部２６は、光検出器１８が複数の検出用光線３４ｂの全ての反射光４６を検出しない場合は、ユーザの瞼３７が閉じていると検出する。
なお、上述の記載から明らかなように、光検出器１８が反射光４６を検出しないとは、所定値以上の大きさの反射光４６を検出しないことをいう。すなわち、光検出器１８が検出する反射光４６の強度が所定値以下のとき、検出部２６は、反射光４６を検出しないと判定できる。
実施例１における制御部２０及び検出部２６の動作について説明する。図７は、実施例１における制御部及び検出部の動作を示すフローチャートである。図７のように、光検出器１８による検出用光線の検出に基づいて、検出部２６は、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する（ステップＳ１０）。ここでは、検出部２６が検出した瞳孔４０の動いた方向が第１の方向であったとする。
次いで、制御部２０は、検出部２６で検出された瞳孔４０の動きの速さを判定する（ステップＳ１２）。瞳孔４０の動きの速さが第１の速さ未満であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第１の制御を行う（ステップＳ１４）。瞳孔４０の動きが第１の速さ以上且つ第２の速さ未満であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第２の制御を行う（ステップＳ１６）。瞳孔４０の動きが第２の速さ以上であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第３の制御を行う（ステップＳ１８）。
以上のように、実施例１によれば、投影部２４は、画像を形成する画像用光線３４ａをユーザの眼球３６の瞳孔４０に投射することにより、眼球３６の網膜３８に画像を投影する。図７のステップＳ１０のように、検出部２６は、ユーザの瞳孔４０が動いた方向と動きの速さとを検出する。ステップＳ１２〜Ｓ１８のように、制御部２０は、ユーザの瞳孔４０が同じ方向に異なる速さで動いたときに異なる画像の制御を行う。これにより、瞳孔４０の速さに応じて画像の制御を行うことができるため、複数の異なる画像の制御が可能となる。
また、実施例１によれば、光検出器１８は、瞳孔４０の径方向に並んで眼球３６の虹彩４２に投射される複数の検出用光線３４ｂの反射光４６を検出する。検出部２６は、光検出器１８による複数の検出用光線３４ｂの反射光４６の検出結果に基づき、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する。これにより、瞳孔４０の動いた方向及び動きの速さを精度良く検出することができ、ユーザの意図に沿った画像の制御を精度良く行うことができる。
また、実施例１によれば、図４のように、複数の検出用光線３４ｂは、瞳孔４０の周りを囲んで、瞳孔４０に対して複数の同心円状で虹彩４２に投射される。これにより、瞳孔４０の動いた方向及び動きの速さを精度良く検出することができる。
また、実施例１によれば、画像用光線３４ａと複数の検出用光線３４ｂとは、同じ光源１２から出射される。これにより、画像用光線３４ａと複数の検出用光線３４ｂとで光学系を共有できるため、画像投影装置の小型化が可能となる。
なお、図７では、瞳孔４０が同じ方向に異なる速さで動いたときに異なる制御をすることを説明したが、これに加えて、瞳孔４０が異なる方向に動いたときに異なる制御をするようにしてもよい。このことを、図８を用いて説明する。図８は、実施例１における制御部及び検出部の動作を示すフローチャートである。図８のように、光検出器１８による検出用光線３４ｂの検出に基づいて、検出部２６は、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する（ステップＳ３０）。ここでは、検出部２６が検出した瞳孔４０の動きの速さが第１の速さであったとする。
次いで、制御部２０は、検出部２６で検出された瞳孔４０の動いた方向を判定する（ステップＳ３２）。瞳孔４０の動いた方向が第１の方向であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第２の制御を行う（ステップＳ３４）。瞳孔４０の動いた方向が第２の方向であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第４の制御を行う（ステップＳ３６）。瞳孔４０の動いた方向が第３の方向であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第５の制御を行う（ステップＳ３８）。
このように、制御部２０は、瞳孔４０が異なる方向に動いたときには異なる画像の制御を行ってもよい。図７で説明した瞳孔４０が同じ方向に異なる速さで動いたときに異なる画像の制御を行うことに、図８で説明した瞳孔４０が異なる方向に動いたときに異なる制御を行うことを加えることで、より多くの異なる画像の制御が可能となる。例えば、瞳孔４０が同じ方向に３通りの速さで動いたときにそれぞれ異なる画像の制御をし、且つ瞳孔４０が同じ速さで３つの異なる方向に動いたときにそれぞれ異なる画像の制御をすることで、９つの異なる画像の制御が可能となる。
なお、実施例１において、画像の第１の制御から第５の制御は、画像の投影位置に関する制御及び画像の内容に関する制御の少なくとも一方を含むことができる。画像の投影位置に関する制御には、例えば画像用光線３４ａの投射位置を移動させる制御が含まれる。この点の詳細については後述する。画像の内容に関する制御には、例えば静止画を別の静止画に切り替える場合や、動画を停止や早送り等する場合や、カメラからの画像を別のカメラからの画像に切り替える場合や、画像を拡大・縮小する場合や、シースルーで見えている外界の画像にアイコンなどを重畳させる場合や、画像の色や明るさ等を変更する場合など、投影されている画像を現在の状態から意図的に変える制御が含まれる。
例えば、動画の画像が投影されている場合、瞳孔４０の動きの速さに応じて（画像の第１の制御から第３の制御で）、動画の再生速度や早送り・巻き戻し速度を変えてもよい。例えば瞳孔４０の動きの速さに応じて、画像の縮小率や拡大率を変えてもよい。例えば瞳孔４０の動きの速さに応じて、画像の色や明るさを変えてもよい。
なお、実施例１では、瞳孔４０の動きの速さを３段階に分けた場合を例に示したが、２段階や４段階以上に分けてもよい。同様に、瞳孔４０の動いた方向を３段階に分けた場合を例に示したが、２段階や４段階以上に分けてもよい。
なお、実施例１では、瞳孔４０の動いた方向及び動きの速さを、画像用光線３４ａと同じ光源１２から出射された複数の検出用光線３４ｂの反射光４６に基づき検出している。しかしながら、瞳孔４０の動いた方向及び動きの速さはその他の方法で検出してもよい。例えば、複数の検出用光線３４ｂは赤外線などの画像用光線３４ａと別の光源から出射された光でもよい。
実施例２に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。図９は、実施例２における制御部及び検出部の動作を示すフローチャートである。図１０（ａ）から図１０（ｃ）は、実施例２における瞳孔の動きと画像用光線の制御とを示す眼球の上視図である。図１１は、実施例２における瞳孔の動きと画像の制御とを示す図である。
図１０（ａ）のように、瞳孔４０が動く前において、制御部２０は、瞳孔４０内で画像用光線３４ａが集束し、網膜３８に画像用光線３４ａが投射されるように、投影部２４を制御している。画像用光線３４ａは、瞳孔４０のほぼ正面から入射し且つ瞳孔４０のほぼ中心を通過する。
図９のように、光検出器１８による検出用光線３４ｂの検出に基づいて、検出部２６は、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する（ステップＳ５０）。次いで、制御部２０は、瞳孔４０の動きの速さが所定の速さ以上であったか否かを判定する（ステップＳ５２）。瞳孔４０の動きの速さが所定の速さ以上であった場合（ステップＳ５２：Ｙｅｓ）、制御部２０は、投影部２４を制御して、網膜３８に投影されている画像の内容に関する制御を行う（ステップＳ５４）。例えば、図１１のように、瞳孔４０が動く前においては、ユーザの網膜３８に静止画Ａの画像８０が投影されていたとする。瞳孔４０が上方向に所定の速さ以上で動いたときは、制御部２０はユーザの網膜３８に静止画Ｂの画像８０が投影されるようにする。瞳孔４０が左方向に所定の速さ以上で動いたときは、制御部２０はユーザの網膜３８に静止画Ｃの画像８０が投影されるようにする。瞳孔４０が下方向に所定の速さ以上で動いたときは、制御部２０はユーザの網膜３８に静止画Ｄの画像８０が投影されるようにする。瞳孔４０が右方向に所定の速さ以上で動いたときは、制御部２０はユーザの網膜３８に静止画Ｅの画像８０が投影されるようにする。
瞳孔４０の動きの速さが所定の速さ未満であった場合、ユーザは、画像の内容の制御を意図せず、別の理由によって瞳を動かしたことが想定される。画像投影装置１００はユーザの頭及び／又は顔に固定されていることから、瞳孔４０が動いたことが検出された場合は、瞳孔４０はユーザの頭及び／又は顔に対して動いていることになる。このため、図１０（ｂ）のように、瞳孔４０が左方向５２に動いた場合には、画像用光線３４ａの少なくとも一部が虹彩４２に投射されてしまい、画像用光線３４ａの少なくとも一部が網膜３８に投射されないことが生じる。
図９のように、瞳孔４０の動きの速さが所定の速さ未満であった場合（ステップＳ５２：Ｎｏ）、制御部２０は、画像が網膜３８に投影されるように、画像の投影位置に関する制御を行う（ステップＳ５６）。例えば、制御部２０は、画像用光線３４ａが瞳孔４０に投射されるように、投影部２４を制御する。図１０（ｃ）のように、制御部２０は、矢印５６のように、画像用光線３４ａの投射位置を瞳孔４０の動いた左方向５２に移動させる。これにより、画像用光線３４ａは瞳孔４０のほぼ中心を通過するようになる。さらに、制御部２０は、矢印５８のように、画像用光線３４ａの照射方向を瞳孔４０が動いた左方向に傾斜させる。これにより、画像用光線３４ａは瞳孔４０のほぼ正面から入射する。よって、ユーザは、瞳孔４０が動く前と同じ画像を視認できる。すなわち、図１１の場合では、ユーザは静止画Ａの画像８０を見続けることができる。
ここで、図９のステップＳ５６の具体的な例を説明する。上述したように、制御部２０は、検出部２６での検出結果に基づいて、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる。これにより、画像用光線３４ａの走査の原点を移動させることができる。画像用光線３４ａの走査の原点が移動することで、画像用光線３４ａ及び複数の検出用光線３４ｂの眼球３６への投射位置を移動させることができる。このことについて、図１２（ａ）から図１３を用いて説明する。
図１２（ａ）から図１３は、画像用光線と複数の検出用光線の眼球への投射位置の変化を説明する図である。なお、図１３は、図１２（ａ）と図１２（ｂ）を合わせた状態を図示していて、図１２（ａ）の状態を点線で、図１２（ｂ）の状態を実線で示している。
図１２（ａ）及び図１３の点線は、画像用光線３４ａが瞳孔４０の中心近傍を通過する場合を示している。図１２（ａ）及び図１３の点線の状態から、図１２（ｂ）及び図１３の実線のように、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させることで、画像用光線３４ａの走査の原点がＯからＯ´に移動する。なお、走査の原点が移動しても、網膜３８に投影される画像の中央部に対応する画像用光線３４ａの投射部１６への入射位置はほとんど変化しないようにする。これは、網膜３８に投影される画像の品質の劣化や、検出用光線３４ｂの投射部１６への入射位置の変化などを抑制するためである。
このような画像用光線３４ａの走査の原点の移動によって、画像用光線３４ａ及び検出用光線３４ｂの投射部１６への入射角度が変化し、その結果、画像用光線３４ａ及び検出用光線３４ｂの眼球３６への投射位置が移動する。画像用光線３４ａと検出用光線３４ｂは、互いの眼球３６への投射位置の相対的な位置関係は固定されたまま連動して移動する。例えば、図１２（ａ）及び図１３の点線のように、画像用光線３４ａが瞳孔４０の中心近傍を通過していた状態から、図１２（ｂ）及び図１３の実線のように、画像用光線３４ａが瞳孔４０の中心よりも端側を通過する状態に変化する。このように、位置調整部２２によって第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させて、画像用光線３４ａの走査の原点を移動させることで、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射位置を連動して移動させることができる。なお、第１ミラー１４などは円弧状に移動する場合が好ましいが、図１３の矢印方向及び図１３の紙面に垂直方向（前記矢印に垂直方向）に直線状に移動する場合でもよい。この場合、位置調整部２２として、２軸方向への移動を可能とする２軸アクチュエータ（例えば超音波アクチュエータ）を用いることができる。
以上のように、実施例２によれば、制御部２０は、瞳孔４０の動きの速さが所定の速さ未満であったときには、網膜３８に投影されている画像の投影位置に関する制御を行う。例えば、制御部２０は、網膜３８に投影されている静止画Ａの画像８０が投影され続けるように画像用光線３４ａの投射位置を移動させる。また、制御部２０は、瞳孔４０の動きの速さが所定の速さ以上であったときには、網膜３８に投影されている画像の内容に関する制御を行う。例えば、制御部２０は、網膜３８に投影されている静止画Ａの画像８０を静止画Ｂ〜Ｅの画像８０に切り替える。これにより、ユーザは瞳を速く動かすことで画像の内容に関する制御（例えば画像の切り替え）を行うことができると共に、ユーザが画像の内容の制御を意図せずに瞳を動かした場合に、瞳が動く前と同じ画像をユーザに視認させることができる。
なお、実施例２では、ユーザの網膜３８に静止画の画像８０が投影されている場合を例に示したが、この場合に限られない。例えば動画の画像が投影されている場合でもよい。この場合、例えば瞳孔４０が右方向に所定の速さ以上で動いたときは動画の早送りを行い、左方向に所定の速さ以上で動いたときは動画の巻き戻しを行うようにしてもよい。瞳孔４０が上方向に所定の速さ以上で動いたときは動画を一時停止し、下方向に所定の速さ以上で動いたときは動画を停止させるようにしてもよい。例えばカメラからの画像が投影されている場合でもよい。この場合、例えばユーザの前方を撮影するカメラからの画像が投影されているときに、瞳孔４０が右方向に所定の速さ以上で動いたときはユーザの後方を撮影するカメラからの画像に切り替えてもよい。
なお、実施例２では、瞳孔４０が上下左右の方向に動いた場合に画像の内容について異なる制御を行う場合を例に示したが、上下左右の４方向の他にも複数の方向に動いた場合に画像の内容について異なる制御を行ってもよい。
なお、実施例２では、図９のステップＳ５６での画像の投影位置に関する制御において、瞳孔４０の移動距離に対して画像用光線３４ａの投射位置の移動距離を少なくさせてもよい。このような制御は、例えば複数の検出用光線３４ｂそれぞれに対して画像用光線３４ａの移動方向及び移動距離を定めたテーブル（図１４参照）を制御部２０などに予め記憶させておき、光検出器１８で検出されない検出用光線３４ｂと上記テーブルとから求めた移動方向及び移動距離に従って画像用光線３４ａの投射位置を移動させることで行うことができる。これにより、例えば静止画の端に書かれた文字などをユーザに見やすくさせることができる。なお、画像用光線３４ａの投射位置の移動距離を少なくさせない場合でも、図１４に示すようなテーブルを予め準備しておいて、当該テーブルを用いて画像用光線３４ａの投射位置を移動させてもよい。
実施例３は、ユーザの網膜３８に投影される画像が、電子書籍を構成するページに対応した画像の場合の例である。実施例３に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。実施例３における制御部及び検出部の動作を示すフローチャートは、実施例２の図９と同じであるため説明を省略する。図１５は、実施例３における瞳孔の動きと画像の制御とを示す図である。図１５は、図９のステップＳ５４の制御を示している。
図１５のように、瞳孔４０が動く前においては、ユーザの網膜３８に電子書籍の２ページ目の画像８０が投影されていた場合に、瞳孔４０が右方向に所定の速さ以上で動いたときは、制御部２０は、電子書籍の３ページ目の画像８０に切り替える。瞳孔４０が左方向に所定の速さ以上で動いたときは、制御部２０は、電子書籍の１ページ目の画像８０に切り替える。
以上のように、実施例３によれば、ユーザの網膜３８に投影される画像は、電子書籍を構成するページに対応した画像である。制御部２０は、瞳孔４０が左右方向に所定の速さ以上で動いたときには電子書籍のページを捲る。これにより、ユーザは瞳を速く動かすことで電子書籍のページを捲ることができる。
実施例４に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。図１６は、実施例４における制御部及び検出部の動作を示すフローチャートである。図１７は、実施例４においてユーザの網膜に投影される画像を示す図である。図１６のように、制御部２０は、例えば画像投影装置の起動時やユーザからの指示に応じて、複数のアイコンを含む画像をユーザの網膜３８に投影する（ステップＳ７０）。例えば、図１７のように、制御部２０は、１番〜９番のアイコン８２が３行３列で縦横に並んだ画像８０をユーザの網膜３８に投影する。
次いで、制御部２０は、検出部２６が瞳孔４０の動いた方向及び動きの速さを検出したか否かを判定する（ステップＳ７２）。検出部２６は、光検出器１８による検出用光線３４ｂの検出に基づいて、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する。瞳孔４０の動きが検出されない場合（ステップＳ７２：Ｎｏ）、制御部２０は、複数のアイコンのうちの初期設定のアイコンを選択する（ステップＳ７４）。例えば、図１７において、初期設定のアイコンが１番のアイコン８２である場合、制御部２０は１番のアイコン８２を選択する。なお、制御部２０は選択しているアイコンがユーザに分かるように、アイコンの色を変えたり、アイコンを点滅させたり、アイコンを丸印で囲んだりしてもよい。
瞳孔４０の動きが検出された場合（ステップＳ７２：Ｙｅｓ）、制御部２０は、画像用光線３４ａが瞳孔４０に投射されるように、投影部２４を制御する（ステップＳ７６）。ステップＳ７６は、実施例３の図９のステップＳ５６と同じ方法によって行う。これにより、ユーザは、瞳孔４０が動く前と同じ画像を視認できる。
次いで、制御部２０は、瞳孔４０の動いた方向及び動きの速さに応じたアイコンを選択する（ステップＳ７８）。例えば、図１７において、制御部２０は、瞳孔４０が左方向に動いた場合には２番のアイコンを選択し、瞳孔４０が所定の速さ以上で左方向に動いた場合には３番のアイコンを選択する。制御部２０は、瞳孔４０が上方向に動いた場合には４番のアイコンを選択し、瞳孔４０が所定の速さ以上で上方向に動いた場合には７番のアイコンを選択する。制御部２０は、瞳孔４０が左上方向に動いた場合には５番のアイコンを選択し、瞳孔４０が所定の速さ以上で左上方向に動いた場合には９番のアイコンを選択する。制御部２０は、瞳孔４０が所定の速さ以上で左方向に動いた後に上方向に動いた場合には６番のアイコンを選択し、瞳孔４０が所定の速さ以上で上方向に動いた後に左方向に動いた場合には８番のアイコンを選択する。
次いで、制御部２０は、ユーザからの指示に基づき、選択したアイコンを起動する（ステップＳ８０）。例えば、制御部２０は、検出部２６によってユーザの瞼３７が所定時間以上閉じたことが検出された場合に、選択したアイコンを起動する。
以上のように、実施例４によれば、図１７のように、ユーザの網膜３８に投影される画像は、複数のアイコン８２を含んだ画像８０である。制御部２０は、図１６のステップＳ７８のように、瞳孔４０の動いた方向及び動きの速さに応じて、複数のアイコン８２の中から１つのアイコンを選択する。これにより、ユーザは瞳の動かす方向及び速さを変えることだけで、複数のアイコンの中から１つのアイコンを選択することが可能となる。
なお、実施例４では、図１６のステップＳ７８において、瞳孔４０が動いた方向と反対方向のアイコンが選択される場合を例に示したが、瞳孔４０が動いた方向と同じ方向のアイコンが選択される場合でもよい。
なお、実施例３及び実施例４において、光検出器１８が複数の検出用光線３４ｂのうちの２つ又は２つ以上の検出用光線３４を検出しない場合、検出されない検出用光線３４ｂの間の中間の位置を求め、当該中間の位置の方向に、画像用光線３４ａの投射位置を移動させてもよい。
なお、実施例１から実施例４では、画像投影装置としてメガネ型のＨＭＤを例に説明したが、ＨＭＤ以外の画像投影装置でもよい。片方の眼球３６の網膜３８に画像を投影させる例を示したが、両方の眼球３６の網膜３８に画像を投影させてもよい。走査部として走査ミラーを例に説明したが、走査部は光線を走査可能であればよい。例えば、走査部として、電気光学材料であるタンタル酸ニオブ酸カリウム（ＫＴＮ）結晶など、その他の部品を用いてもよい。光線としてレーザ光を例に説明したが、レーザ光以外の光でもよい。
以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１２ 光源
１４ 第１ミラー
１６ 投射部
１８ 光検出器
２０ 制御部
２２ 位置調整部
２４ 投影部
２６ 検出部
３４ａ 画像用光線
３４ｂ 検出用光線
３６ 眼球
３７ 瞼
３８ 網膜
４０ 瞳孔
４２ 虹彩
８０ 画像
８２ アイコン
１００ 画像投影装置

Claims (13)

  1. 画像を形成する可視光からなる画像用光線を出射するとともに可視光からなる複数の検出用光線を出射する光源を含み、前記画像用光線と前記複数の検出用光線とをユーザの眼球の異なる領域に投射して、前記画像用光線によって前記眼球の網膜に画像を投影する投影部と、
    前記複数の検出用光線の前記眼球での反射光を検出する光検出器と、
    前記光検出器による前記複数の検出用光線の前記反射光の検出結果に基づき、前記眼球の瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、
    前記検出部で検出した前記瞳孔の動いた方向及び前記瞳孔の動きの速さに基づいて、前記画像の制御を行う制御部と、を備えることを特徴とする画像投影装置。
  2. 前記制御部は、前記瞳孔が同じ方向に異なる速さで動いたときで、前記瞳孔の動きの速さが所定の速さ未満であると判定したときに前記画像の第１の制御を行い、前記瞳孔の動きの速さが前記所定の速さ以上であると判定したときに前記画像の第２の制御を行うことを特徴とする請求項１記載の画像投影装置。
  3. 前記画像の制御は、前記画像の投影位置に関する制御及び前記画像の内容に関する制御の少なくとも一方を含むことを特徴とする請求項１または２記載の画像投影装置。
  4. 前記画像の制御は、前記画像用光線の投射位置を移動させる制御、静止画を別の静止画に切替える制御、動画を停止又は早送りする制御、カメラからの画像を別のカメラからの画像に切替える制御、画像を拡大又は縮小する制御、前記ユーザがシースルーで見えている外界の画像にアイコンを重畳させる制御、及び画像の色又は明るさを変更する制御のいずれかを含むことを特徴とする請求項１から３のいずれか一項記載の画像投影装置。
  5. 画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、
    前記ユーザの顔に対し前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、
    前記瞳孔が同じ方向に異なる速さで動いたときに異なる前記画像の制御を行う制御部と、を備え、
    前記制御部は、前記瞳孔の動きの速さが所定の速さ未満であるときには前記画像の投影位置に関する制御を行い、前記瞳孔の動きの速さが前記所定の速さ以上であるときには前記画像の内容に関する制御を行うことを特徴とする画像投影装置。
  6. 前記網膜に投影される前記画像には、第１の画像と、前記第１の画像とは異なる第２の画像と、が含まれ、
    前記制御部は、前記瞳孔の動きの速さが前記所定の速さ未満であるときには前記網膜に投影されている前記第１の画像が投影され続けるように前記画像用光線の投射位置を移動させ、前記瞳孔の動きの速さが前記所定の速さ以上であるときには前記網膜に投影されている前記第１の画像を前記第２の画像に切り替えることを特徴とする請求項５記載の画像投影装置。
  7. 前記網膜に投影される前記画像は、電子書籍を構成するページに対応した画像であり、
    前記制御部は、前記瞳孔の左右方向への動きの速さが前記所定の速さ以上であるときには前記電子書籍の前記ページを捲ることを特徴とする請求項５または６記載の画像投影装置。
  8. 画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、
    前記ユーザの顔に対し前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、
    前記瞳孔が同じ方向に異なる速さで動いたときに異なる前記画像の制御を行う制御部と、を備え、
    前記網膜に投影される前記画像は、複数のアイコンを含んだ画像であり、
    前記制御部は、前記複数のアイコンの中から前記瞳孔が動いた方向及び動きの速さに応じたアイコンを選択することを特徴とする画像投影装置。
  9. 前記制御部は、前記瞳孔が異なる方向に動いたときには異なる前記画像の制御を行うことを特徴とする請求項１から８のいずれか一項記載の画像投影装置。
  10. 画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、
    前記ユーザの顔に対し前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、
    前記瞳孔が同じ方向に異なる速さで動いたときに異なる前記画像の制御を行う制御部と、
    前記瞳孔の径方向に並んで前記眼球の虹彩に投射される複数の検出用光線の反射光を検出する光検出器と、を備え、
    前記検出部は、前記光検出器による前記複数の検出用光線の反射光の検出結果に基づき、前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出することを特徴とする画像投影装置。
  11. 画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、
    前記瞳孔の径方向に並んで前記眼球の虹彩に投射される複数の検出用光線の反射光を検出する光検出器と、
    前記光検出器による前記複数の検出用光線の反射光の検出結果に基づき、前記瞳孔が動いた方向及び前記瞳孔の動きの速さを検出する検出部と、
    検出された前記瞳孔が動いた方向及び前記瞳孔の動きの速さに基づき、複数の異なる前記画像の制御を行う制御部と、を備えることを特徴とする画像投影装置。
  12. 前記複数の検出用光線は、前記瞳孔に対して複数の同心円状で前記虹彩に投射されることを特徴とする請求項１０または１１記載の画像投影装置。
  13. 前記複数の検出用光線と前記画像用光線とは、同じ光源から出射されることを特徴とする請求項１０から１２のいずれか一項記載の画像投影装置。
JP2016000622A 2016-01-05 2016-01-05 画像投影装置 Active JP6231585B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016000622A JP6231585B2 (ja) 2016-01-05 2016-01-05 画像投影装置
US16/062,424 US10761329B2 (en) 2016-01-05 2016-11-28 Image projection device
PCT/JP2016/085255 WO2017119213A1 (ja) 2016-01-05 2016-11-28 画像投影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016000622A JP6231585B2 (ja) 2016-01-05 2016-01-05 画像投影装置

Publications (2)

Publication Number Publication Date
JP2017122775A JP2017122775A (ja) 2017-07-13
JP6231585B2 true JP6231585B2 (ja) 2017-11-15

Family

ID=59274541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016000622A Active JP6231585B2 (ja) 2016-01-05 2016-01-05 画像投影装置

Country Status (3)

Country Link
US (1) US10761329B2 (ja)
JP (1) JP6231585B2 (ja)
WO (1) WO2017119213A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111684336A (zh) 2018-02-09 2020-09-18 国立大学法人福井大学 使用了视网膜扫描型显示部的图像显示装置及其方法
JP7052577B2 (ja) * 2018-06-07 2022-04-12 株式会社リコー 光学装置、映像表示装置、及び検眼装置
US11025871B1 (en) * 2019-04-04 2021-06-01 Facebook Technologies, Llc Driving scanning projector display with pulses shorter than pixel duration
JPWO2020255562A1 (ja) * 2019-06-18 2020-12-24
JP6816224B2 (ja) * 2019-07-24 2021-01-20 デンカ株式会社 蓋体、包装容器および蓋体の製造方法
JP7428028B2 (ja) 2020-03-17 2024-02-06 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
JP2021148883A (ja) * 2020-03-17 2021-09-27 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
WO2023187872A1 (ja) * 2022-03-28 2023-10-05 Tdk株式会社 プロジェクターモジュール及びそれを備えた網膜投影表示装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848175A (en) * 1991-05-27 1998-12-08 Canon Kabushiki Kaisha View point detecting device
US5517021A (en) * 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JPH0822385A (ja) * 1994-02-22 1996-01-23 Nippon Hoso Kyokai <Nhk> 視線対応表示方法及び装置
JP3058004B2 (ja) 1994-03-23 2000-07-04 キヤノン株式会社 目視制御画像表示装置
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
JP3461117B2 (ja) 1998-05-26 2003-10-27 日本電信電話株式会社 立体表示方法及び記録媒体並びに立体表示装置
JP3567084B2 (ja) 1998-06-30 2004-09-15 シャープ株式会社 電子ブック装置
JP3602371B2 (ja) * 1999-06-04 2004-12-15 株式会社ニデック 角膜形状測定装置
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
JP2004252849A (ja) 2003-02-21 2004-09-09 Seiko Epson Corp ユーザインタフェース装置および意思伝達方法
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
EP1758531A1 (en) * 2004-04-09 2007-03-07 Roger F. Steinert Laser system for vision correction
JP4608996B2 (ja) * 2004-08-19 2011-01-12 ブラザー工業株式会社 瞳孔検出装置およびそれを備えた画像表示装置
JP4574394B2 (ja) * 2005-02-25 2010-11-04 キヤノン株式会社 走査型画像表示装置
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
JP4829765B2 (ja) * 2006-12-08 2011-12-07 キヤノン株式会社 画像表示装置及び画像表示システム
WO2009041055A1 (ja) * 2007-09-26 2009-04-02 Panasonic Corporation ビーム走査型表示装置、その表示方法、プログラム、及び集積回路
WO2009066475A1 (ja) * 2007-11-21 2009-05-28 Panasonic Corporation 表示装置
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP2010152443A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2012137639A (ja) 2010-12-27 2012-07-19 Brother Ind Ltd ヘッドマウントディスプレイ、制御プログラム、及び制御方法
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
US9456744B2 (en) * 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9040923B2 (en) * 2012-09-04 2015-05-26 Innovega, Inc. Eye tracking system and related methods
JP6229260B2 (ja) * 2012-11-20 2017-11-15 セイコーエプソン株式会社 虚像表示装置
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
JP2014157466A (ja) 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
WO2014188149A1 (en) * 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
JP6209456B2 (ja) * 2013-05-31 2017-10-04 株式会社Ｑｄレーザ 画像投影装置及び投射装置
US9525817B2 (en) * 2013-11-22 2016-12-20 Samsung Electro-Mechanics Co., Ltd. System and method of controlling imaging direction and angle of view of camera
CN105828700B (zh) * 2013-12-09 2018-07-06 Smi创新传感技术有限公司 操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
JP6322986B2 (ja) * 2013-12-09 2018-05-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
AU2015255652B2 (en) * 2014-05-09 2018-03-29 Google Llc Systems and methods for using eye signals with secure mobile communications
US9704038B2 (en) * 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
JP6404196B2 (ja) * 2015-09-16 2018-10-10 グリー株式会社 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
JP6231545B2 (ja) * 2015-12-22 2017-11-15 株式会社Ｑｄレーザ 画像投影装置

Also Published As

Publication number Publication date
JP2017122775A (ja) 2017-07-13
US10761329B2 (en) 2020-09-01
US20180373041A1 (en) 2018-12-27
WO2017119213A1 (ja) 2017-07-13

Similar Documents

Publication Publication Date Title
JP6231585B2 (ja) 画像投影装置
JP6231545B2 (ja) 画像投影装置
JP6542945B2 (ja) 表示システムおよび方法
JP6231541B2 (ja) 画像投影装置
JP5104679B2 (ja) ヘッドマウントディスプレイ
KR102461253B1 (ko) 시선 추적기를 구비하는 투사형 디스플레이 장치
JP6225546B2 (ja) 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
US9261959B1 (en) Input detection
US10614734B2 (en) Display apparatus and method of displaying using controllable scanning mirror
US20200049946A1 (en) Display apparatus and method of displaying using gaze prediction and image steering
JP2009245392A (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
JP5233941B2 (ja) 画像表示装置
JP2010211408A (ja) ヘッドマウントディスプレイ
JP2011075956A (ja) ヘッドマウントディスプレイ
WO2016208266A1 (ja) 画像投影装置
JP6394165B2 (ja) 虚像表示装置及び方法
JP5272813B2 (ja) ヘッドマウントディスプレイ
JP5163166B2 (ja) 画像表示装置
JP4926300B1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP2011075954A (ja) ヘッドマウントディスプレイ
JP7427237B2 (ja) 画像投影装置、画像投影方法、プログラム
EP4134727A1 (en) Display apparatuses and methods incorporating pattern conversion
US20230314803A1 (en) Eye-imaging system with switchable hot mirrors
JP2024008216A (ja) 画像投影装置及び画像投影方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171019

R150 Certificate of patent or registration of utility model

Ref document number: 6231585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250