TWI746805B - 映像生成裝置及映像生成方法 - Google Patents
映像生成裝置及映像生成方法 Download PDFInfo
- Publication number
- TWI746805B TWI746805B TW107106092A TW107106092A TWI746805B TW I746805 B TWI746805 B TW I746805B TW 107106092 A TW107106092 A TW 107106092A TW 107106092 A TW107106092 A TW 107106092A TW I746805 B TWI746805 B TW I746805B
- Authority
- TW
- Taiwan
- Prior art keywords
- pupil
- light
- scanning
- image generation
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 105
- 210000001747 pupil Anatomy 0.000 claims abstract description 331
- 230000003287 optical effect Effects 0.000 claims abstract description 131
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 85
- 230000007246 mechanism Effects 0.000 claims abstract description 67
- 210000001525 retina Anatomy 0.000 claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 43
- 230000002123 temporal effect Effects 0.000 claims abstract description 12
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 239000011521 glass Substances 0.000 claims description 46
- 239000004065 semiconductor Substances 0.000 claims description 40
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000000644 propagated effect Effects 0.000 claims description 2
- 235000012431 wafers Nutrition 0.000 claims 5
- 238000000605 extraction Methods 0.000 abstract description 9
- 239000000284 extract Substances 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 description 79
- 238000010586 diagram Methods 0.000 description 60
- 239000013589 supplement Substances 0.000 description 50
- 239000000758 substrate Substances 0.000 description 23
- 229910004298 SiO 2 Inorganic materials 0.000 description 12
- 210000001508 eye Anatomy 0.000 description 9
- 239000010408 film Substances 0.000 description 9
- 239000002985 plastic film Substances 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 229920006255 plastic film Polymers 0.000 description 7
- 238000007689 inspection Methods 0.000 description 4
- 238000005253 cladding Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000007062 hydrolysis Effects 0.000 description 3
- 238000006460 hydrolysis reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 229910005793 GeO 2 Inorganic materials 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000010884 ion-beam technique Methods 0.000 description 1
- 230000005415 magnetization Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920005668 polycarbonate resin Polymers 0.000 description 1
- 239000004431 polycarbonate resin Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/12—Scanning systems using multifaceted mirrors
- G02B26/123—Multibeam scanners, e.g. using multiple light sources or beam splitters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
可更簡便地在檢測出瞳孔位置而進行映像生成之際將映像用射束照射於與瞳孔位置對應的射束點位置。設置瞳孔位置檢測裝置及映像生成機構,該瞳孔位置檢測裝置具備:光源、以來自前述光源的光進行掃描的光掃描鏡、以透過前述光掃描鏡而掃描的光束就至少瞳孔的表面進行掃描而測定從眼球的反射光強度的時間變化的測定機構、從前述測定的前述反射光強度的時間變化將來自前述瞳孔的反射光強度抽出的抽出機構、與前述抽出的來自瞳孔的反射光強度、就前述眼球的表面進行掃描的掃描時間同步從而檢測出前述瞳孔的尺寸與位置的機構;該映像生成機構係一面對檢測出的位置的前述瞳孔以映像生成用光束進行掃描一面進行投射而將映像形成於前述眼球的視網膜上。
Description
本發明涉及映像生成裝置及映像生成方法,例如涉及眼鏡型視網膜掃描顯示器中的一構成,該構成係用於將掃描光束導引至會位置變化的瞳孔者。
歷來,以雷射光束等的光束進行掃描投影的裝置方面,已知各種形式的光束投影裝置。其中,組合半導體雷射與光波導型合波器的3原色光束投影裝置具有可使裝置小型化、低電力化的特點,被應用於雷射光束掃描型彩色影像投影裝置(參見例如專利文獻1、專利文獻2及專利文獻3)。
此時,以雷射光束進行掃描的情況下,瞳孔的位置成為問題,故已提出瞳孔追隨法(參見例如專利文獻4)。此提案中已提出:為了將影像投影裝置小型化,將從光源所射出的影像用光線投射於眼部的第1表面區域而投射於使用者的視網膜,將從光源所射出的檢查用光線投射於從使用者的眼部的第1表面區域分離的第2表面區域,就檢查用光線在使用者的眼部進行反射的反射光進行檢測,基於檢測出的反射光,控制光源及光學系統中的至少一者。
此外已提出:如引證4的構成,為了抑制影像品質的劣化與裝置的大型化,基於振動於主掃描方向的第1反射鏡的偏轉角而開始影像用光線的射出,將之後的影像用光線與檢測用光線在預先設定的一定的時點從光源進行射出(參見例如專利文獻5)。
亦即,以第1反射鏡的主掃描方向的偏轉角為基準,決定在影像範圍最初掃描的影像用光線的射出開始時點。在以第1反射鏡的偏轉角為基準而決定的時點開始射出的影像用光線的射出結束後,第1反射鏡的往復振動的在返路的影像用光線與在去路的影像用光線重複射出。此等影像用光線的重複的射出,係基於從以第1反射鏡的偏轉角為基準而開始射出的影像用光線的射出開始的經過時間而進行。
另一方面,以下研究正在進展:即使精神活動正常,如肌萎縮性脊髓側索硬化症等的無法自由使全身肌肉活動的人方面仍可正常進行眼球運動的人多,故為了利用於供於圓滑地進行與如此的人們的通訊用的身障者援助系統而就視線進行檢測從而檢測出注視處。
此外已提出:為了就駕駛中的司機的意識、注意進行監控,就司機的臉部影像進行攝像。
如此的歷來的瞳孔位置檢測中一般而言進行以下:以紅外線LED照射使用者的臉部,以可就紅外線進行攝影的相機拍攝使用者的眼部,以紅外線的反射光的角膜上的位置(角膜反射)為基準點,基於相對於角膜反射的位置之瞳孔的位置而檢測出視線。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特許第5294283號公報 [專利文獻2]日本特許第5817022號公報 [專利文獻3]國際公開第2015/170505號 [專利文獻4]日本特開2017-009986號公報 [專利文獻5]日本特開2017-009992號公報 [非專利文獻]
[非專利文獻1] The Journal of The Institute of Image Information and Television Engineers、Vol. 65, No. 6, pp. 758-763 (2011)
[發明所欲解決之問題]
然而,專利文獻4的情況下,一面進行光柵掃瞄一面在既定時點就瞳孔位置進行檢測,依此在既定時點照射映像生成用光束,故存在光束的照射操作變複雜且位置檢測精度降低如此的問題。亦即,於專利文獻4中,將從1個光源所射出的影像用光線投射於使用者的眼部的第1表面區域(瞳孔)而投射於使用者的視網膜,從相同的光源所射出的可見光的檢查用光線以不投射於瞳孔的方式而投射於與使用者的眼部的第1表面區域分離的第2表面區域(虹膜)的既定的位置。
此外,專利文獻5的情況下存在影像用光線與檢測用光線的射出時點的控制變複雜如此的問題。
此外,歷來的瞳孔位置檢測方法中,需要用於拍攝使用者的眼部的攝像裝置,具有裝置大型化如此的問題。
因此,本發明目的在於更簡便地檢測出瞳孔位置。 [解決問題之技術手段]
在一個態樣下,映像生成裝置具備瞳孔位置檢測裝置及映像生成機構,該瞳孔位置檢測裝置具備:光源、以來自前述光源的光進行掃描的光掃描鏡、以透過前述光掃描鏡而掃描的光束就至少瞳孔的表面進行掃描而測定從前述眼球的反射光強度的時間變化的測定機構、從前述測定的前述反射光強度的時間變化將來自前述瞳孔的反射光強度抽出的抽出機構、使前述抽出的來自瞳孔的反射光強度與就前述眼球的表面進行掃描的掃描時間同步從而檢測出前述瞳孔的尺寸與位置的機構;該映像生成機構係一面對檢測出的位置的前述瞳孔以映像生成用光束進行掃描一面進行投射而將映像形成於前述眼球的視網膜上。
此外,在其他態樣下,映像生成方法係以光束就至少瞳孔的表面進行掃描,測定來自前述瞳孔的反射光強度的時間變化,從前述測定的前述反射光強度的時間變化抽出來自前述瞳孔的反射光強度,與前述抽出的來自瞳孔的反射光強度、就前述眼球的表面進行掃描的掃描時間同步從而檢測出前述瞳孔的尺寸與位置後,對檢測出的前述瞳孔的位置的前述瞳孔一面以映像生成用光束進行掃描一面進行投射而將映像形成於前述眼球的視網膜上。 [對照先前技術之功效]
一個面向方面,變得可更簡便地檢測出瞳孔位置。藉此,映像生成之際,可正確將映像用射束照射於瞳孔位置,此結果可確實將影像投影於視網膜上,可獲得正確的影像。
於此,參照圖1及圖2,說明本發明的實施方式的映像生成裝置及映像生成方法。圖1係本發明的實施方式的映像生成裝置的概念性構成圖,具備瞳孔位置檢測機構與映像生成機構。瞳孔位置檢測機構具備:光源2、以來自光源2的光進行掃描的光掃描鏡3、將透過光掃描鏡3掃描的光束4對於包含瞳孔8及虹膜9的眼球7進行反射的反射構材6、透過以反射構材6反射的光束4就眼球7的表面進行掃描而測定來自眼球7的反射光強度的時間變化的測定機構11、從測定的反射光強度的時間變化抽出來自瞳孔8的反射光強度的抽出機構(圖式省略)、與抽出的來自瞳孔8的反射光強度、就眼球7的表面進行掃描的掃描時間同步從而檢測出瞳孔8的尺寸與位置的機構(圖式省略)。另外,圖中的符號10係視網膜。
可將此瞳孔位置檢測機構與映像生成機構組合從而構成穿戴式的映像生成裝置,該映像生成機構係一邊對在檢測出的位置的瞳孔8以映像生成用光束進行掃描一邊進行投射而將映像形成於眼球7的視網膜10上者。此情況下,構成為使映像生成機構的映像生成用光束13的光源、光掃描鏡及反射構材兼作為瞳孔位置檢測裝置的光源2、光掃描鏡3及反射構材6從而可促進小型化。 另外,此處雖就包含瞳孔8及虹膜9的眼球7的表面進行掃描,惟亦可就瞳孔8的一部分進行掃描,只要可就瞳孔8的一部分進行掃描即可推定瞳孔8的位置與尺寸。
此情況下,可將光源2與光掃描鏡3一體化而構成光學引擎1。此外,反射構材6方面係例如採用全像反射板,全像反射板係固定於眼鏡的鏡臂、眼鏡的透鏡等的支撐構材5。此外,此抽出機構、就瞳孔8的尺寸與位置進行檢測的機構等,係以在設於從測定機構11的輸出的後階的CPU等的內部中所設的處理電路而構成。或者,以時間分割進行瞳孔位置檢測用掃描與映像生成用掃描的情況下,亦可在光掃描鏡3的輸出側設置棱鏡、反射鏡、全反射/透射元件或電光元件等的光路徑切換元件。透過設置光路徑切換元件,使得可不需要廣掃描角度的光掃描鏡3,可有效利用掃描角度範圍。
配置測定機構11的位置只要為獲得反射光之處即無特別限制。可設於眼鏡框、眼鏡玻璃,亦可將測定機構11搭載於光學引擎1本身。此外,亦可使來自眼球7的反射光作為往光學引擎1的返回光而進行檢測。此情況下,返回光能以三原色光的映像生成用光束13的返回光所致的電流、電壓的變化進行檢測,而非搭載新的測定機構11。亦可進一步在與測定機構11之間設置導波器。例如,亦可為如在使反射光返回至光學引擎1後配置檢測器的光學系統。
就眼球7的表面進行掃描的光束4係可作成直接照射於全像反射板。或者,亦可作成就眼球7的表面進行掃描的光束4在眼鏡的邊框或眼鏡的透鏡的內部進行傳播,透過設於眼鏡的邊框或眼鏡的透鏡的眼球8的相反側的表面的全像反射板而反射。
光源2方面,可採用藍色半導體雷射晶片、綠色半導體雷射晶片、紅色半導體雷射晶片、黃色半導體雷射晶片、紅外線半導體雷射晶片及紫外線半導體雷射晶片中的一種類以上的半導體雷射晶片,亦可代替半導體雷射而採用LED(發光二極體)。另外,紅外光無法為人類的眼部感受,故對基於三原色光束下的映像不會造成影響,故優選作為瞳孔位置檢測用的光源。
圖2係本發明的實施方式的映像生成方法的說明圖,圖2(a)係光束的掃描狀態的說明圖,圖2(b)係反射光強度、抽出信號及瞳孔位置檢測信號的說明圖。如示於圖2(a),就包含瞳孔8及虹膜9的眼球7的表面以光束4進行掃描,測定來自眼球7的反射光強度的時間變化,從測定的反射光強度的時間變化抽出來自瞳孔8的反射光強度,與抽出的來自瞳孔8的反射光強度、就眼球7的表面進行掃描的掃描時間同步從而檢測出瞳孔8的尺寸與位置。另外,圖2的情況下,雖在時間上分離而進行瞳孔位置檢測用掃描與映像生成用掃描,惟亦可將瞳孔位置檢測用掃描與映像生成用掃描透過連串的掃描同時進行。
此情況下,調整光學系統,從而一面將供為了瞳孔追隨而進行的瞳孔位置檢測用的光束4跨瞳孔8、虹膜9及其周圍的白眼球12的部分進行掃描一面進行照射。此外,反射光係以光檢測器等的測定機構(11)進行檢測,作為電信號而檢測出其光量。圖2(a)中,為了簡便,例示從T1開始至T7。
圖2(b)之最上圖係示出如此般而得的電信號的時間變化者,橫軸係時間軸,T1、T2、T3、T4、T5、T6、T7分別為與示於圖2(a)的掃描的折返點對應的時間。上圖的信號中,反射光強度P1、P2、P3係分別為來自白眼球12的部分的信號、來自虹膜9的信號、來自瞳孔8的信號。如此般,可知來自白眼球12的反射光最強,來自虹膜9的反射光次強,從瞳孔8的反射最弱。從瞳孔8的反射最弱的原因在於,因光束4進入眼球7內而不會引起反射。
圖2(b)之中間圖係此等信號之中,就將獲得與從瞳孔8的反射對應的P3的信號的時域抽出下的信號進行繪示者。此抽出係利用僅辨識並抽出信號強度最小的時域的信號等級選擇器電路等而進行即可。獲得P3的信號的時域係t1與t2之間、t3與t4之間、t5與t6之間、t7與t8之間。可知光束4在僅此等時間之期間照射於瞳孔8。
要從此等信號檢測出瞳孔8的位置,如示於圖2(b)的最下圖的tr般,在相當於掃描的折返的各點的各時間,以觸發tr予以產生短信號,就與該觸發的時間差進行計測,從該時間差進行倒算而決定瞳孔8的位置。此外,可透過比較t1與t2之間隔、t3與t4之間隔、t5與t6之間隔、t7與t8之間隔,從而檢測出圖中的瞳孔8之上下方向的位置。另外,此處,雖將用於瞳孔位置檢測的光束4一面跨瞳孔8、虹膜9及其周圍的白眼球12的部分進行掃描一面進行照射,惟只要掃描至少瞳孔8的一部分即可,藉此使得可推定瞳孔8的位置與尺寸。
因此,可正確將映像用射束照射於瞳孔位置,此結果可確實將影像投影於視網膜上,可獲得正確的影像。此外,僅作為瞳孔位置檢測系統而利用的情況下,在為了利用於身障者援助系統的視線的檢測、監控駕駛中的司機的意識、注意之際的視線的檢測方面,可在不使用攝像裝置等之下簡便地進行檢測。亦即,本發明的實施方式中,與上述的專利文獻4等的歷來通常知識相反,以使供瞳孔位置檢測用的可見光的光束4亦入射於瞳孔8的方式,跨瞳孔8、虹膜9及其周圍的白眼球12的部分進行掃描,故比起專利文獻4等變得可正確將映像用射束照射於瞳孔位置。另外,供瞳孔位置檢測用的可見光的光束4入射於瞳孔8本來即非優選,故盡可能使光束4的輸出為低輸出。
照射映像生成用光束之際,透過上述的瞳孔位置檢測方法檢測出瞳孔8的尺寸與位置後,對檢測出的瞳孔位置的瞳孔8一面以映像生成用光束進行掃描一面進行投射而將映像形成於眼球8的視網膜10上即可。另外,透過連串的掃描同時進行瞳孔位置檢測用掃描與映像生成用掃描的情況下,在檢測出瞳孔位置後的T4、T6時點的掃描時將映像生成用光束照射於檢測出的瞳孔8的位置。另外,在T2的時點未檢測出瞳孔位置,故不照射映像生成用光束。
此時,就瞳孔8的尺寸與位置進行檢測的程序中,亦可作成對眼球8預先設定照射映像生成用光束的複數個射束點而照射掃描用的光束,對檢測為瞳孔8之中心位置附近的複數個射束點之中的一者一面以映像生成用光束進行掃描一面進行投射。另外,射束點表示每次掃描中掃描的光束大致通過的相同地點。
具體而言可作成:對複數個射束點的各射束點,從映像生成機構的光掃描鏡3改變射束的掃描角度,照射映像生成用光束13。
或者亦可作成:對複數個射束點的各射束點,使映像生成機構的光掃描鏡移動於來自光源的光束的光軸方向從而照射映像生成用光束13。此情況下,在映像生成機構的光掃描鏡設置可移動於來自映像生成機構的光源的光束的光軸方向的移動機構即可。
或者亦可作成:代替設定複數個射束點,在以映像生成用光束13進行掃描的程序中,對眼球7,一面連續使照射映像生成用光束13的位置變化一面照射映像生成用光束13,一面以檢測為瞳孔8之中心位置的射束點為中心位置以映像生成用光束13進行掃描一面進行投射。此情況下,照射的映像生成用光束13聚焦的射束點位置,係映像生成用光束13通過瞳孔8,為眼球7的內部。
任一情況下,皆對於各射束點,在預先設定的射束掃描角範圍內進行掃描動作,在預先設定的射束掃描角範圍內一面以映像生成用光束進行掃描一面進行投射即可。此結果,可正確將映像用射束照射於瞳孔位置,此結果可確實將影像投影於視網膜上,可獲得正確的影像。此外,控制進行掃描的光學系統時雖消耗為了機械式控制機構所致的光學系統的晃動、光學系統控制所需的驅動能量,惟由於就影像投影用光束的照射時點進行控制,故可減低該等憂慮。
或者亦可作成:對於各射束點,在不超過預先設定的射束掃描角範圍的範圍進行掃描動作,在預先設定的射束掃描角範圍內一面以前述映像生成用光束進行掃描一面進行投射。
再者亦可作成:對於各射束點,在超過預先設定的射束掃描角範圍的範圍一面以前述映像生成用光束進行掃描一面進行投射。 [實施例1]
接著,參照圖3~圖7,說明本發明的實施例1的映像生成裝置。本發明的實施例1中,在時間上分離而進行瞳孔位置檢測用掃描與映像生成用掃描。圖3係本發明的實施例1的映像生成裝置的要部構成圖。眼鏡20係以鏡臂21、眼鏡透鏡22及鏡橋23而構成,眼鏡透鏡22有時透過邊框(圖式省略)保持其外周部。在此眼鏡20的鏡臂21的內部收納由光源及光掃描鏡所成的光學引擎30,並在其附近安裝光檢測器51。於眼鏡透鏡22的一部分貼附全像反射板70。
從光學引擎30射出的掃描光束52係由全像反射板70反射,就包含瞳孔61的眼球60的表面進行掃描,該反射光53再次被以全像反射板70反射而透過光檢測器51進行檢測。另外,優選上在光檢測器51的前面設置使在掃描光束52方面使用的波長透射的濾光器,可遮斷來自其他部分的雜散光。
圖4係用於本發明的實施例1的映像生成裝置中的光學引擎的示意性透視圖。首先,在厚度為500μm的Si基板31上利用火焰水解法形成厚度15μm的SiO2
膜32。接著,在SiO2
膜32上同樣以火焰水解法形成厚度2μm的SiO2
-GeO2
層(折射率差Δn=0.5%;以Δn=(n1
-n2
)/n1
定義。n1
:核心的折射率;n2
:覆層的折射率)。在此之上,以利用接觸遮罩下的光曝光法形成導波路徑寬2μm的光波導圖案34~36而作成光合波器33。
接著,在光波導圖案34~36上,作為覆蓋整體的遮蓋層,將厚度20μm的SiO2
膜(圖式省略)作為上部覆層同樣以火焰水解法進行成膜。另外,紅色用的光波導圖案34及藍色用的光波導圖案36需要使光入射部彎曲為直角,故在變曲的部分,透過利用使用Ga之下的聚焦離子束法而進行之蝕刻,形成深度30μm的深掘溝槽,導波的光在溝槽側壁進行全反射。接著,僅留下光合波器33的區域,將其他部分的SiO2
膜全部透過蝕刻而消除,使Si基板31成為曝露的狀態。
接著,形成具有分別被一對的鉸鏈支撐的旋轉外框及非旋轉外框的兩重框構造的2維光掃描鏡部38。另外,此製程的基本係為了構成2維光掃描鏡部38的磁性薄膜的永久磁鐵特性不會消失,將磁化後的全部的程序的溫度在200℃以下進行。另外,圖中的符號37係SiO2
膜。
接著,將紅色半導體雷射晶片39、綠色半導體雷射晶片40及藍色半導體雷射晶片41,以光分別入射於光波導圖案34~36的方式接合於Si基板31上。此時,將Si基板31蝕刻至既定的深度,使紅色半導體雷射晶片39、綠色半導體雷射晶片40及藍色半導體雷射晶片31的雷射射出端與光波導圖案34~36的位置整合。
接著,將就2維光掃描鏡裝置38的反射部進行驅動的螺線管、線圈42配置於Si基板31的下側,使用接著劑而固定於Si基板31。此時,在不對螺線管、線圈42施加光掃描信號的狀態下,作成反射部的鏡面相對於與Si基板31的主面大致平行的光束傾斜45°。
圖5係全像反射板的形成方法的說明圖。首先,如示於圖5(a),在由厚度0.5mm~10mm程度的SiO2
系玻璃等所成的基板71上,以塗佈等的方法形成透明的塑膠膜72。接著,如示於圖5(b),從形成的塑膠膜72之上將模具73進行加壓,且使塑膠膜72的溫度上升至塑膠的軟化溫度附近。於模具53係製作為了使光束反射為設定的角度的繞射光柵間隔的圖案,故此繞射光柵74轉印於塑膠膜72。
接著,如示於圖5(c),將轉印繞射光柵74後的塑膠膜72從基板71剝離,作成全像反射板70,將此全像反射板70貼附於眼鏡透鏡22的內側的表面的既定處。另外,全像反射板70亦可貼附於未圖示的邊框。另外,此處在塑膠膜72方面,使用軟化溫度145℃的聚碳酸酯樹脂,使加熱溫度為140℃,使加壓量為2.0MPa。另外,作為基板使用眼鏡玻璃,亦可設置眼鏡玻璃的透明的塑膠膜而將繞射光柵轉印於此塑膠膜,此情況下不需要從基板的剝離程序。
圖6係本發明的實施例1中的掃描光束的照射狀況的說明圖,掃描係2維地進行,惟此處係為了簡便而平面地描繪。從光學引擎30射出的掃描光束52係由全像反射板70反射,就包含瞳孔61的眼球60的表面進行掃描,該反射光再次被以全像反射板70反射而透過安裝於眼鏡的鏡臂的光檢測器(51)進行檢測,就瞳孔61的位置進行檢測。映像,係以從相同的光學引擎30射出的三原色光束54進行掃描,透過形成於為了眼鏡玻璃22的瞳孔位置檢測用的掃描光束52而設的反射板範圍以外的全像反射板(圖式省略),通過瞳孔61而予以生成於眼球70的視網膜64上。
瞳孔追隨檢測用射束掃描,係增加掃描角度範圍,以與映像生成用射束掃描相同的時點進行。此情況下,實際上用於檢測的瞳孔追隨檢測用的掃描光束52,係可利用從映像生成用的三原色光束54的全掃描之中抽出的光束掃描,可減少位置解析所需的程式執行時間與消耗電力。具體而言,瞳孔追隨檢測用射束掃描係使映像生成用射束掃描在橫(左右)方向掃描為30kHz、縱(上下)方向掃描為60Hz的情況下,橫方向掃描、縱方向掃描皆可設為1Hz~100Hz。另外,用於瞳孔追隨檢測用射束掃描的可見光入射於瞳孔61本非優選,故在瞳孔追隨檢測用射束掃描時,盡可能使掃描光束52的輸出為低輸出。
圖7係使用本發明的實施例1的映像生成裝置下的映像生成方法的說明圖,圖7(a)係瞳孔位置檢測方法的說明圖,圖7(b)係就映像生成方法進行繪示的說明圖。如示於圖7(a),光束53係一面跨瞳孔61、虹膜62及其周圍的白眼球63的部分進行掃描一面進行照射。此處,使瞳孔尺寸為2.5mmf~4mmf程度,使掃描光束的左右方向的掃描寬度為±20mm程度,使上下方向的掃描寬度為±12mm程度。如此般設定掃描寬度,使得瞳孔61的位置於左右方向變動±10mm程度,於上下方向變動±5mm程度,可正確就瞳孔61的位置進行檢測。
如示於圖7(b)之最上圖,以光檢測器51檢測出的反射光強度,係來自白眼球63的反射光P1最強,來自虹膜62的反射光P2次強,來自瞳孔61的反射光P3最弱。圖7(b)之中間圖,係獲得利用信號等級選擇器電路而抽出的P3的信號的時域的信號。獲得P3的信號的時域係t1與t2之間、t3與t4之間、t5與t6之間、t7與t8之間。僅在此等時間之期間掃描光束52照射於瞳孔61。
要從此等信號檢測出瞳孔61的位置,如示於圖7(b)的下圖的tr般,在相當於掃描的折返的各點的各時間,以觸發予以產生短信號,就與該觸發的時間差進行計測,從該時間差進行倒算而決定瞳孔61的位置。例如,在T2與T3間的射束掃描,係從相當於T2至t1之期間的時間的位置變化量開始瞳孔61,相當於t1至t2時間的位置變化量為瞳孔61的寬度。
正確就瞳孔61的位置進行檢測後,將映像生成用光束照射於檢測出的瞳孔61的位置。此處亦使映像生成用射束點尺寸為<4mmf程度。
本發明的實施例1中,為了瞳孔位置檢測而使用掃描光束,故能以簡便的機構、方法就瞳孔的61的位置大致實時、精度佳地進行檢測。 [實施例2]
接著,參照圖8而說明本發明的實施例2的映像生成裝置。圖8係本發明的實施例2的映像生成裝置的要部構成圖。眼鏡20係以鏡臂21、眼鏡透鏡22及鏡橋23而構成,眼鏡透鏡22有時透過邊框(圖式省略)保持其外周部。在此眼鏡20的鏡臂21的頂端部的內部收納由光源及光掃描鏡所成的光學引擎30。此外,實施例2中係將光檢測器51安裝於眼鏡透鏡22的端部。此外,在眼鏡透鏡22的與眼球60相向之面的相反側之面的一部分貼附全像反射板70。
從光學引擎30射出的掃描光束52,一面在眼鏡透鏡22內反復全反射一面進行傳播而由全像反射板70反射,就包含瞳孔61的眼球60的表面進行掃描。其反射光再次以全像反射板70反射而在眼鏡透鏡22內傳播於相反方向而由光檢測器51檢測出。另外,此情況下亦優選上在光檢測器51之前設置使在掃描光束52方面使用的波長透射的濾光器,可遮斷來自其他部分的雜散光。另外,映像生成方法係如同實施例1的情況。 [實施例3]
接著,參照圖9及圖10,說明本發明的實施例3的映像生成裝置。圖9係本發明的實施例3的映像生成裝置的要部構成圖。眼鏡20係以鏡臂21、眼鏡透鏡22及鏡橋23而構成,眼鏡透鏡22有時透過邊框(圖式省略)保持其外周部。在此眼鏡20的鏡臂21的頂端部的內部收納由光源及光掃描鏡所成的光學引擎30。此外,實施例3中係將光檢測器51安裝於眼鏡的鏡臂21的端部。此外,於眼鏡透鏡22的一部分貼附全像反射板70,並將瞳孔位置檢測用的光學引擎55另外安裝於眼鏡20的鏡臂21。另外,此光學引擎55僅係就瞳孔61的位置進行檢測,故光源方面使用單一光源的光學引擎55如紅外線半導體雷射即可。
圖10係本發明的實施例3中的掃描光束的照射狀況的說明圖。從光學引擎55射出的掃描光束52係就包含瞳孔61的眼球60的表面進行掃描。其反射光以全像反射板70等反射而透過光檢測器(51)進行檢測。另外,此情況下亦優選上在光檢測器51之前設置使在掃描光束52方面使用的波長透射的濾光器,可遮斷來自其他部分的雜散光。另外,映像生成方法係如同實施例1的情況。 [實施例4]
接著,參照圖11而說明本發明的實施例4的映像生成裝置。圖11係本發明的實施例4的映像生成裝置的要部構成圖。眼鏡20係以鏡臂21、眼鏡透鏡22及鏡橋23而構成,眼鏡透鏡22有時透過邊框(圖式省略)保持其外周部。在此眼鏡20的鏡臂21的頂端部的內部收納由光源及光掃描鏡所成的光學引擎30。此外,於眼鏡透鏡22的一部分貼附全像反射板70。
從光學引擎30射出的掃描光束52係就包含瞳孔61的眼球60的表面進行掃描。其反射光以全像反射板70等反射而入射於光學引擎30。此時,光學引擎30的構成光源的各半導體雷射的電流、電壓特性產生變化,故就此變化以設於光學引擎30的驅動器電路的電流、電壓變動檢測電路進行檢測。另外,映像生成方法中,依電流、電壓變動進行照射映像生成用光束的射束點位置的控制,而非依反射光強度的變動。 [實施例5]
接著,參照圖12而說明依本發明的實施例5的複數個射束點方式之下的映像生成方法。圖12係依本發明的實施例5的複數個射束點方式之下的映像生成方法的說明圖。為示出以下者:瞳孔61的位置產生變化的情況(移動瞳孔的情況)下,為了在不會映像欠缺之下將正常的映像投影於視網膜上所需的映像生成用射束的瞳孔上的光點尺寸與位置。瞳孔61的位置產生變化的情況下的對應方法方面,已揭露準備複數個映像生成用射束點的方法(參見例如非專利文獻1)。
如示於圖12,在瞳孔完全直視前方的情況下的瞳孔61之中心,設定映像生成用射束點661
,設定為了應對於瞳孔移動於其左右、上下的情況而設的映像生成用射束點662
~665
。在圖中雖左右、上下僅設定各1個,惟當然亦可於左右、上下各設定複數個而涵蓋更廣的範圍。
此時的映像生成方法存在以下的兩個方法。第一個方法係選擇一個大致落入於瞳孔內的映像生成用射束點,依該映像生成用射束點的位置與尺寸實際以三原色光束進行掃描,在視網膜上生成映像。實際的三原色光束係照射於此等經設定的映像生成用射束點661
~665
中的任一者的位置。對何映像生成用射束點位置以實際的射束進行照射並掃描,係就瞳孔61的位置進行檢測後執行。
第二個方法係依經設定的全部的映像生成用射束點661
~665
的位置與尺寸實際以三原色光束進行掃描,在視網膜上生成映像。其中,以在視網膜上映像不會偏差的方式,互相修正生成個別的映像生成用射束點的三原色光束的信號。另外,此處,使瞳孔尺寸為2.5mmf~4mmf程度,使瞳孔位置變化量為左右方向±10mm程度、上下方向±5mm程度,使映像生成用射束點尺寸為<4mmf程度。另外,使映像生成用射束點位置間隔:左右上下方向皆為2.5mm~4mm程度。圖中於左右上下各1個,惟亦可設為左右方向6個程度、上下方向3個程度。 [實施例6]
接著,參照圖13而說明依本發明的實施例6的複數個射束點方式之下的映像生成方法。圖13係依本發明的實施例6的複數個射束點方式之下的映像生成方法的說明圖。為示出以下者:瞳孔61的位置產生變化的情況(移動瞳孔的情況)下,為了在不會映像欠缺之下將正常的映像投影於視網膜上所需的映像生成用射束的瞳孔上的光點尺寸與位置。
從光學引擎30射出的三原色光束54,係以經設定的射束掃描角度範圍進行掃描,由於全像反射板70聚焦為光點形狀於瞳孔61上,在視網膜64上生成映像。瞳孔61的位置移動的情況(以實線至虛線再至點劃線所示的瞳孔位置的變化)下,將從光學引擎30射出的三原色光束54(以與移動的瞳孔的線種對應的線種顯示),以全像反射板70的別的區域予以反射,將三原色光束54導引至分別移動的落入於瞳孔61的光點位置,於以與移動的瞳孔61的線種對應的線種而顯示的視網膜64上的生成映像範圍生成映像。
於此,從光學引擎30射出的三原色光束54的掃描係依以下方式進行。 (1)僅在以示於圖中的實線、點劃線、虛線表示的個別的射束掃描角度範圍進行。或者, (2)以包含以示於圖中的實線、點劃線、虛線表示的個別的射束掃描角度範圍全部的廣射束掃描角度進行,僅在以實線、點劃線、虛線表示的個別的射束掃描角度範圍,產生映像用信號。或者, (3)以包含以示於圖中的實線、點劃線、虛線表示的個別的射束掃描角度範圍全部的廣射束掃描角度進行,以廣射束掃描角度整體產生映像用信號。其中,以在視網膜上映像不會偏差的方式,就在以實線、點劃線、虛線表示的個別的射束掃描角度範圍產生的信號進行修正。此等之中,(1)及(2)的方法具有產生映像信號的時間少、映像生成用的電力的消耗少如此的優點。另外,瞳孔位置檢測用的掃描光束係如同圖6,使全像反射板的供映像生成用射束掃描用的反射板範圍以外的區域,作為供瞳孔位置檢測用射束掃描用的反射板範圍,透過掃描光束的掃描就瞳孔61的位置與其尺寸預先進行檢測。 [實施例7]
接著,參照圖14及圖15,說明依本發明的實施例7的複數個射束點方式之下的映像生成方法。圖14係依本發明的實施例7的複數個射束點方式之下的映像生成方法的說明圖。為示出以下者:瞳孔61的位置產生變化的情況(移動瞳孔的情況)下,為了在不會映像欠缺之下將正常的映像投影於視網膜上所需的映像生成用射束的瞳孔上的光點尺寸與位置。
從光學引擎80射出的三原色光束54係從經設定的不同的射束射出位置射出,以經設定的射束掃描角度範圍進行掃描。接著,由於全像反射板70聚焦為光點形狀於瞳孔61上,在視網膜64上生成映像。瞳孔61的位置移動的情況(以實線至虛線再至點劃線所示的瞳孔位置的變化)下,將從光學引擎80射出的三原色光束(以與移動的瞳孔的線種對應的線種顯示),以全像反射板70的別的區域予以反射,將三原色光束54導引至分別移動的落入於瞳孔61的光點位置,於以與移動的瞳孔61的線種對應的線種而顯示的視網膜64上的生成映像範圍生成映像。於此,從光學引擎80射出的三原色光束54的掃描係依以下方式進行。
(1)僅在從以示於圖中的實線、點劃線、虛線表示的個別的射束射出位置所射出的射束的掃描角度範圍進行。或者, (2)以包含從以示於圖中的實線、點劃線、虛線表示的個別的射束射出位置所射出的射束的掃描角度範圍全部的廣射束掃描角度進行,僅在從以實線、點劃線、虛線表示的個別的射束射出位置所射出的射束的掃描角度範圍,產生映像用信號。或者, (3)在包含從以示於圖中的實線、點劃線、虛線表示的個別的射束射出位置所射出的射束的掃描角度範圍全部的廣範圍進行,以廣範圍整體產生映像用信號。其中,以在視網膜上映像不會偏差的方式,就從以實線、點劃線、虛線表示的個別的射束射出位置所射出的射束的信號進行修正。此等之中,(1)及(2)的方法具有產生映像信號的時間少、映像生成用的電力的消耗少如此的優點。另外,瞳孔位置檢測用的掃描光束係如同圖6,使全像反射板的供映像生成用射束掃描用的反射板範圍以外的區域,作為供瞳孔位置檢測用射束掃描用的反射板範圍,透過掃描光束的掃描就瞳孔61的位置與其尺寸預先進行檢測。
圖15係用於依本發明的實施例7的複數個射束點方式下的映像生成方法中的光學引擎的示意性透視圖。光源部係如同圖4,在Si基板31上形成SiO2
膜32。接著,在SiO2
膜32上形成SiO2
-GeO2
層後,以利用接觸遮罩之下的光曝光法,導波路徑寬形成光波導圖案34~36而成為光合波器33。接著,在光波導圖案34~36上,作為覆蓋整體的遮蓋層,形成厚度20μm的SiO2
膜(圖式省略)作為上部覆層。
另一方面,在與Si基板31係不同的Si基板43,如同圖4的情況,形成具有分別被一對的鉸鏈支撐的旋轉外框及非旋轉外框的兩重框構造的2維光掃描鏡部44。
將形成此光源部的Si基板31與形成2維光掃描鏡部44的Si基板41載置於設置移動用導件82的共通基板81上,在2維光掃描鏡部44的下部配置螺線管、線圈42。此時,於形成2維光掃描鏡部44的Si基板41經由移動用桿件84連接移動機構用模組83,作成可在共通基板81上沿著移動用導件82而滑動。移動機構用模組83使移動用桿件84於前後延長或引入,使得可使2維光掃描鏡部44移動。藉此,可將從光學引擎80射出的三原色光束的位置予以移動。
共通基板81及移動用導件82方面,為了不影響設置磁性薄膜的2維光掃描鏡部44的動作而使用Al、Cu等的非磁性金屬,而此處係使用Al。移動機構用模組83方面,採用使用圓筒型微線圈之下的電磁驅動型致動器。 [實施例8]
接著,參照圖16而說明依本發明的實施例8的射束點連續移動方式之下的映像生成方法。圖16係依本發明的實施例8的射束點連續移動方式下的映像生成方法的說明圖。為示出以下者:瞳孔61的位置產生變化的情況(移動瞳孔的情況)下,為了在不會映像欠缺之下將正常的映像投影於視網膜上所需的映像生成用射束的瞳孔上的光點尺寸與位置。
從光學引擎30射出的三原色光束54,係以經設定的射束掃描角度範圍進行掃描,透過全像反射板70導引至瞳孔61內,在視網膜64上生成映像。瞳孔61的位置移動的情況(以實線至虛線再至點劃線所示的瞳孔位置的變化)下,將從光學引擎30射出的三原色光束54(以與移動的瞳孔的線種對應的線種顯示),以全像反射板70的別的區域予以反射,將三原色光束分別導引至移動的瞳孔內,於以與移動的瞳孔61的線種對應的線種而顯示的視網膜61上的生成映像範圍生成映像。
此時,如圖示,掃描的三原色光束54聚焦之點係設定於眼球60的內部,而非在瞳孔61之上。此外,此位置係設定為,從光學引擎30射出的三原色光束54的全部大致聚焦於此光點位置。作成如此,使得即使在以與移動的瞳孔61的線種對應的線種而顯示的個別的三原色光束54的掃描範圍重複的情況下,仍可在視網膜64上正確地生成映像。
於此,從光學引擎30射出的三原色光束54的掃描係依以下方式進行。 (1)僅在以示於圖中的實線、點劃線、虛線表示的個別的射束掃描角度範圍進行。或者, (2)以包含以示於圖中的實線、點劃線、虛線表示的個別的射束掃描角度範圍全部的廣射束掃描角度進行,僅在以實線、點劃線、虛線表示的個別的射束掃描角度範圍,產生映像用信號。或者, (3)以包含以示於圖中的實線、點劃線、虛線表示的個別的射束掃描角度範圍全部的廣射束掃描角度進行,以廣射束掃描角度整體產生映像用信號。其中,以在視網膜上映像不會偏差的方式,就在以實線、點劃線、虛線表示的個別的射束掃描角度範圍產生的信號進行修正。此等之中,(1)及(2)的方法具有產生映像信號的時間少、映像生成用的電力的消耗少如此的優點。另外,瞳孔位置檢測用的掃描光束,係如同圖6,使全像反射板的供映像生成用射束掃描用的反射板範圍以外的區域,作為供瞳孔位置檢測用射束掃描用的反射板範圍,透過掃描光束的掃描就瞳孔61的位置與其尺寸預先進行檢測。 [實施例9]
接著,參照圖17~圖19,說明本發明的實施例9的瞳孔位置檢測裝置。圖17係本發明的實施例9的瞳孔位置檢測裝置的要部構成圖。眼鏡20係以鏡臂21、眼鏡透鏡22及鏡橋23而構成,眼鏡透鏡22有時透過邊框(圖式省略)保持其外周部。在此眼鏡20的鏡臂21的內部收納由光源及光掃描鏡所成的光學引擎90,並在其附近安裝光檢測器51。於眼鏡透鏡22的一部分貼附全像反射板70。
從光學引擎90射出的掃描光束52係由全像反射板70反射,就包含瞳孔61的眼球60的表面進行掃描,該反射光再次被以全像反射板70反射而透過光檢測器51進行檢測。另外,優選上在光檢測器51的前面設置使在掃描光束52方面使用的波長透射的濾光器,可遮斷來自其他部分的雜散光。
光學引擎90的基本構造基本上如同示於圖4的光學引擎30,惟光源為瞳孔追蹤用光源的即可,故可為單一的半導體雷射或準直的LED,例如採用紅外線半導體雷射。光波導圖案亦為一個直線狀的光波導圖案即可,惟光波導圖案非必須,亦可作成例如將來自半導體雷射的掃描光束直接照射於2維光掃描鏡。
圖18係本發明的實施例9中的掃描光束的照射狀況的說明圖,掃描係2維地進行,惟此處係為了簡便而平面地描繪。從光學引擎90射出的掃描光束52係由全像反射板70反射,就包含瞳孔61的眼球60的表面進行掃描,該反射光再次被以全像反射板70反射而透過安裝於眼鏡的鏡臂的光檢測器(51)進行檢測,就瞳孔61的位置進行檢測。
圖19係利用本發明的實施例9的瞳孔位置檢測裝置之下的瞳孔位置檢測方法的說明圖,圖19(a)係光束的掃描狀態的說明圖,圖19(b)係反射光強度及抽出信號的說明圖。如示於圖19(a),光束53係一面跨瞳孔61、虹膜62及其周圍的白眼球63的部分進行掃描一面進行照射。此處,使瞳孔尺寸為2.5mmf~4mmf程度,使掃描光束的左右方向的掃描寬度為±20mm程度,使上下方向的掃描寬度為±12mm程度。如此般設定掃描寬度,使得瞳孔61的位置於左右方向變動±10mm程度,於上下方向變動±5mm程度,可正確就瞳孔61的位置進行檢測。
如示於圖19(b)之最上圖,以光檢測器51檢測出的反射光強度,係來自白眼球63的反射光P1最強,來自虹膜62的反射光P2次強,來自瞳孔61的反射光P3最弱。圖19(b)的最下圖係獲得利用信號等級選擇器電路而抽出的P3的信號的時域的信號。獲得P3的信號的時域,係t1與t2之間、t3與t4之間、t5與t6之間、t7與t8之間。僅在此等時間之期間掃描光束52照射於瞳孔61。
要從此等信號檢測出瞳孔61的位置,如示於圖19(b)的下圖的tr般,在相當於掃描的折返的各點的各時間,以觸發予以產生短信號,就與該觸發的時間差進行計測,從該時間差進行倒算而決定瞳孔61的位置。例如,在T2與T3間的射束掃描,係從相當於T2至t1之期間的時間的位置變化量開始瞳孔61,相當於t1至t2時間的位置變化量為瞳孔61的寬度。此外,可透過比較t1與t2之間隔、t3與t4之間隔、t5與t6之間隔、t7與t8之間隔,從而檢測出圖中的瞳孔8之上下方向的位置。
因此,在為了利用於身障者援助系統的視線的檢測、監控駕駛中的司機的意識、注意之際的視線的檢測方面,可在不使用攝像裝置等之下簡便地進行檢測。另外,此實施例7的情況亦如同上述的實施例2,可作成掃描光束在眼鏡透鏡內進行傳播。 [實施例10]
接著,參照圖20而說明本發明的實施例10的瞳孔位置檢測裝置。圖20係本發明的實施例10的瞳孔位置檢測裝置的要部構成圖。眼鏡20係以鏡臂21、眼鏡透鏡22及鏡橋23而構成,眼鏡透鏡22有時透過邊框(圖式省略)保持其外周部。將光學引擎90及光檢測器51安裝於眼鏡的鏡臂21的端部。此外,於眼鏡透鏡22的一部分貼附全像反射板70。另外,此光學引擎90僅係就瞳孔61的位置進行檢測,故光源方面使用單一光源的光學引擎90如紅外線半導體雷射即可。
實施例10中,從光學引擎90射出的掃描光束52係就包含瞳孔61的眼球60的表面進行掃描。其反射光53以全像反射板70等反射而透過光檢測器51進行檢測。另外,此情況下亦優選上在光檢測器51之前設置使在掃描光束52方面使用的波長透射的濾光器,可遮斷來自其他部分的雜散光。 [實施例11]
接著,參照圖21而說明本發明的實施例11的瞳孔位置檢測裝置。圖21係本發明的實施例11的瞳孔位置檢測裝置的要部構成圖。眼鏡20係以鏡臂21、眼鏡透鏡22及鏡橋23而構成,眼鏡透鏡22有時透過邊框(圖式省略)保持其外周部。將光學引擎90安裝於眼鏡的鏡臂21的端部。此外,於眼鏡透鏡22的一部分貼附全像反射板70。另外,此光學引擎90僅係就瞳孔61的位置進行檢測,故光源方面使用單一光源的光學引擎90如紅外線半導體雷射即可。
實施例11中,從光學引擎90射出的掃描光束52係就包含瞳孔61的眼球60的表面進行掃描。其反射光53以全像反射板70等反射而入射於光學引擎90。此時,光學引擎90的構成光源的各半導體雷射的電流、電壓特性產生變化,故就此變化以設於光學引擎90的驅動器電路的電流、電壓變動檢測電路進行檢測。另外,此情況下亦如同實施例4,光學引擎90可收納於眼鏡的鏡臂21的內部。 [實施例12]
接著,參照圖22而說明本發明的實施例12的映像生成裝置。本發明的實施例12中,如同上述的實施例1,在時間上分離而進行瞳孔位置檢測用掃描與映像生成用掃描。圖22係本發明的實施例12的映像生成裝置的要部構成圖。眼鏡20係以鏡臂21、眼鏡透鏡22及鏡橋23而構成,眼鏡透鏡22有時透過邊框(圖式省略)保持其外周部。在此眼鏡20的鏡臂21的內部收納由光源及光掃描鏡所成的光學引擎30,並在其附近安裝光檢測器51。於眼鏡透鏡22的一部分貼附全像反射板70。此實施例12中,在鏡臂21的來自光學引擎30的掃描光束52的輸出部設置光路徑切換元件55以外係如同上述的實施例1。此處,光路徑切換元件55方面,雖採用棱鏡、反射鏡,惟亦可代替棱鏡、反射鏡使用全反射/透射元件或電光元件。
此情況下,從光學引擎30射出的掃描光束52係依瞳孔位置檢測用掃描與映像生成用掃描而以光路徑切換元件55切換光路徑。亦即,瞳孔位置檢測用掃描中係使光路徑切換元件55為關斷狀態而進行掃描,檢測出瞳孔位置後的映像生成用掃描中係使光路徑切換元件55開啓以切換光路徑而進行掃描。本發明的實施例12中,設置光路徑切換元件55,故不需於光學引擎30使用廣掃描角度的光掃描鏡,可有效有用掃描角度範圍。 [實施例13]
接著,參照圖23及圖24,說明本發明的實施例13的映像生成裝置,而裝置構成係如同上述的實施例1,故僅說明使用映像生成裝置之下的映像生成方法。本發明的實施例13中,於連串的掃描中以相同的時點進行瞳孔位置檢測用掃描與映像生成用掃描。
圖23係本發明的實施例13中的掃描光束的照射狀況的說明圖,如同示於圖6的實施例1的光掃描射束的照射狀況。從光學引擎30射出的掃描光束52係由全像反射板70反射,就包含瞳孔61的眼球60的表面進行掃描,該反射光再次被以全像反射板70反射而透過安裝於眼鏡的鏡臂的光檢測器(51)進行檢測,就瞳孔61的位置進行檢測。映像,係以從相同的光學引擎30射出的三原色光束54進行掃描,透過形成於為了眼鏡玻璃22的瞳孔位置檢測用的掃描光束52而設的反射板範圍以外的全像反射板(圖式省略),通過瞳孔61而予以生成於眼球70的視網膜64上。
瞳孔追隨檢測用射束掃描,係增加掃描角度範圍,以與映像生成用射束掃描相同的時點進行。此情況下,實際上用於檢測的瞳孔追隨檢測用的掃描光束52,係可利用從映像生成用的三原色光束54的全掃描之中抽出的光束掃描,可減少供位置解析用的程式執行時間與消耗電力。具體而言,瞳孔追隨檢測用射束掃描係使映像生成用射束掃描在橫(左右)方向掃描為30kHz、縱(上下)方向掃描為60Hz的情況下,橫方向掃描、縱方向掃描皆可設為1Hz~100Hz。另外,用於瞳孔追隨檢測用射束掃描的可見光入射於瞳孔61本非優選,故在瞳孔追隨檢測用射束掃描時係盡可能使掃描光束52的輸出為低輸出。
圖24係使用本發明的實施例13的映像生成裝置下的映像生成方法的說明圖,圖24(a)係瞳孔位置檢測方法的說明圖,圖24(b)係就映像生成方法進行繪示的說明圖。如示於圖24(a),光束53係一面跨瞳孔61、虹膜62及其周圍的白眼球63的部分進行掃描一面進行照射。此處,使瞳孔尺寸為2.5mmf~4mmf程度,使掃描光束的左右方向的掃描寬度為±20mm程度,使上下方向的掃描寬度為±12mm程度。如此般設定掃描寬度,使得瞳孔61的位置於左右方向變動±10mm程度,於上下方向變動±5mm程度,可正確就瞳孔61的位置進行檢測。
如示於圖24(b)之最上圖,以光檢測器51檢測出的反射光強度係來自白眼球63的反射光P1最強,來自虹膜62的反射光P2次強,來自瞳孔61的反射光P3最弱。圖24(b)之中間圖係獲得利用信號等級選擇器電路而抽出的P3的信號的時域的信號。獲得P3的信號的時域係t1與t2之間、t3與t4之間、t5與t6之間、t7與t8之間。僅在此等時間之期間掃描光束52照射於瞳孔61。
要從此等信號檢測出瞳孔61的位置,如示於圖24(b)的下圖的tr般,在相當於掃描的折返的各點的各時間,以觸發予以產生短信號,就與該觸發的時間差進行計測,從該時間差進行倒算而決定瞳孔61的位置。例如,在T2與T3間的射束掃描係從相當於T2至t1之期間的時間的位置變化量開始瞳孔61,相當於t1至t2時間的位置變化量為瞳孔61的寬度。
因此,在屬瞳孔位置窗口間的t3與t4之間、t7與t8之間,亦即,在檢測出瞳孔位置後的T4、T6時點的掃描時將映像生成用光束照射於檢測出的瞳孔61的位置。另外,在T2的時點未檢測出瞳孔位置,故不照射映像生成用光束。此處,使映像生成用射束點尺寸為<4mmf程度。
本發明的實施例13中,為了瞳孔位置檢測而使用掃描光束,故能以簡便的機構、方法就瞳孔的61的位置大致實時地進行檢測。此外,在瞳孔位置窗口間以映像生成用的三原色光束54進行掃描,故使得可減低光學系統的晃動、用於光學系統控制所需的驅動能量的消耗。 [實施例14]
接著,參照圖25而說明依本發明的實施例14的複數個射束點方式之下的映像生成方法。圖25係依本發明的實施例14的複數個射束點方式之下的映像生成方法的說明圖。為示出以下者:瞳孔61的位置產生變化的情況(移動瞳孔的情況)下,在不會映像欠缺之下,為了將正常的映像投影於視網膜上所需的映像生成用射束的瞳孔上的光點尺寸與位置。此處,雖示出在3個位置進行射束點照射之例,惟射束點的個數為任意。
本發明的實施例14中,將全像反射板70分割為3個區域701
、702
、703
,以反射光照射於預先設定的瞳孔61的位置的方式個別設定在各區域的繞射光柵之間距。
從光學引擎80射出的三原色光束54係以與設定的區域如區域701
對應的射束掃描角度範圍進行掃描。接著,由於全像反射板70聚焦為光點形狀於瞳孔61上,在視網膜64上生成映像。瞳孔61的位置移動的情況(以實線至虛線再至點劃線所示的瞳孔位置的變化)下,將從光學引擎80射出的三原色光束(以與移動的瞳孔的線種對應的線種顯示),以全像反射板70的個別的區域702
、703
予以反射,將三原色光束54導引至分別移動的落入於瞳孔61的光點位置,於以與移動的瞳孔61的線種對應的線種而顯示的視網膜64上的生成映像範圍生成映像。於此,從光學引擎80射出的三原色光束54的掃描係依以下方式進行。
(1)以從以示於圖中的實線、點劃線、虛線表示的個別的射束射出位置所射出的射束在與3個區域701
、702
、703
對應的掃描角度範圍進行掃描,或 (2)以包含從以示於圖中的實線、點劃線、虛線表示的個別的射束射出位置所射出的射束的掃描角度範圍全部的廣射束掃描角度進行,以從以實線、點劃線、虛線表示的個別的射束射出位置所射出的射束在與3個區域701
、702
、703
對應的掃描角度範圍,產生映像用信號。或者, (3)以從以示於圖中的實線、點劃線、虛線表示的個別的射束射出位置所射出的射束在包含與3個區域701
、702
、703
對應的掃描角度範圍全部的廣範圍進行,以廣範圍整體產生映像用信號。其中,以在視網膜上映像不會偏差的方式,就從以實線、點劃線、虛線表示的個別的射束射出位置所射出的射束的信號進行修正。此等之中,(1)及(2)的方法具有產生映像信號的時間少、映像生成用的電力的消耗少如此的優點。另外,瞳孔位置檢測用的掃描光束係如同圖6,使全像反射板的供映像生成用射束掃描用的反射板範圍以外的區域,作為供瞳孔位置檢測用射束掃描用的反射板範圍,透過掃描光束的掃描就瞳孔61的位置與其尺寸預先進行檢測。 [實施例15]
接著,參照圖26而說明依本發明的實施例15的複數個射束點方式之下的映像生成方法。圖26係依本發明的實施例15的複數個射束點方式之下的映像生成方法的說明圖。為示出以下者:瞳孔61的位置產生變化的情況(移動瞳孔的情況)下,在不會映像欠缺之下,為了將正常的映像投影於視網膜上所需的映像生成用射束的瞳孔上的光點尺寸與位置;此處,雖示出在3個位置進行射束點照射之例,惟射束點的個數為任意。另外,使用於依本發明的實施例15的複數個射束點方式之下的映像生成方法的光學引擎係如同上述的實施例7,以3階段進行利用移動機構用模組(83)之下的移動。
本發明的實施例15中,亦將全像反射板70分割為3個區域701
、702
、703
,以反射光照射於預先設定的瞳孔61的位置的方式個別設定在各區域的繞射光柵之間距。
從光學引擎80射出的三原色光束54係從設定的3處的射束射出位置射出,以設定的區域如與區域701
對應的射束掃描角度範圍進行掃描。接著,由於全像反射板70聚焦光點形狀為於瞳孔61上,在視網膜64上生成映像。瞳孔61的位置移動的情況(以實線至虛線再至點劃線所示的瞳孔位置的變化)下,將從光學引擎80射出的三原色光束(以與移動的瞳孔的線種對應的線種顯示),以全像反射板70的個別的區域702
、703
予以反射,將三原色光束54導引至分別移動的落入於瞳孔61的光點位置,於以與移動的瞳孔61的線種對應的線種而顯示的視網膜64上的生成映像範圍生成映像。於此,從光學引擎80射出的三原色光束54的掃描係依以下方式進行。
(1)以從以示於圖中的實線、點劃線、虛線表示的個別的射束射出位置所射出的射束在與3個區域701
、702
、703
對應的掃描角度範圍進行掃描,或 (2)以包含從以示於圖中的實線、點劃線、虛線表示的個別的射束射出位置所射出的射束的掃描角度範圍全部的廣射束掃描角度進行,以從以實線、點劃線、虛線表示的個別的射束射出位置所射出的射束在與3個區域701
、702
、703
對應的掃描角度範圍,產生映像用信號。或者, (3)以從以示於圖中的實線、點劃線、虛線表示的個別的射束射出位置所射出的射束在包含與3個區域701
、702
、703
對應的掃描角度範圍全部的廣範圍進行,以廣範圍整體產生映像用信號。其中,以在視網膜上映像不會偏差的方式,就從以實線、點劃線、虛線表示的個別的射束射出位置所射出的射束的信號進行修正。此等之中,(1)及(2)的方法具有產生映像信號的時間少、映像生成用的電力的消耗少如此的優點。另外,瞳孔位置檢測用的掃描光束係如同圖6,使全像反射板的供映像生成用射束掃描用的反射板範圍以外的區域,作為供瞳孔位置檢測用射束掃描用的反射板範圍,透過掃描光束的掃描就瞳孔61的位置與其尺寸預先進行檢測。
於此,就包含實施例1~實施例15的本發明的實施方式,附加以下的附記。 (附記1) 一種映像生成裝置,具備瞳孔位置檢測機構及映像生成機構,該瞳孔位置檢測機構具備:光源、以來自前述光源的光進行掃描的光掃描鏡、利用透過前述光掃描鏡而掃描的光束就至少瞳孔的表面進行掃描而測定從眼球的反射光強度的時間變化的測定機構、從前述測定的前述反射光強度的時間變化將來自前述瞳孔的反射光強度抽出的抽出機構、與前述抽出的來自瞳孔的反射光強度、就前述眼球的表面進行掃描的掃描時間同步從而檢測出前述瞳孔的尺寸與位置的機構;該映像生成機構係一面對檢測出的位置的前述瞳孔以映像生成用光束進行掃描一面進行投射而將映像形成於前述眼球的視網膜上。 (附記2) 如附記1的映像生成裝置,其中,在前述光掃描鏡的輸出側,具有就透過前述光掃描鏡而掃描的光束依瞳孔位置檢測掃描時與前述映像生成用光束的掃描時將光路徑進行切換的光路徑切換元件。 (附記3) 如附記1或2的映像生成裝置,其中,前述瞳孔位置檢測機構具有將透過前述光掃描鏡而掃描的光束對至少前述瞳孔進行反射的反射構材。 (附記4) 如附記1至3中任一者的映像生成裝置,其中,透過前述光掃描鏡而掃描的光束就包含前述瞳孔及虹膜的眼球的表面進行掃描。 (附記5) 如附記3的映像生成裝置,其中,前述映像生成機構的映像生成用光束的光源、光掃描鏡及反射構材兼作為前述瞳孔位置檢測機構的光源、光掃描鏡及反射構材。 (附記6) 如附記4或5的映像生成裝置,其中,前述反射構材為全像反射板。 (附記7) 如附記6的映像生成裝置,其中,前述全像反射板設於眼鏡的邊框或眼鏡的透鏡中的至少一者。 (附記8) 如附記6或7的映像生成裝置,其中,就前述眼球的表面進行掃描的光束係直接照射於前述全像反射板。 (附記9) 如附記6的映像生成裝置,其中,就前述眼球的表面進行掃描的光束係在眼鏡的邊框或眼鏡的透鏡的內部進行傳播,由設於前述眼鏡的邊框或眼鏡的透鏡的前述眼球的相反側的表面的前述全像反射板進行反射。 (附記10) 如附記1至9中任一者的映像生成裝置,其中,前述映像生成機構的光掃描鏡具備可移動於來自前述映像生成機構的光源的光束的光軸方向上的移動機構。 (附記11) 如附記1至10中任一者的映像生成裝置,其中,前述光源包含藍色半導體雷射晶片、綠色半導體雷射晶片、紅色半導體雷射晶片、黃色半導體雷射晶片、紅外線半導體雷射晶片及紫外線半導體雷射晶片中的1種類以上的半導體雷射晶片。 (附記12) 一種映像生成方法,以光束就至少瞳孔的表面進行掃描,測定來自前述瞳孔的反射光強度的時間變化,從前述測定的前述反射光強度的時間變化抽出來自前述瞳孔的反射光強度,與前述抽出的來自瞳孔的反射光強度、就眼球的表面進行掃描的掃描時間同步從而檢測出前述瞳孔的尺寸與位置後,對檢測出的前述瞳孔的位置的前述瞳孔一面以映像生成用光束進行掃描一面進行投射而將映像形成於前述眼球的視網膜上。 (附記13) 如附記12的映像生成方法,其中,時間上分離而進行就前述瞳孔的尺寸與位置進行檢測的程序、以前述映像生成用光束進行掃描的程序。 (附記14) 如附記12的映像生成方法,其中,以連續的掃描程序進行:就前述瞳孔的尺寸與位置進行檢測的程序、以前述映像生成用光束進行掃描的程序。 (附記15) 如附記13或14的映像生成方法,其中,以光束掃描前述至少瞳孔的表面之際,利用反射構材將透過光掃描鏡而掃描的光束對至少前述瞳孔進行反射。 (附記16) 如附記13或14的映像生成方法,其中,透過光掃描鏡而掃描的光束就包含前述瞳孔及虹膜的眼球的表面進行掃描。 (附記17) 如附記16的映像生成方法,其中,就前述瞳孔的尺寸與位置進行檢測的程序中,對前述眼球,預先設定照射映像生成用光束的複數個射束點而照射掃描用的前述光束,對檢測為前述瞳孔之中心位置附近的前述複數個射束點之中的一者一面以前述映像生成用光束進行掃描一面進行投射。 (附記18) 如附記17的映像生成方法,其中,對前述複數個射束點的各射束點,從以前述映像生成用光束進行掃描的光掃描鏡一面改變光束的掃描角度而以前述映像生成用光束進行掃描一面進行投射。 (附記19) 如附記17的映像生成方法,其中,對前述複數個射束點的各射束點,與使以前述映像生成用光束進行掃描的光掃描鏡移動於來自光源的光束的光軸方向同時,一面以前述映像生成用光束進行掃描一面進行投射。 (附記20) 如附記12的映像生成方法,其中,一面以檢測為前述瞳孔之中心位置的射束點作為中心位置將照射前述映像生成用光束的位置予以連續變化而進行掃描一面進行投射。 (附記21) 如附記20的映像生成方法,其中,前述照射的光束,前述光束通過前述瞳孔,在前述眼球的內部形成射束點位置。 (附記22) 如附記17至21中任一者的映像生成方法,其中,對前述各射束點,在預先設定的射束掃描角範圍內進行掃描動作,在前述預先設定的射束掃描角範圍內一面以前述映像生成用光束進行掃描一面進行投射。 (附記23) 如附記17至21中任一者的映像生成方法,其中,對前述各射束點,與在不超過預先設定的射束掃描角範圍的範圍進行掃描動作同時,在前述預先設定的射束掃描角範圍內一面以前述映像生成用光束進行掃描一面進行投射。 (附記24) 如附記17至21中任一者的映像生成方法,其中,對前述各射束點,一面在超過前述預先設定的射束掃描角範圍的範圍以前述映像生成用光束進行掃描一面進行投射。 (附記25) 一種瞳孔位置檢測裝置,具備:光源、以來自前述光源的光進行掃描的光掃描鏡、利用透過前述光掃描鏡而掃描的光束就至少瞳孔的表面進行掃描而測定從眼球的反射光強度的時間變化的測定機構、從前述測定的前述反射光強度的時間變化將來自前述瞳孔的反射光強度抽出的抽出機構、與前述抽出的來自瞳孔的反射光強度、就前述眼球的表面進行掃描的掃描時間同步從而檢測出前述瞳孔的尺寸與位置的機構。 (附記26) 如附記25的瞳孔位置檢測裝置,其進一步具有將透過前述光掃描鏡而掃描的光束對至少前述瞳孔進行反射的反射構材。 (附記27) 如附記25或26的瞳孔位置檢測裝置,其中,透過前述光掃描鏡而掃描的光束就包含前述瞳孔及虹膜的眼球的表面進行掃描。 (附記28) 一種瞳孔位置檢測方法,以光束就至少瞳孔的表面進行掃描,測定來自前述瞳孔的反射光強度的時間變化,從前述測定的前述反射光強度的時間變化抽出來自前述瞳孔的反射光強度,與前述抽出的來自瞳孔的反射光強度、就眼球的表面進行掃描的掃描時間同步從而檢測出前述瞳孔的尺寸與位置。 (附記29) 如附記28的瞳孔位置檢測方法,其中,以光束掃描前述至少瞳孔的表面之際,利用反射構材將透過光掃描鏡而掃描的光束對至少前述瞳孔進行反射。 (附記30) 如附記28的瞳孔位置檢測方法,其中,透過前述光掃描鏡而掃描的光束就包含前述瞳孔及虹膜的眼球的表面進行掃描。
1‧‧‧光學引擎2‧‧‧光源3‧‧‧光掃描鏡4‧‧‧光束5‧‧‧支撐構材6‧‧‧反射構材7‧‧‧眼球8‧‧‧瞳孔9‧‧‧虹膜10‧‧‧視網膜11‧‧‧測定機構12‧‧‧白眼球13‧‧‧映像生成用光束20‧‧‧眼鏡21‧‧‧鏡臂22‧‧‧眼鏡透鏡23‧‧‧鏡橋30、55、80、90‧‧‧光學引擎31、43‧‧‧Si基板32、37‧‧‧SiO2膜33‧‧‧光合波器34~36‧‧‧光波導圖案38、44‧‧‧2維光掃描鏡部39‧‧‧紅色半導體雷射晶片40‧‧‧綠色半導體雷射晶片41‧‧‧藍色半導體雷射晶片42‧‧‧螺線管、線圈51‧‧‧光檢測器52‧‧‧掃描光束53‧‧‧反射光54‧‧‧三原色光束55‧‧‧光路徑切換元件60‧‧‧眼球61‧‧‧瞳孔62‧‧‧虹膜63‧‧‧白眼球64‧‧‧視網膜661~665‧‧‧映像生成用射束點70‧‧‧全像反射板701、702、703‧‧‧區域71‧‧‧基板72‧‧‧塑膠膜73‧‧‧模具74‧‧‧繞射光柵81‧‧‧共通基板82‧‧‧移動用導件83‧‧‧移動機構用模組84‧‧‧移動用桿件
[圖1] 本發明的實施方式的映像生成裝置的概念性構成圖。 [圖2] 本發明的實施方式的映像生成方法的說明圖。 [圖3] 本發明的實施例1的映像生成裝置的要部構成圖。 [圖4] 用於本發明的實施例1的映像生成裝置中的光學引擎的示意性透視圖。 [圖5] 全像反射板的形成方法的說明圖。 [圖6] 本發明的實施例1中的掃描光束的照射狀況的說明圖。 [圖7] 使用本發明的實施例1的映像生成裝置下的映像生成方法的說明圖。 [圖8] 本發明的實施例2的映像生成裝置的要部構成圖。 [圖9] 本發明的實施例3的映像生成裝置的要部構成圖。 [圖10] 本發明的實施例3中的掃描光束的照射狀況的說明圖。 [圖11] 本發明的實施例4的映像生成裝置的要部構成圖。 [圖12] 依本發明的實施例5的複數個射束點方式下的映像生成方法的說明圖。 [圖13] 依本發明的實施例6的複數個射束點方式下的映像生成方法的說明圖。 [圖14] 依本發明的實施例7的複數個射束點方式下的映像生成方法的說明圖。 [圖15] 用於依本發明的實施例7的複數個射束點方式下的映像生成方法中的光學引擎的示意性透視圖。 [圖16] 依本發明的實施例8的射束點連續移動方式下的映像生成方法的說明圖。 [圖17] 本發明的實施例9的瞳孔位置檢測裝置的要部構成圖。 [圖18] 本發明的實施例9中的掃描光束的照射狀況的說明圖。 [圖19] 使用本發明的實施例9的瞳孔位置檢測裝置下的瞳孔位置檢測方法的說明圖。 [圖20] 本發明的實施例10的瞳孔位置檢測裝置的要部構成圖。 [圖21] 本發明的實施例11的瞳孔位置檢測裝置的要部構成圖。 [圖22] 本發明的實施例12的瞳孔位置檢測裝置的要部構成圖。 [圖23] 本發明的實施例13中的掃描光束的照射狀況的說明圖。 [圖24] 使用本發明的實施例13的映像生成裝置下的映像生成方法的說明圖。 [圖25] 依本發明的實施例14的複數個射束點方式下的映像生成方法的說明圖。 [圖26] 依本發明的實施例15的複數個射束點方式下的映像生成方法的說明圖。
1‧‧‧光學引擎
2‧‧‧光源
3‧‧‧光掃描鏡
4‧‧‧光束
5‧‧‧支撐構材
6‧‧‧反射構材
7‧‧‧眼球
8‧‧‧瞳孔
9‧‧‧虹膜
10‧‧‧視網膜
11‧‧‧測定機構
13‧‧‧映像生成用光束
Claims (19)
- 一種映像生成裝置,具備瞳孔位置檢測機構、映像生成機構,該瞳孔位置檢測機構具備:光源、以來自前述光源的光進行掃描的光掃描鏡、利用透過前述光掃描鏡而掃描的光束就包含至少瞳孔及虹膜的眼球的表面進行掃描而測定從眼球的反射光強度的時間變化的測定機構、從前述測定的前述反射光強度的時間變化將信號強度最小的時域的前述反射光強度抽出作為來自前述瞳孔的反射光強度的抽出機構、與前述抽出的來自瞳孔的反射光強度、就前述眼球的表面進行掃描的掃描時間同步從而檢測出前述瞳孔的尺寸與位置的機構;該映像生成機構係一面對檢測出的位置的前述瞳孔以映像生成用光束進行掃描一面進行投射而將映像形成於前述眼球的視網膜上。
- 如請求項1的映像生成裝置,其中,前述瞳孔位置檢測機構具有將透過前述光掃描鏡而掃描的光束對至少前述瞳孔進行反射的反射構材。
- 如請求項2的映像生成裝置,其中,前述映像生成機構的映像生成用光束的光源、光掃描鏡及反射構材兼作為前述瞳孔位置檢測機構的光源、光掃描鏡及反射構材。
- 如請求項3的映像生成裝置,其中,前述反射構材為全像反射板。
- 如請求項4的映像生成裝置,其中,前述全像反射板設於眼鏡的邊框或眼鏡的透鏡中的至少一者。
- 如請求項4的映像生成裝置,其中,就前述眼球的表面進行掃描的光束係直接照射於前述全像反射板。
- 如請求項4的映像生成裝置,其中,就前述眼球的表面進行掃描的光束係在眼鏡的邊框或眼鏡的透鏡的內部進行傳播,由設於前述眼鏡的邊框或眼鏡的透鏡的前述眼球的相反側的表面的前述全像反射板進行反射。
- 如請求項1的映像生成裝置,其中,前述映像生成機構的光掃描鏡具備可移動於來自前述映像生成機構的光源的光束的光軸方向上的移動機構。
- 如請求項1的映像生成裝置,其中,前述光源包含藍色半導體雷射晶片、綠色半導體雷射晶片、紅色半導體雷 射晶片、黃色半導體雷射晶片、紅外線半導體雷射晶片及紫外線半導體雷射晶片中的1種類以上的半導體雷射晶片。
- 一種映像生成方法,以光束就包含至少瞳孔及虹膜的眼球的表面進行掃描,測定來自前述瞳孔的反射光強度的時間變化,從前述測定的前述反射光強度的時間變化將信號強度最小的時域的前述反射光強度抽出作為來自前述瞳孔的反射光強度,與前述抽出的來自瞳孔的反射光強度、就眼球的表面進行掃描的掃描時間同步從而檢測出前述瞳孔的尺寸與位置後,對檢測出的前述瞳孔的位置的前述瞳孔一面以映像生成用光束進行掃描一面進行投射而將映像形成於前述眼球的視網膜上。
- 如請求項10的映像生成方法,其中,以光束掃描前述至少瞳孔的表面之際,利用反射構材將透過光掃描鏡而掃描的光束對至少前述瞳孔進行反射。
- 如請求項10的映像生成方法,其中,就前述瞳孔的尺寸與位置進行檢測的程序中, 對前述眼球,預先設定照射映像生成用光束的複數個射束點而照射掃描用的前述光束,對檢測為前述瞳孔之中心位置附近的前述複數個射束點之中的一者一面以前述映像生成用光束進行掃描一面進行投射。
- 如請求項12的映像生成方法,其中,對前述複數個射束點的各射束點,從以前述映像生成用光束進行掃描的光掃描鏡一面改變光束的掃描角度而以前述映像生成用光束進行掃描一面進行投射。
- 如請求項12的映像生成方法,其中,對前述複數個射束點的各射束點,與使以前述映像生成用光束進行掃描的光掃描鏡移動於來自光源的光束的光軸方向同時,一面以前述映像生成用光束進行掃描一面進行投射。
- 如請求項10的映像生成方法,其中,一面以檢測為前述瞳孔之中心位置的射束點作為中心位置將照射前述映像生成用光束的位置予以連續變化而進行掃描一面進行投射。
- 如請求項15的映像生成方法,其中,前述照射的光束,前述光束通過前述瞳孔,在前述眼球的內部形成射束點位置。
- 如請求項12的映像生成方法,其中,對前述各射束點,在預先設定的射束掃描角範圍內行掃描動作,在前述預先設定的射束掃描角範圍內一面以前述映像生成用光束進行掃描一面進行投射。
- 如請求項12的映像生成方法,其中,對前述各射束點,與在不超過預先設定的射束掃描角範圍的範圍進行掃描動作同時,在前述預先設定的射束掃描角範圍內一面以前述映像生成用光束進行掃描一面進行投射。
- 如請求項12的映像生成方法,其中,對前述各射束點,一面在超過前述預先設定的射束掃描角範圍的範圍以前述映像生成用光束進行掃描一面進行投射。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-074819 | 2017-04-04 | ||
JP2017074819 | 2017-04-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201837784A TW201837784A (zh) | 2018-10-16 |
TWI746805B true TWI746805B (zh) | 2021-11-21 |
Family
ID=63712553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107106092A TWI746805B (zh) | 2017-04-04 | 2018-02-23 | 映像生成裝置及映像生成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11307405B2 (zh) |
JP (1) | JP7033329B2 (zh) |
CN (2) | CN113721368A (zh) |
TW (1) | TWI746805B (zh) |
WO (1) | WO2018186046A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190094549A1 (en) * | 2017-09-28 | 2019-03-28 | Thalmic Labs Inc. | Systems, devices, and methods for waveguide-based eyebox expansion in wearable heads-up displays |
FI129400B (en) * | 2017-12-22 | 2022-01-31 | Dispelix Oy | Diffractive waveguide element and diffractive waveguide display |
JP7418149B2 (ja) | 2018-11-29 | 2024-01-19 | 株式会社リコー | 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置 |
CN114761859A (zh) * | 2019-11-26 | 2022-07-15 | 奇跃公司 | 用于增强或虚拟现实显示系统的增强眼睛跟踪 |
CN114902116A (zh) * | 2020-01-10 | 2022-08-12 | 索尼集团公司 | 视频投影设备 |
US20230095993A1 (en) * | 2020-02-04 | 2023-03-30 | Sony Group Corporation | Image following information detecting device, image following device, image following information detecting method, and image following method |
CN114326104B (zh) * | 2020-09-28 | 2023-07-25 | 宏碁股份有限公司 | 具有结构光检测功能的扩增实境眼镜 |
CN112305756A (zh) * | 2020-10-30 | 2021-02-02 | 维沃移动通信有限公司 | 电子设备、其控制方法及控制装置和可读存储介质 |
JP7163950B2 (ja) * | 2020-11-27 | 2022-11-01 | カシオ計算機株式会社 | 網膜走査型投影装置、映像光出射方法およびコンバイナー |
JP2022108496A (ja) * | 2021-01-13 | 2022-07-26 | 株式会社リコー | 光学装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、立体物の傾き検出方法及び視線検出方法 |
US11928257B2 (en) * | 2021-02-17 | 2024-03-12 | Samsung Electronics Co., Ltd. | Method and electronic device for tracking eye |
DE102022203075A1 (de) * | 2022-03-29 | 2023-10-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Projizieren von Bildinhalten auf die Netzhaut eines Nutzers mit Hilfe eines optischen Systems |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101589329A (zh) * | 2007-11-21 | 2009-11-25 | 松下电器产业株式会社 | 显示装置 |
CN1960670B (zh) * | 2004-04-01 | 2011-02-23 | 威廉·C·托奇 | 用于监控眼睛运动的生物传感器、通信器、和控制器及其使用方法 |
TW201228380A (en) * | 2010-12-16 | 2012-07-01 | Microsoft Corp | Comprehension and intent-based content for augmented reality displays |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4608996B2 (ja) * | 2004-08-19 | 2011-01-12 | ブラザー工業株式会社 | 瞳孔検出装置およびそれを備えた画像表示装置 |
JP5295714B2 (ja) * | 2008-10-27 | 2013-09-18 | 株式会社ソニー・コンピュータエンタテインメント | 表示装置、画像処理方法、及びコンピュータプログラム |
JP5294283B2 (ja) | 2009-05-28 | 2013-09-18 | シチズンホールディングス株式会社 | 光源装置 |
US20140177017A1 (en) * | 2011-08-31 | 2014-06-26 | Pioneer Corporation | Image display device |
JP5817022B2 (ja) | 2012-03-19 | 2015-11-18 | 国立大学法人福井大学 | 光合波器及びこの光合波器を用いた画像投影装置 |
EP3296797B1 (en) * | 2013-03-25 | 2019-11-06 | North Inc. | Method for displaying an image projected from a head-worn display with multiple exit pupils |
JP6807561B2 (ja) | 2014-05-09 | 2021-01-13 | 国立大学法人福井大学 | 合波器、この合波器を用いた画像投影装置及び画像投影システム |
CA2976905A1 (en) * | 2015-02-17 | 2016-08-25 | Thalmic Labs Inc. | Systems, devices, and methods for eyebox expansion in wearable heads-up displays |
US10078220B2 (en) * | 2015-05-28 | 2018-09-18 | Thalmic Labs Inc. | Wearable heads-up display with integrated eye tracker |
JP6231541B2 (ja) | 2015-06-25 | 2017-11-15 | 株式会社Qdレーザ | 画像投影装置 |
JP6231591B2 (ja) | 2015-06-25 | 2017-11-15 | 株式会社Qdレーザ | 画像投影装置 |
US9904051B2 (en) * | 2015-10-23 | 2018-02-27 | Thalmic Labs Inc. | Systems, devices, and methods for laser eye tracking |
WO2017134412A1 (en) * | 2016-02-04 | 2017-08-10 | Milan Momcilo Popovich | Holographic waveguide optical tracker |
US10306729B2 (en) * | 2016-04-19 | 2019-05-28 | Apple Inc. | Display with ambient-adaptive backlight color |
CA3049379A1 (en) * | 2017-01-05 | 2018-07-12 | Philipp K. Lang | Improved accuracy of displayed virtual data with optical head mount displays for mixed reality |
EP3851939A1 (en) * | 2020-01-14 | 2021-07-21 | Apple Inc. | Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information |
-
2018
- 2018-02-23 WO PCT/JP2018/006693 patent/WO2018186046A1/ja active Application Filing
- 2018-02-23 TW TW107106092A patent/TWI746805B/zh active
- 2018-02-23 JP JP2019511090A patent/JP7033329B2/ja active Active
- 2018-02-23 CN CN202111082126.4A patent/CN113721368A/zh not_active Withdrawn
- 2018-02-23 CN CN201880023356.3A patent/CN110494793B/zh not_active Expired - Fee Related
-
2019
- 2019-10-01 US US16/589,661 patent/US11307405B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1960670B (zh) * | 2004-04-01 | 2011-02-23 | 威廉·C·托奇 | 用于监控眼睛运动的生物传感器、通信器、和控制器及其使用方法 |
CN101589329A (zh) * | 2007-11-21 | 2009-11-25 | 松下电器产业株式会社 | 显示装置 |
TW201228380A (en) * | 2010-12-16 | 2012-07-01 | Microsoft Corp | Comprehension and intent-based content for augmented reality displays |
Also Published As
Publication number | Publication date |
---|---|
CN110494793A (zh) | 2019-11-22 |
CN113721368A (zh) | 2021-11-30 |
CN110494793B (zh) | 2022-01-18 |
US11307405B2 (en) | 2022-04-19 |
JP7033329B2 (ja) | 2022-03-10 |
TW201837784A (zh) | 2018-10-16 |
JPWO2018186046A1 (ja) | 2020-02-13 |
WO2018186046A1 (ja) | 2018-10-11 |
US20200033590A1 (en) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI746805B (zh) | 映像生成裝置及映像生成方法 | |
US11006102B2 (en) | Method of utilizing defocus in virtual reality and augmented reality | |
CN110446965B (zh) | 用于结合光扫描投影仪跟踪眼睛运动的方法和系统 | |
TW201712371A (zh) | 資料眼鏡用的投影裝置,資料眼鏡,以及操作資料眼鏡用的投影裝置的方法 | |
TWI540339B (zh) | 用於雷射掃瞄虛擬圖像顯示之虛擬圖像投影機、方法及頭戴顯示設備 | |
CN110192143B (zh) | 图像投影装置 | |
CN104094197A (zh) | 利用投影仪的注视追踪 | |
JPWO2006038662A1 (ja) | 画像表示装置および電子眼鏡 | |
TW201632945A (zh) | 可調式焦距平面光學系統 | |
KR20220024410A (ko) | 도광 광학 소자를 통한 눈 이미징에 기초한 시선 추적 장치 및 방법 | |
JP7302592B2 (ja) | 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法 | |
CN113655615A (zh) | 大出瞳光学显示装置、近眼显示装置及图像投射方法 | |
US20090174864A1 (en) | System and method for tracking eye movement | |
JP2023509305A (ja) | 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法 | |
JP4764664B2 (ja) | 眼科検査装置 | |
CN113534478A (zh) | 光学组件、显示系统及制造方法 | |
JP7163230B2 (ja) | 視線検出装置、視線検出方法、及び表示装置 | |
KR20210038316A (ko) | 헤드 마운티드 디스플레이 | |
JP2006039271A (ja) | 画像表示装置、その反射鏡及び画像表示方法 | |
KR101712004B1 (ko) | 양안 초점 조절반응 측정장치 | |
JP2024008216A (ja) | 画像投影装置及び画像投影方法 | |
CN113534455A (zh) | 光学组件、显示系统及制造方法 | |
KR20200063825A (ko) | 핀 홀 효과를 이용하여 심도 조절이 가능한 증강 현실 구현 장치 | |
TW201834607A (zh) | 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置 |