JPWO2019146367A1 - 映像投影装置、映像投影方法、映像表示光出力制御方法 - Google Patents
映像投影装置、映像投影方法、映像表示光出力制御方法 Download PDFInfo
- Publication number
- JPWO2019146367A1 JPWO2019146367A1 JP2019567941A JP2019567941A JPWO2019146367A1 JP WO2019146367 A1 JPWO2019146367 A1 JP WO2019146367A1 JP 2019567941 A JP2019567941 A JP 2019567941A JP 2019567941 A JP2019567941 A JP 2019567941A JP WO2019146367 A1 JPWO2019146367 A1 JP WO2019146367A1
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- display light
- image display
- image
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、
を備えている映像投影装置を提供する。
本技術の一つの実施態様に従い、前記出力制御部が、目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定するものであってよい。
本技術の一つの実施態様に従い、前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力が決定されうる。
本技術の一つの実施態様に従い、前記所定の関係が、
以下の式、
又は、
以下の式
(ここで、Lは目的とする映像表示光輝度であり、Cは調整係数であり、λは波長であり、Pは各波長での映像表示光出力であり、Kは各波長での視感度であり、ωは表示の見込み角であり、且つ、Aは瞳孔寸法又は瞳孔面積である)
で表される関係であってよい。
本技術の他の実施態様に従い、前記出力制御部が、前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させるものでありうる。
本技術の他の実施態様に従い、前記出力制御部が、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定しうる。
本技術の他の実施態様に従い、前記出力制御部が、前記映像表示光の出力を以下の式に基づき決定するものでありうる。
(ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである)
本技術の一つの実施態様に従い、前記出力制御部が、前記目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定しうる。
本技術の一つの実施態様に従い、前記瞳孔情報取得部が、前記瞳孔の位置情報を取得するものであり、且つ、前記瞳孔情報取得部が、当該位置情報に基づき、前記注視点を特定しうる。
本技術の一つの実施態様に従い、前記瞳孔情報取得部が、赤外光カメラを含みうる。
本技術の一つの実施態様に従い、本技術の映像投影装置は、注視点情報取得部をさらに備えており、当該注視点情報取得部が、前記注視点の明るさを取得しうる。
本技術の一つの実施態様に従い、本技術の映像投影装置は、前記出力制御部により制御された出力で網膜に映像表示光を照射する映像表示光照射部をさらに備えていてよい。
本技術の一つの実施態様に従い、前記映像表示光照射部が、網膜投影方式又は網膜走査方式で映像表示光を照射するものでありうる。
本技術の一つの実施態様に従い、前記映像表示光照射部が、レーザ光を照明光源としうる。
本技術の一つの実施態様に従い、本技術の映像投影装置は、ヘッドマウントディスプレイでありうる。
本技術の一つの実施態様に従い、本技術の映像投影装置は、アイウェアディスプレイでありうる。
本技術の一つの実施態様に従い、投影される映像が、外界の光景に重畳されているように表示されてよい。
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程と
を含む映像投影方法を提供する。
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
を含む映像表示光出力制御方法を提供する。
1.第1の実施形態(映像投影装置)
(1)第1の実施形態の説明
(2)第1の実施形態の第1の例(映像投影装置)
(3)第1の実施形態の第2の例(出力制御部による映像表示光の出力制御)
(4)第1の実施形態の第3の例(出力制御部による映像表示光の出力変化)
2.第2の実施形態(映像投影方法)
(1)第2の実施形態の説明
(2)第2の実施形態の第1の例(映像投影方法)
(3)第2の実施形態の第2の例(映像投影方法)
3.第3の実施形態(映像表示光出力制御方法)
(1)第3の実施形態の説明
(2)第3の実施形態の第1の例(映像表示光出力制御方法)
(3)第3の実施形態の第2の例(映像表示光出力制御方法)
4.第4の実施形態(プログラム)
5.装置の構成例
本技術において、映像表示光は、瞳孔付近に集光されそして網膜に照射される。すなわち、本技術に従う映像投影装置は、いわゆるマクスウェル視で映像をユーザに提示する。本技術に従い、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を瞳孔の面積又は寸法に基づき制御することで、適切な明るさを有し且つ鮮明である映像を外界の風景に重畳することができる。
本技術において、映像表示光は瞳孔付近で集光されてよく、例えば瞳孔上で集光されてもよく又は光軸方向に瞳孔から数mm〜十数mm程度(例えば1mm〜20mm、特には2mm〜15mm)ずれてもよい。後者のとおり焦点が瞳孔上になくても、マックスウェル視を実現することができる。焦点を光軸方向にずらすことで、映像がずれても、ユーザが映像を失いにくくすることができる。前記映像表示光は、より具体的には、瞳孔上、水晶体レンズ内、又は、角膜表面と瞳孔との間において集光されうる。
また、上記映像投影技法では、ユーザの瞳孔径によっても、ユーザが見る映像に変化が生じる。ユーザの瞳孔径は、水晶体レンズの焦点距離及び/又は注視の度合いによって変化する。上記映像投影技法では、ユーザの瞳孔径が変化すると、同じ映像表示光であっても、網膜に到達する光量が変化し、ユーザに提示される映像光強度も変化する。そのため、ユーザが認識する映像が安定しない。
また、本技術では、映像表示光は瞳孔付近の1点を通るので、瞳孔径が変化しても、網膜に到達する光量が変化しない。そのため、ユーザが認識する映像が安定する。
加えて、本技術において採用する方式では、どの焦点距離においても映像表示光が焦点を結ぶ。例えば、図4における、距離d2及びd3のいずれにおいても、映像表示光は焦点を結ぶ。
瞳孔情報取得部101は、例えばIR(赤外線)光源とIRカメラとの組合せを含みうる。IR光源は、赤外線をユーザの眼球表面に照射するように配置されうる。IRカメラは、赤外線が照射された眼球表面を撮像することができるように配置されうる。IR光源とIRカメラとの組合せを用いることで、外界の風景からの光に対する影響を抑制しつつ、瞳孔情報を取得することができる。また、明るい場所だけでなく、暗い場所においても、瞳孔情報を正確に取得することができる。
瞳孔情報取得部は、例えばCCD又はCMOSなどの撮像素子を含んでもよい。これらの撮像素子によっても、瞳孔情報を取得することができる。
例えば瞳孔面積は、瞳孔部分に対応する画素数をカウントすることにより取得されてよい。
例えば瞳孔寸法(例えば直径又は外周長など)は、例えば撮像された画像に基づき決定されうる。また、決定された瞳孔寸法に基づき、瞳孔面積が算出されてもよい。
注視点情報取得部102は、ユーザの注視点に関する情報を取得することができる構成要素を含みうる。当該構成要素として、例えば撮像素子を挙げることができる。撮像素子は、例えばCCD又はCMOSでありうる。当該撮像素子によって、注視点を含む外界風景を撮像し、得られた画像データから、目的とする注視点情報が抽出されうる。
また、前記瞳孔情報取得部101が片方の眼の瞳孔情報のみを取得することができる構成の場合、例えば眼球の動きに基づき注視点の位置を推定することによって、注視点の位置が取得されてもよい。当該推定の方法として、当業者に既知の技法が用いられてよい。
なお、注視点の位置は、瞳孔情報取得部により取得されてもよい。
注視点の位置における明るさは、注視点情報取得部102により撮像された画像中の注視点の位置における画像情報から取得することができる。例えば、注視点情報取得部102に含まれる撮像素子が、外界風景を撮像し、当該撮像素子によって撮像された画像中の当該注視点の位置における画像データから、当該注視点の位置における明るさに関するデータが取得されうる。
注視点の明るさは、例えば外界に向けられた照度センサによって取得されてもよく、又は、注視点の明るさは、観察者の瞳孔径に基づき推定又は算出されてもよい。注視点の明るさは、例えば映画に字幕の映像を重畳する場合など、別の映像光へ本技術に従い映像を重畳する場合には、当該別の映像光の明るさに基づき注視点の明るさが取得されてもよい。
当該出力の制御において、注視点情報取得部102により取得された注視点情報が参照されてもよい。例えば、注視点情報として注視点の明るさと当該明るさに対するコントラストとが用いられうる。すなわち、一つの実施態様において、出力制御部103は、目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定しうる。
出力制御部103による映像表示光の出力制御の例は、以下「(3)第1の実施形態の第2の例(出力制御部による映像表示光の出力制御)」及び「(4)第1の実施形態の第3の例(出力制御部による映像表示光の出力変化)」にて詳述する。
映像表示光照射部104により照射される映像表示光のビーム直径は、瞳孔径を考慮して決定又は調節されてよい。当該ビーム直径は、例えば5mm以下、好ましくは3mm以下、より好ましくは2mm以下、さらにより好ましくは0.7mm以下でありうる。
映像表示光照射部104は、マクスウェル視での映像表示光の照射を、例えば網膜走査方式又は網膜投影方式で行いうる。これらの方式により映像表示光を照射するための映像表示光照射装置は、当業者に知られている。本技術において、当業者に既知の映像表示光照射装置が用いられてよい。
図13に示されるとおり、光源部1301からレーザ光1302が出力される。レーザ光1302は、例えば赤、緑、及び青のレーザ光からなる1本の光束として出力されうる。出力されたレーザ光1302は、光走査部1303によって、二次元的に走査されうる。当該走査されたレーザ光1302は、接眼光学系(例えばハーフミラー)1304に向かって拡がりうる。拡がったレーザ光1302の方向が、接眼光学系1304によって、ユーザの瞳孔1305上で集光するように変更する。入射する際の入射角を高速に変化させることで、網膜1306上に映像が表示される。網膜走査方式の映像表示光照射部の構成としては、当業者に既知の構成が採用されてよい。例えば、光走査部1303の構成要素の一つとしてMEMSミラーを採用することで、レーザ光の方向を、網膜上に映像が形成されるように、高速に移動させることができる。
図14に示されるとおり、ディスプレイ(例えば液晶表示素子)1401から出力された平行光が、レンズ1402によって屈折される。屈折された光のうち、光学フィルタ1403によって所望の光のみを、レンズ1404へと進行させる。レンズ1404を通過した光が、接眼光学系1405によって、ユーザの瞳孔1406上で集光するように進行する。その結果、網膜1407上に映像が表示される。
本技術の一つの実施態様に従い、出力制御部103は、例えば目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定しうる。これにより、適切な明るさの映像をユーザに提示することができる。当該目的とする映像表示光輝度は、例えば提示されるべき映像をユーザが視認可能な程度の輝度であってよく、好ましくは提示されるべき映像を外界の風景からユーザが区別することができる程度の輝度であってよく、より好ましくは外界の風景の明るさに対して適切なコントラストを有する映像が提示される可能とする輝度でありうる。
例えば、出力制御部103は、前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力を決定する。当該所定の関係を満たすように映像表示光の出力を制御することで、より適切な明るさで映像がユーザに提示される。
前記映像表示光の出力は、例えば各波長における映像表示光の出力と各波長における視感度との積の総和又は積分でありうる。当該総和又は積分を前記瞳孔の面積又は寸法で除した値が映像表示光輝度との間で所定の関係を満たすように、映像表示光の出力は調整されてよい。例えば当該総和又は積分を前記瞳孔の面積又は寸法で除した値が映像表示光輝度と等しくなるように、若しくは、当該総和又は積分を前記瞳孔の面積又は寸法で除した値に所定の調整係数を乗じた値が映像表示光輝度と等しくなるように、映像表示光の出力は調整されうる。このように、映像表示光の出力を調整することで、好ましい明るさの映像をユーザに提示することができる。
前記所定の関係を満たすように映像表示光の出力を調整することは、当業者に既知の手段を用いて行われてよい。
例えば以下の式、
又は、
以下の式
(ここで、L[cd/m2]は目的とする映像表示光輝度であり、Cは調整係数であり、λ[nm]は波長であり、P[W]は各波長での映像表示光出力であり、Kは各波長での視感度であり、ω[str]は表示の見込み角であり、A[m又はm2]は瞳孔寸法又は瞳孔面積である)
で表される関係である。
上記式において、Pは各波長での映像表示光出力であり、且つ、Kは各波長での視感度である。映像表示光は通常は種々の波長の光を含むので、各波長の映像表示光出力及び視感度の積についての積分又は総和を利用することが好ましい。
上記式において、Aは瞳孔寸法又は瞳孔面積である。
しかしながら、上記特許文献1に記載の透過型映像表示装置は、映像表示光を水晶体で屈折させて網膜上で結像させるという方式を前提としたものである。すなわち、上記特許文献1に記載の上記調整は、外光の網膜への到達量及び映像光の網膜への到達量いずれもが瞳孔面積の変化に応じて変化することを前提としたものである。上記特許文献1に記載の調整は、マクスウェル視に基づく映像投影装置には適用できない。例えば、外界の照度が10倍になり、それに応じて瞳孔面積が0.4倍になったときには、外界から網膜に照射される光の強度は10x0.4=4倍となるのに対し、映像表示光の強度は瞳孔面積に影響されない。したがって、外光照度の変化に応じて、映像表示光の強度を10倍にした場合、強度比は10/4=2.5倍となり、外光に対して明るすぎる映像をユーザに提示することになってしまう。
本技術に従い映像表示光の出力を調整することによって、外光に対して明るすぎる映像をユーザに提示することを防ぐことができる。
本技術の他の実施態様に従い、出力制御部103は、例えば前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させる。これにより、外界の風景の変化に応じて、映像表示光の出力を適切な明るさに変更することができる。前記変化後の映像表示光の出力は、例えば提示されるべき映像をユーザが視認可能な程度の輝度をもたらす出力であってよく、好ましくは提示されるべき映像を外界の風景からユーザが区別することができる程度の輝度をもたらす出力であってよく、より好ましくは外界の風景の明るさに対して適切なコントラストを有する映像が提示される可能とする輝度をもたらす出力でありうる。
例えば、出力制御部103は、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、且つ、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定する。このように映像表示光の出力が決定されることで、外界の風景の変化に応じて、映像の明るさをユーザにとって適切な明るさに変化させることができる。
例えば外界風景が変化した場合、変化前後の外光照度の比、変化前後の外光コントラストの比、及び変化前後の瞳孔の面積又は寸法の比のうちから選ばれる少なくとも一つの比(又は二つ若しくは三つ)に基づき設定された映像表示光輝度を達成するように、前記映像表示光の出力は制御される。このように、映像表示光の出力を調整することで、外界風景が変化しても、好ましい明るさの映像をユーザに提示することができる。
(ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである)
また、本技術に従う映像投影装置を用いた場合、例えば外光照度が変化した場合、外光照度の変化率及び当該変化に伴う瞳孔面積の変化率を、変化前の輝度に乗ずることで、変化後の外光照度に適した輝度が設定され、当該輝度を達成するように映像表示光の出力が制御される。一方で、例えば非マクスウェル視の映像投影装置では、外光照度が変化した場合、変化前と同じコントラストを保とうとしたとき、外光照度の変化率と同じ変化率で映像表示光の輝度を変えなければならない。そのため、本技術に従う映像投影装置では、外光照度が高くなった場合に、輝度を上げる率がより低くなる。
より具体的には、非マクスウェル視の映像投影装置では、外光照度Bは瞳孔径dに対して、B∝exp(−d)又はB∝d−1/2などであり、すなわちBはexp(−d)又はd−1/2に比例する。非マクスウェル視の映像投影装置では、異なる外光照度の環境下で同一のコントラストを保つには、映像表示光もこれらの変化率に従う必要がある。例えばBがexp(−d)に比例するとした場合、映像表示光も同様にexp(−d)に比例する。一方で、本技術に従う映像投影装置では、映像表示光の輝度は、外光照度に瞳孔面積を乗じたexp(−d)*d2に比例する。すなわち、瞳孔径が4mmから2mmに変化した場合、消費電力の増加は、非マクスウェル視の映像投影装置と比べて1/4である。
例えば瞳孔情報取得部101がIR(赤外線)光源とIRカメラとの組合せを含む場合、ステップS102において、瞳孔情報取得部101が赤外線を眼球表面に照射し、当該赤外線が照射された眼球表面を撮像する。撮像された画像から、瞳孔情報取得部101が瞳孔情報を取得する。
例えば注視点情報取得部102は、瞳孔情報取得部101により取得された瞳孔の位置に基づき注視点の位置を取得する。注視点の位置は、例えば両目の瞳孔の位置に基づき三角測量的に決定されてよく、又は、単眼の瞳孔の動きに基づき推定されてもよい。注視点の位置を決定又は推定するための方法として、当業者に既知の技法が用いられてよい。
注視点情報取得部102は、前記取得された注視点の位置における明るさを取得する。例えば、注視点情報取得部102は、注視点情報取得部102に含まれる撮像素子によって撮像された画像中における、前記取得された注視点の位置に対応する画素又は画素ブロックを特定する。注視点情報取得部102は、当該特定された画素又は画素ブロックにおける画像データから、注視点における明るさに関するデータを取得する。
映像投影装置100は、瞳孔情報及び/又は注視点情報に変化が生じた場合に、処理をステップS204に進める。
映像投影装置100は、瞳孔情報及び/又は注視点情報に変化が生じない場合は、処理をS202に戻し、監視工程S202を継続する。
より具体的には、ステップS203において、出力制御部103は、瞳孔の面積又は寸法が、或る時点での面積又は寸法に対して例えば1.1倍以上、1.2倍以上、1.3倍以上、1.4倍以上、1.5倍以上、1.6倍以上、1.7倍以上、1.8倍以上、1.9倍以上、又は2.0倍以上になった場合に、瞳孔の面積又は寸法が増加したと判定し、処理をステップS204に進めうる。また、ステップS203において、出力制御部103は、瞳孔の面積又は寸法が、或る時点での面積又は寸法に対して例えば0.9倍以下、0.8倍以下、0.7倍以下、0.6倍以下、又は0.5倍以下になった場合に、瞳孔の面積又は寸法が減少したと判定し、処理をステップS204に進めうる。
代替的には、ステップS203において、出力制御部103は、注視点の位置が、或る時点において注視されている物体から、他の物体へと移動した場合に、注視点の位置の変化が有ったとして、処理をステップS204に進めうる。注視点の位置の変化は、例えば注視点又は注視点付近での、画像情報の変化(例えば明るさの変化など)に基づき検出されうる。
代替的には、ステップS203において、出力制御部103は、注視点における明るさ(例えば外光照度)が或る時点での明るさに対して例えば1.1倍以上、1.2倍以上、1.3倍以上、1.4倍以上、1.5倍以上、1.6倍以上、1.7倍以上、1.8倍以上、1.9倍以上、又は2.0倍以上になった場合に、注視点における明るさの増加が有ったと判定し、処理をステップS204に進めうる。また、ステップS203において、出力制御部103は、注視点における明るさ(例えば外光照度)が或る時点での明るさに対して例えば0.9倍以下、0.8倍以下倍以上、0.7倍以下、0.6倍以下、又は0.5倍以下になった場合に、注視点における明るさの減少が有ったと判定し、処理をステップS204に進めうる。
代替的には、ステップS203において、出力制御部103は、ユーザに提示される映像と当該映像が重畳される光景との適切なコントラスト、特には外光コントラストが変化された場合に、注視点におけるコントラストの変化が有ったと判定し、処理をステップS204に進めうる。
CPU1002は、映像投影装置1000の制御及び演算を行う。CPU1002として、任意のプロセッサを用いることができ、その例としてXeon(登録商標)シリーズ、Core(商標)シリーズ、又はAtom(商標)シリーズのプロセッサを挙げることができる。図5を参照して説明した映像投影装置100の制御部110は例えばCPU1002により実現されうる。
RAM1003は、例えばキャッシュ・メモリ及びメイン・メモリを含み、CPU1002により使用されるプログラムなどを一時記憶しうる。
ディスク1004には、オペレーティング・システム(例えば、WINDOWS(登録商標)、UNIX(登録商標)、又はLINUX(登録商標)など)、本技術に従う映像投影処理用プログラム、映像表示光出力制御用プログラム、及び他の種々のプログラム、並びに各種データ(例えば映像データ)が格納されうる。
通信装置1006は、映像投影装置1000をネットワーク1010に有線又は無線で接続する。通信装置1006は、映像投影装置1000を、ネットワーク1010を介して各種データ(例えば映像データなど)を取得することができる。取得したデータは、例えばディスク1004に格納されうる。通信装置1006の種類は当業者により適宜選択されてよい。
映像表示光出力装置1007は、本技術に従い制御された映像表示光を出力しうる。
ドライブ1008は、記録媒体に記録されている情報を読み出して、RAM1003に出力することができる。記録媒体は、例えば、SDメモリカード又はフラッシュメモリであるが、これらに限定されない。
図11に示される本技術の映像投影装置は、アイウェアディスプレイ2000である。アイウェアディスプレイ2000において、瞳孔情報取得部は、IR光源2002及びIRカメラ2003の組み合わせを含む。IR光源2002は例えば、図12に示されるように、赤外光を眼球に向けて照射する。当該赤外光が照射された状態で、IRカメラ2003により眼球を撮像することによって、瞳孔情報が取得される。注視点情報取得部は、撮像素子2004を含む。撮像素子2004は、眼球が向いている方向を撮像できるように構成されている。出力制御部及び映像表示光照射部は、筐体2001中の情報処理装置の一部として構成されていてよい。当該情報処理装置にはさらに、インタフェース、記憶部、制御部、及び映像制御部が含まれていてよい。
映像表示光照射部によって、出力制御部による制御下で、映像表示光がハーフミラー2005に照射される。ハーフミラーに照射された映像表示光が、瞳孔2006上で集光し、そして、網膜2007に到達する。このようにして、本技術に従う映像投影装置によって、映像がユーザに提示される。
〔1〕瞳孔の面積又は寸法を取得する瞳孔情報取得部と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、
を備えている映像投影装置。
〔2〕前記出力制御部が、目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定する、〔1〕に記載の映像投影装置。
〔3〕前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力が決定される、〔2〕に記載の映像投影装置。
〔4〕前記所定の関係が、
以下の式、
以下の式
(ここで、Lは目的とする映像表示光輝度であり、Cは調整係数であり、λは波長であり、Pは各波長での映像表示光出力であり、Kは各波長での視感度であり、ωは表示の見込み角であり、且つ、Aは瞳孔寸法又は瞳孔面積である)
〔3〕に記載の映像投影装置。
〔5〕前記出力制御部が、前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させる、〔1〕に記載の映像投影装置。
〔6〕前記出力制御部が、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定する、〔5〕に記載の映像投影装置。
〔7〕前記出力制御部が、以下の式に基づき決定された映像表示光輝度を与えるように前記映像表示光の出力を制御する、
(ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである)
〔5〕又は〔6〕に記載の映像投影装置。
〔8〕前記出力制御部が、前記目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定する、〔2〕〜〔7〕のいずれか一つに記載の映像投影装置。
〔9〕前記瞳孔情報取得部が、前記瞳孔の位置情報を取得するものであり、且つ、前記瞳孔情報取得部が、当該位置情報に基づき、前記注視点を特定する、〔8〕に記載の映像投影装置。
〔10〕前記瞳孔情報取得部が、赤外光カメラを含む、〔9〕に記載の映像投影装置。
〔11〕注視点情報取得部をさらに備えており、当該注視点情報取得部が、前記注視点の明るさを取得する、〔8〕に記載の映像投影装置。
〔12〕前記出力制御部により制御された出力で網膜に映像表示光を照射する映像表示光照射部をさらに備えている、〔1〕〜〔11〕のいずれか一つに記載の映像投影装置。
〔13〕前記映像表示光照射部が、網膜投影方式又は網膜走査方式で映像表示光を照射する、〔12〕に記載の映像投影装置。
〔14〕前記映像表示光照射部が、レーザ光を照明光源とする、〔12〕に記載の映像投影装置。
〔15〕ヘッドマウントディスプレイである、〔1〕〜〔14〕のいずれか一つに記載の映像投影装置。
〔16〕アイウェアディスプレイである、〔1〕〜〔14〕のいずれか一つに記載の映像投影装置。
〔17〕投影される映像が、外界の光景に重畳されているように表示される、〔1〕〜〔16〕のいずれか一つに記載の映像投影装置。
〔18〕瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程と
を含む映像投影方法。
〔19〕瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
を含む映像表示光出力制御方法。
101 瞳孔情報取得部
102 注視点情報取得部
103 出力制御部
104 映像表示光照射部
110 制御部
111 映像制御部
113 通信インタフェース
114 記憶部
Claims (19)
- 瞳孔の面積又は寸法を取得する瞳孔情報取得部と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、
を備えている映像投影装置。 - 前記出力制御部が、目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定する、請求項1に記載の映像投影装置。
- 前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力が決定される、請求項2に記載の映像投影装置。
- 前記所定の関係が、
以下の式、
以下の式
(ここで、Lは目的とする映像表示光輝度であり、Cは調整係数であり、λは波長であり、Pは各波長での映像表示光出力であり、Kは各波長での視感度であり、ωは表示の見込み角であり、且つ、Aは瞳孔寸法又は瞳孔面積である)
請求項3に記載の映像投影装置。 - 前記出力制御部が、前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させる、請求項1に記載の映像投影装置。
- 前記出力制御部が、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定する、請求項5に記載の映像投影装置。
- 前記出力制御部が、以下の式に基づき決定された映像表示光輝度を与えるように前記映像表示光の出力を制御する、
請求項5に記載の映像投影装置。 - 前記出力制御部が、前記目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定する、請求項2に記載の映像投影装置。
- 前記瞳孔情報取得部が、前記瞳孔の位置情報を取得するものであり、且つ、前記瞳孔情報取得部が、当該位置情報に基づき、前記注視点を特定する、請求項8に記載の映像投影装置。
- 前記瞳孔情報取得部が、赤外光カメラを含む、請求項9に記載の映像投影装置。
- 注視点情報取得部をさらに備えており、当該注視点情報取得部が、前記注視点の明るさを取得する、請求項8に記載の映像投影装置。
- 前記出力制御部により制御された出力で網膜に映像表示光を照射する映像表示光照射部をさらに備えている、請求項1に記載の映像投影装置。
- 前記映像表示光照射部が、網膜投影方式又は網膜走査方式で映像表示光を照射する、請求項12に記載の映像投影装置。
- 前記映像表示光照射部が、レーザ光を照明光源とする、請求項12に記載の映像投影装置。
- ヘッドマウントディスプレイである、請求項1に記載の映像投影装置。
- アイウェアディスプレイである、請求項1に記載の映像投影装置。
- 投影される映像が、外界の光景に重畳されているように表示される、請求項1に記載の映像投影装置。
- 瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程と
を含む映像投影方法。 - 瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
を含む映像表示光出力制御方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018012996 | 2018-01-29 | ||
JP2018012996 | 2018-01-29 | ||
PCT/JP2018/048035 WO2019146367A1 (ja) | 2018-01-29 | 2018-12-27 | 映像投影装置、映像投影方法、映像表示光出力制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019146367A1 true JPWO2019146367A1 (ja) | 2021-02-04 |
JP7338476B2 JP7338476B2 (ja) | 2023-09-05 |
Family
ID=67395883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019567941A Active JP7338476B2 (ja) | 2018-01-29 | 2018-12-27 | 映像投影装置、映像投影方法、映像表示光出力制御方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11227519B2 (ja) |
EP (1) | EP3748960A4 (ja) |
JP (1) | JP7338476B2 (ja) |
KR (1) | KR20200112832A (ja) |
CN (1) | CN111630847B (ja) |
WO (1) | WO2019146367A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781940B (zh) * | 2021-08-30 | 2023-09-15 | 歌尔科技有限公司 | 头戴式显示设备及其显示亮度调节方法 |
FR3135792A1 (fr) * | 2022-05-18 | 2023-11-24 | Safran Electronics & Defense | Dispositif d’affichage d’image à luminance adaptative en fonction d’une variable physiologique |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300451A (ja) * | 1992-04-22 | 1993-11-12 | Olympus Optical Co Ltd | 頭部装着式ディスプレイ装置 |
JPH1144862A (ja) * | 1997-07-28 | 1999-02-16 | Minolta Co Ltd | 映像観察装置 |
JP2008089934A (ja) * | 2006-09-29 | 2008-04-17 | Brother Ind Ltd | 画像表示装置及び同装置による画像の輝度調整方法 |
JP2010164782A (ja) * | 2009-01-15 | 2010-07-29 | Brother Ind Ltd | 画像表示装置 |
JP2014132305A (ja) * | 2013-01-07 | 2014-07-17 | Seiko Epson Corp | 表示装置、および、表示装置の制御方法 |
JP2016528533A (ja) * | 2013-06-27 | 2016-09-15 | コチ・ウニヴェルシテシKoc Universitesi | 眼鏡型画像表示装置 |
JP2017161759A (ja) * | 2016-03-10 | 2017-09-14 | 富士通株式会社 | 網膜投影型表示装置、画像表示方法、及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004233425A (ja) * | 2003-01-28 | 2004-08-19 | Mitsubishi Electric Corp | 画像表示装置 |
CN101589329B (zh) * | 2007-11-21 | 2011-10-12 | 松下电器产业株式会社 | 显示装置 |
US8752963B2 (en) * | 2011-11-04 | 2014-06-17 | Microsoft Corporation | See-through display brightness control |
US9392129B2 (en) * | 2013-03-15 | 2016-07-12 | John Castle Simmons | Light management for image and data control |
US9360672B2 (en) * | 2013-07-11 | 2016-06-07 | Seiko Epson Corporation | Head mounted display device and control method for head mounted display device |
JP2016035513A (ja) * | 2014-08-04 | 2016-03-17 | 富士通株式会社 | 表示装置および表示制御方法 |
KR20160059406A (ko) * | 2014-11-18 | 2016-05-26 | 삼성전자주식회사 | 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법 |
TW201628307A (zh) | 2015-01-21 | 2016-08-01 | Luxul Technology Inc | 限電管理系統 |
CN107615755B (zh) * | 2015-05-19 | 2020-07-03 | 麦克赛尔株式会社 | 头戴式显示器、平视显示器和影像显示方法 |
JP2017097098A (ja) | 2015-11-20 | 2017-06-01 | 株式会社リコー | 透過型映像表示装置 |
US10728616B2 (en) * | 2017-04-19 | 2020-07-28 | Intel Corporation | User interest-based enhancement of media quality |
US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
US10942565B2 (en) * | 2018-12-17 | 2021-03-09 | Intel Corporation | Virtual reality adaptive display control |
-
2018
- 2018-12-27 KR KR1020207020004A patent/KR20200112832A/ko active Search and Examination
- 2018-12-27 US US16/963,895 patent/US11227519B2/en active Active
- 2018-12-27 EP EP18902217.1A patent/EP3748960A4/en active Pending
- 2018-12-27 JP JP2019567941A patent/JP7338476B2/ja active Active
- 2018-12-27 WO PCT/JP2018/048035 patent/WO2019146367A1/ja unknown
- 2018-12-27 CN CN201880087454.3A patent/CN111630847B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300451A (ja) * | 1992-04-22 | 1993-11-12 | Olympus Optical Co Ltd | 頭部装着式ディスプレイ装置 |
JPH1144862A (ja) * | 1997-07-28 | 1999-02-16 | Minolta Co Ltd | 映像観察装置 |
JP2008089934A (ja) * | 2006-09-29 | 2008-04-17 | Brother Ind Ltd | 画像表示装置及び同装置による画像の輝度調整方法 |
JP2010164782A (ja) * | 2009-01-15 | 2010-07-29 | Brother Ind Ltd | 画像表示装置 |
JP2014132305A (ja) * | 2013-01-07 | 2014-07-17 | Seiko Epson Corp | 表示装置、および、表示装置の制御方法 |
JP2016528533A (ja) * | 2013-06-27 | 2016-09-15 | コチ・ウニヴェルシテシKoc Universitesi | 眼鏡型画像表示装置 |
JP2017161759A (ja) * | 2016-03-10 | 2017-09-14 | 富士通株式会社 | 網膜投影型表示装置、画像表示方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111630847B (zh) | 2023-04-18 |
CN111630847A (zh) | 2020-09-04 |
JP7338476B2 (ja) | 2023-09-05 |
US20210035478A1 (en) | 2021-02-04 |
WO2019146367A1 (ja) | 2019-08-01 |
KR20200112832A (ko) | 2020-10-05 |
EP3748960A4 (en) | 2021-04-07 |
US11227519B2 (en) | 2022-01-18 |
EP3748960A1 (en) | 2020-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9711072B1 (en) | Display apparatus and method of displaying using focus and context displays | |
CN107533362B (zh) | 眼睛跟踪设备和用于操作眼睛跟踪设备的方法 | |
EP3228072B1 (en) | Virtual focus feedback | |
JP5828070B2 (ja) | 撮像装置および撮像方法 | |
CN110199517B (zh) | 在单个对准处具有自动剪辑的宽视野眼底相机 | |
US20210325649A1 (en) | System and method to automatically adjust illumination during a microsurgical procedure | |
US20130194244A1 (en) | Methods and apparatuses of eye adaptation support | |
WO2018100239A1 (en) | Imaging system and method of producing images for display apparatus | |
JP7302592B2 (ja) | 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法 | |
JP2016036390A (ja) | 情報処理装置、焦点検出方法、および焦点検出プログラム | |
JP7338476B2 (ja) | 映像投影装置、映像投影方法、映像表示光出力制御方法 | |
WO2015193953A1 (ja) | 画像表示装置及び光学デバイス | |
JP7099855B2 (ja) | 視標呈示装置 | |
JP7094268B2 (ja) | 眼底撮影装置 | |
US10928894B2 (en) | Eye tracking | |
JP4997083B2 (ja) | 眼底カメラ | |
JP7099854B2 (ja) | 視標呈示装置 | |
JP3109818B2 (ja) | 眼底カメラ | |
JP2022124778A (ja) | 電子機器 | |
KR20210127072A (ko) | 가상 영상 정렬 기능을 가진 양안 촬영 장치 | |
JP2005107460A (ja) | レンズフォーカスシステムおよび同方法 | |
JP2016111576A (ja) | 撮像装置 | |
JPH05341176A (ja) | 電子カメラのオートフォーカス装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230807 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7338476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |