JPWO2019146367A1 - 映像投影装置、映像投影方法、映像表示光出力制御方法 - Google Patents

映像投影装置、映像投影方法、映像表示光出力制御方法 Download PDF

Info

Publication number
JPWO2019146367A1
JPWO2019146367A1 JP2019567941A JP2019567941A JPWO2019146367A1 JP WO2019146367 A1 JPWO2019146367 A1 JP WO2019146367A1 JP 2019567941 A JP2019567941 A JP 2019567941A JP 2019567941 A JP2019567941 A JP 2019567941A JP WO2019146367 A1 JPWO2019146367 A1 JP WO2019146367A1
Authority
JP
Japan
Prior art keywords
pupil
display light
image display
image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019567941A
Other languages
English (en)
Other versions
JP7338476B2 (ja
Inventor
鉄平 今村
鉄平 今村
克之 阿久津
克之 阿久津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019146367A1 publication Critical patent/JPWO2019146367A1/ja
Application granted granted Critical
Publication of JP7338476B2 publication Critical patent/JP7338476B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

新たな映像投影技術を提供すること。本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得部と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、を備えている映像投影装置を提供する。また、本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程とを含む映像投影方法も提供する。

Description

本技術は、映像投影装置、映像投影方法、及び映像表示光出力制御方法に関する。より詳細には、映像表示光が瞳孔付近に集光されそして網膜に照射される映像投影装置及び映像投影方法、並びに、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を制御する映像表示光出力制御方法に関する。
近年、例えば現実の風景などの外界の光景に映像を重ねて表示する技術に注目が集まっている。当該技術は、拡張現実(AR)技術とも呼ばれる。この技術を利用した製品の一つとして、ヘッドマウントディスプレイが挙げられる。ヘッドマウントディスプレイは、ユーザの頭部に装着して使用される。ヘッドマウントディスプレイを用いた映像表示方法では、例えば外界からの光に加えてヘッドマウントディスプレイからの光がユーザの眼に照射されることで、外界の像に映像が重畳的に表示される。
例えば、下記特許文献1には、透過型映像表示装置に関する発明が記載されている。当該透過型映像表示装置は、映像を表示する映像表示部と、前記映像を使用者の眼に導く光学手段と、外光の透過率を可変し、前記使用者の眼に達する外光の光強度を調整する調光フィルタと、前記使用者の眼の瞳孔を撮像する瞳孔撮像手段と、前記瞳孔撮像手段からの撮像信号に基づいて前記瞳孔の瞳孔径を算出し、算出した瞳孔径の値に基づいて、前記調光フィルタの透過率と前記映像表示部の映像の光強度をそれぞれ調整する制御部と、を有する。
特開2017−97098号公報
AR技術への関心が高まるなかで、より良い映像投影技法が求められている。例えば、より鮮明な映像をユーザに提示すること、及び、より見やすい映像をユーザに提示することが求められている。
本技術は、新たな映像投影技術を提供することを目的とする。
本発明者らは、特定の構成を有する映像投影技術によって、ユーザにとって適切な明るさを有し且つ鮮明な映像を外界の風景に重畳して表示することができることを見出した。
すなわち、本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得部と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、
を備えている映像投影装置を提供する。
本技術の一つの実施態様に従い、前記出力制御部が、目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定するものであってよい。
本技術の一つの実施態様に従い、前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力が決定されうる。
本技術の一つの実施態様に従い、前記所定の関係が、
以下の式、
又は、
以下の式
(ここで、Lは目的とする映像表示光輝度であり、Cは調整係数であり、λは波長であり、Pは各波長での映像表示光出力であり、Kは各波長での視感度であり、ωは表示の見込み角であり、且つ、Aは瞳孔寸法又は瞳孔面積である)
で表される関係であってよい。
本技術の他の実施態様に従い、前記出力制御部が、前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させるものでありうる。
本技術の他の実施態様に従い、前記出力制御部が、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定しうる。
本技術の他の実施態様に従い、前記出力制御部が、前記映像表示光の出力を以下の式に基づき決定するものでありうる。
(ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである)
本技術の一つの実施態様に従い、前記出力制御部が、前記目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定しうる。
本技術の一つの実施態様に従い、前記瞳孔情報取得部が、前記瞳孔の位置情報を取得するものであり、且つ、前記瞳孔情報取得部が、当該位置情報に基づき、前記注視点を特定しうる。
本技術の一つの実施態様に従い、前記瞳孔情報取得部が、赤外光カメラを含みうる。
本技術の一つの実施態様に従い、本技術の映像投影装置は、注視点情報取得部をさらに備えており、当該注視点情報取得部が、前記注視点の明るさを取得しうる。
本技術の一つの実施態様に従い、本技術の映像投影装置は、前記出力制御部により制御された出力で網膜に映像表示光を照射する映像表示光照射部をさらに備えていてよい。
本技術の一つの実施態様に従い、前記映像表示光照射部が、網膜投影方式又は網膜走査方式で映像表示光を照射するものでありうる。
本技術の一つの実施態様に従い、前記映像表示光照射部が、レーザ光を照明光源としうる。
本技術の一つの実施態様に従い、本技術の映像投影装置は、ヘッドマウントディスプレイでありうる。
本技術の一つの実施態様に従い、本技術の映像投影装置は、アイウェアディスプレイでありうる。
本技術の一つの実施態様に従い、投影される映像が、外界の光景に重畳されているように表示されてよい。
また、本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程と
を含む映像投影方法を提供する。
また、本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
を含む映像表示光出力制御方法を提供する。
本技術により、適切な明るさを有し且つ鮮明である映像を外界の風景に重ねて表示することができる。なお、本技術により奏される効果は、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。
映像表示光を水晶体で屈折させて網膜上で結像させる映像投影技法を説明するための模式図である。 映像表示光を水晶体で屈折させて網膜上で結像させる映像投影技法を説明するための模式図である。 本技術において採用される映像投影方式を説明するための模式図である。 本技術において採用される映像投影方式を説明するための模式図である。 本技術に従う映像投影装置の一例のブロック図である。 本技術に従う映像投影方法のフローの一例を示す図である。 本技術に従う映像投影方法のフローの一例を示す図である。 本技術に従う映像表示光出力制御方法のフローの一例を示す図である。 本技術に従う映像表示光出力制御方法のフローの一例を示す図である。 本技術に従う映像投影装置の概略的な構成の一例を示す図である。 本技術に従う映像投影装置の具体的な構成例を示す図である。 本技術に従う映像投影装置の具体的な構成例を示す図である。 網膜走査方式の映像表示光照射部の一例を示す図である。 網膜投影方式の映像表示光照射部の一例を示す図である。
以下、本技術を実施するための好適な形態について説明する。なお、以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、本技術の範囲がこれらの実施形態に限定されることはない。なお、本技術の説明は以下の順序で行う。
1.第1の実施形態(映像投影装置)
(1)第1の実施形態の説明
(2)第1の実施形態の第1の例(映像投影装置)
(3)第1の実施形態の第2の例(出力制御部による映像表示光の出力制御)
(4)第1の実施形態の第3の例(出力制御部による映像表示光の出力変化)
2.第2の実施形態(映像投影方法)
(1)第2の実施形態の説明
(2)第2の実施形態の第1の例(映像投影方法)
(3)第2の実施形態の第2の例(映像投影方法)
3.第3の実施形態(映像表示光出力制御方法)
(1)第3の実施形態の説明
(2)第3の実施形態の第1の例(映像表示光出力制御方法)
(3)第3の実施形態の第2の例(映像表示光出力制御方法)
4.第4の実施形態(プログラム)
5.装置の構成例
1.第1の実施形態(映像投影装置)
(1)第1の実施形態の説明
本技術に従う映像投影装置は、瞳孔の面積又は寸法を取得する瞳孔情報取得部と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、を備えている。
本技術において、映像表示光は、瞳孔付近に集光されそして網膜に照射される。すなわち、本技術に従う映像投影装置は、いわゆるマクスウェル視で映像をユーザに提示する。本技術に従い、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を瞳孔の面積又は寸法に基づき制御することで、適切な明るさを有し且つ鮮明である映像を外界の風景に重畳することができる。
本技術において、映像表示光は瞳孔付近で集光されてよく、例えば瞳孔上で集光されてもよく又は光軸方向に瞳孔から数mm〜十数mm程度(例えば1mm〜20mm、特には2mm〜15mm)ずれてもよい。後者のとおり焦点が瞳孔上になくても、マックスウェル視を実現することができる。焦点を光軸方向にずらすことで、映像がずれても、ユーザが映像を失いにくくすることができる。前記映像表示光は、より具体的には、瞳孔上、水晶体レンズ内、又は、角膜表面と瞳孔との間において集光されうる。
一般的な映像投影技法では、映像表示光を水晶体で屈折させて網膜上で結像させるという方式を採用している。当該方式を説明する模式図の一例を図1に示す。図1に示されるとおり、ろうそくの像を形成する映像表示光は、ディスプレイ11によって照射され、光学系(レンズ)12によって屈折され、そして眼球14の水晶体レンズ13に到達する。当該映像表示光は、水晶体レンズ13によって屈折され、そして、網膜15上で結像する。例えば上記特許文献1に記載の装置も、当該方式を前提としている。
上記方式による映像投影装置の場合、例えば図2に示されるとおり、マイクロパネル21から照射された映像表示光は、レンズ22により屈折され、そして、径の大きな光、特には平行光として水晶体レンズ23に到達する。この方式による映像投影において、映像焦点は一点に固定されており、映像から水晶体レンズ23までの距離d1は固定されている。そこで、映像を鮮明に認識するためには、水晶体レンズ23の焦点距離を調整する必要がある。そのため、ユーザの水晶体レンズ23の状態によっては、映像を鮮明に見ることができない場合がある。
また、上記映像投影技法では、ユーザの瞳孔径によっても、ユーザが見る映像に変化が生じる。ユーザの瞳孔径は、水晶体レンズの焦点距離及び/又は注視の度合いによって変化する。上記映像投影技法では、ユーザの瞳孔径が変化すると、同じ映像表示光であっても、網膜に到達する光量が変化し、ユーザに提示される映像光強度も変化する。そのため、ユーザが認識する映像が安定しない。
一方、本技術では、映像表示光が水晶体レンズの中心を通過し、そして、網膜に照射されるという映像投影方式を採用している。当該方式を説明する模式図を図3に示す。図3に示されるとおり、ろうそくの像を形成する映像表示光33は、例えば光源31から出力されたバックライトによってディスプレイ32を照射することによって生成される。当該映像表示光33が、光学系(例えばレンズ)34によって、瞳孔付近に集光するように(例えば水晶体レンズの中心36を通るように)屈折される。レンズの中心を通る光は、レンズによって屈折されない。そのため、当該映像表示光は、水晶体レンズ35によって屈折されることなく、網膜38上に到達する。
本技術では、例えば図4に示されるとおり、映像表示光照射部41から照射された映像表示光は、光学系(例えばハーフミラー)42により反射され、そして、水晶体レンズ44に到達する。当該映像表示光は、瞳孔付近で集光し、すなわち水晶体レンズ44の中心43を通過する。そのため、当該映像表示光は、水晶体レンズ44によって屈折されずに、網膜45に到達する。その結果、水晶体レンズ44が焦点距離を調整することができなくても、ユーザが認識する映像の鮮明さは大きな影響を受けない。
また、本技術では、映像表示光は瞳孔付近の1点を通るので、瞳孔径が変化しても、網膜に到達する光量が変化しない。そのため、ユーザが認識する映像が安定する。
加えて、本技術において採用する方式では、どの焦点距離においても映像表示光が焦点を結ぶ。例えば、図4における、距離d2及びd3のいずれにおいても、映像表示光は焦点を結ぶ。
また、本技術において採用される映像投影方式では、上記のとおり、瞳孔径が変化しても、網膜に到達する光量が変化しない。例えば外界が明るくなった場合、瞳孔径が小さくなっても、網膜に到達する光量が変化しない。その結果、適切な映像表示光輝度が得られない場合がある。そこで、本技術では、映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する。その結果、瞳孔の面積又は寸法に基づき映像表示光輝度が制御されるので、適切な輝度を有する映像をユーザに提示することが可能である。
(2)第1の実施形態の第1の例(映像投影装置)
以下で、本技術に従う映像投影装置の例及び当該映像投影装置における映像表示光の出力制御の例を、図5を参照しながら説明する。図5は、本技術に従う映像投影装置の一例のブロック図である。
図5に示されるとおり、映像投影装置100は、瞳孔情報取得部101、注視点情報取得部102、制御部110、及び映像表示光照射部104を備えている。制御部110は、出力制御部103及び映像制御部111を含む。映像投影装置100はさらに、通信インタフェース113及び記憶部114を備えている。
映像投影装置100は、映像表示光を瞳孔付近で集光しそして網膜に照射することで、ユーザに映像を提示する装置である。例えば、本技術の映像投影装置として、例えばアイウェアディスプレイ及びヘッドマウントディスプレイを挙げることができるが、これらに限定されない。又は、本技術の映像投影装置は、メガネに装着して用いられるものであってもよい。本技術の映像投影装置により投影される映像は、例えば外界の光景に重畳されているように表示されてよい。又は、本技術の映像投影装置により投影される映像は、他の映像投影装置により投影される映像に重畳されているように表示されてもよい。
瞳孔情報取得部101は、瞳孔情報、例えば瞳孔の面積、寸法、位置、及び形状など、を取得しうる。瞳孔情報取得部は、このような情報を取得できるものであればよく、当業者により適宜選択されてよい。例えば、瞳孔情報取得部101は、眼球表面を撮像できるように構成された撮像素子を含みうる。
瞳孔情報取得部101は、例えばIR(赤外線)光源とIRカメラとの組合せを含みうる。IR光源は、赤外線をユーザの眼球表面に照射するように配置されうる。IRカメラは、赤外線が照射された眼球表面を撮像することができるように配置されうる。IR光源とIRカメラとの組合せを用いることで、外界の風景からの光に対する影響を抑制しつつ、瞳孔情報を取得することができる。また、明るい場所だけでなく、暗い場所においても、瞳孔情報を正確に取得することができる。
瞳孔情報取得部は、例えばCCD又はCMOSなどの撮像素子を含んでもよい。これらの撮像素子によっても、瞳孔情報を取得することができる。
瞳孔情報取得部101は、撮像された瞳孔の画像に基づき、瞳孔情報、例えば瞳孔の面積、寸法、位置、及び形状などを取得しうる。瞳孔情報は、撮像された画像に対して画像処理を行うことにより取得されてよい。
例えば瞳孔面積は、瞳孔部分に対応する画素数をカウントすることにより取得されてよい。
例えば瞳孔寸法(例えば直径又は外周長など)は、例えば撮像された画像に基づき決定されうる。また、決定された瞳孔寸法に基づき、瞳孔面積が算出されてもよい。
注視点情報取得部102は、本技術に従う映像投影装置のユーザの注視点に関する情報を取得しうる。注視点情報として、例えば、ユーザの注視点の位置及び当該位置における明るさを挙げることができる。
注視点情報取得部102は、ユーザの注視点に関する情報を取得することができる構成要素を含みうる。当該構成要素として、例えば撮像素子を挙げることができる。撮像素子は、例えばCCD又はCMOSでありうる。当該撮像素子によって、注視点を含む外界風景を撮像し、得られた画像データから、目的とする注視点情報が抽出されうる。
注視点の位置は、当業者に既知の手法により取得されてよい。例えば、前記瞳孔情報取得部101により取得された瞳孔の位置情報から、各眼球の視線方向を決定することができる。例えば右目の瞳孔が正面を向いているときよりも内寄りに1mmズレた位置にいる場合、眼球の半径を12mmとすると、視線方向は、正面方向に対してatan(1/12)≒4.8deg内向きの角度を形成する。左目の瞳孔についても同様に、視線方向の正面方向に対して形成する角度を計算する。計算された両目の視線方向に基づき、三角測量的に注視点の位置を決定することができる。
また、前記瞳孔情報取得部101が片方の眼の瞳孔情報のみを取得することができる構成の場合、例えば眼球の動きに基づき注視点の位置を推定することによって、注視点の位置が取得されてもよい。当該推定の方法として、当業者に既知の技法が用いられてよい。
なお、注視点の位置は、瞳孔情報取得部により取得されてもよい。
注視点の位置における明るさは、注視点情報取得部102により撮像された画像中の注視点の位置における画像情報から取得することができる。例えば、注視点情報取得部102に含まれる撮像素子が、外界風景を撮像し、当該撮像素子によって撮像された画像中の当該注視点の位置における画像データから、当該注視点の位置における明るさに関するデータが取得されうる。
注視点の明るさは、例えば外界に向けられた照度センサによって取得されてもよく、又は、注視点の明るさは、観察者の瞳孔径に基づき推定又は算出されてもよい。注視点の明るさは、例えば映画に字幕の映像を重畳する場合など、別の映像光へ本技術に従い映像を重畳する場合には、当該別の映像光の明るさに基づき注視点の明るさが取得されてもよい。
制御部110は、例えば映像表示光の出力を制御する出力制御部103及び表示されるべき映像を制御する映像制御部111を含みうる。
出力制御部103は、例えば瞳孔情報取得部101により取得された瞳孔情報に基づき、映像表示光の出力を制御する。映像表示光は、瞳孔付近で集光されそして網膜に照射されるものである。
当該出力の制御において、注視点情報取得部102により取得された注視点情報が参照されてもよい。例えば、注視点情報として注視点の明るさと当該明るさに対するコントラストとが用いられうる。すなわち、一つの実施態様において、出力制御部103は、目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定しうる。
出力制御部103による映像表示光の出力制御の例は、以下「(3)第1の実施形態の第2の例(出力制御部による映像表示光の出力制御)」及び「(4)第1の実施形態の第3の例(出力制御部による映像表示光の出力変化)」にて詳述する。
映像制御部111は、記憶部114に格納されている映像データ又は通信インタフェース113を介して映像データを取得しうる。映像制御部111は、当該映像データに基づき、映像表示光照射部104に映像表示光を出力させうる。当該映像表示光の出力が、本技術の映像投影装置100において、出力制御部103により制御される。
映像表示光照射部104は、制御部110、特には出力制御部103により制御された出力で映像表示光を網膜に照射する。映像表示光は、マクスウェル視によりユーザに映像を提示することができるものであればよい。例えば、映像表示光として、レーザ光を挙げることができる。また、映像表示光は、LED又はCRTにより照射される光であってもよい。
映像表示光照射部104により照射される映像表示光のビーム直径は、瞳孔径を考慮して決定又は調節されてよい。当該ビーム直径は、例えば5mm以下、好ましくは3mm以下、より好ましくは2mm以下、さらにより好ましくは0.7mm以下でありうる。
映像表示光照射部104は、映像表示光照射部104により照射された映像表示光を、瞳孔を通じて網膜に到達させるための光学系を含みうる。光学系は、例えば映像投影装置100の構造及び/又は映像表示光の照射方式によって当業者により適宜設定されてよい。
映像表示光照射部104は、マクスウェル視での映像表示光の照射を、例えば網膜走査方式又は網膜投影方式で行いうる。これらの方式により映像表示光を照射するための映像表示光照射装置は、当業者に知られている。本技術において、当業者に既知の映像表示光照射装置が用いられてよい。
網膜走査方式の映像表示光照射部の一例を、図13を参照して以下で説明する。図13は、網膜走査方式の映像表示光照射部1300の構成を表す模式図である。
図13に示されるとおり、光源部1301からレーザ光1302が出力される。レーザ光1302は、例えば赤、緑、及び青のレーザ光からなる1本の光束として出力されうる。出力されたレーザ光1302は、光走査部1303によって、二次元的に走査されうる。当該走査されたレーザ光1302は、接眼光学系(例えばハーフミラー)1304に向かって拡がりうる。拡がったレーザ光1302の方向が、接眼光学系1304によって、ユーザの瞳孔1305上で集光するように変更する。入射する際の入射角を高速に変化させることで、網膜1306上に映像が表示される。網膜走査方式の映像表示光照射部の構成としては、当業者に既知の構成が採用されてよい。例えば、光走査部1303の構成要素の一つとしてMEMSミラーを採用することで、レーザ光の方向を、網膜上に映像が形成されるように、高速に移動させることができる。
網膜投影方式の映像表示光照射部の一例を、図14を参照して以下で説明する。図14は、網膜投影方式の映像表示光照射部1400の構成を表す模式図である。
図14に示されるとおり、ディスプレイ(例えば液晶表示素子)1401から出力された平行光が、レンズ1402によって屈折される。屈折された光のうち、光学フィルタ1403によって所望の光のみを、レンズ1404へと進行させる。レンズ1404を通過した光が、接眼光学系1405によって、ユーザの瞳孔1406上で集光するように進行する。その結果、網膜1407上に映像が表示される。
通信インタフェース113は、映像投影装置100の外部から映像データを取得するために用いられうる。例えば、映像投影装置100は、通信インタフェース113を介して、映像投影装置100以外の装置又は通信ネットワークから、有線又は無線で映像データを取得しうる。通信インタフェース113として、当業者に既知の手段が用いられてよい。
記憶部114は、本技術の装置がユーザに提示する映像を形成するための映像データを格納しうる。記憶部114は、例えば通信インタフェース113により取得された映像データを一時的に格納してもよく、又は、恒常的に映像投影装置100に保持されるべき映像データを格納してもよい。記憶部114として、当業者に既知の手段が用いられてよい。
(3)第1の実施形態の第2の例(出力制御部による映像表示光の出力制御)
本技術の一つの実施態様に従い、出力制御部103は、例えば目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定しうる。これにより、適切な明るさの映像をユーザに提示することができる。当該目的とする映像表示光輝度は、例えば提示されるべき映像をユーザが視認可能な程度の輝度であってよく、好ましくは提示されるべき映像を外界の風景からユーザが区別することができる程度の輝度であってよく、より好ましくは外界の風景の明るさに対して適切なコントラストを有する映像が提示される可能とする輝度でありうる。
例えば、出力制御部103は、前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力を決定する。当該所定の関係を満たすように映像表示光の出力を制御することで、より適切な明るさで映像がユーザに提示される。
前記映像表示光の出力は、例えば各波長における映像表示光の出力と各波長における視感度との積の総和又は積分でありうる。当該総和又は積分を前記瞳孔の面積又は寸法で除した値が映像表示光輝度との間で所定の関係を満たすように、映像表示光の出力は調整されてよい。例えば当該総和又は積分を前記瞳孔の面積又は寸法で除した値が映像表示光輝度と等しくなるように、若しくは、当該総和又は積分を前記瞳孔の面積又は寸法で除した値に所定の調整係数を乗じた値が映像表示光輝度と等しくなるように、映像表示光の出力は調整されうる。このように、映像表示光の出力を調整することで、好ましい明るさの映像をユーザに提示することができる。
前記所定の関係を満たすように映像表示光の出力を調整することは、当業者に既知の手段を用いて行われてよい。
前記所定の関係は、
例えば以下の式、

又は、
以下の式

(ここで、L[cd/m]は目的とする映像表示光輝度であり、Cは調整係数であり、λ[nm]は波長であり、P[W]は各波長での映像表示光出力であり、Kは各波長での視感度であり、ω[str]は表示の見込み角であり、A[m又はm]は瞳孔寸法又は瞳孔面積である)
で表される関係である。
上記式において、L[cd/m]は、目的とする映像表示光輝度である。当該目的とする映像表示光輝度は、例えば外界の風景及び/又はユーザに提示されるべき映像によって、適宜設定されてよい。前記目的とする映像表示光輝度は、例えば注視点情報取得部102により取得された注視点情報に基づき設定されうる。具体的には、前記目的とする映像表示光輝度は、例えばユーザの注視点の位置における明るさに基づき設定されてよく、より好ましくは当該明るさに対して必要なコントラストを与えるのに必要な輝度が、映像表示光輝度として採用されうる。当該コントラストは、例えば外界の風景及び/又はユーザに提示されるべき映像によって、適宜設定されてよい。注視点の明るさ:映像表示光輝度のコントラストは例えば、1:1〜1:50、1:1〜1:30、1:1〜1:20、又は1:1〜1:10でありうる。例えば注視点の明るさが100cd/mであり且つ1:10のコントラストが必要な場合は、映像表示光輝度は、1000cd/mである。
上記式において、Cは例えば1であってよい。すなわち、調整係数による調整が行われなくてもよい。又は、本技術の装置の構成要素に応じて、Cとして1以外の値が用いられてもよい。具体的には、本技術の装置の構成要素の有する光学的な特性に基づく調整係数がCとして用いられてよい。より具体的には、本技術の装置において、外界の風景からの光がガラスを通じてユーザに到達する場合(具体的には、外界の風景からの光が、メガネのガラスを透過してユーザに到達する場合)、当該ガラスの透過率(すなわち、重畳される外界風景の明るさの減衰率)に基づく値がCとして採用されてよい。当該透過率自体がCとして採用されてもよい。代替的には、本技術の装置において、映像表示光が光学系を介してユーザの眼に到達する場合、当該光学系の効率に基づく値がCとして採用されてよい。当該光学系の効率自体がCとして採用されてもよい。本技術において、前記ガラスの透過率及び光学系の効率の両方に基づく値がCとして採用されてもよい。
上記式において、λは映像表示光に含まれる光の波長でありうる。すなわち、映像表示光の出力と視感度との積を当該光の波長の範囲にわたって足し合わせた値(総和)又は当該積を当該光の波長の範囲について積分して得られた値が、上記式において利用される。
上記式において、Pは各波長での映像表示光出力であり、且つ、Kは各波長での視感度である。映像表示光は通常は種々の波長の光を含むので、各波長の映像表示光出力及び視感度の積についての積分又は総和を利用することが好ましい。
上記式において、ωは表示の見込み角である。すなわち、ωは、瞳孔付近で集光されそして網膜に照射される映像表示光の、瞳孔付近の集光点に対する立体角である。
上記式において、Aは瞳孔寸法又は瞳孔面積である。
上記特許文献1に記載の透過型映像表示装置は、ユーザの瞳孔径の値に基づき、調光フィルタの透過率及び映像の光強度を調整する。より具体的には、当該瞳孔径の値から、外界の照度を推定し、映像が当該照度に対して適切なコントラストを有するように、調光フィルタの透過率及び映像の光強度が調整される。例えば、外光照度が10倍になった場合は、ユーザに提示される映像の明るさを10倍にするか、外光を減じる調光フィルタの透過率を1/10にするか、又は映像の明るさ及び調光フィルタの透過率を同時に調整することにより、目に入る外光と映像光の照度比が一定に保たれる。
しかしながら、上記特許文献1に記載の透過型映像表示装置は、映像表示光を水晶体で屈折させて網膜上で結像させるという方式を前提としたものである。すなわち、上記特許文献1に記載の上記調整は、外光の網膜への到達量及び映像光の網膜への到達量いずれもが瞳孔面積の変化に応じて変化することを前提としたものである。上記特許文献1に記載の調整は、マクスウェル視に基づく映像投影装置には適用できない。例えば、外界の照度が10倍になり、それに応じて瞳孔面積が0.4倍になったときには、外界から網膜に照射される光の強度は10x0.4=4倍となるのに対し、映像表示光の強度は瞳孔面積に影響されない。したがって、外光照度の変化に応じて、映像表示光の強度を10倍にした場合、強度比は10/4=2.5倍となり、外光に対して明るすぎる映像をユーザに提示することになってしまう。
本技術に従い映像表示光の出力を調整することによって、外光に対して明るすぎる映像をユーザに提示することを防ぐことができる。
(4)第1の実施形態の第3の例(出力制御部による映像表示光の出力変化)
本技術の他の実施態様に従い、出力制御部103は、例えば前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させる。これにより、外界の風景の変化に応じて、映像表示光の出力を適切な明るさに変更することができる。前記変化後の映像表示光の出力は、例えば提示されるべき映像をユーザが視認可能な程度の輝度をもたらす出力であってよく、好ましくは提示されるべき映像を外界の風景からユーザが区別することができる程度の輝度をもたらす出力であってよく、より好ましくは外界の風景の明るさに対して適切なコントラストを有する映像が提示される可能とする輝度をもたらす出力でありうる。
例えば、出力制御部103は、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、且つ、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定する。このように映像表示光の出力が決定されることで、外界の風景の変化に応じて、映像の明るさをユーザにとって適切な明るさに変化させることができる。
例えば外界風景が変化した場合、変化前後の外光照度の比、変化前後の外光コントラストの比、及び変化前後の瞳孔の面積又は寸法の比のうちから選ばれる少なくとも一つの比(又は二つ若しくは三つ)に基づき設定された映像表示光輝度を達成するように、前記映像表示光の出力は制御される。このように、映像表示光の出力を調整することで、外界風景が変化しても、好ましい明るさの映像をユーザに提示することができる。
前記映像表示光輝度は、例えば以下の式に基づき設定されうる。

(ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである)
外光照度E1及びE0は、例えば注視点情報取得部102により取得されうる。より特には、注視点情報取得部102において取得された注視点の位置での外光照度が、上記式において用いられうる。外光照度は、外界風景からの光の照度のみに限られず、例えばメガネなどを介してユーザの目に入る映像光の照度などであってもよい。
外光コントラストC1及びC0は、例えば当業者により又はユーザにより適宜設定されてよい。例えば、外光コントラストは、注視点の明るさ:映像表示光輝度が1:1〜1:50、1:1〜1:30、1:1〜1:20、又は1:1〜1:10を満たすようなコントラストでありうる。例えば注視点の位置での外光照度(明るさ)に対して10倍の明るさの映像表示光輝度が求められる場合、外光コントラストの値は10でありうる。
瞳孔の面積又は寸法A1及びA0は、本明細書内上記で述べたとおりの手法により取得されうる。
出力制御部103は、上記式に従い決定された映像表示光輝度L1を達成するように、映像表示光出力を変更しうる。映像表示光輝度は、例えば上記「(3)第1の実施形態の第2の例(出力制御部による映像表示光の出力制御)」において述べたとおりの所定の関係を満たすように映像表示光出力を制御することで、達成されてよい。
本技術に従う映像投影装置により照射される映像表示光は瞳孔によってその光量が減少されないので、外光が例えば10倍明るくなった場合に、映像表示光を10倍明るくする必要がなく、より低い倍率で明るくすればよい。そのため、外光照度が高い環境下において、低消費電力で高いコントラストを有する映像をユーザに提示することができる。
また、本技術に従う映像投影装置を用いた場合、例えば外光照度が変化した場合、外光照度の変化率及び当該変化に伴う瞳孔面積の変化率を、変化前の輝度に乗ずることで、変化後の外光照度に適した輝度が設定され、当該輝度を達成するように映像表示光の出力が制御される。一方で、例えば非マクスウェル視の映像投影装置では、外光照度が変化した場合、変化前と同じコントラストを保とうとしたとき、外光照度の変化率と同じ変化率で映像表示光の輝度を変えなければならない。そのため、本技術に従う映像投影装置では、外光照度が高くなった場合に、輝度を上げる率がより低くなる。
より具体的には、非マクスウェル視の映像投影装置では、外光照度Bは瞳孔径dに対して、B∝exp(−d)又はB∝d−1/2などであり、すなわちBはexp(−d)又はd−1/2に比例する。非マクスウェル視の映像投影装置では、異なる外光照度の環境下で同一のコントラストを保つには、映像表示光もこれらの変化率に従う必要がある。例えばBがexp(−d)に比例するとした場合、映像表示光も同様にexp(−d)に比例する。一方で、本技術に従う映像投影装置では、映像表示光の輝度は、外光照度に瞳孔面積を乗じたexp(−d)*dに比例する。すなわち、瞳孔径が4mmから2mmに変化した場合、消費電力の増加は、非マクスウェル視の映像投影装置と比べて1/4である。
2.第2の実施形態(映像投影方法)
(1)第2の実施形態の説明
本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程とを含む映像投影方法を提供する。
本技術に従う映像投影方法によって、適切な明るさを有し且つ鮮明である映像を外界の風景に重畳することができる。
(2)第2の実施形態の第1の例(映像投影方法)
以下では、本技術に従う映像投影方法の例を、図5及び6を参照しながら説明する。図5は、上記「1.第1の実施形態(映像投影装置)」において説明したとおりである。図6は、本技術に従う映像投影方法のフローの一例を示す図である。本例における映像投影方法では、例えば外界の風景に重畳するのに適した明るさで映像表示光がマクスウェル視でユーザに提示される。
ステップS101において、映像投影装置100は、本技術に従う映像投影処理を開始する。
ステップS102において、映像投影装置100は瞳孔情報を取得する。当該瞳孔情報は、映像投影装置100のうち、特には瞳孔情報取得部101により取得されうる。取得される瞳孔情報は、例えば瞳孔の面積、寸法、位置、及び形状などでありうる。
例えば瞳孔情報取得部101がIR(赤外線)光源とIRカメラとの組合せを含む場合、ステップS102において、瞳孔情報取得部101が赤外線を眼球表面に照射し、当該赤外線が照射された眼球表面を撮像する。撮像された画像から、瞳孔情報取得部101が瞳孔情報を取得する。
ステップS103において、映像投影装置100は、注視点情報を取得する。当該注視点情報は、映像投影装置100のうち、特には注視点情報取得部102により取得されうる。取得される注視点情報として、例えばユーザの注視点の位置及び当該位置における明るさを挙げることができる。
例えば注視点情報取得部102は、瞳孔情報取得部101により取得された瞳孔の位置に基づき注視点の位置を取得する。注視点の位置は、例えば両目の瞳孔の位置に基づき三角測量的に決定されてよく、又は、単眼の瞳孔の動きに基づき推定されてもよい。注視点の位置を決定又は推定するための方法として、当業者に既知の技法が用いられてよい。
注視点情報取得部102は、前記取得された注視点の位置における明るさを取得する。例えば、注視点情報取得部102は、注視点情報取得部102に含まれる撮像素子によって撮像された画像中における、前記取得された注視点の位置に対応する画素又は画素ブロックを特定する。注視点情報取得部102は、当該特定された画素又は画素ブロックにおける画像データから、注視点における明るさに関するデータを取得する。
ステップS104において、映像投影装置100は、映像表示光の出力を制御する。当該映像表示光の出力の制御は、映像投影装置100のうち、特には出力制御部103により行われうる。出力制御部103は、瞳孔情報取得部101により取得された瞳孔情報に基づき、映像表示光の出力を制御する。当該制御は、例えば上記「(3)第1の実施形態の第2の例(出力制御部による映像表示光の出力制御)」において述べたとおりに行われうる。
ステップS105において、映像投影装置100は、ステップS104において制御された出力で映像表示光を出力する。当該出力は、映像投影装置100のうち、特には映像表示光照射部104により行われうる。映像表示光照射部104は、マクスウェル視によりユーザに映像を提示する。映像表示光として、レーザ光を挙げることができる。また、映像表示光は、LED又はCRTにより照射される光であってもよい。
ステップS106において、映像投影装置100は、本技術に従う映像投影処理を終了する。
(3)第2の実施形態の第2の例(映像投影方法)
以下では、本技術に従う映像投影方法の例を、図5及び7を参照しながら説明する。図5は、上記「1.第1の実施形態(映像投影装置)」において説明したとおりである。図7は、本技術に従う映像投影方法のフローの一例を示す図である。本例における映像投影方法では、例えば既に映像表示光がマクスウェル視によりユーザに対して照射されている状態において、当該映像表示光の出力の変更が行われる。
ステップS201において、映像投影装置100は、本技術に従う映像投影処理を開始する。
ステップS202において、映像投影装置100は瞳孔情報及び/又は注視点情報の監視を行う。例えば、映像投影装置100から映像表示光がマクスウェル視でユーザに照射されている場合に、当該監視が行われうる。瞳孔情報の監視は、映像投影装置100のうち、特には瞳孔情報取得部101及び/又は制御部110により行われうる。注視点情報の監視は、映像投影装置100のうち、特には注視点情報取得部102及び/又は制御部110により行われうる。
ステップS203において、映像投影装置100は、瞳孔情報又は注視点情報に変化があるかどうかを判定する。当該変化の有無の判定は、映像投影装置100のうち、特には出力制御部103により行われうる。瞳孔情報の変化の例として、例えば瞳孔の面積又は寸法の増加又は減少を挙げることができる。注視点情報の変化の例として、例えば注視点の位置の移動、注視点での外光照度(特には明るさ)の増加又は減少、及び注視点での外光照度に適した外光コントラストの変化を挙げることができる。
映像投影装置100は、瞳孔情報及び/又は注視点情報に変化が生じた場合に、処理をステップS204に進める。
映像投影装置100は、瞳孔情報及び/又は注視点情報に変化が生じない場合は、処理をS202に戻し、監視工程S202を継続する。
ステップS203において、所定の条件を満たした場合、例えば瞳孔情報及び/又は注視点情報の変化が所定の閾値を超えた場合に、瞳孔情報又は注視点情報に変化が有ったと判断されてもよい。
より具体的には、ステップS203において、出力制御部103は、瞳孔の面積又は寸法が、或る時点での面積又は寸法に対して例えば1.1倍以上、1.2倍以上、1.3倍以上、1.4倍以上、1.5倍以上、1.6倍以上、1.7倍以上、1.8倍以上、1.9倍以上、又は2.0倍以上になった場合に、瞳孔の面積又は寸法が増加したと判定し、処理をステップS204に進めうる。また、ステップS203において、出力制御部103は、瞳孔の面積又は寸法が、或る時点での面積又は寸法に対して例えば0.9倍以下、0.8倍以下、0.7倍以下、0.6倍以下、又は0.5倍以下になった場合に、瞳孔の面積又は寸法が減少したと判定し、処理をステップS204に進めうる。
代替的には、ステップS203において、出力制御部103は、注視点の位置が、或る時点において注視されている物体から、他の物体へと移動した場合に、注視点の位置の変化が有ったとして、処理をステップS204に進めうる。注視点の位置の変化は、例えば注視点又は注視点付近での、画像情報の変化(例えば明るさの変化など)に基づき検出されうる。
代替的には、ステップS203において、出力制御部103は、注視点における明るさ(例えば外光照度)が或る時点での明るさに対して例えば1.1倍以上、1.2倍以上、1.3倍以上、1.4倍以上、1.5倍以上、1.6倍以上、1.7倍以上、1.8倍以上、1.9倍以上、又は2.0倍以上になった場合に、注視点における明るさの増加が有ったと判定し、処理をステップS204に進めうる。また、ステップS203において、出力制御部103は、注視点における明るさ(例えば外光照度)が或る時点での明るさに対して例えば0.9倍以下、0.8倍以下倍以上、0.7倍以下、0.6倍以下、又は0.5倍以下になった場合に、注視点における明るさの減少が有ったと判定し、処理をステップS204に進めうる。
代替的には、ステップS203において、出力制御部103は、ユーザに提示される映像と当該映像が重畳される光景との適切なコントラスト、特には外光コントラストが変化された場合に、注視点におけるコントラストの変化が有ったと判定し、処理をステップS204に進めうる。
ステップS204において、映像投影装置100は、映像表示光の出力を制御する。当該映像表示光の出力の制御は、映像投影装置100のうち、特には出力制御部103により行われうる。出力制御部103は、瞳孔情報取得部101により取得された瞳孔情報及び/又は注視点情報取得部102により取得された注視点情報に基づき、映像表示光の出力を変更する。当該制御は、例えば上記「(4)第1の実施形態の第3の例(出力制御部による映像表示光の出力変化)」において述べたとおりに行われうる。
ステップS205において、映像投影装置100は、ステップS204において制御された出力で映像表示光を出力する。当該出力は、映像投影装置100のうち、特には映像表示光照射部104により行われうる。映像表示光照射部104は、マクスウェル視によりユーザに映像を提示する。映像表示光として、レーザ光を挙げることができる。また、映像表示光は、LED又はCRTにより照射される光であってもよい。
ステップS206において、映像投影装置100は、本技術に従う映像投影処理を終了する。
3.第3の実施形態(映像表示光出力制御方法)
(1)第3の実施形態の説明
本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、を含む映像表示光出力制御方法を提供する。
本技術に従う映像表示光出力制御方法によって、マクスウェル視でユーザに提示される映像表示光を、適切な明るさに制御することができる。
(2)第3の実施形態の第1の例(映像表示光出力制御方法)
以下では、本技術に従う映像表示光出力制御方法の例を、図5及び8を参照しながら説明する。図5は、上記「1.第1の実施形態(映像投影装置)」において説明したとおりである。図8は、本技術に従う映像表示光出力制御方法のフローの一例を示す図である。本例における映像表示光出力制御方法では、例えばマクスウェル視でユーザに提示される映像表示光の明るさが、外界の風景に重畳するのに適したものとされる。
ステップS301〜S305は、上記2.の「(2)第2の実施形態の第1の例(映像投影方法)」において説明したステップS101〜S104及びS106と同じである。すなわち、本例における映像表示光出力制御方法は、上記2.の「(2)第2の実施形態の第1の例(映像投影方法)」において説明した映像投影方法のうちから、出力工程を除いた方法である。そのため、ステップS301〜S305についての説明は省略する。
(3)第3の実施形態の第2の例(映像表示光出力制御方法)
以下では、本技術に従う映像表示光出力制御方法の例を、図5及び9を参照しながら説明する。図5は、上記「1.第1の実施形態(映像投影装置)」において説明したとおりである。図9は、本技術に従う映像表示光出力制御方法のフローの一例を示す図である。本例における映像表示光出力制御方法では、例えば既に映像表示光がマクスウェル視によりユーザに対して照射されている状態において、当該映像表示光の出力の変更が行われる。
ステップS401〜S405は、上記2.の「(3)第2の実施形態の第2の例(映像投影方法)」において説明したステップS201〜S204及びS206と同じである。すなわち、本例における映像表示光出力制御方法は、上記2.の「(3)第2の実施形態の第2の例(映像投影方法)」において説明した映像表示光出力制御方法のうちから、出力工程を除いた方法である。そのため、ステップS401〜S405についての説明は省略する。
4.第4の実施形態(プログラム)
本技術は、映像投影用プログラムも提供する。当該映像投影用プログラムは、本技術に従う映像投影方法をコンピュータに実行させるためのものである。例えば、本技術に従う映像投影用プログラムは、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程とをコンピュータに実行させるためのものであってよい。これらの工程は、上記「2.第2の実施形態(映像投影方法)」において説明されたとおりであるので、これらの工程についての説明は省略する。
また、本技術は、映像表示光出力制御用プログラムも提供する。当該映像表示光出力制御用プログラムは、本技術に従う映像表示光出力制御方法をコンピュータに実行させるためのものである。例えば、本技術に従う映像表示光出力制御用プログラムは、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程とをコンピュータに実行させるためのものであってよい。これらの工程は、上記「2.第2の実施形態(映像投影方法)」において説明されたとおりであるので、これらの工程についての説明は省略する。
5.装置の構成例
以下で、図10を参照しながら、本技術に従う映像投影装置の構成の一例を説明する。図10は、本技術に従う映像投影装置の概略的な構成の一例を示す図である。
図10に示される映像投影装置1000は、CPU(中央演算処理装置)1002及びRAM1003を備えている。CPU1002及びRAM1003は、バス1005を介して相互に接続されており、また、映像投影装置1000の他の構成要素ともバス1005を介して接続されている。
CPU1002は、映像投影装置1000の制御及び演算を行う。CPU1002として、任意のプロセッサを用いることができ、その例としてXeon(登録商標)シリーズ、Core(商標)シリーズ、又はAtom(商標)シリーズのプロセッサを挙げることができる。図5を参照して説明した映像投影装置100の制御部110は例えばCPU1002により実現されうる。
RAM1003は、例えばキャッシュ・メモリ及びメイン・メモリを含み、CPU1002により使用されるプログラムなどを一時記憶しうる。
映像投影装置1000は、ディスク1004、通信装置1006、映像表示光出力装置1007、及びドライブ1008を備えていてもよい。これらの構成要素はいずれもバス1005に接続されうる。
ディスク1004には、オペレーティング・システム(例えば、WINDOWS(登録商標)、UNIX(登録商標)、又はLINUX(登録商標)など)、本技術に従う映像投影処理用プログラム、映像表示光出力制御用プログラム、及び他の種々のプログラム、並びに各種データ(例えば映像データ)が格納されうる。
通信装置1006は、映像投影装置1000をネットワーク1010に有線又は無線で接続する。通信装置1006は、映像投影装置1000を、ネットワーク1010を介して各種データ(例えば映像データなど)を取得することができる。取得したデータは、例えばディスク1004に格納されうる。通信装置1006の種類は当業者により適宜選択されてよい。
映像表示光出力装置1007は、本技術に従い制御された映像表示光を出力しうる。
ドライブ1008は、記録媒体に記録されている情報を読み出して、RAM1003に出力することができる。記録媒体は、例えば、SDメモリカード又はフラッシュメモリであるが、これらに限定されない。
本技術に従う映像投影装置のより具体的な例を図11及び12を参照しながら以下で説明する。図11及び12は、当該例を示す図である。
図11に示される本技術の映像投影装置は、アイウェアディスプレイ2000である。アイウェアディスプレイ2000において、瞳孔情報取得部は、IR光源2002及びIRカメラ2003の組み合わせを含む。IR光源2002は例えば、図12に示されるように、赤外光を眼球に向けて照射する。当該赤外光が照射された状態で、IRカメラ2003により眼球を撮像することによって、瞳孔情報が取得される。注視点情報取得部は、撮像素子2004を含む。撮像素子2004は、眼球が向いている方向を撮像できるように構成されている。出力制御部及び映像表示光照射部は、筐体2001中の情報処理装置の一部として構成されていてよい。当該情報処理装置にはさらに、インタフェース、記憶部、制御部、及び映像制御部が含まれていてよい。
映像表示光照射部によって、出力制御部による制御下で、映像表示光がハーフミラー2005に照射される。ハーフミラーに照射された映像表示光が、瞳孔2006上で集光し、そして、網膜2007に到達する。このようにして、本技術に従う映像投影装置によって、映像がユーザに提示される。
なお、本技術は、以下のような構成をとることもできる。
〔1〕瞳孔の面積又は寸法を取得する瞳孔情報取得部と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、
を備えている映像投影装置。
〔2〕前記出力制御部が、目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定する、〔1〕に記載の映像投影装置。
〔3〕前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力が決定される、〔2〕に記載の映像投影装置。
〔4〕前記所定の関係が、
以下の式、
又は、
以下の式
で表される関係である、
(ここで、Lは目的とする映像表示光輝度であり、Cは調整係数であり、λは波長であり、Pは各波長での映像表示光出力であり、Kは各波長での視感度であり、ωは表示の見込み角であり、且つ、Aは瞳孔寸法又は瞳孔面積である)
〔3〕に記載の映像投影装置。
〔5〕前記出力制御部が、前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させる、〔1〕に記載の映像投影装置。
〔6〕前記出力制御部が、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定する、〔5〕に記載の映像投影装置。
〔7〕前記出力制御部が、以下の式に基づき決定された映像表示光輝度を与えるように前記映像表示光の出力を制御する、

(ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである)
〔5〕又は〔6〕に記載の映像投影装置。
〔8〕前記出力制御部が、前記目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定する、〔2〕〜〔7〕のいずれか一つに記載の映像投影装置。
〔9〕前記瞳孔情報取得部が、前記瞳孔の位置情報を取得するものであり、且つ、前記瞳孔情報取得部が、当該位置情報に基づき、前記注視点を特定する、〔8〕に記載の映像投影装置。
〔10〕前記瞳孔情報取得部が、赤外光カメラを含む、〔9〕に記載の映像投影装置。
〔11〕注視点情報取得部をさらに備えており、当該注視点情報取得部が、前記注視点の明るさを取得する、〔8〕に記載の映像投影装置。
〔12〕前記出力制御部により制御された出力で網膜に映像表示光を照射する映像表示光照射部をさらに備えている、〔1〕〜〔11〕のいずれか一つに記載の映像投影装置。
〔13〕前記映像表示光照射部が、網膜投影方式又は網膜走査方式で映像表示光を照射する、〔12〕に記載の映像投影装置。
〔14〕前記映像表示光照射部が、レーザ光を照明光源とする、〔12〕に記載の映像投影装置。
〔15〕ヘッドマウントディスプレイである、〔1〕〜〔14〕のいずれか一つに記載の映像投影装置。
〔16〕アイウェアディスプレイである、〔1〕〜〔14〕のいずれか一つに記載の映像投影装置。
〔17〕投影される映像が、外界の光景に重畳されているように表示される、〔1〕〜〔16〕のいずれか一つに記載の映像投影装置。
〔18〕瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程と
を含む映像投影方法。
〔19〕瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
を含む映像表示光出力制御方法。
100 映像投影装置
101 瞳孔情報取得部
102 注視点情報取得部
103 出力制御部
104 映像表示光照射部
110 制御部
111 映像制御部
113 通信インタフェース
114 記憶部

Claims (19)

  1. 瞳孔の面積又は寸法を取得する瞳孔情報取得部と、
    瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、
    を備えている映像投影装置。
  2. 前記出力制御部が、目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定する、請求項1に記載の映像投影装置。
  3. 前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力が決定される、請求項2に記載の映像投影装置。
  4. 前記所定の関係が、
    以下の式、
    又は、
    以下の式
    で表される関係である、
    (ここで、Lは目的とする映像表示光輝度であり、Cは調整係数であり、λは波長であり、Pは各波長での映像表示光出力であり、Kは各波長での視感度であり、ωは表示の見込み角であり、且つ、Aは瞳孔寸法又は瞳孔面積である)
    請求項3に記載の映像投影装置。
  5. 前記出力制御部が、前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させる、請求項1に記載の映像投影装置。
  6. 前記出力制御部が、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定する、請求項5に記載の映像投影装置。
  7. 前記出力制御部が、以下の式に基づき決定された映像表示光輝度を与えるように前記映像表示光の出力を制御する、
    (ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである)
    請求項5に記載の映像投影装置。
  8. 前記出力制御部が、前記目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定する、請求項2に記載の映像投影装置。
  9. 前記瞳孔情報取得部が、前記瞳孔の位置情報を取得するものであり、且つ、前記瞳孔情報取得部が、当該位置情報に基づき、前記注視点を特定する、請求項8に記載の映像投影装置。
  10. 前記瞳孔情報取得部が、赤外光カメラを含む、請求項9に記載の映像投影装置。
  11. 注視点情報取得部をさらに備えており、当該注視点情報取得部が、前記注視点の明るさを取得する、請求項8に記載の映像投影装置。
  12. 前記出力制御部により制御された出力で網膜に映像表示光を照射する映像表示光照射部をさらに備えている、請求項1に記載の映像投影装置。
  13. 前記映像表示光照射部が、網膜投影方式又は網膜走査方式で映像表示光を照射する、請求項12に記載の映像投影装置。
  14. 前記映像表示光照射部が、レーザ光を照明光源とする、請求項12に記載の映像投影装置。
  15. ヘッドマウントディスプレイである、請求項1に記載の映像投影装置。
  16. アイウェアディスプレイである、請求項1に記載の映像投影装置。
  17. 投影される映像が、外界の光景に重畳されているように表示される、請求項1に記載の映像投影装置。
  18. 瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
    瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
    前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程と
    を含む映像投影方法。
  19. 瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
    瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
    を含む映像表示光出力制御方法。
JP2019567941A 2018-01-29 2018-12-27 映像投影装置、映像投影方法、映像表示光出力制御方法 Active JP7338476B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018012996 2018-01-29
JP2018012996 2018-01-29
PCT/JP2018/048035 WO2019146367A1 (ja) 2018-01-29 2018-12-27 映像投影装置、映像投影方法、映像表示光出力制御方法

Publications (2)

Publication Number Publication Date
JPWO2019146367A1 true JPWO2019146367A1 (ja) 2021-02-04
JP7338476B2 JP7338476B2 (ja) 2023-09-05

Family

ID=67395883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019567941A Active JP7338476B2 (ja) 2018-01-29 2018-12-27 映像投影装置、映像投影方法、映像表示光出力制御方法

Country Status (6)

Country Link
US (1) US11227519B2 (ja)
EP (1) EP3748960A4 (ja)
JP (1) JP7338476B2 (ja)
KR (1) KR20200112832A (ja)
CN (1) CN111630847B (ja)
WO (1) WO2019146367A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781940B (zh) * 2021-08-30 2023-09-15 歌尔科技有限公司 头戴式显示设备及其显示亮度调节方法
FR3135792A1 (fr) * 2022-05-18 2023-11-24 Safran Electronics & Defense Dispositif d’affichage d’image à luminance adaptative en fonction d’une variable physiologique

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300451A (ja) * 1992-04-22 1993-11-12 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JPH1144862A (ja) * 1997-07-28 1999-02-16 Minolta Co Ltd 映像観察装置
JP2008089934A (ja) * 2006-09-29 2008-04-17 Brother Ind Ltd 画像表示装置及び同装置による画像の輝度調整方法
JP2010164782A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd 画像表示装置
JP2014132305A (ja) * 2013-01-07 2014-07-17 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2016528533A (ja) * 2013-06-27 2016-09-15 コチ・ウニヴェルシテシKoc Universitesi 眼鏡型画像表示装置
JP2017161759A (ja) * 2016-03-10 2017-09-14 富士通株式会社 網膜投影型表示装置、画像表示方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233425A (ja) * 2003-01-28 2004-08-19 Mitsubishi Electric Corp 画像表示装置
CN101589329B (zh) * 2007-11-21 2011-10-12 松下电器产业株式会社 显示装置
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US9392129B2 (en) * 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
US9360672B2 (en) * 2013-07-11 2016-06-07 Seiko Epson Corporation Head mounted display device and control method for head mounted display device
JP2016035513A (ja) * 2014-08-04 2016-03-17 富士通株式会社 表示装置および表示制御方法
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
TW201628307A (zh) 2015-01-21 2016-08-01 Luxul Technology Inc 限電管理系統
CN107615755B (zh) * 2015-05-19 2020-07-03 麦克赛尔株式会社 头戴式显示器、平视显示器和影像显示方法
JP2017097098A (ja) 2015-11-20 2017-06-01 株式会社リコー 透過型映像表示装置
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10942565B2 (en) * 2018-12-17 2021-03-09 Intel Corporation Virtual reality adaptive display control

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300451A (ja) * 1992-04-22 1993-11-12 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JPH1144862A (ja) * 1997-07-28 1999-02-16 Minolta Co Ltd 映像観察装置
JP2008089934A (ja) * 2006-09-29 2008-04-17 Brother Ind Ltd 画像表示装置及び同装置による画像の輝度調整方法
JP2010164782A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd 画像表示装置
JP2014132305A (ja) * 2013-01-07 2014-07-17 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2016528533A (ja) * 2013-06-27 2016-09-15 コチ・ウニヴェルシテシKoc Universitesi 眼鏡型画像表示装置
JP2017161759A (ja) * 2016-03-10 2017-09-14 富士通株式会社 網膜投影型表示装置、画像表示方法、及びプログラム

Also Published As

Publication number Publication date
CN111630847B (zh) 2023-04-18
CN111630847A (zh) 2020-09-04
JP7338476B2 (ja) 2023-09-05
US20210035478A1 (en) 2021-02-04
WO2019146367A1 (ja) 2019-08-01
KR20200112832A (ko) 2020-10-05
EP3748960A4 (en) 2021-04-07
US11227519B2 (en) 2022-01-18
EP3748960A1 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
US9711072B1 (en) Display apparatus and method of displaying using focus and context displays
CN107533362B (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
EP3228072B1 (en) Virtual focus feedback
JP5828070B2 (ja) 撮像装置および撮像方法
CN110199517B (zh) 在单个对准处具有自动剪辑的宽视野眼底相机
US20210325649A1 (en) System and method to automatically adjust illumination during a microsurgical procedure
US20130194244A1 (en) Methods and apparatuses of eye adaptation support
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
JP2016036390A (ja) 情報処理装置、焦点検出方法、および焦点検出プログラム
JP7338476B2 (ja) 映像投影装置、映像投影方法、映像表示光出力制御方法
WO2015193953A1 (ja) 画像表示装置及び光学デバイス
JP7099855B2 (ja) 視標呈示装置
JP7094268B2 (ja) 眼底撮影装置
US10928894B2 (en) Eye tracking
JP4997083B2 (ja) 眼底カメラ
JP7099854B2 (ja) 視標呈示装置
JP3109818B2 (ja) 眼底カメラ
JP2022124778A (ja) 電子機器
KR20210127072A (ko) 가상 영상 정렬 기능을 가진 양안 촬영 장치
JP2005107460A (ja) レンズフォーカスシステムおよび同方法
JP2016111576A (ja) 撮像装置
JPH05341176A (ja) 電子カメラのオートフォーカス装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230807

R151 Written notification of patent or utility model registration

Ref document number: 7338476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151