JP6718873B2 - 仮想焦点フィードバック - Google Patents

仮想焦点フィードバック Download PDF

Info

Publication number
JP6718873B2
JP6718873B2 JP2017527868A JP2017527868A JP6718873B2 JP 6718873 B2 JP6718873 B2 JP 6718873B2 JP 2017527868 A JP2017527868 A JP 2017527868A JP 2017527868 A JP2017527868 A JP 2017527868A JP 6718873 B2 JP6718873 B2 JP 6718873B2
Authority
JP
Japan
Prior art keywords
camera
image
focus
degree
surrogate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017527868A
Other languages
English (en)
Other versions
JP2018507570A (ja
Inventor
コーレット,バリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2018507570A publication Critical patent/JP2018507570A/ja
Application granted granted Critical
Publication of JP6718873B2 publication Critical patent/JP6718873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Viewfinders (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

焦点合わせを必要とする光学システムにおいて、焦点合わせ機構の位置決めは、結果として、伝えられるイメージの焦点の変更を直接もたらす。手動で焦点合わせされるシステムにおいて、ユーザは、イメージの焦点が所望の状態を達成するまで焦点合わせ要素を調整する。オートフォーカスシステムは、レンジファインダーを使用することによって又はイメージの焦点の度合いを測定することによって同様のゴールを達成するよう努める。
光学システムの焦点合わせには、依然として問題が存在する。
本テクノロジーの実施形態は、カメラを焦点合わせするシステム及び方法に関する。一実施形態において、カメラは、ディスプレイユニットと目位置及び追跡アセンブリとを含むヘッドマウントディスプレイデバイス内にある。ディスプレイユニットは、左右の目の視覚に対してイメージを表示する。目位置及び追跡アセンブリは、1つ以上の光源と1つ以上のカメラとを含むことができる。HMDにおいて1つ以上のカメラを焦点合わせすることについて、手法が開示される。上記手法は、HMDにおいてカメラを焦点合わせすることに限定されない。
一実施形態において、ディスプレイ及びカメラと通信する処理ロジックが、カメラに関連付けられたデータを受信し、該データに基づいてカメラが焦点内である度合いを決定する。処理ロジックは、カメラが焦点内である度合いに逆相関するぼやけの度合いを有する代理イメージを生成し、代理イメージをディスプレイに表示する。ユーザが、カメラ焦点機構を調整して代理イメージをより良く焦点合わせするよう指示される。
代替的な一実施形態が下記を含む。カメラに関連付けられたデータが受信される。カメラが焦点内である度合いが、受信されたデータに基づいて決定される。カメラが焦点内である度合いに逆相関するぼやけの度合いを有する代理イメージが、生成される。代理イメージは、ディスプレイ画面に表示される。前述のことが繰り返され、このことには、カメラに関連付けられた更新されたデータを受信することと、カメラが焦点内である新しい度合いを決定することと、カメラの焦点の新しい度合いに逆相関するように代理イメージのぼやけの度合いを修正することとが含まれる。
別の実施形態が、ヘッドマウントディスプレイ(HMD)を含み、このHMDは、目の近くのシースルーディスプレイと、赤外線(IR)カメラと、赤外線カメラ及び目の近くのシースルーディスプレイと通信するプロセッサとを含む。プロセッサは、IRカメラから赤外線イメージを受信し、赤外線イメージが焦点から外れている度合いを決定する。プロセッサは、ベースイメージをぼやけさせて、赤外線イメージが焦点から外れている度合いに相関するぼやけの度合いを有する代理イメージを作成する。プロセッサは、代理イメージを目の近くのシースルーディスプレイに表示する。プロセッサは、代理イメージを表示した後にIRカメラから新しい赤外線イメージを受信し、赤外線イメージが焦点から外れている新しい度合いを決定する。プロセッサは、赤外線イメージが焦点から外れている新しい度合いに相関するように代理イメージのぼやけの度合いを修正する。プロセッサは、修正されたぼやけの度合いに基づいて更新された代理イメージを表示する。
本発明の概要は、下記で詳細な説明にさらに記載される概念のうち選択されたものを簡素化された形式で紹介するよう提供される。本発明の概要は、請求される対象事項の重要な特徴又は必須の特徴を識別するものではなく、請求される対象事項の範囲を決定することの助けとして使用されるべきものでもない。
複合現実環境を1以上のユーザに提示するシステムの一実施形態の例示的コンポーネントの図である。 ヘッドマウントディスプレイユニットの一実施形態の透視図である。 ヘッドマウントディスプレイユニットの一実施形態の一部分の側面図である。 眼鏡において具現化されたHMD内の注視検出要素のそれぞれのセットの位置の例示的配置を各々示す。 眼鏡において具現化されたHMD内の注視検出要素のそれぞれのセットの位置の例示的配置を各々示す。 眼鏡において具現化されたHMD内の注視検出要素のそれぞれのセットの位置の例示的配置を各々示す。 ヘッドマウントディスプレイユニットのコンポーネントの一実施形態のブロック図である。 ヘッドマウントディスプレイユニットに関連付けられた処理ユニットのコンポーネントの一実施形態のブロック図である。 カメラを焦点合わせするシステムの一実施形態の図である。 カメラを焦点合わせする処理の一実施形態を示す。 代理イメージを生成する処理の一実施形態のフローチャートである。 図8の処理に使用できる一例示的なベースイメージを示す。 図8の処理で生成できる一例示的な代理イメージを示す。 代理イメージのぼやけの度合いがカメラの焦点の度合いに逆相関することを表現するグラフを表す。 カメラを焦点合わせするシステムの一実施形態の図である。 カメラを焦点合わせするシステムの別の実施形態の図である。 本明細書に説明されるコンピューティングシステムを実装するのに使用できるコンピューティングシステムの一実施形態のブロック図である。
本テクノロジーの実施形態が次に説明され、実施形態は、一般に、カメラを焦点合わせする(focusing)システム及び方法に関する。一実施形態において、システムは、カメラが焦点から外れている度合いに相関した程度までぼやけた代理イメージを生成する。ユーザは、焦点合わせ機構を調整するよう求められて、代理イメージを焦点に至らせるよう試みることができる。このことは、ユーザがカメラからイメージを見てみる必要なく、カメラが焦点合わせされることを可能にする。上記は、例えば、赤外線カメラを焦点合わせするのに用いることができる。赤外線カメラは、ヘッドマウントディスプレイデバイスなどの装置内の追跡カメラであり得る。
ヘッドマウントディスプレイデバイスは、ディスプレイ要素を含むことができる。ディスプレイ要素はある程度透明であり、したがって、ユーザはディスプレイ要素をとおしてユーザの視野(field of view)(FOV)内に実世界オブジェクトを見ることができる。ディスプレイ要素は仮想イメージをユーザのFOVに投影する能力をさらに提供し、そのため、仮想イメージもまた実世界オブジェクトと一緒に出現することができる。システムはユーザが見ているところを自動的に追跡し、したがって、システムはユーザのFOV内で仮想イメージをどこに挿入すべきかを決定することができる。システムが仮想イメージをどこに投影すべきか分かると、イメージはディスプレイ要素を用いて投影される。
ヘッドマウントディスプレイデバイスは、実在オブジェクトと仮想オブジェクトとを含む複合現実(mixed reality)環境を実施するのに使用することができる。複合現実は、ホログラフィックの又は仮想の像(imagery)が実世界物理環境と混合される(mixed)ことを可能にするテクノロジーである。シースルーの、ヘッドマウント型の、複合現実ディスプレイデバイスをユーザが装着して、ユーザの視野内に表示される実在オブジェクトと仮想オブジェクトとの混合された像を見ることができる。3次元深度の錯覚を容易にするために、仮想オブジェクトのイメージが、該イメージ間に小さい両眼視差のある状態で、ヘッドマウントディスプレイデバイスによって右目と左目とに対して独立して表示される。この両眼視差は、複合現実環境内の仮想オブジェクトの深度(depth)を示すものとして脳により解釈される。
図1は、仮想オブジェクト21をユーザのFOV内の実在内容と融合することにより複合現実体験を提供するシステム10を例示する。図1は複数のユーザ18a、18b、18cを示しており、各々がヘッドマウントディスプレイデバイス(head mounted display device)2を装着して独自の視点から仮想オブジェクト21などの仮想オブジェクトを見ている。さらなる例において、3人より多い又は少ないユーザが存在してもよい。図2及び図3から分かるとおり、ヘッドマウントディスプレイデバイス2は、統合された処理ユニット4を含むことができる。他の実施形態において、処理ユニット4はヘッドマウントディスプレイデバイス2から別個であってもよく、有線又は無線通信を介してヘッドマウントディスプレイデバイス2と通信してもよい。
ヘッドマウントディスプレイデバイス2は、一実施形態において眼鏡の形状であり、ユーザの頭部に装着される。したがって、ユーザは、ディスプレイをとおして見てみることができ、これにより、ユーザの前の空間についての実際の直接的視界を有することができる。用語「実際の直接的視界(actual direct view)」の使用は、オブジェクトについての作り出されたイメージ表現を目にするのでなく、人間の目で直接的に実世界オブジェクトを目にする能力を参照する。例えば、眼鏡をとおして部屋を見ることは、ユーザがその部屋の実際の直接的視界を有することを可能にし、テレビジョンで部屋のビデオを視ることは、その部屋の実際の直接的視界ではない。ヘッドマウントディスプレイデバイス2のさらなる詳細が下記に提供される。
処理ユニット4は、ヘッドマウントディスプレイデバイス2を動作させるのに用いられる計算能力の多くを含むことができる。実施形態において、処理ユニット4は1つ以上のハブコンピューティングシステム12に対して無線で(例えば、WiFi(登録商標)、Bluetooth(登録商標)、赤外線、又は他の無線通信手段)通信する。以降説明されるように、ハブコンピューティングシステム12は処理ユニット4からリモートに提供されてもよく、したがって、ハブコンピューティングシステム12と処理ユニット4とはLAN又はWANなどの無線ネットワークを介して通信する。さらなる実施形態において、ハブコンピューティングシステム12が省略されて、ヘッドマウントディスプレイデバイス2と処理ユニット4とを用いてモバイルの複合現実体験を提供してもよい。
ヘッドマウントディスプレイデバイス2は、それ自体によってか又はハブコンピューティングシステム12と関連して複合現実体験を提供することができ、これにおいて、1つ以上の仮想イメージ、例えば図1における仮想オブジェクト21などを、シーン内の実世界オブジェクトと一緒に混合することができる。図1は、ユーザのFOV内に出現する実世界オブジェクトとして植物23又はユーザの手23の例を示す。
図2及び図3Aは、ヘッドマウントディスプレイデバイス2の透視図及び側面図を示す。図3Aは、ヘッドマウントディスプレイデバイス2の右側面を示し、テンプル102と鼻梁部104とを有するデバイスの一部分を含む。鼻梁部104に組み込まれているのはマイクロフォン110であり、マイクロフォン110は下記に説明されるように、音を記録し、そのオーディオデータを処理ユニット4に送信する。ヘッドマウントディスプレイデバイス2の前部には部屋向き(room-facing)ビデオカメラ112があり、該ビデオカメラ112はビデオ及び静止画を捕捉することができる。こうしたイメージが、下記に説明されるように処理ユニット4に送信される。
ヘッドマウントディスプレイデバイス2のフレームの一部分が、(1つ以上のレンズを含む)ディスプレイを囲むことになる。ヘッドマウントディスプレイデバイス2のコンポーネントを示すために、ディスプレイを囲むフレームの一部分は描かれていない。ディスプレイは、光ガイド光学要素115、不透明フィルタ(opacity filter)114、シースルーレンズ116、及びシースルーレンズ118を含む。一実施形態において、不透明フィルタ114はシースルーレンズ116の後ろにあり、シースルーレンズ116に位置合わせされ(aligned)、光ガイド光学要素115は不透明フィルタ114の後ろにあり、不透明フィルタ114に位置合わせされ、シースルーレンズ118は光ガイド光学要素115の後ろにあり、光ガイド光学要素115に位置合わせされる。シースルーレンズ116及び118は眼鏡に使用される標準レンズであり、任意の処方(処方なしを含む)に対して作ることができる。光ガイド光学要素115は人工光を目に向ける(channels)。
制御回路136は、ヘッドマウントディスプレイデバイス2の他のコンポーネントをサポートする様々な電子装置を提供する。制御回路136のさらなる詳細が下記で図4に関連して提供される。テンプル102の内部に、又はテンプル102に取り付けられて、イヤホン130、慣性測定ユニット132、及び温度センサ138がある。図4に示される一実施形態において、慣性測定ユニット132(又は、IMU132)は、慣性センサ、例えば、3軸磁力計132A、3軸ジャイロ132B、及び3軸加速度計132Cなどを含む。慣性測定ユニット132は、ヘッドマウントディスプレイデバイス2の位置、向き、及び突然の加速(ピッチ、ロール、及びヨー)を感知する。IMU132は、磁力計132A、ジャイロ132B、及び加速度計132Cに追加で又は代わって、他の慣性センサを含んでもよい。
マイクロディスプレイ120は、レンズ122をとおしてイメージを投影する。マイクロディスプレイ120を実装するのに使用できる種々のイメージ生成テクノロジーが存在する。例えば、マイクロディスプレイ120は、透過投影テクノロジーの使用において実装されることがあり、これにおいて、光源は光学的活性物質(active material)により変調され、白色光でバックライトを当てられる。こうしたテクノロジーは、LCDタイプのディスプレイを用いて、強力なバックライトと高い光エネルギー密度とで大抵実装される。マイクロディスプレイ120はさらに、外部の光が反射され光学的活性物質により変調される反射テクノロジーを用いて実装されてもよい。照射は、テクノロジーに依存して、白色源又はRGB源によって前方に照らされる(forward lit)。DLP(登録商標)(Digital light processing)、LCOS(liquid crystal on silicon)、及びQualcom社から提供されるMirasol(登録商標)ディスプレイテクノロジーはすべて、ほとんどのエネルギーが変調構造から離れて反射される効率的な反射テクノロジーの例であり、本システムに使用することができる。さらに、マイクロディスプレイ120は、放出テクノロジーを用いて実装されてもよく、これにおいて、光はディスプレイにより生成される。例えば、Microvision社から提供されるPicoPTM(登録商標)ディスプレイエンジンは、透過要素として作用するごく小さい画面へと誘導するマイクロミラーを用いてか、又は目へと直接発せられる(例えば、レーザ)、レーザ信号を放出する。
光ガイド光学要素115は、マイクロディスプレイ120からの光を、ヘッドマウントディスプレイデバイス2を装着しているユーザの目140へ透過させる(transmits)。光ガイド光学要素115はさらに、矢印142により表されるように、ヘッドマウントディスプレイデバイス2の前からの光が光ガイド光学要素115をとおして目140へ透過されることを可能にし、これにより、ユーザは、マイクロディスプレイ120からの仮想イメージを受け取ることに追加で、ヘッドマウントディスプレイデバイス2の前の空間の実際の直接的視界を有することができる。ゆえに、光ガイド光学要素115の壁部は、シースルーである。光ガイド光学要素115は、第1の反射面124(例えば、ミラー又は他の表面)を含む。マイクロディスプレイ120からの光は、レンズ122を通過し、反射面124での入射になる。反射面124は、マイクロディスプレイ120からの入射光を反射し、そのため、光は、内部反射によって、光ガイド光学要素115を含む平面基板(substrate)の内側に捕らえられる。基板の表面からのいくつかの反射の後、捕らえられた光波は、選択的反射面126のアレイに到達する。図面の過密化を防止するために、5つの表面のうち1つが126とラベル付けされていることに留意する。反射面126は、これら反射面上に入射する光波を、基板から外へ、ユーザの目140へ結合する。
本テクノロジーの態様に従い、ヘッドマウントディスプレイデバイス2は、ユーザの目の位置を位置特定し(locating)及び追跡するシステムをさらに含むことができる。このシステムは、目位置及び追跡アセンブリ(eye position and tracking assembly)134を含み(図3A)、該アセンブリは、目追跡照射デバイス134Aと目追跡センサ134Bとを有する(図4)。一実施形態において、目追跡照射デバイス134Aは1つ以上の赤外線(IR)エミッタを含み、該IRエミッタは目に向けてIR光を放出する。一実施形態において、目追跡センサ134Bは、反射されたIR光を感知する1つ以上のカメラを含む。別法として、目追跡センサ134Bは、RGB又は深度センサであってもよい。実施形態において、複数のセンサ134Bが存在してもよい。
ユーザの目の位置と、目の中の瞳とは、角膜の反射を検出する既知の撮像手法により識別することができる。こうした手法は、追跡センサ134Bに対する目の中心の位置を位置特定することができる。実施形態において、左右の目の各々について別個の目位置及び追跡アセンブリ134が存在してもよく、したがって、ユーザのIPDを決定することができる。さらなる実施形態において、左目又は右目のいずれかの中心を識別する単一の目位置及び追跡アセンブリ134が存在してもよい。
一実施形態において、システムは、長方形配置における4つのIR LEDと4つのIR光検出器(IR photo detectors)とを使用し、したがって、ヘッドマウントディスプレイデバイス2のレンズの各角部に、1つのIR LED及びIR光検出器が存在することになる。LEDからの光は、目に反射する。4つのIR光検出器の各々で検出された赤外光の量が、センサ134Bに対しての目の位置と、瞳方向とを決定する。詳細には、目の中の白色対黒色の量が、特定の光検出器についての目に反射された光の量を決定することになる。ゆえに、光検出器は、目の中の白色又は黒色の量の測定を有することになる。4つのサンプルから、システムは目の方向を決定することができる。
別の代替例は、上記で論じられたような4つの赤外線LEDを使用し、ただし、ヘッドマウントディスプレイデバイス2のレンズの側部にある1つの赤外線CCDを使用する。このCCDは、小さいミラー及び/又はレンズ(魚眼)を使用し、そのため、CCDはメガネフレームから見える目の最大75%まで撮像することができる。CCDは、それから、上記でかなり論じられたように、イメージを感知し、コンピュータビジョンを使用してイメージを見つけることになる。ゆえに、図3は1つのIR送信機を有する1つのアセンブリを示しているが、図3の構造は4つのIR送信機及び/又は4つのIRセンサを有するように調整することができる。4つのIR送信機及び/又は4つのIRセンサよりも多数又は少数がさらに使用可能である。
目の方向を追跡する別の実施形態は、電荷追跡に基づく。この概念は、網膜が測定可能な正電荷を運び、角膜が負電荷を有するという観察に基づく。センサがユーザの耳に(イヤホン130の近くに)取り付けられて、目が動き回る間に電位を検出し、目が何をしているかをリアルタイムで効率的に読み出す。このことは、ヘッドマウントディスプレイデバイスに対するユーザの目の位置と、ユーザの瞳の位置との双方を提供する。ヘッドマウントディスプレイデバイスに対してユーザの目の位置を決定する他の実施形態がさらに使用可能である。
上記で説明された実施形態のうち任意のものを使用して、目位置及び追跡システム134は、目位置及び追跡システム134の位置に対する左目及び右目の位置を決定することができる。光学要素115に対するシステム134の既知の位置及びジオメトリを用いて、左右の目に対する光学要素115の位置がさらにわかる。この位置は、x軸に沿った目と光学要素との相対的位置を含む(例えば、水平の位置決め)。この位置は、y軸に沿った目と光学要素との相対的位置を含む(例えば、垂直の位置決め)。さらに、この位置は、z軸に沿った目と光学要素との相対的位置を含む(例えば、目と光学要素との間の距離)。
位置に追加で、左右の目に対する光学要素115の角度向き(ピッチ、ヨー、及びロール)を決定することもまた有益である。この目的で、目位置及び追跡アセンブリ134は、各々の目の中心と、目の中心から真っ直ぐの目ベクトルとをさらに決定する。
目の中心は、複数の方法で決定することができる。センサ134Bが目のイメージを(カラーイメージとして及び/又は深度イメージとして)捕捉する場合、このイメージは、目の中心を決定するよう解析することができる。例えば、イメージセンサが角膜表面を調べ、このことから主軸及び角膜中心を決定することができる。さらなる一実施形態において、イメージセンサは、瞳、強膜(目の白色部分)、及び/又はまつげを含む目の他の特徴を調べてもよい。顔の他の特徴、例えば、まゆげ、鼻、鼻梁などが、左目及び右目の中心を決定するのにさらに撮像され、使用されてもよい。
IR送信機/受信機を含む例は、目の中心と中心から真っ直ぐの目ベクトルとをさらに決定してもよい。例えば、4つなどの複数のIR送信機/受信機が存在する場合に、これらコンポーネントの各々は、これらが検出する目の中の強膜の量を測定することができる。これら4つの独立した値を決定し、比較することができる。各々が目の中に同量の強膜を測定するとき、目は中心に置かれており(真っ直ぐ前を見ている)、目ベクトルは瞳から垂直に真っ直ぐとることができる。この位置は、各IR送信機/受信機が目の中に同量の強膜を測定するときに見つけることができ、あるいはこの位置は、4つの送信機/受信機ペアが目の中に異なる値の強膜を測定する場合に測定から外挿することができる。
上記で述べられたとおり、各々の目はその独自の位置及び追跡アセンブリ134を有することができ、別個の目ベクトルを各々について決定することができる。別法として、目は対称的であり一緒に移動することが仮定されてもよく、双方の目について単一の目ベクトルが決定され、使用されてもよい。
図3Aは、ヘッドマウントディスプレイデバイス2の半分を示す。フルのヘッドマウントディスプレイデバイスは、もう1組のシースルーレンズ、もう1つの不透明フィルタ、もう1つの光ガイド光学要素、もう1つのマイクロディスプレイ120、もう1つのレンズ122、部屋向きカメラ112、目位置及び追跡アセンブリ134、マイクロディスプレイ、イヤホン、及び温度センサを含むことになる。
一実施形態において、ディスプレイ及び不透明フィルタは、同時にレンダリングされ(rendered)、空間におけるユーザの正確な位置に対して較正されて角度オフセット問題について補償する。(例えば、目追跡カメラ134を用いた)目追跡を採用して、視ている視野の限界における正しいイメージオフセットを計算することができる。目追跡はまた、前向きカメラ113又は別のカメラに焦点合わせするためのデータを提供するのに使用することができる。目追跡カメラ134と、目ベクトルを計算するための他のロジックとは、一実施形態において目追跡システムであると考えられる。
図3Bは、眼鏡において具現化されたHMD2内の注視検出要素のそれぞれのセットの位置の、一例示的な配置を示す。各々の目のためのレンズのように見えるものは、各々の目のためのディスプレイ光学システム14を表し、例えば、14r及び14lである。ディスプレイ光学システムは、普通の眼鏡のようにシースルーレンズを含み、しかしさらに、仮想コンテンツとレンズ6をとおして目にされる実際の及び直接の実世界視界とをシームレスに融合するための光学要素(例えば、ミラー、フィルタ)を含む。ディスプレイ光学システム14は、シースルーレンズの中心に一般にある光学軸を有し、該シースルーレンズにおいて、光は、無歪みの視界を提供するよう一般に平行にされる。例えば、アイケアの専門家が普通の眼鏡をユーザの顔にフィットさせるとき、1つのゴールは、各瞳がそれぞれのレンズの中心又は光学軸に位置合わせされ、概して平行にされた光がクリアな又は無歪みの視界のためにユーザの目に結果として到達する位置において、眼鏡がユーザの鼻にすわることである。
図3Bの例においては、少なくとも1つのセンサの検出エリア139r、139lがそのそれぞれのディスプレイ光学システム14r、14lの光学軸に位置合わせされ、したがって、検出エリア139r、139lの中心は光学軸に沿って光を捕捉している。ディスプレイ光学システム14がユーザの瞳に位置合わせされる場合、それぞれのセンサ134の各検出エリア139はユーザの瞳に位置合わせされる。検出エリア139の反射された光は、1つ以上の光学要素を介してカメラの実際イメージセンサ134に伝えられ、センサ134は、この例では、フレーム115の内側にあるものとして破線で例示されている。
一例において、RGBカメラとも一般に呼ばれる可視光カメラがセンサであってもよく、光学要素又は光方向付け要素の一例が、部分的に透過的であり部分的に反射的である可視光反射ミラーである。IR光検出器162が、スペクトルのIR部分内の反射である閃光(glints)を捕捉する間、可視光カメラは、ユーザの目の瞳のイメージデータを提供する。可視光カメラが使用される場合、仮想イメージの反射が、カメラにより捕捉される目データの中に出現し得る。イメージフィルタリング手法が使用されて、所望に応じて仮想イメージ反射を除去してもよい。IRカメラは、目における仮想イメージ反射に対して敏感でない。
一実施形態において、少なくとも1つのセンサ134は、IR放射が向けられ得るIRカメラ又は位置感知検出器(position sensitive detector)(PSD)である。例えば、熱い反射面は、可視光を透過させ、しかしIR放射を反射することがある。目から反射されたIR放射は、照射器163若しくは他のIR照射器(図示せず)の入射放射からか、又は目に反射した周囲のIR放射からであり得る。いくつかの例において、センサ134は、RGB及びIRカメラの組み合わせであってもよく、光学的な光方向付け要素は、可視光反射又は方向転換(diverting)要素とIR放射反射又は方向転換要素とを含んでもよい。いくつかの例において、カメラは小さくてもよく、例えば、2ミリメール(mm)×2mmである。こうしたカメラセンサの一例が、Omnivision OV7727である。他の例において、カメラは、イメージセンサ又はカメラ134がディスプレイ光学システム14の光学軸上又は他の場所において中心に置かれ(centered)得るのに十分なほど小さくてもよく、例えば、Omnivision OV7727である。例えば、カメラ134は、システム14のレンズ内に埋め込まれてもよい。さらに、イメージフィルタリング手法が適用されて、ユーザに対していかなる気を散らすものも少なくするようにユーザ視野にカメラをブレンドしてもよい。
図3Bの例において、照射器163が光検出器162とペアにされバリア164により分離された4つのセットが存在し、バリア164は、照射器163により生成される入射光と光検出器162において受け取られる反射光との間の干渉を回避する。図面における不要な乱雑さを回避するために、図面の数字は代表ペアに関して示されている。各照射器は、ほぼ所定波長で光の狭いビームを生成する赤外線(IR)照射器であってもよい。光検出器の各々は、ほぼ上記所定波長で光を捕捉するよう選択することができる。赤外線は、近赤外線をさらに含んでもよい。照射器又は光検出器の波長ドリフトが存在する可能性があるか、あるいは波長に関して小さい範囲が受け入れ可能であり得るとき、照射器及び光検出器は、生成及び検出する波長に関して許容範囲を有してもよい。センサがIRカメラ又はIR位置感知検出器(PSD)である実施形態において、光検出器は、追加データ捕捉デバイスであってもよく、さらに、照射器の動作、例えば、波長ドリフト、ビーム幅変化等を監視するのに使用されてもよい。光検出器は、センサ134として可視光カメラを用いて閃光データをさらに提供してもよい。
上述されたとおり、注視ベクトルを決定することの一部として角膜中心を算出する実施形態においては、2つの閃光と、したがって2つの照射器とで十分であることになる。しかしながら、他の実施形態が、瞳位置とゆえに注視ベクトルとを決定することにおいてさらなる閃光を使用してもよい。閃光を表す目データが、繰り返し、例えば1秒当たり30フレーム又はそれ以上で捕捉されるとき、1つの閃光についてのデータが、まぶたによって、又はまつげによってでさえブロックされることがあり、しかしデータは、別の照射器により生成される閃光によって収集することができる。
図3Cは、眼鏡における注視検出要素のそれぞれのセットの位置の、別の例示的配置を示す。この実施形態においては、2組の照射器163及び光検出器162ペアが、ディスプレイ光学システム14を囲む各フレーム部分115の上部近くに位置付けられ、別の2組の照射器及び光検出器ペアが、各フレーム部分115の下部近くに位置付けられて、照射器とゆえに該照射器が生成する閃光との間の、幾何学的関係の別の例を示している。上記の閃光の配置は、垂直方向における瞳位置に対するさらなる情報を提供することができる。
図3Dは、注視検出要素のそれぞれのセットの位置の、また別の例示的配置を示す。この例においては、センサ134r、134lはそのそれぞれのディスプレイ光学システム14r、14lの光学軸と一直線にあり、あるいは該光学軸に位置合わせされており、しかしシステム14の下のフレーム115に位置する。さらに、いくつかの実施形態において、カメラ134は深度カメラであってもよく、あるいは深度センサを含んでもよい。深度カメラは、3Dにおいて目を追跡するのに使用することができる。この例においては、2セットの照射器163及び光検出器162が存在する。
図4は、ヘッドマウントディスプレイデバイス2の様々なコンポーネントを表すブロック図である。図5は、処理ユニット4の様々なコンポーネントを説明するブロック図である。図4にそのコンポーネントが表されているヘッドマウントディスプレイデバイス2は、1つ以上の仮想イメージをシームレスに実世界のユーザの視界に融合することにより複合現実体験をユーザに提供するのに使用される。さらに、図4のヘッドマウントディスプレイデバイスは、様々な条件を追跡する複数のセンサを含む。ヘッドマウントディスプレイデバイス2は、処理ユニット4から仮想イメージに関する指示を受信し、処理ユニット4に戻るセンサ情報を提供する。図5にそのコンポーネントが表されている処理ユニット4は、ヘッドマウントディスプレイデバイス2からセンサ情報を受信する。
上記情報と、可能性としてハブコンピューティングシステム12からの情報とを用いて、処理ユニット4は、ユーザに対する仮想イメージをどこに及びいつ提供すべきかを決定し、このことに応じて指示を図4のヘッドマウントディスプレイデバイスに送ることができる。以降に説明されるように、目位置及び追跡アセンブリ134からの情報を用いて、処理ユニット4は、目位置及び追跡アセンブリ134内のカメラが焦点合わせされる度合いをさらに決定することができる。上記情報は、マイクロディスプレイ120(及び、ゆえにディスプレイ光学システム14又は様々な要素124、115、126等)上に提示される代理イメージを生成するのに使用することができる。ユーザが、カメラ焦点機構を調整することにより代理イメージを焦点合わせするように指示されてもよい。こうして、カメラが焦点合わせされてもよい。
図4のコンポーネントのいくつか(例えば、部屋向きカメラ112、目追跡センサ134B、マイクロディスプレイ120、不透明フィルタ114、目追跡照射134A、イヤホン130、及び温度センサ138)が、これらデバイスの各々が2つ、ヘッドマウントディスプレイデバイス2の左側について1つと右側について1つ存在することを示すように陰で(in shadow)示されている。図4は、電力管理回路202と通信する制御回路200を示す。制御回路200は、プロセッサ210、メモリ214(例えば、D−RAM)と通信するメモリコントローラ212、カメラインターフェース216、カメラバッファ218、ディスプレイドライバ220、ディスプレイ整形器(display formatter)222、タイミング生成器226、ディスプレイアウトインターフェース228、及びディスプレイインインターフェース230を含む。
一実施形態において、制御回路200のコンポーネントのすべてが専用ライン又は1つ以上のバスを介して互いに通信する。別の実施形態において、制御回路200のコンポーネントの各々がプロセッサ210と通信する。カメラインターフェース216は、2つの部屋向きカメラ112に対するインターフェースを提供し、部屋向きカメラから受信したイメージをカメラバッファ218に記憶する。ディスプレイドライバ220は、マイクロディスプレイ120を駆動する。ディスプレイ整形器222は、マイクロディスプレイ120上に表示されている仮想イメージに関する情報を、不透明フィルタ114を制御する不透明制御(opacity control)回路224に提供する。タイミング生成器226は、システムのためのタイミングデータを提供するのに使用される。ディスプレイアウトインターフェース228は、部屋向きカメラ112からのイメージを処理ユニット4に提供するバッファである。ディスプレイインインターフェース230は、マイクロディスプレイ120上に表示されることになる仮想イメージなどのイメージを受信するバッファである。ディスプレイアウトインターフェース228及びディスプレイインインターフェース230は、処理ユニット4に対するインターフェースであるバンドインターフェース232と通信する。
電力管理回路202は、電圧調節器234、目追跡及び照射ドライバ236、オーディオDAC及び増幅器238、マイクロフォン前置増幅器及びオーディオADC240、温度センサインターフェース242、及びクロック生成器244を含む。電圧調節器234は、バンドインターフェース232を介して処理ユニット4から電力を受信し、その電力をヘッドマウントディスプレイデバイス2の他のコンポーネントに提供する。目追跡照射ドライバ236は、上記で説明されたように、目追跡照射134AのためのIR光源を提供する。オーディオDAC及び増幅器238は、オーディオ情報をイヤホン130に出力する。マイクロフォン前置増幅器及びオーディオADC240は、マイクロフォン110のためのインターフェースを提供する。温度センサインターフェース242は、温度センサ138のためのインターフェースである。電力管理回路202はまた、電力を提供し、3軸磁力計132A、3軸ジャイロ132B、及び3軸加速度計132Cから戻るデータを受信する。
図5は、処理ユニット4の様々なコンポーネントを説明するブロック図である。図5は、電力管理回路306と通信する制御回路304を示す。制御回路304は、中央処理ユニット(CPU)320、グラフィックス処理ユニット(GPU)322、キャッシュ324、RAM326、メモリ330(例えば、D−RAM)と通信するメモリコントローラ328、フラッシュメモリ334(又は、他タイプの不揮発記憶装置)と通信するフラッシュメモリコントローラ332、バンドインターフェース302及びバンドインターフェース232を介してヘッドマウントディスプレイデバイス2と通信するディスプレイアウトバッファ336、バンドインターフェース302及びバンドインターフェース232を介してヘッドマウントディスプレイデバイス2と通信するディスプレイインバッファ338、マイクロフォンに接続する外部マイクロフォンコネクタ342と通信するマイクロフォンインターフェース340、無線通信デバイス346に接続するPCIエクスプレスインターフェース、及び(1つ以上の)USBポート348を含む。一実施形態において、無線通信デバイス346は、Wi−Fi対応通信デバイス、BlueTooth通信デバイス、赤外線通信デバイス等を含むことができる。USBポートが使用されて、処理ユニット4をハブコンピューティングシステム12にドッキングさせ(dock)て、処理ユニット4上へデータ又はソフトウェアをロードし、処理ユニット4を充電することができる。一実施形態において、CPU320及びGPU322は、ユーザの視界への仮想3次元オブジェクトをどこに、いつ、及び如何にして挿入すべきかを決定する主力(main workhorses)である。さらなる詳細が下記に提供される。
電力管理回路306は、クロック生成器360、アナログツーデジタルコンバータ362、バッテリ充電器364、電圧調節器366、ヘッドマウントディスプレイ電力源376、及び温度センサ374と通信する(可能性として処理ユニット4のリストバンド上に位置する)温度センサインターフェース372を含む。アナログツーデジタルコンバータ362は、バッテリ電圧及び温度センサを監視し、バッテリ充電機能を制御するのに使用される。電圧調節器366は、システムに電力を供給するバッテリ368と通信する。バッテリ充電器364は、充電ジャック370から電力を受信すると(電圧調節器366を介して)バッテリ368を充電するのに使用される。HMD電力源376は、ヘッドマウントディスプレイデバイス2に電力を提供する。
図6は、カメラ604を焦点合わせするシステム600の一実施形態の図である。システム600は、処理ロジック602、カメラ604、及びディスプレイ606を含む。一実施形態において、システム600はHMD2の一部である。カメラ604は、本明細書に説明されるカメラのうち任意のものとすることができる。一実施形態において、カメラ604はIRカメラである。カメラ604は、目位置及び追跡アセンブリ134の一部であってもよい。例えば、カメラ604は目追跡カメラ134Bであり得る。カメラ604はまた、部屋向きカメラ112であってもよい。焦点合わせされるべきカメラは、こうした例に限定されない。
一実施形態において、ディスプレイ606には、本明細書に説明されるHMD2の1つ以上の要素が含まれる。例えば、ディスプレイ606には、マイクロディスプレイ120を含むことができる。さらに、反射面124、光ガイド光学要素115、選択的反射面126などの要素の組み合わせが、ディスプレイ606であると考えられてもよい。図3B〜3Dを参照すると、ディスプレイ606には、ディスプレイ光学システム14を含むことができる。ディスプレイ606は、右目のためのディスプレイと左目のためのディスプレイとを含み得ることに留意する。しかしながら、各々の目について別個のディスプレイが存在することは必要とされない。
処理ロジック602は、カメラ604が焦点合わせされている度合いを検出する焦点検出612を有する。焦点検出612は、カメラ604に関連付けられたデータを入力し、カメラ604が焦点合わせされている度合いを決定するのに使用することができる。上記データは、カメラ604からのイメージデータであってもよい。上記データは、イメージデータ以外のデータであってもよく、例えば、カメラ604が焦点合わせすべきオブジェクトから該カメラ604がどれほど離れているかを示すデータなどである。焦点検出612は、カメラ604が焦点合わせされている度合い(又は、カメラが「焦点内(in-focus)」である度合い)を示す信号を出力する。
レンダリング(rendering)614は、焦点検出612から信号を入力し、カメラ604が焦点内である度合いに逆相関するぼやけの度合いを有するイメージ(例えば、「代理イメージ(proxy image)」)を生成する。このことは、カメラがより焦点内にあるときに代理イメージ内により少ないぼやけが存在し得るという点で、逆の相関であり得ることに留意する。別の言い方をすると、カメラがより焦点から外れるとき、代理イメージ内により多くのぼやけが存在し得る。「ぼやけた」イメージはディスプレイ606上に提示される。一実施形態において、レンダリングはグラフィックス処理ユニット(GPU)上に実装される。
カメラ焦点機構605は、カメラ604が焦点合わせされることを可能にする。例えば、ユーザが、カメラ焦点機構605を手動で調整することができる。一例として、カメラ604は、(カメラの対物レンズに追加で、)カメラ604を焦点合わせするのに動かされる焦点合わせレンズを有してもよい。しかしながら、多くの他タイプのカメラ焦点機構605が使用可能である。HMD2について、ユーザは、自身の目とカメラ604との間の距離を調整してカメラ604を焦点合わせしてもよい。この例において、カメラ焦点機構605は、ユーザがHMD2を装着している間にカメラの場所をユーザの目に対して動かすことができるHMD上の構造であり得る。
イメージ処理610は、カメラ604からイメージデータを入力し、イメージデータのいくつかの種類の処理を実行する。目追跡が一例であるが、処理はいかなるものであってもよい。処理ロジック602、焦点検出612、レンダリング614、及びイメージ処理610は各々、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアとの何らかの組み合わせで実装することができる。図4及び図5内の様々な要素が使用可能である。例えば、レンダリング614がGPU(図5、322)により実行されてもよく、イメージ処理610及び焦点検出612がCPU(図5、320)により実行されてもよい。プロセッサ(図4、210)もまた、イメージ処理610、レンダリング614、及び/又は焦点検出612に使用されてもよい。様々なプロセッサ210、320、322上で実行される命令は、メモリ(例えば、メモリ244、330、334、キャッシュ324、RAM326)内に記憶することができる。上記は単に例であり、限定であることは意図されない。さらに、処理ロジック602、レンダリング614、及び/又は焦点検出612がプロセッサ上で実行される命令により実装されることは必要とされない。例えば、特定用途向け集積回路(ASIC)が使用されてもよい。
図7は、カメラを焦点合わせする処理の一実施形態を示す。この処理は、図6のシステム600に用いることができる。図6内の要素に対して参照が行われるが、上記処理はシステム600に限定されない。上記処理はHMD2に用いることができるが、このことは必要とはされない。上記処理は、一実施形態において、赤外線カメラを焦点合わせするのに使用される。上記処理は、多数の方法で開始することができる。1つの可能性として、システム(例えば、HMD)が、カメラが焦点合わせされる必要があると判断し、このことに応答して上記処理開始する。
上記処理は、ユーザに代理イメージを提示することを含む。ステップ702において、システム600は、ユーザに、ユーザが処理の間に代理イメージを焦点合わせするよう試みるべきであると指示する。システム600は、上記指示が提供されるとき、代理イメージを提示していてもよく、あるいはしていなくてもよいことに留意する。システム600は、代理イメージを焦点合わせするための指示をさらに提供してもよい。この指示は、ユーザがカメラ焦点機構を調整して代理イメージをより良い焦点に至らせるよう試みるためのものであり得る。
ステップ704において、システム600は、カメラ604に関連付けられたデータを受信する。一実施形態において、このデータはカメラ604からのイメージデータである。例えば、上記データはIRイメージであり得る。上記データがカメラからのイメージデータであることは必要とされない。一実施形態において、上記データは、カメラ604と、カメラ604が焦点合わせされるべきオブジェクトとの間の距離を示す。
ステップ706において、システム600は、カメラ604が焦点合わせされている度合いを決定する。一実施形態において、システム600は、カメラ604からのイメージが焦点合わせされている度合いを決定する。しかしながら、システム600は、上記決定をイメージ以外の情報に基づかせてもよい。例えば、上記決定は、カメラ604と、カメラが焦点合わせされるべきオブジェクトとの間の距離を示すデータに基づいてもよい。
ステップ708において、システム600は、カメラ604が焦点内である度合いに逆相関するぼやけの度合いを有する代理イメージを生成する。上述されたとおり、このことは、逆の相関であり得る。別の言い方をすると、代理イメージ内のぼやけの度合いは、カメラ604が焦点から外れる度合いに相関する。さらなる詳細が下記で説明される。
ステップ710において、システム600は、代理イメージをディスプレイ606に表示する。このイメージは、一実施形態においてHMD上に表示される。上述されたとおり、ディスプレイ606には、ディスプレイ光学システム14、マイクロディスプレイ120、反射面124、光ガイド光学要素115、選択的反射面126を含むことができる。
ステップ712において、ユーザは、カメラ焦点合わせ機構を調整する。ユーザは、代理イメージを焦点に至らせるよう試みる。さらなる詳細が下記で説明される。
ステップ714において、システム600は、カメラ604が適切に焦点合わせされているかを決定する。そうである場合、処理は完了である。そうでない場合、処理はステップ704に戻って、カメラ604に関連付けられたさらなるデータを受信する。ユーザがカメラ焦点合わせ機構に対する調整を行ったと仮定して、システム600は、カメラ焦点の度合いが変わったと(ステップ706において)判断する。ゆえに、ステップ708において生成される代理イメージは、該代理イメージがカメラ焦点の新しい度合いに逆相関するように更新されたそのぼやけの度合いを有することになる。
図8は、代理イメージを生成する処理の一実施形態のフローチャートである。この処理は、図7のステップ708の一実施形態である。再びになるが、この処理がシステム600に限定されないという理解と共に、図6の要素に対して参照が行われる。ステップ802において、システム600は、プロセッサ読取可能記憶装置からのベースイメージ(base image)にアクセスする。ベースイメージは、典型的に、可視スペクトル内であるイメージである。ベースイメージの内容は必ずしも重大でない。このイメージはユーザに対して示されることになるため、このイメージは、ユーザがそれを焦点合わせできるための良い属性を有することに基づいて選択することができる。直接IRカメライメージから基づいて生成され得るイメージは、ユーザが焦点合わせするのに適さない可能性があることに留意する。例えば、IRイメージが、該イメージが可視であるように波長においてシフトされることになる場合、こうしたイメージをユーザが焦点合わせするのは、容易でない可能性がある。議論のために、図9Aは、植木鉢内に植物を有する一例示的なベースイメージ910を示す。このベースイメージ910はカメラ604からのイメージでないことに留意する。
ステップ804において、システム600は、ベースイメージ910をぼやけさせて代理イメージを形成する。議論のために、図9Bは、ベースイメージ910のぼやけたバージョンである一例示的な代理イメージ920を示す。ぼやけさせることは、一実施形態において数学的関数を使用することにより実行される。例えば、点広がり関数(PSF)が使用されてもよい。PSFは、ベースイメージ910内の各画素に適用することができ、このことは、各々のそれぞれの画素の光強度を近隣の画素に広げる働きをし得る。それから、その結果が合計されて、代理イメージ920が作り出される。PSFの幅は、所望のぼやけ度合いを引き起こすよう設定することができる。ステップ804は、一実施形態においてGPU上で実行される。
上記で論じられたとおり、代理イメージ920のぼやけの度合いは、カメラの焦点の度合いに逆相関する。例えば、カメラ604がより焦点内であるほど、代理イメージ920はよりぼやけなくなる。ゆえに、このことは、逆相関と称され得る。別法として、カメラ604がより焦点から外れるほど、代理イメージ920がよりぼやけると言われてもよい。
図9Cは、代理イメージ920のぼやけの度合いがカメラ604の焦点の度合いに逆相関することを表現する曲線950を有するグラフを表す。システム600は、カメラ焦点の度合いを表す値を決定することができ、この度合いはx軸で表すことができる。システム600は、所望の逆相関が作り出されるように代理イメージのための適切なぼやけの度合いを決定することができる。
図10Aは、カメラを焦点合わせするシステムの一実施形態の図である。このシステムは図6のシステム600の一変形であり、これにおいて、焦点検出612aはイメージデータを入力して、カメラ604が焦点内である度合いを決定する。イメージデータは、一実施形態においてIRイメージデータである。例えば、カメラ604が赤外線波長におけるイメージを捕捉する。図10AのシステムはHMD2であり得る。図の分かりにくさを回避するために、すべての要素が表されているわけではない。
焦点検出612aは、一実施形態において、イメージ処理手法を使用して、カメライメージが焦点内である度合いを決定する。カメラ604からのイメージが焦点内である度合いを決定するための、当業者に知られる複数の手法が存在する。任意の簡便な手法が使用されてよい。例えば、コントラスト検出が使用可能である。コントラスト検出は、カメライメージ内のコントラストを測定する。隣接する画素間の強度差は、正しいイメージ焦点と共に増加するものである。そのため、光学システムは、最大コントラストが検出されるまで調整することができる。カメライメージを解析する他の手法を使用して、カメライメージが焦点内である度合いを決定してもよい。
ベースイメージ910は、レンダリング614に入力されるものとして示され、レンダリング614は、代理イメージ920を出力する。代理イメージ920はディスプレイ606上に提示される。ユーザ(目140により表される)はカメラ焦点機構605を手動で調整することができる。例えば、ユーザは、カメラ焦点機構605に沿った両方向矢印により示されるようにカメラ604を動かすことにより、自身の(1つ又は複数の)目とカメラ604との間の距離を調整することができる。カメラ焦点機構605は、一例として、目140に対するカメラ604の距離を調整できる任意の構造であってよい。カメラ焦点機構605は、目に対してのカメラ場所を移動できるHMD2のフレーム上の構造であってもよい。他の手法を使用してカメラ604の焦点を調整してもよい。
図10Aの例において、処理ロジック602は目追跡1010を有し、目追跡1010はカメライメージデータを入力する。目追跡1010は、図6からのイメージ処理610の一例である。
焦点検出612がイメージ解析を使用することは必要とされない。図10Bは、焦点検出612bが距離データを使用してカメラ604が焦点内である度合いを決定する一実施形態の図である。距離データは、一実施形態において、カメラ604が、該カメラが焦点合わせしているオブジェクトからどれほど離れているかを示す。距離データは、一実施形態において、カメラ604がユーザの目140からどれほど離れているかを示す。図10AのシステムはHMD2であり得る。図の分かりにくさを回避するために、すべての要素が表されているわけではない。
焦点検出612bは、カメラ604があるべきターゲット距離を有することができる。焦点検出612bは、一例として、焦点の度合いを各距離に関連付ける値を有するテーブルにアクセスしてもよい。別の例として、焦点検出612bは、数学的方程式を採用して、入力された距離とカメラ604の既知の属性、例えば焦点距離などとに基づいて焦点の度合いを決定してもよい。
距離データは、カメラ604自体により提供されてもよい。例えば、カメラ604は、該カメラ自体と焦点合わせされるべきオブジェクトとの間の距離を決定することができるレンジファインダーを有してもよい。距離データは、焦点合わせされているカメラ604以外の要素により提供することもできる。例えば、HMD上に、距離を決定するのに使用できるの別のカメラがあってもよい。別法として、距離データ(HMD上のカメラのための)は、HMD上にないデバイス、例えば近くの別のカメラなどにより決定されてもよい。
図11は、本明細書に開示されるハブコンピューティングシステム12又は他のプロセッサを実装するのに使用できるコンピューティングシステムの一例示的な実施形態を示す。図11に示されるように、コンピューティングシステム500は中央処理ユニット(CPU)501を有し、CPU501は、レベル1キャッシュ502、レベル2キャッシュ504、及びフラッシュROM(読取専用メモリ)506を有する。レベル1キャッシュ502及びレベル2キャッシュ504は、データを一時的に記憶し、ゆえにメモリアクセスサイクル数を低減させ、これにより処理スピード及びスループットを向上させる。CPU501は、2つ以上のコアと、ゆえにさらなるレベル1キャッシュ502及びレベル2キャッシュ504とを有して提供されてもよい。フラッシュROM506は、コンピューティングデバイス500が電源オンされるとき、ブート処理の初期フェーズの間にロードされる実行可能コードを記憶することができる。
グラフィックス処理ユニット(GPU)508及びビデオエンコーダ/ビデオコーデック(コーダ/デコーダ)514は、高スピード及び高解像度グラフィックス処理のためのビデオ処理パイプラインを形成する。データが、バスを介してグラフィックス処理ユニット508からビデオエンコーダ/ビデオコーデック514に運ばれる。ビデオ処理パイプラインは、テレビジョン又は他のディスプレイに対する送信のためにデータをA/V(オーディオ/ビデオ)ポート540に出力する。メモリコントローラ510がGPU508に接続されて、様々なタイプのメモリ512、例えば、これらに限られないがRAM(ランダムアクセスメモリ)などに対するプロセッサアクセスを容易にする。
コンピューティングデバイス500は、I/Oコントローラ520、システム管理コントローラ522、オーディオ処理ユニット523、ネットワークインターフェース524、第1のUSBホストコントローラ526、第2のUSBコントローラ528、及びフロントパネルI/Oサブアセンブリ530を含み、これらは、好ましくはモジュール518上に実装される。USBコントローラ526及び528は、ペリフェラルコントローラ542(1)〜542(2)、無線アダプタ548、及び外部メモリデバイス546(例えば、フラッシュメモリ、外部CD/DVD ROMドライブ、リムーバブルメディア等)のためのホストとして機能する。ネットワークインターフェース524及び/又は無線アダプタ548は、ネットワーク(例えば、インターネット、ホームネットワーク等)に対するアクセスを提供し、イーサネット(登録商標)カード、モデム、Bluetoothモジュール、ケーブルモデムなどを含む広範囲の様々な有線又は無線アダプタコンポーネントのうち任意のものであってよい。
システムメモリ543は、ブート処理の間にロードされるアプリケーションデータを記憶するよう提供される。メディアドライブ544が提供され、メディアドライブ544には、DVD/CDドライブ、Blu−Ray(登録商標)ドライブ、ハードディスクドライブ、又は他のリムーバブルメディアドライブ等を含むことができる。メディアドライブ544は、コンピューティングデバイス500に対して内部又は外部であり得る。アプリケーションデータは、コンピューティングデバイス500による実行、再生等のためにメディアドライブ544を介してアクセスすることができる。メディアドライブ544は、シリアルATAバス又は他の高スピード接続(例えば、IEEE1394)などのバスを介してI/Oコントローラ520に接続される。
システム管理コントローラ522は、コンピューティングデバイス500の可用性を保証することに関連した様々なサービス機能を提供する。オーディオ処理ユニット523及びオーディオコーデック532は、対応するオーディオ処理パイプラインを高い忠実度及びステレオ処理で形成する。オーディオデータが、通信リンクを介してオーディオ処理ユニット523とオーディオコーデック532との間で運ばれる。オーディオ処理パイプラインは、オーディオ能力を有する外部オーディオユーザ又はデバイスによる復元のためにデータをA/Vポート540に出力する。
フロントパネルI/Oサブアセンブリ530は、電源ボタン550及び取出しボタン552と、コンピューティングデバイス500の外側表面上にさらされる任意のLED(発光ダイオード)又は他のインジケータとの機能性をサポートする。システム電力供給モジュール536が、コンピューティングデバイス500のコンポーネントに電力を提供する。ファン538が、コンピューティングデバイス500内の回路を冷却する。
CPU501、GPU508、メモリコントローラ510、及びコンピューティングデバイス500内の様々な他のコンポーネントは、1つ以上のバスを介して相互接続され、上記バスには、様々なバスアーキテクチャのうち任意のものを用いたシリアル及びパラレルバス、メモリバス、ペリフェラルバス、及びプロセッサ又はローカルバスが含まれる。例として、こうしたアーキテクチャには、ペリフェラルコンポーネントインターコネクト(PCI)バス、PCIエクスプレスバス等を含むことができる。
コンピューティングデバイス500が電源オンされるとき、アプリケーションデータがシステムメモリ543からメモリ512及び/又はキャッシュ502、504にロードされ、CPU501上で実行されることができる。アプリケーションは、コンピューティングデバイス500上で利用可能な種々のメディアタイプにナビゲートするときに一貫性のあるユーザ体験を提供するグラフィカルユーザインターフェースを提示することができる。動作において、メディアドライブ544内に含まれるアプリケーション及び/又は他のメディアは、メディアドライブ544から起動され又は再生されて、コンピューティングデバイス500にさらなる機能性を提供することができる。
コンピューティングデバイス500は、システムをテレビジョン又は他のディスプレイに単に接続することにより、スタンドアロンシステムとして動作することができる。このスタンドアロンモードにおいて、コンピューティングデバイス500は、1以上のユーザがシステムと対話し、動画を鑑賞し、又は音楽を聴くことを可能にする。しかしながら、ネットワークインターフェース524又は無線アダプタ548をとおして可能にされるブロードバンド接続性の統合で、コンピューティングデバイス500はさらに、より大きいネットワークコミュニティ内の参加者として動作することができる。さらに、コンピューティングデバイス500は、無線アダプタ548を介して処理ユニット4と通信することができる。
任意的な入力デバイス(例えば、コントローラ542(1)及び542(2))が、ゲーミングアプリケーション及びシステムアプリケーションにより共有される。入力デバイスは、予約されたリソースでないが、システムアプリケーションとゲーミングアプリケーションとの間で各々がデバイスのフォーカス(focus)を有することになるように切り換えられる。アプリケーションマネージャが、好ましくは、ゲーミングアプリケーションの知識を知ることなく入力ストリームの切り換えを制御し、ドライバが、フォーカス切り換えに関する状態情報を維持する。捕捉デバイス20は、USBコントローラ526又は他のインターフェースを介してデバイス500のためのさらなる入力デバイスを定義することができる。他の実施形態において、ハブコンピューティングシステム12は他のハードウェアアーキテクチャを用いて実装されてもよい。ハードウェアアーキテクチャは必要とはされない。
対象事項が構造的特徴及び/又は方法論的動作に固有の言語で説明されたが、別記の請求項に定義される対象事項は必ずしも上記で説明された具体的な特徴又は動作に限定されないことが理解されるべきである。むしろ、上記で説明された具体的な特徴及び動作は、請求項を実施する例示的な形態として開示されている。本発明の範囲は、別記される請求項により定義されることが意図される。

Claims (14)

  1. ディスプレイと、
    カメラと、
    前記ディスプレイ及び前記カメラと通信する処理ロジックと、を備え、
    前記処理ロジックは、
    前記カメラに関連付けられたイメージデータを受信し、
    前記イメージデータに基づいて前記カメラが焦点内である度合いを決定し、
    前記カメラからの前記イメージデータの内容と独立した内容を有する可視のベースイメージをぼやけさせて、前記カメラが焦点内である前記度合いに逆相関するぼやけの度合いを有する代理イメージを生成し、
    前記代理イメージを前記ディスプレイに表示し、
    カメラ焦点機構を調整して前記代理イメージにより良く焦点合わせするようにユーザに指示する、
    ように構成される、装置。
  2. 前記処理ロジックは、前記代理イメージを表示した後に前記カメラに関連付けられた更新されたイメージデータを受信し、前記カメラが焦点内である新しい度合いを決定し、前記カメラが焦点内である新しい度合いに逆相関するように前記代理イメージのぼやけの度合いを修正し、前記の修正されたぼやけの度合いに基づいて更新された代理イメージを表示する、請求項1に記載の装置。
  3. 前記処理ロジックが受信する、前記カメラに関連付けられた前記イメージデータは、前記カメラからのイメージであり、前記処理ロジックは、前記イメージが焦点内である度合いに基づいて、前記カメラが焦点内である度合いを決定する、請求項1又は2に記載の装置。
  4. 前記カメラからの前記イメージは赤外線(IR)イメージである、請求項3に記載の装置。
  5. 前記処理ロジックにより受信される、前記カメラに関連付けられた前記イメージデータは、オブジェクトから前記カメラがある距離を含み、前記処理ロジックは、前記距離に基づいて前記カメラが焦点内である度合いを決定する、請求項1又は2に記載の装置。
  6. 前記ディスプレイは、目の近くのシースルーディスプレイであり、当該装置は、ヘッドマウントディスプレイ(HMD)であり、前記カメラは、前記HMDを装着しているユーザに対して焦点合わせされる、請求項1乃至5のうちいずれか1項に記載の装置。
  7. グラフィックス処理ユニット(GPU)、をさらに含み、前記処理ロジックは、前記可視のベースイメージをぼやけさせて前記GPUで前記代理イメージを作成する、請求項に記載の装置。
  8. メラに関連付けられたイメージデータを受信することと、
    記の受信されたイメージデータに基づいて前記カメラが焦点内である度合いを決定することと、
    プロセッサ読取可能記憶装置からの可視のベースイメージにアクセスすることであり、前記可視のベースイメージは、前記カメラからのイメージの内容と一致しない内容を有する、ことと、
    前記可視のベースイメージをぼやけさせて、前記カメラが焦点内である前記度合いに逆相関するぼやけの度合いを有する代理イメージを生成することと、
    記代理イメージをディスプレイに表示することと、
    前記カメラが適切な度合いに焦点合わせされるまで、前記受信すること、決定すること、ぼやけさせること、及び表示することを繰り返すことであって、前記カメラに関連付けられた更新されたイメージデータを受信することと、前記カメラが焦点内である新しい度合いを決定することと、前記カメラが焦点内である前記新しい度合いに逆相関するように前記代理イメージのぼやけの度合いを修正することと、前記の修正された代理イメージを前記ディスプレイに表示することとを含む、ことと、
    を含む方法。
  9. 前記カメラに関連付けられた焦点機構を調整して前記代理イメージをより良い焦点に至らせるよう試みるようにユーザに指示すること、
    をさらに含む請求項に記載の方法。
  10. 前記カメラに関連付けられたイメージデータを受信することは、前記カメラから前記イメージを受信することを含み、
    前記イメージデータに基づいて前記カメラが焦点内である度合いを決定することは、前記の受信されたイメージが焦点内である度合いを決定することを含む、
    請求項又はに記載の方法。
  11. 前記カメラからの前記イメージは赤外線(IR)イメージである、請求項1に記載の方法。
  12. 前記カメラに関連付けられたイメージデータを受信することは、オブジェクトから前記カメラがある距離を示すデータを受信することを含み、
    前記カメラが焦点内である度合いを決定することは、前記距離に基づいて前記カメラが焦点内である度合いを決定することを含む、
    請求項又はに記載の方法。
  13. 前記可視のベースイメージをぼやけさせて前記代理イメージを生成することは、
    前記可視のベースイメージを数学的にぼやけさせて前記代理イメージを作成するこ
    を含む、請求項乃至1のうちいずれか1項に記載の方法。
  14. 前記可視のベースイメージを数学的にぼやけさせて前記代理イメージを作成することは、グラフィックス処理ユニット(GPU)でグラフィックスイメージ処理を用いることを含む、請求項1に記載の方法。
JP2017527868A 2014-12-05 2015-11-28 仮想焦点フィードバック Active JP6718873B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/562,292 US10498976B2 (en) 2014-12-05 2014-12-05 Virtual focus feedback
US14/562,292 2014-12-05
PCT/US2015/062849 WO2016089712A1 (en) 2014-12-05 2015-11-28 Virtual focus feedback

Publications (2)

Publication Number Publication Date
JP2018507570A JP2018507570A (ja) 2018-03-15
JP6718873B2 true JP6718873B2 (ja) 2020-07-08

Family

ID=55022682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017527868A Active JP6718873B2 (ja) 2014-12-05 2015-11-28 仮想焦点フィードバック

Country Status (6)

Country Link
US (1) US10498976B2 (ja)
EP (1) EP3228072B1 (ja)
JP (1) JP6718873B2 (ja)
KR (1) KR102599889B1 (ja)
CN (1) CN107005653B (ja)
WO (1) WO2016089712A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10359629B2 (en) * 2015-08-03 2019-07-23 Facebook Technologies, Llc Ocular projection based on pupil position
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US9544054B1 (en) * 2015-08-10 2017-01-10 Facebook, Inc. Multidirectional communication system
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US12008879B2 (en) * 2016-05-31 2024-06-11 Euro Protection Surveillance Personal system for the detection of a fall or a fall prone situation
US11222519B2 (en) * 2016-05-31 2022-01-11 Ellcie-Healthy Personal system for the detection of a risky situation, more particularly of a fall prone situation
US10964190B2 (en) * 2016-05-31 2021-03-30 Ellcie-Healthy Personal system for the detection of a risky situation and alert
CN115037917A (zh) 2016-10-12 2022-09-09 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
US10877556B2 (en) 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
KR102173778B1 (ko) 2017-07-25 2020-11-03 주식회사 엘지화학 배터리 관리 유닛 및 이를 포함하는 배터리팩
KR102086779B1 (ko) * 2018-05-14 2020-03-09 단국대학교 산학협력단 포커스 설정 모듈 및 방법, 그것을 포함하는 버추얼 영상 재생 시스템
CN112261300B (zh) * 2020-10-22 2021-12-24 维沃移动通信(深圳)有限公司 对焦方法、装置及电子设备
US20230283896A1 (en) * 2022-03-03 2023-09-07 Jsc Yukon Advanced Optics Worldwide Focus indication for manual focus adjustments
US20230319425A1 (en) * 2022-03-29 2023-10-05 Htc Corporation Head mounted display device

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753919B1 (en) * 1998-11-25 2004-06-22 Iridian Technologies, Inc. Fast focus assessment system and method for imaging
EP1171996B1 (en) 1998-11-25 2010-07-21 Iridian Technologies, Inc. Fast focus assessment system and method for imaging
US7053953B2 (en) * 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
US7538326B2 (en) 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
DE602007000971D1 (de) 2006-01-20 2009-06-10 Fluke Corp Kamera mit Bildmischung aus sichtbarem Licht und Infrarotlicht
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
KR101488655B1 (ko) * 2007-09-14 2015-02-03 삼성전자 주식회사 자동 초점 조절 장치 및 방법
US8194995B2 (en) 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
JP2010213105A (ja) * 2009-03-11 2010-09-24 Olympus Corp 撮像装置
JP5346266B2 (ja) * 2009-09-30 2013-11-20 富士フイルム株式会社 画像処理装置、カメラ及び画像処理方法
US8599264B2 (en) 2009-11-20 2013-12-03 Fluke Corporation Comparison of infrared images
DE102010019399B4 (de) 2010-05-04 2019-02-28 Testo Ag Bildaufnahmeverfahren für IR-Bilder und Wärmebildkamera
US8654239B2 (en) 2010-05-17 2014-02-18 Flir Systems Ab Focus ring-controlled focusing servo
JP2012023468A (ja) * 2010-07-12 2012-02-02 Ricoh Co Ltd 撮像装置
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8508652B2 (en) 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
JP5779910B2 (ja) 2011-03-01 2015-09-16 日本電気株式会社 赤外線カメラ及び焦点位置補正方法
JP2013114123A (ja) 2011-11-30 2013-06-10 Seiko Epson Corp 透過型表示装置、表示方法および表示プログラム
US8736747B2 (en) 2012-01-13 2014-05-27 Sony Corporation Camera autofocus adaptive blur matching model fitting
JP2013165413A (ja) * 2012-02-13 2013-08-22 Nikon Corp 画像表示装置
US9001030B2 (en) 2012-02-15 2015-04-07 Google Inc. Heads up display
KR20230173231A (ko) * 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102085766B1 (ko) * 2013-05-30 2020-04-14 삼성전자 주식회사 촬영 장치의 자동 초점 조절 방법 및 장치
CN104079908B (zh) * 2014-07-11 2015-12-02 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置

Also Published As

Publication number Publication date
KR20170094255A (ko) 2017-08-17
EP3228072A1 (en) 2017-10-11
CN107005653B (zh) 2021-04-27
KR102599889B1 (ko) 2023-11-07
CN107005653A (zh) 2017-08-01
JP2018507570A (ja) 2018-03-15
US20160165151A1 (en) 2016-06-09
EP3228072B1 (en) 2021-03-10
WO2016089712A1 (en) 2016-06-09
US10498976B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
JP6718873B2 (ja) 仮想焦点フィードバック
KR102416282B1 (ko) 이벤트 카메라 데이터를 사용한 눈 추적을 위한 방법 및 디바이스
US20140375540A1 (en) System for optimal eye fit of headset display device
KR101960980B1 (ko) 증강 현실 디스플레이용 최적화 초점 영역
US10852817B1 (en) Eye tracking combiner having multiple perspectives
US20150003819A1 (en) Camera auto-focus based on eye gaze
US9588341B2 (en) Automatic variable virtual focus for augmented reality displays
JP6641361B2 (ja) 切換え式回折格子を利用した導波路アイトラッキング
KR102208376B1 (ko) Hmd 상의 하이브리드 월드/바디 락 hud
TWI597623B (zh) 可穿戴基於行爲的視覺系統
US9288468B2 (en) Viewing windows for video streams
CA2750287C (en) Gaze detection in a see-through, near-eye, mixed reality display
US20160131902A1 (en) System for automatic eye tracking calibration of head mounted display device
WO2013067230A1 (en) See-through display brightness control
US11307654B1 (en) Ambient light eye illumination for eye-tracking in near-eye display
EP3990970A1 (en) Utilizing dual cameras for continuous camera capture
US10859832B1 (en) Mitigating light exposure to elements of a focus adjusting head mounted display
WO2024137467A1 (en) Three-dimensional (3d) compressive sensing based eye tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6718873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250