JP6837003B2

JP6837003B2 - 眼と異なるレンズの位置を補正する、実際のシーンを見るための仮想眼鏡セット

Info

Publication number: JP6837003B2
Application number: JP2017550754A
Authority: JP
Inventors: マトソン，サミュエル・マーク; ケーザー，ドミニク・フィレモン
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2015-04-30
Filing date: 2016-04-27
Publication date: 2021-03-03
Anticipated expiration: 2036-04-27
Also published as: JP7109509B2; EP4236310A3; EP3289401A1; KR20170105617A; JP2020202569A; JP2018523321A; US20160323567A1; EP3289401B1; CN107438788A; KR102028088B1; EP4236310A2; WO2016176309A1; US10715791B2

Description

関連出願との相互参照
この出願は、「眼と異なる接触の位置を補正する、実際のシーンを見るための仮想眼鏡セット（Virtual Eyeglass Set for Viewing Actual Scene that Corrects for Different Location of Contacts Than Eyes）」と題される２０１５年４月３０日に出願された米国仮出願第６２／１５５，４２４号に対する優先権を主張するものであり、その開示内容をここに引用により援用する。

技術分野
この記載は光学システムに関する。

概要
例示的な実施形態によれば、仮想眼鏡セットは、フレーム、第１の仮想レンズおよび第２の仮想レンズ、ならびにプロセッサを含んでもよい。フレームは、ユーザの頭に装着され、ユーザの左目の前に第１の仮想レンズを、ユーザの右目の前に第２の仮想レンズを保持するように構成されてもよい。第１の仮想レンズはフレームによって支持されてもよく、第２の仮想レンズはフレームによって支持されてもよい。仮想眼鏡セットがユーザの頭に装着されたとき、レンズの第１の側がユーザに面し、レンズの第２の側がユーザに面しないように、第１の仮想レンズおよび第２の仮想レンズの各々はフレームによって支持されてもよい。第１の仮想レンズおよび第２の仮想レンズの各々は、第１の側にライトフィールドディスプレイ、および第２の側にライトフィールドカメラを含んでもよい。プロセッサはフレームによって支持されてもよい。プロセッサは、ライトフィールドカメラの各々を介して受信された画像データに基づいてライトフィールドディスプレイの各々に表示するために、ユーザのそれぞれの眼の視点からの画像を構築するように構成されてもよい。

他の例示的な実施形態によれば、仮想眼鏡セットは、フレーム、第１の仮想レンズ、第２の仮想レンズ、およびプロセッサを含んでもよい。フレームは、ユーザの頭に装着され、ユーザの左目の前に第１の仮想レンズを、ユーザの右目の前に第２の仮想レンズを保持するように構成されてもよい。第１の仮想レンズはフレームによって支持されてもよく、第２の仮想レンズはフレームによって支持されてもよい。仮想眼鏡セットがユーザの頭に装着されたとき、レンズの第１の側がユーザに面し、レンズの第２の側がユーザに面しないように、第１の仮想レンズおよび第２の仮想レンズの各々はフレームによって支持されてもよい。第１の仮想レンズおよび第２の仮想レンズの各々は、第１の側にディスプレイ、および第２の側に広角カメラを含んでもよい。プロセッサはフレームによって支持されてもよい。プロセッサは、広角カメラの各々によって受取られた画像を落とすことによるディスプレイの各々上での表示のために構成されてもよく、それぞれのレンズの各側上のディスプレイは、それぞれの広角カメラよりも狭い角度で画像を表示し、画像は、ユーザのそれぞれの眼から始まる円錐を表す。

別の例示的実施形態によれば、右レンズおよび左レンズの各々に、レンズの反対側のライトフィールドカメラを介して受信されるデータに基づくライトフィールド画像を表示するよう構成される仮想眼鏡セットであって、ライトフィールド画像は、仮想眼鏡セットを装着したユーザの眼の視点から仮想眼鏡セットを越える対象物の画像を提示する。

１つ以上の実現例の詳細は、添付の図面および以下の記載において述べられる。他の特徴は記載および図面、ならびに請求項から明らかになる。

例示的な実施形態による仮想眼鏡セットを装着しているユーザの図である。例示的な実施形態による仮想眼鏡セットおよびユーザの眼の分解図である。例示的な実施形態による仮想眼鏡セットからのレンズを示す上面図である。例示的な実施形態による仮想眼鏡セットからレンズの各々の第１の側を示す背面図である。例示的な実施形態による仮想眼鏡セットからレンズの各々の第２の側を示す前面図である。例示的な実施形態によるユーザの眼およびレンズの視野を示す。対象物が２つのレンズのうちの第２のレンズの視野内にある例におけるユーザの眼およびレンズを示す。対象物が各レンズのビューポイントのいくつかの視野にある例におけるユーザの眼およびレンズを示す。対象物が各レンズのビューポイントのすべての視野にある例におけるユーザの眼およびレンズを示す。各レンズのビューポイントの１つが、ユーザの眼の一方から対象物への視線によって交差される例における、ユーザの眼およびレンズを示す。各レンズが広角カメラを含む例における、ユーザの眼およびレンズを示す。例示的な実施形態による仮想眼鏡セットに含まれるプロセッサを示す。

詳細な記載
仮想眼鏡セットは、仮想眼鏡セットを着用しているユーザに面する各レンズの第１の側に、ユーザの前の実際のシーンを表示するディスプレイと、ユーザに面していない各レンズの第２の側に、ユーザの前の実際のシーンをキャプチャするカメラとを含んでもよい。レンズ上のカメラと異なる、ユーザの眼のための原点を生じさせる、ユーザの眼がレンズの背後にある距離に対して補正を行なうために、カメラは、複数のビューポイントを伴うライトフィールドカメラを含んでもよく、仮想眼鏡セットは、ユーザに表示するために眼の観点から画像を構築するプロセッサを含んでもよく、それにより視差効果を排除してもよい。プレノプティックカメラとみなしてもよいライトフィールドカメラは、複数のカメラもしくはサブカメラおよび／または複数のレンズを使用して、複数の位置および／またはビューポイントから画像をキャプチャしてもよい。複数の位置および／またはビューポイントから画像をキャプチャすることにより、画像が実際にはキャプチャされなかった観点および／または位置から３次元シーンの画像を構築することができる。フラットスクリーンではなく、３次元シーンの画像を生成するために、ディスプレイは、複数のディスプレイを有するライトフィールドディスプレイを含んでもよい。ライトフィールドディスプレイは、奥行の手がかりを用いて各ユーザの眼の各々に３次元画像を提示してもよく、ライトフィールドディスプレイを覗くと、ユーザは実際のシーンを覗いているかのように感じることができる。

図１Ａは、例示的な実施形態による仮想眼鏡セット１０２を装着しているユーザ１００の図である。仮想眼鏡セット１０２は、ユーザの鼻１０８および耳１１０Ａ、１１０Ｂ上に置かれ、および／または装着されてもよい。仮想眼鏡セット１０２は、ユーザの鼻１０８および耳１１０Ａ、１１０Ｂを含めて、ユーザの頭に載置および／または装着されるフレーム１０４を含んでもよい。

仮想眼鏡セット１０２は、２つのレンズ１０６Ａ、１０６Ｂを含んでもよい。レンズ１０６Ａ、１０６Ｂは、あたかもユーザ１００が透き通ったおよび／または存在しないレンズを通して見ているかのように、ユーザ１００の前の実際のシーンの画像を示すように見えるので、仮想レンズと考えてもよい。レンズ１０６Ａ、１０６Ｂは、仮想眼鏡セットがユーザ１００の頭に取り付けられたときに、レンズ１０６Ａ、１０６Ｂが各々ユーザの眼（図１Ａには示されていない）の一方の直前に位置するように、フレーム１０４によって支持されてもよい）。

図１Ｂは、例示的な実施形態による仮想眼鏡セット１０２およびユーザの眼１１２Ａ，１１２Ｂの分解図である。図１Ｂに示すように、仮想眼鏡セット１０２は、フレーム１０４と、レンズ１０６Ａ、１０６Ｂと、プロセッサ１１３とを含んでもよい。プロセッサ１１３は、各レンズ１０６Ａ、１０６Ｂから、ユーザに面していないカメラ（図２Ｂには図示せず）からの入力を受信してもよく、ユーザに面しているレンズ１０６Ａ、１０６Ｂの第１の側のディスプレイ（図２Ｂには示されていない）上で提示および／または表示するために、ユーザの眼１１２Ａ、１１２Ｂと同じ観点および／または視点を有する画像を構成してもよい。第１のレンズ１０６Ａおよび／または左レンズの第１の側の第１のライトフィールドディスプレイは、ユーザの第１の眼１１２Ａおよび／または左目と同じ観点および／または視点を有する第１の画像を表示してもよく、第２のレンズ１０６Ｂおよび／または右レンズの第１の側の第２のライトフィールドディスプレイは、ユーザの第２の眼１１２Ｂおよび／または右目と同じ観点および／または視点を有する画像を表示してもよく、ユーザのための３次元シーンの効果を作り出す。

図１Ｃは、例示的な実施形態による仮想眼鏡セット１０２からのレンズ１０６Ａ，１０６Ｂを示す上面図である。図１Ｃに示すように、レンズ１０６Ａ、１０６Ｂの各々は、ユーザの眼１１２Ａ、１１２Ｂ（図１Ｃには図示せず）に面する第１の側１１８Ａと、ユーザ１００に面しない第２の側１２０Ａ、１２０Ｂとを含んでもよい。

各レンズ１０６Ａ、１０６Ｂの第１の側１１８Ａ、１１８Ｂは、ライトフィールドディスプレイ１１４Ａ、１１４Ｂを含んでもよい。ライトフィールドディスプレイ１１４Ａ、１１４Ｂは、ユーザのそれぞれの眼１１２Ａ、１１２Ｂにライトフィールド画像を提示するために複数の画素を含んでもよい。ライトフィールド画像は、ユーザ１００のそれぞれの眼１１２Ａ、１１２Ｂの視点および／または観点からの、ユーザ１００の前の実際のライブシーンの再構築画像であってもよい。２つのレンズ１０６Ａ、１０６Ｂのライトフィールドディスプレイ１１４Ａ、１１４Ｂは、共に、ユーザ１００の前のライブの実際のシーンの３次元画像を生成してもよく、その結果、画像は、あたかも、ユーザ１００がフレーム１０４内の透明および／または存在しないレンズ１０６Ａ、１０６Ｂを通して見るように、見える。

例示的な実施形態では、レンズ１０６Ａ、１０６Ｂの各々は、レンズ１０６Ａ、１０６Ｂの第１の側１１８Ａ、１１８Ｂ上に方向カメラ１２２Ａ、１２２Ｂも含んでもよい。方向カメラ１２２Ａ、１２２Ｂは、ユーザの網膜および／または眼１１２Ａ、１１２Ｂの画像をキャプチャし、プロセッサ１１３（図１Ｃには図示せず）と組合わせて、ユーザ１００の眼１１２Ａ、１１２Ｂおよび／または網膜が指している方向および／またはユーザ１００が見ている方向を判断してもよい。プロセッサ１１３は、方向カメラ１２２Ａ、１２２Ｂによってキャプチャされた画像に基づいて判断された方向に基づき、ライトフィールドカメラ１１６Ａ、１１６Ｂから受信される画像データおよびキャプチャされた方向に基づいて、各ライトフィールドディスプレイ１１４Ａ、１１４Ｂによってユーザ１００の眼１１２Ａ、１１２Ｂの視点および方向から表示するための画像を生成および／または構築し、それによって、ユーザ１００が見ている方向と整合する画像を生成してもよい。

例示的な実施形態では、方向カメラ１２２Ａ、１２２Ｂの代わりに、または方向カメラ１２２Ａ、１２２Ｂに加えて、レンズ１０６Ａ、１０６Ｂの各々の第１の側１１８Ａ、１１８Ｂは、視力カメラを含んでもよい。第１の側１１８Ａ、１１８Ｂ上の視力カメラは、方向カメラ１２２Ａ、１２２Ｂに加えて第２のカメラであってもよく、または方向カメラ１２２Ａ、１２２Ｂは、視力カメラの機能も実行してもよい。視力カメラは、ユーザ１００のそれぞれの眼１１２Ａ、１１２Ｂのユーザ１００の網膜の画像をキャプチャしてもよい。プロセッサ１１３（図１Ｃには示されていない）は、視力カメラによってキャプチャされたユーザ１００の網膜の画像に基づいて、ユーザ１００の視力を判断してもよい。プロセッサ１１３は、たとえば、ユーザ１００がいずれかまたは両方の眼１１２Ａ、１１２Ｂにおいて近視であるか、遠視であるか、または非点収差を有するかどうかを含む、ユーザ１００の視力を判断してもよい。ユーザ１００の視力の決定に基づいて、プロセッサ１１３は、特定のユーザの画像の視認性を最大にするために、それぞれのライトフィールドディスプレイ１１４Ａによって表示するための画像を修正および／または構築してもよい。プロセッサ１１３は、また、ユーザ１００の視力に関してユーザ１００から受取った入力に基づいて画像を修正および／または構築してもよい。

各レンズ１０６Ａ、１０６Ｂの第２の側１２０Ａ、１２０Ｂは、ライトフィールドカメラ１１６Ａ、１１６Ｂを含んでもよい。各レンズ１０６Ａ、１０６Ｂのライトフィールドカメラ１１６Ａ、１１６Ｂは、図１Ｅに示すように、複数のビューポイントを含んでもよく、および／または複数のビューポイントから構成されてもよく、ライトフィールドカメラ１１６Ａ、１１６Ｂを、複数の位置、観点、および／または視点から画像をレンダリングおよび／またはキャプチャすることができるようにする。複数のビューポイントは、各々がそれ自体のレンズを有する、異なる位置にある複数のカメラ、１つのレンズを共有する複数のカメラ、または複数のレンズを使用する単一のカメラのビューポイントに対応してもよい。１つまたは複数のカメラのレンズのいずれかまたはすべてのレンズは、フレネルレンズを含んでもよい。フレネルレンズは１つまたは複数のカメラの各々の視野を増大させてもよい。プロセッサ１１３は、各ライトフィールドカメラ１１６Ａ、１１６Ｂの複数のビューポイントから入力を受取り、複数のビューポイントから受取った入力に基づいて、ビューポイントのいずれによっても占められていない位置および／または観点から画像を構築してもよい。

図１Ｄは、例示的な実施形態に従って、ユーザ１００に面する仮想眼鏡セット１０２からレンズ１０６Ａ，１０６Ｂの各々の第１の側１１８Ａ，１１８Ｂ（仮想眼鏡セット１０２の他の構成要素は図１Ｄにおいては示されない）を示す背面図である。図１Ｄに示すように、レンズ１０６Ａ、１０６Ｂの各々の第１の側１１８Ａ、１１８Ｂ上のライトフィールドディスプレイ１１４Ａ、１１４Ｂ（図１Ｄには示されていない）は、複数のサブディスプレイ１２４Ａ、１２４Ｂで構成されてもよく、および／または複数のサブディスプレイ１２４Ａ、１２４Ｂを含んでもよい。複数のサブディスプレイ１２４Ａ、１２４Ｂの各々は、別個の画像を生成することができる複数の画素を有する別個のディスプレイであってもよいし、または複数のサブディスプレイ１２４Ａ、１２４Ｂの各々は、単一の画素を含んでもよく；サブディスプレイ１２４Ａ、１２４Ｂは、集合的にライトフィールドディスプレイ１１４Ａ、１１４Ｂを構成してもよい。各レンズ１０６Ａ、１０６Ｂ上のサブディスプレイ１２４Ａ、１２４Ｂは、集合的に、プロセッサ１１３（図１Ｄには図示せず）によって構築された画像を表示してもよい。サブディスプレイ１２４Ａ、１２４Ｂは、集合的に、この例では合計１００個のサブディスプレイ１２４Ａ、１２４Ｂに対して、１０×１０のグリッドまたはアレイなどのグリッドまたはアレイを、レンズ１０６Ａ、１０６Ｂの第１の側１１８Ａ，１１８Ｂ上に形成してもよく、および／またはレンズ１０６Ａ、１０６Ｂの第１の側１１８Ａ、１１８Ｂの少なくとも９０％を覆ってもよい。

図１Ｅは、例示的な実施形態に従って、ユーザ１００に面しない、仮想眼鏡セット１０２からのレンズ１０６Ａ，１０６Ｂの各々の第２の側１２０Ａ，１２０Ｂ（仮想眼鏡セット１０２の他の構成要素は図１Ｅにおいては示されない）を示す前面図である。図１Ｅに示すように、レンズ１０６Ａ、１０６Ｂの各々の第２の側１２０Ａ，１２０Ｂ上のライトフィールドカメラ１１６Ａ、１１６Ｂ（図１Ｅには符号は示されていない）は、複数のビューポイント１２６Ａ、１２６Ｂを規定、提示、および／またはキャプチャしてもよい。複数のビューポイント１２６Ａ、１２６Ｂの各々は、異なる位置にあってもよい。複数のビューポイント１２６Ａ、１２６Ｂの各々の異なる位置は、ライトフィールドカメラ１１６Ａ、１１６Ｂが、複数の視点および／または観点からユーザ１００の前のシーンをキャプチャすることを可能にしてもよい。

複数のビューポイント１２６Ａ、１２６Ｂの各々は、単一のレンズおよび単一の検出器を有する単一のカメラを含んでもよく、またはビューポイント１２６Ａ、１２６Ｂの各々は、複数のレンズのすべてを介して光を受光する単一のおよび／または共用の検出器に光を屈折させる別個のレンズを含んでもよい。ビューポイント１２６Ａ、１２６Ｂの各々に関連付けられるレンズは、フレネルレンズを含んでもよい。ビューポイント１２６Ａ、１２６Ｂは、集合的に、１０×１０のグリッドまたはアレイなどのグリッドまたはアレイを、レンズ１０６Ａ、１０６Ｂの第２の側１２０Ａ，１２０Ｂ上に形成してもよく、および／またはレンズ１０６Ａ、１０６Ｂの第２の側１２０Ａ，１２０Ｂの少なくとも９０％を覆ってもよい。

図２は、例示的な実施形態によるユーザの眼１１２Ａ，１１２Ｂおよびレンズ１０６Ａ，１０６Ｂの視野を示す。図２に示される例では、レンズ１０６Ａ、１０６Ｂからの視野は、カメラ原点面２０４から同じ角度および／またはスイープを有することができ、カメラ原点面２０４は、ユーザの眼１１２Ａ、１１２Ｂが眼の原点面２０２から有するように、眼の原点面２０２の前にある。この例では、ユーザの左目１１２Ａは、線２０６Ａ、２０８Ａの間に視野を有し、ユーザの右目１１２Ｂは、線２０６Ｂ、２０８Ｂの間に視野を有してもよい。この例においても、レンズ１０６Ａ、１０６Ｂの中心に配されるカメラは、線２１０Ａ、２１２Ａと２１０Ｂ、２１２Ｂとの間に視野を有してもよい。なお、図２（ならびに図３Ａ、図３Ｂ、図３Ｃおよび図４）は、２次元表現による三角視野を示しているが、視野は三次元空間で円錐形であってもよい。

この例では、領域２１４の対象物は、ユーザの眼１１２Ａ、１１２Ｂまたはカメラのいずれにも視認可能でなくてもよい。線２０８Ａと２１２Ａとの間、および線２０８Ｂと２１２Ｂとの間の対象物は、ユーザの眼１１２Ａ、１１２Ｂの一方または両方に視認可能であってもよいが、レンズ１０６Ａ、１０６Ｂの中心に配されるカメラには視認可能でなくてもよい。領域２１６内の対象物は、ユーザの眼１１２Ａ、１１２Ｂの両方に視認可能であってもよいが、レンズ１０６Ａ、１０６Ｂの中心にあるいずれのカメラにも視認可能でなくてもよい。レンズ１０６Ａ、１０６Ｂ上の追加の点にあるカメラおよび／またはより広い角度を有するカメラが、領域２１６内の対象物の画像をキャプチャするために必要とされてもよい。

領域２１８の対象物は、ユーザの眼１１２Ａ、１１２Ｂの両方、およびレンズ１０６Ａ、１０６Ｂの中心のカメラに視認可能であってもよい。しかしながら、調整なしでは、レンズ１０６Ａ、１０６Ｂの中央のカメラによって受信された画像データのみに基づく表示される画像は、ユーザの眼１１２Ａ、１１２Ｂからの対象物の角度とは異なる、カメラからの対象物の角度に起因する視差効果のために、ユーザの眼１１２Ａ、１１２Ｂに実際そうであるよりも近く現れ得る。図１Ｅに示されるようにレンズ１０６Ａ、１０６Ｂの第２の側１２０Ａ、１２０Ｂ上の複数のビューポイント１２６Ａ、１２６Ｂなどの複数のビューポイント１２６Ａ、１２６Ｂ（図２には示されていない）は、ユーザの眼１１２Ａ、１１２Ｂの視点および／または観点から画像を構築することが要求されてもよい。

図３Ａ、図３Ｂおよび図３Ｂは、レンズ１０６Ａ、１０６Ｂの第２の側１２０Ａ、１２０Ｂ上の複数のビューポイント１２６Ａ、１２６Ｂからの、レンズ１０６Ａ、１０６Ｂの前の対象物３００Ａ、３００Ｂ、３００Ｃの視点を示す。図３Ａ、図３Ｂおよび図３Ｃは、レンズ１０６Ａ、１０６Ｂおよび２次元の三角領域における視野を示す線を示すが、レンズおよび視野は、実際には３次元空間において円錐状であってもよい。

図３Ａは、対象物３００Ａが第２のレンズ１０６Ｂの視野にあるが、第１のレンズ１０６Ａの視野内にない例において、ユーザの眼１１２Ａ、１１２Ｂおよびレンズ１０６Ａ、１０６Ｂを示す。図３Ａに示すように、対象物３００Ａは、第１のレンズ１０６Ａの複数のビューポイント１２６Ａ（図３Ａには図示せず）の視野の外側の境界を形成する線３０４Ａの外側にある、および／またはそれを超えており、第１のレンズ１０６Ａのライトフィールドカメラ１１６Ａ（図３Ａには図示せず）を任意の視点から対象物３００Ａの任意の画像をキャプチャすることができないようにする。

図３Ａに示すように、対象物３００Ａは、レンズ１０６Ｂの第２の側１２０Ｂ上のビューポイント１２６Ｂのいくつか、複数、またはすべてに視認可能である。線３０６Ｂ、３０８Ｂ、３１０Ｂ、３１２Ｂ、３１４Ｂは、第２の側１２０Ｂ上のビューポイント１２６Ｂから対象物３００Ａへの方向を示す。プロセッサ１１３（図３Ａには図示せず）は、ビューポイント１２６Ｂによってキャプチャされた対象物３００Ａの画像データに基づいて、ユーザ１００の右目および／または第２の眼１１２Ｂの観点から第２のライトフィールドディスプレイ１１４Ｂによる表示のために画像を生成してもよい。

図３Ｂは、対象物３００Ｂが各レンズ１０６Ａ，１０６Ｂのビューポイント１２６Ａ，１２６Ｂ（図３Ａには図示せず）のいくつかの視野にある例におけるユーザの眼１１２Ａ，１１２Ｂおよびレンズ１０６Ａ，１０６Ｂを示す。図３Ｂに示すように、対象物３００Ｂは、線３２４Ａによって表される１つ以上の線の原点および／または始点を形成する第１のレンズ１０６Ａ上の１つ以上のビューポイント１２６Ａの視野にあるが、対象物３００Ｂは、線３２２Ａによって表される１つ以上の線の原点および／または始点を形成する第１のレンズ１０６Ａ上の１つ以上のビューポイント１２６Ａの視野にない。同様に、対象物３００Ｂは、線３２６Ｂ，３２８Ｂによって表される１つ以上の線の原点を形成する第２のレンズ１０６Ｂ上の１つ以上のビューポイント１２６Ｂの視野にあるが、対象物３００Ｂは、線３３０Ｂによって表される１つ以上の線の原点を形成する第２のレンズ１０６Ｂ上の１つ以上のビューポイント１２６Ｂの視野にない。プロセッサ１１３（図３Ｂには図示せず）は、ライトフィールドディスプレイ１１４Ａ、１１４Ｂ（図３Ｂには符号付けされていない）による表示のために、ユーザの眼１１２Ａ、１１２Ｂの両方の観点から画像を生成してもよい。各ライトフィールドディスプレイ１１４Ａ、１１４Ｂによる表示のための画像は、生成された画像が表示される同じレンズ１０６Ａ、１０６Ｂ上のビューポイント１２６Ａ、１２６Ｂから受信された画像データのみに基づいてプロセッサ１１３によって生成されてもよく、または画像が表示されるレンズ１０６Ａ、１０６Ｂの両方からの画像データと反対のレンズとに基づいて画像が生成されてもよい。

図３Ｃは、対象物３００Ｃが各レンズ１０６Ａ，１０６Ｂのビューポイント１２６Ａ，１２６Ｂ（図３Ａには図示せず）のすべての視野にある例におけるユーザの眼１１２Ａ，１１２Ｂおよびレンズ１０６Ａ，１０６Ｂを示す。この例では、プロセッサ１１３（図３Ｃには図示せず）は、画像が表示されるレンズ１０６Ａ、１０６Ｂにおけるビューポイント１２６Ａ、１２６Ｂの一部もしくは全部から受信される画像データに基づいて、または両方のレンズ１０６Ａ、１０６Ｂのビューポイント１２６Ａ、１２６Ｂの一部もしくは全部から受信される画像データに基づいて、各ライトフィールドディスプレイ１１４Ａ、１１４Ｂでの表示のために対象物３００Ｃの画像を構築することができる。

図４は、各レンズ１０６Ａ，１０６Ｂのビューポイント４０４Ａ，４０４Ｂの１つが、ユーザの眼１１２Ａ，１１２Ｂの一方から対象物４００への視線４０２Ａ，４０２Ｂによって交差される例における、ユーザの眼１１２Ａ，１１２Ｂおよびレンズ１０６Ａ，１０６Ｂを示す。レンズ１０６Ａ、１０６Ｂの各々は、上述したように、複数のビューポイント１２６Ａ、１２６Ｂ（図４には図示せず）を含んでもよい。例示的な実現例では、プロセッサ１１３（図４には図示せず）および／または方向カメラ１２２Ａ、１２２Ｂ（図４には図示せず）は、ユーザ１００が見ている方向および／またはユーザ１００の眼１１２Ａ、１１２Ｂの網膜が指し示している方向を判断してもよい。判断された方向に基づいて、プロセッサ１１３は、ユーザの眼１１２Ａ、１１２Ｂから対象物４００に延びる視線４０２Ａ、４０２Ｂに沿っているおよび／またはそれに最も近い、各レンズ１０６Ａ、１０６Ｂにおける複数のビューポイント１２６Ａ、１２６Ｂからの単一のビューポイント４０４Ａ、４０４Ｂを判断してもよい。ユーザ１００が対象物４００を見ているとき、判断された単一のビューポイント４０４Ａ、４０４Ｂは、視線４０２Ａ、４０２Ｂに沿って、眼１１２Ａ、１１２Ｂと対象物４００の間にあってもよい。プロセッサ１１３は、視線４０２Ａ、４０２Ｂに沿ったおよび／または視線４０２Ａ、４０２Ｂに最も近いビューポイント４０４Ａ、４０４Ｂからキャプチャされた画像データにのみ基づいて、レンズ１０６Ａ、１０６Ｂ上でユーザ１００に表示するための画像を生成してもよい。視線４０２Ａ、４０２Ｂに沿ってビューポイント４０４Ａ、４０４Ｂからキャプチャされた画像データのみに基づく画像は、眼１１２Ａ、１１２Ｂと同じ観点および／または視点を有するように見えてもよく、あたかもレンズ１０６Ａ、１０６Ｂが透明および／または空であるかのように、ユーザ１００がレンズ１０６Ａ、１０６Ｂのライトフィールドディスプレイ１１４Ａ、１１４Ｂにおいて対象物４００を見ることを可能にする。

図５は、各レンズ５０６Ａ，５０６Ｂが広角カメラ５１０Ａ、５０６Ｂ含む例における、ユーザの眼１１２Ａ，１１２Ｂおよびレンズ５０６Ａ，５０６Ｂを示す。レンズ５０６Ａ、５０６Ｂは、レンズ１０６Ａ、１０６Ｂに関して上述したようにフレームに取り付けられてもよく、上述のライトフィールドディスプレイおよび／もしくは方向カメラを含んでもよく、ならびに／または上述のプロセッサに結合されてもよい。この例では、線５１２Ａ、５１３Ａは、左目および／または第１の眼１１２Ａに対する視界を示しおよび／またはその境をなし、線５２２Ａ、５２４Ａは、左および／または第１の広角カメラ５１０Ａに対する視界を示しおよび／またはその境をなす。線５１２Ｂ、５１３Ｂは、右目および／または第２の眼１１２Ｂに対する視界を示しおよび／またはその境をなし、線５２２Ｂ、５２４Ｂは、右および／または第２の広角カメラ５１０Ｂに対する視界を示しおよび／またはその境をなす。図５に示すように、広角カメラ原点面５２６を越えて、広角カメラ５１０Ａ、５１０Ｂの視野は、眼１１２Ａ、１１２Ｂの視野を超えて延びる。眼１１２Ａ、１１２Ｂの視野および／または視点をシミュレーションするために、プロセッサ１１３（図５には図示せず）は、広角カメラ５１０Ａ、５１０Ｂから受信した画像データのうち、５２２Ａと５１２Ａとの間、５２４Ａと５１３Ａとの間、５１２Ｂと５２４Ｂとの間、および５２２Ｂと５１３Ｂとの間の領域または空間など、眼１１２Ａ、１１２Ｂの視界を越えて延びる部分を落とす。プロセッサ１１３は、広角カメラ５１０Ａ，５１０Ｂの各々によって受取られた画像を落とすことによるディスプレイ５１４Ａ，５１４Ｂの各々上での表示のために、広角カメラ５１０Ａ、５１０Ｂよりも狭い角度で画像を構築してもよく、構築された画像は、ユーザ１００のそれぞれの眼１１２Ａ，１１２Ｂから始まる円錐を表す。プロセッサ１１３は、それによって眼１１２Ａ、１１２Ｂによって直接見られるであろう画像に類似する画像を生成してもよい。

図６は、例示的な実施形態による仮想眼鏡セット１０２（図６には図示せず）に含まれるプロセッサ１１３を示す。プロセッサ１１３は、ライトフィールドカメラ１１６Ａ、１１６Ｂ、方向カメラ１２２Ａ、１２２Ｂ、ビューポイント１２６Ａ、１２６Ｂ、ビューポイント４０４Ａ、４０４Ｂ、および／または広角カメラ５１０Ａ、５１０Ｂから入力データを受信する１つ以上の入力ノード６０６を含んでもよい。プロセッサ１１３はさらに、表示データをライトフィールドディスプレイ１１４Ａ、１１４Ｂおよび／またはサブディスプレイ１２４Ａ、１２４Ｂに出力する１つ以上の出力ノード６０８を含んでもよい。プロセッサ１１３は、コントローラ６０２およびメモリ６０４を含んでもよい。メモリ６０４は、コントローラ６０２による実行のための命令ならびに受信した画像データおよび生成された表示データなどのデータを記憶する非一時的なコンピュータ読取可能記憶媒体を含んでもよい。コントローラ６０２は、メモリ６０４によって記憶された命令を実行することによって、プロセッサ１１３に関して上述したように、ライトフィールドディスプレイ１１４Ａ、１１４Ｂおよび／またはサブディスプレイ１２４Ａ、１２４Ｂによる提示のための表示データを生成してもよい。

本明細書で説明される様々な技術の実現は、デジタル電子回路、もしくはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組合わせで実現されてもよい。実現例は、データ処理装置、たとえばプログラム可能なプロセッサ、コンピュータ、または複数のコンピュータによる実行のために、またはそれらの動作を制御するために、コンピュータプログラム製品、すなわちたとえば機械読取可能記憶装置または伝播信号などの情報媒体に具体的に実施されるコンピュータプログラムとして実現されてもよい。上述したコンピュータプログラムのようなコンピュータプログラムは、コンパイルまたは解釈された言語を含む任意の形式のプログラミング言語で書かれ得、スタンドアロンプログラムとして、または、モジュール、コンポーネント、サブルーチン、もしくは、コンピューティング環境で使用するのに好適な他のユニットとして任意の形態で展開され得る。コンピュータプログラムは、１つのコンピュータまたは１つの場所に位置するかもしくは複数の場所にわたって分散され通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開され得る。

方法ステップは、入力データ上で動作し出力を生成することにより機能を実行するよう１つ以上のプログラマブルプロセッサがコンピュータプログラムを実行することによって実行されてもよい。方法ステップの実行および装置の実施は、たとえばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）といった特殊目的論理回路で行われてもよい。

コンピュータプログラムの実行に好適であるプロセッサは、例として、汎用マイクロプロセッサおよび特殊目的マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含んでもよい。一般に、プロセッサは、リードオンリメモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受取ることになる。コンピュータの要素は、命令を実行するための少なくとも１つのプロセッサと、命令およびデータを格納するための１つ以上のメモリデバイスとを含んでもよい。一般に、コンピュータはさらに、たとえば磁気ディスク、光磁気ディスクまたは光ディスクといった、データを格納するための１つ以上の大容量記憶装置を含むか、当該１つ以上の大容量記憶装置からデータを受取るかもしくは当該１つ以上の大容量記憶装置にデータを転送するよう動作可能に結合されるか、またはその両方を行ってもよい。コンピュータプログラム命令およびデータを実施するのに好適である情報担体は、例として、たとえばＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリデバイスを含むすべての形態の不揮発性メモリと；たとえば内部ハードディスクまたはリムーバブルディスクといった磁気ディスクと；光磁気ディスクと；ＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスクとを含む。プロセッサおよびメモリは、特殊目的論理回路によって補足され得るか、または特殊目的論理回路に組み込まれ得る。

ユーザとのインタラクションを提供するために、実現例は、たとえば陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）モニタといったユーザに対して情報を表示するための表示デバイスと、ユーザがコンピュータに入力を提供可能であるキーボードおよびポインティングデバイス、たとえばマウス、トラックボールとを有するコンピュータ上で実現されてもよい。他の種類のデバイスが同様に、ユーザとのインタラクションを提供するために使用され得；たとえば、ユーザに提供されるフィードバックは、たとえば視覚フィードバック、聴覚フィードバックまたは触覚フィードバックといった任意の形態の感覚フィードバックであり得；ユーザからの入力は、音響入力、発話入力、または触覚入力を含む任意の形態で受取られ得る。

実現例は、たとえばデータサーバなどのバックエンドコンポーネントを含むコンピューティングシステム、またはアプリケーションサーバなどのミドルウェアコンポーネントを含むコンピューティングシステム、またはたとえばユーザが実現例と対話できるグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータなどのフロントエンドコンポーネント含むコンピューティングシステム、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組合わせであってもよい。コンポーネントは、たとえば通信ネットワークといったデジタルデータ通信の任意の形態または媒体によって相互接続されてもよい。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）、たとえばインターネットを含む。

記載された実現例の特定の特徴が本明細書に記載されているように示されているが、当業者には多くの修正、置換、変更および均等物がここで思い浮かぶであろう。したがって、特許請求の範囲は、本発明の実施形態の真の精神に含まれるすべてのそのような修正および変更を包含するように意図されていることを理解されたい。

Claims

仮想眼鏡セットであって、
ユーザの頭に装着され、ユーザの左目の前に第１の仮想レンズを、前記ユーザの右目の前に第２の仮想レンズを保持するように構成されるフレームを備え、
前記第１の仮想レンズは前記フレームに支持され、前記第２の仮想レンズは前記フレームに支持され、前記仮想眼鏡セットが前記ユーザの頭に装着されたとき、前記レンズの第１の側が前記ユーザに面し、前記レンズの第２の側が前記ユーザに面しないように、前記第１の仮想レンズおよび前記第２の仮想レンズの各々は前記フレームによって支持され、前記第１の仮想レンズおよび前記第２の仮想レンズの各々は、
前記第１の側上のライトフィールドディスプレイと、
前記第２の側上のライトフィールドカメラとを含み、各ライトフィールドカメラは複数のビューポイントを含み、複数の視点からの画像をキャプチャするように構成されており、
前記仮想眼鏡セットはさらに、
前記フレームによって支持されたプロセッサを備え、前記プロセッサは、前記ライトフィールドカメラの各々を介して前記複数のビューポイントから受信された画像データに基づいて前記ライトフィールドディスプレイの各々に表示するために、前記ユーザのそれぞれの眼の視点からの画像を構築するように構成されており、
前記第１の仮想レンズおよび前記第２の仮想レンズの各々は、前記第１の側に、前記ユーザの眼が向いている方向をキャプチャするように構成された方向カメラをさらに備え、
前記プロセッサは、前記画像データおよび前記キャプチャされた方向に基づいて、前記ユーザの眼の視点および方向からの画像を構築するように構成されている、仮想眼鏡セット。
前記ライトフィールドカメラの各々は、前記画像データをキャプチャするように構成されている、請求項１に記載の仮想眼鏡セット。
前記ライトフィールドカメラの各々は、フレネルレンズを含む、請求項１または２に記載の仮想眼鏡セット。
前記ライトフィールドカメラの各々は、複数の検出器および複数のレンズを含む、請求項１〜３のいずれかに記載の仮想眼鏡セット。
前記ライトフィールドカメラの各々は、単一の検出器および複数のレンズを含む、請求項１〜３のいずれかに記載の仮想眼鏡セット。
前記ライトフィールドカメラの各々は複数のカメラを含む、請求項１〜３のいずれかに記載の仮想眼鏡セット。
仮想眼鏡セットであって、
ユーザの頭に装着され、ユーザの左目の前に第１の仮想レンズを、前記ユーザの右目の前に第２の仮想レンズを保持するように構成されるフレームを備え、
前記第１の仮想レンズは前記フレームに支持され、前記第２の仮想レンズは前記フレームに支持され、前記仮想眼鏡セットが前記ユーザの頭に装着されたとき、前記レンズの第１の側が前記ユーザに面し、前記レンズの第２の側が前記ユーザに面しないように、前記第１の仮想レンズおよび前記第２の仮想レンズの各々は前記フレームによって支持され、前記第１の仮想レンズおよび前記第２の仮想レンズの各々は、
前記第１の側上のライトフィールドディスプレイと、
前記第２の側上のライトフィールドカメラとを含み、各ライトフィールドカメラは複数のビューポイントを含み、複数の視点からの画像をキャプチャするように構成されており、
前記仮想眼鏡セットはさらに、
前記フレームによって支持されたプロセッサを備え、前記プロセッサは、前記ライトフィールドカメラの各々を介して前記複数のビューポイントから受信された画像データに基づいて前記ライトフィールドディスプレイの各々に表示するために、前記ユーザのそれぞれの眼の視点からの画像を構築するように構成されており
前記第１の仮想レンズおよび前記第２の仮想レンズの各々は、前記第１の側に、前記ユーザの眼が向いている方向をキャプチャするように構成された方向カメラをさらに備え、
前記ライトフィールドカメラの各々は複数のカメラを含み、
前記プロセッサは、前記ユーザの眼が向いている方向に前記ユーザの眼から延びる視線に最も近い前記複数のカメラのうちの１つに基づいた画像を構築するように構成される、仮想眼鏡セット。
前記ライトフィールドディスプレイの各々は、構築された画像を表示するように構成される、請求項１〜７のいずれかに記載の仮想眼鏡セット。
前記ライトフィールドディスプレイの各々は、前記仮想レンズの前記第１の側の少なくとも９０％をカバーする複数の画素を含む、請求項１〜８のいずれかに記載の仮想眼鏡セット。
前記ライトフィールドカメラの各々は、前記仮想レンズの前記第２の側の少なくとも９０％をカバーする複数のカメラを含む、請求項１〜４および６〜９のいずれかに記載の仮想眼鏡セット。
前記ライトフィールドカメラの各々は、前記仮想レンズの前記第２の側に１０×１０グリッドのカメラを含む、請求項１〜４および６〜１０のいずれかに記載の仮想眼鏡セット。
前記プロセッサは、
前記第１の仮想レンズ上の前記ライトフィールドカメラを介して受信される画像データに基づいて、前記ユーザの左目の視点から前記第１の仮想レンズ上の前記ライトフィールドディスプレイ上での表示のための第１の画像と、
前記第２の仮想レンズ上の前記ライトフィールドカメラを介して受信される画像データに基づいて、前記ユーザの右目の視点から前記第２の仮想レンズ上の前記ライトフィールドディスプレイ上での表示のための第２の画像とを構築するよう構成される、請求項１〜１１のいずれかに記載の仮想眼鏡セット。
前記プロセッサは、前記ライトフィールドカメラの各々を介して受信された画像データと前記ユーザの視力とに基づいて、前記画像を構築するように構成される、請求項１〜１２のいずれかに記載の仮想眼鏡セット。
前記第１の仮想レンズおよび前記第２の仮想レンズの各々は、前記第１の側に、前記ユーザの網膜の画像をキャプチャするように構成された視力カメラをさらに備え、
前記プロセッサは、前記ユーザの網膜の画像に基づいて前記ユーザの視力を判断するように構成される、請求項１３に記載の仮想眼鏡セット。