JP7202449B2 - 仮想現実立体映像を生成するための光学配置 - Google Patents

Description

本開示の態様および実施は、光学配置、より具体的には、仮想現実における立体映像を生成するための光学配置に関する。

仮想現実（ＶＲ（Virtual Reality））環境は、一般に、観察者が見ることが可能な３次元環境として説明され、現実に近い体験を伴う環境のシミュレーションを提供するように設計されている。ＶＲディスプレイ装置は、観察者を仮想現実環境と相互作用させることができる。たとえば、ヘッドマウントディスプレイ（ＨＭＤ(Head Mounted Display)）は、ＶＲ環境において動画または静止画を見るために使用され得る。ＶＲディスプレイ装置における視野（ＦＯＶ（Field of View））とは、ディスプレイ装置を通して観察者があらゆる場合に見られる観察可能な領域の範囲である。ＶＲディスプレイ装置内で提供される立体映像は、観察者に奥行きの感覚を与える。立体映像を生成するために、観察者の両目の各々には、わずかに異なる角度または視点からの同じ物体の画像が提供される。ＶＲディスプレイ装置を用いて見るためのシーンを記録するために、装置またはシステムが使用され得る。

以下では、本開示のいくつかの態様の基本的な理解を提供するために、本開示の簡略化した概要が示される。この概要は、本開示の広範囲な概観を示すものではない。この概要は、本開示の主要な要素または重要な要素を特定することも意図せず、また本開示のいかなる特定の実装の範囲もまたは特許請求の範囲も規定することを意図したものではない。概要の唯一の目的は、後に提示するより詳細な説明の前置きとして簡略化した形式で本開示のいくつかの概念を提示することである。

ある実施の形態において、半球状の視野を有する立体映像を生成するための光学配置が開示される。光学配置は、第１の魚眼レンズから第１の光線を、第２の魚眼レンズから第２の光線を受光してもよい。第１の光線および第２の光線は、第１の魚眼レンズおよび第２の魚眼レンズの各々の被写体側を通って第１の魚眼レンズおよび第の魚眼レンズに入射してもよい。第１の魚眼レンズおよび第２の魚眼レンズは、互いに隣接して配置され、第１の魚眼レンズおよび第２の魚眼レンズの各々の被写体側が第１の平面と対向してもよい。光学配置は、第１の光線および第２の光線をイメージセンサ上に方向付け、第１の光線が第２の光線と一緒にイメージセンサ上に投影されるように、第１の光線および第２の光線の光軸を曲げることができる。

ある実施の形態において、光学配置は、第１の魚眼レンズおよび第２の魚眼レンズの各々とイメージセンサとの間のフランジ焦点距離を、フランジ焦点距離の修正値がフランジ焦点距離の初期値よりも大きくなるように修正することができる。第１の魚眼レンズおよび第２の魚眼レンズから第１の光線および第２の光線は、それぞれ、第１の平面に実質的に平行な第２の平面において初期画像を形成することができ、第２の平面は、第１の魚眼レンズおよび第２の魚眼レンズからのフランジ焦点距離の初期値に対応する。イメージセンサの寸法は、第１の光線および第２の光線によって第２の平面に形成される初期画像の組み合わされた寸法よりも小さくてもよい。光学配置は、第１の平面に実質的に平行な第３の平面に初期画像のコピーを生成するように構成されてもよく、第３の平面は、第１の魚眼レンズおよび第２の魚眼レンズからのフランジ焦点距離の修正された値に対応する。光学配置は、第３の平面の初期画像のコピーが互いにイメージセンサ内に一緒に収まるように、第２の平面の初期画像よりも小さい初期画像のコピーを第３の平面に生成するように構成されてもよい。

ある実施の形態では、第１の魚眼レンズおよび第２の魚眼レンズのそれぞれの中心間の第１の距離は、約６５mmであってもよい。第１の魚眼レンズまたは第２の魚眼レンズの第１の直径は６５mm未満であってもよい。第２の平面における初期画像の各々の第２の直径は、イメージセンサの高さと実質的に等しくてもよい。第３の平面における初期画像のコピーの各々の第３の直径は、イメージセンサの幅の半分に実質的に等しくてもよい。

ある実施の形態では、第１の魚眼レンズおよび第２の魚眼レンズのそれぞれの中心は、第１の平面に実質的に垂直な第４の平面上に配置され、イメージセンサの中心は、第１の平面に実質的に垂直な第５の平面上に配置され、第４の平面および第５の平面は、オフセットによって分離され得る。ある実施の形態では、装置は、第２の平面に配置された１組の凸レンズをさらに含んでもよく、１組の凸レンズは、光線が光学配置を通って方向付けられるように光線を曲げるよう構成される。

上述の通り、装置は、イメージセンサおよび/または魚眼レンズと独立して提供されてもよい(たとえば、イメージセンサおよび/または魚眼レンズは提供されない)。あるいは、装置は、イメージセンサを備えるカメラをさらに備えてもよい。カメラは、光学配置を備えてもよい。魚眼レンズの一方または両方は、取り外し可能であるようにカメラに結合され得る。

様々な実施の形態において、初期画像のコピーのうちの第１のコピーは、仮想現実ヘッドマウントディスプレイ（ＨＭＤ）の第１の接眼レンズに提供されてもよく、初期画像のコピーのうちの第２のコピーは、仮想現実ＨＭＤの第２の接眼レンズに提供されてもよい。初期画像のコピーのうちの第１のコピーは、デジタル的に記録され、かつ電子的に仮想現実ＨＭＤの第１の接眼レンズに伝送されてもよく、初期画像のコピーのうちの第２のコピーは、デジタル的に記録され、かつ電子的に仮想現実ＨＭＤの第２の接眼レンズに伝送されてもよい。

また、本開示は、第１の魚眼レンズおよび第２の魚眼レンズを備えたシステムであり、第１の魚眼レンズおよび第２の魚眼レンズは、第１の魚眼レンズおよび第２の魚眼レンズの各々の被写体側を通って第１の魚眼レンズおよび第２の魚眼レンズのそれぞれに入射する第１の光線および第２の光線を補足して、半球状の視野を有する立体映像を生成し、第１の魚眼レンズおよび第２の魚眼レンズは、互いに隣接して配置され、魚眼レンズの各々の被写体側は、第１の面に対向し、システムはさらに、第１の魚眼レンズおよび第２の魚眼レンズによって補足された第１の光線および第２の光線を受光するイメージセンサと、第１の魚眼レンズおよび第２の魚眼レンズとイメージセンサとの間に配置された光学配置とを備え、光学配置は、第１の光線が第２の光線と一緒にイメージセンサ上に投影されるように、第１の光線および第２の光線の光軸を曲げる、システムを開示する。

ある実施の形態における半球状の視野を有する立体映像を生成するための方法が開示される。この方法は、第１の魚眼レンズから第１の光線および第２の魚眼レンズから第２の光線を受光して、半球状の視野を有する立体映像を生成し、第１の光線および第２の光線が第１の魚眼レンズおよび第２の魚眼レンズの各々の被写体側を通って第１の魚眼レンズおよび第２の魚眼レンズに入射し、かつ第１の魚眼レンズおよび第２の魚眼レンズは互いに隣接する位置に配置され、魚眼レンズの各々の被写体側は、第１の平面と対向し、第１の光線および第２の光線をイメージセンサ上に方向付けさせ、第１の光線が第２の光線と一緒にイメージセンサ上に投影されるように第１の光線および第２の光線の光軸を曲げさせる方法である。

少なくとも１つの開示される実施の形態において、上述に開示された実施の形態の動作を実行するためのコンピューティングデバイスも開示される。さらに、上述の開示を実現する際に、非一時的な機械読み取り可能な記憶媒体が、上述の開示された実施の形態の動作を実行するための命令を記憶する。

本開示の態様および実施の形態は、以下の詳細な説明および本開示の様々な態様および実施の形態の添付の図面からより完全に理解されるが、しかしながら、本開示を特定の態様または実施の形態に限定すると解釈されるべきではなく、説明および理解のためのものである。

２つの魚眼レンズおよびイメージセンサを使用する例示的な装置を示す。 ２つの魚眼レンズ、イメージセンサ、および魚眼レンズからの光線を曲げるための光学配置を使用する例示的な装置を示す。 本開示の実施の形態に従う１組のリレーレンズを有する光学構成の例を示す。 本開示の実施の形態に従う１組のフィールドレンズを有する装置の例を示す。 本開示の実施の形態に従う魚眼画像のサイズを低減する光学配置の例を示す。 本開示の実施の形態に従う、魚眼レンズの平面とイメージセンサの平面との間にオフセットを有する光学配置の例を示す。 本開示の実施の形態に従う、魚眼レンズの平面とイメージセンサの平面との間にオフセットを有する光学配置の例を示す。 本開示の実施の形態に従う、魚眼レンズの平面とイメージセンサの平面との間にオフセットを有する光学配置の例を示す。 本開示の実施の形態に従う、魚眼レンズの平面とイメージセンサの平面との間にオフセットを有する光学配置の例を示す。 本開示の実施の形態に従う光学配置の他の例を示す。 本開示の実施の形態に従う、カメラ、魚眼レンズ、および光学配置を備える装置の例を示す。 本開示の実施の形態に従う、カメラ、魚眼レンズ、および光学配置を備える装置の例を示す。 本開示の実施の形態に従う、半球状の視野を有する立体映像を生成するための方法のフローチャートである。

ＶＲ環境内において、実際の生活で人間が経験するものと同様の自然な知覚を提供するために、環境内の画像は、約１８０度の視野（ＦＯＶ）、または、ほぼ半球状のＦＯＶをカバーし得る。ヘッドマウントディスプレイ（ＨＭＤ）の観察者が回転するとき、観察者は、半球状のＦＯＶにより自然な知覚を体験し続けることができる。さらに、奥行きの知覚を与えるために映像は立体映像であってもよい。

魚眼レンズを有するカメラは、約１８０度のＦＯＶで円形画像を捕捉することができる。魚眼レンズは、歪んだ凸状の非直線(たとえば、視点の直線ではない)外観を有し、広パノラマまたは半球状の画像を生成する超広画角レンズである。魚眼レンズは、被写体側を含んでもよい。立体映像を提供するために、わずかに異なる視点からのシーンを表示する一対の画像を、２つの魚眼レンズを使用して記録することができる。ＶＲディスプレイ装置では、一方の魚眼画像を観察者の左目に表示し、他方の魚眼画像を観察者の右目に表示する。ＨＭＤ上でこれらの画像が一緒に視認されるとき、２つの画像間のわずかな差異は、奥行きを有する３次元（３Ｄ）画像をユーザに知覚させる。

さらに、魚眼レンズが人間の眼の配置と同様に配置された魚眼画像を捕捉するとき、自然な奥行きに関する知覚は達成される。人間の目は、２つの目の間に特定の範囲の間隔を置いて前方に向いている。両目は同一のシーンに面することにより、シーンの実質的に同一の部分を視る。一般に、瞳孔間距離（ＩＰＤ（Inter Pupillary Distance））と呼ばれる、成人の眼における平均の瞳孔間の距離は、通常５５～７５mmの範囲内であり、平均のＩＰＤは約６５mmである。したがって、魚眼画像が６０～７０mm、好ましくは６５mmの間隔をあけた２つの視点から撮影され得る場合、２つの魚眼レンズは自然な奥行き知覚を提供することができる。たとえば、２つの魚眼レンズは、地面から上方に対して同一高さであって、水平方向に６５mm離隔して、配置することができる。シーンが変化するか、または動きを含む場合、両方の画像が同時に撮影される必要がある。

上述の基準を考慮すれば、２つの魚眼画像を捕捉するために、２つのカメラまたは２つのレンズを有する１つのカメラを使用することによって、自然な知覚は達成される。２つの画像を捕捉するために２つのカメラを使用することは、いくつかの欠点を有する。２つのカメラを操作することは、ユーザフレンドリーではない。カメラ間の動作の正確な同期が必要である。一般に大きなカメラ本体のサイズは、カメラ間の距離およびカメラの魚眼レンズを互いに対してどれだけ近くに配置することができるかについて、制約を生み出す。カメラ本体のサイズが大きいことにより、２つのカメラレンズ間の距離を人間の眼の間の距離に一致させることはできないためである。画像を記録するために各カメラのレンズが人間の眼の平均ＩＰＤよりも著しく大きい位置に配置された２つのカメラが使用される場合、結果として得られる画像は、シーン内の物体が不自然に小さいように見える、強調された３次元効果を有する。これは、カメラにより近い被写体にとってより顕著である。たとえば、レンズが１３cm(人間の平均ＩＰＤの２倍)離れて配置される場合、画像内の人間は実際のサイズの半分に見え、ＶＲ環境は自然に映らない。

一部の消費者層のカメラは、立体映像により１８０度のＦＯＶを捕捉するために存在する。これらの消費者層のカメラは、２つの小さなイメージセンサを有する１つのカメラ内部に２つのレンズを並べて収容するために、小さな魚眼レンズを使用する。これらのレンズおよびセンサは、プロフェッショナル層のカメラのレンズおよびセンサよりもサイズが小さくてもよい。しかしながら、これらの消費者層のカメラにおけるセンサのサイズ制限のため、これらのカメラによって生成される画質は低くなる。小さなレンズは、より高い画質の画像を生成する観点で、物理的な制限がある。レンズの品質が低いため、画像は鮮明ではないかもしれない。小さいセンサにおいても、高いダイナミックレンジに関する問題を有する。イメージセンサのダイナミックレンジは、センサが忠実に捕捉することができる最大コントラスト(最大輝度と最小輝度の比)の尺度である。ダイナミックレンジに関する問題は、ピクセル間に高いコントラストを有する画像で生じる可能性がある。たとえば、屋内視点から屋外を見ているシーンでは、屋内部分は完全に暗く見え、屋外部分は露出過多により特徴のない白色に見える場合がある。特に、１８０度のＦＯＶでのシーンでは、広域が撮影されるため、非常に暗い部分と非常に明るい部分との組み合わせが一般に存在する。さらに、小さいレンズでは、解像度も制限される。大きなＦＯＶでの画像は、大きな領域が捕捉されるため、高い解像度(たとえば、１つの眼あたりより多くのピクセル)を有する必要がある。したがって、解像度の低い小さなレンズは、高品質で鮮明な画像を生成しない。

本開示の態様は、１つのカメラで、２つの魚眼レンズのそれぞれの中心が人間の眼の平均ＩＰＤとほぼ同じ距離離間される２つの高品質の魚眼レンズを使用することによって上述およびその他の課題に対処する。１つのカメラで２つのレンズを使用することは、２つのかさばったカメラ本体によりレンズが人間の眼のＩＰＤと同じ距離に配置されないようにすることを回避する。２つの魚眼レンズのそれぞれの中心が人間の眼のＩＰＤと同じ距離(たとえば６５mm)で離間しているとき、魚眼レンズによって生成される円形画像においても、同じ距離(たとえば６５mm)で離間され得る。しかしながら、従来、１つのカメラは、画像形成をする１つの魚眼レンズから光線を受光する１つのイメージセンサに制限されていた。従来、イメージセンサは、人間の眼の平均ＩＰＤのように離間した円形画像を収容することができない寸法を有する。つまり、たとえば、イメージセンサの幅は、人間の眼の平均ＩＰＤよりも小さくてもよく、その場合、円形画像は、イメージセンサ内に収まらない場合がある。魚眼レンズによって生成される円形画像をイメージセンサ上に収めるため、本開示では、最初に円形画像が形成される位置から円形画像を変位させることを可能にする。

本開示のある局面では、魚眼画像がイメージセンサ上で互いに一緒に収まるように、魚眼レンズからの魚眼画像を変位させながら、人間の眼の平均ＩＰＤとほぼ同じ距離で２つの魚眼レンズの中心を離間させる間隔を適応させる、１つのカメラの２つの高品質魚眼レンズとイメージセンサとの間に光学配置を提供する。本開示において使用される用語「一緒に」とは、離間するものおよび/または当接するものとして定義され得る。一例では、本開示の態様は、半球状の視野を有する立体映像を生成する光学配置を提供し、光学配置は、第１の魚眼レンズから第１の光線および第２の魚眼レンズから第２の光線を受光する。第１の魚眼レンズおよび第２の魚眼レンズは、互いに隣接して配置され得る。たとえば、第１の魚眼レンズおよび第２の魚眼レンズは、魚眼レンズの中心間の距離が約６５mmとなるように、互いに水平に隣接して配置され得る。魚眼レンズの各々の被写体側は、第１の平面に面してもよい。たとえば、魚眼レンズは、両方の魚眼レンズが同じシーンを捕捉するように、前向きの人間の眼と同様の位置に配置されてもよい。レンズのこの構成は、立体映像「ＶＲ１８０」または静止画像が捕捉されることを可能にし、立体映像または静止画像は、２つの単眼ビデオまたは静止画像を含み、その各々は、ほぼ半球状(または１８０度)の視野を有する。光学配置は、第１の光線および第２の光線をイメージセンサ上に方向付けることができる（言い換えれば、第１の光線および第２の光線は両方とも、同じイメージセンサの異なる領域に方向付けられ得る。）。たとえば、イメージセンサは、カメラの一部であってもよい。光学配置は、第１の光線が第２の光線と一緒にイメージセンサ上に投影されるように、第１の光線および第２の光線の光軸を曲げてもよい。光軸を曲げることにより、光線によって生成される円形画像を互いにより近づけ、イメージセンサ内に収めることができる。

本実施の形態で参照される以下の説明および図面は、本出願の主題の実施を例示するものであり、範囲を限定することを意図していない。当業者は、開示されるシステム、デバイス、および方法のその他の実装が可能であることを認識するであろう。そのような全ての実施の形態は、特許請求の範囲内で考慮されるべきである。参照番号は、必ずしも、図面において、それらの登場の順番に説明されるわけではない。たとえば光学的な構成要素のような図面内の様々な構成要素の描写は、例示的なものであり、必ずしも一定の縮尺で描かれているものではない。

図１は、２つの魚眼レンズ１１０および１１２、ならびにイメージセンサ１４０を使用する例示的な装置１００の上面図を示す。イメージセンサ１４０は、カメラ本体１５０内に含まれてもよい。光軸１２０および光軸１２２は、それぞれ魚眼レンズ１１０および魚眼レンズ１１２に対応する。ある例では、軸１２０または軸１２２のような光軸は、中心の光線が魚眼レンズを通って伝播する経路を定義する魚眼レンズの中心を通る仮想の線である。一例では、魚眼レンズの中心は、人間の眼の平均ＩＰＤとほぼ同じ距離だけ離間され得る。一方、イメージセンサ１４０の寸法は、ＩＰＤに等しい距離よりも小さくてもよい。所与の型のレンズでは、魚眼レンズからの光線は、魚眼レンズの後部から一定の距離で魚眼画像を形成することができる。フランジ焦点距離１６０は、魚眼レンズ１１０の後部の取り付けフランジ(たとえば、フランジ平面)からイメージセンサ１４０が位置する平面(たとえば、焦点平面)までの距離として定義され得る。魚眼の円形画像１３０は、始めは、魚眼レンズ１１０からフランジ焦点距離１６０に等しい距離に形成され得る。したがって、円形画像１３０は、イメージセンサ１４０の同一平面上に現れ得るが、レンズがイメージセンサの寸法よりも大きい距離で離間しているという事実のために、魚眼の円形画像１３０は、イメージセンサ１４０の外側に現れ得る。たとえば、所与のシナリオでは、イメージセンサ１４０は、４１mm(幅)×２２mm(高さ)の寸法を有し得る。レンズ１１０およびレンズ１１２からの光線によって形成される円形画像１３０および円形画像１３２の直径は、それぞれ２０mmとすることができる。魚眼レンズ１１０および魚眼レンズ１１２の中心間の距離は６５mmであり、そのため、円形画像１３０および円形画像１３２間の距離も６５mmである。したがって、イメージセンサの幅は４１mmであり、円形画像１３０および円形画像１３２は、図１に示されるように、イメージセンサ１４０の完全に外側にある。このような状況では、画像がセンサの外にあるため、カメラは画像を記録することができない。円形画像がイメージセンサ上に最終的に投影され、イメージセンサ上で互いに一緒に収まるように、光学配置は、円形画像を変位させるように利用される。

図２は、２つの魚眼レンズ、１つのイメージセンサ、および、魚眼レンズからの光線を曲げるための光学配置２８０を使用する例示的な装置２００を示す。光学配置２８０は、１セットのミラー２８１,２８２,２８３,２８４を含み得る。ミラーは、魚眼レンズ２１０および魚眼レンズ２１２からの光線の光軸２２０および２２２をそれぞれ曲げ、魚眼レンズ２１０からの光線が魚眼レンズ２１２からの光線と共にイメージセンサ２４０上に投影されるように、配置されてもよい。図２に示される例では、一対のミラー２８１および２８２は、魚眼レンズ２１０，２１２とイメージセンサ２４０の平面との間に配置される。光軸２２０は、ミラー２８１を通して曲げられてミラー２８２に方向付けられ、ミラー２２は、光軸２２０をさらに曲げてイメージセンサ２４０に交わるように方向付ける。光軸２２０に従う魚眼レンズ２１０からの光線は、イメージセンサ２４０上に投影されてもよく、魚眼レンズによって生成される円形画像がイメージセンサ２４０によって記録されてもよい。光学配置２８０は、魚眼レンズの後部とイメージセンサとの間を移動する光線の距離を、フランジ焦点距離の初期値から修正後の値に修正させる。修正値は、光線が曲げられる前のフランジ焦点距離の初期値より大きい。すなわち、光軸２２０において魚眼レンズ２１０の後部とイメージセンサ２４０との間の部分は、ミラーがレンズとイメージセンサとの間に配置される前と比較して、ミラーが光軸２２０を曲げた後、より長くすることができる。結果として、レンズによって生成される円形画像２３０および円形画像２３２は、中空に現れ、または、魚眼レンズからのフランジ焦点距離の初期値に対応する。このイメージセンサ２４０は、イメージセンサ２４０において、不鮮明な円形画像２３０および円形画像２３２を生成する光線を受光することとなる。

図３は、本開示の実施の形態に従う光学配置３００の一例を示す。光学配置３００は、半球状の視野を有する立体映像を生成し得る。光学配置３００は、第１の魚眼レンズ３１０から第１の光線を、第２の魚眼レンズ３１２から第２の光線を受光する。第１の魚眼レンズ３１０および第２の魚眼レンズ３１２は、互いに隣接して配置される。一例では、２つの魚眼レンズのそれぞれの中心間の距離は、約６５mmである。一例では、第１の魚眼レンズまたは第２の魚眼レンズの直径は、魚眼レンズの中心間の距離よりも小さくてもよく、たとえば６５mm未満であってもよい。第１の光線および第２の光線は、それぞれ被写体側３１１および被写体側３１３を通って第１の魚眼レンズ３１０および第２の魚眼レンズ３１２に入射することができる。被写体側３１１および被写体側３１３は、撮影されている被写体、シーン、または景色を指し得る。第１の魚眼レンズ３１０および第２の魚眼レンズ３１２の各々の被写体側３１１および被写体側３１３は、それぞれ、第１の平面３０１にと対向し得る。一例では、第１の平面３０１は、立体映像を生成するために捕捉されるシーンに対応し得る。光学配置３００は、魚眼レンズ３１０からの第１の光線および魚眼レンズ３１２からの第２の光線をイメージセンサ３４０上に方向付けるように構成され得る。一例では、イメージセンサの幅は、魚眼レンズによって生成される円形画像の直径のサイズの少なくとも２倍であり、イメージセンサの高さは、少なくとも魚眼レンズによって生成される円形画像の直径のサイズであってもよい。一例では、高解像度のイメージセンサは、より詳細な画像を捕捉することができる。例示的なイメージセンサは、８０００×４０００ピクセルの解像度を有する。光軸３２０および光軸３２２は、それぞれ魚眼レンズ３１０および魚眼レンズ３１２からの光線に対応する光軸として示される。光学配置３００は、魚眼レンズ３１０からの第１の光線が魚眼レンズ３１２からの第２の光線と一緒にイメージセンサ３４０上に投影されるように、第１の光線の光軸３２０および第２の光線の光軸３２２を曲げるように構成される。

図２の光学配置と比較して、魚眼レンズ３１０および魚眼レンズ３１２は、イメージセンサ３４０からさらに遠ざかるように動かされてもよい。この構成において、円形画像３３０および円形画像３３２は、魚眼レンズ３１０および魚眼レンズ３１２にそれぞれ対応する第１のミラー３８１および第１のミラー３８４の前の空気中に形成される。第１の魚眼レンズ３１０および第２の魚眼レンズ３１２のそれぞれからの第１の光線および第２の光線は、第１の平面３０１に実質的に平行である第２の平面３０２において、初期画像(たとえば、円形画像３３０および円形画像３３２)を形成することができる。一例では、第２の平面における初期画像の各々の直径は、イメージセンサの高さ、または、イメージセンサの幅の半分を超えない。また、一例では、初期画像の直径は、実質的にイメージセンサの高さ、または、イメージセンサの幅の半分よりも小さくなくてもよい。第２の平面３０２は、光学配置が存在しないときの、魚眼レンズ３１０および３１２の後部とイメージセンサ３４０との間のフランジ焦点距離の初期値に対応する。光学配置３００の存在は、フランジ焦点距離の修正値が初期値よりも大きくなるようにフランジ焦点距離を修正することができる。

光学配置３００は、１組のリレーレンズ３９０およびリレーレンズ３９２を含んでもよい。リレーレンズは、初期画像が形成される第２の平面３０２とイメージセンサ３４０との間に配置されてもよい。光学配置３００のリレーレンズは、第１の平面３０１に実質的に平行な第３の平面３０３に初期の円形画像３３０および円形画像３３２のコピーを生成するように構成されてもよい。第３の平面３０３は、第１の魚眼レンズ３１０および第２の魚眼レンズ３１２の後部からのフランジ焦点距離の修正された値に対応してもよい。すなわち、第３の平面は、イメージセンサ３４０が配置される平面に対応する。イメージセンサ３４０は、イメージセンサ内に収まって初期画像のコピーが互いに一緒にイメージセンサ３４０上に投影されたときに初期画像のコピーを記録することができる。初期画像のコピーは、半球状の視野を有する立体映像を生成するために使用され得る。

リレーレンズは、単一または複数の要素を含んでもよい。たとえば、ダブルガウス型の構成において、６つの要素の組み合わせで使用され得る。リレーレンズ設計の詳細、リレーレンズに対するミラーのサイズおよび配置は、魚眼レンズの光学特性およびイメージセンサのサイズに依存する。

図４は、本開示の実施の形態に従う装置４００の例を示す。装置４００は、１組のフィールドレンズ４６０およびフィールドレンズ４６２を含む。ある実施の形態では、魚眼レンズ４１０および魚眼レンズ４１２は、初期画像４３０および初期画像４３２を形成する光線の一部がミラー４８２およびミラー４８４をそれぞれ通過する距離でイメージセンサ４４０から離間され得る。このような光線４６４の例は点線で示されている。光線４６４は、ミラー４８２と交わらないような角度で魚眼レンズ４１０から投影してもよい。その結果、これらの光線はイメージセンサ４４０に達しない場合がある。イメージセンサに到達しない光線は、重大な口径食(たとえば、明確な境界がない背景へのフェード等)を引き起こし得る。これらのシナリオでは、イメージセンサ上において、魚眼レンズからの円形画像の外側部分は、非常に暗く、または完全に黒くなり得る。魚眼レンズのＦＯＶは、１８０度よりも大幅に小さくなるまで効果的に低減され得る。フィールドレンズ４６０およびフィールドレンズ４６２は、初期画像が形成される平面(たとえば、図３に示す平面３０２)上またはその近くに配置され、光線の欠落を補うことができる。フィールドレンズ４６０およびフィールドレンズ４６２は凸レンズであってもよい。この凸形状により、フィールドレンズは、そうしなければ逃したであろう光線を光軸(たとえば、光軸４２０)に向かって曲げて、戻すことができる。これは、光線がイメージセンサ４４０上に投影されるように、光線が光学配置のミラー及びリレーレンズを通って方向付けられることを可能にできる。そのような再度方向付けられた光線の例は、光線４６６として示される。フィールドレンズは、イメージセンサが口径食を伴わずに魚眼レンズの全視野をカバーすることを確実にすることができる。

図５は、本開示の実施の形態に従う光学配置５００の一例を示す。光学配置５００は、初期画像とリレーレンズとの間の距離を操作して、イメージセンサが受け付ける画像のサイズを変更することができる。ある実施の形態では、魚眼レンズによって生成される円形画像は、イメージセンサ上に収めるためには大きすぎる場合がある。たとえば、イメージセンサの寸法は、第２の平面において第１の光線および第２の光線によって形成される初期画像を組み合わせた寸法よりも小さくてもよい。たとえば、イメージセンサの幅は４０mmであり、イメージセンサの高さは２０mmである。第２の平面上の初期画像の各々の直径は３０mmであり、初期画像の組み合わせた寸法を６０mmにし、これは上述のイメージセンサの寸法よりも大きい。組み合わされた寸法は、初期画像のコピーを記録するためにイメージセンサに収めるには大きすぎる。この問題に対処するために、光学配置は、第３の平面における初期画像のコピーがイメージセンサ内で互いに一緒に収まるように、第２の平面における初期画像より小さい第３の平面における初期画像のコピーを生成するように構成されてもよい。一例では、サイズを縮小した結果、第３の平面における初期画像のコピーの各々の直径は、２０mmでよく、初期画像のコピーを組み合わせた寸法は、上述の例のイメージセンサ内に収まる４０mmでよい。

画像のサイズを小さくするためには、リレーレンズとイメージセンサとの間の距離を変えることなく、初期画像とリレーレンズと間の距離を長くすればよい。図５に示されるように、初期画像が形成される第２の平面５０２とリレーレンズ５９０との間の距離は、Ｄ１およびＤ２として表される。リレーレンズ５９０とイメージセンサ５４０と間の距離をＤ３およびＤ４として示される。イメージセンサ５４０における魚眼画像のサイズは、平面５０２において形成される初期画像から（Ｄ１＋Ｄ２）／（Ｄ３＋Ｄ４）の係数だけ縮小される。たとえば、初期画像の各々の直径が３０mmである場合、２つの画像のイメージセンサにおいて組み合わされた直径は、６０mmとなる。イメージセンサが４０mm×２０mmである場合、組み合わされた直径は、１.５倍の係数で、または４０mmまで縮小される必要がある。このため、画像サイズが１.５倍の係数で縮小されるように、距離Ｄ１＋Ｄ２は、距離Ｄ３＋Ｄ４の１.５倍に拡大される。

図６Ａ～６Ｄは、本開示の実施の形態に従う、魚眼レンズの平面とイメージセンサの平面との間にオフセットを有する光学配置６００の例を示す。図６Ａは、光学配置６００の上面図を示し、図６Ｂは光学配置６００の正面図を示し、図６Ｃは光学配置６００の側面図を示し、図６Ｄは光学配置６００の斜視図を示す。ある実施の形態では、第１の魚眼レンズおよび第２の魚眼レンズのそれぞれの中心は、第１の平面に実質的に垂直な第４の平面上に位置し、イメージセンサの中心は、第１の平面に実質的に垂直な第５の平面上に位置し、第４の平面および第５の平面は、オフセットによって離隔する。図６Ａ～６Ｄに示されるように、５つの平面６０１～６０５がある。魚眼レンズ６１０および魚眼レンズ６１２の各々の被写体側は、第１の平面６０１に対向している。魚眼レンズ６１０および魚眼レンズ６１２の中心は、第１の平面６０１に実質的に垂直な第４の平面６０４上に位置し、イメージセンサの中心は、第１の平面６０１に実質的に垂直な第５の平面６０５上に位置する。言い換えれば、第４の平面６０４および第５の平面６０５は、実質的に互いに平行であり、第１の平面６０１～第３の平面６０３(互いに実質的に平行である)に実質的に垂直であり、魚眼レンズ６１０および魚眼レンズ６１２の軸は、第４の平面６０４上にあり、イメージセンサ６４０の軸は、第５の平面６０５上にある。第４の平面６０４と第５の平面６０５とはオフセットによって分離されている。オフセットは、ミラー６８３とミラー６８４との間の距離を増大させ、たとえば、これは魚眼レンズをカメラ本体６５０により近く移動させることを可能にし、システム全体としてのサイズを低減するという結果をもたらし得る。図６Ａ～６Ｄに示される特定の例では、オフセットは、イメージセンサに対して下側に魚眼レンズが移動することによって生成される垂直オフセットである。

図７は、本開示の実施の形態に従う光学配置７００の他の一例を示している。ある実施の形態では、魚眼レンズのフランジ焦点距離、円形画像のサイズ、およびイメージセンサのサイズに応じて、ミラーおよびリレーレンズの順序は、光軸に沿って変更され得る。いくつかの例では、リレーレンズは、第１のミラーと最後のミラーとの間に配置する代わりに、魚眼レンズに対応する一対のミラーにおける、第１のミラーの前、または、最後のミラーの後に配置されてもよい。いくつかの例では、第１のミラーは、フィールドレンズの前に配置され得る。例示的な光学配置７００では、リレーレンズ７９０およびリレーレンズ７９２は、最後のミラー７８２および７８３の後に配置される。

図８Ａ～８Ｂは、本開示の実施の形態に従う装置８００の例を示す。装置８００は、カメラ８５０と、２つの魚眼レンズ８１０，８１２と、光学配置８０１と、イメージセンサ８４０とを備える。光学配置８０１は、光学配置２８０、光学配置３００、または光学配置５００のいずれかに相当し得る。ある実施の形態では、光学配置８０１は、カメラ８５０の一部であり得る。ある実施の形態では、魚眼レンズ８１０および魚眼レンズ８１２のうちの少なくとも１つは、カメラ８５０または光学配置８０１に取り外し可能であるように結合されてもよい。ある実施の形態では、装置８００は、仮想現実ＨＭＤ(図示せず)に立体映像を提供するために使用され得る。一実施の形態では、魚眼レンズ８１０および魚眼レンズ８１２によって形成される初期画像のコピーのうちの第１のコピーは、仮想現実ＨＭＤ(図示せず)の第１の接眼レンズに提供され、初期画像のコピーのうちの第２のコピーは、仮想現実ＨＭＤの第２の接眼レンズに提供されてもよい。ＨＭＤにおいて再生するために、初期画像のコピーのうちの第１のコピーは、カメラによってデジタル的に記録され、仮想現実ＨＭＤの第１の接眼レンズに電子的に伝送されてもよく、同様に、初期画像のコピーのうちの第２のコピーは、カメラによってデジタル的に記録され、仮想現実ＨＭＤの第２の接眼レンズに電子的に伝送されてもよい。送信および再生はリアルタイムであってもよく、または、記録された画像はデジタル形式で記憶され、後に再生されてもよい。

図９は、本開示の実施の形態に従う、半球状の視野を有する立体映像を生成するための方法９００の一例のフローチャートである。たとえば、方法９００は、図８Ａ～８Ｂに関して説明した装置８００、および/または図３に関する光学配置３００を使用して実行され得る。図９および関連する説明は、方法９００の動作を特定の順序で列挙するが、方法の様々な実施の形態は、説明される動作の少なくとも一部を並列に、および/または任意の選択された順序で実行することができる。

ブロック９０２において、第１の魚眼レンズからの第１の光線および第２の魚眼レンズからの第２の光線は、半球状の視野を有する立体映像を生成するために受け取られる。第１の魚眼レンズおよび第２の魚眼レンズは、互いに隣接して配置される。魚眼レンズの各々の被写体側は、第１の平面に対向し得る。ブロック９０４において、第１の光線および第２の光線をイメージセンサ上に方向付けることができる。ブロック９０６において、第１の光線の光軸および第２の光線の光軸は、第１の光線が第２の光線と一緒にイメージセンサ上に投影されるように曲げられ得る。光線は、第１の平面に実質的に平行な第２の平面に初期画像を生成し得る。いくつかの実施の形態では、初期画像のコピーは、第１の平面に実質的に平行な第３の平面に形成されてもよい。初期画像のコピーは、半球状の視野を有する立体映像として提供され得る。たとえば、立体映像はＶＲ環境のために提供され得る。

上述の説明では、多数の詳細が記載されている。しかしながら、本開示の利益を有する当業者には、本開示は、これらの具体的な詳細を伴わずに実施され得ることが明白であろう。いくつかの例では、周知の構造およびデバイスは、本開示を不明瞭にすることを避けるために、詳細ではなくブロック図の形で示される。

用語「例」または「例示的」は、本明細書では、例、事例、または例示としての役割を果たすことを意味するために使用される。「例」または「例示的」として本明細書に記載される任意の態様または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。むしろ、「例」または「例示的」という用語の使用は、概念を具体的に提示することを意図している。「または」という用語が本出願で使用される場合、排他的な「または」ではなく包括的な「または」を意味することが意図される。すなわち、特に明記しない限り、または文脈から明白でない限り、「ＸはＡまたはＢを含む」は、あらゆる自然な包括的な置換を意味することを意図している。すなわち、「ＸはＡまたはＢを含む」は、ＸがＡを含む場合と、ＸがＢを含む場合と、または、ＸはＡおよびＢの両方を含む場合との事例のいずれかに満たされる。さらに、本出願および添付の特許請求の範囲で使用される冠詞「a」および「an」は、別段の指定がない限り、または文脈から単数形を対象とすることが明白でない限り、「１つまたは複数」を意味すると一般に解釈され得る。さらに、すべての「１つの実施の形態」という用語の使用は、そのように記載されない限り、同じ実施の形態を意味することを意図していない。本明細書で使用される「第１」、「第２」、「第３」、「第４」などの用語は、異なる要素を区別するためのラベルとして意味され、必ずしもそれらの数字的呼称による順序的な意味を有しなくてもよい。

上記の説明は、例示的なものであり、限定的なものではないことを理解されたい。当業者にとって、上述の説明を読み理解すれば、他の実施の形態は、明らかとなるであろう。したがって、本開示の範囲は、添付の特許請求の範囲に関して、そのような特許請求の範囲が権利を有する均等の全範囲と共に定められ得る。

Claims (18)

1. 半球状の視野を有する立体映像を生成し、第１の魚眼レンズから第１の光線および第２の魚眼レンズから第２の光線を受光する光学配置を備え、
   前記第１の光線および前記第２の光線は、前記第１の魚眼レンズおよび前記第２の魚眼レンズの各々の被写体側を通って前記第１の魚眼レンズおよび前記第２の魚眼レンズに入射し、
   前記第１の魚眼レンズおよび前記第２の魚眼レンズは、互いに隣接して配置され、
   前記第１の魚眼レンズおよび前記第２の魚眼レンズの各々の被写体側は、第１の平面と対向し、
   前記光学配置は、前記第１の光線および前記第２の光線をイメージセンサ上に方向付け、前記第１の光線が前記第２の光線と一緒に前記イメージセンサ上に投影されるように、前記第１の光線および前記第２の光線の光軸を曲げ、
   前記光学配置は、前記第１の魚眼レンズおよび前記第２の魚眼レンズの各々から前記イメージセンサまでのフランジ焦点距離を、前記フランジ焦点距離の修正値が前記フランジ焦点距離の初期値よりも大きくなるように修正する、装置。
2. 前記第１の魚眼レンズおよび前記第２の魚眼レンズからの前記第１の光線および前記第２の光線は、それぞれ、前記第１の平面に実質的に平行な第２の平面に初期画像を形成し、
   前記第２の平面は、前記第１の魚眼レンズおよび前記第２の魚眼レンズからの前記フランジ焦点距離の前記初期値に対応する、請求項１に記載の装置。
3. 前記イメージセンサの寸法は、前記第１の光線および前記第２の光線によって前記第２の平面に形成された前記初期画像の組み合わされた寸法より小さい、請求項２に記載の装置。
4. 前記光学配置は、前記第１の平面に実質的に平行な第３の平面に、前記初期画像のコピーを生成するように構成され、
   前記第３の平面は、前記第１の魚眼レンズおよび前記第２の魚眼レンズからの前記フランジ焦点距離の修正された値に対応する、請求項２または３に記載の装置。
5. 前記光学配置は、前記第３の平面における前記初期画像の前記コピーが前記イメージセンサ内に互いに一緒に収まるように、前記第２の平面における前記初期画像よりも小さい前記初期画像の前記コピーを前記第３の平面に生成するように構成される、請求項４に記載の装置。
6. 前記第１の魚眼レンズおよび前記第２の魚眼レンズのそれぞれの中心間の第１の距離は約６５mmである、請求項１～５のいずれか１項に記載の装置。
7. 前記第１の魚眼レンズまたは前記第２の魚眼レンズの第１の直径は６５mm未満である、請求項１～６のいずれか１項に記載の装置。
8. 前記第２の平面における前記初期画像の各々の第２の直径は、前記イメージセンサの高さに実質的に等しい、請求項２～５のいずれか１項に記載の装置。
9. 前記第３の平面における前記初期画像の前記コピーの各々の第３の直径は、前記イメージセンサの幅の半分に実質的に等しい、請求項４または５記載の装置。
10. 前記第１の魚眼レンズおよび前記第２の魚眼レンズのそれぞれの中心は、前記第１の平面に実質的に垂直な第４の平面上に配置され、
    前記イメージセンサの中心は、前記第１の平面に実質的に垂直な第５の平面上に配置され、
    前記第４の平面および前記第５の平面はオフセットによって分離される、請求項１～９のいずれか１項に記載の装置。
11. 前記第２の平面に配置された１組の凸レンズをさらに備え、
    前記１組の凸レンズは、前記第１の光線が前記光学配置を通って方向付けられるように、前記第１の光線を曲げるように構成される、請求項２～５のいずれか１項に記載の装置。
12. 前記イメージセンサを備えるカメラをさらに備える、請求項１～１１のいずれか１項に記載の装置。
13. 前記カメラは、前記光学配置を備える、請求項１２に記載の装置。
14. 前記第１の魚眼レンズおよび前記第２の魚眼レンズは、前記カメラに取り外し可能であるように結合される、請求項１２または請求項１３に記載の装置。
15. 前記初期画像の前記コピーのうちの第１のコピーは、仮想現実ヘッドマウントディスプレイ（ＨＭＤ）の第１の接眼レンズに提供され、前記初期画像の前記コピーのうちの第２のコピーは、前記仮想現実ＨＭＤの第２の接眼レンズに提供される、請求項４または５記載の装置。
16. 前記初期画像の前記コピーのうちの前記第１のコピーは、デジタル的に記録され、かつ前記仮想現実ＨＭＤの前記第１の接眼レンズに電子的に伝送され、前記初期画像の前記コピーのうちの前記第２のコピーは、デジタル的に記録され、かつ前記仮想現実ＨＭＤの前記第２の接眼レンズに電子的に伝送される、請求項１５に記載の装置。
17. 第１の魚眼レンズおよび第２の魚眼レンズを備え、前記第１の魚眼レンズおよび前記第２の魚眼レンズは、前記第１の魚眼レンズおよび前記第２の魚眼レンズのそれぞれに、前
    記第１の魚眼レンズおよび前記第２の魚眼レンズの各々の被写体側を通って入射する第１の光線および第２の光線を捕捉して、半球状の視野を有する立体映像を生成し、
    前記第１の魚眼レンズおよび前記第２の魚眼レンズは、互いに隣接して配置され、前記第１の魚眼レンズおよび前記第２の魚眼レンズの各々の被写体側は、第１の平面と対向し、
    前記第１の魚眼レンズおよび前記第２の魚眼レンズによってそれぞれ捕捉された前記第１の光線および前記第２の光線を受光するイメージセンサと、
    前記第１の魚眼レンズおよび前記第２の魚眼レンズと前記イメージセンサとの間に配置された光学配置とを備え、
    前記光学配置は、前記第１の光線が前記第２の光線と一緒に前記イメージセンサ上に投影されるように、前記第１の光線および前記第２の光線の光軸を曲げ、
    前記光学配置は、前記第１の魚眼レンズおよび前記第２の魚眼レンズの各々から前記イメージセンサまでのフランジ焦点距離を、前記フランジ焦点距離の修正値が前記フランジ焦点距離の初期値よりも大きくなるように修正する、システム。
18. 第１の魚眼レンズから第１の光線および第２の魚眼レンズから第２の光線を受光して半球状の視野を有する立体映像を生成し、前記第１の光線および前記第２の光線が前記第１の魚眼レンズおよび前記第２の魚眼レンズの各々の被写体側を通って前記第１の魚眼レンズおよび前記第２の魚眼レンズに入射し、前記第１の魚眼レンズおよび前記第２の魚眼レンズは互いに隣接して配置され、前記第１の魚眼レンズおよび前記第２の魚眼レンズの各々の被写体側は、第１の平面と対向し、
    前記第１の光線および前記第２の光線をイメージセンサ上に方向付けさせ、
    前記第１の光線が前記第２の光線と一緒に前記イメージセンサ上に投影されるように前記第１の光線および前記第２の光線の光軸を曲げさせ、
    前記第１の魚眼レンズおよび前記第２の魚眼レンズの各々から前記イメージセンサまでのフランジ焦点距離を、前記フランジ焦点距離の修正値が前記フランジ焦点距離の初期値よりも大きくなるように修正する、方法。

Images