JP7555415B2 - レンチキュラーベースの操縦可能なバックライティングを使用するマルチビュー裸眼立体視ディスプレイ - Google Patents

レンチキュラーベースの操縦可能なバックライティングを使用するマルチビュー裸眼立体視ディスプレイ Download PDF

Info

Publication number
JP7555415B2
JP7555415B2 JP2022540586A JP2022540586A JP7555415B2 JP 7555415 B2 JP7555415 B2 JP 7555415B2 JP 2022540586 A JP2022540586 A JP 2022540586A JP 2022540586 A JP2022540586 A JP 2022540586A JP 7555415 B2 JP7555415 B2 JP 7555415B2
Authority
JP
Japan
Prior art keywords
observer
backlight
display
subset
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022540586A
Other languages
English (en)
Other versions
JP2023515748A (ja
Inventor
ペロー,ジョン・ディ
フイバーズ,アンドリュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2023515748A publication Critical patent/JP2023515748A/ja
Application granted granted Critical
Publication of JP7555415B2 publication Critical patent/JP7555415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/29Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays characterised by the geometry of the lenticular array, e.g. slanted arrays, irregular arrays or arrays of varying shape or size
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

背景
裸眼立体視(autostereoscopic)ディスプレイは、観察者の左目と右目に対して別々の立体視画像を表示することにより、独立したヘッドギアの使用を要求することなく、3次元(3D)の奥行きの両眼視感覚を、観察者に提供する。ある典型的な裸眼立体視構成は、ディスプレイピクセルアレイの上に重ねられたレンチキュラーフィルムの使用と、交互配置された画像の立体視ペアを同時に表示することとを必要とし、その結果、レンチキュラーフィルムは、左目画像のピクセルに対するディスプレイ光と、右目画像のピクセルに対するディスプレイ光とを、わずかに異なる方向に導くことにより、立体視ペアの各画像に対して別々の射出瞳を与える。
多くの従来のレンチキュラーベースの裸眼立体視ディスプレイシステムにおいて、レンチキュラーフィルムを重ねることで、同時発生する複数の「ビュー」が得られる、すなわち、画像の立体視ペアに対する同一の射出瞳ペアが、ディスプレイパネルのディスプレイ面に対する、異なる角度または位置で、繰り返される。システムの中には、これらの複数ビューの数を補足することにより、同一の3D画像を異なる観察者に対して同時に提供するものがある。しかしながら、所与のピクセル解像度に対してレンチキュラーレンズ解像度を高くすると観察者が知覚する3D画像の解像度は高くなるが、それはビューの数の減少にもつながり、そのために、カバーする観察者位置が少なくなる。逆に、所与のピクセル解像度に対してレンチキュラーレンズ解像度を低くすると、ビューの数が多くなり、そのために、より多くの観察者位置をカバーすることになるが、解像度が低い3D画像を所与の観察者に提示するという代償を払うことになる。加えて、そのようなシステムは、異なるビデオストリームを異なる観察者に同時に提供することはできない。
当業者には、添付の図面の参照により、本開示がより適切に理解され、その数多くの特徴および利点が明らかになるであろう。異なる図面における同一の参照符号の使用は、同様または同一のアイテムを示す。
いくつかの実施形態に係る、裸眼立体視ディスプレイパネルの簡略化された断面と、裸眼立体視ディスプレイのその他の構成要素のブロック図とを示す図である。 いくつかの実施形態に係る、操縦可能なバックライトを有する裸眼立体視ディスプレイシステムを用いて複数の観察者に3D画像表示を提供する方法を示すフロー図である。 図2の方法に従う裸眼立体視ディスプレイシステムの動作の例の平面図を示す図である。 いくつかの実施形態に係る、図3の動作の例の斜視図を示す図である。 図2の方法に従う裸眼立体視ディスプレイシステムの動作の例の平面図を示す図である。 いくつかの実施形態に係る、図5の動作の例の斜視図を示す図である。
詳細な説明
従来のレンチキュラー裸眼立体視ディスプレイは、サポートされる観察者位置の数と、表示される3D像のピクセル解像度との間の、相反関係を示す。これに対し、本明細書に記載の裸眼立体視ディスプレイシステムの実施形態は、ディスプレイパネルの選択的透過型ディスプレイピクセルマトリクスに重ねられた典型的なレンチキュラーアレイに加えて、バックライトと透過型ディスプレイピクセルマトリクスとの間に配置されたもう1つのレンチキュラーアレイを使用することにより、可能な複数の位置の複数の観察者をサポートし各観察者に別々のビデオを提示しつつ、高いピクセル解像度を維持する。バックライトのバックライトピクセルのサブセットの選択的活性化と、この追加されたレンチキュラーアレイ(本明細書では「バックライトレンチキュラーアレイ」と呼ぶ)とにより、バックライトピクセルのサブセットから放出されたバックライティングを、選択的透過型ディスプレイピクセルマトリクスに対する、意図する角度または方向で、透過させるまたは「操縦」することができる。したがって、選択的透過型ディスプレイピクセルマトリクスを透過させて放出された方向性バックライトによって生じるディスプレイ光は、同様に、選択的透過型ディスプレイピクセルマトリクスに重ねられたレンチキュラーアレイ(本明細書では「ディスプレイレンチキュラーアレイ」と呼ぶ)を、透過型ピクセルマトリクスの表面または面に対する、対応する角度で透過する。よって、2次元(2D)フレームまたは複合3Dフレーム(すなわち立体視画像ペアの左目画像のピクセルと右目画像のピクセルとが交互配置されて形成されたフレーム)を、予想される観察者位置に関連付けられるバックライトピクセルのサブセットの活性化により、その予想される観察者に向けて「操縦する」ことができる。このようにして、異なる観察者に対する異なるフレームを、それぞれの予想される観察者位置に向けて順次操縦することにより、複数の観察者をサポートすることができる。この構成の場合、ディスプレイパネルは、繰り返されるビューゾーンを示さないので、所与のどの観察者に対しても、より高いディスプレイ解像度を維持することができる一方で、多様な観察者位置をサポートすることもできる。さらに、いくつかの実施形態において、裸眼立体視ディスプレイシステムは、1人または複数の観察者の姿勢を追跡するために、頭部/目の姿勢の追跡を用いることで、予想される観察者位置を、より具体的には、いくつかの実施形態においては観察者の目の位置を、推定するまたは求めることより、その観察者に対して表示される画像の正確な操縦を容易にする。
図1は、少なくとも1つの実施形態に係る、複数の同時観察者をサポートするためにレンチキュラーベースの操縦可能なバックライトを採用する裸眼立体視ディスプレイシステム100を示す。ディスプレイシステム100は、ビデオまたはその他の像を表示するために利用される、コンピュータモニタ、ビデオゲーム機、テレビ、タブレットコンピュータ、ラップトップコンピュータ、およびその他のパネルディスプレイを含む、さまざまな電子システムのうちのいずれかを含む。ディスプレイシステム100は、ディスプレイパネル102と、ディスプレイコントローラ104と、観察者追跡サブシステム106と、ビデオサブシステム108とを含む。参照し易いようにディスプレイパネル102とは別に示されているが、ディスプレイコントローラ104、観察者追跡サブシステム106、およびビデオサブシステム108のうちの1つ以上は、いくつかの実施形態において、ディスプレイパネル102の一部として組み込まれていてもよい。
断面図110(図4に示される、X-Z面に沿った切断部A-Aに対応)に示されるように、ディスプレイパネル102は、透過型ディスプレイパネルであり、バックライトピクセル114のマトリクスまたはその他の2次元アレイ(たとえば白色光LED)からなるバックライト112と、同様に透過型ディスプレイピクセル118のマトリクスまたはその他の2次元アレイからなる(たとえば赤色、緑色、および青色(RGB)サブピクセルLEDからなる)選択的透過型ディスプレイピクセルマトリクス116とを含む。透過型ディスプレイピクセル118は、得られた透過光を、特定の色または強度に影響を与えるように構成するために、対応するピクセル値に基づいて、バックライト112から入射したバックライトを選択的に通すまたは遮断するように構成された、さまざまなディスプレイピクセルのうちのいずれかを含み得る。そのような透過型ディスプレイピクセルの例は、薄膜トランジスタ(TFT)LC等の、アクティブマトリクスまたはパッシブマトリクス液晶(LC)を含む。典型的に、ディスプレイピクセルマトリクス116は、バックライト112よりも高い解像度を有する(すなわちピクセルの数が多い)が、いくつかの実施形態において、バックライト112の解像度が、ディスプレイピクセルマトリクス116の解像度と一致していてもよくまたはそれを超えていてもよい。ディスプレイパネル102は、ディスプレイピクセルマトリクス116の観察者対面側122に重なる、そうでなければその隣に配置されたディスプレイレンチキュラーアレイ120をさらに含む。一実施形態において、ディスプレイレンチキュラーアレイ120は、異なる角度から観察された場合に、下にあるベースの異なる領域を拡大する、「レンチキュラー」として知られている拡大レンズのアレイまたはその他のマトリクス121からなる。したがって、当該技術では周知のように、また以下でより詳細に説明するように、ディスプレイレンチキュラーアレイ120とディスプレイピクセルマトリクス116とを重ね合わせたものが、(たとえばカラムにより)相互配置された立体視画像ペアからなる複合3Dフレームの表示に関連して使用された場合に、全視差両眼立体視ディスプレイコンテンツを、観察者に対して提示する。
さらに、ディスプレイパネル102の正面に対して特定の方向に3D画像コンテンツを提示し易くする(それによって複数の同時観察者をサポートし易くする)ために、少なくとも1つの実施形態において、ディスプレイパネル102は、ディスプレイピクセルマトリクス116の背面側126とバックライト112の正面側127との間に、実質的にこれらと平行に配置された、バックライトレンチキュラーアレイ124をさらに含む。ディスプレイレンチキュラーアレイ120と同様に、バックライトレンチキュラーアレイ124は、レンチキュラー125のアレイまたはその他のマトリクスからなる。説明の容易さのために、ディスプレイレンチキュラーアレイ120およびバックライトレンチキュラーアレイ124の双方は、各々が、カラム状レンチキュラー(すなわち、ディスプレイパネルの通常の向きに対して鉛直方向のカラムに延在する拡大レンズ)のプラスチックまたはガラスシートからなり、ディスプレイレンチキュラーアレイ120は、バックライトレンチキュラーアレイ124よりも高ピッチである。
断面図110に示される、バックライト112、バックライトレンチキュラーアレイ124、選択的透過型ディスプレイピクセルマトリクス116、およびディスプレイレンチキュラーアレイ120の物理的配置の効果として、特定のバックライトピクセル114から放出されたバックライトを、バックライトレンチキュラーアレイ124が、選択的透過型ディスプレイピクセルマトリクス116を通して、次にディスプレイレンチキュラーアレイ120を通して、特定の方向に導く、という効果がある。よって、放出されたバックライトが選択的透過型ディスプレイピクセルマトリクス116を通る際に修正されることによって生じる「ディスプレイ光」は、ディスプレイパネル102により、バックライトを放出したバックライトピクセル114の特定の位置に基づく(ディスプレイパネル102のディスプレイ面に対する)特定の方向に、放出される。したがって、以下でより詳細に説明するように、バックライト112は、バックライトピクセル114の異なるサブセットを別々に活性化できるように構成され、バックライトピクセル114の特定のサブセットの活性化により生じた、ディスプレイパネル102から放出されるディスプレイ光を、対応する方向に放出されるように、制御することができる。このようにして、バックライト112およびバックライトレンチキュラーアレイ124は、ともに、特定方向に表示されるフレームの視覚コンテンツを表すディスプレイ光を操縦するように動作可能な「操縦可能な」バックライト128として、動作する。よって、異なる連続表示画像を異なる観察者位置へと「操縦」し、それによって複数の観察者が3Dコンテンツを特別なヘッドギアを装着しなくても同時に観ることができるように、ディスプレイパネル102を制御することができる。
そのために、ディスプレイシステム100は、観察者追跡サブシステム106を利用することにより、図1に示される2人の観察者131、132のような1人以上の観察者の各々の姿勢を追跡する。観察者追跡サブシステム106は、当該技術では周知の、頭部および/または目の姿勢追跡のために採用されるさまざまなシステムのうちのいずれかを含む。たとえば、観察者追跡サブシステム106は、反射した赤外(IR)光またはその他の構造化された光を利用することによって観察者の顔の存在を検出し、さらにディスプレイパネル102に対する観察者の目の位置および向き(すなわち「姿勢」)を検出する、立体視カメラサブシステムを、含み得る。参照の容易さのために、本開示のシステムおよび技術は、広く、目の姿勢の追跡という文脈で説明されるが、これらの説明は、より広く、頭部の追跡に等しく適用され、したがって、観察者の姿勢に言及する場合、それは、別段の記載がない限り、観察者の片目または両目の相対的な位置、観察者の片目または両目の向き、観察者の頭部の相対的な位置、観察者の頭部の向き、またはその組み合わせのうちのいずれかのことである。さらに、下記の目的のため、本明細書では、観察者の姿勢を、ディスプレイパネル102のディスプレイ面(すなわちディスプレイパネル102によって画定されるX-Y面)の、あるポイントを、たとえばディスプレイパネル102の中心を基準として説明する。しかしながら、その他の実施形態において、姿勢は、追跡サブシステム106の2つのカメラの間の中心点、ディスプレイパネル102の指定されたコーナーなどのような、異なる固定された基準に対して定められてもよい。
ビデオサブシステム108は、一実施形態において、少なくとも1つの中央処理装置(CPU)130および少なくとも1つのグラフィック処理装置(GPU)129等の1つ以上のプロセッサ、少なくとも1つのシステムメモリ134、各種入出力(I/O)デバイス、マスストレージデバイスなど(図示せず)を含む。システムメモリ134は、CPU130およびGPU129のうちの一方または双方によって実行される、ビデオ生成ソフトウェアアプリケーション136等の1つ以上のソフトウェアプログラムを格納し、これは、1人以上の観察者に対して画像フレームのシーケンス(以下単に「フレーム」)を生成するようCPU130およびGPU129を操作する、実行可能な命令を含む。ビデオ生成ソフトウェアアプリケーション136は、たとえば、ビデオゲームアプリケーション等の、主としてコンピュータグラフィックスからなるフレームをレンダリングするレンダリングベースのアプリケーション、(テレビストリーミングアプリケーション等の)前に符号化されたフレームをデコードすることによってフレームを生成するデコードベースのアプリケーション、またはその組み合わせ(たとえば拡張現実(augmented reality)アプリケーションが、デコードされた現実世界のビデオストリームに対し、ARオーバーレイをレンダリングする)を、含み得る。
少なくとも1つの実施形態において、生成されたフレームは、左目画像と右目画像とをインターレースしたものからなる3D複合フレームであり、左目画像と右目画像とが合わさって立体視画像ペアを形成し、この立体視画像ペアは、観察者の左目および右目のそれぞれで観察されたときに、両眼視または立体視による奥行きの知覚(すなわち「3D」画像の知覚)を観察者に提供する。さらに、いくつかの実施形態において、ビデオサブシステム108は、観察者追跡サブシステム106が追跡する各観察者に対して別々のストリームを生成する。よって、図1の例における2人の観察者131、132の場合、ビデオサブシステム108は、観察者131に対して複合フレームのあるストリームを生成し、観察者132に対して複合フレームのもう1つのフレームを生成する。以下でより詳細に説明するように、GPU129は、所与の観察者について、観察者追跡サブシステム106によって判断され提供された現在の観察者姿勢情報138を利用して、対応するビデオストリームを生成することにより、その観察者の現在の姿勢を、ビデオストリームのフレームにおいて表される視覚コンテンツに反映させる。たとえば、フレームにおいて表される視覚コンテンツを、観察者の現在の姿勢に基づいた、ディスプレイパネル102に対する観察者の遠近感(perspective)に対応させるように、レンダリングすることができる。
示されている実施形態において、ディスプレイコントローラ104は、フレームバッファ140と、タイミングコントローラ(TCON)142と、バックライトコントローラ144とを含む。ディスプレイコントローラ104は、たとえばディスプレイドライバ集積回路(DDIC)として実現され、これは、ディスプレイパネル102自体の一部であってもよく、ビデオサブシステム108の一部であってもよく、またはこれらの2つの間に配置された構成要素であってもよい。フレームバッファ140は、たとえばグラフィックランダムアクセスメモリ(GRAM)として実現され、または、いくつかの実施形態においてシステムメモリ134の一部として実現され、ビデオサブシステム108が生成しGPU129からSCAN_IN信号146を介して転送されたフレームのピクセルデータを一時的にバッファするように動作する。タイミングコントローラ142は、フレームバッファ140に結合され、クロックソースとプログラマブルまたは固定ロジックとを含み、これは、あるフレームについてフレームバッファ140に格納されたピクセルデータを、典型的には1ラインごとに、SCAN_OUT信号148と、当該技術において周知のさまざまな技術またはプロトコルのいずれかを使用する制御信号(図示せず)とを用いて、ディスプレイピクセルマトリクス116に転送するように機能することができる。
バックライトコントローラ144(図1において「BKLT_CTR」で示される)は、タイミングコントローラ142に結合され、CPU130またはビデオサブシステム108の他の構成要素からバックライト構成情報150を受けるための入力を有し、バックライト構成情報150に基づいて、対応する、バックライト112のバックライトピクセル114のサブセットを選択的に活性化するバックライト制御(BKLT_CTL)信号152を生成することにより、結果としてディスプレイパネル102から放出されるディスプレイ光を、対応する方向に「操縦する」。少なくとも1つの実施形態において、システムメモリ134はCPU130を操作する実行可能なコードを含む観察者操縦アプリケーション154を含み、それにより、選択された観察者について、この観察者の現在の姿勢を、観察者追跡サブシステム106から提供された観察者姿勢情報138から特定し、ディスプレイパネル102に対するその観察者の方向を観察者の現在の姿勢に基づいて判断し、その後、判断した方向を表すものを、バックライト構成情報150として、バックライトコントローラ144に提供する。そうすると、先に述べたように、バックライトコントローラ144は、対応するバックライトピクセル114のサブセットを活性化し、放出されたバックライトが、バックライトレンチキュラーアレイ124により、選択的透過型ディスプレイピクセルマトリクス116を通して、観察者の現在の位置と交差する方向に操縦され、それにより、選択的透過型ディスプレイピクセルマトリクス116に現在表示されているフレームの視覚コンテンツを、放出されるディスプレイ光の方向に提示する。
図2は、図1のディスプレイシステム100の複数観察者(multi-viewer)動作をより詳細に説明する方法200を示す。説明のために、以下では方法200を図3および図4を参照しながら記述し、図3は、方法200の2観察者動作の平面図の一例を示し、図4は、同じ2観察者動作の対応する斜視図を示す。しかしながら、2観察者の特定の例が示されているものの、記載されている技術は、本明細書で提供するガイドラインを用いて任意の数の観察者に拡張できることが理解されるであろう。
示されているように、方法200は、2つのサブプロセスとして、観察者追跡サブプロセス202と観察者ディスプレイサブプロセス204とを含む。観察者追跡サブプロセス202において、観察者追跡サブシステム106は、さまざまな周知のまたはプロプライエタリ技術のうちのいずれかを用いて、ディスプレイパネル102のディスプレイ面のある範囲内に存在する各観察者の存在を識別し、識別した各観察者ごとに、その観察者の現在の観察者姿勢を監視する。説明すると、観察者追跡サブシステム106は、さまざまな顔検出アルゴリズムのうちのいずれかを使用して、観察者の顔の存在を検出し、その後、さまざまな姿勢検出アルゴリズムのうちのいずれかを使用して、検出した顔の、または場合によっては検出した顔の目の、位置および向きを検出し、この情報を繰り返し更新することができる。そのような技術は、立体視画像の捕捉および分析、IR光または構造化された光の投影を用いた奥行きの検知などを利用することができる。図1の観察者131および132のような、検出した各観察者ごとの現在の観察者姿勢が、その後、上記のように観察者姿勢情報138としてビデオサブシステム108に周期的に送信される。
方法200において、観察者ディスプレイサブプロセス204は、複合フレームを特定の観察者に対して表示するプロセスを表し、これは、ディスプレイパネル102により生成されたディスプレイ光が、レンチキュラーベースの操縦可能なバックライト128を介して、ディスプレイパネル102から対応する観察者の現在の姿勢と交差する方向に投影されるように、ディスプレイ光を操縦することによって行われる。したがって、最初のステップとして、ブロック206において、サブプロセス202の現在の繰り返しにおいて特定された1人以上の観察者から、ある観察者が選択される。この選択は、たとえば、ラウンドロビン選択を含み得る、または、ディスプレイパネル102により近い観察者を、ディスプレイパネル102からより遠い観察者よりも高い割合で選択するといったように、何らかの形態の優先順位に基づいていてもよい。
ブロック208において、ビデオサブシステム108におけるビデオ生成ソフトウェアアプリケーション136を実行することにより、GPU129を操作して、3D複合フレームを生成しフレームバッファ140にバッファする。複合フレームは、先に述べたように、組み合わされた立体視画像ペアである、すなわち、左目画像と右目画像の双方を含み、これらの画像は、観察者のそれぞれの目で観察されたときに、表示された像について、奥行きの両眼視感覚を提供する。典型的に、この組み合わせは交互カラム方式で実現され、よって、たとえば、複合フレームの偶数カラムは左目画像のカラムを含み、複合フレームの奇数カラムは右目画像のカラムを含む。当該技術では周知のように、そのような複合フレームがディスプレイレンチキュラーアレイ120のようなレンチキュラーアレイを通して観察された場合、レンチキュラーによって与えられる特定の観察角度により、偶数カラムから放出されて一方の射出瞳(たとえば左目射出瞳)に伝達されるディスプレイ光になるディスプレイ光と、奇数カラムから放出されてもう1つの射出瞳(たとえば右目射出瞳)に伝達されるディスプレイ光になるディスプレイ光とが分離される。少なくとも1つの実施形態において、CPU130は、選択した観察者についての現在の観察者姿勢情報138を受け、仮想世界または現実世界の基準座標系に対するユーザの姿勢に基づいて仮想現実(VR)ヘッドセットまたは拡張現実(AR)ヘッドセットに奥行きの感覚を提供するためによく採用されるような、さまざまな周知のまたはプロプライエタリ3Dレンダリング技術のうちのいずれかを用いて、現在の観察者の姿勢を反映させるために、複合フレームをレンダリングするよう、GPU129に指示する。
ブロック210において、観察者操縦アプリケーション154を実行することにより、CPU130を操作して、選択的バックライト活性化構成を特定し、これは、バックライトレンチキュラーアレイ124とともに、放出されたバックライトを、選択的透過型ディスプレイピクセルマトリクス116を通して、観察者について検出された現在の観察者姿勢の、その観察者と交差する方向に、操縦する。次に、観察者操縦アプリケーション154は、特定された選択的バックライト活性化構成を表したものを、次のフレーム周期のためのバックライト構成情報150として提供する。この選択的バックライト活性化構成は、対応するバックライトピクセル114のサブセットを表し、このサブセットは、活性化されるとバックライトを放出し、このバックライトは次に、バックライトレンチキュラーアレイ124のレンチキュラーにより、コリメートされ、選択的透過型ディスプレイピクセルマトリクス116の面に対する対応する角度で屈折させられ、それにより、ディスプレイ光が、観察者と交差する意図する方向に伝達される。
ディスプレイ光を対応する方向に伝達させる、特定のバックライトピクセル114のサブセットは、とりわけ、バックライト112におけるバックライトピクセル114の物理的配置、バックライトレンチキュラーアレイ124におけるレンチキュラー125のピッチ、構成、および配置、ならびに、バックライト112とバックライトレンチキュラーアレイ124との間の距離の、関数である。このサブセットは、典型的に、黒色または濃色(活性化されていない)と白色または明色(活性化されている)とのカラムストライプからなるバーパターンを形成するバックライトピクセル114のカラムのサブセットであり、バーパターンの周期、デューティサイクル、および位相は、対応する観察者の姿勢に基づいて構成される。サブセットの他のパターンおよび構成は、ディスプレイパネル102、ならびにその対応するレンチキュラーおよびディスプレイピクセル成分の構成に応じて決定することができる。
バックライトピクセル114のサブセットと、対応するディスプレイ光投影方向との対応関係は、さまざまなやり方のうちのいずれかで求めることができる。いくつかの実施形態において、ディスプレイパネル102の構成要素が、モデル化またはシミュレートされ、サブセットとディスプレイ方向との対応関係は、このモデル化/シミュレーションを通じて求められる。他の実施形態において、同一構成を有するテストシステムが構築され、次に、バックライトピクセル114の異なるサブセットが活性化され、それらに対応する「操縦される」ディスプレイ方向が、光度計またはその他のテストツールを用いて検出される。次に、こうして求められた対応関係を、後の参照および決定のために、観察者操縦アプリケーション154により、さまざまな技術のうちのいずれかを用いて、表現することができる。たとえば、いくつかの実施形態において、バックライトピクセル114の異なるサブセットの活性化と、それによって発生するディスプレイ光投影方向との対応関係が、ルックアップテーブル(LUT)156(図1)において表現され、LUT156の各エントリは、バックライトピクセル114の特定のサブセットの識別子またはその他の表現を格納し、対応する姿勢(たとえばディスプレイパネル102のディスプレイ面に対する姿勢の角度)の表現に基づいてインデックスされる。したがって、アプリケーション154を操作する観察者は、受け取った現在の観察者の姿勢の適切な表現を決定し、この表現に基づいてLUT156のエントリをインデックスし、バックライトを操縦するために活性化する必要があるバックライトピクセル114の対応するサブセットの表現を決定し、それにより、得られたディスプレイ光を、現在の観察者の姿勢と交差する方向に、操縦することができる。別の例として、観察者の姿勢/操縦されるバックライト方向と、活性化されるバックライトピクセル114の対応するサブセットとの対応関係を、関数表現158(図1)を用いて表すことができる。
(ブロック212で示される)次のフレーム周期のスタート時に、ディスプレイコントローラ104は、ブロック208において生成されバッファされた複合フレームのピクセルデータを、ブロック214において、SCAN_OUT信号148(および他のタイミングおよび制御信号(図示せず))を介して、選択的透過型ディスプレイピクセルマトリクス116の対応するディスプレイピクセル118にスキャンする。ブロック216において、バックライトコントローラ144は、ブロック210で与えられたバックライト構成情報150において特定された選択的バックライト活性化構成を用いて、バックライト構成情報150によって特定されたサブセットに含まれるバックライトピクセル114を選択的に活性化しつつ、その他のバックライトピクセル114を、非活性化状態(または、いくつかの実施形態では、選択されたサブセットのピクセルの活性化レベルと比較して非常に低い活性化レベル)に保つ。このようにして活性化されたサブセットのバックライトピクセル114はバックライトを放出し、このバックライトは、バックライトレンチキュラーアレイのレンチキュラー125により、コリメートされ、選択的透過型ディスプレイピクセルマトリクス116に対する特定の方向に屈折させられる。一方、現在の複合フレームのスキャンされたピクセルデータに基づいてディスプレイピクセルマトリクス116のディスプレイピクセル118が構成された状態で、操縦されるバックライトは、選択的透過型ディスプレイピクセルマトリクス116によって透過および修正され、それにより、複合フレームによって表される視覚コンテンツを含むディスプレイ光が得られる。この操縦されるディスプレイ光は、次にディスプレイレンチキュラーアレイ120によって左目画像と右目画像に分離され、左目画像に対応するディスプレイ光は、ブロック204で選択された観察者の左目の予想位置と一致する左目射出瞳に対応する方向に屈折させられ、右目画像に対応するディスプレイ光は、選択された観察者の右目の予想位置と一致する右目射出瞳に対応する方向に屈折させられる。
このように、対応するフレーム周期についての観察者ディスプレイサブプロセス204の1回の繰り返しで、3D画像が生成され、選択された観察者の予想される方向に表示される。次のフレーム周期について、観察者ディスプレイサブプロセス204の次の繰り返しが実行され、その結果、3D画像が生成され、この3D画像が、次の選択された観察者の方向に表示され、以降同様に続く。このようにして、3D画像を生成し、異なる観察者に向けて交互配置パターンで操縦し、その結果、複数の観察者に対して同時に示される、交互配置された複数のビデオストリームを得ることができる。たとえば、ディスプレイシステム100のリフレッシュレートが毎秒120フレーム(120fps)であり2人の観察者が存在する場合、各観察者に対して別々のビデオストリームを有効レート60fpsで提示することができる。同様に、3人の観察者が存在する場合、別々の3Dビデオストリームを毎秒40フレームという有効レートで各観察者に表示することができる。このように、本明細書に記載のレンチキュラーベースの操縦可能なバックライトの使用を通して、複数の観察者の各々に、別々の3Dビデオストリームをディスプレイパネル102の全解像度で示し、主としてフレームレートだけが、同時にサポートされている観察者の数に基づく影響を受ける。
図3~図6はともに、2観察者構成の場合の裸眼立体視ディスプレイシステム100における方法200の動作の例を示す。図3は、複合フレームNを観察者131に対して表示する場合の、ディスプレイパネル102および2人の観察者131、132の平面/断面図301を示し、図4は、この複合フレームNの表示中のディスプレイパネル102および2人の観察者131、132の対応する斜視図401を示す。図5は、次の複合フレームN+1を観察者132に対して表示する場合の、ディスプレイパネル102および2人の観察者131、132の平面/断面図501を示し、図6は、この複合フレームN+1の表示中のディスプレイパネル102および2人の観察者131、132の対応する斜視図601を示す。
図3の平面図301および対応する図4の斜視図401を参照すると、観察者131は、観察者追跡サブシステム106により、これからのフレームNの表示に対して現在の姿勢304を有するものとして検出される。それに応じて、観察者操縦アプリケーション154は、現在の姿勢304の表現(たとえば観察者131の位置の表現)を、LUT156への入力として提供し、出力として、現在の姿勢304に対応するバックライトピクセル114のサブセット306(図3)を表す識別子を得る。この単純化された例において、サブセット306は、示されているバックライトピクセル114のカラムからなり、これは、対応する周期、位相、およびデューティサイクルを有する第1のバーパターンを形成し、それによってバックライトが得られ、結果として、観察者131の現在の姿勢304の方向に伝搬される透過修正ディスプレイ光が得られる。同時に、複合フレームNを表すピクセルデータ308(図3)が、選択的透過型ディスプレイピクセルマトリクス116にスキャンされる。フレームNのフレーム周期の始まりを知らせる垂直ブランク(VBLANK)信号またはその他のタイミング信号に応答して、バックライトコントローラ144は、BKLT_CTL信号152を、サブセット306のバックライトピクセル114を活性化する一方で、バックライト112のその他のバックライトピクセル114を非活性化または低活性化状態に保つように、構成する。そのように活性化されると、サブセット306のバックライトピクセル114はバックライトを放出し、これは、バックライトレンチキュラーアレイ124により、選択的透過型ディスプレイピクセルマトリクス116およびディスプレイレンチキュラーアレイ120を通してコリメートおよび操縦され、その結果、複合フレームNの視覚コンテンツを表すディスプレイ光が得られ、このディスプレイ光は、ディスプレイパネル102から、現在の姿勢304と交差する方向に投影され、よって、3D像を観察者131に対して表示する。特に、交互配置された左目画像および右目画像を含む複合フレームを使用し、その後、これらの2つの画像の各々に対してディスプレイ光をディスプレイレンチキュラーアレイ120によって分離することにより、このディスプレイ光は、左目ディスプレイ光403(図4)および右目ディスプレイ光404(図4)として、それぞれ左目射出瞳405(図4)および右目射出瞳406(図4)に向けて投影され、これらはそれぞれ姿勢304を有する観察者131の左目および右目の予想される位置と一致する。
図3の図301は、このプロセスを、単純な例を用い、バックライトピクセル114の1つの行およびディスプレイピクセル118の2つの行からのバックライトを参照しながらさらに説明する。サブセット306を活性化すると、バックライトピクセル114のカラム312によって放出されるバックライト310が得られる。このバックライト310は、バックライトレンチキュラーアレイ124によってコリメートおよび操縦され、このようにして得られた操縦されるバックライト314がディスプレイピクセルマトリクス116の隣り合うピクセルカラム315、316を通過する方向に操縦され、その結果、入射したバックライトは、ピクセルカラム315からのディスプレイ光317と、ピクセルカラム316からのディスプレイ光318とに変換される。この例において、ピクセルカラム315は、複合フレームNの左目画像の対応するカラムのピクセルデータを含み、ピクセルカラム316は、複合フレームNの右目画像の対応するカラムのピクセルデータを含み、よって、ディスプレイ光317は、観察者131の左目による知覚を意図した視覚コンテンツを含み、ディスプレイ光318は、観察者131の右目による知覚を意図した視覚コンテンツを含む。ディスプレイ光317、318は、ディスプレイレンチキュラーアレイ120を透過し、ディスプレイレンチキュラーアレイ120は、ディスプレイ光317を、観察者131の左目のための左目射出瞳405を形成する方向に操縦し、ディスプレイ光318を、観察者131の右目のための右目射出瞳406を形成する方向に操縦し、それにより、複合フレームNで表される立体視3D画像を観察者131に対して表示する。
図5の平面図501および対応する図6の斜視図601を参照すると、観察者132は、観察者追跡サブシステム106により、これからのフレームN+1の表示に対して現在の姿勢504を有するものとして検出される。それに応じて、観察者操縦アプリケーション154は、現在の姿勢504の表現を、LUT156への入力として提供し、出力として、現在の姿勢504に対応するバックライトピクセル114のサブセット506(図5)を表す識別子を得る。この単純化された例において、サブセット506は、示されているバックライトピクセル114のカラムからなり、これは、対応する周期、位相、およびデューティサイクルを有する第2のバーパターンを形成し、それによってバックライトが得られ、結果として、観察者132の現在の姿勢504の方向に伝搬される透過修正ディスプレイ光が得られる。同時に、複合フレームN+1を表すピクセルデータ508(図5)が、選択的透過型ディスプレイピクセルマトリクス116にスキャンされる。フレームNのフレーム周期の始まりを知らせるタイミング信号に応答して、バックライトコントローラ144は、BKLT_CTL信号152を、サブセット506のバックライトピクセル114を活性化する一方で、バックライト112のその他のバックライトピクセル114を非活性化または低活性化状態に保つように、構成する。そのように活性化されると、サブセット506のバックライトピクセル114はバックライトを放出し、これは、バックライトレンチキュラーアレイ124により、選択的透過型ディスプレイピクセルマトリクス116およびディスプレイレンチキュラーアレイ120を通してコリメートおよび操縦され、その結果、複合フレームN+1の視覚コンテンツを表すディスプレイ光が得られ、このディスプレイ光は、ディスプレイパネル102から、現在の姿勢504と交差する方向に投影され、よって、3D像を観察者132に対して表示する。特に、複合フレームの使用およびディスプレイレンチキュラーアレイ120の機能により、このディスプレイ光は、左目ディスプレイ光603(図6)および右目ディスプレイ光604(図6)として、それぞれ左目射出瞳605(図6)および右目射出瞳606(図6)に向けて投影され、これらはそれぞれ姿勢504を有する観察者132の左目および右目の予想される位置と一致する。
図5の図501は、このプロセスを、単純な例を用い、バックライトピクセル114の1つの行およびディスプレイピクセル118の2つの行からのバックライトを参照しながらさらに説明する。サブセット506を活性化すると、バックライトピクセル114のカラム512によって放出されるバックライト510が得られる。このバックライト510は、バックライトレンチキュラーアレイ124によってコリメートおよび操縦され、このようにして得られた操縦されるバックライト514がディスプレイピクセルマトリクス116の隣り合うピクセルカラム515、516を通過する方向に操縦され、その結果、入射したバックライトは、ピクセルカラム515からのディスプレイ光517と、ピクセルカラム516からのディスプレイ光518とに変換される。この例において、ピクセルカラム515は、複合フレームN+1の左目画像の対応するカラムのピクセルデータを含み、ピクセルカラム516は、複合フレームN+1の右目画像の対応するカラムのピクセルデータを含み、よって、ディスプレイ光517は、観察者132の左目による知覚を意図した視覚コンテンツを含み、ディスプレイ光518は、観察者132の右目による知覚を意図した視覚コンテンツを含む。ディスプレイ光517、518は、ディスプレイレンチキュラーアレイ120を透過し、ディスプレイレンチキュラーアレイ120は、ディスプレイ光517を、観察者132の左目のための左目射出瞳605を形成する方向に操縦し、ディスプレイ光518を、観察者132の右目のための右目射出瞳606を形成する方向に操縦し、それにより、複合フレームN+1で表される立体視3D画像を観察者132に対して表示する。
図3~図6に示されるプロセスは、観察者131を意図した複合フレームと観察者132を意図した複合フレームとを交互配置することにより、繰り返し実行することができ、観察者131に対しては、上記レンチキュラーバックライト操縦プロセスにより、直近に検出された観察者131の姿勢に合わせて操縦される、複合フレームN+i(i=0,2,4,6,8,…)の提示を通して実現されたビデオストリームが表示され、観察者132に対しては、同じレンチキュラーバックライト操縦プロセスにより、さらに最近検出された観察者132の姿勢に合わせて操縦される、複合フレームN+k(k=1,3,5,7,9,…)の提示を通して実現されたビデオストリームが表示される。
ある局面に従うと、裸眼立体視ディスプレイシステムは、透過型ディスプレイパネルを備え、透過型ディスプレイパネルは、バックライトピクセルのアレイを有するバックライトと、バックライトに面する第1の面と反対側の第2の面とを有する選択的透過型ディスプレイピクセルマトリクスとを含み、選択的透過型ディスプレイピクセルマトリクスは、ディスプレイピクセルのアレイを含み、透過型ディスプレイパネルはさらに、バックライトと選択的透過型ディスプレイピクセルマトリクスの第1の面との間に配置された第1のレンチキュラーアレイと、選択的透過型ディスプレイピクセルマトリクスの第2の面に面するように配置された第2のレンチキュラーアレイとを含む。バックライトは、バックライトピクセルの異なるサブセットを別々に活性化して、バックライトピクセルの活性化されたサブセットから放出され第1のレンチキュラーアレイと選択的透過型ディスプレイピクセルマトリクスと第2のレンチキュラーアレイとを透過した光が、ディスプレイパネルにより、ディスプレイ光として、ディスプレイパネルに対する、対応する別々の方向に放出されるように、構成される。
さらに他の実施形態に従うと、裸眼立体視ディスプレイシステムは、以下の特徴のうちの1つ以上(たとえばすべて)を(またはその任意の組み合わせを)含み得る。
いくつかの実施形態において、システムは、バックライトと選択的透過型ディスプレイピクセルマトリクスとに結合されたディスプレイコントローラをさらに備え、ディスプレイコントローラは、第1のフレームおよび第2のフレームを連続して表示するように構成され、第1のフレームは第1のビデオストリームに関連付けられ、第2のフレームは第2のビデオストリームに関連付けられ、さらに、第1のフレームの表示のために、バックライトのバックライトピクセルの第1のサブセットを活性化して、第1のフレームの表示中にバックライトピクセル第1のサブセットから放出され第1のレンチキュラーアレイと選択的透過型ディスプレイピクセルマトリクスと第2のレンチキュラーアレイとを透過した光が、ディスプレイパネルにより、第1のディスプレイ光として、ディスプレイパネルに対する第1の方向に放出されるように、構成され、第1のディスプレイ光は第1のフレームの画像コンテンツを表し、さらに、第2のフレームの表示のために、バックライトのバックライトピクセルの第2のサブセットを活性化して、第2のフレームの表示中にバックライトピクセル第2のサブセットから放出され第1のレンチキュラーアレイと選択的透過型ディスプレイピクセルマトリクスと第2のレンチキュラーアレイとを透過した光が、ディスプレイパネルにより、第2のディスプレイ光として、ディスプレイパネルに対する第2の方向に放出されるように、構成され、第2のディスプレイ光は第2のフレームの画像コンテンツを表し、第2のサブセットは第1のサブセットと異なり、第2の方向は第1の方向と異なる。システムは、1人以上の観察者のうちの各観察者の姿勢を追跡するように構成された観察者追跡サブシステムをさらに備え、バックライトピクセルの第1のサブセットは、第1の観察者の姿勢に基づいて、第1の方向がディスプレイパネルに対する第1の観察者の姿勢と交差するように、選択され、バックライトピクセルの第2のサブセットは、第2の観察者の姿勢に基づいて、第2の方向がディスプレイパネルに対する第2の観察者の姿勢と交差するように、選択される。いくつかの実施形態において、システムは、第1の観察者の姿勢に基づいて第1のフレームを生成し第2の観察者の姿勢に基づいて第2のフレームを生成するように構成されたビデオサブシステムをさらに備える。第1のフレームおよび第2のフレームの各々は、3次元(3D)複合フレームを含み得るものであり、3次元複合フレームは、観察者の左目に対する画像コンテンツを表すピクセルの第1のサブセットと、観察者の右目に対する画像コンテンツを表すピクセルの第2のサブセットとを含む。観察者の姿勢は、観察者の頭部の姿勢、および、観察者の少なくとも一方の目の姿勢、のうちの少なくとも一方を含む。いくつかの実施形態において、バックライトピクセルの第1のサブセットの活性化により、バックライティングの第1のバーパターンが生成され、バックライトピクセルの第2のサブセットの活性化により、バックライティングの第2のバーパターンが生成される。いくつかの実施形態において、システムは、フレームの表示を観察することを意図する観察者の姿勢に基づいて表示のためにフレームを生成するように構成されたビデオサブシステムをさらに備える。
もう1つの局面は、裸眼立体視ディスプレイシステムを動作させる方法を含む。さらに、ある局面は、この方法を実行するように少なくとも1つのプロセッサを操作するように構成された実行可能な命令を格納する、非一時的なコンピュータ読取可能媒体を含む。
いくつかの実施形態において、上記技術のある局面は、ソフトウェアを実行する処理システムの1つ以上のプロセッサによって実現されてもよい。ソフトウェアは、非一時的なコンピュータ読取可能記憶媒体上に格納またはそうでなければ有形に実現された実行可能な命令の1つ以上のセットを含む。ソフトウェアは、1つ以上のプロセッサによって実行されるとこの1つ以上のプロセッサを操作して上記技術の1つ以上の局面を実施する命令を含み得る。非一時的なコンピュータ読取可能記憶媒体は、たとえば、磁気もしくは光ディスク記憶装置、フラッシュメモリ等のソリッドステート記憶装置、キャッシュ、ランダムアクセスメモリ(RAM)、またはその他の1つもしくは複数の不揮発性メモリデバイスなどを含み得る。非一時的なコンピュータ読取可能記憶媒体に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または、1つ以上のプロセッサによって解釈されるまたはそうでなければ実行可能なその他の命令フォーマットであってもよい。
コンピュータ読取可能記憶媒体は、使用中にコンピュータシステムからアクセスされて命令および/またはデータをコンピュータシステムに提供することが可能な、任意の記憶媒体、または記憶媒体の組み合わせを含み得る。このような記憶媒体は、光媒体(たとえばコンパクトディスク(CD)、デジタル多目的ディスク(DVD)、Blu-Ray(登録商標)ディスク)、磁気媒体(たとえばフロッピー(登録商標)ディスク、磁気テープ、もしくは磁気ハードドライブ)、揮発性メモリ(たとえばランダムアクセスメモリ(RAM)もしくはキャッシュ)、不揮発性メモリ(たとえば読み出し専用メモリ(ROM)もしくはフラッシュメモリ)、または、微小電子機械システム(MEMS)ベースの記憶媒体を含み得るが、これらに限定される訳ではない。コンピュータ読取可能記憶媒体は、コンピューティングシステムに埋め込まれたものであってもよく(たとえばシステムRAMもしくはROM)、コンピューティングシステムに固定的に装着されたものであってもよく(たとえば磁気ハードドライブ)、コンピューティングシステムに着脱可能に装着されたものであってもよく(たとえば光ディスクもしくはユニバーサルシリアルバス(USB)ベースのフラッシュメモリ)、または有線もしくは無線ネットワークを介してコンピュータシステムに結合されたものであってもよい(たとえばネットワークアクセス可能記憶装置(NAS))。
なお、全体の説明における上記アクティビティまたは要素のうちのすべてが必要な訳ではなく、ある特定のアクティビティまたはデバイスの一部は不要である場合があり、先に述べたものに加えて1つ以上の他のアクティビティが実行されるまたは要素が含まれる場合がある。またさらに、アクティビティの記載順序は必ずしもアクティビティの実行順序ではない。また、コンセプトは特定の実施形態に言及しながら記載している。しかしながら、当業者は、以下の請求項に記載の本開示の範囲から逸脱することなく各種修正および変更を行うことができることを理解する。したがって、明細書および図面は、限定的な意味ではなく例示とみなされるべきものであり、このような修正はすべて本開示の範囲に含まれることが意図されている。
利益、その他の利点、および問題解決策は、特定の実施形態に関して説明されている。しかしながら、これらの利益、利点、問題解決策、および、何らかの利益、利点または解決策を生じさせるまたはより際立ったものにする何らかの特徴(複数の特徴)は、請求項のうちのいずれかまたはすべての、決定的な、必要な、または不可欠な特徴と解釈されることを意図したものではない。加えて、上に開示された特定の実施形態は例示にすぎない。開示されている主題は、本明細書の教示の利益を享受する当業者にとって明白である、異なっているが均等である態様で修正および実施し得るからである。以下の請求項に記載されているもの以外、本明細書に示される構成または設計の詳細に対する限定は意図されていない。したがって、上に開示された特定の実施形態は変更または修正が可能であり、このような変形はすべて開示されている主題の範囲に含まれることは、明らかである。よって、本明細書において求める保護は以下の請求項に記載の通りである。

Claims (18)

  1. 裸眼立体視ディスプレイシステムであって、前記裸眼立体視ディスプレイシステムは、
    透過型ディスプレイパネルを備え、前記透過型ディスプレイパネルは、
    バックライトピクセルのアレイを有するバックライトと、
    前記バックライトに面する第1の面と反対側の第2の面とを有する選択的透過型ディスプレイピクセルマトリクスとを含み、前記選択的透過型ディスプレイピクセルマトリクスは、ディスプレイピクセルのアレイを含み、前記透過型ディスプレイパネルはさらに、
    前記バックライトと前記選択的透過型ディスプレイピクセルマトリクスの前記第1の面との間に配置された第1のレンチキュラーアレイと、
    前記選択的透過型ディスプレイピクセルマトリクスの前記第2の面に面するように配置された第2のレンチキュラーアレイとを含み、
    前記第1のレンチキュラーアレイのピッチの幅は、前記第2のレンチキュラーアレイのピッチの幅よりも大きく、
    前記バックライトは、
    前記バックライトピクセルの異なるサブセットを別々に活性化して、バックライトピクセルの活性化されたサブセットから放出され前記第1のレンチキュラーアレイと前記選択的透過型ディスプレイピクセルマトリクスと前記第2のレンチキュラーアレイとを透過した光が、前記透過型ディスプレイパネルにより、ディスプレイ光として、前記透過型ディスプレイパネルに対する、対応する別々の方向に放出されるように、
    構成され、
    前記バックライトと前記選択的透過型ディスプレイピクセルマトリクスとに結合されたディスプレイコントローラと、
    1人以上の観察者の各々の姿勢を追跡するように構成された観察者追跡サブシステムと、をさらに備え、
    前記姿勢は、向きおよび位置を含み、
    前記ディスプレイコントローラは、前記選択的透過型ディスプレイピクセルマトリクスにより近い観察者を前記選択的透過型ディスプレイピクセルマトリクスからより遠い観察者よりも高い確率で選択することにより、前記1人以上の観察者から少なくとも1人の観察者を選択するように構成され、
    前記バックライトピクセルの異なるサブセットは、選択された前記少なくとも1人の観察者の前記姿勢に基づいて、フレームの表示中の活性化のために選択される、裸眼立体視ディスプレイシステム。
  2. 前記ディスプレイコントローラは、
    第1のフレームおよび第2のフレームを連続して表示するように構成され、前記第1のフレームは第1のビデオストリームに関連付けられ、前記第2のフレームは第2のビデオストリームに関連付けられ、さらに、
    前記第1のフレームの表示のために、前記バックライトのバックライトピクセルの第1のサブセットを活性化して、前記第1のフレームの表示中にバックライトピクセルの前記第1のサブセットから放出され前記第1のレンチキュラーアレイと前記選択的透過型ディスプレイピクセルマトリクスと前記第2のレンチキュラーアレイとを透過した光が、前記透過型ディスプレイパネルにより、第1のディスプレイ光として、前記透過型ディスプレイパネルに対する第1の方向に放出されるように、構成され、前記第1のディスプレイ光は前記第1のフレームの画像コンテンツを表し、さらに、
    前記第2のフレームの表示のために、前記バックライトのバックライトピクセルの第2のサブセットを活性化して、前記第2のフレームの表示中にバックライトピクセルの前記第2のサブセットから放出され前記第1のレンチキュラーアレイと前記選択的透過型ディスプレイピクセルマトリクスと前記第2のレンチキュラーアレイとを透過した光が、前記透過型ディスプレイパネルにより、第2のディスプレイ光として、前記透過型ディスプレイパネルに対する第2の方向に放出されるように、構成され、前記第2のディスプレイ光は前記第2のフレームの画像コンテンツを表し、前記第2のサブセットは前記第1のサブセットと異なり、前記第2の方向は前記第1の方向と異なる、請求項1に記載の裸眼立体視ディスプレイシステム。
  3. バックライトピクセルの前記第1のサブセットは、第1の観察者の姿勢に基づいて、前記第1の方向が前記透過型ディスプレイパネルに対する第1の観察者の前記姿勢と交差するように、選択され、
    バックライトピクセルの前記第2のサブセットは、第2の観察者の姿勢に基づいて、前記第2の方向が前記透過型ディスプレイパネルに対する第2の観察者の前記姿勢と交差するように、選択される、請求項2に記載の裸眼立体視ディスプレイシステム。
  4. 前記第1の観察者の前記姿勢に基づいて前記第1のフレームを生成し前記第2の観察者の前記姿勢に基づいて前記第2のフレームを生成するように構成されたビデオサブシステムをさらに備える、請求項3に記載の裸眼立体視ディスプレイシステム。
  5. 前記第1のフレームおよび前記第2のフレームの各々は、3次元(3D)複合フレームを含み、前記3次元複合フレームは、観察者の左目に対する画像コンテンツを表すピクセルの第1のサブセットと、前記観察者の右目に対する画像コンテンツを表すピクセルの第2のサブセットとを含む、請求項4に記載の裸眼立体視ディスプレイシステム。
  6. 観察者の前記姿勢は、前記観察者の頭部の姿勢、および、前記観察者の少なくとも一方の目の姿勢、のうちの少なくとも一方を含む、請求項4に記載の裸眼立体視ディスプレイシステム。
  7. バックライトピクセルの前記第1のサブセットの活性化により、バックライティングの第1のバーパターンが生成され、
    バックライトピクセルの前記第2のサブセットの活性化により、バックライティングの第2のバーパターンが生成される、請求項2~6のいずれか1項に記載の裸眼立体視ディスプレイシステム。
  8. 1人以上の観察者のうちの各観察者の姿勢を追跡するように構成された観察者追跡サブシステムをさらに備え、
    フレームの表示中に活性化のために選択されるバックライトピクセルの前記サブセットは、前記フレームの前記表示を観察することを意図する観察者の姿勢に基づいて選択される、請求項1~7のいずれか1項に記載の裸眼立体視ディスプレイシステム。
  9. 前記フレームの前記表示を観察することを意図する観察者の前記姿勢に基づいて表示のために前記フレームを生成するように構成されたビデオサブシステムをさらに備える、請求項8に記載の裸眼立体視ディスプレイシステム。
  10. 前記フレームは、観察者の左目に対する画像コンテンツを表すピクセルの第1のサブセットと、前記観察者の右目に対する画像コンテンツを表すピクセルの第2のサブセットとを含む、3次元(3D)複合フレームを含む、請求項8または9に記載の裸眼立体視ディスプレイシステム。
  11. 前記選択的透過型ディスプレイピクセルマトリクスは、液晶ピクセルアレイを含む、請求項1~10のいずれか1項に記載の裸眼立体視ディスプレイシステム。
  12. 方法であって、
    ディスプレイパネルのバックライトのバックライトピクセルの第1のサブセットを活性化し、前記第1のサブセットから放出された光を、第1のレンチキュラーアレイと選択的透過型ディスプレイピクセルマトリクスと第2のレンチキュラーアレイとに透過させて、前記ディスプレイパネルが、第1のフレームを表す第1のディスプレイ光を、前記ディスプレイパネルに対する第1の方向に放出するようにするステップを含み、第1の観察者が前記ディスプレイパネルに対する前記第1の方向に位置し、前記方法はさらに、
    前記バックライトのバックライトピクセルの第2のサブセットを活性化し、前記第2のサブセットから放出された光を、前記第1のレンチキュラーアレイと前記選択的透過型ディスプレイピクセルマトリクスと前記第2のレンチキュラーアレイとに透過させて、前記ディスプレイパネルが、第2のフレームを表す第2のディスプレイ光を、前記ディスプレイパネルに対する第2の方向に放出するようにするステップを含み、第2の観察者が前記ディスプレイパネルに対する前記第2の方向に位置し、
    前記第1の観察者の姿勢と前記第2の観察者の姿勢とを追跡するステップと、
    前記第1の観察者および前記第2の観察者から1の観察者を選択するステップと、を含み、
    前記第1の観察者が選択された場合に、前記第1のディスプレイ光を放出するステップが実施され、
    前記第2の観察者が選択された場合に、前記第2のディスプレイ光を放出するステップが実施され、
    前記第1の観察者が前記第2の観察者よりも前記ディスプレイパネルに近い場合に、前記第1の観察者は前記第2の観察者より高い割合で選択され、
    前記第1の観察者の前記姿勢に基づいてバックライトピクセルの前記第1のサブセットを選択するステップと、
    前記第2の観察者の前記姿勢に基づいてバックライトピクセルの前記第2のサブセットを選択するステップとをさらに含み、
    前記第1のレンチキュラーアレイは前記バックライトに面しており、前記第2のレンチキュラーアレイは前記第1の観察者および前記第2の観察者に面しており、前記選択的透過型ディスプレイピクセルマトリクスは、前記第1のレンチキュラーアレイと前記第2のレンチキュラーアレイとの間に配置されており、
    前記第1のレンチキュラーアレイのピッチの幅は、前記第2のレンチキュラーアレイのピッチの幅よりも大きい、方法。
  13. 前記姿勢は、向きおよび位置を含む、請求項12に記載の方法。
  14. 前記第1の観察者の前記姿勢に基づいて前記第1のフレームを生成するステップと、
    前記第2の観察者の前記姿勢に基づいて前記第2のフレームを生成するステップとをさらに含む、請求項12または13に記載の方法。
  15. 前記第1のフレームおよび前記第2のフレームの各々は、3次元(3D)複合フレームを含み、前記3次元複合フレームは、観察者の左目に対する画像コンテンツを表すピクセルの第1のサブセットと、前記観察者の右目に対する画像コンテンツを表すピクセルの第2のサブセットとを含む、請求項14に記載の方法。
  16. バックライトピクセルの前記第1のサブセットを活性化するステップは、バックライティングの第1のバーパターンを生成し、
    バックライトピクセルの前記第2のサブセットを活性化するステップは、バックライティングの第2のバーパターンを生成する、請求項12~15のいずれか1項に記載の方法。
  17. 請求項12~16のいずれか1項に記載の方法を実行する裸眼立体視ディスプレイシステム。
  18. 少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサに請求項12~16のいずれか1項に記載の方法を実施させる命令を含む、プログラム。
JP2022540586A 2020-03-03 2021-03-02 レンチキュラーベースの操縦可能なバックライティングを使用するマルチビュー裸眼立体視ディスプレイ Active JP7555415B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062984537P 2020-03-03 2020-03-03
US62/984,537 2020-03-03
PCT/US2021/020451 WO2021178397A1 (en) 2020-03-03 2021-03-02 Multiview autostereoscopic display using lenticular-based steerable backlighting

Publications (2)

Publication Number Publication Date
JP2023515748A JP2023515748A (ja) 2023-04-14
JP7555415B2 true JP7555415B2 (ja) 2024-09-24

Family

ID=75173461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540586A Active JP7555415B2 (ja) 2020-03-03 2021-03-02 レンチキュラーベースの操縦可能なバックライティングを使用するマルチビュー裸眼立体視ディスプレイ

Country Status (6)

Country Link
US (2) US11973926B2 (ja)
EP (1) EP4011065A1 (ja)
JP (1) JP7555415B2 (ja)
KR (1) KR102734044B1 (ja)
CN (1) CN114503014A (ja)
WO (1) WO2021178397A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114503014A (zh) * 2020-03-03 2022-05-13 谷歌有限责任公司 使用基于透镜的可操控背光的多视立体显示器
US20230386373A1 (en) * 2020-10-13 2023-11-30 Tesseland Llc Display device with dark ring illumination of lenslet arrays for vr and ar
CN114815292B (zh) * 2022-04-18 2024-01-26 广州弥德科技有限公司 一种用于多人观看的不闪式指向背光裸眼3d显示装置
CN119213758A (zh) * 2022-09-26 2024-12-27 三星电子株式会社 立体显示装置及立体显示方法
CN220155160U (zh) * 2023-04-27 2023-12-08 华为技术有限公司 显示装置
DE102024100771A1 (de) * 2024-01-11 2025-07-17 Bayerische Motoren Werke Aktiengesellschaft Ablenkungsfreies Beifahrer-Entertainment-Display für ein Fahrzeug
US12432332B1 (en) * 2025-04-23 2025-09-30 DISTANCE TECHNOLOGIES Oy Autostereoscopic display with improved lenticular resolution

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113160A (ja) 2008-11-06 2010-05-20 Sharp Corp 映像表示装置
JP2011193348A (ja) 2010-03-16 2011-09-29 Fujifilm Corp 立体画像表示装置の視差量決定装置およびその動作制御方法
JP2013051614A (ja) 2011-08-31 2013-03-14 Toshiba Corp 映像処理装置および映像処理方法
JP2019508726A (ja) 2015-12-29 2019-03-28 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 自動立体視表示デバイス及び表示方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8623490D0 (en) * 1986-09-30 1986-11-05 Bass M L Display means for stereoscopic images
GB2272555A (en) * 1992-11-11 1994-05-18 Sharp Kk Stereoscopic display using a light modulator
JP3897712B2 (ja) * 2003-02-14 2007-03-28 キヤノン株式会社 立体画像表示装置
GB2405519A (en) * 2003-08-30 2005-03-02 Sharp Kk A multiple-view directional display
DE102005040597A1 (de) * 2005-02-25 2007-02-22 Seereal Technologies Gmbh Verfahren und Einrichtung zum Nachführen von Sweet-Spots
DE602006021623D1 (de) * 2005-12-14 2011-06-09 Koninkl Philips Electronics Nv Steuerung der wahrgenommenen tiefe einer autostereoskopischen anzeigeeinrichtung und verfahren dafür
WO2008049912A1 (en) * 2006-10-26 2008-05-02 Seereal Technologies S.A. Holographic display device
DE102008043620B4 (de) * 2008-11-10 2010-08-05 Seereal Technologies S.A. Beleuchtungseinrichtung für ein autostereoskopisches Display
WO2011145031A2 (en) * 2010-05-21 2011-11-24 Koninklijke Philips Electronics N.V. Multi-view display device
KR101958447B1 (ko) * 2012-05-16 2019-03-15 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 표시 방법
KR102447099B1 (ko) * 2015-09-23 2022-09-26 삼성전자주식회사 광원 디바이스, 이를 포함하는 디스플레이 장치, 디스플레이 방법
CA3004767A1 (en) * 2015-11-10 2017-05-18 Koninklijke Philips N.V. Display device and display control method
KR102424864B1 (ko) 2016-08-26 2022-07-22 매직 립, 인코포레이티드 가상 및 증강 현실 디스플레이 시스템들 및 방법들을 위한 연속 시간 와핑 및 양안 시간 와핑
JP7165513B2 (ja) * 2018-06-07 2022-11-04 日本放送協会 Ip立体映像表示装置及びそのプログラム
CN113678035B (zh) * 2019-01-03 2024-10-18 阿祖莫公司 包括产生多个照明峰值的光导和光转向膜的反射型显示器
CA3162390A1 (en) * 2019-12-19 2021-06-24 Aye3D Inc. Method and display system for showing a stereoscopic image
CN114503014A (zh) * 2020-03-03 2022-05-13 谷歌有限责任公司 使用基于透镜的可操控背光的多视立体显示器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113160A (ja) 2008-11-06 2010-05-20 Sharp Corp 映像表示装置
JP2011193348A (ja) 2010-03-16 2011-09-29 Fujifilm Corp 立体画像表示装置の視差量決定装置およびその動作制御方法
JP2013051614A (ja) 2011-08-31 2013-03-14 Toshiba Corp 映像処理装置および映像処理方法
JP2019508726A (ja) 2015-12-29 2019-03-28 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 自動立体視表示デバイス及び表示方法

Also Published As

Publication number Publication date
WO2021178397A1 (en) 2021-09-10
EP4011065A1 (en) 2022-06-15
US20240275936A1 (en) 2024-08-15
CN114503014A (zh) 2022-05-13
US11973926B2 (en) 2024-04-30
KR20220058946A (ko) 2022-05-10
KR102734044B1 (ko) 2024-11-25
US20220400245A1 (en) 2022-12-15
JP2023515748A (ja) 2023-04-14

Similar Documents

Publication Publication Date Title
JP7555415B2 (ja) レンチキュラーベースの操縦可能なバックライティングを使用するマルチビュー裸眼立体視ディスプレイ
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US8698966B2 (en) Screen device for three-dimensional display with full viewing-field
US9191661B2 (en) Virtual image display device
KR100898287B1 (ko) 입체 영상 표시 장치
US8564647B2 (en) Color management of autostereoscopic 3D displays
US9674510B2 (en) Pulsed projection system for 3D video
JP4576390B2 (ja) 立体的二次元画像表示装置及び立体的二次元画像表示方法
JP5160741B2 (ja) 3dグラフィック処理装置及びこれを利用した立体映像表示装置
JP5858044B2 (ja) 立体画像表示装置
JP2015515165A (ja) 裸眼立体ディスプレイ装置及び駆動方法
US20110149054A1 (en) 3d glasses, method for controlling 3d glasses, and method for controlling power applied thereto
KR102141520B1 (ko) 무안경 다시점 영상 디스플레이 장치
US20150222888A1 (en) Display apparatus and controlling method thereof
US20120062988A1 (en) Three-dimensional information presentation device using slit viewing
KR20160058327A (ko) 입체 영상 표시 장치
WO2013132601A1 (ja) 立体画像表示装置及びプログラム
KR20170029210A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
KR100932977B1 (ko) 입체 영상 표시 장치
JP2012060236A (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
KR102279816B1 (ko) 무안경 입체영상표시장치
JP2005012385A (ja) オブジェクト表示方法およびオブジェクト表示装置
KR102334031B1 (ko) 무안경 입체영상표시장치 및 그 구동방법
KR102189009B1 (ko) 삼차원영상 표시장치 및 그 구동방법
JPWO2020068520A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240701

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240910

R150 Certificate of patent or registration of utility model

Ref document number: 7555415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150