JP6461353B2 - 自動立体マルチビューシステム - Google Patents

Description

本発明は、画素グリッドを有する表示画面上に画像を自動立体的に表現する方法であって、複数のセグメントからなる視差分離の光学板を画面の前に配置し、少なくとも１人のユーザの左右の目のための画像情報が、画面上にインターリーブされた画素パターンで表示され、
ａ）一度に表示される画像情報の合計を、各テクスチャが１つの視界の情報を含むように少なくとも２つのテクスチャに割り当てるアルゴリズムを適用し、
ｂ）各画素に対し、画素の画像内容を決定するために、テクスチャの選択された領域から画像情報をサンプリングするためのサンプリングアルゴリズムを適用し、
画素が複数のテクスチャと相関されている場合、サンプリングアルゴリズムは、画素の各テクスチャとの相関係数を決定するステップと、対応する相関係数に従って各テクスチャからサンプリング結果を混合するステップとを含む方法に関する。

自動立体視ディスプレイでは、観察者の左目と右目に、僅かに異なる視点をあらかじめ送信することによって、三次元の視覚的印象が達成され、これにより、２つの視界の相違は、より遠くの背景に対する近接物体の視差的変位に対応する。これらの異なる視界を作成するために、異なる視点がユーザの左右の目に対して見える「視差のあるセパレート光学板」が使用される。

光学板は、複数のセグメントから構成され、例えばレンズアレイであり、セグメントがレンズである。そしてこの効果は、任意に与えられた視点に対して、画面上のいくつかの画素（ピクセル）が拡大され、他の画素は不可視のままとなる。

スクリーン上の可視画素および不可視画素の位置は、レンズアレイの構成およびユーザの目の位置に依存するので、画像情報をスクリーン上に表示することが可能であり、観察者の一方の目は一方の視界に属する画素のみを見る一方、他方の目は他の視点に属する画素のみを知覚する。

これに代えて、視差分離の光学板は、セグメントが透明部分および不透明部分のパターンを形成するバリアマスクまたはこれと同等の光学システムによって形成されてもよい。

代表的な実施形態では、レンズアレイは、モアレを回避し、回避不可能な光学解像度の損失に関してバランスのとれた画像を得るために、画素グリッドの列の方向に対して傾斜を有する円柱レンズで構成される。

米国特許第６８０１１４３号明細書には、いわゆるマルチビューシステムが開示されている。「マルチビュー」という用語は、視界（ビュー）の数Ｎが２よりも大きいことを示す。さらに、視界は、左目用の少なくとも１つの視界と、右目用の少なくとも１つの視界とを含み、これらの２つの視界は、いわゆるステレオペアを構成する。しかし、複数のステレオペアが存在してもよく、ユーザが頭をスクリーンに対して横に動かすと、次々に見えるようになる。異なるステレオペアの画像内容は、視差変位だけでなく、物体を見るアスペクト角の変化に起因する三次元物体の見かけ上の回転も反映するように選択することができるので、ユーザの頭を動かすと、ユーザは実際に三次元物体を「動かす」という印象を持つことになる。

ＵＳ２０１３／０５７５７５Ａ１には、視界の数を変更することを可能にするマルチビューシステムが開示されている。

従来のマルチビューシステムでは、視聴者が１つのステレオペアから隣接するステレオペアに自分の位置を変えると、相対的に急激な知覚可能な遷移が生じる。こうした遷移は、異なる視界の数Ｎを増やすことによって平滑化することができる。しかし、Ｎビューシステムでは、画面の画素ラインの画素数の最大１／Ｎが、特定の目に対して一度に見えるので、視界数の増加は、解像度の低下を犠牲にして行われる。

既知のシステムでは、視界の数Ｎは、整数個の画素が各レンズに割り当てられ、各画素はＮ個の視界のうちの１つの内容を保持するように、レンズアレイとスクリーンの画素グリッドとの間の明確な関係によって決定される。レンズアレイのレンズおよびスクリーンの画素ラインは、１つまたは複数のスクリーン画素ラインに対応する高さおよび個々のレンズの幅に対応する幅を有する「スーパーピクセル」で構成される粗い画素グリッドを構成すると考えてよい。Ｎ個の視界のそれぞれについて、各スーパーピクセルは、その視界に割り当てられた少なくとも１つのスクリーン画素を含まなければならない。しかしながら、スーパーピクセル当たりのスクリーン画素の数は非整数であることが可能である。

ＷＯ２００８／０１１８８８Ａ１（ＥＰ２０４４４８０Ｂ１）には、本願の請求項１の前文（プリアンブル項）によるシステムが開示されている。このシステムは、２ビューシステム（Ｎ＝２）であるが、１視界あたりのスクリーン画素数とレンズ観察位置の変更を可能にするために、このシステムは、視線追跡装置、すなわち、カメラおよびユーザの実際の視点位置を決定するための適切なソフトウェアを備えてもよく、また、検出された視点の位置に応じて、左または右のチャネル、すなわち、視聴者の左目または右目の視点までの画面画素が動的に変更される。各スーパーピクセルにおいて、所与の視点から見ることができないスクリーン画素は、ある程度の冗長性を生成する可視画像情報の複製を表示するために使用され、その結果、ユーザが頭を動かしたときにより大きな堅牢性が達成され、視線追跡システムは、利用できないか或いはリアルタイムでフォローアップするのに十分速くはない。さらに、この構成により、システムを異なる視距離に適合させることができる。

ＥＰ２０４４４８０Ｂ１に開示されたシステムは、ディスプレイスクリーンを駆動するための現代のグラフィックスカードの強化された機能、特に「テクスチャマップ」または単に「テクスチャ」と呼ばれる特定のデータ構造上での操作可能性を利用するように特に適合される。テクスチャは、「テクセル」（「ピクセル」を含む従来のビットマップに類似するもの）に格納された画像情報を含む二次元配列であり、これらのテクセルは画面上の画素（ピクセル）にマッピングされる。位置（ｘ，ｙ）を有するスクリーン上の画素に表示される画像内容は、テクスチャ内のこの画像情報の位置を指定する２つのテクスチャ座標（ｕ，ｖ）の関数である。一般に０＜ｕ＜１かつ０＜ｖ＜１であるので、ｕおよびｖは、個々のテクセルを参照しない非整数値である。（ｕ，ｖ）座標に加えて、サンプリング方法を指定する必要がある。サンプリング方法は、標準のもの（「バイキュービックサンプリング」のようなもの）またはカスタマイズすることができ、その複雑さは単純なものから非常に精巧なものまでさまざまである。適切なサンプリング方法の選択は、いくつかの状況に依存し、ほとんど常にトレードオフを伴い、意図された画像品質およびハードウェアの能力が２つの最も重要な状況である。

テクスチャは、画像情報を格納するのに有利な方法を提供する。しかし、特に明記しない限り、本発明の文脈において、用語「テクスチャ」は、特定の視界の画像情報を含む任意の構造に対して、より一般的な方法で使用されるものとする。

このシステムで利用可能な２つの異なる視界の画像情報は、２つの異なるテクスチャに格納されている。各スクリーン画素は、２つのチャネルを通して表示される２つの視界のいずれかに割り当てられる。最初に、割り当てられたチャネルは、どのテクスチャからデータをサンプリングするかを決定する。しかし、画素が２つのチャネル間の境界に位置する場合（例えば、画素が左チャネルに割り当てられ、その直近隣接チャネルが既に右チャネルに割り当てられている場合）、このシステムは、２つのテクスチャからの情報を混合して境界の位置を最大精度で反映するように、画素の画像内容を決定する可能性を提供する。ある種の２ビューオートステレオスコピックディスプレイでは、これらの「境界」画素は、通常両眼には見えない。しかし、ユーザが頭を横に動かしたり、画面から見る距離を変えたりすると、少なくとも一時的に見えてしまうことがある。これらの場合、情報を混合することは、画質を改善し、システムをより堅牢にする（ロバスト性を向上させる）。

本発明の目的は、より柔軟な表示オプションを提供する請求項１の前文に記載の自動立体視システムを提供することである。

上記目的を達成するために、本発明の方法は、ステップａ）に先行して、
表示される視界の数が異なるビューモードを含む複数の予め定義されたビューモードから、ビューモードを選択するステップと、
光学板（１８）の１セグメント当たりのチャネル数Ｎ（Ｎは選択されたビューモードにおける視界の数以上である。）を規定するチャネルマスク（Ｍ）を生成するステップと、
Ｎ個のチャネルの各々に対するテクスチャを設けるステップと、
前記チャネルマスク（Ｍ）を参照して、前記各スクリーンの画素（４８）を前記テクスチャの少なくとも１つと相関させるステップと、を含む。

この方法は、表示されるべき視界の数が選択され、割り当てアルゴリズムおよびサンプリングアルゴリズムが、たとえば手動または自動のいずれかに応じて適合されるという利点を有する。

このようなシステムは、システムの稼動中であっても、多数の視聴者、多数の視界、これらの視界を表示するための多数のチャンネル、およびこれらの３つのお互いの自由な割り当てを（大部分）自由に選択することを可能にする。

さらに、追跡システムは、所定の瞬間に使用されても使用されなくてもよい。これらの各設定は「モード」と呼ばれ、システムの動作中であっても可能な、これら設定の変更は「モード変更」である。

本発明は、テクスチャの概念が、任意の可変数の視界について画像情報を編成する際、及び、必要に応じてこの情報を表示できるようにする際に、特に異なるテクスチャからの情報を混合する可能性を含む、動的に変化する条件の下であっても、高い柔軟性を提供するという事実を利用するものである。当然のことながら、チャネル境界の数、すなわちチャネル境界上に位置する画素の数は、視界の数とともに増加し、ユーザが１つの視点位置から他の視点位置に移動すると、そのような境界画素が見えるようになる規則的かつ非常に頻繁なイベントになる。したがって、ある視界から別の視界への遷移を滑らかにするために情報を混合するという特徴は、マルチビュー設定において特に有利である。

本発明のより具体的な任意の特徴は、従属請求項に示されている。

本発明のシステムは、いつでもディスプレイの前にいるユーザの数および位置を決定することができる。これは、たとえばトラッキングシステムを使用して容易に達成することができる。この情報に応じて、この状況でレンダリングされる視界の数、これらの視界を配信するために提供されるチャネル数（視界とチャネルの数は同じであってもなくてもよい）をアルゴリズムが決定できる。１人のユーザしか存在しない場合、３Ｄコンテンツファイルに通常含まれる２つの「ネイティブ」ビューのみを提供すれば十分である。また、追跡は、このユーザが常に一貫したステレオ画像を見ることを保証するために採用される。

第２のユーザがディスプレイの前に歩み出る場合、アルゴリズムは、既存の２つのものを補間することによって第３の視界をレンダリングすることを決定し、アイトラッカーを使用して、これら２人の視聴者のそれぞれに与えるために最適化された一定のステレオ画像がいつでも得られる（ただし、特定の位置の配置では不可能である）。

より多くのユーザが入ると、システムは「２からＮへの変換（2-to-N変換）」と呼ばれる既知の手法を使用してさらに多くの視界を作成することを「決定」することができる。特定の数のユーザでは、追跡システムをオフにしてシステムを動的モードから静的モードに切り替えることを「決定」することができる。あるいは、システムは、ユーザのグループの平均位置（「中心」）を測定し、それに応じてシステムを微調整することができる。

レンズアレイであっても、このようなモード変更の対象となり得る。たとえば電圧を印加することによりある層の屈折率を変えることができる光学部品の積み重ねからなる、いわゆる切替え可能なレンズアレイが存在する。光学スタックは、たとえば電圧が存在しない場合にはガラスシートのように透明であり、電圧がスイッチオンされると機能的にレンズアレイに変わる。このようなプロセスは、レンズの倍率が１（倍率なし）からｍ（全倍率）のいずれかに調整されるように、２つの所与の屈折率ｎ１とｎｍの間の任意の値に任意に屈折率を設定することもできる。

この機能は、より多くのユーザがいる場合に拡大率を上げるためにシステムによって使用されてもよい。

１つの視界（「２Ｄモード」）の特別なケースは、レンズアレイをオフにして、この方法で、任意の数のユーザに対してシステム内の完全な「ネイティブ」２Ｄ解像度を復元する。

モードの変更は、単一のユーザのために動的な方法で「ルックアラウンド」エフェクトを有効にするために使用することができる。このために、ユーザの位置は、スクリーン上に画像を生成するソフトウェアに伝えられ、ユーザに提示された２つの視界は、ユーザの空間内の位置に合わせてレンダリングされる。

異なる視界数を選択することに加えて、視界位置が固定されている静的モードと、ビューイング位置を変更できるとともに位置追跡に基づいて画面内容を調整する動的モードと、の間で切り替えるオプションが与えられている。

本発明は、スーパーマルチビューシステム、すなわち視界の数が非常に多く、隣接するスクリーンピクセルから生じるビームが非常に狭く、高密度であり、視界のビームの幅位置は、目の瞳孔の幅よりも小さく、その結果、観察者は、同じ目で一度に２つ以上の視界のスーパーポーションを見る、スーパーマルチビューシステムを実装するために使用してもよい。視界間の遷移を非常に滑らかにすることに加えて、このようなシステムは、いわゆる適応変換の競合を緩和または完全に解決するために有利かもしれない。当業者には周知のように、人間が知覚する３Ｄ印象は、左目と右目の視差に依存するだけでなく、様々な物体距離に対する眼レンズの焦点距離の調節にも依存する。これらの２つの要因が互いに矛盾することがあり、そのような場合に３Ｄ効果の質を向上させ、３Ｄ画像をより快適に見せるためには、スーパーマルチビューシステムが期待される。

静的なスーパーマルチビューシステムでは、必要な視界数が、たとえばＮ＝５０以上のオーダ程度に相当に高くなければならない。従って、３Ｄ画像の妥当な解像度（スーパーピクセルの小さいサイズ）を得るためには、スクリーングリッドの解像度が非常に高くなければならない。本発明は、必要な視界の数を妥当な値、例えば１に減らすことを可能にする。マルチビューとアイトラッキングとを組み合わせることにより、Ｎ＝６またはＮ＝８であり、視界は両目の瞳孔の幅をカバーする必要がある。

ユーザの左目または右目のいずれかで見える各画素の内容を決定するためのサンプリングアルゴリズムは、ユーザごとに個別に構成することもできる。例えば、人間の脳が両眼で見られるシナリオを解釈し、２つの視点の間の視差変位を有する場合、一方の眼から得られた情報は他方の眼から得られる情報より支配的であることが知られており、この支配は個人ごとに異なる。本発明は、例えば、支配的な眼に提示される画像を幾分退色させることによって、この効果を補償する可能性を提供する。

以下、図面を参照して好ましい実施形態を説明する。
本発明によるオートステレオスコープシステムのブロック図である。 ２ビュー構成のレンズアレイおよびチャネルマスクの断面図である。 ６面構成のレンズアレイ及びチャネルマスクの拡大断面図である。 スクリーン線画素ラインのいくつかの画素とレンズアレイのシリンドリカルレンズとの間の空間的関係を示す概略正面図である。 本発明の一実施形態における異なる構成を示す図である。 本発明の一実施形態における異なる構成を示す図である。 本発明の一実施形態における異なる構成を示す図である。 本発明の一実施形態における異なる構成を示す図である。 本発明の一実施形態における異なる構成を示す図である。 本発明による方法を示す流れ図である

図１は、たとえばモニタの画面１６に画像を表示するためにモニタ１４を駆動するグラフィックスカード１２を含むパーソナルコンピュータなどのコンピュータシステム１０を含む自動立体視システムを示す。レンズアレイ１８がスクリーン１６の前に配置され、アイトラッキングまたはヘッドトラッキングシステム２０の一部を形成するビデオカメラがモニタ１４に取り付けられ、コンピュータシステム１０と通信する。

グラフィックスカード１２は、コンピュータシステム１０のメモリに記憶された２つのテクスチャＬおよびＲにアクセスする。テクスチャＬは、左目用の画像情報、すなわち、レンズアレイ１８を介してスクリーン１６を見ているユーザ（図示せず）の左目に表示されるべき画像情報を記憶する。同様に、テクスチャＲには、ユーザの右目用の画像情報が格納されている。ヘッド追跡システム２０は、ユーザの頭部の動きを追跡し、これらの動きをコンピュータシステムに通知し、コンピュータシステムは、スクリーン１６上に表示された情報を、ユーザの変更された位置に適合させる。

図２は、スクリーン１６およびレンズアレイ１８の概略断面図である。フラットスクリーン１６は、例えば、ＴＦＴ層を含むＴＦＴスクリーンであってもよい。レンズアレイ１８は、平行なシリンドリカルレンズ２２のアレイを画定する、平坦な背面および波状の前面を有する透明なプレートによって形成される。簡略化のために、レンズアレイ１８は、ここでは、実際には、レンズアレイは異なる屈折率を有する異なる層を含むことができ、場合によってはスクリーンの表面にそれを接着する接着層を含むことができる。逆に、エアギャップによってスクリーンから分離されてもよい。

一組の光線２４は、スクリーン１６のＴＦＴ層内の様々な点から放射され、画面を見ているユーザまたは視聴者の理想的な位置を象徴する点Uで最終的に会う前に、レンズ２２の１つの頂点を通過する光線を表す。各シリンドリカルレンズの頂点を通る平面ｐをレンズアレイの主平面と呼ぶ。

平面ｏは、レンズアレイの物体平面と等価であるが、レンズアレイの１つまたは複数の層を通過する光が屈折されるという効果を排除することによって、図を簡単にするために、真の物体平面からシフトされている。これらの層は平行平面板である。したがって、光線２４が平面ｏ内に生じる点は、点Ｕに位置する光源から照射されたときに、シリンドリカルレンズ２２の頂点線の投影と見なすことができる。

また、図２は、ユーザの左目２６と右目２８とを示しており、ユーザの理想化された位置を示す点Ｕは、目２６と目２８とを結ぶ線の中心の点（より正確には、それらの瞳孔の頂点）を示す。また、図２は、物体面ｏで放射された幾つかの光線３０，３２，３４および３６が、レンズアレイ１８のレンズによって偏向され、次いでユーザの目２６，２８に向かって伝搬するか、または通過する。

光線２４はレンズによって偏向されないが（少なくともこの簡単な図では）、レンズの中心を通過するので、ビーム３０〜３６の光線は、シリンドリカルレンズの湾曲した表面で偏向される（また平行にされる）。ビーム３０の光線は、それらがユーザの左目２６に当たるように偏向される。同様に、ビーム３２の光線は、それらがユーザの右目２８に当たるように偏向される。これに対し、ビーム３４の中心光線は、関連するレンズの中心を通過し、したがって偏向されず、ビーム自体がコリメートされ、ユーザの目の間の点Ｕに当たる。

したがって、このビームおよびスクリーン上の関連する画素は、ユーザにとっては見えない。同様に、ビーム３６は、ユーザの左目を通過するように偏向され、その結果、このビームおよび関連する画素は、ユーザにとっては見えない。したがって、任意の所与の観察位置に対して、平面ｏに表示される画像は、ユーザの左目２６に対してのみ見ることができるストライプまたはセグメントに細分され、右目２８に対してのみ見ることができるセグメントと交互になることが理解され、２倍を超える倍率の場合、これらのセグメントは、目に見えない「見えないゾーン」によって分離されることが理解される。特に、ビーム３４に対応するゾーンは、左目２６に関連するセグメント、したがって画像情報の左チャンネルを、右目２８および右チャンネルに関連するセグメントから分離する。

レンズアレイ１８のこの特性は、主平面ｐを左チャネル領域３８（図２に白で示す）および右チャネル領域４０（黒で示す）に二重にするレンズチャネルマスクＭ^＊によって表される。シリンドリカルレンズの頂点ラインは、左チャンネルゾーン３８から右チャンネルゾーン４０への第１のタイプの遷移を形成する。

レンズアレイは周期的であるので、レンズアレイ１８の隣接するシリンドリカルレンズ間の境界と一致して、第１タイプの遷移の中間に第２タイプの遷移が形成される。

さらに図２に示されるように、レンズチャネルマスクＭ^＊は、投影中心としての位置Ｕを平面Ｏに投影することができる。これにより投影された右チャンネルゾーン４２と投影された左チャンネルゾーン４４とを有するスクリーンチャンネルマスクＭが得られる。平面ｏ内の画素、従ってスクリーン１６の表面が左チャンネルゾーン４２内に入る場合、それは左チャネルと関連するか、相関付けされ、画素が右チャネルゾーン４４内に入る場合、それは右チャネルと関連するか、相関付けされる。

したがって、画素が属するチャネルに完全に含まれる１つのゾーン、すなわち、どの目で見ることができるか、または全く見えないときにどの目で見えるようにするかを、各画素について決定することができる。

ユーザからスクリーンまでの距離は、第１タイプの遷移の不可視ゾーンおよび第２タイプの遷移の不可視ゾーンが等しい幅を有するときに最適であると考えられる。ユーザが画面からさらに後退すると、ダイバージェントビーム３４がユーザの両眼２６，２８に当たった瞬間に、第１タイプの不可視ゾーンが縮小し、最終的に消滅する。

反対に、ユーザがスクリーンに近づくと、（ビーム３６によって象徴されるような）第２のタイプの不可視ゾーンは縮小し、最終的に消滅する。１つのタイプの不可視ゾーンが消滅すると、左右のチャンネルはもはや完全に分離されない。すなわち、いくつかの画素またはその一部が両目で見える。

ユーザが左または右に移動すると、スクリーンチャネルマスクＭは反対方向にシフトするが、画面上に表示された画像を同じ量だけシフトすることによってこれを補償することができる。頭部または目の追跡システムが事前に送信されていない場合、画像は、好ましくは、画面の中心に対して対称的に、垂直および水平の両方に位置するユーザによって最適に見ることができる位置に表示されることが好ましい。

さらに図２に示すように、スクリーンチャネルマスクＭは、レンズチャネルマスクＭ^＊に比べて拡大されている。この拡大は投影、すなわち光線２４の発散に依るものであり、個々のシリンドリカルレンズの拡大特性には関係しない。

図３は、図２と同様の図を拡大して示す、６ビューシステムである。この場合、レンズアレイの個々のレンズ２２ごとに、スクリーンチャネルマスクＭが６つのチャネル１〜６に分割される。一般に、レンズ当たりのチャネルの数は、所望の視界数Ｎと少なくとも同じである。ただし、一部のチャネルには冗長な情報が含まれており、１つのレンズあたりのチャネル数は視界数よりも大きくなる可能性がある。

図３は、観察位置と同じ側方位置を有し、したがってユーザが正面から見たレンズ２２を示す。結果として、このレンズでは、図２には示されていないスクリーンチャネルマスクＭと対応するレンズチャネルマスクとの間にオフセットはない。ビームＢ２は観察者の左眼２６の瞳孔４６に当たり、ビームＢ５は右眼の瞳孔に当たる。この状況では、他のビームＢ１、Ｂ３、Ｂ４およびＢ６は見えない。また、チャネルマスクＭの隣接するセグメント（隣接するレンズに対応する）のチャネル６に由来するビームＡ６、及び、他方の隣接するセグメントのチャネル１に由来するビームＣ１も不可視である。

ビームＢ１〜Ｂ６は、６ビューシステムの６つの異なる視界を表す。左右の目で見えるビームＢ２、Ｂ５はステレオペアを形成するので、対応するチャンネル２，５の画面に適切な映像情報が表示されたときに３Ｄ映像が知覚される。

図３において、ユーザが頭を右に動かすと、別のステレオペアを形成するビームＢ１およびＢ４が見える。反対に、反対側に移動すると、ビームＢ３およびＢ６がさらに別のステレオペアを形成するのを見ることになる。したがって、この例では、チャネルマスクＭが静止していても（視点位置が変わったときには移動しない）、頭部の横方向の動きがある範囲に制限されている限り、３Ｄ画像を知覚することができる。そのためには、チャンネル１〜３は左目２６の画像情報を含まなければならず、チャンネル４〜６は右目２８の画像情報を含まなければならない。

図１によるマルチビューシステムでは、図３に示すように、ユーザは、右目用チャネルの順序番号が左目用順序番号より大きい場合にのみステレオペアを見る。図３においてユーザがビームＡ６およびＢ３を見るように図の右に十分に移動すると、左目２６はチャネル６からの画像情報を知覚し、右目２８はチャネル３からの画像情報を知覚し、右目用のチャネルの順序番号（３）は、左目用のチャネルの順序番号（６）よりも小さくなる。この結果として、ユーザは非現実的な逆のステレオ画像を知覚することになる。右目２８がビームＣ１に当たるように、ユーザが左に十分に移動した場合も同様である。

しかし、図２には示されていないが、図３に示すように、ユーザがさらに左に移動すると、右目２８は、左目用の視界に対応するビームＣ２、Ｃ３、および次に右目用の視界に再び対応するビームＣ４を連続的に見る。その瞬間に、左目２６は左目に割り当てられたビームＣ１によって当てられ、ユーザは正しい３Ｄ画像を再び知覚する。したがって、システムは、正しい３Ｄ画像が見え、反転画像が見られる位置によって分離された複数の適切な観察位置を提供することが理解されるであろう。２つ以上の適切な視聴位置の存在は、システムが複数の視聴者によって同時に使用されることを可能にする。

隣接する視界と画像情報を共有しない視界を生成するために、チャネルマスクＭの６つのチャネルの各々は、このチャネル（すなわち、この画素の部分は隣接チャネルによってカバーされない）に排他的な１ライン当たり少なくとも１つの画素を含まなければならない。もちろん、各チャネルは、このチャネルにのみ割り当てられた２つ以上のスクリーンピクセルを含むことが可能である。例えば、図２の各チャネルが、３つのスクリーンピクセルのみを含み、６ビューチャネルマスクＭは、レンズ２２の下の３つのチャネルのみを有する３ビューチャネルマスクに置き換えられ、各チャネルに対して２つの画素が利用可能となる。

さらに、チャネルマスクＭの各チャネルは、そのチャネルの画像情報が取り出されるテクスチャに関連付けられていることが理解されよう。したがって、図３に示す例では、６つの異なるテクスチャがある。しかし、図３に示す６ビューシステムから、図１及び図２に示す２ビューシステムへの切り替えは、例えば、画像情報を２つのテクスチャ（ＬおよびＲ）にのみ再グループ化し、６ビューのチャネルマスクを２ビューのチャネルマスクに置き換えることによって、可能である。同様に、各画素ラインにおいて少なくとも１つの画素／チャネル及びレンズが必要であるという要件が満たされ得る限り、視界の数Ｎは任意に変更されてもよい。

図４は、スクリーン１６の一部の拡大正面図を示し、レンズアレイ１８の単一のレンズ２２の境界と同様に、２つの画素ラインの各々における８つの連続する画素４８を示す。

図４に示すように、レンズアレイ１８のシリンドリカルレンズ２２は、垂直に配置されておらず、スクリーンの垂直方向の画素列に対して一定の角度αをなしている。この角度を任意に選択できることは、異なるタイプのモアレおよびクロストークの最小化を含む多くの理由により有利である。本発明による方法は、レンズの配置が、レンズの傾斜が９０°に達したときに遅くない、視差の十分な量を提供する限り、任意の所望の角度αに対応することができる。

簡略化のために、ここではスクリーンがモノクロスクリーンであると仮定する。例えば各画素が１画素の三つ組で構成されたＲＧＢスクリーンなどのカラースクリーンへの拡張は、２ビューシステムのために欧州特許第２０４４４８０号明細書に記載されている。ここに開示された原理は、３つ以上の視界を有するシステムおよびシステム構成に等価に適用することができる。

この例では、１つのレンズ２２の領域内に位置する、２つの連続したラインのそれぞれに６つの画素群によって構成され、単レンズ２２の領域に配置された１２の画素は、１から１２までの番号によって指定され、下側のラインの画素には奇数が使用され、上側のラインの画素には偶数が使用されている。

チャネル境界は、図４の線ｂで示されている。画素とチャネルとの関係は一意ではないことが分かる。例えば、図４の下側の画素ラインにおいては、画素は対応するチャネルストライプに完全には収まらないが、左下および右上の角は切り取られ、隣接するチャネルに広がる。上側の画素ラインでは、この効果はさらに顕著であり、画素はチャネル境界によってほぼ２等分される。

これらの画素に表示する内容を決定する必要がある場合は、チャネル割り当ての不確実性を考慮する必要がある。与えられた例では、角度αは、チャネル境界が１つおきの画素ライン（例えば、ボトムラインの画素１は、画素１および画素３が破線で示されている最上部の画素ラインにある画素１と同じ方法で、チャネル境界で除算される。）ごとに同じ位置の画素をカットするように選択されている。。

関連する１つまたは複数のチャネルを各画素に割り当てるためのいくつかのアルゴリズムがある。１つの可能性は、画素をチャネルマスクＭ上にマッピングし、各チャネルと重なる画素の表面領域の部分のサイズを計算することである。画素が１つのチャンネルに完全に含まれている場合は、そのチャンネルに一意的に割り当てられる（相関係数１）。２つ以上のチャネルと重複する場合、画素とそれぞれのチャネルが重なる表面積に比例する相関係数によって、これらのチャネルのそれぞれと相関する。

ここで好ましい別の手法では、各画素の中心に水平線Ｙを引くことにより、画素の左境界から右境界までのラインＹの線分をチャネル境界ｂ（例えば、図４のチャネル３とチャネル４との間）で分割し、サブセグメントｈ３、ｈ４に分割する。次に、画素の各チャネルとの相関は、サブセグメントｈ３およびｈ４の長さにそれぞれ比例する。

図４に示すパターンは、例えば、頭部追跡を伴う２ビューシステム（Ｎ＝２）を実施するために使用されてもよい。次に、例えば、同じライン内の同じシリンダレンズ２２の背後にある６つの画素のうちの２つのみが見え、各視界に対して１つの画素が見える。残りの４つの画素は、冗長性のために２つの可視画素のコピーを含む。

別の可能な動作モードは、１２ビューモードであり、図４の１２個の画素１〜１２の各々は表示され、別の視界に割り当てられる。６ビューモードでは、２番目ごとの画素が表示される。システムは静的であってもよく、すなわち視線追跡を伴わなくてもよい。

さらに別のモードでは、レンズアレイを除去して非屈折状態に切り替えることができ、システムを、最大解像度を提供する２Ｄモードで動作させることができる。

３Ｄモードでは、レンズアレイがアクティブになると、各シリンダレンズ２２は、レンズ方向に垂直な方向に画素を拡大する。６ビューシステムでは、例えば、少なくとも６番目の画素が実際に各目（この例では、チャネル２の左目の画素とチャネル５は右目で）に見えなければならない。チャネルの可視部分を互いにできるだけ遠くに保つために、実際には、ｍ＝∞の倍率は、実際には、このような「狭い間隔」のシステムでは共通しているので、その結果、各眼のために、各レンズの下の可視部分が線に収縮する。

図５は、単一のレンズ２２によって覆われた画素４８を有する画素ラインＹの一部の概略図である。画像内容が決定されるべき画素の中心点は、Ｐとして示される。画素ラインＹにおいて、レンズ２２によって画定されるチャネルマスクの間隔は、点Ｂ０および点Ｂ１によって画定される。対応するチャネルマスクＭは、画素ラインの下に示されている。この例では、Ｂ０とＢ１との間の間隔は９画素を含み、チャネルの数がＮ＝６として選択されると、チャネルマスクＭの対応する間隔は６つのチャネル１〜６に分割される。

チャネルマスクＭの下方には、画素ラインの方向に延在し、Ｂ０からＢ１までの間隔の幅に正規化された座標軸Ｘが示されているので、Ｂ０は座標Ｘ＝０であり、Ｂ１は座標Ｘ＝１である。

注目画素の中心点Ｐは、チャネル２内に入ることになり、画素の幅は、チャネル２，３の一部を覆う。

この例では、考慮中の画素は、画素の中心点Ｐを含むチャネル（チャネル２）に一意的に割り当てられる。結果として、異なるテクスチャからの画像のブレンドはなく、ある視界から別の視界への遷移は突然である。画素とそのチャネルとの相関は、「サンプリング幅」と呼ばれるパラメータによって制御される。図５では、サンプリング幅は０であり、これはＰの位置のみがこの画素に関連するチャネルを決定するために使用されることを意味する。

図６において、サンプリング幅は、単一画素４８の幅の単位で、ｅ＝１に設定されている。サンプリング幅ｅは、点Ｐ０およびＰ１によって境界付けられ、点Ｐを中心とするサンプリング間隔を規定する。チャネルマスクＭ上で、サンプリング間隔［Ｐ０、Ｐ１］は、チャネル２，３の一部をカバーする。これらのチャネルは、相関矩形５８によって象徴されるように、サンプリング間隔を異なるサイズの２つのセクションに分割する。各チャネルの画素は、対応するセグメントの幅と全サンプリング幅ｅとの比として定義される。したがって、この例では、Ｐにおける画素の最終的な画像内容は、チャネル２および３に関連するテクスチャからのサンプリング結果の加重平均（相関係数で加重される）になる。

図７は、ｅ＝１およびＮ＝９を有する例を示しているので、考慮中の画素は、図６と同様にチャネル２および３ではなく、チャネル３および４と相関関係にある。

図８は、図６と異なる構成を示している。サンプリング幅が１：ｅ＝０．５よりも小さくなるように選択されているので、より多くの画素が唯一のチャネルに一意的に割り当てられるという点で、図６とは異なっている。チャネルの数が一定（この場合、Ｎ＝６）であるほど、より大きなサンプリング幅は、図８における１つから別のものへの遷移が、図５よりも滑らかであるが、図６ほどではないように、より滑らかな遷移となる。

図９は、ｅ＝２．１およびＮ＝９の例を示す。ここで、サンプリング間隔［Ｐ０、Ｐ１］は、チャネル３および４だけでなく、チャネル２の小さな部分もカバーする。したがって、この例では、Ｐにおける画素の内容は、チャネル２〜４に関連するテクスチャからのサンプリング結果の加重平均（相関係数で加重される）となる。

本発明による方法を説明する一般的な流れ図を図１０に示す。

ステップＳ１において、生成すべきテクスチャの数を決定する表示数Ｎを選択する。Ｎは、スクリーン１６の物理的特性に直接リンクされておらず、１から、Ｂ０からＢ１までの間隔のスクリーン画素の数によって決定される一定の上限の間で自由に選択され得ることに留意されたい。例えば、頭部追跡カメラが利用可能である場合、このカメラを使用して視聴者の数を検出し、カウントし、次いでＮを視聴者の数に直接的または間接的に自動的に適応させる。

ステップＳ２において、利用可能な画像情報がＮ個のテクスチャに分配されることを保証する分配スキームが設定される。最も単純な場合、画像情報は、Ｎ個の異なる視界を含むフォーマットで提供され、この番号ＮがステップＳ１で選択されている。次に、ステップＳ２において、各視界の画像情報がテクスチャの異なる１つにロードされる。

しかしながら、利用可能な視界の数よりも小さいＮを選択することは可能である。利用可能な視界のいくつかは破棄される可能性がある。例えば、利用可能な画像情報が８ビューフォーマットであり、ユーザまたはシステムがＮ＝４を選択する場合、ユーザまたはシステムは、４つの外側視界を破棄することを決定することができる。この場合、視界から視界への遷移は８ビュー構成ほど滑らかになるが、ユーザが頭を動かす範囲は狭くなる。これに代えて、ユーザは、すべての第２の視界を破棄することを選択することができる。その結果、移動範囲は以前と同じ広さであるが、視界から視界への遷移はより顕著になる。これにより、隣接する視界間の「ボケ」が増えるという犠牲を払うものの、チャネルブレンディングを強化するように、大きなサンプリング幅ｅを選択することによって軽減することができる。

逆に、Ｎを利用可能な視界の数よりも大きくなるように選択することも可能である。その場合、使用可能な視界のコピーを空きチャネルにロードすることができる。オプションの追加視界は、内挿または外挿技術によって計算できる。

シーンの３Ｄモデルを表示する場合、３Ｄモデルにそれぞれの数の仮想カメラを配置することによって、このモデルから任意の数の視界を直接計算することができる。

ステップＳ２における分配方式の設定は、ユーザによって手動で実行されてもよいし、ソフトウェアによって自動的に実行されてもよい。後者の場合、ユーザは異なるオプションの間で選択肢を提供されてもよい。

ステップＳ３において、ユーザまたはシステムは、目の追跡を使用するかどうかを決定するように促される。しかしながら、この決定はＮ＝２又はＮ＞２が選択されたかどうかに依存しないことに留意すべきである。

ユーザまたはシステムが、アイトラッキングを使用しないと決定すると（Ｎ）、ステップＳ４で静的チャネルマスクが作成される。視聴者が最適な視聴距離に位置し、スクリーンの中心の前に位置するという前提に基づいている。しかし、視界位置を選択するための他の選択肢も可能である。

ステップＳ３（Ｙ）でアイトラッキングが選択された場合、検出されたユーザの視点位置に基づいて、ステップＳ５でダイナミックチャネルマスクが作成される。ディスプレイの前に複数のユーザがいるマルチユーザシナリオでは、アイトラッキングまたはヘッドトラッキングシステムは、これらのユーザのうちの特定のユーザに従うように構成されてもよい。

ステップＳ４またはＳ５に続いて、サンプリング幅ｅは自動的に（システムによって）またはステップＳ６でユーザによって手動で選択される。

最後に、表示アルゴリズムがステップＳ７で開始され、各画素を１つ以上のＮチャネルと相関させ、Ｎ個のテクスチャから画像データをサンプリングし、場合によってはサンプリング幅ｅである選択されたサンプリング幅に基づいてそれらをブレンドすることによって、設定された視界数Ｎがレンダリングされる。３Ｄムービーの場合、テクスチャの内容はもちろん、タイムスロットごとに更新される。

図１に示す自動立体視システムでは、選択された数Ｎの視界に対して性能（特に解像度）を最適化するように、レンズアレイ１８を別のもので置き換えることも可能である。レンズアレイ１８を交換すると、機械的な調整誤差が生じることがある。しかし、例えばＥＰ２６１５８３８Ａ１に記載されているように、チャネルマスキング及びサンプリング手順は、このような誤差を補償するように容易に適合させることができる。

Claims (6)

1. 画素グリッドを有する表示スクリーン（１６）上の画像の自動立体視表示方法であって、複数のセグメント（２２）からなる視差分離の光学板（１８）がスクリーン（１６）の前に配置され、少なくとも1人のユーザの左右の目（２６，２８）の画像情報が画面上にインターリーブされた画素パターンで表示される方法において、
   ａ）各テクスチャが１つの視界についての情報を含むように、一度に表示されるべき画像情報の合計を少なくとも２つのテクスチャ（Ｌ，Ｒ）に割り当てる割当てアルゴリズムを適用するステップと、
   ｂ）各画素（４８）に対し、画素の画像内容を決定するためにテクスチャの選択された領域から画像情報をサンプリングするサンプリングアルゴリズムを適用するステップであって、画素（４８）が２つ以上のテクスチャと相関している場合に、サンプリングアルゴリズムは、各テクスチャとの画素の相関係数を決定するステップと、対応する相関係数に従って各テクスチャからのサンプリング結果を混合するステップとを含むステップと、を有し、
   前記ステップａ）に先行して、
   表示される視界の数が異なるビューモードを含む複数の予め定義されたビューモードから、ビューモードを選択するステップと、
   光学板（１８）の１セグメント当たりのチャネル数Ｎ（Ｎは選択されたビューモードにおける視界の数以上である。）を規定するチャネルマスク（Ｍ）を生成するステップと、
   Ｎ個のチャネルの各々に対するテクスチャを設けるステップと、
   前記チャネルマスク（Ｍ）を参照して、前記各スクリーンの画素（４８）を前記テクスチャの少なくとも１つと相関させるステップと、を含む方法。
2. 前記チャネルマスク（Ｍ）は、少なくとも１人の視聴者の視点の変化に応じて動的に変更される請求項１に記載の方法。
3. 前記サンプリングアルゴリズムは、各画素（４８）に対し、サンプリング領域を計算するステップと、前記画素が相関付けられた各テクスチャ内のサンプリング領域から画像情報をサンプリングするステップとを含む、請求項１又は２に記載の方法。
4. サンプリング幅（ｅ）を決定するステップを含み、
   各画素を複数のテクスチャと相関させるステップは、
   チャネルマスク（Ｍ）内に、画素の中心点（Ｐ）を中心とするサンプリング間隔（［Ｐ０，Ｐ１］）を設置し、
   各テクスチャと関連付けられたチャネルマスク（Ｍ）内のチャネルとの、サンプリング間隔の重なりに基づいて、各テクスチャとの画素の相関係数を決定するステップと、を含む請求項１〜３のいずれか一項に記載の方法。
5. カメラで視聴者の数を検出するステップと、前記検出された視聴者の数に依存する値にＮを設定するステップと、を含む請求項１〜４のいずれか一項に記載の方法。
6. 視差フィルタ装置を有するディスプレイに接続されたコンピュータ上で実行される場合、コンピュータに、請求項１〜５のいずれか一項に記載の方法を実行させる、コンピュータ可読媒体に記録されたプログラムコードを含むコンピュータソフトウェア。
   

Images