JP4267364B2

JP4267364B2 - 立体画像処理方法

Info

Publication number: JP4267364B2
Application number: JP2003129793A
Authority: JP
Inventors: 剛士芳賀; 理紀澤井; 正憲柿本; 哲也平田
Original assignee: 日本Ｓｇｉ株式会社
Priority date: 2003-05-08
Filing date: 2003-05-08
Publication date: 2009-05-27
Anticipated expiration: 2023-05-08
Also published as: JP2004334550A

Description

【０００１】
【発明の属する技術分野】
本発明は、裸眼立体視表示装置用の画像データを生成する方法に関し、特に、複数の視点の画像を合成して立体画像用画像データを生成する方法に関する。
【０００２】
【従来の技術】
立体視表示装置としては、左右の目のそれぞれで見る映像を異ならせることを利用した立体視表示装置がある。これは、右目用画像と左目用画像を別々に用意し、各画像をそれぞれ縦偏光、横偏光フィルタを介して別々に偏光した後、縦偏光、横偏光フィルタをそれぞれ左右のレンズとした偏光眼鏡を用いて見ると、各画像が合成されて立体的に見えるものである。また、眼鏡等を用いずに裸眼で見ることが可能な裸眼立体視表示装置も様々なものが開発されている。このような装置には、バリアパララックス方式やレンティキュラ方式等がある。この方式は、複数の方向から撮像した画像をストライプ上に合成し、開口部やスリット、蒲鉾形のレンティキュラレンズを表示装置前面に配置して、左右の目のそれぞれに対応した画像のみが左右の目のそれぞれで観察できるようにしたものである。また、例えば特許文献１のように、楔状表面を組み合わせた蛇腹上の表面を有する構造部を表示装置の前面に配置したものもある。
【０００３】
このように、立体視表示装置に用いられる立体画像用の画像データは、左右の目、即ち２つの視点から見た画像をそれぞれ描画し、スリットやレンティキュラレンズの配列等に合わせて、２つの視点の画像を合成することで生成される。このように２つの視点からみた画像を合成して画像データを生成する方法には、種々の方法が存在するが、例えばＣＰＵを用いてメインメモリ上で合成する方法や、特許文献２のように、ステンシルバッファを用いて右目用画像と左目用画像をそれぞれ別々にフレームバッファに書き込むことで合成する方法がある。
【０００４】
さらに、近来では２つの視点だけでなく、多視点からの画像を合成し、広い範囲で立体映像を観察できるようにした裸眼立体視表示装置も開発されている。この場合、バリアパララックス方式等により縦ストライプ形状のスリットを用いると、視点が多くなればなるほど水平方向の解像度が劣化する。そのため、解像度の劣化を縦横両方向に振り分けるように階段状の開口部を持たせた、斜めバリア方式等も開発されている。具体的には、図１に示すように、例えば４視点の立体画像用画像データの場合、スリットを斜めに配置することで、解像度の劣化を水平方向と垂直方向に分散することで、全体としてみればある程度解像度の劣化を防ぐことが可能となるものである。
【０００５】
さらに、特許文献３のように、１画素がＲＧＢの３成分からなることを利用して、１画素中に複数の視点（最大３視点分）の情報を書き込むようにしたものもある。これは、各視点ごとのＲＧＢの各成分を一単位として効率良く配置して鮮明な立体画像を得ることを目的としたものである。この例のように、ＲＧＢの各成分ごとに画像を合成していくと、見た目上の解像度の劣化を減少させることが可能となる。例えば左右２視点の場合を考えると、図２に示すように、左の視点のＲ成分、右の視点のＧ成分、左の視点のＢ成分を合成し、１つの画素を構成し、続いてその右側の画素は、右の視点のＲ成分、左の視点のＧ成分、右の視点のＢ成分を合成することで構成していく。なお、このような配置にした場合、バリアパララックス方式のための光学フィルタは、図示のような市松模様状のスリットになる。このように構成すると、１画素１視点の場合に比べて、見た目上の解像度の劣化を減少することが可能となることが分かる。
【０００６】
【特許文献１】
特開２０００−２４９９８０号公報
【特許文献２】
特開２０００−２０７５７号公報
【特許文献３】
特開平０８−３３１６０５号公報
【０００７】
【発明が解決しようとする課題】
上記のような裸眼立体視表示装置用の画像データを生成する場合、左右の目の視点、即ち２視点程度の画像データであれば、２つの画像を合成するだけであるため、ＣＰＵを用いてメインメモリ上で合成する方法であっても、ある程度の速度で合成可能であり、立体モデルが動く動画像データを作成する場合であってもリアルタイム処理がある程度は可能である。しかしながら、視点が増えてきた場合、メインメモリ上で合成する方法では、メインメモリとフレームバッファ間の情報の伝達が多くなり、この部分が処理速度上、ボトルネックとなってしまう。したがって、合成処理が間に合わず、フレームレートが高くできないため、リアルタイム処理は難しかった。
【０００８】
また、ステンシルバッファを用いて右目用画像と左目用画像をそれぞれ別々にフレームバッファに書き込むことで合成する方法は、メインメモリ上で合成する場合に比べれば速度的には有利であるが、基本的に２視点のものだけを対象に考えられており、多視点になった場合には、各視点からの画像を単純にストライプ状に順番に配置しただけでは、その見た目上の解像度の劣化が大きくなってしまう。具体的には、縦方向のスリットを用いたバリアパララックス方式の裸眼立体視表示装置用に、各視点の画像を順番に画素ごとにストライプ状に配置した画像の場合には、多視点になればなるほど、１つの視点について見れば、隣り合う画素が離れていくため、水平方向の解像度が劣化していくことになる。
【０００９】
さらに、解像度の劣化を防ぐための斜めバリア方式があるが、これに上記のステンシルバッファを用いてフレームバッファに書き込む合成方法を適用した場合、ステンシルバッファを用いて書き込むことができるのは１画素単位であるため、結局１画素に１視点の情報しか合成できない。したがって、多視点になった場合にはそれ以上解像度を上げることができなかった。具体的には、図１に示すように、例えば４視点の立体画像用画像データの場合、１画素１視点の情報で立体モデルを合成すると、１つの視点において、ある１画素の次の画素は、間に３画素分他の視点の画素を挟んだ位置にあり、例え斜めバリア方式を用いたとしても、解像度を上げることは難しかった。
【００１０】
さらにまた、１画素がＲＧＢの３成分からなることを利用して、１画素中に複数の視点（最大３視点分）の情報を書き込むようにしたものの場合、メインメモリ上で合成する方法を用いると、フレームバッファとメインメモリ間での処理工程が多くなり速度的に高速化が非常に難しく、リアルタイムレンダリング等に用いることができるようなものではなかった。また、ステンシルバッファを用いてフレームバッファに書き込む方法では、上記のように１画素単位でしか書き込めないため、ＲＧＢ成分ごとにフレームバッファに書き込むことはできないので、適用することができなかった。
【００１１】
本発明は、斯かる実情に鑑み、立体画像用の画像データを高速に生成可能であり、さらに、多視点の画像を合成する場合であっても高速に高解像度の立体画像用画像データを生成可能な立体画像処理方法を提供しようとするものである。
【００１２】
【課題を解決するための手段】
上述した本発明の目的を達成するために、複数の視点から立体モデルを見たＲＧＢ画像を合成して立体画像用画像データを生成するための本発明による立体画像処理方法は、マスク情報を格納するステンシルバッファに、裸眼立体視表示装置に応じて、描画する画素を特定するための要素値からなる所定のステンシルパターンを作成して格納する過程と、立体モデルに対して、視点番号ｍ（ｍ＝１，２，・・・ｎ）と描画するＲＧＢ成分のうちの少なくとも１成分とから、ステンシル参照値を決定する過程と、決定されたステンシル参照値に対応する画素に対して、ＲＧＢ成分のうちの少なくとも１成分をフレームバッファに描画するようにカラーマスクを決定する過程と、決定されたステンシル参照値とステンシルパターンの要素値を照合し、一致した値に対応する画素に、決定されたカラーマスクに基づき少なくとも１成分で立体モデルを描画する過程と、ＲＧＢ成分のうちの残りの他の成分に対して、ステンシル参照値を決定する過程と、カラーマスクを決定する過程と、立体モデルを描画する過程とを行う、色成分を変更して描画する過程と、ｍ＋１番目（但し、ｍ＜ｎ）の視点に対して、ステンシル参照値を決定する過程と、カラーマスクを決定する過程と、立体モデルを描画する過程と、色成分を変更して描画する過程とを行い、これらをｎ番目の視点になるまで繰り返す、視点を変更して描画する過程とを具備し、これらにより立体画像用画像データを生成するものである。
【００１３】
また、本発明の立体画像処理方法は、マスク情報を格納するステンシルバッファに、裸眼立体視表示装置に応じて、描画する画素を特定するための要素値からなる所定のステンシルパターンを作成して格納する過程と、立体モデルに対して、視点番号ｍ（ｍ＝１，２，・・・ｎ）と描画するＲＧＢ成分のうちの少なくとも１成分とから、ステンシル参照値を決定する過程と、決定されたステンシル参照値に対応する画素に対して、ＲＧＢ成分のうちの少なくとも１成分をフレームバッファに描画するようにカラーマスクを決定する過程と、決定されたステンシル参照値とステンシルパターンの要素値を照合し、一致した値に対応する画素に、決定されたカラーマスクに基づき少なくとも１成分で立体モデルを描画する過程と、ｍ＋１番目（但し、ｍ＜ｎ）の視点に対して、ステンシル参照値を決定する過程と、立体モデルを描画する過程とを行い、これらをｎ番目の視点になるまで繰り返す、視点を変更して描画する過程と、ＲＧＢ成分のうちの残りの他の成分に対して、ステンシル参照値を決定する過程と、カラーマスクを決定する過程と、立体モデルを描画する過程と、視点を変更して描画する過程とを行う、色成分を変更して描画する過程とを具備し、これらにより立体画像用画像データを生成するものであっても良い。
【００１４】
ここで、視点が２個（ｎ＝２）の場合、カラーマスクを決定する過程は、決定されたステンシル参照値に応じて、ＲＧＢ成分のうちの所定の２成分をフレームバッファに描画するようにカラーマスクを決定し、立体モデルを描画する過程は、決定されたステンシル参照値に応じて、決定されたカラーマスクに基づき２成分で立体モデルを描画することで、過程を省略することも可能である。
【００１５】
また、ステンシルパターンは、１画素を構成するＲＧＢ成分と各成分に対する視点番号の関係が等しい画素に対しては共通の要素値が与えられる。
【００１６】
さらに、所定のステンシルパターンを格納する過程の後であってステンシル参照値を決定する過程の前に、立体モデルの位置や向きを決定する過程を有し、立体画像用画像データが生成された後に、立体モデルの位置や向きを決定する過程に戻り、これらを繰り返すことで複数のフレームを作成して立体画像用の動画像データを生成することも可能である。
【００１７】
上記手段によれば、以下のような作用が得られる。即ち、ステンシルバッファを用いステンシル参照値を決定すると共に、カラーマスクを用いてＲＧＢ成分のうちの１成分ごとに描画できるようにしているため、１画素中の色成分ごとに複数の視点（最大３視点分）の情報を書き込むことができるという作用が得られる。また、メインメモリ上での合成処理を行うのではなく、ステンシルバッファとカラーマスクを用いて直接フレームバッファに書き込むため、メインメモリとの情報のやり取りが不要となり処理速度が高速となるので、リアルタイムレンダリング等にも適用可能であるという作用も得られる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図示例と共に説明する。図３は、本発明の立体画像処理方法の流れを説明するためのフローチャートである。なお、本発明は視点の数に制限は無く、立体視表示装置や光学フィルタの構成に合わせて種々変更可能である。先ず、マスク情報を格納するステンシルバッファに、所定のステンシルパターンを格納する（ステップ１０）。ステンシルバッファとは、対象画像の１画素単位での描画を有効又は無効にするために用いられるバッファである。ステンシルパターンとは、その描画する画素を特定する要素値からなっており、描画パターンを決定するものである。ステンシルパターンは、後述するように、裸眼立体視表示装置の画素配列及びカラーフィルタの配列に応じて、適宜決定されるものである。同じ立体視表示装置を使用する限り、ステンシルパターンは一度だけ作成すれば良い。そしてこのステンシルパターンを用いて、描画処理を行う（ステップ２０）。以下、本発明の立体画像処理方法の描画処理に関し、図４を用いて詳細に説明する。
【００１９】
図４は、図３の描画処理過程２０の詳細を説明するためのフローチャートである。先ず、描画すべき立体モデルに対して、ｎ個（ｎ＝２，３，４，・・・）の視点の視点番号ｍ（ｍ＝１，２，・・・ｎ）と、描画する色成分（ＲＧＢ成分）のうちの１成分とから、ステンシル参照値を決定する（ステップ２０１）。ここで、ステンシル参照値とは、ステンシルバッファ内の値と比較される値として指定するものである。次に、ＲＧＢ成分のうちの１成分のみをフレームバッファに描画するように、カラーマスクを決定する（ステップ２０２）。カラーマスクとは、例えばＲ成分のみを書き込む場合には、他の成分、Ｇ成分、Ｂ成分をマスクして、Ｒ成分のみを通すようにするものである。そして、ステップ２０１で決定されたステンシル参照値とステンシルパターンの要素値とを照合し、一致した値に対応する画素の部分に、ステップ２０２で決定されたカラーマスクを適用してＲＧＢ成分のうちの１成分のみで立体モデルを描画する（ステップ２０３）。そして、ステップ２０４でＲＧＢ成分すべてについて描画したか否かを判定し、まだ残っていれば、次の色に変更して（ステップ２０５）、ステンシル参照値を決定するステップ２０１へ戻る。これを３成分すべてに対して繰り返し、ＲＧＢ成分すべてが終了したら、ステップ２０４からステップ２０６へ進む。ステップ２０６で、すべての視点について描画したか否かを判定し、まだ残っていれば次の視点、即ち、視点番号ｍ＋１番目（但し、ｍ＜ｎ）の視点に変更して（ステップ２０７）、ステンシル参照値を決定するステップ２０１へ戻る。このｍ＋１番目の視点に対しても、ＲＧＢ成分すべてについて描画する過程が行なわれる。そして、すべての視点、即ち、ｎ番目の視点になるまでこれらの過程が繰り返され、すべての視点について描画が終了することで、描画処理が終了し、本発明の立体画像処理方法が終了する。
【００２０】
以下に、例えば図２に示す２視点の場合の各視点の各ＲＧＢ成分の配置例の裸眼立体視表示装置に対して、本発明の画像処理方法を適用した場合について、具体的に説明する。なお、本発明はこれに限定されず、視点の数、表示装置のＲＧＢ３原色の蛍光体やカラーフィルタの配置、表示装置前面に設けられるスリット等の形状を基に、種々変更可能である。図３のステップ１０において格納するステンシルパターンの作成例について説明する。ステンシルバッファは、その性質上、１画素単位でしかフレームバッファに書き込みができない。本発明では、１つの視点に対してＲＧＢ各要素をそれぞれ書き込んでいく。図２の左上の画素を参照すると、この画素は左側視点のＲ成分（以下、「左−Ｒ」というように記す）、「右−Ｇ」、「左−Ｂ」からなっている。ステンシルパターンの要素値はこの１画素単位で画定されるため、この部分のステンシルパターンの要素値を便宜上例えば「１」とする。本発明によると、１つの視点（例えば左側視点）に対して、カラーマスクを用いてＲＧＢ各成分ごとに書き込んでいくため、例えば「左−Ｒ」の次は「左−Ｇ」、「左−Ｂ」の順番に書き込むことになる。なお、Ｒ，Ｇ，Ｂの順番で書き込む必要はなく、上記の例はあくまでも一例であって、書き込む順番は任意に決めれば良い。さらに、１つの色成分に対して、各視点ごとに書き込んでいっても良い。即ち、カラーマスクはそのままで、視点を変更していっても構わない。次に「左−Ｇ」の成分は、図２でいえば、例えば上記の画素の１つ下の画素になるため、上記のステンシルパターンの要素値とは異なる要素値、例えば「２」とする。次に「右−Ｒ」を書き込むが、これは「左−Ｇ」が含まれる画素に書き込むものであり、この画素は既にステンシルパターンの要素値を「２」とした画素である。これらのことから、図５に示すような、書き込む画素（要素）とステンシルパターンの要素値の関係が導き出せる。即ち、「左−Ｒ」、「右−Ｂ」、「右−Ｇ」からなる画素に対応するステンシルパターンの要素値が「１」で、「左−Ｇ」、「右−Ｒ」、「右−Ｂ」からなる画素に対応するステンシルパターンの要素値が「２」である。このように、ステンシルパターンは、１画素を構成するＲＧＢ成分と各成分に対する視点の関係が等しい画素に対しては共通の要素値が与えられる。なお、図５中の矢印は書き込む順番を示したものである。したがって、ステンシルバッファに格納すべき図２の配置例に対応するステンシルパターンは、図６のようなパターンになる。なお、同図の１、２の数字は、描画する画素を特定するための要素値であり、便宜的に付された数値である。このように作成したステンシルパターンをステンシルバッファに格納しておく（図３のステップ１０）。
【００２１】
したがって、図２及び図６を参照しながらステンシル参照値を決定する過程を説明すると、例えば「左−Ｒ」を書き込む場合には、ステンシル参照値を「１」にし（図４のステップ２０１）、カラーマスクをＲ成分のみを書き込めるように設定すれば良い（図４のステップ２０２）。その後、ステンシル参照値とステンシル要素値を照合し、カラーマスクを用いて立体モデルをフレームバッファに描画する（図４のステップ２０３）。そして、次の「左−Ｇ」を書き込む場合には、ステンシル参照値を「２」にし、カラーマスクをＧ成分のみを書き込めるように設定すれば良い。これらを、他の色成分（図４のステップ２０４）や右側の視点・色成分（図４のステップ２０７）に対しても同様に行うことで、図２に示すような合成画像が生成できる。
【００２２】
なお、２視点の立体画像の場合、１画素中に同一の視点が２個含まれることになるため、カラーマスクをＲＧＢ成分のうちの所定の２成分を同時に書き込めるように設定することで、カラーマスクを設定するステップを一部分減らすことができるので、画像合成処理のさらなる高速化が望める。
【００２３】
このように、ステンシルバッファとカラーマスクを用いることで、１つの色成分単位でフレームバッファに直接書き込むことが可能となるので、メインメモリ−フレームバッファ間のボトルネックがなくなるため、メインメモリ上で複数の画像を生成してフレームバッファに書き込むよりも、より高速な描画が可能となる。したがって、高速に画像の合成が可能となるため、単に静止画の立体画像用画像データを生成するだけではなく、立体画像用の動画像データを生成することも可能となる。
【００２４】
次に、他の合成配置例について説明する。図７は、４視点用の裸眼立体視表示装置に表示する各視点の画像の各画素の配置例を示す表示画面の一部拡大図である。同図は、例えば図８に示すような階段状に配置されるスリットを有する光学フィルタを表示装置の前面に設けた斜めバリア方式の裸眼立体視表示装置において、４つの視点のそれぞれの画素のそれぞれのＲＧＢ各成分を、裸眼立体視表示装置用の１つの画像となるように配置して合成する場合の配置例を表わしている。また、図８に示す光学フィルタは、１画素中のＲＧＢ各成分単位でバリアすることが可能なスリットパターンになっている。なお、図８のスリットパターンは左から右に下がる斜めスリットになっているが、本発明は、１画素中のＲＧＢ各成分単位でフレームバッファに描画可能である点が特徴であり、これらの配置やハードウェア構成には限定されるものではなく、任意の配置で任意に書き込み可能なものである。例えば、スリットが右から左に下がる斜めスリットであれば、それに合わせて各視点の画像の各画素のＲＧＢ成分ごとの配置を変更すれば良い。さらには、スリットではなく、孔状のフィルタであっても良い。また、解像度の劣化を水平・垂直方向に分散することを考えなければ、縦スリット方式の裸眼立体視表示装置に適用することも勿論可能である。このように、本発明はハードウェア構成には限定されず、用いる裸眼立体視表示装置に合わせて種々の合成処理が可能なものである。
【００２５】
図２及び図５を用いて説明した２視点の場合のステンシルパターンと同様に、図７の配置例の場合のステンシルパターンは以下のように作成できる。図７の合成後の配置の左上の画素を参照すると、この画素は視点１のＲ成分（以下、「１−Ｒ」というように記す）、「２−Ｇ」、「３−Ｂ」からなっている。ステンシルパターンの要素値はこの１画素単位で画定されるため、この部分のステンシルパターンの要素値を便宜上例えば「１」とする。本発明によると、１つの視点（例えば視点１）に対して、カラーマスクを用いてＲＧＢ各成分ごとに書き込んでいくため、例えば「１−Ｒ」の次は「１−Ｇ」、「１−Ｂ」の順番に書き込むことになる。なお、Ｒ，Ｇ，Ｂの順番で書き込む必要はなく、上記はあくまでも一例であって、書き込む順番は任意に決めれば良い。さらに、１つの色成分に対して、各視点ごとに書き込んでいっても良い。即ち、カラーマスクはそのままで、視点番号を変更していっても構わない。次に「１−Ｇ」の成分は、図７でいえば、例えば上記の画素の１つ下の画素になるため、上記のステンシルパターンの要素値とは異なる要素値、例えば「２」とする。同様に、「１−Ｂ」は要素値を「３」とする。次に視点２について、「２−Ｒ」を書き込むが、この画素は「１−Ｂ」が含まれる画素の下の画素になるため、さらに別の要素値「４」とする。次に「２−Ｇ」を書き込むが、これは「１−Ｒ」が含まれる画素に書き込むものであり、この画素は既にステンシルパターンの要素値を「１」とした画素である。これらのことから、図９に示すような、書き込む画素（要素）とステンシルパターンの要素値の関係が導き出せる。即ち、「１−Ｒ」、「２−Ｇ」、「３−Ｂ」からなる画素に対応するステンシルパターンの要素値が「１」で、「１−Ｇ」、「２−Ｂ」、「４−Ｒ」からなる画素に対応するステンシルパターンの要素値が「２」であり、「１−Ｂ」、「３−Ｒ」、「４−Ｇ」に対応する要素値が「３」であり、「２−Ｒ」、「３−Ｇ」、「４−Ｂ」に対応する要素値が「４」となる。なお、図９中の矢印は書き込む順番を示したものである。したがって、ステンシルバッファに格納すべき図７の配置例に対応するステンシルパターンは、図１０のようなパターンになる。なお、同図の１〜４の数字は、描画する画素を特定するための要素値であり、便宜的に付された数値である。このように作成したステンシルパターンをステンシルバッファに格納しておく（図３のステップ１０）。なお、図１０のステンシルパターンと図７の合成画像の配置例との関係がより明確となるように、図１１にこれらを重ねた状態の図を示す。
【００２６】
したがって、図１１を参照しながらステンシル参照値を決定する過程を説明すると、例えば「１−Ｒ」を書き込む場合には、ステンシル参照値を「１」にし（図４のステップ２０１）、カラーマスクをＲ成分のみを書き込めるように設定すれば良い（図４のステップ２０２）。その後、ステンシル参照値とステンシル要素値を照合し、カラーマスクを用いて立体モデルをフレームバッファに描画する（図４のステップ２０３）。そして、次の「１−Ｇ」を書き込む場合には、ステンシル参照値を「２」にし、カラーマスクをＧ成分のみを書き込めるように設定すれば良い。これらを、他の色成分（図４のステップ２０４）に対して行い、さらに他の視点・色成分（図４のステップ２０７）に対しても同様に行うことで、図７に示すような合成画像が生成できる。
【００２７】
このように、ステンシルバッファとカラーマスクを用いることで、１つの色成分単位でフレームバッファに直接書き込むことが可能となるので、メインメモリ上で複数の画像を生成してフレームバッファに書き込むよりも、より高速な描画が可能となる。視点数が多くなってもステンシルバッファを用いて高速に描画が可能であるため、単に静止画の立体画像用画像データを生成するだけではなく、立体画像用の動画像データを生成することも可能となる。
【００２８】
次に、さらに別の合成配置例について、簡単に説明する。図１２は、４視点用の裸眼立体視表示装置に表示する各視点の画像の各画素の配置例と、それに用いられる光学フィルタを示す図である。上記の説明と同様に、本発明では、例えば「１−Ｒ」、「１−Ｇ」、「１−Ｂ」、「２−Ｒ」・・・の順番にステンシル参照値を変更して書き込むとすれば、図１３のようなステンシルパターンをステンシルバッファに格納すれば良い。そして、ステンシル参照値とステンシルパターンの要素値が一致する画素に、各成分のカラーマスクを適用して書き込むことで、図に示すような配置例の画像が生成できる。
【００２９】
このように、本発明の立体画像処理方法は、裸眼立体視表示装置のカラーフィルタの配置やスリット等の光学フィルタの構造、それに合わせた立体画像の合成配置に合わせて、所定のステンシルパターンを作成し、フレームバッファに書き込む際に、ステンシルバッファとカラーマスクを用いて書き込むことが可能であるため、如何なる合成配置であっても適用可能である。
【００３０】
次に、図１４を用いて、本発明の立体画像処理方法を用いて動画像データを生成する方法について説明する。図１４は、本発明の動画像データを生成するための立体画像処理方法の流れを説明するためのフローチャートである。図中、図３と同一の符号を付した過程は同一の過程を表わしているため、重複説明は省略する。図示のとおり、本実施例の場合、ステンシルパターンをステンシルバッファに格納するステップ１０と、描画処理２０の間に、立体モデルの位置や向きを決定する過程３０がある点が図３の実施例とは異なる点である。
【００３１】
ステンシルパターンを作成してステンシルバッファに格納するステップ１０の後、立体モデルの位置や向きを決定する（ステップ３０）。ここで決定された位置や向きに対して、描画処理を行い（ステップ２０）、多視点の画像を立体画像用の画像データとなるように合成して１つのフレームを作成する。１つのフレームの作成が完了すると、次のフレームに進むべく、再度ステップ３０へ戻り（ステップ４０）、次のフレームにおける立体モデルの位置や向きを決定し、描画処理を行う。これを繰り返すことで、動画像データが生成される。
【００３２】
このように、本発明の立体画像処理方法を用いれば、より高速に合成が可能であるため、予め複数の画像を用意しておいて単にこれを再生するだけでなく、その場で合成するリアルタイムレンダリング等も可能となる。したがって、例えば裸眼立体視表示装置の鑑賞者が、画面上の立体モデルを、マウス等の入力手段を用いて自由に回転、移動させるような場合でも、立体的に表示したままで、入力手段の動きに追従する画像をリアルタイムに生成することも可能となる。なお、フレームレートはレンダリングを行うマシンのスペックに左右されるが、１０フレーム／秒程度あれば、ある程度滑らかな動きとなる。
【００３３】
なお、本発明の立体画像処理方法は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記の実施例で具体的に例示した視点の数は、あくまでも一例であって、２視点以上のものであれば、種々合成可能である。同様に、ステンシルパターンやステンシル参照値は、裸眼立体視表示装置のカラーフィルタの配置やスリット等の光学フィルタの配置によるものであり、上記の実施例で具体的に例示したものに限定されるものではなく、裸眼立体視表示装置のカラーフィルタの配置やスリット等の光学フィルタの構造によって種々変更可能である。
【００３４】
【発明の効果】
以上、説明したように本発明の立体画像表示方法によれば、立体画像用の画像データを高速に生成可能であり、さらに、多くの視点の画像を合成する場合であっても高速に高解像度の立体画像用画像データを生成可能であるという優れた効果を奏し得る。
【図面の簡単な説明】
【図１】図１は、斜めバリア方式の４視点の場合の各視点の画素の配置例を説明するための図である。
【図２】図２は、１画素中に複数の視点の情報を書き込む例を説明するための図である。
【図３】図３は、本発明の立体画像処理方法の流れを説明するためのフローチャートである。
【図４】図４は、図３の描画処理を説明するためのフローチャートである。
【図５】図５は、図２に示す合成画像の配置例に対する、書き込む画素とステンシルパターンの要素値の関係を説明するための図である。
【図６】図６は、図２に示す合成画像の配置例に用いられるステンシルパターンを示す図である。
【図７】図７は、裸眼立体視表示装置に表示する各視点の画像の各画素の一配置例を示す表示画面の一部拡大図である。
【図８】図８は、図７に示す合成画像の配置例に用いられる階段状に配置されるスリットを有する光学フィルタを説明するための図である。
【図９】図９は、図７に示す合成画像の配置例に対する、書き込む画素とステンシルパターンの要素値の関係を説明するための図である。
【図１０】図１０は、図７に示す合成画像の配置例に用いられるステンシルパターンを示す図である。
【図１１】図１１は、図７に示す合成画像の配置例と図１０に示すステンシルパターンとの関係を説明するための図である。
【図１２】図１２は、裸眼立体視表示装置に表示する各視点の画像の各画素の他の配置例及びそれに用いられる光学フィルタを示す図である。
【図１３】図１３は、図１２に示す合成画像の配置例に用いられるステンシルパターンを示す図である。
【図１４】図１４は、本発明の動画像データを生成するための立体画像処理方法の流れを説明するためのフローチャートである。

Claims

裸眼立体視表示装置に立体モデルを立体的に表示するために、ｎ個（ｎ＝２，３，４・・・）の視点から立体モデルを見たＲＧＢ画像を合成し、立体画像用画像データを生成する立体画像処理方法であって、該方法は、
ＣＰＵが、マスク情報を格納するステンシルバッファに、前記裸眼立体視表示装置に応じて、描画する画素を特定するための要素値からなる所定のステンシルパターンを作成して格納する過程と、
ＣＰＵが、立体モデルに対して、視点番号ｍ（ｍ＝１，２，・・・ｎ）と描画するＲＧＢ成分のうちの少なくとも１成分とから、ステンシル参照値を決定する過程と、
ＣＰＵが、前記決定されたステンシル参照値に対応する画素に対して、前記ＲＧＢ成分のうちの前記少なくとも１成分をフレームバッファに描画するようにカラーマスクを決定する過程と、
ＣＰＵが、前記決定されたステンシル参照値と前記ステンシルパターンの要素値を照合し、一致した値に対応する画素に、前記決定されたカラーマスクに基づき前記少なくとも１成分で立体モデルを描画する過程と、
ＣＰＵが、ＲＧＢ成分のうちの残りの他の成分に対して、前記ステンシル参照値を決定する過程と、カラーマスクを決定する過程と、立体モデルを描画する過程とを行う、色成分を変更して描画する過程と、
ＣＰＵが、ｍ＋１番目（但し、ｍ＜ｎ）の視点に対して、前記ステンシル参照値を決定する過程と、カラーマスクを決定する過程と、立体モデルを描画する過程と、色成分を変更して描画する過程とを行い、これらをｎ番目の視点になるまで繰り返す、視点を変更して描画する過程と、
を具備し、これらにより立体画像用画像データを生成することを特徴とする立体画像処理方法。
裸眼立体視表示装置に立体モデルを立体的に表示するために、ｎ個（ｎ＝２，３，４・・・）の視点から立体モデルを見たＲＧＢ画像を合成し、立体画像用画像データを生成する立体画像処理方法であって、該方法は、
ＣＰＵが、マスク情報を格納するステンシルバッファに、前記裸眼立体視表示装置に応じて、描画する画素を特定するための要素値からなる所定のステンシルパターンを作成して格納する過程と、
ＣＰＵが、立体モデルに対して、視点番号ｍ（ｍ＝１，２，・・・ｎ）と描画するＲＧＢ成分のうちの少なくとも１成分とから、ステンシル参照値を決定する過程と、
ＣＰＵが、前記決定されたステンシル参照値に対応する画素に対して、前記ＲＧＢ成分のうちの前記少なくとも１成分をフレームバッファに描画するようにカラーマスクを決定する過程と、
ＣＰＵが、前記決定されたステンシル参照値と前記ステンシルパターンの要素値を照合し、一致した値に対応する画素に、前記決定されたカラーマスクに基づき前記少なくとも１成分で立体モデルを描画する過程と、
ＣＰＵが、ｍ＋１番目（但し、ｍ＜ｎ）の視点に対して、前記ステンシル参照値を決定する過程と、立体モデルを描画する過程とを行い、これらをｎ番目の視点になるまで繰り返す、視点を変更して描画する過程と、
ＣＰＵが、ＲＧＢ成分のうちの残りの他の成分に対して、前記ステンシル参照値を決定する過程と、カラーマスクを決定する過程と、立体モデルを描画する過程と、視点を変更して描画する過程とを行う、色成分を変更して描画する過程と、
を具備し、これらにより立体画像用画像データを生成することを特徴とする立体画像処理方法。
請求項１又は請求項２に記載の立体画像処理方法において、前記視点が２個（ｎ＝２）の場合、前記カラーマスクを決定する過程は、前記決定されたステンシル参照値に応じて、前記ＲＧＢ成分のうちの所定の２成分をフレームバッファに描画するようにカラーマスクを決定する過程であり、前記立体モデルを描画する過程は、前記決定されたステンシル参照値に応じて、前記決定されたカラーマスクに基づき前記２成分で立体モデルを描画する過程であることを特徴とする立体画像処理方法。
請求項１乃至請求項３の何れかに記載の立体画像処理方法において、前記ステンシルパターンは、１画素を構成するＲＧＢ成分と各成分に対する視点番号の関係が等しい画素に対しては共通の要素値が与えられることを特徴とする立体画像処理方法。
請求項１乃至請求項４の何れかに記載の立体画像処理方法であって、さらに、前記所定のステンシルパターンを格納する過程の後であって前記ステンシル参照値を決定する過程の前に、立体モデルの位置や向きを決定する過程を有し、前記立体画像用画像データが生成された後に、前記立体モデルの位置や向きを決定する過程に戻り、これらを繰り返すことで複数のフレームを作成して立体画像用の動画像データを生成することを特徴とする立体画像処理方法。