JP4034964B2

JP4034964B2 - Program, information storage medium, and stereoscopic image generation apparatus

Info

Publication number: JP4034964B2
Application number: JP2001397245A
Authority: JP
Inventors: 克企伊丹; 雅亮花田
Original assignee: Namco Ltd; Namco Bandai Games Inc
Current assignee: Namco Ltd; Bandai Namco Entertainment Inc
Priority date: 2001-12-27
Filing date: 2001-12-27
Publication date: 2008-01-16
Anticipated expiration: 2021-12-27
Also published as: JP2003196682A

Description

【０００１】
【発明の属する技術分野】
本発明は、立体視画像を生成させるためのプログラム、情報記憶媒体、及び立体視画像生成装置に関する。
【０００２】
【従来の技術】
従来、ヘッドマウントディスプレイやレンチキュラ板（レンチキュラレンズ）等を用いて、観察者の右目、左目にそれぞれ異なる映像を投影し、両眼視差を与えることにより立体視映像を感得せしめる立体視映像表示装置が知られている。このような両眼視差を利用した立体視映像表示装置において、表示画面の画像は、各視点に対応した画像（以下、個別視点画像という。）の組、あるいはそれらをサンプリング及びインターリーブした画像である。（以下、個別視点画像の組、またはそれらをインタリーブ処理した画像を立体視画像という。）
【０００３】
この立体視画像を生成するために、従来の方式では、個別視点画像を視点数分描画し、その描画された複数の個別視点画像に基づいて、立体視画像を生成していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来の方式では、複数の個別視点画像を生成しなければならないため、通常の平面視画像を生成する場合に比べると、画像描画に係る処理が視点数倍必要となる。即ち、視点数に比して画像の描画に係る処理負荷が増大する。従って、例えば、所与の時間内でリアルタイムに画像を生成、表示しなければならないゲーム画像を多数の視点に対応する立体視画像として生成し、立体視映像表示することは、困難であった。また、複数の個別視点画像を記憶しなければならないため、メモリ容量も視点数倍必要となるといった問題があった。
【０００５】
本発明の課題は、立体視画像生成に係る処理負荷及びメモリ容量の軽減を実現することである。
【０００６】
【課題を解決するための手段】
第１の発明は、プロセッサによる演算・制御により、複数の視点に対応した複数の画像を生成し、両眼視差を利用した立体視画像を生成する装置に対して、一の仮視点（例えば、図１に示す仮視点Ｖ）に対する画像情報を記憶する画像情報記憶手段（例えば、図８に示す仮視点画像用ラインバッファ６０２）と、前記一の仮視点に対する画像の、画素毎の奥行情報を記憶する奥行情報記憶手段（例えば、図８に示すＺバッファ６０４）と、前記一の仮視点と前記複数の視点それぞれとの位置関係と、前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報から前記複数の視点に対応する複数の画像（画像全体であっても良いし、インターリーブの対象画素部分であってもよい。）を生成することにより、前記立体視画像を生成する立体視画像生成手段（例えば、図８に示す立体視画像生成部２３０）と、を機能させるための立体視画像生成情報である。
【０００７】
第８の発明は、プロセッサによる演算・制御により、複数の視点に対応した複数の画像を生成し、両眼視差を利用した立体視画像を生成する立体視画像生成装置であって、一の仮視点（例えば、図１に示す仮視点Ｖ）に対する画像情報を記憶する画像情報記憶手段（例えば、図８に示す仮視点画像用ラインバッファ６０２）と、前記一の仮視点に対する画像の、画素毎の奥行情報を記憶する奥行情報記憶手段（例えば、図８に示すＺバッファ６０４）と、前記一の仮視点と前記複数の視点それぞれとの位置関係と、前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報から前記複数の視点に対応する複数の画像（画像全体であっても良いし、インターリーブの対象画素部分であってもよい。）を生成することにより、前記立体視画像を生成する立体視画像生成手段（例えば、図８に示す立体視画像生成部２３０）と、を備える立体視画像生成装置である。
【０００８】
ここで、一の仮視点は、複数の視点の内の一の視点であっても良く、また、複数の視点とは別の視点であっても良い。
【０００９】
また、画素とは、実施の形態におけるピクセルまたはサブピクセルを指す。
【００１０】
この第１または第８の発明によれば、ゲーム画像のように、リアルタイムに画像を描画、生成しなければならない場合等において、従来のように、視点数分の画像を描画する必要がなく、一の視点に対する画像のみを描画すれば良いため、視点数に関わらず、画像描画に係る処理負荷は、平面視画像を生成する場合と同等である。そのため、ゲーム画像の複数視点に対応する立体視映像表示が容易に実現できる。
【００１１】
また、第２の発明として、第１の発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記一の仮視点と前記複数の視点それぞれとの位置関係と、前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報を設定する位置をずらすことにより、前記複数の視点それぞれに対する画像を画素毎に設定して、前記立体視画像を生成するように機能させるための情報を含むこととしてもよい。
【００１２】
この第２の発明によれば、記憶された一の仮視点に対する画像情報を奥行情報を参照し描画位置をずらしながら立体視画像に設定することにより、簡便に各視点に対応した画像を含む立体視画像を生成することができる。
【００１３】
また、第３の発明として、第１または第２の発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記立体視画像において、画素情報が設定されない部分が生じた場合には、その部分の周囲の画素情報に基づいて、その部分の画素情報を補完する、ように機能させるための情報を含むこととしても良い。
【００１４】
ここで、画素情報が設定されない部分の周囲の画素情報で補完する際に、周囲の画素情報の内、一の仮視点に対して、より奥側の画素情報で補完することとしても良い。また、逆に、一の仮視点寄りの画素情報で補完することとしても良い。
【００１５】
この第３の発明によれば、画素情報が設定されない部分を周囲の画素情報で補完することにより、画素情報が設定されない部分をより自然に繕うことができる。
【００１６】
また、第４の発明として、第１から第３のいずれかの発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記立体視画像において、画素情報が重複設定される部分が生じた場合には、重複設定された画素情報の内、奥行情報がより前記一の仮視点寄りの画素情報を優先的に設定する、ように機能させるための情報を含むこととしても良い。
【００１７】
この第４の発明によれば、より仮視点に近い画素情報が優先的に設定されるため、矛盾なく陰面消去された立体視画像を生成することができる。
【００１８】
また、第５の発明として、第１から第４のいずれかの発明の立体視画像生成情報において、前記装置に対して、基準となる奥行値を設定する基準奥行設定手段を機能させるための情報と、前記立体視画像生成手段に対して、前記一の仮視点及び前記複数の視点それぞれの位置関係と、前記基準奥行設定手段により設定された奥行値及び前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報を設定する位置をずらすように機能させるための情報と、を含むこととしても良い。
【００１９】
この第５の発明によれば、例えば、基準となる奥行値と、記憶された奥行情報との差が大きくなる程、画素情報を大きくずらして設定することとしても良い。その場合には、基準となる奥行値の画素情報は、一の仮視点及び前記複数の視点それぞれの位置関係に関わらず、ずらさずに設定される。即ち、基準となる奥行値を注視点とし、この注視点を任意に変更することができる。
【００２０】
例えば、一の仮視点に対する画像の中心の画素に対して設定された奥行情報を基準となる奥行値とすることとしても良い。その場合には、立体視映像において常に中心に焦点が合っているようにすることができる。また、立体視画像としてゲーム画像を生成する場合には、例えば、メインキャラクタの位置を基準となる奥行値として設定するようにすれば、メインキャラクタは常にプレーヤの左右の目に同じように映るため、立体視映像において、よりはっきりと（焦点が合っているように）見せることができる。
【００２１】
さらに、この場合、第６の発明として、第１から第５のいずれかの発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記複数の視点に対応する複数の画像をインターリーブした立体視画像を生成するように機能させる情報を含むこととしてもよい。
【００２２】
この第６の発明によれば、一の仮視点に対する画像のみから、複数の視点に対応する立体視画像を生成することができるため、各視点に対する画像をそれぞれ記憶する必要がない。従って、視点数が増加しても、メモリ容量を増加させる必要がなく、メモリ容量の少ない（回路規模の小さい）装置においても多数視点に対する立体視画像の生成（立体視映像の表示）が実現できる。
【００２３】
また、第７の発明として、第１から第４のいずれかの発明の立体視画像生成情報を記憶する情報記憶媒体を実現することとしてもよい。
【００２４】
また、第９の発明として、第８の発明の立体視画像生成装置において、前記一の仮視点に対する画像情報と、前記奥行情報とを入力する入力手段を備えることとしてもよい。
【００２５】
この第９の発明によれば、例えば、立体視画像生成装置外部から、各画素毎の奥行情報を有する画像データを入力することにより、或いは画像データを各画素毎の奥行情報とともに入力することにより、立体視画像を生成することができる。この方法により、各視点に対応した画像を個別に入力する方法に比して少ない入力データ量で、立体視を実現する事ができる。また、描画装置を視点の数だけ用意する必要がなく、一つの描画装置で立体視を実現できる。
【００２６】
【発明の実施の形態】
以下、本発明の好適な実施形態について図面を参照して説明する。なお、以下では、ゲーム装置等においてゲーム画像に本発明を適用して立体視映像として表示する場合を例にとって説明するが、本発明の適用は、これに限るものではない。
【００２７】
まず図１〜図６を参照して本発明の原理を説明する。以下、本実施の形態においては、サブピクセル（ピクセルを構成するｒｇｂそれぞれ）毎にインターリーブを行なって５眼式立体視画像を生成する場合について説明する。
【００２８】
図１は、ゲーム空間に配置されるオブジェクト６−１〜３と視点（最左視点２−１、左視点２−２、中央視点２−３、右視点２−４、最左視点２−５）と投影面４との関係の一例を示す図である。従来は、５つの視点からそれぞれゲーム空間を見た個別視点画像を５つ生成（描画）していたが、本発明においては、ゲーム空間を仮視点Ｖ（ここでは、中央視点２−３を仮視点Ｖとしている。）から見た画像（以下、仮視点画像という。）のみを生成する。また、仮視点画像の各ピクセルに対する奥行値（Ｚ座標）を算出する。ここで、Ｚ軸は、図１に示すように仮視点Ｖの視線方向に伸びる軸であり、仮視点ＶをＺ＝０としている。
【００２９】
また、後述の各画素ごとの描画位置ずらし量ｄは奥行値Ｚの関数であり、概ねｄ＝ａ／ｚ１−ａ／Ｚ（ｚ１は投影面の奥行値、ａは視差の強弱を決める定数）として求められる。本実施の形態においては、このｄを四捨五入して整数化した値を「視差情報」と呼び奥行情報として記憶する。
【００３０】
図２は、１ラインの仮視点画像２２の一例を示す図である。図２に示すように、仮視点画像２２は、１ライン（表示画面に配列されているピクセルの横一列）分ずつ生成される。ここでは、更に、説明を簡明にするため、１ラインを１０ピクセルとし、各ピクセルは、ｒｇｂ縦ストライプ構成として説明する。また、図２は、ピクセルＰ１、Ｐ８、Ｐ９、Ｐ１０には、図１に示したオブジェクト６−１の色が設定され、ピクセルＰ２、Ｐ３、Ｐ６、Ｐ７には、オブジェクト６−２の色が設定され、ピクセルＰ４、Ｐ５には、オブジェクト６−３の色が設定されている場合を示している。
【００３１】
また、図３は、仮視点画像２２の各ピクセルに対応する視差情報（奥行情報２６）の一例を示す図である。ここで、視差情報は投影面４の位置を"０"とし、それよりも奥側（仮視点Ｖから離れる）程、大きい値とし、手前（仮視点Ｖに近づく）程、小さい値（マイナスの値）となっている。
【００３２】
そして、図２に示した仮視点画像２２のサブピクセル毎の輝度情報（仮視点画像情報）の値を図３に示した視差情報に基づいて、立体視画像の画像情報（立体視画像情報）に設定していく。
【００３３】
ここで、立体視画像と各視点映像との関係を図４を参照して説明する。図４（ａ）に示すように、立体視画像２４の各サブピクセルは、対応する視点が順番に割り振られており、レンチキュラ板１００の各レンチキュラレンズ１００−１〜１００−６によりそれぞれ対応する視点にのみ見えることとなる。例えば、サブピクセルＲＲ１〜６は、最右視点２−５に対応付けられたサブピクセルである。即ち、図４（ｂ）に示すように、サブピクセルＲＲ１〜６からなる映像が、最右視点２−５において見える映像（最右視点映像）２０−５となる。
【００３４】
同様に、立体視画像情報のサブピクセルＲ１〜６は、右視点２−４に対応するサブピクセルであり、右視点映像２０−４となる。サブピクセルＣ１〜６は、中央視点２−３に対応するサブピクセルであり、中央視点映像２０−３となる。サブピクセルＬ１〜６は、左視点２−２に対応するサブピクセルであり、左視点映像２０−２となる。サブピクセルＬＬ１〜６は、最左視点２−１に対応するサブピクセルであり、最左視点映像２０−１となる。
【００３５】
また、各視点の映像をプレーヤが両目で見た際に、立体感を感得するためには、各視点の映像は、両眼視差を考慮した、それぞれ異なる（視差情報に応じてずれた）映像でなければならない。即ち、各視点映像（最右視点映像２０−５、右視点映像２０−４、中央視点映像２０−３、左視点映像２０−２、最左視点映像２０−１）がそれぞれ異なる映像となるように、仮視点画像情報を視差情報に応じ位置をずらして立体視画像情報に設定しなければならない。
【００３６】
ここで、本実施の形態では各視点の画像を個別に生成することはしないが、例えば、図１に示した右視点２−４から見た画像（図５（ｃ））を考える。右視点２−４から見た場合、投影面４上のオブジェクト６−２は、仮視点Ｖから見た場合と同じ位置に見える。即ち、図５（ｃ）に示す右視点２−４から見た画像において、仮視点画像（図５（ａ））と同じ位置に描画されることとなる。しかし、仮視点Ｖに対して投影面４よりも奥側のオブジェクト６−１は、右視点２−４から見た場合には、仮視点Ｖから見た場合よりも右にずれて見える。即ち、図５（c）に示す右視点２−４から見た画像において、仮視点画像（図５（ａ））における位置よりも右にずれた位置に描画される。また、投影面４よりも手前側のオブジェクト６−３は、右視点２−４から見た場合には、仮視点Ｖから見た場合よりも左にずれて見える。即ち、図５（ｃ）に示す右視点２−４から見た画像において、仮視点画像における位置よりも左にずれた位置に描画されるはずである。
【００３７】
逆に、左視点２−２から見た画像（図５（ｂ））を考えると、仮視点Ｖに対して投影面４よりも奥側のオブジェクト６−１は、仮視点画像（図５（ａ））における位置よりも左にずれた位置に描画される。また、投影面４よりも手前側のオブジェクト６−３は、仮視点画像における位置よりも右にずれた位置に描画されることとなる。
【００３８】
また、最右視点２−５から見た画像では、右視点２−４から見た画像よりもずれる量が大きくなる。同様に、最左視点２−１から見た画像では、左視点２−２から見た画像よりもずれる量が大きくなる。
【００３９】
従って、仮視点画像情報中のあるサブピクセルの値を立体視画像情報に設定していく際に、仮視点Ｖよりも右側の視点に対応するサブピクセルに値を設定する場合には、当該サブピクセルに対応する視差情報が"０"より大きい値であれば（投影面４よりも奥側であれば）、立体視画像情報において当該サブピクセルの仮視点画像における位置から右にずらした位置に値を設定する。
【００４０】
逆に当該サブピクセルに対応する視差情報が"０"よりも小さい値であれば、立体視画像情報において左にずらした位置に値を設定する。また、視差情報が"０"であれば、位置をずらさずに、設定する。また、最右視点２−５に対応するサブピクセルの値を設定する際には、右視点２−４に対応するサブピクセルの値を設定する場合よりも、値を設定する位置をずらす量を大きくする。
【００４１】
同様に、仮視点Ｖよりも左側の視点に対応する立体視画像情報に値を設定する際には、当該サブピクセルに対応して記憶されている視差情報が"０"より大きい値であれば、立体視画像情報において当該サブピクセルの仮視点画像における位置から左にずらした位置に値を設定し、当該サブピクセルに対応する視差情報が"０"よりも小さい値であれば、右にずらした位置に値を設定する。また、最左視点２−１に対応するサブピクセルの値を設定する際には、左視点２−２に対応するサブピクセルの値を設定する場合よりも、値を設定する位置をずらす量を大きくする。つまり、描画位置ずらし量ｄは、例えば画面右方向を正として、該当する視点の仮視点からの距離と視差情報との積に比例する値として計算される。
【００４２】
更に図６、図７を参照して、具体的に仮視点画像２２及び視差情報（奥行情報２６）に基づいて、立体視画像２４を生成していく方法について説明する。この図６は、ダイレクトサンプリング（輝度のブレンド計算などをせず、原画像（仮視点画像２２）における特定画素に対して、生成画像（立体視画像２４）の対応する画素を選択し、原画像の当該特定画素の輝度情報の値を生成画像上の当該選択画素の輝度情報の値とする方法）によってサンプリング、インターリーブを行なう場合を例にとって説明する図である。本発明は、他のサンプリング方法によっても実現可能であり、サンプリング方法は限定されるものではない。本実施の形態においては、視差情報（奥行情報２６）は、仮視点画像２２の画素ごとに、その画素の右視点２−４に対応する設定位置の画面右方向への描画位置ずらし量ｄを画素の幅を単位に表わしたものであり、仮視点画像２２の画素の幅はレンチキュラレンズの幅（レンズピッチ）に等しいものとして説明する。仮視点画像２２の画素も、レンチキュラレンズの幅（レンズピッチ）に等しいものに限定されるものではない。
【００４３】
まず、仮視点画像２２の一つの画素に対して、５つの視点それぞれに対応する立体視画像の画像情報の設定位置を決定する。本実施の形態においては、仮視点Ｖと中央視点２−３が等しい視点であり、各視点が等間隔に配置されている。故に、仮視点画像の一つの画素についての各視点に対応した描画位置のずらし量は、最右視点２−５（ＲＲ）に対応する描画位置ずらし量が視差情報の値の２倍、右視点２−４（Ｒ）に対応する描画位置ずらし量が視差情報の値、左視点２−２（Ｌ）に対応する描画位置ずらし量が視差情報の値の−１倍、最左視点２−１（ＬＬ）に対応する描画位置ずらし量が視差情報の値の−２倍として計算される。中央視点２−３（Ｃ）に対応する描画位置ずらし量は常に０である。
【００４４】
立体視画像上には各視点に対応するサブピクセルがＲＲ，Ｒ，Ｃ，Ｌ，ＬＬの順で配置されており、仮視点画像２２の１画素に対応する領域に、各視点に対応した５つのサブピクセルを含んでいる。描画位置は視点に対応して決定するので、さらに描画位置に属するサブピクセルの中から視点と対応するサブピクセルが決定される。決定されたサブピクセルが赤（ｒ）、緑（ｇ）、青（ｂ）のいずれかの色のサブピクセルであるかに応じて、もとの仮視点画像の画素を構成する当該色要素の輝度情報を、決定されたサブピクセルに設定する。
【００４５】
図６においては、図中太線矢印方向に走査を行なう（仮視点画像２２の情報を左から右に順番に立体視画像２４に設定していく。）。即ち、まず、仮視点画像２２の最も左側のピクセルであるＰ１について考える。ピクセルＰ１の視差情報は、"＋２"である。この視差情報に基づいて各視点に対する描画位置のずらし量を計算すると、最右視点に対応する描画位置ずらし量は＋４、右視点に対応する描画位置ずらし量は＋２、中央視点に対応する描画位置ずらし量は０、左視点に対応する描画位置ずらし量は−２、最左視点に対応する描画位置ずらし量は−４となる。
【００４６】
最右視点について考えると、描画位置ずらし量は＋４であるのでＰ１からレンズピッチ４つ分右側のピクセル即ちＰ５に属する領域に画像情報を設定する。立体視画像２４のうちＰ５に属する領域はＲＲ５，Ｒ５，Ｃ５，Ｌ５，ＬＬ５の五つのサブピクセルで構成されており、それぞれのサブピクセルが最右、右、中央、左、最左の視点に対応している。最右視点に対応するサブピクセルＲＲ５は青色のサブピクセルであるため、仮視点画像２２のピクセルＰ１の画像情報の中から青色要素ｂ１が立体視画像２４のサブピクセルＲＲ５に設定される。同様に、右視点についてＰ１からレンズピッチ２つ分右側のピクセルの、右視点に対応するサブピクセルＲ３に描画する。Ｒ３は青色のサブピクセルであるのでＰ１の青色要素ｂ１がサブピクセルＲ３に設定される。中央視点については描画位置ずらし量は０であるので、Ｐ１の中央視点に対応するサブピクセルＣ１に描画する。Ｃ１は青色のサブピクセルであるのでＰ１の青色要素ｂ１がサブピクセルＣ１に設定される。
【００４７】
ピクセルＰ１に基づいて、五つの視点に対応した画像を描画したならば、次にピクセルＰ２に付いて同様に５つの視点分の映像を描画する、同様にＰ３、Ｐ４と順次画面右方向に処理を続ける。
【００４８】
このように、順番に、立体視画像２４に値を設定していくと、立体視画像２４の一つのサブピクセルに対して設定処理が重複してしまう場合がある。例えば、図６に示す立体視画像２４のサブピクセルＲＲ２は、仮視点画像２２のピクセルＰ２に由来するｂ２と、仮視点画像２２のピクセルＰ４に由来するｂ４との２つの値が設定されうる。そのような場合には、より仮視点Ｖに近い（奥行情報２６が小さい）ピクセルに由来する値を設定するようにしなければならない。
【００４９】
仮視点Ｖよりも右側の視点から見た画像について考えると、より手前の（仮視点Ｖに近い）画像情報は左側にずれた位置に、より奥側のものは右側にずれた位置に描画される。つまり、立体視画像において同一点に設定されうる画像については、仮視点画像においてより右側に由来する画像情報が、奥行情報２６が小さいピクセルに由来する画像情報であるといえる。仮視点画像を左から右に走査する場合には、より手前の画像情報がより後から設定されることとなる。従って、仮視点Ｖよりも右側の視点（右視点２−４（Ｒ）、最右視点２−５（ＲＲ））に対応する立体視サブピクセルにおいて重複が発生した場合には、より後から設定された値をそのサブピクセルの値として上書き設定すれば、より手前の画像情報を採用し陰面消去することができる。
【００５０】
反対に、仮視点Ｖよりも左側の視点（左視点２−２（Ｌ）、最左視点２−１（ＬＬ））に対応する立体視サブピクセルにおいて、重複設定が発生した場合には、仮視点画像においてより左のピクセルに由来する値を設定することとすれば良い。そのため仮視点画像を左から右に走査する場合には、一旦値が設定された左視点、最左視点のサブピクセルには上書き設定しない。
【００５１】
例えば、図６において、サブピクセルＲＲ２（最右視点２−５に対応するサブピクセル）においては、一旦ピクセルＰ２に由来するｂ２が設定された後、ピクセルＰ４に由来するｂ４の値が上書き設定される。また、例えば、立体視サブピクセルＬＬ３（最左視点２−１に対応するサブピクセル）においては、ピクセルＰ３に由来するｂ３が設定された後、ピクセルＰ５の最左視点２−１に対応する描画先がＬＬ３であることが判明するが、先にｂ３が設定されているのでピクセルＰ５に由来するｂ５が上書きされることはなくｂ３が採用される。
【００５２】
この方法で、走査が完了しても立体視画像２４上に値が設定されない（欠落した）サブピクセルが発生する。図７はこの欠落部の補完に付いて説明する図である。２０−１ないし２０−５は、立体視画像２４からレンチキュラ板１００を通して表示した場合の各視点映像であり、２０−１は最左視点にて観察される映像、２０−２は左視点にて観察される映像、２０−３は中央視点にて観察される映像、２０−４は右視点にて観察される映像、２０−５は最右視点にて観察される映像を示している。
【００５３】
欠落したサブピクセルは、そのサブピクセルが属する視点映像において、欠落部分の両側の値の設定されたサブピクセルの内、より奥行情報２６の大きいピクセルの情報に従って補完する。奥行情報２６の大きいピクセルの映像で欠落部分を補完することにより、奥行情報２６の小さい（手前側にある）映像の輪郭を損なうことなく映像が補完される。
【００５４】
具体的には、仮視点Ｖよりも右側の視点（右視点２−４、最右視点２−５）に属するサブピクセルを補完する場合には、当該視点映像においてそのサブピクセルの右側の値の設定されたサブピクセルの内、最も近いサブピクセルに設定されている画像情報が属する仮視点画像のピクセルの画像情報で補完する。何故ならば、上述したように、仮視点Ｖよりも右側の視点から見た画像では、より手前のオブジェクトは、奥側のオブジェクトに対して左にずれる（奥側のものは、手前のものに対して右にずれる）ため、仮視点Ｖよりも右側の視点映像における欠落部の左のデータよりも右のデータの方が常に奥側のものとなるからである。同様に、仮視点Ｖよりも左側の視点（左視点２−２、最左視点２−１）に属するサブピクセルを補完する場合には、当該視点映像においてそのサブピクセルの左側の値の設定されたサブピクセルの内、最も近いサブピクセルに設定されている画像情報が属する仮視点画像のピクセルの画像情報で補完する。
【００５５】
例えば、図７において、前述の走査が完了した段階で値が設定されていないサブピクセルＲ４（右視点２−４に対応）を補完する場合を考える。右視点画像２０−４においてＲ４の右側で最も近い値の設定されているサブピクセルはサブピクセルＲ６である。従って、サブピクセルＲ４は、サブピクセルＲ６に設定されている値ｂ６が属するピクセルＰ６の緑要素ｇ６（サブピクセルＲ４は、緑色のサブピクセルであるため）の値で補完する。
【００５６】
しかしながら、図７に示すように、各視点映像における左右両端部に欠落が生じた場合には、その部分（例えば、右視点映像２０−４におけるサブピクセルＲ８、Ｒ９や、左視点画像２０−２におけるサブピクセルＬ１）の補完は行なえない。何故ならば、例えば、サブピクセルＲ８、Ｒ９などは、それよりも右側のデータがないためである。また、サブピクセルＲ１、Ｌ８、Ｌ９のような画面端部の補完は、仮視点画像の範囲外の情報の無い部分を補完することとなるので立体視映像において違和感が生じるおそれがある。この問題は、仮視点画像２２として立体視画像２４よりも左右に広い画像を描画しておくことで、左右両端部に欠落が生じないようにすることで解決できる。
【００５７】
上述したように、立体視画像２４を生成するために、複数の視点に対する画像を描画する必要がなく、１つの仮視点画像２２のみを描画すれば良いため、画像描画に係る処理負荷の軽減を図ることができる。そのため、ゲーム画像のようにリアルタイムに画像の生成、表示を行なわなければならない画像の立体視表示の実現が容易となる。また、複数の視点に対する画像を描画する必要がないため、それらの画像を記憶するためのメモリも必要なく、メモリ容量の少ない装置等においても立体視画像の生成・表示が実現できる。
【００５８】
次に、本実施の形態に係る機能を説明する。図８は、本実施の形態の機能ブロックの一例を示す図である。本実施の形態の機能ブロックは、操作部１０と、処理部２００と、表示部３０と、記憶部５００と、一時記憶部６００と、から構成される。
【００５９】
操作部１０は、プレーヤがゲームにおける各種操作指示入力するためのものであり操作部１０にて得られた操作データは処理部２００に出力される。
【００６０】
処理部２００は、操作部１０から入力される操作データに基づいてゲーム空間の設定を行なう処理、そのゲーム空間の立体視画像を生成し、一時記憶部６００に記憶させる処理、一時記憶部６００に記憶された立体視画像を所与のタイミングで表示部３０に表示させる処理等の処理を行なう。より具体的に説明すると、処理部２００は、主にゲーム演算部２１０、仮視点画像生成部２２０、立体視画像生成部２３０とから構成される。
【００６１】
ゲーム演算部２１０は、操作部データ及びゲームプログラム５０２に従って、ゲームを実行し、ゲーム空間における各種オブジェクトや、仮視点Ｖの配置等に係る処理等の処理を行なう。
【００６２】
仮視点画像生成部２２０は、仮視点Ｖから見た仮視点画像２２を描画する処理を行なう。そして、描画した仮視点画像２２を一時記憶部６００内の仮視点画像用ラインバッファ６０２に格納する。また、仮視点画像生成部２２０は、仮視点画像２２における各ピクセル毎の奥行情報（Ｚ座標値）２６を生成し、Ｚバッファ６０４に格納する。
【００６３】
立体視画像生成部２３０は、立体視画像生成プログラム５０４に従って、立体視画像２４を生成し、生成した立体視画像２４を立体視画像用ラインバッファ６０６に格納する。具体的には、立体視画像生成部２３０は、立体視を行なう際の複数の視点と仮視点Ｖとの位置関係及びＺバッファ６０４に格納された各ピクセル毎の奥行値に基づいて、仮視点画像用ラインバッファ６０２に格納された画像の仮視点画像情報中のサブピクセルの値を左から順に立体視画像情報に設定していく。
【００６４】
その際に、複数の値が重複設定されるサブピクセルには、仮視点画像において奥行値がより小さいピクセルに属する値を設定する。具体的には、例えば、仮視点Ｖより右側の視点に対応するサブピクセルの場合には、後から設定される値を常に上書きするようにし、仮視点Ｖよりも左側の視点に対応するサブピクセルの場合には、最先に設定された値を採用することとする。仮視点Ｖと一致する視点に対応するサブピクセルに関しては重複は発生しない。
【００６５】
また、立体視画像生成部２３０は、設定ピクセルデータ６０８を生成する。図９は設定ピクセルデータ６０８の一例を示す図である。同図に示すように、設定ピクセルデータ６０８には、立体視画像の各サブピクセルに対して、設定された値が仮視点画像のどのピクセルに由来するものであるかを示すピクセル番号が記録される。
【００６６】
さらに、立体視画像生成部２３０は、立体視画像情報の欠落した部分（値が設定されていないサブピクセル）を補完する処理を行う。具体的には、仮視点Ｖよりも右側の視点に（右視点２−４、最右視点２−５）に対するサブピクセルに値が設定されていない場合には、設定ピクセルデータ６０８を参照して、そのサブピクセルの右側で同一視点に対するピクセル番号の設定されたサブピクセルのうち、最も近い位置にあるサブピクセルに対するピクセル番号の示す仮視点画像のピクセルの値で補完する。
【００６７】
例えば、右視点２−４に対応するサブピクセルＲ４の値を補完する場合には、設定ピクセルデータ６０８において、サブピクセルＲ４よりも右側の右視点２−４に対応するサブピクセルは、Ｒ５・Ｒ６・Ｒ７・・・となっている。サブピクセルＲ４に近いサブピクセルからみていくと、最もサブピクセルＲ４に近いサブピクセルはサブピクセルＲ５であるが、サブピクセルＲ５には値が設定されていない。次のサブピクセルＲ６には値が設定されているので、Ｒ４の右側で右視点に対するサブピクセルのうちピクセル番号の設定された最もＲ４に近い位置にあるサブピクセルはＲ６ということになる。設定ピクセルデータ６０８において、サブピクセルＲ６に対して記憶されているピクセル番号はＰ６であるため、サブピクセルＲ４は仮視点画像のピクセルＰ６に属するサブピクセルの値で補完する。
【００６８】
逆に、仮視点Ｖよりも左側の視点（左視点２−２、最左視点２−１）に対するサブピクセルに値が設定されていない場合には、設定ピクセルデータ６０８において、該当するサブピクセルの左側で同一視点に対するピクセル番号の設定されているサブピクセルのうち、最も近い位置にあるサブピクセルに対するピクセル番号の示す仮視点画像のピクセルの値で補完する。仮視点Ｖと一致する視点に対応するサブピクセルに関しては欠落は発生しないので補完処理も発生しない。
【００６９】
上述した処理部２００の処理は、例えば、ＣＰＵ（ＣＩＳＣ型、ＲＩＳＣ型）、ＤＳＰ、ＡＳＩＣ（ゲートアレイ等）、メモリなどのハードウェアにより実現できる。
【００７０】
表示部３０は、例えば、ＴＦＴカラー液晶パネルのようなｒｇｂ縦ストライプの画素配列の液晶パネルにレンチキュラ板（微細な半円筒形のレンズアレイ）を備えた立体視映像表示装置であり、立体視画像生成部２３０の生成した画像（立体視画像用ラインバッファ６０６に格納された画像）を表示することによりレンチキュラ板を通してプレーヤに両眼視差を与える映像を見せ、ゲーム画像を立体視させる。
【００７１】
記憶部５００は、ゲームプログラム５０２、立体視画像生成プログラム５０４を記憶する。この記憶部５００の機能は、ＣＤ−ＲＯＭ、ゲームカセット、ＩＣカード、ＭＯ、ＦＤ、ＤＶＤ、ＲＯＭ・フラッシュメモリ等のメモリＩＣ、ハードディスクなどのハードウェアにより実現できる。
【００７２】
一時記憶部６００は、上述した仮視点画像２２を格納する仮視点画像用ラインバッファ６０２、仮視点画像２２の奥行情報を格納するＺバッファ６０４、立体視画像２４を格納する立体視画像用ラインバッファ６０６を含む。この一時記憶部６００の機能は、ＲＡＭやハードディスク等の書き込み可能のメモリなどのハードウェアにより実現できる。
【００７３】
次に本実施の形態における立体視画像生成処理に係る動作について図１０に示すフローチャートに基づいて説明する。なお、図１０では、１ライン分の立体視画像生成・表示に係る処理について説明する。
【００７４】
まず、仮視点画像生成部２２０は、ゲーム演算部２１０により設定されたゲーム空間を仮視点Ｖから見た仮視点画像２２を生成し（ステップＳ１）、その仮視点画像２２の各ピクセル毎の奥行情報を設定する（ステップＳ２）。そして、立体視画像生成部２３０が、仮視点画像情報中のサブピクセルの値を、当該サブピクセルの対応する視点と奥行情報とに応じてずらした位置の立体視画像情報に設定していく。即ち、立体視画像２４を生成する（ステップＳ３）。
【００７５】
次いで、立体視画像生成部２３０は、立体視画像２４において、立体視画像情報の値の設定されていないサブピクセルを補完する（ステップＳ４）。そして、レンチキュラ板を備えた表示部３０に立体視画像２４を表示して（ステップＳ５）、処理を終了する。このステップＳ１〜Ｓ５の処理を繰り返し行なうことにより、表示画面の全てのラインの立体視画像の生成表示が行なわれる。
【００７６】
次に、本実施の形態を実現できるハードウェア構成の一例について図１１を参照して説明する。同図に示す装置では、ＣＰＵ１０００、ＲＯＭ１００２、ＲＡＭ１００４、情報記憶媒体１００６、音生成ＩＣ１００８、画像生成部１０１０、Ｉ／Ｏポート１０１２、１０１４が、システムバス１０１６により相互にデータ入出力可能に接続されている。そして画像生成部１０１０には立体視映像表示装置１０１８が接続され、音生成ＩＣ１００８にはスピーカ１０２０が接続され、Ｉ／Ｏポート１０１２にはコントロール装置１０２２が接続され、Ｉ／Ｏポート１０１４には通信装置１０２４が接続されている。
【００７７】
情報記憶媒体１００６は、プログラム、表示物を表現するための画像データ、音データ、プレイデータ等が主に格納されるものであり、図８における記憶部５００に相当する。例えば本実施の形態を実現するものがコンピュータである場合には、ゲームプログラム等を格納する情報記憶媒体としてＣＤ−ＲＯＭ、ＤＶＤ等が、家庭用ゲーム装置である場合には、これらの他にゲームカセット等が用いられる。また業務用ゲーム装置として実現する場合には、ＲＯＭ等のメモリやハードディスクが用いられ、この場合には情報記憶媒体１００６とＲＯＭ１００２とは同一一体のものとして実現される。
【００７８】
コントロール装置１０２２はゲームコントローラ、操作パネル等に相当するものであり、プレーヤがゲームの進行に応じて行なう判断の結果を装置本体に入力するための装置である。図８に示す操作部１０がこれに相当する。
【００７９】
情報記憶媒体１００６に格納されるプログラム、ＲＯＭ１００２に格納されるシステムプログラム（装置本体の初期化情報等）、コントロール装置１０２２から入力される信号等に従って、ＣＰＵ１０００は装置全体の制御や各種データ処理を行う。ＲＡＭ１００４はこのＣＰＵ１０００の作業領域等として用いられる記憶手段であり、情報記憶媒体１００６やＲＯＭ１００２の所与の内容、あるいはＣＰＵ１０００の演算結果等が格納される。図８に示す一時記憶部６００がこれに相当する。また、処理の高速化の為、ＲＯＭ１００２や情報記憶媒体１００６の内容をＲＡＭ１００４に複写し、ＲＡＭ１００４が実質的に図８に示す記憶部５００として機能することとしてもよい。
【００８０】
更に、この装置には音生成ＩＣ１００８と画像生成部１０１０とが設けられていてゲーム音やゲーム画像の好適な出力が行えるようになっている。音生成ＩＣ１００８は情報記憶媒体１００６やＲＯＭ１００２に記憶される情報に基づいて効果音やＢＧＭ音楽等のゲーム音を生成する集積回路であり、生成されたゲーム音はスピーカ１０２０によって出力される。また画像生成部１０１０は、ＲＡＭ１００４、ＲＯＭ１００２、情報記憶媒体１００６、ＣＰＵ１０００等から送られる画像情報に基づいて立体視映像表示装置１０１８に出力するための画像情報を生成する集積回路であり、必要に応じてＡＳＩＣやＰＬＤ、ＤＳＰ、ＣＰＵ、メモリなどを含む回路として実現される。また、立体視映像表示装置１０１８は、ＬＣＤ等のディスプレイ及びレンチキュラ板またはパララックスバリア等の画像分離装置により実現される。
【００８１】
図１〜図９を参照して説明した種々の処理は、図１０のフローチャートに示した処理等を行うプログラムに従って動作するＣＰＵ１０００、画像生成部１０１０等によって実現される。これらの処理は、ＣＰＵ１０００によりソフトウェア的に行われるものとしてもよいし、描画機能、インターリーブ機能等を有する専用の回路として実現される画像生成部１０１０によってハードウェア的に実現されるものであってもよい。またＣＰＵ１０００と画像生成部１０１０が協働して実現するものであってもよい。
【００８２】
また、通信装置１０２４は装置内部で利用される各種情報を外部とやりとりするものであり、他の装置と接続されてゲームプログラムなどに応じた所与の情報を送受したり、通信回線を介してゲームプログラム等の情報を送受すること等に利用される。
【００８３】
図１２に、ホスト装置１３００と、このホスト装置１３００と通信回線１３０２を介して接続される端末１３０４−１〜１３０４−ｎとを含むゲーム装置に本実施の形態を適用した場合の例を示す。
【００８４】
この場合、ゲームプログラム５０２、及び立体視画像生成プログラム５０４は、例えば、ホスト装置１３００が制御可能な磁気ディスク装置、磁気テープ装置、メモリ等の情報記憶媒体１３０６に格納されている。端末１３０４−１〜１３０４−ｎが、ＣＰＵ、画像生成ＩＣ、音生成ＩＣを有し、スタンドアロンでゲーム画像、ゲーム音を生成できるものである場合には、ホスト装置１３００からは、ゲームプログラム５０２、及び立体視画像生成プログラム５０４等が通信回線１３０２を介して端末１３０４−１〜１３０４−ｎに配信される。一方、スタンドアロンで生成できない場合には、ホスト装置１３００がゲーム画像（立体視画像）、ゲーム音を生成し、これを端末１３０４−１〜１３０４−ｎに伝送し、端末において出力することになる。
【００８５】
また、例えば、仮視点画像２２、奥行情報データ２６がホスト装置から端末に送信され、この仮視点画像２２及び奥行情報データ２６に基づいて、端末側で立体視画像２４を生成、出力することとしても良い。その場合には、ホスト装置１３００の処理部がゲーム演算部２１０及び仮視点画像生成部２２０の処理を行ない、端末の処理部は、立体視画像生成部２３０の処理のみを行なうこととなる。この方法により、各視点に対応した画像情報をホストから送信する方法に比して少ない通信データ量で、立体視を実現する事ができる。
【００８６】
以上のように、本発明によれば、立体視画像２４を生成するために、それぞれの視点に対する画像を視点数分描画する必要がなく、１つの仮視点Ｖから見た画像のみを描画すれば良いため、画像描画に係る処理負荷の軽減を図ることができる。そのため、画像描画処理にかかる時間の短縮が可能となり、ゲーム画像のようにリアルタイムに画像の生成、表示を行なわなければならない画像の立体視表示の実現がより容易となる。また、複数の視点に対する画像を描画する必要がないため、それらの画像を記憶するためのメモリも必要ない。従って、メモリ容量の少ない装置や回路規模の小さい装置等においても立体視画像の生成・表示が実現できる。
【００８７】
なお、本発明は、上記実施の形態で説明したものに限らず、種々の変形実施が可能である。例えば、上記実施の形態においては、１ライン毎に仮視点画像２２及び立体視画像２４を生成することとしたが、１フレーム毎に仮視点画像２２及び立体視画像２４を生成することとしても良い。その場合には、一時記憶部６００には、仮視点画像２２、奥行情報データ２６、立体視画像２４を格納するためのフレームバッファが含まれることとなる。
【００８８】
また、上記実施の形態においては、ｒｇｂ縦ストライプ構成のカラー液晶ディスプレイに立体視画像を表示する場合を説明したが、本発明の適用は、これに限るものではなく、例えば、モノクロ（白黒）の液晶ディスプレイに表示する場合にも適用可能である。
【００８９】
また、上記実施の形態においては、５眼式立体視映像を表示するための立体視画像生成について、説明したが、本発明は、これに限るものではなく、例えば、２眼式、３眼式、４眼式であっても良く、更に、６眼式、７眼式、…、ｎ眼式の立体視映像に適用可能である。
【００９０】
また、上記実施の形態においては、奥行情報として視差情報を記憶することとしたが、他の奥行きを表わす数値を記憶することとし、その数値から描画位置ずらし量を計算によって算出し決定することとしても良い。
【００９１】
また、例えば、立体視画像において仮視点Ｖより右側の視点に対するサブピクセルの値を設定する場合には、仮視点画像２２を左らか右に走査し、仮視点Ｖより左側の視点に対するサブピクセルの値を設定する場合には、仮視点画像２２を右から左に走査し、どちらの場合も、一のサブピクセルに複数の値が重複して設定される場合には後から設定される値を上書きすることとしても良い。その場合にも、常に奥行値の小さい（仮視点Ｖに対してより手前）のものが採用されることとなる。
【００９２】
また、例えば、投影面４の位置（奥行値）を任意に変更可能としても良い。投影面４と等しい奥行値の画像は、視点に関わらず、ずらすことなく、立体視画像に設定される。即ち、投影面４の位置にあるオブジェクトは、どの視点から見ても同じ位置に見える。従って、プレーヤが両目で見た場合、よりはっきりと見えるため、例えば、ゲーム画像において、メインキャラクタの位置と等しい位置となるように投影面４の位置を変更すれば、メインキャラクタがゲーム空間を移動しても（メインキャラクタの設定される奥行値が変更しても）、常にメインキャラクタがはっきりとプレーヤに見えることになる。
【００９３】
また、立体視画像生成装置を、例えば、当該立体視画像生成装置外部からの、各画素毎の奥行情報を有する画像データの入力、或いは画像データと当該画像データの各画素毎の奥行情報の入力を可能に構成することにより、入力された画像に対して上述した処理を行うことで立体視画像を生成することとしても良い。
【００９４】
【発明の効果】
本発明によれば、ゲーム画像のように、リアルタイムに画像を描画、生成しなければならない場合等において、従来のように、視点数分の画像を描画する必要がなく、一の視点に対する画像のみを描画すれば良いため、視点数に関わらず、画像描画に係る処理負荷は、平面視画像を生成する場合と同等である。そのため、ゲーム画像の複数視点に対応する立体視映像表示が容易に実現できる。
【図面の簡単な説明】
【図１】ゲーム空間に配置されるオブジェクトと視点と投影面との関係の一例を示す図である。
【図２】仮視点画像の一例を示す図である。
【図３】仮視点画像の各ピクセルに対応する奥行値データの一例を示す図である。
【図４】立体視画像と各視点映像との関係を説明する図である。
【図５】仮視点Ｖ、右視点、左視点からみた画像の一例をそれぞれ示す図である。
【図６】立体視画像情報の設定の一例を説明する図である。
【図７】各視点視映像の一例を示す図である。
【図８】本実施の形態の機能ブロックの一例を示す図である。
【図９】設定ピクセルデータの一例を示す図である。
【図１０】本実施の形態における立体視画像生成処理の動作の一例を示すフローチャートである。
【図１１】本実施の形態を実現できるハードウェア構成の一例を示すブロック図である。
【図１２】ホスト装置と通信回線を介して接続されるゲーム端末に本実施の形態を適用した場合の一例を示す図である。
【符号の説明】
１０操作部
２００処理部
２１０ゲーム演算部
２２０仮視点画像生成部
２３０立体視画像生成部
３０表示部
５００記憶部
５０２ゲームプログラム
５０４立体視画像生成プログラム
６００一時記憶部
６０２仮視点画像用ラインバッファ
６０４Ｚバッファ
６０６立体視画像用ラインバッファ
６０８設定ピクセルデータ[0001]
BACKGROUND OF THE INVENTION
The present invention , Generate stereoscopic images Program to make The present invention relates to an information storage medium and a stereoscopic image generation apparatus.
[0002]
[Prior art]
Conventionally, a stereoscopic image display device that projects different images to the right and left eyes of an observer using a head-mounted display, a lenticular plate (lenticular lens), etc., and gives a stereoscopic image by giving binocular parallax. It has been known. In such a stereoscopic video display device using binocular parallax, the image on the display screen is a set of images corresponding to each viewpoint (hereinafter referred to as individual viewpoint images) or an image obtained by sampling and interleaving them. . (Hereinafter, a set of individual viewpoint images or an image obtained by interleaving them is referred to as a stereoscopic image.)
[0003]
In order to generate the stereoscopic image, in the conventional method, the individual viewpoint images are drawn for the number of viewpoints, and the stereoscopic image is generated based on the drawn individual viewpoint images.
[0004]
[Problems to be solved by the invention]
However, in the conventional method described above, since a plurality of individual viewpoint images must be generated, the processing related to image drawing is required several times as many viewpoints as compared with the case of generating a normal planar view image. That is, the processing load related to image drawing increases as compared with the number of viewpoints. Therefore, for example, it has been difficult to generate a stereoscopic image corresponding to a large number of viewpoints and display a stereoscopic video image, which must generate and display an image in real time within a given time. Also, since a plurality of individual viewpoint images must be stored, there is a problem that the memory capacity is required several times as many viewpoints.
[0005]
An object of the present invention is to realize a reduction in processing load and memory capacity related to stereoscopic image generation.
[0006]
[Means for Solving the Problems]
First According to the present invention, a provisional viewpoint (for example, FIG. 1) is used for an apparatus that generates a plurality of images corresponding to a plurality of viewpoints by calculation and control by a processor and generates a stereoscopic image using binocular parallax. Image information storage means (for example, the temporary viewpoint image line buffer 602 shown in FIG. 8) that stores image information for the temporary viewpoint V) and depth information for each pixel of the image for the one temporary viewpoint. Based on the depth information storage means (for example, the Z buffer 604 shown in FIG. 8), the positional relationship between the one temporary viewpoint and each of the plurality of viewpoints, and the depth information stored in the depth information storage means, A plurality of images corresponding to the plurality of viewpoints (may be the entire image or a target pixel portion of interleaving) may be generated from the pixel information of the image stored in the image information storage unit. And the stereoscopic image generating means for generating the stereoscopic image (e.g., stereoscopic image generation unit 230 shown in FIG. 8) is a stereoscopic image generation information to function as a.
[0007]
8th The present invention is a stereoscopic image generation device that generates a plurality of images corresponding to a plurality of viewpoints by calculation and control by a processor, and generates a stereoscopic image using binocular parallax. For example, image information storage means (for example, the temporary viewpoint image line buffer 602 shown in FIG. 8) for storing image information for the temporary viewpoint V shown in FIG. 1 and the depth for each pixel of the image for the one temporary viewpoint. Depth information storage means for storing information (for example, the Z buffer 604 shown in FIG. 8), the positional relationship between the one temporary viewpoint and each of the plurality of viewpoints, and the depth information stored in the depth information storage means On the basis of the pixel information of the image stored in the image information storage means, a plurality of images corresponding to the plurality of viewpoints (the entire image or the interleaved target pixel portion may be used). ) By generating comprises stereoscopic image generating means for generating the stereoscopic image (e.g., a stereoscopic image generating unit 230) shown in FIG. 8, the A stereoscopic image generation device .
[0008]
Here, the one temporary viewpoint may be one of a plurality of viewpoints, or may be a viewpoint different from the plurality of viewpoints.
[0009]
A pixel refers to a pixel or a subpixel in the embodiment.
[0010]
this First Or 8th According to the invention, when it is necessary to draw and generate an image in real time, such as a game image, it is not necessary to draw as many images as the number of viewpoints as in the prior art, and only an image for one viewpoint is used. Therefore, regardless of the number of viewpoints, the processing load related to image drawing is the same as that for generating a planar view image. Therefore, stereoscopic video display corresponding to a plurality of viewpoints of the game image can be easily realized.
[0011]
Also, As the second invention , Of the first invention In the stereoscopic image generation information, based on the positional relationship between each of the one temporary viewpoint and each of the plurality of viewpoints and the depth information stored in the depth information storage unit with respect to the stereoscopic image generation unit, By shifting the position where the pixel information of the image stored in the image information storage unit is set, the image for each of the plurality of viewpoints is set for each pixel, and functions to generate the stereoscopic image Information may be included.
[0012]
this Second According to the invention, a stereoscopic image including an image corresponding to each viewpoint can be easily obtained by setting the stored image information for one temporary viewpoint to the stereoscopic image while referring to the depth information and shifting the drawing position. Can be generated.
[0013]
Also, As a third invention, the first Or Second In the stereoscopic image generation information of the invention, when a portion in which pixel information is not set occurs in the stereoscopic image generation unit with respect to the stereoscopic image generation unit, based on pixel information around the portion, Information for functioning so as to complement the pixel information of the portion may be included.
[0014]
Here, when the pixel information is complemented with the pixel information around the portion where the pixel information is not set, the pixel information may be complemented with the pixel information on the back side with respect to one temporary viewpoint in the surrounding pixel information. On the contrary, it is good also as complementing with the pixel information near one temporary viewpoint.
[0015]
this Third According to this invention, the part where the pixel information is not set can be repaired more naturally by complementing the part where the pixel information is not set with the surrounding pixel information.
[0016]
Also, As the fourth invention , First From Third One of of In the stereoscopic image generation information of the invention, when a portion in which the pixel information is redundantly set occurs in the stereoscopic image to the stereoscopic image generation unit, the depth of the redundantly set pixel information The information may include information for causing the pixel information closer to the one temporary viewpoint to function preferentially.
[0017]
this 4th According to this invention, since the pixel information closer to the provisional viewpoint is preferentially set, it is possible to generate a stereoscopic image with hidden surface removal without contradiction.
[0018]
Also, As a fifth invention, the first From 4th One of of In the stereoscopic image generation information of the invention, information for causing the device to function as a reference depth setting unit for setting a reference depth value, and the stereoscopic image generation unit, the one temporary viewpoint And the positional relationship of each of the plurality of viewpoints, the depth value set by the reference depth setting unit, and the depth information stored in the depth information storage unit, the image stored in the image information storage unit Information for functioning to shift the position where the pixel information is set may be included.
[0019]
this 5th According to this invention, for example, the pixel information may be set so as to be greatly shifted as the difference between the reference depth value and the stored depth information increases. In that case, the pixel information of the reference depth value is set without shifting regardless of the positional relationship between one temporary viewpoint and each of the plurality of viewpoints. That is, the reference depth value can be used as a gazing point, and the gazing point can be arbitrarily changed.
[0020]
For example, the depth information set for the pixel at the center of the image for one temporary viewpoint may be used as a reference depth value. In that case, the center of the stereoscopic video image can always be focused. Further, when a game image is generated as a stereoscopic image, for example, if the position of the main character is set as a reference depth value, the main character is always displayed in the same manner as the left and right eyes of the player. In a stereoscopic image, it can be shown more clearly (as if it is in focus).
[0021]
Furthermore, in this case 6th Invention As , First From 5th One of Of the invention The stereoscopic image generation information may include information that causes the stereoscopic image generation unit to function so as to generate a stereoscopic image obtained by interleaving a plurality of images corresponding to the plurality of viewpoints.
[0022]
this 6th According to this invention, since a stereoscopic image corresponding to a plurality of viewpoints can be generated from only an image corresponding to one temporary viewpoint, there is no need to store an image corresponding to each viewpoint. Therefore, even if the number of viewpoints increases, it is not necessary to increase the memory capacity, and even in an apparatus with a small memory capacity (small circuit scale), it is possible to generate stereoscopic images (display stereoscopic images) for many viewpoints. .
[0023]
Also, 7th Invention As , First From 4th One of Invention An information storage medium for storing the stereoscopic image generation information may be realized.
[0024]
Also, 9th Invention As , Of the eighth invention The stereoscopic image generation apparatus may include an input unit that inputs image information for the one temporary viewpoint and the depth information.
[0025]
this 9th According to the invention, for example, by inputting image data having depth information for each pixel from the outside of the stereoscopic image generation apparatus, or by inputting image data together with depth information for each pixel, An image can be generated. By this method, stereoscopic vision can be realized with a smaller amount of input data compared to a method of individually inputting an image corresponding to each viewpoint. Further, it is not necessary to prepare as many drawing apparatuses as the number of viewpoints, and stereoscopic viewing can be realized with one drawing apparatus.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below with reference to the drawings. In the following, a case where the present invention is applied to a game image and displayed as a stereoscopic video image on a game device or the like will be described as an example, but the application of the present invention is not limited to this.
[0027]
First, the principle of the present invention will be described with reference to FIGS. Hereinafter, in the present embodiment, a case where a five-eye stereoscopic image is generated by performing interleaving for each sub-pixel (each rgb constituting the pixel) will be described.
[0028]
FIG. 1 shows objects 6-1 to -3 arranged in the game space and viewpoints (leftmost viewpoint 2-1, left viewpoint 2-2, central viewpoint 2-3, right viewpoint 2-4, leftmost viewpoint 2-5. ) And the projection plane 4. In the past, five individual viewpoint images were generated (drawn) from the five viewpoints, each viewing the game space. However, in the present invention, the game space is assumed to be the temporary viewpoint V (here, the central viewpoint 2-3 is assumed temporarily). Only an image viewed from the viewpoint V) (hereinafter referred to as a temporary viewpoint image) is generated. Also, a depth value (Z coordinate) for each pixel of the temporary viewpoint image is calculated. Here, the Z-axis is an axis extending in the line-of-sight direction of the temporary viewpoint V as shown in FIG. 1, and the temporary viewpoint V is set to Z = 0.
[0029]
The drawing position shift amount d for each pixel, which will be described later, is a function of the depth value Z, and is approximately d = a / z1−a / Z (z1 is the depth value of the projection plane, and a is a constant that determines the intensity of parallax). As required. In the present embodiment, the value obtained by rounding d to an integer is called “parallax information” and stored as depth information.
[0030]
FIG. 2 is a diagram showing an example of the temporary viewpoint image 22 of one line. As shown in FIG. 2, the temporary viewpoint image 22 is generated for each line (a horizontal row of pixels arranged on the display screen). Here, in order to further simplify the description, one line is assumed to be 10 pixels, and each pixel will be described as an rgb vertical stripe configuration. In FIG. 2, the colors of the object 6-1 shown in FIG. 1 are set for the pixels P1, P8, P9, and P10, and the color of the object 6-2 is set for the pixels P2, P3, P6, and P7. The case where the color of the object 6-3 is set is shown in the pixels P4 and P5.
[0031]
FIG. 3 is a diagram illustrating an example of parallax information (depth information 26) corresponding to each pixel of the temporary viewpoint image 22. Here, the parallax information sets the position of the projection plane 4 to “0”, and takes a larger value on the far side (away from the temporary viewpoint V), and a smaller value (minus minus) on the near side (closer to the temporary viewpoint V). Value).
[0032]
Then, based on the parallax information shown in FIG. 3, the value of the luminance information (temporary viewpoint image information) for each sub-pixel of the temporary viewpoint image 22 shown in FIG. 2 is image information (stereoscopic image information) of the stereoscopic image. Set to.
[0033]
Here, the relationship between the stereoscopic image and each viewpoint video will be described with reference to FIG. As shown in FIG. 4A, the corresponding viewpoints are sequentially assigned to the sub-pixels of the stereoscopic image 24, and the corresponding viewpoints are respectively assigned by the lenticular lenses 100-1 to 100-6 of the lenticular plate 100. Will only be visible. For example, the subpixels RR1 to RR6 are subpixels associated with the rightmost viewpoint 2-5. That is, as shown in FIG. 4B, the video composed of the subpixels RR1 to RR6 is a video (rightmost viewpoint video) 20-5 that can be seen at the rightmost viewpoint 2-5.
[0034]
Similarly, the subpixels R1 to R6 of the stereoscopic image information are subpixels corresponding to the right viewpoint 2-4, and become the right viewpoint video 20-4. The subpixels C1 to C6 are subpixels corresponding to the central viewpoint 2-3, and are the central viewpoint video 20-3. The sub-pixels L1 to L6 are sub-pixels corresponding to the left viewpoint 2-2 and become the left viewpoint video 20-2. The subpixels LL1 to LL6 are subpixels corresponding to the leftmost viewpoint 2-1 and are the leftmost viewpoint video 20-1.
[0035]
In addition, in order to obtain a stereoscopic effect when the player views the video of each viewpoint with both eyes, the video of each viewpoint is different from each other in consideration of binocular parallax (shifted according to parallax information). Must. That is, each viewpoint video (the rightmost viewpoint video 20-5, the right viewpoint video 20-4, the central viewpoint video 20-3, the left viewpoint video 20-2, and the leftmost viewpoint video 20-1) is different from each other. In addition, the temporary viewpoint image information must be set as stereoscopic image information by shifting the position according to the parallax information.
[0036]
Here, in the present embodiment, images of the respective viewpoints are not individually generated, but for example, consider an image (FIG. 5C) viewed from the right viewpoint 2-4 shown in FIG. When viewed from the right viewpoint 2-4, the object 6-2 on the projection plane 4 appears at the same position as viewed from the temporary viewpoint V. That is, the image viewed from the right viewpoint 2-4 shown in FIG. 5C is drawn at the same position as the temporary viewpoint image (FIG. 5A). However, the object 6-1 behind the projection plane 4 with respect to the temporary viewpoint V appears to be shifted to the right when viewed from the right viewpoint 2-4 than when viewed from the temporary viewpoint V. That is, the image viewed from the right viewpoint 2-4 shown in FIG. 5C is drawn at a position shifted to the right from the position in the temporary viewpoint image (FIG. 5A). Also, the object 6-3 on the near side of the projection plane 4 appears to be shifted to the left when viewed from the right viewpoint 2-4 than when viewed from the temporary viewpoint V. That is, in the image viewed from the right viewpoint 2-4 shown in FIG. 5C, the image should be drawn at a position shifted to the left from the position in the temporary viewpoint image.
[0037]
Conversely, considering the image viewed from the left viewpoint 2-2 (FIG. 5B), the object 6-1 on the back side of the projection plane 4 with respect to the temporary viewpoint V is the temporary viewpoint image (FIG. Drawing is performed at a position shifted to the left from the position in a)). Further, the object 6-3 on the near side of the projection plane 4 is drawn at a position shifted to the right from the position in the temporary viewpoint image.
[0038]
Further, the image viewed from the rightmost viewpoint 2-5 has a larger amount of deviation than the image viewed from the right viewpoint 2-4. Similarly, the image viewed from the leftmost viewpoint 2-1 has a larger amount of deviation than the image viewed from the left viewpoint 2-2.
[0039]
Therefore, when setting the value of a certain subpixel in the temporary viewpoint image information to the stereoscopic image information, when setting a value to a subpixel corresponding to a viewpoint on the right side of the temporary viewpoint V, the subpixel If the parallax information corresponding to the pixel is a value larger than “0” (if it is behind the projection plane 4), the stereoscopic image information is shifted to the right from the position in the temporary viewpoint image of the subpixel. Set the value.
[0040]
Conversely, if the parallax information corresponding to the subpixel is a value smaller than “0”, the value is set at a position shifted to the left in the stereoscopic image information. If the parallax information is “0”, the position is set without shifting. Also, when setting the value of the subpixel corresponding to the rightmost viewpoint 2-5, the amount by which the position where the value is set is shifted is larger than when setting the value of the subpixel corresponding to the right viewpoint 2-4. Enlarge.
[0041]
Similarly, when setting a value for stereoscopic image information corresponding to a viewpoint on the left side of the temporary viewpoint V, if the parallax information stored corresponding to the subpixel is a value greater than “0”, In the stereoscopic image information, a value is set to a position shifted to the left from the position in the temporary viewpoint image of the subpixel, and if the parallax information corresponding to the subpixel is a value smaller than “0”, the value is shifted to the right. Set the value at the specified position. Further, when setting the value of the subpixel corresponding to the leftmost viewpoint 2-1, the amount by which the position where the value is set is shifted is larger than when setting the value of the subpixel corresponding to the left viewpoint 2-2. Enlarge. That is, the drawing position shift amount d is calculated as a value proportional to the product of the distance from the temporary viewpoint of the corresponding viewpoint and the parallax information, for example, with the right direction on the screen being positive.
[0042]
Further, a method for generating the stereoscopic image 24 based on the temporary viewpoint image 22 and the parallax information (depth information 26) will be described with reference to FIGS. In FIG. 6, direct sampling (without performing a luminance blend calculation or the like, the corresponding pixel of the generated image (stereoscopic image 24) is selected for a specific pixel in the original image (temporary viewpoint image 22), and the original image It is a figure explaining taking as an example the case where sampling and an interleaving are performed by the method of using the value of the luminance information of the said specific pixel of the said specific pixel as the value of the luminance information of the said selection pixel on a generation image. The present invention can be realized by other sampling methods, and the sampling method is not limited. In the present embodiment, the parallax information (depth information 26) includes, for each pixel of the temporary viewpoint image 22, the drawing position shift amount d in the right direction of the screen at the set position corresponding to the right viewpoint 2-4 of the pixel. The pixel width is expressed in units, and the pixel width of the temporary viewpoint image 22 is assumed to be equal to the width (lens pitch) of the lenticular lens. The pixels of the temporary viewpoint image 22 are not limited to those equal to the width (lens pitch) of the lenticular lens.
[0043]
First, the setting position of the image information of the stereoscopic image corresponding to each of the five viewpoints is determined for one pixel of the temporary viewpoint image 22. In the present embodiment, the temporary viewpoint V and the central viewpoint 2-3 are the same viewpoint, and the viewpoints are arranged at equal intervals. Therefore, the drawing position shift amount corresponding to each viewpoint for one pixel of the temporary viewpoint image is the drawing position shift amount corresponding to the rightmost viewpoint 2-5 (RR) being twice the value of the parallax information, and the right viewpoint. The drawing position shift amount corresponding to 2-4 (R) is the value of the parallax information, the drawing position shift amount corresponding to the left viewpoint 2-2 (L) is −1 times the value of the parallax information, and the leftmost viewpoint 2-1. The drawing position shift amount corresponding to (LL) is calculated as -2 times the value of the parallax information. The drawing position shift amount corresponding to the central viewpoint 2-3 (C) is always zero.
[0044]
On the stereoscopic image, subpixels corresponding to each viewpoint are arranged in the order of RR, R, C, L, and LL, and 5 corresponding to each viewpoint is provided in an area corresponding to one pixel of the temporary viewpoint image 22. Contains two subpixels. Since the drawing position is determined corresponding to the viewpoint, a subpixel corresponding to the viewpoint is further determined from the subpixels belonging to the drawing position. Depending on whether the determined sub-pixel is a red (r), green (g), or blue (b) color sub-pixel, the color element constituting the pixel of the original temporary viewpoint image Luminance information is set to the determined sub-pixel.
[0045]
In FIG. 6, scanning is performed in the direction of the thick arrow in the figure (information of the temporary viewpoint image 22 is set in the stereoscopic image 24 in order from left to right). That is, first, consider P1 which is the leftmost pixel of the temporary viewpoint image 22. The disparity information of the pixel P1 is “+2”. When the shift amount of the drawing position for each viewpoint is calculated based on this parallax information, the drawing position shift amount corresponding to the rightmost viewpoint is +4, the drawing position shift amount corresponding to the right viewpoint is +2, and the drawing position corresponding to the central viewpoint The shift amount is 0, the drawing position shift amount corresponding to the left viewpoint is -2, and the drawing position shift amount corresponding to the leftmost viewpoint is -4.
[0046]
Considering the rightmost viewpoint, since the drawing position shift amount is +4, image information is set in a pixel belonging to the right side of P1 by four lens pitches, that is, an area belonging to P5. The region belonging to P5 in the stereoscopic image 24 is composed of five subpixels RR5, R5, C5, L5, and LL5, and each subpixel has the rightmost, right, center, left, and leftmost viewpoints. It corresponds. Since the subpixel RR5 corresponding to the rightmost viewpoint is a blue subpixel, the blue element b1 is set as the subpixel RR5 of the stereoscopic image 24 from the image information of the pixel P1 of the temporary viewpoint image 22. Similarly, the drawing is performed on the sub-pixel R3 corresponding to the right viewpoint of the pixel on the right side of P1 from the right viewpoint by two lens pitches. Since R3 is a blue subpixel, the blue element b1 of P1 is set to the subpixel R3. Since the drawing position shift amount is 0 for the central viewpoint, drawing is performed on the sub-pixel C1 corresponding to the central viewpoint of P1. Since C1 is a blue subpixel, the blue element b1 of P1 is set to the subpixel C1.
[0047]
If an image corresponding to five viewpoints is drawn on the basis of the pixel P1, next, images for the five viewpoints are similarly drawn on the pixel P2. Similarly, P3 and P4 are sequentially processed in the right direction on the screen. Continue.
[0048]
As described above, when values are sequentially set in the stereoscopic image 24, the setting process may overlap for one subpixel of the stereoscopic image 24. For example, the subpixel RR2 of the stereoscopic image 24 shown in FIG. 6 can be set to two values, b2 derived from the pixel P2 of the temporary viewpoint image 22 and b4 derived from the pixel P4 of the temporary viewpoint image 22. In such a case, a value derived from a pixel closer to the temporary viewpoint V (the depth information 26 is small) must be set.
[0049]
Considering an image viewed from the viewpoint on the right side of the temporary viewpoint V, the image information on the near side (close to the temporary viewpoint V) is drawn at a position shifted to the left side, and the image information at the back side is drawn at a position shifted to the right side. The That is, for images that can be set at the same point in the stereoscopic image, it can be said that the image information derived from the right side in the temporary viewpoint image is image information derived from the pixels having the small depth information 26. When the temporary viewpoint image is scanned from the left to the right, the nearer image information is set later. Therefore, when an overlap occurs in the stereoscopic subpixel corresponding to the viewpoint on the right side of the temporary viewpoint V (the right viewpoint 2-4 (R), the rightmost viewpoint 2-5 (RR)), the setting is made later. If the set value is overwritten as the value of the sub-pixel, the hidden image can be erased by using the previous image information.
[0050]
On the other hand, if an overlap setting occurs in the stereoscopic subpixel corresponding to the viewpoint on the left side of the temporary viewpoint V (left viewpoint 2-2 (L), leftmost viewpoint 2-1 (LL)), A value derived from the left pixel in the viewpoint image may be set. Therefore, when the temporary viewpoint image is scanned from left to right, it is not overwritten on the subpixels of the left viewpoint and the leftmost viewpoint once set.
[0051]
For example, in FIG. 6, in sub-pixel RR2 (sub-pixel corresponding to rightmost viewpoint 2-5), b2 derived from pixel P2 is once set, and then the value of b4 derived from pixel P4 is overwritten. The Also, for example, in the stereoscopic subpixel LL3 (subpixel corresponding to the leftmost viewpoint 2-1), after b3 derived from the pixel P3 is set, the rendering corresponding to the leftmost viewpoint 2-1 of the pixel P5 It turns out that the destination is LL3. However, since b3 is set first, b5 derived from the pixel P5 is not overwritten and b3 is adopted.
[0052]
With this method, even if scanning is completed, subpixels whose values are not set (missed) are generated on the stereoscopic image 24. FIG. 7 is a diagram for explaining the complement of the missing portion. Reference numerals 20-1 to 20-5 denote viewpoint images when the stereoscopic image 24 is displayed through the lenticular plate 100, 20-1 is an image observed at the leftmost viewpoint, and 20-2 is a left viewpoint. An observed image, 20-3 indicates an image observed at the central viewpoint, 20-4 indicates an image observed at the right viewpoint, and 20-5 indicates an image observed at the rightmost viewpoint.
[0053]
The missing subpixel is complemented in accordance with the information of the pixel having the larger depth information 26 among the subpixels having values set on both sides of the missing portion in the viewpoint video to which the subpixel belongs. By supplementing the missing portion with the image of the pixel having the large depth information 26, the image is complemented without impairing the outline of the image having the small depth information 26 (on the near side).
[0054]
Specifically, when complementing a subpixel belonging to a viewpoint on the right side of the temporary viewpoint V (right viewpoint 2-4, rightmost viewpoint 2-5), the value of the right side of the subpixel in the viewpoint video is set. It complements with the image information of the pixel of the temporary viewpoint image to which the image information set to the nearest subpixel among the set subpixels belongs. This is because, as described above, in the image viewed from the viewpoint on the right side of the temporary viewpoint V, the object in the front is shifted to the left with respect to the object in the back (the object in the back is the object in the front. This is because the data on the right side is always on the far side rather than the data on the left side of the missing portion in the viewpoint video on the right side of the temporary viewpoint V). Similarly, when subpixels belonging to the left viewpoint (left viewpoint 2-2, leftmost viewpoint 2-1) of the temporary viewpoint V are complemented, the value on the left side of the subpixel is set in the viewpoint video. Of the subpixels, the pixel information of the temporary viewpoint image to which the image information set to the nearest subpixel belongs is supplemented.
[0055]
For example, in FIG. 7, a case is considered in which a subpixel R4 (corresponding to the right viewpoint 2-4) for which a value has not been set when the above-described scanning is completed is complemented. In the right viewpoint image 20-4, the subpixel having the closest value on the right side of R4 is the subpixel R6. Therefore, the subpixel R4 is complemented with the value of the green element g6 of the pixel P6 to which the value b6 set to the subpixel R6 belongs (because the subpixel R4 is a green subpixel).
[0056]
However, as shown in FIG. 7, when the left and right ends of each viewpoint video are missing, that portion (for example, sub-pixels R8 and R9 in the right viewpoint video 20-4 or the left viewpoint image 20-2). The sub-pixel L1) cannot be complemented. This is because, for example, subpixels R8 and R9 do not have data on the right side. In addition, the complement of the screen edge such as the subpixels R1, L8, and L9 complements a portion having no information outside the range of the temporary viewpoint image, and thus there is a possibility that a sense of incongruity may occur in the stereoscopic video. This problem can be solved by drawing an image wider on the left and right sides than the stereoscopic image 24 as the provisional viewpoint image 22 so that the left and right ends are not missing.
[0057]
As described above, in order to generate the stereoscopic image 24, it is not necessary to draw images for a plurality of viewpoints, and only one temporary viewpoint image 22 needs to be drawn. Therefore, the processing load related to image drawing can be reduced. You can plan. Therefore, it is easy to realize stereoscopic display of an image that must be generated and displayed in real time like a game image. Further, since it is not necessary to draw images for a plurality of viewpoints, a memory for storing these images is not necessary, and a stereoscopic image can be generated and displayed even in an apparatus having a small memory capacity.
[0058]
Next, functions according to the present embodiment will be described. FIG. 8 is a diagram illustrating an example of functional blocks of the present embodiment. The functional block according to the present embodiment includes an operation unit 10, a processing unit 200, a display unit 30, a storage unit 500, and a temporary storage unit 600.
[0059]
The operation unit 10 is for a player to input various operation instructions in the game, and operation data obtained by the operation unit 10 is output to the processing unit 200.
[0060]
The processing unit 200 performs processing for setting a game space based on operation data input from the operation unit 10, processing for generating a stereoscopic image of the game space, and storing the stereoscopic image in the temporary storage unit 600. Processing such as processing for displaying the stored stereoscopic image on the display unit 30 at a given timing is performed. More specifically, the processing unit 200 mainly includes a game calculation unit 210, a temporary viewpoint image generation unit 220, and a stereoscopic image generation unit 230.
[0061]
The game calculation unit 210 executes the game according to the operation unit data and the game program 502, and performs processing such as processing related to various objects in the game space, provisional viewpoint V arrangement, and the like.
[0062]
The temporary viewpoint image generation unit 220 performs a process of drawing the temporary viewpoint image 22 viewed from the temporary viewpoint V. The rendered temporary viewpoint image 22 is stored in the temporary viewpoint image line buffer 602 in the temporary storage unit 600. The temporary viewpoint image generation unit 220 generates depth information (Z coordinate value) 26 for each pixel in the temporary viewpoint image 22 and stores the generated depth information (Z coordinate value) 26 in the Z buffer 604.
[0063]
The stereoscopic image generation unit 230 generates the stereoscopic image 24 according to the stereoscopic image generation program 504, and stores the generated stereoscopic image 24 in the stereoscopic image line buffer 606. Specifically, the stereoscopic image generation unit 230 determines the temporary viewpoint based on the positional relationship between the multiple viewpoints and the temporary viewpoint V when performing stereoscopic viewing and the depth value for each pixel stored in the Z buffer 604. The values of the subpixels in the temporary viewpoint image information of the image stored in the image line buffer 602 are set in the stereoscopic image information in order from the left.
[0064]
At this time, a value belonging to a pixel having a smaller depth value in the temporary viewpoint image is set to the subpixel in which a plurality of values are set to be overlapped. Specifically, for example, in the case of a subpixel corresponding to a viewpoint on the right side of the temporary viewpoint V, a value set later is always overwritten, and a subpixel corresponding to a viewpoint on the left side of the temporary viewpoint V is set. In the case of, the value set first is adopted. Overlap does not occur for subpixels corresponding to viewpoints that coincide with the provisional viewpoint V.
[0065]
In addition, the stereoscopic image generation unit 230 generates setting pixel data 608. FIG. 9 is a diagram illustrating an example of the setting pixel data 608. As shown in the figure, in the set pixel data 608, for each sub-pixel of the stereoscopic image, a pixel number indicating which pixel of the provisional viewpoint image the set value is derived from is recorded. The
[0066]
Furthermore, the stereoscopic image generation unit 230 performs a process of complementing the missing portion (subpixels for which no value is set) of the stereoscopic image information. Specifically, if no value is set for the sub-pixel for the right-side viewpoint (right viewpoint 2-4, rightmost viewpoint 2-5) from the temporary viewpoint V, the set pixel data 608 is referred to. The pixel value of the temporary viewpoint image indicated by the pixel number corresponding to the closest subpixel among the subpixels having the pixel number for the same viewpoint on the right side of the subpixel is complemented.
[0067]
For example, when the value of the sub-pixel R4 corresponding to the right viewpoint 2-4 is complemented, the sub-pixel corresponding to the right viewpoint 2-4 on the right side of the sub-pixel R4 in the setting pixel data 608 is R5 · R6.・ R7 ... When viewed from a subpixel close to the subpixel R4, the subpixel closest to the subpixel R4 is the subpixel R5, but no value is set in the subpixel R5. Since a value is set for the next sub-pixel R6, the sub-pixel located closest to R4 with the pixel number set among the sub-pixels for the right viewpoint on the right side of R4 is R6. In the set pixel data 608, since the pixel number stored for the sub-pixel R6 is P6, the sub-pixel R4 is complemented with the value of the sub-pixel belonging to the pixel P6 of the temporary viewpoint image.
[0068]
On the other hand, when no value is set for the sub-pixels for the viewpoints on the left side of the temporary viewpoint V (the left viewpoint 2-2 and the leftmost viewpoint 2-1), in the setting pixel data 608, Of the sub-pixels set with the pixel number for the same viewpoint on the left side, the pixel value of the temporary viewpoint image indicated by the pixel number for the closest sub-pixel is complemented. As for the sub-pixel corresponding to the viewpoint that coincides with the temporary viewpoint V, no omission occurs, so that no complement processing occurs.
[0069]
The processing of the processing unit 200 described above can be realized by hardware such as a CPU (CISC type, RISC type), DSP, ASIC (gate array, etc.), and memory.
[0070]
The display unit 30 is a stereoscopic video display device including a lenticular plate (fine semi-cylindrical lens array) on a liquid crystal panel with a pixel arrangement of rgb vertical stripes such as a TFT color liquid crystal panel, and a stereoscopic image By displaying the image generated by the generation unit 230 (the image stored in the stereoscopic image line buffer 606), a video that gives binocular parallax to the player is shown through the lenticular plate, and the game image is stereoscopically viewed.
[0071]
The storage unit 500 stores a game program 502 and a stereoscopic image generation program 504. The functions of the storage unit 500 can be realized by hardware such as a CD-ROM, game cassette, IC card, MO, FD, DVD, memory IC such as ROM / flash memory, and hard disk.
[0072]
The temporary storage unit 600 includes a temporary viewpoint image line buffer 602 that stores the temporary viewpoint image 22 described above, a Z buffer 604 that stores depth information of the temporary viewpoint image 22, and a stereoscopic image line buffer that stores the stereoscopic image 24. 606. The function of the temporary storage unit 600 can be realized by hardware such as a writable memory such as a RAM or a hard disk.
[0073]
Next, operations related to the stereoscopic image generation processing in the present embodiment will be described based on the flowchart shown in FIG. In FIG. 10, a process related to the generation and display of a stereoscopic image for one line will be described.
[0074]
First, the temporary viewpoint image generation unit 220 generates a temporary viewpoint image 22 in which the game space set by the game calculation unit 210 is viewed from the temporary viewpoint V (step S1), and the depth of each pixel of the temporary viewpoint image 22 is determined. Information is set (step S2). Then, the stereoscopic image generation unit 230 sets the value of the subpixel in the temporary viewpoint image information to the stereoscopic image information at a position shifted according to the corresponding viewpoint and depth information of the subpixel. That is, the stereoscopic image 24 is generated (step S3).
[0075]
Next, the stereoscopic image generation unit 230 complements the subpixels in which the value of the stereoscopic image information is not set in the stereoscopic image 24 (step S4). And the stereoscopic image 24 is displayed on the display part 30 provided with the lenticular board (step S5), and a process is complete | finished. By repeating the processes of steps S1 to S5, the stereoscopic image of all lines on the display screen is generated and displayed.
[0076]
Next, an example of a hardware configuration capable of realizing the present embodiment will be described with reference to FIG. In the apparatus shown in the figure, a CPU 1000, a ROM 1002, a RAM 1004, an information storage medium 1006, a sound generation IC 1008, an image generation unit 1010, and I / O ports 1012, 1014 are connected to each other via a system bus 1016 so that data can be input and output. Yes. The image generation unit 1010 is connected to a stereoscopic video display device 1018, the sound generation IC 1008 is connected to a speaker 1020, the I / O port 1012 is connected to a control device 1022, and the I / O port 1014 is connected to communication. A device 1024 is connected.
[0077]
The information storage medium 1006 mainly stores programs, image data for expressing display objects, sound data, play data, and the like, and corresponds to the storage unit 500 in FIG. For example, when the computer realizing the present embodiment is a computer, a CD-ROM, DVD, or the like as an information storage medium for storing a game program or the like is a home game device. A cassette or the like is used. Further, when realized as an arcade game device, a memory such as a ROM or a hard disk is used. In this case, the information storage medium 1006 and the ROM 1002 are realized as the same unit.
[0078]
The control device 1022 corresponds to a game controller, an operation panel, or the like, and is a device for inputting a result of a determination made by the player in accordance with the progress of the game to the device main body. The operation unit 10 shown in FIG. 8 corresponds to this.
[0079]
In accordance with a program stored in the information storage medium 1006, a system program stored in the ROM 1002 (such as device initialization information), a signal input from the control device 1022, the CPU 1000 controls the entire device and performs various data processing. . The RAM 1004 is a storage means used as a work area of the CPU 1000 and stores the given contents of the information storage medium 1006 and the ROM 1002 or the calculation result of the CPU 1000. The temporary storage unit 600 shown in FIG. 8 corresponds to this. In order to increase the processing speed, the contents of the ROM 1002 and the information storage medium 1006 may be copied to the RAM 1004 so that the RAM 1004 substantially functions as the storage unit 500 shown in FIG.
[0080]
Furthermore, this apparatus is provided with a sound generation IC 1008 and an image generation unit 1010 so that game sounds and game images can be suitably output. The sound generation IC 1008 is an integrated circuit that generates game sounds such as sound effects and BGM music based on information stored in the information storage medium 1006 and the ROM 1002, and the generated game sounds are output by the speaker 1020. The image generation unit 1010 is an integrated circuit that generates image information to be output to the stereoscopic video display device 1018 based on image information sent from the RAM 1004, the ROM 1002, the information storage medium 1006, the CPU 1000, and the like. This is realized as a circuit including an ASIC, PLD, DSP, CPU, memory and the like. The stereoscopic video display device 1018 is realized by a display such as an LCD and an image separation device such as a lenticular plate or a parallax barrier.
[0081]
Various processes described with reference to FIGS. 1 to 9 are realized by the CPU 1000, the image generation unit 1010, and the like that operate in accordance with a program that performs the process shown in the flowchart of FIG. These processes may be performed in software by the CPU 1000, or may be realized in hardware by an image generation unit 1010 that is realized as a dedicated circuit having a drawing function, an interleave function, and the like. Good. Further, the CPU 1000 and the image generation unit 1010 may be realized in cooperation.
[0082]
The communication device 1024 exchanges various types of information used inside the device with the outside. The communication device 1024 is connected to other devices to send and receive given information according to game programs, etc., or via a communication line. It is used for sending and receiving information such as game programs.
[0083]
FIG. 12 shows an example in which the present embodiment is applied to a game apparatus including a host apparatus 1300 and terminals 1304-1 to 1304-n connected to the host apparatus 1300 via a communication line 1302.
[0084]
In this case, the game program 502 and the stereoscopic image generation program 504 are stored in an information storage medium 1306 such as a magnetic disk device, a magnetic tape device, or a memory that can be controlled by the host device 1300, for example. When the terminals 1304-1 to 1304-n have a CPU, an image generation IC, and a sound generation IC and can generate a game image and a game sound in a stand-alone manner, the game program 502, The stereoscopic image generation program 504 and the like are distributed to the terminals 1304-1 to 1304-n via the communication line 1302. On the other hand, if it cannot be generated stand-alone, the host device 1300 generates a game image (stereoscopic image) and game sound, transmits them to the terminals 1304-1 to 1304-n, and outputs them at the terminals.
[0085]
For example, the temporary viewpoint image 22 and the depth information data 26 are transmitted from the host device to the terminal, and the stereoscopic image 24 is generated and output on the terminal side based on the temporary viewpoint image 22 and the depth information data 26. Also good. In this case, the processing unit of the host device 1300 performs the processing of the game calculation unit 210 and the temporary viewpoint image generation unit 220, and the processing unit of the terminal performs only the processing of the stereoscopic image generation unit 230. By this method, stereoscopic vision can be realized with a smaller amount of communication data than a method of transmitting image information corresponding to each viewpoint from the host.
[0086]
As described above, according to the present invention, in order to generate the stereoscopic image 24, it is not necessary to draw as many images as the number of viewpoints for each viewpoint, and only an image viewed from one temporary viewpoint V is drawn. Therefore, the processing load related to image drawing can be reduced. Therefore, it is possible to reduce the time required for the image drawing process, and it becomes easier to realize stereoscopic display of an image that must be generated and displayed in real time like a game image. Further, since it is not necessary to draw images for a plurality of viewpoints, a memory for storing these images is also unnecessary. Accordingly, it is possible to generate and display a stereoscopic image even in a device having a small memory capacity or a device having a small circuit scale.
[0087]
The present invention is not limited to the one described in the above embodiment, and various modifications can be made. For example, in the above embodiment, the temporary viewpoint image 22 and the stereoscopic image 24 are generated for each line, but the temporary viewpoint image 22 and the stereoscopic image 24 may be generated for each frame. . In that case, the temporary storage unit 600 includes a frame buffer for storing the temporary viewpoint image 22, the depth information data 26, and the stereoscopic image 24.
[0088]
In the above embodiment, the case where a stereoscopic image is displayed on a color liquid crystal display having an rgb vertical stripe configuration has been described. However, the application of the present invention is not limited to this. For example, monochrome (monochrome) The present invention is also applicable when displaying on a liquid crystal display.
[0089]
In the above embodiment, the generation of a stereoscopic image for displaying a five-eye stereoscopic image has been described. However, the present invention is not limited to this, for example, a two-eye type, a three-eye type. It may be a four-eye type, and is applicable to a six-eye type, a seven-eye type,.
[0090]
In the above embodiment, parallax information is stored as depth information. However, a numerical value representing another depth is stored, and a drawing position shift amount is calculated and determined from the numerical value. Also good.
[0091]
Further, for example, when setting the value of the subpixel for the viewpoint on the right side of the temporary viewpoint V in the stereoscopic image, the temporary viewpoint image 22 is scanned from left to right and the subpixel for the viewpoint on the left side of the temporary viewpoint V is set. When the value of is set, the temporary viewpoint image 22 is scanned from right to left, and in both cases, when a plurality of values are set to overlap in one subpixel, the value set later May be overwritten. Even in such a case, the one having a small depth value (before the temporary viewpoint V) is always adopted.
[0092]
For example, the position (depth value) of the projection surface 4 may be arbitrarily changed. An image having a depth value equal to that of the projection plane 4 is set as a stereoscopic image without shifting regardless of the viewpoint. That is, the object at the position of the projection plane 4 appears at the same position from any viewpoint. Accordingly, since the player can see more clearly when viewing with both eyes, for example, if the position of the projection plane 4 is changed to be the same position as the position of the main character in the game image, the main character moves in the game space. Even if the depth value set for the main character is changed, the main character is always clearly visible to the player.
[0093]
In addition, the stereoscopic image generation apparatus can input, for example, image data having depth information for each pixel from the outside of the stereoscopic image generation apparatus, or input of depth information for each pixel of the image data and the image data. Therefore, it is possible to generate a stereoscopic image by performing the above-described processing on the input image.
[0094]
【The invention's effect】
According to the present invention, there is no need to draw as many images as the number of viewpoints as in the conventional case when images must be drawn and generated in real time, such as game images, and only images for one viewpoint are used. Therefore, regardless of the number of viewpoints, the processing load related to image drawing is the same as that for generating a planar view image. Therefore, stereoscopic video display corresponding to a plurality of viewpoints of the game image can be easily realized.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a relationship between an object arranged in a game space, a viewpoint, and a projection plane.
FIG. 2 is a diagram illustrating an example of a temporary viewpoint image.
FIG. 3 is a diagram illustrating an example of depth value data corresponding to each pixel of a temporary viewpoint image.
FIG. 4 is a diagram illustrating a relationship between a stereoscopic image and each viewpoint video.
FIG. 5 is a diagram illustrating an example of an image viewed from a temporary viewpoint V, a right viewpoint, and a left viewpoint.
FIG. 6 is a diagram illustrating an example of setting stereoscopic image information.
FIG. 7 is a diagram illustrating an example of each viewpoint view video.
FIG. 8 is a diagram illustrating an example of functional blocks according to the present embodiment;
FIG. 9 is a diagram illustrating an example of setting pixel data.
FIG. 10 is a flowchart illustrating an example of an operation of stereoscopic image generation processing in the present embodiment.
FIG. 11 is a block diagram illustrating an example of a hardware configuration that can implement the exemplary embodiment.
FIG. 12 is a diagram illustrating an example when the present embodiment is applied to a game terminal connected to a host device via a communication line.
[Explanation of symbols]
10 Operation part
200 processor
210 Game operation part
220 Temporary viewpoint image generator
230 Stereoscopic image generator
30 Display section
500 storage unit
502 Game program
504 Stereoscopic image generation program
600 Temporary storage
602 Temporary viewpoint image line buffer
604 Z buffer
606 Stereoscopic line buffer
608 Setting pixel data

Claims

  A program for causing a computer to generate images corresponding to each of a plurality of viewpoints arranged in the left-right direction in a virtual space, and to generate a stereoscopic image capable of stereoscopic viewing in the left-right direction using binocular parallax. There,
  As a temporary viewpoint image when the virtual space is viewed from one temporary viewpoint, an image larger than the stereoscopic image is generated while storing depth information from the temporary viewpoint for each pixel in the temporary viewpoint image in the Z buffer. Provisional viewpoint image generation means,
  Based on the positional relationship between the temporary viewpoint and each of the plurality of viewpoints and the depth information stored in the Z buffer, the plurality of viewpoints from the pixel information of the temporary viewpoint image generated by the temporary viewpoint image generation unit. Stereoscopic image generation means for generating the stereoscopic image by generating images corresponding to the respective images;
  As the computer functions as
  The stereoscopic image generation means complements the pixel information of the missing portion based on the pixel information around the missing portion when a missing portion where no pixel information is set occurs in the stereoscopic image. A program for causing the computer to function.

  The program according to claim 1,
  The temporary viewpoint image generation means generates an image having at least a lateral direction longer than the stereoscopic image as the temporary viewpoint image,
  If the viewpoint corresponding to the missing part is a viewpoint on the right side of the temporary viewpoint among the plurality of viewpoints, the stereoscopic image generating unit determines pixel information of the missing part from pixel information adjacent to the right side of the missing part. If the left viewpoint, the pixel information of the missing portion is complemented from the pixel information adjacent to the left side of the missing portion,
  Program for causing the computer to function.

  The program according to claim 1 or 2 is a game program for causing the computer to execute a game in which one character moves in the game space using the virtual space as a game space.
  Causing the computer to function as reference depth setting means for setting the reference of the depth value from the temporary viewpoint to the position of the one character moving in the game space;
  The stereoscopic image generating means causes the computer to function so as to generate the stereoscopic image with the reference depth value set by the reference depth setting means as a specified position of the depth in the stereoscopic image;
  Program for.

The computer-readable information storage medium which memorize | stored the program as described in any one of Claims 1-3.

  A stereoscopic image generation device that generates images corresponding to each of a plurality of viewpoints arranged in the left-right direction in a virtual space and generates a stereoscopic image that can be viewed in the left-right direction using binocular parallax. And
  As a temporary viewpoint image when the virtual space is viewed from one temporary viewpoint, an image larger than the stereoscopic image is generated while storing depth information from the temporary viewpoint for each pixel in the temporary viewpoint image in the Z buffer. Provisional viewpoint image generation means;
  Based on the positional relationship between the temporary viewpoint and each of the plurality of viewpoints and the depth information stored in the Z buffer, the plurality of viewpoints from the pixel information of the temporary viewpoint image generated by the temporary viewpoint image generation unit. Stereoscopic image generation means for generating the stereoscopic image by generating images corresponding to the respective images;
  With
  The stereoscopic image generation means supplements the pixel information of the missing portion based on the pixel information around the missing portion when a missing portion in which pixel information is not set in the stereoscopic image occurs.
  Stereoscopic image generation device.