JP4034964B2 - Program, information storage medium, and stereoscopic image generation apparatus - Google Patents
Program, information storage medium, and stereoscopic image generation apparatus Download PDFInfo
- Publication number
- JP4034964B2 JP4034964B2 JP2001397245A JP2001397245A JP4034964B2 JP 4034964 B2 JP4034964 B2 JP 4034964B2 JP 2001397245 A JP2001397245 A JP 2001397245A JP 2001397245 A JP2001397245 A JP 2001397245A JP 4034964 B2 JP4034964 B2 JP 4034964B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- stereoscopic image
- temporary
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、立体視画像を生成させるためのプログラム、情報記憶媒体、及び立体視画像生成装置に関する。
【0002】
【従来の技術】
従来、ヘッドマウントディスプレイやレンチキュラ板(レンチキュラレンズ)等を用いて、観察者の右目、左目にそれぞれ異なる映像を投影し、両眼視差を与えることにより立体視映像を感得せしめる立体視映像表示装置が知られている。このような両眼視差を利用した立体視映像表示装置において、表示画面の画像は、各視点に対応した画像(以下、個別視点画像という。)の組、あるいはそれらをサンプリング及びインターリーブした画像である。(以下、個別視点画像の組、またはそれらをインタリーブ処理した画像を立体視画像という。)
【0003】
この立体視画像を生成するために、従来の方式では、個別視点画像を視点数分描画し、その描画された複数の個別視点画像に基づいて、立体視画像を生成していた。
【0004】
【発明が解決しようとする課題】
しかしながら、上述した従来の方式では、複数の個別視点画像を生成しなければならないため、通常の平面視画像を生成する場合に比べると、画像描画に係る処理が視点数倍必要となる。即ち、視点数に比して画像の描画に係る処理負荷が増大する。従って、例えば、所与の時間内でリアルタイムに画像を生成、表示しなければならないゲーム画像を多数の視点に対応する立体視画像として生成し、立体視映像表示することは、困難であった。また、複数の個別視点画像を記憶しなければならないため、メモリ容量も視点数倍必要となるといった問題があった。
【0005】
本発明の課題は、立体視画像生成に係る処理負荷及びメモリ容量の軽減を実現することである。
【0006】
【課題を解決するための手段】
第1の発明は、プロセッサによる演算・制御により、複数の視点に対応した複数の画像を生成し、両眼視差を利用した立体視画像を生成する装置に対して、一の仮視点(例えば、図1に示す仮視点V)に対する画像情報を記憶する画像情報記憶手段(例えば、図8に示す仮視点画像用ラインバッファ602)と、前記一の仮視点に対する画像の、画素毎の奥行情報を記憶する奥行情報記憶手段(例えば、図8に示すZバッファ604)と、前記一の仮視点と前記複数の視点それぞれとの位置関係と、前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報から前記複数の視点に対応する複数の画像(画像全体であっても良いし、インターリーブの対象画素部分であってもよい。)を生成することにより、前記立体視画像を生成する立体視画像生成手段(例えば、図8に示す立体視画像生成部230)と、を機能させるための立体視画像生成情報である。
【0007】
第8の発明は、プロセッサによる演算・制御により、複数の視点に対応した複数の画像を生成し、両眼視差を利用した立体視画像を生成する立体視画像生成装置であって、一の仮視点(例えば、図1に示す仮視点V)に対する画像情報を記憶する画像情報記憶手段(例えば、図8に示す仮視点画像用ラインバッファ602)と、前記一の仮視点に対する画像の、画素毎の奥行情報を記憶する奥行情報記憶手段(例えば、図8に示すZバッファ604)と、前記一の仮視点と前記複数の視点それぞれとの位置関係と、前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報から前記複数の視点に対応する複数の画像(画像全体であっても良いし、インターリーブの対象画素部分であってもよい。)を生成することにより、前記立体視画像を生成する立体視画像生成手段(例えば、図8に示す立体視画像生成部230)と、を備える立体視画像生成装置である。
【0008】
ここで、一の仮視点は、複数の視点の内の一の視点であっても良く、また、複数の視点とは別の視点であっても良い。
【0009】
また、画素とは、実施の形態におけるピクセルまたはサブピクセルを指す。
【0010】
この第1または第8の発明によれば、ゲーム画像のように、リアルタイムに画像を描画、生成しなければならない場合等において、従来のように、視点数分の画像を描画する必要がなく、一の視点に対する画像のみを描画すれば良いため、視点数に関わらず、画像描画に係る処理負荷は、平面視画像を生成する場合と同等である。そのため、ゲーム画像の複数視点に対応する立体視映像表示が容易に実現できる。
【0011】
また、第2の発明として、第1の発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記一の仮視点と前記複数の視点それぞれとの位置関係と、前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報を設定する位置をずらすことにより、前記複数の視点それぞれに対する画像を画素毎に設定して、前記立体視画像を生成するように機能させるための情報を含むこととしてもよい。
【0012】
この第2の発明によれば、記憶された一の仮視点に対する画像情報を奥行情報を参照し描画位置をずらしながら立体視画像に設定することにより、簡便に各視点に対応した画像を含む立体視画像を生成することができる。
【0013】
また、第3の発明として、第1または第2の発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記立体視画像において、画素情報が設定されない部分が生じた場合には、その部分の周囲の画素情報に基づいて、その部分の画素情報を補完する、ように機能させるための情報を含むこととしても良い。
【0014】
ここで、画素情報が設定されない部分の周囲の画素情報で補完する際に、周囲の画素情報の内、一の仮視点に対して、より奥側の画素情報で補完することとしても良い。また、逆に、一の仮視点寄りの画素情報で補完することとしても良い。
【0015】
この第3の発明によれば、画素情報が設定されない部分を周囲の画素情報で補完することにより、画素情報が設定されない部分をより自然に繕うことができる。
【0016】
また、第4の発明として、第1から第3のいずれかの発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記立体視画像において、画素情報が重複設定される部分が生じた場合には、重複設定された画素情報の内、奥行情報がより前記一の仮視点寄りの画素情報を優先的に設定する、ように機能させるための情報を含むこととしても良い。
【0017】
この第4の発明によれば、より仮視点に近い画素情報が優先的に設定されるため、矛盾なく陰面消去された立体視画像を生成することができる。
【0018】
また、第5の発明として、第1から第4のいずれかの発明の立体視画像生成情報において、前記装置に対して、基準となる奥行値を設定する基準奥行設定手段を機能させるための情報と、前記立体視画像生成手段に対して、前記一の仮視点及び前記複数の視点それぞれの位置関係と、前記基準奥行設定手段により設定された奥行値及び前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報を設定する位置をずらすように機能させるための情報と、を含むこととしても良い。
【0019】
この第5の発明によれば、例えば、基準となる奥行値と、記憶された奥行情報との差が大きくなる程、画素情報を大きくずらして設定することとしても良い。その場合には、基準となる奥行値の画素情報は、一の仮視点及び前記複数の視点それぞれの位置関係に関わらず、ずらさずに設定される。即ち、基準となる奥行値を注視点とし、この注視点を任意に変更することができる。
【0020】
例えば、一の仮視点に対する画像の中心の画素に対して設定された奥行情報を基準となる奥行値とすることとしても良い。その場合には、立体視映像において常に中心に焦点が合っているようにすることができる。また、立体視画像としてゲーム画像を生成する場合には、例えば、メインキャラクタの位置を基準となる奥行値として設定するようにすれば、メインキャラクタは常にプレーヤの左右の目に同じように映るため、立体視映像において、よりはっきりと(焦点が合っているように)見せることができる。
【0021】
さらに、この場合、第6の発明として、第1から第5のいずれかの発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記複数の視点に対応する複数の画像をインターリーブした立体視画像を生成するように機能させる情報を含むこととしてもよい。
【0022】
この第6の発明によれば、一の仮視点に対する画像のみから、複数の視点に対応する立体視画像を生成することができるため、各視点に対する画像をそれぞれ記憶する必要がない。従って、視点数が増加しても、メモリ容量を増加させる必要がなく、メモリ容量の少ない(回路規模の小さい)装置においても多数視点に対する立体視画像の生成(立体視映像の表示)が実現できる。
【0023】
また、第7の発明として、第1から第4のいずれかの発明の立体視画像生成情報を記憶する情報記憶媒体を実現することとしてもよい。
【0024】
また、第9の発明として、第8の発明の立体視画像生成装置において、前記一の仮視点に対する画像情報と、前記奥行情報とを入力する入力手段を備えることとしてもよい。
【0025】
この第9の発明によれば、例えば、立体視画像生成装置外部から、各画素毎の奥行情報を有する画像データを入力することにより、或いは画像データを各画素毎の奥行情報とともに入力することにより、立体視画像を生成することができる。この方法により、各視点に対応した画像を個別に入力する方法に比して少ない入力データ量で、立体視を実現する事ができる。また、描画装置を視点の数だけ用意する必要がなく、一つの描画装置で立体視を実現できる。
【0026】
【発明の実施の形態】
以下、本発明の好適な実施形態について図面を参照して説明する。なお、以下では、ゲーム装置等においてゲーム画像に本発明を適用して立体視映像として表示する場合を例にとって説明するが、本発明の適用は、これに限るものではない。
【0027】
まず図1〜図6を参照して本発明の原理を説明する。以下、本実施の形態においては、サブピクセル(ピクセルを構成するrgbそれぞれ)毎にインターリーブを行なって5眼式立体視画像を生成する場合について説明する。
【0028】
図1は、ゲーム空間に配置されるオブジェクト6−1〜3と視点(最左視点2−1、左視点2−2、中央視点2−3、右視点2−4、最左視点2−5)と投影面4との関係の一例を示す図である。従来は、5つの視点からそれぞれゲーム空間を見た個別視点画像を5つ生成(描画)していたが、本発明においては、ゲーム空間を仮視点V(ここでは、中央視点2−3を仮視点Vとしている。)から見た画像(以下、仮視点画像という。)のみを生成する。また、仮視点画像の各ピクセルに対する奥行値(Z座標)を算出する。ここで、Z軸は、図1に示すように仮視点Vの視線方向に伸びる軸であり、仮視点VをZ=0としている。
【0029】
また、後述の各画素ごとの描画位置ずらし量dは奥行値Zの関数であり、概ねd=a/z1−a/Z(z1は投影面の奥行値、aは視差の強弱を決める定数)として求められる。本実施の形態においては、このdを四捨五入して整数化した値を「視差情報」と呼び奥行情報として記憶する。
【0030】
図2は、1ラインの仮視点画像22の一例を示す図である。図2に示すように、仮視点画像22は、1ライン(表示画面に配列されているピクセルの横一列)分ずつ生成される。ここでは、更に、説明を簡明にするため、1ラインを10ピクセルとし、各ピクセルは、rgb縦ストライプ構成として説明する。また、図2は、ピクセルP1、P8、P9、P10には、図1に示したオブジェクト6−1の色が設定され、ピクセルP2、P3、P6、P7には、オブジェクト6−2の色が設定され、ピクセルP4、P5には、オブジェクト6−3の色が設定されている場合を示している。
【0031】
また、図3は、仮視点画像22の各ピクセルに対応する視差情報(奥行情報26)の一例を示す図である。ここで、視差情報は投影面4の位置を"0"とし、それよりも奥側(仮視点Vから離れる)程、大きい値とし、手前(仮視点Vに近づく)程、小さい値(マイナスの値)となっている。
【0032】
そして、図2に示した仮視点画像22のサブピクセル毎の輝度情報(仮視点画像情報)の値を図3に示した視差情報に基づいて、立体視画像の画像情報(立体視画像情報)に設定していく。
【0033】
ここで、立体視画像と各視点映像との関係を図4を参照して説明する。図4(a)に示すように、立体視画像24の各サブピクセルは、対応する視点が順番に割り振られており、レンチキュラ板100の各レンチキュラレンズ100−1〜100−6によりそれぞれ対応する視点にのみ見えることとなる。例えば、サブピクセルRR1〜6は、最右視点2−5に対応付けられたサブピクセルである。即ち、図4(b)に示すように、サブピクセルRR1〜6からなる映像が、最右視点2−5において見える映像(最右視点映像)20−5となる。
【0034】
同様に、立体視画像情報のサブピクセルR1〜6は、右視点2−4に対応するサブピクセルであり、右視点映像20−4となる。サブピクセルC1〜6は、中央視点2−3に対応するサブピクセルであり、中央視点映像20−3となる。サブピクセルL1〜6は、左視点2−2に対応するサブピクセルであり、左視点映像20−2となる。サブピクセルLL1〜6は、最左視点2−1に対応するサブピクセルであり、最左視点映像20−1となる。
【0035】
また、各視点の映像をプレーヤが両目で見た際に、立体感を感得するためには、各視点の映像は、両眼視差を考慮した、それぞれ異なる(視差情報に応じてずれた)映像でなければならない。即ち、各視点映像(最右視点映像20−5、右視点映像20−4、中央視点映像20−3、左視点映像20−2、最左視点映像20−1)がそれぞれ異なる映像となるように、仮視点画像情報を視差情報に応じ位置をずらして立体視画像情報に設定しなければならない。
【0036】
ここで、本実施の形態では各視点の画像を個別に生成することはしないが、例えば、図1に示した右視点2−4から見た画像(図5(c))を考える。右視点2−4から見た場合、投影面4上のオブジェクト6−2は、仮視点Vから見た場合と同じ位置に見える。即ち、図5(c)に示す右視点2−4から見た画像において、仮視点画像(図5(a))と同じ位置に描画されることとなる。しかし、仮視点Vに対して投影面4よりも奥側のオブジェクト6−1は、右視点2−4から見た場合には、仮視点Vから見た場合よりも右にずれて見える。即ち、図5(c)に示す右視点2−4から見た画像において、仮視点画像(図5(a))における位置よりも右にずれた位置に描画される。また、投影面4よりも手前側のオブジェクト6−3は、右視点2−4から見た場合には、仮視点Vから見た場合よりも左にずれて見える。即ち、図5(c)に示す右視点2−4から見た画像において、仮視点画像における位置よりも左にずれた位置に描画されるはずである。
【0037】
逆に、左視点2−2から見た画像(図5(b))を考えると、仮視点Vに対して投影面4よりも奥側のオブジェクト6−1は、仮視点画像(図5(a))における位置よりも左にずれた位置に描画される。また、投影面4よりも手前側のオブジェクト6−3は、仮視点画像における位置よりも右にずれた位置に描画されることとなる。
【0038】
また、最右視点2−5から見た画像では、右視点2−4から見た画像よりもずれる量が大きくなる。同様に、最左視点2−1から見た画像では、左視点2−2から見た画像よりもずれる量が大きくなる。
【0039】
従って、仮視点画像情報中のあるサブピクセルの値を立体視画像情報に設定していく際に、仮視点Vよりも右側の視点に対応するサブピクセルに値を設定する場合には、当該サブピクセルに対応する視差情報が"0"より大きい値であれば(投影面4よりも奥側であれば)、立体視画像情報において当該サブピクセルの仮視点画像における位置から右にずらした位置に値を設定する。
【0040】
逆に当該サブピクセルに対応する視差情報が"0"よりも小さい値であれば、立体視画像情報において左にずらした位置に値を設定する。また、視差情報が"0"であれば、位置をずらさずに、設定する。また、最右視点2−5に対応するサブピクセルの値を設定する際には、右視点2−4に対応するサブピクセルの値を設定する場合よりも、値を設定する位置をずらす量を大きくする。
【0041】
同様に、仮視点Vよりも左側の視点に対応する立体視画像情報に値を設定する際には、当該サブピクセルに対応して記憶されている視差情報が"0"より大きい値であれば、立体視画像情報において当該サブピクセルの仮視点画像における位置から左にずらした位置に値を設定し、当該サブピクセルに対応する視差情報が"0"よりも小さい値であれば、右にずらした位置に値を設定する。また、最左視点2−1に対応するサブピクセルの値を設定する際には、左視点2−2に対応するサブピクセルの値を設定する場合よりも、値を設定する位置をずらす量を大きくする。つまり、描画位置ずらし量dは、例えば画面右方向を正として、該当する視点の仮視点からの距離と視差情報との積に比例する値として計算される。
【0042】
更に図6、図7を参照して、具体的に仮視点画像22及び視差情報(奥行情報26)に基づいて、立体視画像24を生成していく方法について説明する。この図6は、ダイレクトサンプリング(輝度のブレンド計算などをせず、原画像(仮視点画像22)における特定画素に対して、生成画像(立体視画像24)の対応する画素を選択し、原画像の当該特定画素の輝度情報の値を生成画像上の当該選択画素の輝度情報の値とする方法)によってサンプリング、インターリーブを行なう場合を例にとって説明する図である。本発明は、他のサンプリング方法によっても実現可能であり、サンプリング方法は限定されるものではない。本実施の形態においては、視差情報(奥行情報26)は、仮視点画像22の画素ごとに、その画素の右視点2−4に対応する設定位置の画面右方向への描画位置ずらし量dを画素の幅を単位に表わしたものであり、仮視点画像22の画素の幅はレンチキュラレンズの幅(レンズピッチ)に等しいものとして説明する。仮視点画像22の画素も、レンチキュラレンズの幅(レンズピッチ)に等しいものに限定されるものではない。
【0043】
まず、仮視点画像22の一つの画素に対して、5つの視点それぞれに対応する立体視画像の画像情報の設定位置を決定する。本実施の形態においては、仮視点Vと中央視点2−3が等しい視点であり、各視点が等間隔に配置されている。故に、仮視点画像の一つの画素についての各視点に対応した描画位置のずらし量は、最右視点2−5(RR)に対応する描画位置ずらし量が視差情報の値の2倍、右視点2−4(R)に対応する描画位置ずらし量が視差情報の値、左視点2−2(L)に対応する描画位置ずらし量が視差情報の値の−1倍、最左視点2−1(LL)に対応する描画位置ずらし量が視差情報の値の−2倍として計算される。中央視点2−3(C)に対応する描画位置ずらし量は常に0である。
【0044】
立体視画像上には各視点に対応するサブピクセルがRR,R,C,L,LLの順で配置されており、仮視点画像22の1画素に対応する領域に、各視点に対応した5つのサブピクセルを含んでいる。描画位置は視点に対応して決定するので、さらに描画位置に属するサブピクセルの中から視点と対応するサブピクセルが決定される。決定されたサブピクセルが赤(r)、緑(g)、青(b)のいずれかの色のサブピクセルであるかに応じて、もとの仮視点画像の画素を構成する当該色要素の輝度情報を、決定されたサブピクセルに設定する。
【0045】
図6においては、図中太線矢印方向に走査を行なう(仮視点画像22の情報を左から右に順番に立体視画像24に設定していく。)。即ち、まず、仮視点画像22の最も左側のピクセルであるP1について考える。ピクセルP1の視差情報は、"+2"である。この視差情報に基づいて各視点に対する描画位置のずらし量を計算すると、最右視点に対応する描画位置ずらし量は+4、右視点に対応する描画位置ずらし量は+2、中央視点に対応する描画位置ずらし量は0、左視点に対応する描画位置ずらし量は−2、最左視点に対応する描画位置ずらし量は−4となる。
【0046】
最右視点について考えると、描画位置ずらし量は+4であるのでP1からレンズピッチ4つ分右側のピクセル即ちP5に属する領域に画像情報を設定する。立体視画像24のうちP5に属する領域はRR5,R5,C5,L5,LL5の五つのサブピクセルで構成されており、それぞれのサブピクセルが最右、右、中央、左、最左の視点に対応している。最右視点に対応するサブピクセルRR5は青色のサブピクセルであるため、仮視点画像22のピクセルP1の画像情報の中から青色要素b1が立体視画像24のサブピクセルRR5に設定される。同様に、右視点についてP1からレンズピッチ2つ分右側のピクセルの、右視点に対応するサブピクセルR3に描画する。R3は青色のサブピクセルであるのでP1の青色要素b1がサブピクセルR3に設定される。中央視点については描画位置ずらし量は0であるので、P1の中央視点に対応するサブピクセルC1に描画する。C1は青色のサブピクセルであるのでP1の青色要素b1がサブピクセルC1に設定される。
【0047】
ピクセルP1に基づいて、五つの視点に対応した画像を描画したならば、次にピクセルP2に付いて同様に5つの視点分の映像を描画する、同様にP3、P4と順次画面右方向に処理を続ける。
【0048】
このように、順番に、立体視画像24に値を設定していくと、立体視画像24の一つのサブピクセルに対して設定処理が重複してしまう場合がある。例えば、図6に示す立体視画像24のサブピクセルRR2は、仮視点画像22のピクセルP2に由来するb2と、仮視点画像22のピクセルP4に由来するb4との2つの値が設定されうる。そのような場合には、より仮視点Vに近い(奥行情報26が小さい)ピクセルに由来する値を設定するようにしなければならない。
【0049】
仮視点Vよりも右側の視点から見た画像について考えると、より手前の(仮視点Vに近い)画像情報は左側にずれた位置に、より奥側のものは右側にずれた位置に描画される。つまり、立体視画像において同一点に設定されうる画像については、仮視点画像においてより右側に由来する画像情報が、奥行情報26が小さいピクセルに由来する画像情報であるといえる。仮視点画像を左から右に走査する場合には、より手前の画像情報がより後から設定されることとなる。従って、仮視点Vよりも右側の視点(右視点2−4(R)、最右視点2−5(RR))に対応する立体視サブピクセルにおいて重複が発生した場合には、より後から設定された値をそのサブピクセルの値として上書き設定すれば、より手前の画像情報を採用し陰面消去することができる。
【0050】
反対に、仮視点Vよりも左側の視点(左視点2−2(L)、最左視点2−1(LL))に対応する立体視サブピクセルにおいて、重複設定が発生した場合には、仮視点画像においてより左のピクセルに由来する値を設定することとすれば良い。そのため仮視点画像を左から右に走査する場合には、一旦値が設定された左視点、最左視点のサブピクセルには上書き設定しない。
【0051】
例えば、図6において、サブピクセルRR2(最右視点2−5に対応するサブピクセル)においては、一旦ピクセルP2に由来するb2が設定された後、ピクセルP4に由来するb4の値が上書き設定される。また、例えば、立体視サブピクセルLL3(最左視点2−1に対応するサブピクセル)においては、ピクセルP3に由来するb3が設定された後、ピクセルP5の最左視点2−1に対応する描画先がLL3であることが判明するが、先にb3が設定されているのでピクセルP5に由来するb5が上書きされることはなくb3が採用される。
【0052】
この方法で、走査が完了しても立体視画像24上に値が設定されない(欠落した)サブピクセルが発生する。図7はこの欠落部の補完に付いて説明する図である。20−1ないし20−5は、立体視画像24からレンチキュラ板100を通して表示した場合の各視点映像であり、20−1は最左視点にて観察される映像、20−2は左視点にて観察される映像、20−3は中央視点にて観察される映像、20−4は右視点にて観察される映像、20−5は最右視点にて観察される映像を示している。
【0053】
欠落したサブピクセルは、そのサブピクセルが属する視点映像において、欠落部分の両側の値の設定されたサブピクセルの内、より奥行情報26の大きいピクセルの情報に従って補完する。奥行情報26の大きいピクセルの映像で欠落部分を補完することにより、奥行情報26の小さい(手前側にある)映像の輪郭を損なうことなく映像が補完される。
【0054】
具体的には、仮視点Vよりも右側の視点(右視点2−4、最右視点2−5)に属するサブピクセルを補完する場合には、当該視点映像においてそのサブピクセルの右側の値の設定されたサブピクセルの内、最も近いサブピクセルに設定されている画像情報が属する仮視点画像のピクセルの画像情報で補完する。何故ならば、上述したように、仮視点Vよりも右側の視点から見た画像では、より手前のオブジェクトは、奥側のオブジェクトに対して左にずれる(奥側のものは、手前のものに対して右にずれる)ため、仮視点Vよりも右側の視点映像における欠落部の左のデータよりも右のデータの方が常に奥側のものとなるからである。同様に、仮視点Vよりも左側の視点(左視点2−2、最左視点2−1)に属するサブピクセルを補完する場合には、当該視点映像においてそのサブピクセルの左側の値の設定されたサブピクセルの内、最も近いサブピクセルに設定されている画像情報が属する仮視点画像のピクセルの画像情報で補完する。
【0055】
例えば、図7において、前述の走査が完了した段階で値が設定されていないサブピクセルR4(右視点2−4に対応)を補完する場合を考える。右視点画像20−4においてR4の右側で最も近い値の設定されているサブピクセルはサブピクセルR6である。従って、サブピクセルR4は、サブピクセルR6に設定されている値b6が属するピクセルP6の緑要素g6(サブピクセルR4は、緑色のサブピクセルであるため)の値で補完する。
【0056】
しかしながら、図7に示すように、各視点映像における左右両端部に欠落が生じた場合には、その部分(例えば、右視点映像20−4におけるサブピクセルR8、R9や、左視点画像20−2におけるサブピクセルL1)の補完は行なえない。何故ならば、例えば、サブピクセルR8、R9などは、それよりも右側のデータがないためである。また、サブピクセルR1、L8、L9のような画面端部の補完は、仮視点画像の範囲外の情報の無い部分を補完することとなるので立体視映像において違和感が生じるおそれがある。この問題は、仮視点画像22として立体視画像24よりも左右に広い画像を描画しておくことで、左右両端部に欠落が生じないようにすることで解決できる。
【0057】
上述したように、立体視画像24を生成するために、複数の視点に対する画像を描画する必要がなく、1つの仮視点画像22のみを描画すれば良いため、画像描画に係る処理負荷の軽減を図ることができる。そのため、ゲーム画像のようにリアルタイムに画像の生成、表示を行なわなければならない画像の立体視表示の実現が容易となる。また、複数の視点に対する画像を描画する必要がないため、それらの画像を記憶するためのメモリも必要なく、メモリ容量の少ない装置等においても立体視画像の生成・表示が実現できる。
【0058】
次に、本実施の形態に係る機能を説明する。図8は、本実施の形態の機能ブロックの一例を示す図である。本実施の形態の機能ブロックは、操作部10と、処理部200と、表示部30と、記憶部500と、一時記憶部600と、から構成される。
【0059】
操作部10は、プレーヤがゲームにおける各種操作指示入力するためのものであり操作部10にて得られた操作データは処理部200に出力される。
【0060】
処理部200は、操作部10から入力される操作データに基づいてゲーム空間の設定を行なう処理、そのゲーム空間の立体視画像を生成し、一時記憶部600に記憶させる処理、一時記憶部600に記憶された立体視画像を所与のタイミングで表示部30に表示させる処理等の処理を行なう。より具体的に説明すると、処理部200は、主にゲーム演算部210、仮視点画像生成部220、立体視画像生成部230とから構成される。
【0061】
ゲーム演算部210は、操作部データ及びゲームプログラム502に従って、ゲームを実行し、ゲーム空間における各種オブジェクトや、仮視点Vの配置等に係る処理等の処理を行なう。
【0062】
仮視点画像生成部220は、仮視点Vから見た仮視点画像22を描画する処理を行なう。そして、描画した仮視点画像22を一時記憶部600内の仮視点画像用ラインバッファ602に格納する。また、仮視点画像生成部220は、仮視点画像22における各ピクセル毎の奥行情報(Z座標値)26を生成し、Zバッファ604に格納する。
【0063】
立体視画像生成部230は、立体視画像生成プログラム504に従って、立体視画像24を生成し、生成した立体視画像24を立体視画像用ラインバッファ606に格納する。具体的には、立体視画像生成部230は、立体視を行なう際の複数の視点と仮視点Vとの位置関係及びZバッファ604に格納された各ピクセル毎の奥行値に基づいて、仮視点画像用ラインバッファ602に格納された画像の仮視点画像情報中のサブピクセルの値を左から順に立体視画像情報に設定していく。
【0064】
その際に、複数の値が重複設定されるサブピクセルには、仮視点画像において奥行値がより小さいピクセルに属する値を設定する。具体的には、例えば、仮視点Vより右側の視点に対応するサブピクセルの場合には、後から設定される値を常に上書きするようにし、仮視点Vよりも左側の視点に対応するサブピクセルの場合には、最先に設定された値を採用することとする。仮視点Vと一致する視点に対応するサブピクセルに関しては重複は発生しない。
【0065】
また、立体視画像生成部230は、設定ピクセルデータ608を生成する。図9は設定ピクセルデータ608の一例を示す図である。同図に示すように、設定ピクセルデータ608には、立体視画像の各サブピクセルに対して、設定された値が仮視点画像のどのピクセルに由来するものであるかを示すピクセル番号が記録される。
【0066】
さらに、立体視画像生成部230は、立体視画像情報の欠落した部分(値が設定されていないサブピクセル)を補完する処理を行う。具体的には、仮視点Vよりも右側の視点に(右視点2−4、最右視点2−5)に対するサブピクセルに値が設定されていない場合には、設定ピクセルデータ608を参照して、そのサブピクセルの右側で同一視点に対するピクセル番号の設定されたサブピクセルのうち、最も近い位置にあるサブピクセルに対するピクセル番号の示す仮視点画像のピクセルの値で補完する。
【0067】
例えば、右視点2−4に対応するサブピクセルR4の値を補完する場合には、設定ピクセルデータ608において、サブピクセルR4よりも右側の右視点2−4に対応するサブピクセルは、R5・R6・R7・・・となっている。サブピクセルR4に近いサブピクセルからみていくと、最もサブピクセルR4に近いサブピクセルはサブピクセルR5であるが、サブピクセルR5には値が設定されていない。次のサブピクセルR6には値が設定されているので、R4の右側で右視点に対するサブピクセルのうちピクセル番号の設定された最もR4に近い位置にあるサブピクセルはR6ということになる。設定ピクセルデータ608において、サブピクセルR6に対して記憶されているピクセル番号はP6であるため、サブピクセルR4は仮視点画像のピクセルP6に属するサブピクセルの値で補完する。
【0068】
逆に、仮視点Vよりも左側の視点(左視点2−2、最左視点2−1)に対するサブピクセルに値が設定されていない場合には、設定ピクセルデータ608において、該当するサブピクセルの左側で同一視点に対するピクセル番号の設定されているサブピクセルのうち、最も近い位置にあるサブピクセルに対するピクセル番号の示す仮視点画像のピクセルの値で補完する。仮視点Vと一致する視点に対応するサブピクセルに関しては欠落は発生しないので補完処理も発生しない。
【0069】
上述した処理部200の処理は、例えば、CPU(CISC型、RISC型)、DSP、ASIC(ゲートアレイ等)、メモリなどのハードウェアにより実現できる。
【0070】
表示部30は、例えば、TFTカラー液晶パネルのようなrgb縦ストライプの画素配列の液晶パネルにレンチキュラ板(微細な半円筒形のレンズアレイ)を備えた立体視映像表示装置であり、立体視画像生成部230の生成した画像(立体視画像用ラインバッファ606に格納された画像)を表示することによりレンチキュラ板を通してプレーヤに両眼視差を与える映像を見せ、ゲーム画像を立体視させる。
【0071】
記憶部500は、ゲームプログラム502、立体視画像生成プログラム504を記憶する。この記憶部500の機能は、CD−ROM、ゲームカセット、ICカード、MO、FD、DVD、ROM・フラッシュメモリ等のメモリIC、ハードディスクなどのハードウェアにより実現できる。
【0072】
一時記憶部600は、上述した仮視点画像22を格納する仮視点画像用ラインバッファ602、仮視点画像22の奥行情報を格納するZバッファ604、立体視画像24を格納する立体視画像用ラインバッファ606を含む。この一時記憶部600の機能は、RAMやハードディスク等の書き込み可能のメモリなどのハードウェアにより実現できる。
【0073】
次に本実施の形態における立体視画像生成処理に係る動作について図10に示すフローチャートに基づいて説明する。なお、図10では、1ライン分の立体視画像生成・表示に係る処理について説明する。
【0074】
まず、仮視点画像生成部220は、ゲーム演算部210により設定されたゲーム空間を仮視点Vから見た仮視点画像22を生成し(ステップS1)、その仮視点画像22の各ピクセル毎の奥行情報を設定する(ステップS2)。そして、立体視画像生成部230が、仮視点画像情報中のサブピクセルの値を、当該サブピクセルの対応する視点と奥行情報とに応じてずらした位置の立体視画像情報に設定していく。即ち、立体視画像24を生成する(ステップS3)。
【0075】
次いで、立体視画像生成部230は、立体視画像24において、立体視画像情報の値の設定されていないサブピクセルを補完する(ステップS4)。そして、レンチキュラ板を備えた表示部30に立体視画像24を表示して(ステップS5)、処理を終了する。このステップS1〜S5の処理を繰り返し行なうことにより、表示画面の全てのラインの立体視画像の生成表示が行なわれる。
【0076】
次に、本実施の形態を実現できるハードウェア構成の一例について図11を参照して説明する。同図に示す装置では、CPU1000、ROM1002、RAM1004、情報記憶媒体1006、音生成IC1008、画像生成部1010、I/Oポート1012、1014が、システムバス1016により相互にデータ入出力可能に接続されている。そして画像生成部1010には立体視映像表示装置1018が接続され、音生成IC1008にはスピーカ1020が接続され、I/Oポート1012にはコントロール装置1022が接続され、I/Oポート1014には通信装置1024が接続されている。
【0077】
情報記憶媒体1006は、プログラム、表示物を表現するための画像データ、音データ、プレイデータ等が主に格納されるものであり、図8における記憶部500に相当する。例えば本実施の形態を実現するものがコンピュータである場合には、ゲームプログラム等を格納する情報記憶媒体としてCD−ROM、DVD等が、家庭用ゲーム装置である場合には、これらの他にゲームカセット等が用いられる。また業務用ゲーム装置として実現する場合には、ROM等のメモリやハードディスクが用いられ、この場合には情報記憶媒体1006とROM1002とは同一一体のものとして実現される。
【0078】
コントロール装置1022はゲームコントローラ、操作パネル等に相当するものであり、プレーヤがゲームの進行に応じて行なう判断の結果を装置本体に入力するための装置である。図8に示す操作部10がこれに相当する。
【0079】
情報記憶媒体1006に格納されるプログラム、ROM1002に格納されるシステムプログラム(装置本体の初期化情報等)、コントロール装置1022から入力される信号等に従って、CPU1000は装置全体の制御や各種データ処理を行う。RAM1004はこのCPU1000の作業領域等として用いられる記憶手段であり、情報記憶媒体1006やROM1002の所与の内容、あるいはCPU1000の演算結果等が格納される。図8に示す一時記憶部600がこれに相当する。また、処理の高速化の為、ROM1002や情報記憶媒体1006の内容をRAM1004に複写し、RAM1004が実質的に図8に示す記憶部500として機能することとしてもよい。
【0080】
更に、この装置には音生成IC1008と画像生成部1010とが設けられていてゲーム音やゲーム画像の好適な出力が行えるようになっている。音生成IC1008は情報記憶媒体1006やROM1002に記憶される情報に基づいて効果音やBGM音楽等のゲーム音を生成する集積回路であり、生成されたゲーム音はスピーカ1020によって出力される。また画像生成部1010は、RAM1004、ROM1002、情報記憶媒体1006、CPU1000等から送られる画像情報に基づいて立体視映像表示装置1018に出力するための画像情報を生成する集積回路であり、必要に応じてASICやPLD、DSP、CPU、メモリなどを含む回路として実現される。また、立体視映像表示装置1018は、LCD等のディスプレイ及びレンチキュラ板またはパララックスバリア等の画像分離装置により実現される。
【0081】
図1〜図9を参照して説明した種々の処理は、図10のフローチャートに示した処理等を行うプログラムに従って動作するCPU1000、画像生成部1010等によって実現される。これらの処理は、CPU1000によりソフトウェア的に行われるものとしてもよいし、描画機能、インターリーブ機能等を有する専用の回路として実現される画像生成部1010によってハードウェア的に実現されるものであってもよい。またCPU1000と画像生成部1010が協働して実現するものであってもよい。
【0082】
また、通信装置1024は装置内部で利用される各種情報を外部とやりとりするものであり、他の装置と接続されてゲームプログラムなどに応じた所与の情報を送受したり、通信回線を介してゲームプログラム等の情報を送受すること等に利用される。
【0083】
図12に、ホスト装置1300と、このホスト装置1300と通信回線1302を介して接続される端末1304−1〜1304−nとを含むゲーム装置に本実施の形態を適用した場合の例を示す。
【0084】
この場合、ゲームプログラム502、及び立体視画像生成プログラム504は、例えば、ホスト装置1300が制御可能な磁気ディスク装置、磁気テープ装置、メモリ等の情報記憶媒体1306に格納されている。端末1304−1〜1304−nが、CPU、画像生成IC、音生成ICを有し、スタンドアロンでゲーム画像、ゲーム音を生成できるものである場合には、ホスト装置1300からは、ゲームプログラム502、及び立体視画像生成プログラム504等が通信回線1302を介して端末1304−1〜1304−nに配信される。一方、スタンドアロンで生成できない場合には、ホスト装置1300がゲーム画像(立体視画像)、ゲーム音を生成し、これを端末1304−1〜1304−nに伝送し、端末において出力することになる。
【0085】
また、例えば、仮視点画像22、奥行情報データ26がホスト装置から端末に送信され、この仮視点画像22及び奥行情報データ26に基づいて、端末側で立体視画像24を生成、出力することとしても良い。その場合には、ホスト装置1300の処理部がゲーム演算部210及び仮視点画像生成部220の処理を行ない、端末の処理部は、立体視画像生成部230の処理のみを行なうこととなる。この方法により、各視点に対応した画像情報をホストから送信する方法に比して少ない通信データ量で、立体視を実現する事ができる。
【0086】
以上のように、本発明によれば、立体視画像24を生成するために、それぞれの視点に対する画像を視点数分描画する必要がなく、1つの仮視点Vから見た画像のみを描画すれば良いため、画像描画に係る処理負荷の軽減を図ることができる。そのため、画像描画処理にかかる時間の短縮が可能となり、ゲーム画像のようにリアルタイムに画像の生成、表示を行なわなければならない画像の立体視表示の実現がより容易となる。また、複数の視点に対する画像を描画する必要がないため、それらの画像を記憶するためのメモリも必要ない。従って、メモリ容量の少ない装置や回路規模の小さい装置等においても立体視画像の生成・表示が実現できる。
【0087】
なお、本発明は、上記実施の形態で説明したものに限らず、種々の変形実施が可能である。例えば、上記実施の形態においては、1ライン毎に仮視点画像22及び立体視画像24を生成することとしたが、1フレーム毎に仮視点画像22及び立体視画像24を生成することとしても良い。その場合には、一時記憶部600には、仮視点画像22、奥行情報データ26、立体視画像24を格納するためのフレームバッファが含まれることとなる。
【0088】
また、上記実施の形態においては、rgb縦ストライプ構成のカラー液晶ディスプレイに立体視画像を表示する場合を説明したが、本発明の適用は、これに限るものではなく、例えば、モノクロ(白黒)の液晶ディスプレイに表示する場合にも適用可能である。
【0089】
また、上記実施の形態においては、5眼式立体視映像を表示するための立体視画像生成について、説明したが、本発明は、これに限るものではなく、例えば、2眼式、3眼式、4眼式であっても良く、更に、6眼式、7眼式、…、n眼式の立体視映像に適用可能である。
【0090】
また、上記実施の形態においては、奥行情報として視差情報を記憶することとしたが、他の奥行きを表わす数値を記憶することとし、その数値から描画位置ずらし量を計算によって算出し決定することとしても良い。
【0091】
また、例えば、立体視画像において仮視点Vより右側の視点に対するサブピクセルの値を設定する場合には、仮視点画像22を左らか右に走査し、仮視点Vより左側の視点に対するサブピクセルの値を設定する場合には、仮視点画像22を右から左に走査し、どちらの場合も、一のサブピクセルに複数の値が重複して設定される場合には後から設定される値を上書きすることとしても良い。その場合にも、常に奥行値の小さい(仮視点Vに対してより手前)のものが採用されることとなる。
【0092】
また、例えば、投影面4の位置(奥行値)を任意に変更可能としても良い。投影面4と等しい奥行値の画像は、視点に関わらず、ずらすことなく、立体視画像に設定される。即ち、投影面4の位置にあるオブジェクトは、どの視点から見ても同じ位置に見える。従って、プレーヤが両目で見た場合、よりはっきりと見えるため、例えば、ゲーム画像において、メインキャラクタの位置と等しい位置となるように投影面4の位置を変更すれば、メインキャラクタがゲーム空間を移動しても(メインキャラクタの設定される奥行値が変更しても)、常にメインキャラクタがはっきりとプレーヤに見えることになる。
【0093】
また、立体視画像生成装置を、例えば、当該立体視画像生成装置外部からの、各画素毎の奥行情報を有する画像データの入力、或いは画像データと当該画像データの各画素毎の奥行情報の入力を可能に構成することにより、入力された画像に対して上述した処理を行うことで立体視画像を生成することとしても良い。
【0094】
【発明の効果】
本発明によれば、ゲーム画像のように、リアルタイムに画像を描画、生成しなければならない場合等において、従来のように、視点数分の画像を描画する必要がなく、一の視点に対する画像のみを描画すれば良いため、視点数に関わらず、画像描画に係る処理負荷は、平面視画像を生成する場合と同等である。そのため、ゲーム画像の複数視点に対応する立体視映像表示が容易に実現できる。
【図面の簡単な説明】
【図1】ゲーム空間に配置されるオブジェクトと視点と投影面との関係の一例を示す図である。
【図2】仮視点画像の一例を示す図である。
【図3】仮視点画像の各ピクセルに対応する奥行値データの一例を示す図である。
【図4】立体視画像と各視点映像との関係を説明する図である。
【図5】仮視点V、右視点、左視点からみた画像の一例をそれぞれ示す図である。
【図6】立体視画像情報の設定の一例を説明する図である。
【図7】各視点視映像の一例を示す図である。
【図8】本実施の形態の機能ブロックの一例を示す図である。
【図9】設定ピクセルデータの一例を示す図である。
【図10】本実施の形態における立体視画像生成処理の動作の一例を示すフローチャートである。
【図11】本実施の形態を実現できるハードウェア構成の一例を示すブロック図である。
【図12】ホスト装置と通信回線を介して接続されるゲーム端末に本実施の形態を適用した場合の一例を示す図である。
【符号の説明】
10 操作部
200 処理部
210 ゲーム演算部
220 仮視点画像生成部
230 立体視画像生成部
30 表示部
500 記憶部
502 ゲームプログラム
504 立体視画像生成プログラム
600 一時記憶部
602 仮視点画像用ラインバッファ
604 Zバッファ
606 立体視画像用ラインバッファ
608 設定ピクセルデータ[0001]
BACKGROUND OF THE INVENTION
The present invention , Generate stereoscopic images Program to make The present invention relates to an information storage medium and a stereoscopic image generation apparatus.
[0002]
[Prior art]
Conventionally, a stereoscopic image display device that projects different images to the right and left eyes of an observer using a head-mounted display, a lenticular plate (lenticular lens), etc., and gives a stereoscopic image by giving binocular parallax. It has been known. In such a stereoscopic video display device using binocular parallax, the image on the display screen is a set of images corresponding to each viewpoint (hereinafter referred to as individual viewpoint images) or an image obtained by sampling and interleaving them. . (Hereinafter, a set of individual viewpoint images or an image obtained by interleaving them is referred to as a stereoscopic image.)
[0003]
In order to generate the stereoscopic image, in the conventional method, the individual viewpoint images are drawn for the number of viewpoints, and the stereoscopic image is generated based on the drawn individual viewpoint images.
[0004]
[Problems to be solved by the invention]
However, in the conventional method described above, since a plurality of individual viewpoint images must be generated, the processing related to image drawing is required several times as many viewpoints as compared with the case of generating a normal planar view image. That is, the processing load related to image drawing increases as compared with the number of viewpoints. Therefore, for example, it has been difficult to generate a stereoscopic image corresponding to a large number of viewpoints and display a stereoscopic video image, which must generate and display an image in real time within a given time. Also, since a plurality of individual viewpoint images must be stored, there is a problem that the memory capacity is required several times as many viewpoints.
[0005]
An object of the present invention is to realize a reduction in processing load and memory capacity related to stereoscopic image generation.
[0006]
[Means for Solving the Problems]
First According to the present invention, a provisional viewpoint (for example, FIG. 1) is used for an apparatus that generates a plurality of images corresponding to a plurality of viewpoints by calculation and control by a processor and generates a stereoscopic image using binocular parallax. Image information storage means (for example, the temporary viewpoint
[0007]
8th The present invention is a stereoscopic image generation device that generates a plurality of images corresponding to a plurality of viewpoints by calculation and control by a processor, and generates a stereoscopic image using binocular parallax. For example, image information storage means (for example, the temporary viewpoint
[0008]
Here, the one temporary viewpoint may be one of a plurality of viewpoints, or may be a viewpoint different from the plurality of viewpoints.
[0009]
A pixel refers to a pixel or a subpixel in the embodiment.
[0010]
this First Or 8th According to the invention, when it is necessary to draw and generate an image in real time, such as a game image, it is not necessary to draw as many images as the number of viewpoints as in the prior art, and only an image for one viewpoint is used. Therefore, regardless of the number of viewpoints, the processing load related to image drawing is the same as that for generating a planar view image. Therefore, stereoscopic video display corresponding to a plurality of viewpoints of the game image can be easily realized.
[0011]
Also, As the second invention , Of the first invention In the stereoscopic image generation information, based on the positional relationship between each of the one temporary viewpoint and each of the plurality of viewpoints and the depth information stored in the depth information storage unit with respect to the stereoscopic image generation unit, By shifting the position where the pixel information of the image stored in the image information storage unit is set, the image for each of the plurality of viewpoints is set for each pixel, and functions to generate the stereoscopic image Information may be included.
[0012]
this Second According to the invention, a stereoscopic image including an image corresponding to each viewpoint can be easily obtained by setting the stored image information for one temporary viewpoint to the stereoscopic image while referring to the depth information and shifting the drawing position. Can be generated.
[0013]
Also, As a third invention, the first Or Second In the stereoscopic image generation information of the invention, when a portion in which pixel information is not set occurs in the stereoscopic image generation unit with respect to the stereoscopic image generation unit, based on pixel information around the portion, Information for functioning so as to complement the pixel information of the portion may be included.
[0014]
Here, when the pixel information is complemented with the pixel information around the portion where the pixel information is not set, the pixel information may be complemented with the pixel information on the back side with respect to one temporary viewpoint in the surrounding pixel information. On the contrary, it is good also as complementing with the pixel information near one temporary viewpoint.
[0015]
this Third According to this invention, the part where the pixel information is not set can be repaired more naturally by complementing the part where the pixel information is not set with the surrounding pixel information.
[0016]
Also, As the fourth invention , First From Third One of of In the stereoscopic image generation information of the invention, when a portion in which the pixel information is redundantly set occurs in the stereoscopic image to the stereoscopic image generation unit, the depth of the redundantly set pixel information The information may include information for causing the pixel information closer to the one temporary viewpoint to function preferentially.
[0017]
this 4th According to this invention, since the pixel information closer to the provisional viewpoint is preferentially set, it is possible to generate a stereoscopic image with hidden surface removal without contradiction.
[0018]
Also, As a fifth invention, the first From 4th One of of In the stereoscopic image generation information of the invention, information for causing the device to function as a reference depth setting unit for setting a reference depth value, and the stereoscopic image generation unit, the one temporary viewpoint And the positional relationship of each of the plurality of viewpoints, the depth value set by the reference depth setting unit, and the depth information stored in the depth information storage unit, the image stored in the image information storage unit Information for functioning to shift the position where the pixel information is set may be included.
[0019]
this 5th According to this invention, for example, the pixel information may be set so as to be greatly shifted as the difference between the reference depth value and the stored depth information increases. In that case, the pixel information of the reference depth value is set without shifting regardless of the positional relationship between one temporary viewpoint and each of the plurality of viewpoints. That is, the reference depth value can be used as a gazing point, and the gazing point can be arbitrarily changed.
[0020]
For example, the depth information set for the pixel at the center of the image for one temporary viewpoint may be used as a reference depth value. In that case, the center of the stereoscopic video image can always be focused. Further, when a game image is generated as a stereoscopic image, for example, if the position of the main character is set as a reference depth value, the main character is always displayed in the same manner as the left and right eyes of the player. In a stereoscopic image, it can be shown more clearly (as if it is in focus).
[0021]
Furthermore, in this case 6th Invention As , First From 5th One of Of the invention The stereoscopic image generation information may include information that causes the stereoscopic image generation unit to function so as to generate a stereoscopic image obtained by interleaving a plurality of images corresponding to the plurality of viewpoints.
[0022]
this 6th According to this invention, since a stereoscopic image corresponding to a plurality of viewpoints can be generated from only an image corresponding to one temporary viewpoint, there is no need to store an image corresponding to each viewpoint. Therefore, even if the number of viewpoints increases, it is not necessary to increase the memory capacity, and even in an apparatus with a small memory capacity (small circuit scale), it is possible to generate stereoscopic images (display stereoscopic images) for many viewpoints. .
[0023]
Also, 7th Invention As , First From 4th One of Invention An information storage medium for storing the stereoscopic image generation information may be realized.
[0024]
Also, 9th Invention As , Of the eighth invention The stereoscopic image generation apparatus may include an input unit that inputs image information for the one temporary viewpoint and the depth information.
[0025]
this 9th According to the invention, for example, by inputting image data having depth information for each pixel from the outside of the stereoscopic image generation apparatus, or by inputting image data together with depth information for each pixel, An image can be generated. By this method, stereoscopic vision can be realized with a smaller amount of input data compared to a method of individually inputting an image corresponding to each viewpoint. Further, it is not necessary to prepare as many drawing apparatuses as the number of viewpoints, and stereoscopic viewing can be realized with one drawing apparatus.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below with reference to the drawings. In the following, a case where the present invention is applied to a game image and displayed as a stereoscopic video image on a game device or the like will be described as an example, but the application of the present invention is not limited to this.
[0027]
First, the principle of the present invention will be described with reference to FIGS. Hereinafter, in the present embodiment, a case where a five-eye stereoscopic image is generated by performing interleaving for each sub-pixel (each rgb constituting the pixel) will be described.
[0028]
FIG. 1 shows objects 6-1 to -3 arranged in the game space and viewpoints (leftmost viewpoint 2-1, left viewpoint 2-2, central viewpoint 2-3, right viewpoint 2-4, leftmost viewpoint 2-5. ) And the
[0029]
The drawing position shift amount d for each pixel, which will be described later, is a function of the depth value Z, and is approximately d = a / z1−a / Z (z1 is the depth value of the projection plane, and a is a constant that determines the intensity of parallax). As required. In the present embodiment, the value obtained by rounding d to an integer is called “parallax information” and stored as depth information.
[0030]
FIG. 2 is a diagram showing an example of the
[0031]
FIG. 3 is a diagram illustrating an example of parallax information (depth information 26) corresponding to each pixel of the
[0032]
Then, based on the parallax information shown in FIG. 3, the value of the luminance information (temporary viewpoint image information) for each sub-pixel of the
[0033]
Here, the relationship between the stereoscopic image and each viewpoint video will be described with reference to FIG. As shown in FIG. 4A, the corresponding viewpoints are sequentially assigned to the sub-pixels of the
[0034]
Similarly, the subpixels R1 to R6 of the stereoscopic image information are subpixels corresponding to the right viewpoint 2-4, and become the right viewpoint video 20-4. The subpixels C1 to C6 are subpixels corresponding to the central viewpoint 2-3, and are the central viewpoint video 20-3. The sub-pixels L1 to L6 are sub-pixels corresponding to the left viewpoint 2-2 and become the left viewpoint video 20-2. The subpixels LL1 to LL6 are subpixels corresponding to the leftmost viewpoint 2-1 and are the leftmost viewpoint video 20-1.
[0035]
In addition, in order to obtain a stereoscopic effect when the player views the video of each viewpoint with both eyes, the video of each viewpoint is different from each other in consideration of binocular parallax (shifted according to parallax information). Must. That is, each viewpoint video (the rightmost viewpoint video 20-5, the right viewpoint video 20-4, the central viewpoint video 20-3, the left viewpoint video 20-2, and the leftmost viewpoint video 20-1) is different from each other. In addition, the temporary viewpoint image information must be set as stereoscopic image information by shifting the position according to the parallax information.
[0036]
Here, in the present embodiment, images of the respective viewpoints are not individually generated, but for example, consider an image (FIG. 5C) viewed from the right viewpoint 2-4 shown in FIG. When viewed from the right viewpoint 2-4, the object 6-2 on the
[0037]
Conversely, considering the image viewed from the left viewpoint 2-2 (FIG. 5B), the object 6-1 on the back side of the
[0038]
Further, the image viewed from the rightmost viewpoint 2-5 has a larger amount of deviation than the image viewed from the right viewpoint 2-4. Similarly, the image viewed from the leftmost viewpoint 2-1 has a larger amount of deviation than the image viewed from the left viewpoint 2-2.
[0039]
Therefore, when setting the value of a certain subpixel in the temporary viewpoint image information to the stereoscopic image information, when setting a value to a subpixel corresponding to a viewpoint on the right side of the temporary viewpoint V, the subpixel If the parallax information corresponding to the pixel is a value larger than “0” (if it is behind the projection plane 4), the stereoscopic image information is shifted to the right from the position in the temporary viewpoint image of the subpixel. Set the value.
[0040]
Conversely, if the parallax information corresponding to the subpixel is a value smaller than “0”, the value is set at a position shifted to the left in the stereoscopic image information. If the parallax information is “0”, the position is set without shifting. Also, when setting the value of the subpixel corresponding to the rightmost viewpoint 2-5, the amount by which the position where the value is set is shifted is larger than when setting the value of the subpixel corresponding to the right viewpoint 2-4. Enlarge.
[0041]
Similarly, when setting a value for stereoscopic image information corresponding to a viewpoint on the left side of the temporary viewpoint V, if the parallax information stored corresponding to the subpixel is a value greater than “0”, In the stereoscopic image information, a value is set to a position shifted to the left from the position in the temporary viewpoint image of the subpixel, and if the parallax information corresponding to the subpixel is a value smaller than “0”, the value is shifted to the right. Set the value at the specified position. Further, when setting the value of the subpixel corresponding to the leftmost viewpoint 2-1, the amount by which the position where the value is set is shifted is larger than when setting the value of the subpixel corresponding to the left viewpoint 2-2. Enlarge. That is, the drawing position shift amount d is calculated as a value proportional to the product of the distance from the temporary viewpoint of the corresponding viewpoint and the parallax information, for example, with the right direction on the screen being positive.
[0042]
Further, a method for generating the
[0043]
First, the setting position of the image information of the stereoscopic image corresponding to each of the five viewpoints is determined for one pixel of the
[0044]
On the stereoscopic image, subpixels corresponding to each viewpoint are arranged in the order of RR, R, C, L, and LL, and 5 corresponding to each viewpoint is provided in an area corresponding to one pixel of the
[0045]
In FIG. 6, scanning is performed in the direction of the thick arrow in the figure (information of the
[0046]
Considering the rightmost viewpoint, since the drawing position shift amount is +4, image information is set in a pixel belonging to the right side of P1 by four lens pitches, that is, an area belonging to P5. The region belonging to P5 in the
[0047]
If an image corresponding to five viewpoints is drawn on the basis of the pixel P1, next, images for the five viewpoints are similarly drawn on the pixel P2. Similarly, P3 and P4 are sequentially processed in the right direction on the screen. Continue.
[0048]
As described above, when values are sequentially set in the
[0049]
Considering an image viewed from the viewpoint on the right side of the temporary viewpoint V, the image information on the near side (close to the temporary viewpoint V) is drawn at a position shifted to the left side, and the image information at the back side is drawn at a position shifted to the right side. The That is, for images that can be set at the same point in the stereoscopic image, it can be said that the image information derived from the right side in the temporary viewpoint image is image information derived from the pixels having the
[0050]
On the other hand, if an overlap setting occurs in the stereoscopic subpixel corresponding to the viewpoint on the left side of the temporary viewpoint V (left viewpoint 2-2 (L), leftmost viewpoint 2-1 (LL)), A value derived from the left pixel in the viewpoint image may be set. Therefore, when the temporary viewpoint image is scanned from left to right, it is not overwritten on the subpixels of the left viewpoint and the leftmost viewpoint once set.
[0051]
For example, in FIG. 6, in sub-pixel RR2 (sub-pixel corresponding to rightmost viewpoint 2-5), b2 derived from pixel P2 is once set, and then the value of b4 derived from pixel P4 is overwritten. The Also, for example, in the stereoscopic subpixel LL3 (subpixel corresponding to the leftmost viewpoint 2-1), after b3 derived from the pixel P3 is set, the rendering corresponding to the leftmost viewpoint 2-1 of the pixel P5 It turns out that the destination is LL3. However, since b3 is set first, b5 derived from the pixel P5 is not overwritten and b3 is adopted.
[0052]
With this method, even if scanning is completed, subpixels whose values are not set (missed) are generated on the
[0053]
The missing subpixel is complemented in accordance with the information of the pixel having the
[0054]
Specifically, when complementing a subpixel belonging to a viewpoint on the right side of the temporary viewpoint V (right viewpoint 2-4, rightmost viewpoint 2-5), the value of the right side of the subpixel in the viewpoint video is set. It complements with the image information of the pixel of the temporary viewpoint image to which the image information set to the nearest subpixel among the set subpixels belongs. This is because, as described above, in the image viewed from the viewpoint on the right side of the temporary viewpoint V, the object in the front is shifted to the left with respect to the object in the back (the object in the back is the object in the front. This is because the data on the right side is always on the far side rather than the data on the left side of the missing portion in the viewpoint video on the right side of the temporary viewpoint V). Similarly, when subpixels belonging to the left viewpoint (left viewpoint 2-2, leftmost viewpoint 2-1) of the temporary viewpoint V are complemented, the value on the left side of the subpixel is set in the viewpoint video. Of the subpixels, the pixel information of the temporary viewpoint image to which the image information set to the nearest subpixel belongs is supplemented.
[0055]
For example, in FIG. 7, a case is considered in which a subpixel R4 (corresponding to the right viewpoint 2-4) for which a value has not been set when the above-described scanning is completed is complemented. In the right viewpoint image 20-4, the subpixel having the closest value on the right side of R4 is the subpixel R6. Therefore, the subpixel R4 is complemented with the value of the green element g6 of the pixel P6 to which the value b6 set to the subpixel R6 belongs (because the subpixel R4 is a green subpixel).
[0056]
However, as shown in FIG. 7, when the left and right ends of each viewpoint video are missing, that portion (for example, sub-pixels R8 and R9 in the right viewpoint video 20-4 or the left viewpoint image 20-2). The sub-pixel L1) cannot be complemented. This is because, for example, subpixels R8 and R9 do not have data on the right side. In addition, the complement of the screen edge such as the subpixels R1, L8, and L9 complements a portion having no information outside the range of the temporary viewpoint image, and thus there is a possibility that a sense of incongruity may occur in the stereoscopic video. This problem can be solved by drawing an image wider on the left and right sides than the
[0057]
As described above, in order to generate the
[0058]
Next, functions according to the present embodiment will be described. FIG. 8 is a diagram illustrating an example of functional blocks of the present embodiment. The functional block according to the present embodiment includes an
[0059]
The
[0060]
The
[0061]
The
[0062]
The temporary viewpoint
[0063]
The stereoscopic
[0064]
At this time, a value belonging to a pixel having a smaller depth value in the temporary viewpoint image is set to the subpixel in which a plurality of values are set to be overlapped. Specifically, for example, in the case of a subpixel corresponding to a viewpoint on the right side of the temporary viewpoint V, a value set later is always overwritten, and a subpixel corresponding to a viewpoint on the left side of the temporary viewpoint V is set. In the case of, the value set first is adopted. Overlap does not occur for subpixels corresponding to viewpoints that coincide with the provisional viewpoint V.
[0065]
In addition, the stereoscopic
[0066]
Furthermore, the stereoscopic
[0067]
For example, when the value of the sub-pixel R4 corresponding to the right viewpoint 2-4 is complemented, the sub-pixel corresponding to the right viewpoint 2-4 on the right side of the sub-pixel R4 in the setting
[0068]
On the other hand, when no value is set for the sub-pixels for the viewpoints on the left side of the temporary viewpoint V (the left viewpoint 2-2 and the leftmost viewpoint 2-1), in the setting
[0069]
The processing of the
[0070]
The
[0071]
The
[0072]
The
[0073]
Next, operations related to the stereoscopic image generation processing in the present embodiment will be described based on the flowchart shown in FIG. In FIG. 10, a process related to the generation and display of a stereoscopic image for one line will be described.
[0074]
First, the temporary viewpoint
[0075]
Next, the stereoscopic
[0076]
Next, an example of a hardware configuration capable of realizing the present embodiment will be described with reference to FIG. In the apparatus shown in the figure, a
[0077]
The
[0078]
The
[0079]
In accordance with a program stored in the
[0080]
Furthermore, this apparatus is provided with a
[0081]
Various processes described with reference to FIGS. 1 to 9 are realized by the
[0082]
The
[0083]
FIG. 12 shows an example in which the present embodiment is applied to a game apparatus including a
[0084]
In this case, the
[0085]
For example, the
[0086]
As described above, according to the present invention, in order to generate the
[0087]
The present invention is not limited to the one described in the above embodiment, and various modifications can be made. For example, in the above embodiment, the
[0088]
In the above embodiment, the case where a stereoscopic image is displayed on a color liquid crystal display having an rgb vertical stripe configuration has been described. However, the application of the present invention is not limited to this. For example, monochrome (monochrome) The present invention is also applicable when displaying on a liquid crystal display.
[0089]
In the above embodiment, the generation of a stereoscopic image for displaying a five-eye stereoscopic image has been described. However, the present invention is not limited to this, for example, a two-eye type, a three-eye type. It may be a four-eye type, and is applicable to a six-eye type, a seven-eye type,.
[0090]
In the above embodiment, parallax information is stored as depth information. However, a numerical value representing another depth is stored, and a drawing position shift amount is calculated and determined from the numerical value. Also good.
[0091]
Further, for example, when setting the value of the subpixel for the viewpoint on the right side of the temporary viewpoint V in the stereoscopic image, the
[0092]
For example, the position (depth value) of the
[0093]
In addition, the stereoscopic image generation apparatus can input, for example, image data having depth information for each pixel from the outside of the stereoscopic image generation apparatus, or input of depth information for each pixel of the image data and the image data. Therefore, it is possible to generate a stereoscopic image by performing the above-described processing on the input image.
[0094]
【The invention's effect】
According to the present invention, there is no need to draw as many images as the number of viewpoints as in the conventional case when images must be drawn and generated in real time, such as game images, and only images for one viewpoint are used. Therefore, regardless of the number of viewpoints, the processing load related to image drawing is the same as that for generating a planar view image. Therefore, stereoscopic video display corresponding to a plurality of viewpoints of the game image can be easily realized.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a relationship between an object arranged in a game space, a viewpoint, and a projection plane.
FIG. 2 is a diagram illustrating an example of a temporary viewpoint image.
FIG. 3 is a diagram illustrating an example of depth value data corresponding to each pixel of a temporary viewpoint image.
FIG. 4 is a diagram illustrating a relationship between a stereoscopic image and each viewpoint video.
FIG. 5 is a diagram illustrating an example of an image viewed from a temporary viewpoint V, a right viewpoint, and a left viewpoint.
FIG. 6 is a diagram illustrating an example of setting stereoscopic image information.
FIG. 7 is a diagram illustrating an example of each viewpoint view video.
FIG. 8 is a diagram illustrating an example of functional blocks according to the present embodiment;
FIG. 9 is a diagram illustrating an example of setting pixel data.
FIG. 10 is a flowchart illustrating an example of an operation of stereoscopic image generation processing in the present embodiment.
FIG. 11 is a block diagram illustrating an example of a hardware configuration that can implement the exemplary embodiment.
FIG. 12 is a diagram illustrating an example when the present embodiment is applied to a game terminal connected to a host device via a communication line.
[Explanation of symbols]
10 Operation part
200 processor
210 Game operation part
220 Temporary viewpoint image generator
230 Stereoscopic image generator
30 Display section
500 storage unit
502 Game program
504 Stereoscopic image generation program
600 Temporary storage
602 Temporary viewpoint image line buffer
604 Z buffer
606 Stereoscopic line buffer
608 Setting pixel data
Claims (5)
前記仮想空間を一の仮視点から見た仮視点画像として、前記立体視画像よりも大きい画像を、前記仮視点画像における画素毎の前記仮視点からの奥行情報をZバッファに記憶させつつ生成する仮視点画像生成手段、 As a temporary viewpoint image when the virtual space is viewed from one temporary viewpoint, an image larger than the stereoscopic image is generated while storing depth information from the temporary viewpoint for each pixel in the temporary viewpoint image in the Z buffer. Provisional viewpoint image generation means,
前記仮視点と前記複数の視点それぞれとの位置関係と、前記Zバッファに記憶された奥行情報とに基づいて、前記仮視点画像生成手段により生成された仮視点画像の画素情報から前記複数の視点それぞれに対応する画像を生成することにより、前記立体視画像を生成する立体視画像生成手段、 Based on the positional relationship between the temporary viewpoint and each of the plurality of viewpoints and the depth information stored in the Z buffer, the plurality of viewpoints from the pixel information of the temporary viewpoint image generated by the temporary viewpoint image generation unit. Stereoscopic image generation means for generating the stereoscopic image by generating images corresponding to the respective images;
として前記コンピュータを機能させるとともに、 As the computer functions as
前記立体視画像生成手段が、前記立体視画像に画素情報が設定されない欠落部分が生じた場合には、その欠落部分の周囲の画素情報に基づいて、その欠落部分の画素情報を補完する、ように前記コンピュータを機能させるためのプログラム。 The stereoscopic image generation means complements the pixel information of the missing portion based on the pixel information around the missing portion when a missing portion where no pixel information is set occurs in the stereoscopic image. A program for causing the computer to function.
前記仮視点画像生成手段が、前記仮視点画像として、前記立体視画像より少なくとも横方向が長い画像を生成し、 The temporary viewpoint image generation means generates an image having at least a lateral direction longer than the stereoscopic image as the temporary viewpoint image,
前記立体視画像生成手段が、前記欠落部分に対応する視点が前記複数の視点のうち前記仮視点より右側の視点であれば、当該欠落部分の右側に近接する画素情報から当該欠落部分の画素情報を補完し、左側の視点であれば、当該欠落部分の左側に近接する画素情報から当該欠落部分の画素情報を補完する、 If the viewpoint corresponding to the missing part is a viewpoint on the right side of the temporary viewpoint among the plurality of viewpoints, the stereoscopic image generating unit determines pixel information of the missing part from pixel information adjacent to the right side of the missing part. If the left viewpoint, the pixel information of the missing portion is complemented from the pixel information adjacent to the left side of the missing portion,
ように前記コンピュータを機能させるためのプログラム。 Program for causing the computer to function.
前記仮視点からの奥行値の基準を、前記ゲーム空間中を移動する前記一のキャラクタの位置に設定する基準奥行設定手段として前記コンピュータを機能させ、 Causing the computer to function as reference depth setting means for setting the reference of the depth value from the temporary viewpoint to the position of the one character moving in the game space;
前記立体視画像生成手段が、前記基準奥行設定手段により設定された基準の奥行値を前記立体視画像における奥行の規定位置として前記立体視画像を生成するように前記コンピュータを機能させる、 The stereoscopic image generating means causes the computer to function so as to generate the stereoscopic image with the reference depth value set by the reference depth setting means as a specified position of the depth in the stereoscopic image;
ためのプログラム。 Program for.
前記仮想空間を一の仮視点から見た仮視点画像として、前記立体視画像よりも大きい画像を、前記仮視点画像における画素毎の前記仮視点からの奥行情報をZバッファに記憶させつつ生成する仮視点画像生成手段と、 As a temporary viewpoint image when the virtual space is viewed from one temporary viewpoint, an image larger than the stereoscopic image is generated while storing depth information from the temporary viewpoint for each pixel in the temporary viewpoint image in the Z buffer. Provisional viewpoint image generation means;
前記仮視点と前記複数の視点それぞれとの位置関係と、前記Zバッファに記憶された奥行情報とに基づいて、前記仮視点画像生成手段により生成された仮視点画像の画素情報から前記複数の視点それぞれに対応する画像を生成することにより、前記立体視画像を生成する立体視画像生成手段と、 Based on the positional relationship between the temporary viewpoint and each of the plurality of viewpoints and the depth information stored in the Z buffer, the plurality of viewpoints from the pixel information of the temporary viewpoint image generated by the temporary viewpoint image generation unit. Stereoscopic image generation means for generating the stereoscopic image by generating images corresponding to the respective images;
を備えるとともに、 With
前記立体視画像生成手段は、前記立体視画像に画素情報が設定されない欠落部分が生じた場合には、その欠落部分の周囲の画素情報に基づいて、その欠落部分の画素情報を補完する、 The stereoscopic image generation means supplements the pixel information of the missing portion based on the pixel information around the missing portion when a missing portion in which pixel information is not set in the stereoscopic image occurs.
立体視画像生成装置。 Stereoscopic image generation device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001397245A JP4034964B2 (en) | 2001-12-27 | 2001-12-27 | Program, information storage medium, and stereoscopic image generation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001397245A JP4034964B2 (en) | 2001-12-27 | 2001-12-27 | Program, information storage medium, and stereoscopic image generation apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003196682A JP2003196682A (en) | 2003-07-11 |
JP4034964B2 true JP4034964B2 (en) | 2008-01-16 |
Family
ID=27603104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001397245A Expired - Fee Related JP4034964B2 (en) | 2001-12-27 | 2001-12-27 | Program, information storage medium, and stereoscopic image generation apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4034964B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006195415A (en) | 2004-12-13 | 2006-07-27 | Fujitsu Ten Ltd | Display apparatus and display method |
RU2407224C2 (en) * | 2005-04-19 | 2010-12-20 | Конинклейке Филипс Электроникс Н.В. | Depth perception |
JP5036253B2 (en) * | 2005-08-31 | 2012-09-26 | 株式会社東芝 | Method, apparatus and program for creating element image array for 3D image display |
JP2007086379A (en) | 2005-09-21 | 2007-04-05 | Fujitsu Ten Ltd | On-vehicle liquid crystal display device |
JP2007083858A (en) | 2005-09-21 | 2007-04-05 | Fujitsu Ten Ltd | On-vehicle display device |
JP2007086381A (en) | 2005-09-21 | 2007-04-05 | Fujitsu Ten Ltd | Liquid crystal display |
JP2007145158A (en) | 2005-11-28 | 2007-06-14 | Fujitsu Ten Ltd | On-vehicle display device, and its display control method |
JP2007283873A (en) | 2006-04-14 | 2007-11-01 | Fujitsu Ten Ltd | Display device and on-vehicle display device |
KR101207690B1 (en) | 2011-03-23 | 2012-12-04 | 한양대학교 산학협력단 | Method and apparatus for providing stereoscopic image service based on slanted barrier |
-
2001
- 2001-12-27 JP JP2001397245A patent/JP4034964B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003196682A (en) | 2003-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6443654B2 (en) | Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof | |
KR100445209B1 (en) | Image processing system and image conversion processor for generating input images into at least one output image through parallax conversion | |
JP3852934B2 (en) | Image processing system, program, and information storage medium | |
JP6277544B2 (en) | Stereoscopic image display device and terminal device | |
JP4629838B2 (en) | Stereoscopic image generation apparatus and stereoscopic image generation method | |
WO2010084724A1 (en) | Image processing device, program, image processing method, recording method, and recording medium | |
KR20170017587A (en) | Method and apparatus of light filed rendering for plurality of user | |
JP2007020179A (en) | Stereoscopic video image display device and 3d video image-stereoscopic video image converter | |
JP2002092656A (en) | Stereoscopic image display device and image data displaying method | |
JP4034964B2 (en) | Program, information storage medium, and stereoscopic image generation apparatus | |
JP2009163724A (en) | Graphics interface, method for rasterizing graphics data and computer readable recording medium | |
JP2008244835A (en) | Device and method for displaying three-dimensional image | |
CN105430369A (en) | Autostereoscopic 3d display device | |
JP2002073003A (en) | Stereoscopic image forming device and information storage medium | |
KR100980298B1 (en) | A method for trasnforming modeled 2d image to 3d image | |
JP2010171628A (en) | Image processing device, program, image processing method, recording method, and recording medium | |
JP2015037282A (en) | Image processing device, image processing method, and program | |
KR20160081029A (en) | Glass-free multiview autostereoscopic display device and method for image processing thereof | |
JP4258236B2 (en) | Stereoscopic image generation device | |
CN112801921A (en) | 3D image processing optimization method and device, storage medium and electronic equipment | |
US20150234196A1 (en) | Image display apparatus, lenticular lens, and image display method | |
KR20060042776A (en) | Liquid crystal display device for having 3-dimentional mode and 2-dimentional mode | |
JP2007044240A (en) | Display device and game machine | |
JP4516188B2 (en) | Image display device | |
JP6604493B2 (en) | Stereoscopic image display device and terminal device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041110 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060116 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071026 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4034964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |