JP4218938B2 - Stereoscopic prints - Google Patents

Stereoscopic prints Download PDF

Info

Publication number
JP4218938B2
JP4218938B2 JP2002370464A JP2002370464A JP4218938B2 JP 4218938 B2 JP4218938 B2 JP 4218938B2 JP 2002370464 A JP2002370464 A JP 2002370464A JP 2002370464 A JP2002370464 A JP 2002370464A JP 4218938 B2 JP4218938 B2 JP 4218938B2
Authority
JP
Japan
Prior art keywords
image
stereoscopic
eye
eye image
printed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002370464A
Other languages
Japanese (ja)
Other versions
JP2004198972A (en
Inventor
茂樹 遠山
篤 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Namco Ltd
Bandai Namco Entertainment Inc
Original Assignee
Namco Ltd
Namco Bandai Games Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namco Ltd, Namco Bandai Games Inc filed Critical Namco Ltd
Priority to JP2002370464A priority Critical patent/JP4218938B2/en
Publication of JP2004198972A publication Critical patent/JP2004198972A/en
Application granted granted Critical
Publication of JP4218938B2 publication Critical patent/JP4218938B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は立体視用印刷物に関する。
【0002】
【背景技術】
従来より、レンチキュラーレンズ(lenticular lens)などの特殊レンズを用いて立体視を実現する方式が知られている。この立体視方式では、視差のついた画像である左目用画像、右目用画像からの像光を、特殊レンズを用いて観者の左目位置、右目位置に導光させて、立体視を実現する。
【0003】
【特許文献1】
特開2002−27505号公報
【0004】
【発明が解決しようとする課題】
しかしながら従来の立体視方式には次のような課題がある。
【0005】
即ち、人間が物体の立体感を感じるのは、(1)左右の目が空間的に離れていることに起因して網膜の結像がずれる両眼視差(視線角度のずれ)、(2)左右の目が内側に向く機能である輻輳(ふくそう)、(3)水晶体の厚さが物体までの距離に応答するピント調整(焦点距離)という3つの生理的機能に起因する。そして人間は、これらの3つの生理的機能である両眼視差、輻輳、ピント調整を脳内で処理して立体感を感じている。
【0006】
そして、これらの3つの生理的機能の関係は、通常、脳内において関連づけられている。従って、この関係に誤差や矛盾が生じると、脳が無理に立体と関連づけようとして、不自然さを感じたり、或いは立体として認知できなかったりする事態が生じる。
【0007】
ところが、従来の立体視方式では、両眼視差や輻輳だけを利用して、立体視を表現していた。このため、ピント(焦点距離)は、立体視用画像(表示画面、印刷面)の面内においてほぼ一定なのに対し、両眼視差や輻輳のずれは、立体視用画像のほとんどの場所において生じており、人間の脳に無理の無い立体視を実現できなかった。
【0008】
また従来の立体視方式では、観者は、立体視用画像が表示される表示画面や立体視用画像が印刷される印刷面を正対して見ることが予定されていた。従って、これらの表示画面や印刷面を、俯瞰視点(表示画面や印刷面に対して視線方向が斜めになる視点)で見ると、視点から見て奥側にある立体視表示物が不自然に見えてしまうという課題がある。
【0009】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、俯瞰視点で見た場合にも適切な立体視を実現できる立体視用印刷物を提供することにある。
【0010】
【課題を解決するための手段】
本発明は、立体視用画像が印刷される印刷物であって、立体視用画像の左目用画像の像光と立体視用画像の右目用画像の像光とを分離して異なる場所に導光する立体視用光学デバイスを含み、前記立体視用光学デバイスは、印刷面を俯瞰する視点から見たときの焦点を、印刷面の手前側領域と奥側領域の両方において印刷面に合わせる光学デバイスである立体視用印刷物に関係する。
【0011】
本発明では、左目用画像(第1の画像)の像光(光束)と、右目用画像(第1の画像に対して視差のある第2の画像)の像光が分離されて、異なる場所(左目視点位置、右目視点位置)に導光される。そして本発明では、印刷面を俯瞰する視点(斜め視線方向)から見たときの焦点が、手前側領域のみならず奥側領域においても印刷面に合うようになる。従って本発明によれば、俯瞰視点から印刷面を見た場合にも、焦点のずれがない適切な立体視を実現できる。
【0012】
なお左目用画像、右目用画像の各々は、視点位置(想定視点位置)が異なる複数の画像でもよい。また手前側領域、奥側領域は、視点から見て手前側、奥側の印刷面領域である。
【0013】
また本発明では、前記立体視用光学デバイスは、印刷面の奥側領域での厚さが、手前側領域での厚さよりも薄いレンズであってもよい。
【0014】
このように奥側領域でのレンズの厚さを薄くすれば、奥側領域での焦点距離が短くなってしまった場合にも、奥側領域での印刷面に焦点を合わせることが可能になる。
【0015】
また本発明では、前記立体視用光学デバイスは、印刷面の奥側領域での曲率半径が、手前側領域での曲率半径よりも大きいレンズであってもよい。
【0016】
このように奥側領域での曲率半径(レンズの長手方向に直交する面で切ったときの断面形状における曲率半径)を大きくすれば、奥側領域の印刷面に焦点を合わせることが可能になる。
【0017】
また本発明では、前記立体視用光学デバイスは、俯瞰視点からの左右視線方向を含む面で切ったときの断面形状が、印刷面の奥側領域と手前側領域とで同じ断面形状になるレンズであってもよい。
【0018】
このようにすれば、俯瞰視点からの左右視線方向(左目視点からの視線方向、右目視点からの視線方向)を含む面で切った時の断面形状の曲率半径などを同じにすることができ、手前側領域のみならず奥側領域においても印刷面に焦点を合わせることが可能になる。
【0019】
また本発明では、前記立体視用画像が、案内図又はメニューの画像であってもよい。
【0020】
なお立体視用画像として表示される画像は、案内図やメニューの画像に限られない。
【0021】
また本発明では、前記立体視用画像が、第2の左目用画像と第2の右目用画像により生成され、前記第2の左目用画像が、第1の左目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の左目用画像に対して施すことで生成され、前記第2の右目用画像が、第1の右目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の右目用画像に対して施すことで生成されていてもよい。
【0022】
本発明によれば、基準面での画像(例えば基準面自体の画像や、基準面に接する部分での物体の画像等)のパースペクティブを無くすための補正処理を行うことで、第1の左目用画像から第2の左目用画像が生成され、第1の右目用画像から第2の右目用画像が生成される。そしてこれらの第2の左目用画像、第2の右目用画像に基づいて、立体視用画像が生成される。これにより、ピント調整や奥行き感の矛盾が少なく、より自然な立体視を実現できる。
【0023】
なお第1の左目用画像は、左目視点位置に設定されたカメラ(実カメラ又は仮想カメラ)を用いて生成でき、第1の右目用画像は、右目視点位置に設定されたカメラ(実カメラ又は仮想カメラ)を用いて生成できる。
【0024】
また本発明では、前記立体視用画像が、左目用画像と右目用画像により生成され、前記左目用画像が、オブジェクト空間内の左目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで生成され、前記右目用画像が、オブジェクト空間内の右目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで生成されていてもよい。
【0025】
このようにすれば、ピント調整や奥行き感の矛盾が少なく、より自然な立体視を実現できる。なお、基準面は、例えば視線方向(左目用視点位置と右目用視点位置の中点と仮想カメラの注視点を結ぶ方向)とは直交しない面である。別の言い方をすれば、視線方向と直交する透視変換スクリーンとは異なる面である。
【0026】
【発明の実施の形態】
以下、本実施形態について説明する。
【0027】
なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0028】
1.印刷物
図1(A)(B)に本実施形態の立体視用印刷物10(以下、適宜、単に印刷物と呼ぶ)の例を示す。なお図1(A)(B)等において、X、Y軸は水平面に平行な軸であり、Z軸は鉛直面に平行な軸である。例えば印刷物10を見る観者(狭義にはプレーヤ)を基準にすると、X軸、Y軸、Z軸は、各々、左右方向、前後方向、上下方向に沿った軸になる。
【0029】
図1(A)に示すように印刷物10には左目用画像(L)、右目用画像(R)により生成される立体視用画像12が印刷されている。別の言い方をすれば印刷物10は立体視用画像12が印刷された印刷媒体(画像記録層、インク層、紙、プラスチック板等)を含む。また印刷物10はレンチキュラーレンズなどの特殊なレンズ20を含む。
【0030】
印刷物10への立体視用画像12の印刷は、レンズ20に直接に立体視用画像12(画像記録層、インク層)を印刷することにより実現してもよい。或いは立体視用画像12を紙やプラスチック板などに印刷し、この紙やプラスチック板をレンズ20に接着することで実現してもよい。また立体視画像の印刷方式は任意であり、オフセット印刷、スクリーン印刷、フレキソグラビア印刷などの種々の方式を利用できる。例えばレンズ20にインクジェット方式で立体視用画像12を印刷してもよい。
【0031】
印刷物10(印刷媒体)に印刷される立体視用画像12(立体視表示物を仮想表示するための最終合成画像。立体視を可能にする画像)は、例えば後述する立体視方式などにより生成される。この立体視用画像12は視差のある左目用画像、右目用画像(視差のある第1、第2の画像)により生成される。また立体視用画像12は、カメラによる実写画像を用いて生成してもよいし、CG(コンピュータグラフィックス)画像を用いて生成してもよい。
【0032】
本実施形態では、このような立体視用画像12を印刷物10に印刷することで、印刷物10の印刷面側の空間(印刷物10の上方の空間)に、立体視表示物SOBが仮想表示される。即ち立体視表示物SOBが、プレーヤの視点から見て、あたかも本物の立体のように浮き上がって見える。この立体視表示物SOBは、印刷面に印刷された表示物(立体視処理された表示物)に対応するものであり、例えばゲームに登場するキャラクタなどのオブジェクト、ビルなどの建物、メニューに表示される商品、或いは実写された人間などを表す表示物である。但し、SOBは現実に印刷面側空間内に実存するわけではない。即ち立体視表示物SOBは、人間の視差による錯覚により、あたかも印刷面側空間に実存するかのように仮想表示(仮想設定、仮想配置)されるものである。
【0033】
なお、印刷物10の代わりに立体視用のディスプレイを用いることもできる。即ちディスプレイの表示画面に立体視用画像を表示して、表示画面側の空間に立体視表示物SOBを仮想表示するようにしてもよい。従って本明細書中においては、「印刷物」「印刷面」という用語は「ディスプレイ」「表示画面」という用語に置き換えることができ、逆に「ディスプレイ」「表示画面」という用語は「印刷物」「印刷面」という用語に置き換えることができる。
【0034】
図1(B)に示すように印刷物10は、レンチキュラーレンズ(レンズアレイ)などの特殊なレンズ20(広義には立体視用光学デバイス、或いは視差のある複数の画像の像光を分離して異なる場所に導光する光学デバイス。明細書中の他の説明でも同様)を備える。即ち立体視用画像12(印刷媒体)の一方側(例えば上側)にレンズ20が設けられる。
【0035】
ここでレンチキュラーレンズは、半円筒形レンズ(蒲鉾型レンズ)を所定ピッチで所定方向(例えばX軸方向)に配列したアレイ、或いはこれと光学的に等価なレンズアレイである。
【0036】
なお本実施形態では立体視表示と2次元表示を自在に切り替える部材(例えば光を拡散するフィルタ)を更に設けてもよい。またレンズ20として、レンチキュラーレンズ以外の特殊レンズを用いてもよい。例えば蠅の目レンズ(複眼レンズ)を用いてもよいし、またそれがインテグラル方式であってもよい。また複数の特殊レンズ(例えば横レンチキュラーレンズ、縦レンチキュラーレンズ)を組み合わせて、立体視を実現してもよい。
【0037】
レンズ20の焦平面となる印刷面には、ストライプ状(縦又は横ストライプ状)の左目用画像(L)、右目用画像(R)が印刷される。即ち左目用画像のピクセル列画像と右目用画像のピクセル列画像が交互に短冊状に配列されて印刷される。この場合のピクセル列画像間のピッチ幅は、レンズ20を構成する半円筒形レンズ(蒲鉾型レンズ)間のピッチ幅の1/2倍(広義には1/(2×N)倍)になる。そして図2に示すように、レンズ20は、これらの左目用画像(第1の画像)の像光(光束)と、右目用画像(第2の画像)の像光とを分離し、異なる場所(EL、ER)に導光する。
【0038】
より具体的には、印刷物10に印刷される左目用画像(L)からの像光は、レンズ20により屈折されて、観者の左目視点EL(左目視点として想定される位置)に導光される。また印刷物10に印刷される右目用画像(R)からの像光は、レンズ20により屈折されて、観者の右目視点ER(右目視点として想定される位置)に導光される。これにより観者の左目、右目に対して、視差のついた左目用画像、右目用画像の像光が入力されるようになり、立体視が実現される。
【0039】
図3に左目用画像LVと右目用画像RVにより生成される立体視用画像の例を示す。例えば左目用画像LVの第1のピクセル(サブピクセル)列画像L1の隣には、右目用画像RVの第1のピクセル列画像R1が配置される。また、R1の隣には、左目用画像LVの第2のピクセル列画像L2が配置され、L2の隣には、右目用画像RVの第2のピクセル列画像R2が配置される。このように左目用画像LV、右目用画像RVのピクセル列画像を交互にストライプ状(短冊状)に所定ピッチで配列することで、立体視用画像が生成される。なおこの場合に2眼式のみならず、3眼式、4眼式などの多眼式方式で立体視表示を行う場合も本発明の範囲に含まれる。
【0040】
2.焦点の補正
さて、これまでの立体視方式では図4(A)に示すように、印刷物10は、その印刷面が鉛直面に平行になるように配置され、観者が、印刷物10を正対して見ることが想定されていた。従って図1(A)に示すように印刷物10を水平面に平行に配置すると、以下のような問題が生じることが判明した。
【0041】
例えば図4(B)に、印刷面を俯瞰する視点VPの左右視点(左目視点EL、右目視点ER)を含む面で、レンズ20(レンズアレイの1列に相当するレンズエレメントLE。明細書中の他の説明でも同様)を切った時の断面形状を示す。図4(B)から明からなように、視点VPから見て手前側の断面形状CVNと奥側の断面形状CVFは異なった形状になる。より具体的には、奥側の断面形状CVFでは手前側の断面形状CVNに比べて、レンズの曲率半径が小さくなる。このため、焦点の位置が印刷面の上側(Z軸の負側)方向にずれてしまう。従って、例えば印刷面の手前側においては焦点が印刷面(立体視用画像が印刷される面)に合ったとしても、印刷面の奥側では焦点が印刷面に合わなくなる。このため、印刷面の奥側領域において、画像の焦点がぼけて見えたり、左目用画像と右目用画像とが混ざり合って見えてしまうなどの事態が生じ、良好な立体視を実現できない。
【0042】
そこで本実施形態では図5に示すように、立体視を実現するレンズ20として、印刷面を俯瞰(鳥瞰)する視点VPから見たときの焦点を、手前側領域のみならず奥側領域においても印刷面に合わせるレンズ(光学デバイス)を採用している。より具体的には、俯瞰視点VPから見たときの焦点を、印刷面の手前側領域から奥側領域に亘って合わせるレンズ(光学デバイス)を採用している。ここで印刷面を俯瞰する視点VPとは、その視線方向が印刷面に対して斜めに方向になる視点である。より具体的には、視点VPからの直線LN(視線方向)と印刷面とのなす角度θが、0度<θ<90度となるような視点である。
【0043】
このような構成のレンズ20を採用すれば、観者が印刷面を俯瞰視点VPで見た場合に、手前側領域のみならず奥側領域においても焦点が合うようになるため、奥側領域において、焦点がぼけて見えたり、左目用画像と右目用画像とが混ざり合って見えてしまうなどの事態を防止できる。これにより、俯瞰視点VPで見た場合に最適な立体視を実現できる。
【0044】
特に本実施形態では、後述するように、印刷面を俯瞰する視点で見た場合にも、ピント調整と両眼視差の関係に矛盾が生じない立体視方式を採用している。従って、この後述する本実施形態の立体視方式と、図5で説明した構成のレンズ20(光学デバイス)とを組み合わせれば、ピント調整と両眼視差の関係に矛盾が生じない画像が、印刷面の手前側から奥側に亘って印刷されるようになり、より自然で実在感のある立体視を実現できる。
【0045】
なお、レンズ20の焦点は、手前側領域と奥側領域において完全に厳密に合っている必要はなく、レンズの解像度などを考慮して、立体視に支障の無い程度に焦点が合っていればよい。また本実施形態の手法を実現する光学デバイスはレンズであることが望ましいが、例えばパララックス・バリア(アパーチャグリル)、プリズム、光変調素子(例えば光の屈折率が場所毎に異なる素子)などの種々の光学デバイスを用いることができる。
【0046】
3.具体例
次に図5の本実施形態の手法を実現するレンズ(光学デバイス)の具体例について説明する。
【0047】
3.1 レンズの厚さによる調整
図6(A)のレンズ20(レンズエレメントLE)は、印刷面の奥側領域での厚さDFが、手前側領域での厚さDNよりも薄いレンズとなっている。このようなレンズ20を用いれば、図5で説明したように、印刷面の手前側領域と奥側領域の両方において印刷面に焦点を合わせることができ、俯瞰視点で見たときに好適な立体視を実現できる。即ち図6(A)のようにレンズ20の厚さ(Z軸方向での厚さ。レンズの底辺から円弧の頂部までの長さ)を設定すれば、図4(B)のように奥側領域での断面形状CVFの曲率半径が大きくなったとしても、厚さDFが短いため、焦点を印刷面上に合わせることができる。そして、レンズ20の厚さをDNからDFに連続的に変化させれば、手前側領域から奥側領域に亘って印刷面に焦点を合わせることが可能になり、俯瞰視点VPで見た場合に最適な立体視を実現できる。
【0048】
なお図6(A)に示すレンズ20は、図6(B)に示すように、蒲鉾型レンズ(半円筒形レンズ、半楕円筒形レンズ)を所定ピッチで所定方向(例えばX軸方向)に並べたレンズアレイの1列に相当するレンズエレメントLEである(他の図面でも同様)。
【0049】
3.2 レンズの曲率半径による調整
図7(A)(B)のレンズ20(レンズエレメントLE)は、印刷面の奥側領域での曲率半径RFが、手前側領域での曲率半径RNよりも大きなレンズになっている。即ち鉛直面で切った時のレンズ20の断面形状における曲率半径が、図7(B)に示すように手前側領域では小さく、奥側領域では大きくなっている。別の言い方をすれば、奥側領域では、レンズ20の円弧が、よりなだらかになっている。
【0050】
図7(A)(B)のようにレンズ20の曲率半径(鉛直面で切ったときの断面形状における曲率半径)を設定すれば、図4(B)のように俯瞰視点VPで見た場合にも、レンズ20の焦点を、手前側領域と奥側領域の両方において印刷面に合わせることができる。そして、レンズ20の曲率半径をRNからRFに連続的に変化させれば、手前側領域から奥側領域に亘って印刷面に焦点を合わせることが可能になり、俯瞰視点VPで見た場合に最適な立体視を実現できる。
【0051】
なお図6(A)のようにレンズ20の厚さを調整する手法と、図7(A)(B)のようにレンズ20の曲率半径を調整する手法の両方を組み合わせて、レンズ20の焦点を印刷面に合わせるようにしてもよい。またレンズの厚さや曲率半径により調整される焦点は、手前側領域と奥側領域において、完全に厳密に合っている必要はなく、立体視に支障が無い程度に焦点が合っていればよい。また手前側領域から奥側領域に亘って焦点を印刷面に合わせるレンズは、例えば半楕円型レンズのアレイを用いて実現することもできる。
【0052】
3.3 レンズの断面形状による調整
図8のレンズ20(レンズエレメントLE)は、俯瞰視点VPからの左右視線方向(左目視点からの視線方向、右目視点からの視線方向)を含む面で切ったときのレンズの断面形状が、印刷面の奥側領域と手前側領域とで同じ断面形状(ほぼ同じ断面形状であればよい)になるレンズとなっている。
【0053】
即ち図8において、CS1、CS2、CS3、CS4、CS5は、俯瞰視点VPからの左右視線方向を含む面(印刷面を斜め方向に切る面。左目視点、右目視点を含む面)に相当する。そして図8では、これらの面CS1、CS2、CS3、CS4、CS5でレンズ20(LE)を切った時の断面形状CV1、CV2、CV3、CV4、CV5が、同じ断面形状(ほぼ同じ断面形状)になっている。即ちレンズ20(LE)は、図8の断面形状CV1、CV2、CV3、CV4、CV5を包絡線で結んだ形状になる。
【0054】
レンズ20を図8のような形状に設定すれば、俯瞰視点VPから見たときの焦点を、手前側領域から奥側領域に亘って印刷面(図8の面SF)に合わせることが可能になる。なぜならば、図8では断面形状CV1〜CV5が同一形状であるため、面CS1、CS2、CS3、CS4、CS5に平行な像光(光束)の焦点は、各々、SF1、SF2、SF3、SF4、SF5の位置に合うようになるからである。従って、レンズ20の焦点が印刷面に理想的に合うようになり、俯瞰視点VPで見た場合に最適な立体視を実現できる。
【0055】
4.印刷物の配置
さて本実施形態の印刷物10は、図9(A)に示すように、その印刷面が水平面に対して平行になるように配置することが望ましい。
【0056】
即ち従来の立体視では図4(A)に示すように、観者が印刷物10を正対して見ることが予定されていた。これに対して本実施形態では後述するように、印刷物10を俯瞰視点で見た場合にも、ピント調整と両眼視差の関係に矛盾が生じない立体視方式を採用している。従って、この後述する本実施形態の立体視方式を用いれば、図9(A)に示すように印刷物10を配置しても、ピント調整と両眼視差の関係に矛盾が生じない実在感のある立体視を実現できることになる。しかも、この際に、図5〜図8で説明した構成のレンズ20(光学デバイス)を用いれば、図9(A)のように俯瞰視点で印刷面を見た場合にも、手前側領域と奥側領域の両方において焦点を印刷面に合わせることができる。従って、図9(A)のように印刷面が水平になるように印刷物10を配置すると共に図5〜図8のようなレンズ20を印刷物10に取り付けることで、ピント調整と両眼視差の関係に矛盾が生じない立体視表示物の画像が、焦点が狂うことなく、印刷面の手前側領域から奥側領域に亘って印刷されるようになる。これにより、自然で実在感のある立体視を実現できる。
【0057】
なお図9(B)に示すように、その印刷面が水平面に対して角度α(例えば0度<α≦45度)をなすように、印刷物10を配置してもよい。
【0058】
また印刷物10に加えて第2の印刷物を設けてもよい。この場合、第2の印刷物は、その印刷面が鉛直面に平行になるように設定配置することができる。
【0059】
なお本実施形態の立体視用印刷物は種々の応用が可能である。例えば電子案内図、電子メニュー、電子広告、写真撮影装置で自販される写真、業務用や家庭用のゲーム装置、携帯型ゲーム装置、携帯電話機、電子手帳、電子辞書、電子百科事典、携帯機器、医療機器、パチンコ装置、メダルゲーム装置、カードゲーム装置、或いはスロットマシーンなどに応用できる。
【0060】
例えば図10(A)に、地図などの案内図の画像を表示する電子案内図に本実施形態の立体視用印刷物を適用した場合の例を示す。図10(A)に示すように、本実施形態によれば、案内図において指標や目印となる建物等が立体視表示されるため、ユーザにわかりやすい電子案内図を提供できる。また前述のように本実施形態では、俯瞰視点の時に好適な立体視を実現できる。従って、図10(A)のような電子案内図に好適な立体視用印刷物を提供できる。
【0061】
また図10(B)に、食べ物、商品などのメニューの画像を表示する電子メニューに本実施形態の立体視用印刷物を適用した場合の例を示す。図10(B)に示すように、本実施形態によれば、メニューに表示される食べ物、商品等が立体視表示されるため、視覚効果や演出効果が高い電子メニューを提供できる。また前述のように本実施形態では、俯瞰視点の時に好適な立体視を実現できる。従って、図10(B)のような街頭に設置したり机の上に置く電子メニューに好適な立体視用印刷物を提供できる。
【0062】
なお本実施形態の印刷物の形状は、図1(A)や図10(A)、(B)に示す形状に限定されない。例えば四角以外の形状にしてもよい。また印刷物10に印刷する画像は、実写により生成した画像でもよいし、CGにより生成した画像でもよい。
【0063】
また例えば印刷物を所与の方向に巻き取る機構を更に設けてもよいし。そして、この巻き取り機構により印刷物を巻き取って印刷面を移動させることで、印刷面側の空間に仮想表示される立体視表示物の種類、配置及び個数の少なくとも1つを変更するようにしてもよい。
【0064】
5.立体視方式の詳細
次に本実施形態の立体視方式の詳細について説明する。本実施形態では以下に説明する2つの方式で立体視を実現している。
【0065】
5.1 第1の立体視方式
図11に本実施形態の第1の立体視方式のフローチャートを示す。
【0066】
まず、立体視のための第1の左目用画像IL1と第1の右目用画像IR1を生成する(ステップS1、S2)。具体的には、左目用視点位置VPLから見える左目用画像IL1と、右目用視点位置VPRから見える右目用画像IR1を生成する。
【0067】
ここで左目用、右目用視点位置VPL、VPRは、図12に示すように、観者(viewer)の左目、右目の位置として想定される位置である。例えば、カメラ(デジタルカメラ)による実写により左目用、右目用画像IL1、IR1を生成する場合には、これらのVPL、VPRの位置にカメラを配置して、左目用、右目用画像IL1、IR1を撮影する。この場合、2台のカメラをVPL、VPRに配置して同時に撮影してもよいし、1台のカメラの位置を変えて撮影してもよい。
【0068】
一方、CG(コンピュータグラフィックス)画像やゲーム画像(リアルタイム動画像)を生成するシステムにより左目用、右目用画像IL1、IR1を生成する場合には、これらのVPL、VPRの位置に仮想カメラを配置して左目用、右目用画像IL1、IR1を生成する。即ち、オブジェクト空間においてVPL、VPRから見える画像を生成する。
【0069】
図13、図14に左目用画像IL1、右目用画像IR1の一例を示す。これらは、カメラ(デジタルカメラ)による実写によりIL1、IR1を生成した場合の例である。基準面(景品などの物体が置かれる載置面)の上には、ミカン、箱、ボールペン、ステープラーなどの種々の物体(狭義には被写体又はオブジェクト。以下の説明でも同様)が配置されている。そして左目用画像IL1は、左目用視点位置VPLにカメラを配置して、物体(注視点、物体の代表点)の方にカメラの視線(方向)を向けて撮影したものである。また右目用画像IR1は、右目用視点位置VPRにカメラを配置して、物体の方にカメラの視線を向けて撮影したものである。そして図13、図14に示すように、これらの左目用、右目用画像IL1、IR1では視線角度(見え方)がずれており、この視線角度のずれによる両眼視差を利用して、立体視が実現される。
【0070】
なお本実施形態では、立体視用画像が表示されるディスプレイの表示画面や印刷物の印刷面に対応する位置の面を、基準面として設定できる。
【0071】
また、CGやゲームの場合には、オブジェクト空間内に設定された基準面の上に、オブジェクト(ミカン、箱、ボールペン、ステープラー等をモデル化したオブジェクト)を配置し、VPL、VPRに仮想カメラを配置する。そして、仮想カメラの視線(方向)をオブジェクト(注視点、オブジェクトの代表点)の方に向けて、仮想カメラから見える画像を生成することで、図13、図14と同様な画像を生成できる。
【0072】
次に図11のステップS3に示すように、基準面BSでの画像のパースペクティブ(perspective)を無くすための補正処理を、ステップS1で得られた第1の左目用画像IL1に施し、第2の左目用画像IL2を生成する。またステップS4に示すように、基準面BSでの画像のパースペクティブ(遠近感)を無くすための補正処理を、ステップS2で得られた第1の右目用画像IR1に施し、第2の右目用画像IR2を生成する。
【0073】
図15、図16に、補正処理により得られた左目用画像IL2、右目用画像IR2の一例を示す。例えば図13、図14では、基準面BSに描かれている長方形RTG(正方形も含む広義の意味の長方形。以下の説明でも同様)にパースペクティブがついている。これに対して図15、図16では、長方形RTGのパースペクティブが無くなっている。
【0074】
ここで、本実施形態におけるパースペクティブを無くす補正処理とは、図18(A)に示すように、基準面BS自体の画像や、基準面に描かれている画像IM1や、物体OB(オブジェクト)の画像のうち基準面BSに接する部分の画像のパースペクティブ(奥行き感)を無くす処理である。即ち図18(A)のB1では、視点から奥側に行くほど、頂点間の距離が狭まるが、図18(A)のB2では、視点から奥側に行っても、頂点間の距離が変わらない。このような補正処理を行うことで、基準面BSの画像については、あたかも真上から見たような画像が生成されるようになる。なお、この補正処理により、パースペクティブが完全に厳密に無くなる必要はなく、立体視に違和感が生じない程度にパースペクティブが無くなればよい。
【0075】
次に図11のステップS5に示すように、第2の左目用画像IL2と第2の右目用画像IR2に基づき、立体視用画像(画像データ)を生成する。より具体的には、IL2(LV)とIR2(RV)とに基づき、図3に示すような処理を行って立体視用画像を生成する。
【0076】
そして、この立体視用画像(実写画像又はCG画像)を、インクジェット方式やレーザプリンタ方式などのプリンタを用いて、印刷媒体(紙、レンズシート)に印刷することで、立体視用印刷物を製造できる。なお、プリンタにより印刷された原盤となる立体視用印刷物を複製することで、立体視用印刷物を製造してもよい。このようにすれば、立体視用印刷物を短期間で大量に製造できるという利点がある。
【0077】
また立体視用画像を、表示装置(画像生成装置)のディスプレイに表示すれば、表示画像(動画像)のリアルタイム生成などが可能になる。
【0078】
図17に、図15、図16の左目用、右目用画像IL2、IR2を重ねて合成した画像を示す。
【0079】
この図17の画像は、左目用画像IL2(IL)と右目用画像IR2(IR)を含む。そして左目用画像IL2と右目用画像IR2は、各々、基準面BSに配置された物体OBの画像を含む。また基準面BSの画像も含む。
【0080】
そして図19のA1に示すように、左目用画像IL2の物体画像と右目用画像IR2の物体画像は、基準面BSの位置において一致している(但し必ずしも完全に一致している必要はない)。即ち、左目用画像IL2の物体画像の印刷位置(表示位置)と右目用画像の物体画像IR2の印刷位置(表示位置)が、基準面BSにおいて一致している。
【0081】
一方、図19のA2に示すように、基準面BSから離れるほど左目用画像IL2の物体画像と、右目用画像IR2の物体画像のずれが大きくなっている。より具体的には、物体OBの部分のうち基準面BSから上方に位置する部分の画像ほど、左目用画像IL2での印刷位置(表示位置)と、右目用画像IR2での印刷位置(表示位置)とがずれている。
【0082】
さて、これまでの立体視では図18(B)に示すように、立体視用の印刷物PM(或いは立体視用のディスプレイ。以下の説明でも同様)を、その印刷面が鉛直面に対して平行になるように配置し、観者が、印刷物PM(印刷面)を正対して見ることが想定されていた。このため、例えば図15、図16のような左目用、右目用画像IL1、IR1に何ら補正処理を行うことなく、立体視用画像を生成して、印刷物PMに印刷していた。そして、図15、図16の画像ではパースペクティブが残っているため、図18(B)のように印刷物PMを正対して見た場合に、遠近感に関する限りは、正しい画像になる。
【0083】
しかしながら図18(B)のように観者が印刷物PMを正対して見た場合に、ピント(焦点距離)については、印刷面の全面において同一になってしまう。従って、人間の脳内において、ピント調整と、両眼視差、輻輳との関係に矛盾や誤差が生じてしまう。従って、脳が無理に立体と関連づけようとして、不自然さを感じたり、立体として認知できなくなってしまう。また、従来の方式で作成された画像を印刷する印刷物PMを、水平面に平行になるように机に配置して見てしまうと、奥行き感に矛盾が生じ、不自然な立体視になってしまう。即ち図15、図16の長方形RTGは、高さが零の平面であり、この長方形RTGが立体に見えてはいけないからである。
【0084】
そこで本実施形態では、図18(C)に示すように、印刷物PMを、観者が机(水平面に平行な基準面BS)の上に配置して見ることを想定するようにしている。即ち、このような配置が本方式のデフォルトの配置となる。そして、このように水平面に平行に印刷物PMを配置した場合に、図13、図14の画像をそのまま合成して立体視用画像を生成し、印刷物PMに印刷すると、遠近感に矛盾が生じる。
【0085】
そこで本実施形態では図15、図16、図18(A)で説明したように、基準面の画像のパースペクティブを無くす補正処理を行う。そして基準面でのパースペクティブを無くした補正後の図15、図16の画像に基づいて、立体視用画像を生成し、生成された立体視用画像が印刷された印刷物PMを図18(C)のように水平面に平行に配置すれば、基準面の画像(長方形RTG)には適正なパースペクティブがつくようになる。また、図18(C)のように配置すれば、印刷物PMの印刷面上の各点の焦点距離が同一ではなく異なるようになる。このため、ピント調整についても現実世界のピント調整と近いものになる。従って、ピント調整と、両眼視差や輻輳との間の関係のずれも軽減され、より自然で、実在感のある立体視を実現できる。
【0086】
なお、本実施形態の立体視方式では、物体の高さが高い場合に奥行き感等にずれが生じる可能性がある。このような場合には例えば図20に示すように、2つの基準面BS1、BS2(広義には複数の基準面)を設ければよい。
【0087】
ここで基準面BS1は例えば水平面に平行な面である。一方、基準面BS2は、基準面BS1と所定の角度(例えば直角)をなす面である。そして、基準面BS1、BS2は境界BDにおいて連結されている。
【0088】
物体OB(オブジェクト)は、基準面BS1の上方で且つ基準面BS2の手前側(VPL、VPR側)に配置する。そして図11の代わりに図21に示す処理を行う。
【0089】
図21のステップS11、S12は、図11のステップS1、S2と同様である。そしてステップS13では、基準面BS1でのパースペクティブを無くすための補正処理を、左目用画像IL1の基準面BS1に対応する領域(IL1のうち境界BDを基準にしてBS1側の第1の領域)に対して施す。また、基準面BS2でのパースペクティブを無くすための補正処理を、IL1の基準面BS2に対応する領域(IL1のうち境界BDを基準にしてBS2側の第2の領域)に対して施す。そして、これらの補正処理により生成された画像を繋げた画像である左目用画像IL2を生成する。
【0090】
またステップS14では、基準面BS1でのパースペクティブを無くすための補正処理を、右目用画像IR1の基準面BS1に対応する領域(IR1のうち境界BDを基準にしてBS1側の第1の領域)に対して施す。また、基準面BS2でのパースペクティブを無くすための補正処理を、IR1の基準面BS2に対応する領域(IR1のうち境界BDを基準にしてBS2側の第2の領域)に対して施す。そして、これらの補正処理により生成された画像を繋げた画像である右目用画像IR2を生成する。
【0091】
そして最後にステップS15のように、IL2、IR2に基づき立体視用画像を生成する。そして、得られた立体視用画像を、印刷媒体に印刷して立体視用印刷物を製造したり、ディスプレイに表示する。
【0092】
このようにすることで図22に示すように、OBが、基準面BS1からの高さが高い物体である場合にも、より自然で、実在感のある立体視を実現できる。即ち、物体OBの足下付近の領域(境界BSの下側の第1の領域)では、基準面BS1を利用した立体視の処理により、奥行き感やピント調整に無理の無い立体視を実現できる。一方、それ以外の領域(境界BSの上側の第2の領域)では、基準面BS2を利用した立体視の処理により、奥行き感に無理の無い立体視を実現できる。
【0093】
なお、基準面は2つに限定されず、3つ以上の基準面(連結された複数の基準面)を用いてもよい。
【0094】
5.2 第2の立体視方式
図23に本実施形態の第2の立体視方式のフローチャートを示す。前述の図11の方式は、カメラにより実写した画像を用いて立体視用画像を生成するのに最適な方式であるのに対して、図23の方式は、CG画像を用いて立体視用画像を生成するのに最適な方式である。
【0095】
まず、左目用視点位置VPLとオブジェクトOBの各点を結ぶ投影方向で、基準面BS(BS1又はBS2)にOBの各点を投影して基準面BSにレンダリングし、左目用画像ILを生成する(ステップS21)。
【0096】
次に、右目用視点位置VPRとオブジェクトOBの各点を結ぶ投影方向で、基準面BS(BS1又はBS2)にOBの各点を投影して基準面BSにレンダリングし、右目用画像IRを生成する(ステップS22)。なお、基準面BSは、例えば視線方向(視点位置と注視点を結ぶ方向)に直交しない面である。即ち、基準面BSは、視線方向に常に直交する透視投影スクリーンとは異なる面である。
【0097】
ステップS21、S22の処理では、VPL(或いはVPR)からオブジェクトOBの方に向かって仮想的な光を投射し、その光を用いて、OBの画像を基準面BS(BS1又はBS2)である仮想紙に焼き付けるようにして、仮想紙にレンダリングする。これにより、図24(A)に示すように、オブジェクトOBの点P1、P2、P3、P4の画像(色等のプロパティ)が、基準面BS上の投影点P1’、P2’、P3’、P4’にレンダリングされる。なお、基準面BS上の点P5、P6の画像については、そのまま、その点P5、P6の位置にレンダリングされる。そして例えば図24(B)に示すように、基準面BS(仮想紙)の全面をラスタスキャンするようにレンダリングすることで、図15、図16のIL2、IR2と同様の左目用画像IL、右目用画像IRを生成できる。即ち、基準面の画像のパースペクティブが無くなった左目用、右目用画像IL、IRを生成できる。
【0098】
そして、これらの左目用、右目用画像IL、IR(LV、RV)に基づき、図3に示すような処理を行って立体視用画像を生成する(ステップS23)。そして、得られた立体視用画像を、印刷媒体に印刷して立体視用印刷物を製造したり、ディスプレイに表示する。
【0099】
そして例えば図24(C)に示すように印刷物PM(或いはディスプレイ)を水平面(基準面)に平行になるように配置して見ることで、より自然で実在感のある立体視を実現できる。
【0100】
例えば図25(A)では、オブジェクトOBを透視投影スクリーンSCR(視線方向に直交する面)に透視投影して左目用画像、右目用画像を生成している。そして、得られた左目用画像、右目用画像を合成して立体視用画像を生成する。そして図25(B)に示すように、観者は、印刷物PMに正対して印刷面を見ることになる。
【0101】
この図25(A)の方式では、オブジェクトOBの点P2、P3は、投影投影スクリーンSCR上の点P2”、P3”に投影される。そして、印刷物PMを図25(B)のように正対して見ることになるため、P2”、P3”の焦点距離差L2が0になってしまう。即ち、実際の点P2、P3の焦点距離差L1は0ではないのに、L2が0となるため、ピント調整が実際のものと異なってしまう。従って、ピント調整と両眼視差の関係に矛盾が生じ、人間の脳に混乱が生じ、違和感のある立体視になってしまう。
【0102】
これに対して本実施形態では、印刷物PMを図24(C)に示すように机(水平面)に置いて見ることになるため、図24(A)に示すように、点P2’、P3’の焦点距離差L2は、実際の点P1、P2の焦点距離差L1と同様に、0ではない。従って手前の部分(点P2)は手前に見え、奥にある部分(点P3)は奥に見えるようになるため、ピント調整と両眼視差の関係に矛盾が生じず、人間の脳に混乱が生じないため、より自然な立体視を実現できる。
【0103】
即ち本実施形態は、印刷物PMを机に置いて斜めから見る方式であるため、机の面と、立体視の対象となるオブジェクトOBが載っている基準面BS(零面)とは、同一面となり、現実的であり、立体視に無理が生じない。そして、オブジェクトOBが、基準面BS(零面)に対して、数センチメートルだけ浮き上がって見える様子を表現できればよいため、奥行き方向についての矛盾はほとんど生じない。しかも、基準面BSが机の面であるため、あたかも机の上に本当に立体の物体が配置されているかのように見え、物体の実在感が向上する。即ち従来の図25(A)、(B)の方式では、基準面があやふやであるため、立体感は確かにあるが、物体の実在感が幻のようにしかならなかったのである。
【0104】
なお、図23の方式においても、図20で説明したように、複数の基準面を設定して立体視用画像を生成してもよい。この場合には、図23のステップS21、S22において、基準面BS1に投影される点については基準面BS1にレンダリングし、基準面BS2に投影される点については基準面BS2にレンダリングすればよい。
【0105】
5.3 視点位置の設定
次に視点位置の設定手法について説明する。
【0106】
図12、図20の左目用、右目用視点位置VPL、VPRは、立体視用印刷物や立体視用表示画面を観者が実際に見る時の観者の左目、右目の想定位置に基づいて配置することが望ましい。例えば図12、図20において、物体OB(オブジェクト、被写体)と観者の目との間の距離DVB(例えば40cm)、視線角度θ(視線方向SL)、両眼間の距離DLR(例えば7cm)に基づいて、左目用、右目用視点位置VPL、VPRを設定する。
【0107】
但し、縮小表示や拡大表示を行う場合には、縮小率や拡大率に応じてVPL、VPRの位置を移動させる。この場合には図26に示すような手法で視点位置を移動させることが望ましい。
【0108】
例えば物体OB(被写体、オブジェクト)と視点位置(VPLとVPRの中点CP)と間の距離DVBを長くした場合には、その長さの変化(比)に応じて、左目用視点位置VPLと右目用視点位置VPRとの間の距離DLRを長くする。即ち例えばDVBの長さの変化に比例してDLRを長くする。
【0109】
また物体OB(被写体、オブジェクト)と視点位置(VPLとVPRの中点CP)との間の距離DVBを変化させる場合に、基準面BSに対して所定の角度θをなす直線LN(視線方向)に沿って移動するように、視点位置(中点CP、VPL、VPR)を移動させる。
【0110】
このようにすることで、VPL、VPRを移動させた場合にも、距離DVBや距離DLRが等倍比で変化するようになるため、立体感に破綻が生じる事態を防止できる。これにより、適正な立体感を維持しながら縮小表示や拡大表示を実現できるようになる。
【0111】
5.4 画像生成装置
図27に、立体視用画像を生成(表示)する画像生成装置(表示装置)のブロック図の例を示す。なお、画像生成装置は、図27の構成要素(各部)を全て含む必要はなく、その一部を省略した構成としてもよい。
【0112】
この画像生成装置は、ディスプレイの表示画像を生成する装置として用いることができる。また、CG画像により立体視用画像を作成し、立体視用印刷物を作成するための画像生成装置(CGツール)としても用いることができる。また、カメラで撮った実写画像を取り込み、この実写画像により立体視用画像を作成し、立体視用印刷物を作成するための画像生成装置(パーソナルコンピュータ)としても用いることができる。
【0113】
操作部160(レバー、ボタン)は、プレーヤ(観者)が操作データを入力するためのものである。記憶部170(RAM)は、処理部100や通信部196などのワーク領域となるものである。情報記憶媒体180(CD、DVD、HDD、ROMなどのコンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものである。この情報記憶媒体180には、本実施形態の各部としてコンピュータを機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
【0114】
ディスプレイ190は画像を表示するものでり、音出力部192は音声、ゲーム音などの音を出力するものである。携帯型情報記憶装置194は、プレーヤの個人データやゲームのセーブデータなどが記憶されるものである。
【0115】
印刷部195は、立体視用画像を印刷媒体に印刷する処理を行う。この場合の印刷方式としてはインクジェット方式、レーザプリント方式などの種々の方式がある。通信部196は、インターネットなどのネットワークを介して通信を行うための各種の制御を行うものである。この通信部196を用いることで、生成された立体視用画像データをネットワークを介して送信することができる。
【0116】
処理部100(プロセッサ)は、操作部160からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などの各種の処理を行う。この場合、処理部100は、記憶部170内の主記憶部172をワーク領域として使用して、各種の処理を行う。この処理部100の機能は、各種プロセッサ(CPU、DSP等)又はASIC(ゲートアレイ等)などのハードウェアや、プログラム(ゲームプログラム)により実現できる。
【0117】
処理部100は、ゲーム処理部110、画像生成部120、音生成部130を含む。
【0118】
ここでゲーム処理部110は、操作部160(ゲームコントローラ)からの操作データに基づいて種々のゲーム処理を行う。このゲーム処理としては、ゲーム開始条件に基づいてゲームを開始する処理、ゲームを進行させる処理、ゲームに登場するオブジェクト(表示物)を配置する処理、オブジェクトの移動情報(位置、速度、加速度)や動作情報(モーション情報)を求める処理、オブジェクトを表示するための処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了させる処理などがある。
【0119】
画像生成部120は、処理部100で行われる種々の処理の結果に基づいて画像を生成し、ディスプレイ190に出力する。音生成部130は、処理部100で行われる種々の処理の結果に基づいて音処理を行い、BGM、効果音、又は音声などのゲーム音を生成し、音出力部192に出力する。
【0120】
画像生成部120は立体視用画像生成部122を含む。立体視用画像生成部122は、左目用視点位置(左目用仮想カメラ)から見える画像である第1の左目用画像に対して、基準面での画像のパースペクティブを無くすための補正処理を施して、第2の左目用画像を生成する。また、右目用視点位置(右目用仮想カメラ)から見える画像である第1の右目用画像に対して、基準面での画像のパースペクティブを無くすための補正処理を施して、第2の右目用画像を生成する。
【0121】
この場合の補正処理は、テクスチャマッピング部124が図28に示すようなテクスチャマッピング処理を行うことで実現される。
【0122】
即ち、パースペクティブのついたテクスチャ画像TEX(第1の左目用画像、第1の右目用画像)を、長方形(正方形を含む広義の意味の長方形)のポリゴンPLG(プリミティブ面)にマッピングする。具体的には、テクスチャ画像TEXのテクスチャ座標(TX1、TY1)、(TX2、TY2)、(TX3、TY3)、(TX4、TY4)を、ポリゴンPLGの頂点VX1、VX2、VX3、VX4にコーディネートして、テクスチャ画像TEXをポリゴンPLGにマッピングする。これにより、基準面の画像のパースペクティブが無くなった画像を生成できる。そして、このようなテクスチャマッピング処理を、第1の左目用画像、第1の右目用画像のそれぞれについて行うことで、立体視用画像生成のための第2の左目用画像、第2の右目用画像を生成する。
【0123】
なお、立体視用画像生成部122は、左目用視点位置とオブジェクトの各点を結ぶ投影方向で、基準面に対してオブジェクトの各点を投影してレンダリングすることで、左目用画像を生成し、右目用視点位置とオブジェクトの各点を結ぶ投影方向で、基準面に対してオブジェクトの各点を投影してレンダリングすることで、右目用画像を生成してもよい。
【0124】
次に立体視用画像生成部122は、第2の左目用画像(左目用画像)と第2の右目用画像(右目用画像)とに基づいて立体視用画像を生成する。例えば、第2の左目用画像(左目用画像)と第2の右目用画像(右目用画像)を合成して、立体視用画像を生成し、ディスプレイ190や印刷部195に出力する。より具体的には、第2の左目用画像(左目用画像)のピクセル列画像と第2の右目用画像(右目用画像)のピクセル列画像を交互に短冊状に配置することで、立体視用画像を生成し、ディスプレイ190や印刷部195に出力する。そしてレンチキュラーレンズなどの特殊レンズが取り付けられたディスプレイ190により立体視用画像を表示することで、立体視を実現する。また、印刷部195が印刷媒体に立体視用画像を印刷し、この印刷媒体に特殊レンズ(レンチキュラーレンズ)を取り付ける(接着する)ことで、立体視用印刷物を作成する。或いは、印刷媒体として機能する特殊レンズ(レンチキュラーレンズ)に印刷部195が立体視用画像を直接に印刷することで、立体視用印刷物を作成する。
【0125】
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。
【0126】
例えば、明細書又は図面中の記載において広義な用語(光学デバイス、レンズ、観者等)として引用された用語(レンズ、レンチキュラーレンズ、プレーヤ等)は、明細書又は図面中の他の記載においても広義な用語に置き換えることができる。
【0127】
また、左目用画像、右目用画像、立体視用画像の生成手法も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【0128】
また本実施形態で説明した第1、第2の立体視方式と均等な方式で、立体視用画像を生成する場合も本発明の範囲に含まれる。
【0129】
また本発明の表示装置では、第1、第2の立体視方式以外の方式で立体視用画像を生成して、表示或いは印刷してもよい。
【0130】
まず立体視用光学デバイスの構造についても種々の変形実施が可能である。
【0131】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の1の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【図面の簡単な説明】
【図1】図1(A)(B)は本実施形態の立体視用印刷物の例である。
【図2】レンチキュラーレンズの説明図である。
【図3】立体視用画像の説明図である。
【図4】図4(A)(B)は従来の立体視方式の問題点の説明図である。
【図5】手前側領域から奥側領域に亘って印刷面に焦点を合わせる本実施形態の手法の説明図である。
【図6】図6(A)(B)は本実施形態の手法を実現するレンズの一例である。
【図7】図7(A)(B)も本実施形態の手法を実現するレンズの一例である。
【図8】本実施形態の手法を実現するレンズの一例である。
【図9】図9(A)(B)は印刷物の配置手法の説明図である。
【図10】図10(A)(B)は種々の形態の立体視用印刷物の例である。
【図11】第1の立体視方式のフローチャートである。
【図12】第1の立体視方式の説明図である。
【図13】左目用画像IL1の一例である。
【図14】右目用画像IR1の一例である。
【図15】左目用画像IL2の一例である。
【図16】右目用画像IR2の一例である。
【図17】左目用画像と右目用画像を重ね合わせた画像の例である。
【図18】図18(A)(B)(C)はパースペクティブを無くす補正処理の説明図である。
【図19】立体視用画像の特徴の説明図である。
【図20】複数の基準面を設ける手法の説明図である。
【図21】複数の基準面を設ける手法のフローチャートである。
【図22】複数の基準面を設ける手法の説明図である。
【図23】第2の立体視方式の説明図である。
【図24】図24(A)(B)(C)は第2の立体視方式の説明図である。
【図25】図25(A)(B)は従来の方式の説明図である。
【図26】視点位置の設定手法の説明図である。
【図27】画像生成装置(表示装置)の構成例である。
【図28】テクスチャマッピングを用いた補正処理の説明図である。
【符号の説明】
10 立体視用印刷物、20 レンズ(立体視用光学デバイス)、
SOB 立体視表示物、
VPL 左目用視点位置、VPR 右目用視点位置、VP 俯瞰視点、
OB 物体(オブジェクト、被写体)、BS(BS1、BS2) 基準面、
IL1 第1の左目用画像、IR1 第1の右目用画像、
IL2 第2の左目用画像、IR2 第2の右目用画像、
IL 左目用画像、IR 右目用画像、
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereoscopic print.
[0002]
[Background]
Conventionally, a method for realizing stereoscopic vision using a special lens such as a lenticular lens is known. In this stereoscopic viewing method, stereoscopic light is realized by guiding image light from the left eye image and right eye image, which are images with parallax, to the left eye position and right eye position of the viewer using a special lens. .
[0003]
[Patent Document 1]
JP 2002-27505 A
[0004]
[Problems to be solved by the invention]
However, the conventional stereoscopic method has the following problems.
[0005]
That is, humans feel the three-dimensional effect of an object. (1) Binocular parallax (gaze angle shift) in which the retina image is shifted due to spatial separation of the left and right eyes, (2) This is caused by three physiological functions: convergence, which is a function in which the left and right eyes face inward, and (3) focus adjustment (focal length) in which the lens thickness responds to the distance to the object. Humans feel a three-dimensional feeling by processing these three physiological functions, binocular parallax, convergence, and focus adjustment, in the brain.
[0006]
The relationship between these three physiological functions is usually related in the brain. Therefore, if an error or contradiction arises in this relationship, the brain may forcibly associate with the solid, causing a situation where it feels unnatural or cannot be recognized as a solid.
[0007]
However, in the conventional stereoscopic vision system, stereoscopic vision is expressed using only binocular parallax and convergence. For this reason, the focus (focal length) is substantially constant in the plane of the stereoscopic image (display screen, print surface), whereas binocular parallax and convergence shift occur in most places of the stereoscopic image. As a result, it was impossible to achieve a stereoscopic view that was easy on the human brain.
[0008]
In the conventional stereoscopic viewing method, the viewer is expected to face the display screen on which the stereoscopic image is displayed and the printing surface on which the stereoscopic image is printed. Therefore, when these display screens and printing surfaces are viewed from a bird's-eye viewpoint (a viewpoint in which the line-of-sight direction is oblique to the display screen or printing surface), stereoscopic display objects on the back side when viewed from the viewpoint are unnatural. There is a problem of being visible.
[0009]
The present invention has been made in view of the above problems, and an object of the present invention is to provide a stereoscopic printed material that can realize appropriate stereoscopic viewing even when viewed from an overhead viewpoint. .
[0010]
[Means for Solving the Problems]
The present invention is a printed matter on which a stereoscopic image is printed, and the image light of the left-eye image of the stereoscopic image and the image light of the right-eye image of the stereoscopic image are separated and guided to different places. The stereoscopic optical device includes: a stereoscopic viewing optical device, and the stereoscopic viewing optical device is configured to focus on the printing surface in both the front side region and the back side region of the printing surface when viewed from the viewpoint of overlooking the printing surface. This relates to the stereoscopic printed matter.
[0011]
In the present invention, the image light (light beam) of the image for the left eye (first image) and the image light of the image for the right eye (second image having a parallax with respect to the first image) are separated to be different places. Guided to (left eye viewpoint position, right eye viewpoint position). In the present invention, the focal point when viewed from the viewpoint (oblique line-of-sight direction) overlooking the print surface is adjusted to the print surface not only in the front area but also in the back area. Therefore, according to the present invention, even when the print surface is viewed from an overhead viewpoint, it is possible to realize an appropriate stereoscopic view with no focus shift.
[0012]
Each of the left-eye image and the right-eye image may be a plurality of images having different viewpoint positions (assumed viewpoint positions). The near side area and the far side area are print side areas on the near side and the far side as viewed from the viewpoint.
[0013]
In the present invention, the stereoscopic optical device may be a lens in which the thickness in the back side region of the printing surface is thinner than the thickness in the near side region.
[0014]
By reducing the thickness of the lens in the back side region in this way, it is possible to focus on the printing surface in the back side region even when the focal length in the back side region is shortened. .
[0015]
In the present invention, the stereoscopic optical device may be a lens in which the radius of curvature in the back region of the printing surface is larger than the radius of curvature in the near region.
[0016]
Thus, if the radius of curvature in the back region (the radius of curvature in the cross-sectional shape when cut by a surface orthogonal to the longitudinal direction of the lens) is increased, it is possible to focus on the printed surface in the back region. .
[0017]
In the present invention, the stereoscopic optical device is a lens in which a cross-sectional shape when cut along a plane including a left-right viewing direction from the overhead viewpoint is the same cross-sectional shape in the back side region and the near side region of the printing surface. It may be.
[0018]
In this way, the curvature radius of the cross-sectional shape when cut by a plane including the left and right gaze direction from the overhead viewpoint (the gaze direction from the left eye viewpoint, the gaze direction from the right eye viewpoint) can be made the same, It is possible to focus on the printing surface not only in the front side area but also in the back side area.
[0019]
In the present invention, the stereoscopic image may be a guide map or a menu image.
[0020]
The image displayed as the stereoscopic image is not limited to a guide map or menu image.
[0021]
In the present invention, the stereoscopic image is generated by a second left-eye image and a second right-eye image, and the second left-eye image is an image on a reference plane of the first left-eye image. Is generated by performing correction processing for eliminating the perspective of the first left-eye image, and the second right-eye image eliminates the perspective of the image on the reference plane of the first right-eye image. Therefore, the correction processing may be generated by performing correction processing for the first right-eye image.
[0022]
According to the present invention, the correction process for eliminating the perspective of the image on the reference plane (for example, the image of the reference plane itself or the image of the object in the portion in contact with the reference plane) is performed. A second left-eye image is generated from the image, and a second right-eye image is generated from the first right-eye image. Then, a stereoscopic image is generated based on the second left-eye image and the second right-eye image. Thereby, there is little contradiction of focus adjustment and a feeling of depth, and more natural stereoscopic vision can be realized.
[0023]
The first left-eye image can be generated by using a camera (real camera or virtual camera) set at the left-eye viewpoint position, and the first right-eye image is generated by a camera (real camera or virtual camera) set at the right-eye viewpoint position. (Virtual camera).
[0024]
Also, in the present invention, the stereoscopic image is generated by a left-eye image and a right-eye image, and the left-eye image is a projection direction connecting the left-eye viewpoint position in the object space and each point of the object, and the line-of-sight direction Is generated by projecting each point of the object onto a non-orthogonal reference plane and rendering it on the reference plane, and the right-eye image connects the right-eye viewpoint position in the object space and each point of the object. Then, each point of the object may be projected onto a reference plane that is non-orthogonal in the line-of-sight direction and rendered on the reference plane.
[0025]
In this way, there is little contradiction between focus adjustment and a feeling of depth, and more natural stereoscopic vision can be realized. The reference plane is, for example, a plane that is not orthogonal to the line-of-sight direction (the direction connecting the midpoint of the left-eye viewpoint position and the right-eye viewpoint position and the gazing point of the virtual camera). In other words, it is a surface different from the perspective conversion screen orthogonal to the line-of-sight direction.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, this embodiment will be described.
[0027]
In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.
[0028]
1. Printed matter
FIGS. 1A and 1B show an example of a stereoscopic printed material 10 of the present embodiment (hereinafter simply referred to as a printed material as appropriate). In FIGS. 1A and 1B, the X and Y axes are parallel to the horizontal plane, and the Z axis is parallel to the vertical plane. For example, when the viewer (a player in a narrow sense) viewing the printed material 10 is used as a reference, the X axis, the Y axis, and the Z axis are axes along the left-right direction, the front-rear direction, and the up-down direction, respectively.
[0029]
As shown in FIG. 1A, a stereoscopic image 12 generated by a left-eye image (L) and a right-eye image (R) is printed on the printed material 10. In other words, the printed material 10 includes a print medium (an image recording layer, an ink layer, paper, a plastic plate, or the like) on which the stereoscopic image 12 is printed. The printed material 10 includes a special lens 20 such as a lenticular lens.
[0030]
The printing of the stereoscopic image 12 on the printed material 10 may be realized by printing the stereoscopic image 12 (image recording layer, ink layer) directly on the lens 20. Alternatively, the stereoscopic image 12 may be printed on paper or a plastic plate, and the paper or plastic plate may be bonded to the lens 20. The stereoscopic image printing method is arbitrary, and various methods such as offset printing, screen printing, and flexographic gravure printing can be used. For example, the stereoscopic image 12 may be printed on the lens 20 by an inkjet method.
[0031]
A stereoscopic image 12 (final composite image for virtual display of a stereoscopic display object. An image that enables stereoscopic viewing) to be printed on the printed material 10 (print medium) is generated by, for example, a stereoscopic method described later. The The stereoscopic image 12 is generated by a left-eye image with parallax and a right-eye image (first and second images with parallax). Further, the stereoscopic image 12 may be generated using a real image captured by a camera, or may be generated using a CG (computer graphics) image.
[0032]
In the present embodiment, by printing such a stereoscopic image 12 on the printed matter 10, the stereoscopic display object SOB is virtually displayed in the space on the printing surface side of the printed matter 10 (the space above the printed matter 10). . That is, the stereoscopic display object SOB appears to be lifted up as if it were a real solid as viewed from the player's viewpoint. This stereoscopic display object SOB corresponds to a display object (stereoscopically processed display object) printed on the printing surface, and is displayed on an object such as a character appearing in a game, a building such as a building, or a menu, for example. It is a display object representing a product to be taken or a human being photographed. However, the SOB does not actually exist in the printing surface side space. That is, the stereoscopic display object SOB is virtually displayed (virtual setting, virtual arrangement) as if it existed in the print side space by the illusion of human parallax.
[0033]
A stereoscopic display can be used instead of the printed material 10. That is, a stereoscopic image may be displayed on the display screen of the display, and the stereoscopic display object SOB may be virtually displayed in the space on the display screen side. Therefore, in the present specification, the terms “printed material” and “printing surface” can be replaced with the terms “display” and “display screen”, while the terms “display” and “display screen” are “printed material” and “printing”. It can be replaced by the term “face”.
[0034]
As shown in FIG. 1B, the printed matter 10 is different by separating a special lens 20 (stereoscopic optical device in a broad sense, or a plurality of images with parallax) such as a lenticular lens (lens array). An optical device for guiding light to a place (the same applies to other descriptions in the specification). That is, the lens 20 is provided on one side (for example, the upper side) of the stereoscopic image 12 (print medium).
[0035]
Here, the lenticular lens is an array in which semi-cylindrical lenses (saddle-shaped lenses) are arranged at a predetermined pitch in a predetermined direction (for example, the X-axis direction), or a lens array optically equivalent to this.
[0036]
In this embodiment, a member (for example, a filter that diffuses light) that freely switches between stereoscopic display and two-dimensional display may be further provided. As the lens 20, a special lens other than the lenticular lens may be used. For example, a moth-eye lens (compound eye lens) may be used, or an integral system may be used. Further, a stereoscopic view may be realized by combining a plurality of special lenses (for example, a horizontal lenticular lens and a vertical lenticular lens).
[0037]
A left eye image (L) and a right eye image (R) in a stripe shape (vertical or horizontal stripe shape) are printed on a printing surface which is a focal plane of the lens 20. That is, the pixel row image of the left eye image and the pixel row image of the right eye image are alternately arranged in a strip shape and printed. In this case, the pitch width between the pixel array images is ½ times (in the broad sense, 1 / (2 × N) times) the pitch width between the semi-cylindrical lenses (saddle-shaped lenses) constituting the lens 20. . Then, as shown in FIG. 2, the lens 20 separates the image light (light beam) of the image for the left eye (first image) and the image light of the image for the right eye (second image), and places them at different locations. The light is guided to (EL, ER).
[0038]
More specifically, the image light from the left eye image (L) printed on the printed material 10 is refracted by the lens 20 and guided to the viewer's left eye viewpoint EL (position assumed as the left eye viewpoint). The The image light from the right-eye image (R) printed on the printed matter 10 is refracted by the lens 20 and guided to the viewer's right-eye viewpoint ER (position assumed as the right-eye viewpoint). Thereby, the image light of the left-eye image and the right-eye image with parallax is input to the viewer's left eye and right eye, and stereoscopic viewing is realized.
[0039]
FIG. 3 shows an example of a stereoscopic image generated from the left-eye image LV and the right-eye image RV. For example, the first pixel column image R1 of the right-eye image RV is arranged next to the first pixel (sub-pixel) column image L1 of the left-eye image LV. Further, the second pixel column image L2 of the left-eye image LV is arranged next to R1, and the second pixel column image R2 of the right-eye image RV is arranged next to L2. In this way, the pixel image of the left-eye image LV and the right-eye image RV is alternately arranged in stripes (stripes) at a predetermined pitch, thereby generating a stereoscopic image. In this case, the scope of the present invention includes a case where stereoscopic display is performed not only with a twin-lens system but also with a multi-lens system such as a trinocular system and a four-lens system.
[0040]
2. Focus correction
Now, as shown in FIG. 4A in the conventional stereoscopic viewing method, the printed material 10 is arranged so that the printed surface thereof is parallel to the vertical surface, and the viewer views the printed material 10 directly facing. Was assumed. Therefore, as shown in FIG. 1A, it has been found that the following problems occur when the printed matter 10 is arranged in parallel to the horizontal plane.
[0041]
For example, FIG. 4B illustrates a lens 20 (lens element LE corresponding to one row of the lens array) on the surface including the left and right viewpoints (left eye viewpoint EL and right eye viewpoint ER) of the viewpoint VP overlooking the print surface. The same applies to other explanations in FIG. As is clear from FIG. 4B, the cross-sectional shape CVN on the near side and the cross-sectional shape CVF on the far side as viewed from the viewpoint VP have different shapes. More specifically, the radius of curvature of the lens is smaller in the cross-sectional shape CVF on the back side than in the cross-sectional shape CVN on the near side. For this reason, the position of a focus will shift to the upper side (the negative side of the Z axis) direction of the printing surface. Therefore, for example, even if the focus is on the print surface (the surface on which the stereoscopic image is printed) on the near side of the print surface, the focus is not on the print surface on the back side of the print surface. For this reason, in the back side area of the printing surface, a situation occurs such that the image appears out of focus, or the left-eye image and the right-eye image appear to be mixed, and good stereoscopic vision cannot be realized.
[0042]
Therefore, in the present embodiment, as shown in FIG. 5, as a lens 20 that realizes a stereoscopic view, the focus when viewed from the viewpoint VP overlooking the print surface (bird's-eye view) is not only in the near side area but also in the far side area. A lens (optical device) that matches the printing surface is used. More specifically, a lens (optical device) that adjusts the focal point when viewed from the overhead viewpoint VP from the near side region to the far side region of the printing surface is employed. Here, the viewpoint VP overlooking the printing surface is a viewpoint in which the viewing direction is oblique to the printing surface. More specifically, the viewpoint is such that the angle θ formed by the straight line LN (line-of-sight direction) from the viewpoint VP and the print surface satisfies 0 degree <θ <90 degrees.
[0043]
If the lens 20 having such a configuration is adopted, when the viewer looks at the print surface from the overhead viewpoint VP, the focal point is focused not only on the near side area but also on the far side area. Thus, it is possible to prevent such a situation that the image is out of focus or the left-eye image and the right-eye image are mixed and viewed. Thereby, the optimal stereoscopic view can be realized when viewed from the overhead viewpoint VP.
[0044]
In particular, in the present embodiment, as will be described later, a stereoscopic viewing system that does not contradict the relationship between the focus adjustment and the binocular parallax is adopted even when viewed from the viewpoint of looking down at the print surface. Therefore, if the stereoscopic method of the present embodiment, which will be described later, is combined with the lens 20 (optical device) having the configuration described with reference to FIG. 5, an image that does not contradict the relationship between the focus adjustment and the binocular parallax is printed. Printing is performed from the front side to the back side of the surface, and a more natural and realistic stereoscopic view can be realized.
[0045]
The focus of the lens 20 does not have to be perfectly strictly in the near side area and the far side area, and is in focus so long as there is no hindrance to stereoscopic vision in consideration of the resolution of the lens. Good. The optical device that realizes the method of the present embodiment is desirably a lens. For example, a parallax barrier (aperture grill), a prism, a light modulation element (for example, an element having a different refractive index of light for each location), or the like. Various optical devices can be used.
[0046]
3. Concrete example
Next, a specific example of a lens (optical device) that realizes the method of the present embodiment shown in FIG. 5 will be described.
[0047]
3.1 Adjustment by lens thickness
The lens 20 (lens element LE) in FIG. 6A is a lens in which the thickness DF in the back side region of the printing surface is thinner than the thickness DN in the near side region. If such a lens 20 is used, as described with reference to FIG. 5, it is possible to focus on the print surface in both the front side region and the back side region of the print surface, which is a suitable three-dimensional view when viewed from an overhead viewpoint. Visualization can be realized. That is, if the thickness of the lens 20 (thickness in the Z-axis direction; the length from the bottom of the lens to the top of the arc) is set as shown in FIG. 6A, the rear side as shown in FIG. Even if the radius of curvature of the cross-sectional shape CVF in the region increases, the thickness DF is short, so that the focal point can be focused on the printing surface. If the thickness of the lens 20 is continuously changed from DN to DF, it becomes possible to focus on the print surface from the near side region to the far side region, and when viewed from the overhead viewpoint VP. Optimal stereoscopic viewing can be achieved.
[0048]
In addition, as shown in FIG. 6B, the lens 20 shown in FIG. 6A has a saddle type lens (semi-cylindrical lens, semi-elliptical cylindrical lens) in a predetermined direction (for example, the X-axis direction) at a predetermined pitch. This is a lens element LE corresponding to one row of the arranged lens array (the same applies to other drawings).
[0049]
3.2 Adjustment by the curvature radius of the lens
The lens 20 (lens element LE) in FIGS. 7A and 7B is a lens in which the radius of curvature RF in the back region of the printing surface is larger than the radius of curvature RN in the near region. That is, the radius of curvature in the cross-sectional shape of the lens 20 when cut along the vertical plane is small in the front area and large in the back area as shown in FIG. 7B. In other words, the arc of the lens 20 is more gentle in the back region.
[0050]
When the radius of curvature of the lens 20 (the radius of curvature in the cross-sectional shape when cut by a vertical plane) is set as shown in FIGS. 7A and 7B, when viewed from the overhead viewpoint VP as shown in FIG. In addition, the focus of the lens 20 can be adjusted to the printing surface in both the near side region and the far side region. If the radius of curvature of the lens 20 is continuously changed from RN to RF, it becomes possible to focus on the printing surface from the near side region to the far side region, and when viewed from the overhead viewpoint VP. Optimal stereoscopic viewing can be achieved.
[0051]
The focus of the lens 20 is obtained by combining both the method of adjusting the thickness of the lens 20 as shown in FIG. 6A and the method of adjusting the radius of curvature of the lens 20 as shown in FIGS. May be adjusted to the printing surface. Further, the focal point adjusted by the lens thickness and the radius of curvature does not need to be perfectly strictly in the near side region and the far side region, but may be in focus so long as there is no hindrance to stereoscopic vision. A lens that focuses on the printing surface from the near side region to the far side region can also be realized by using, for example, an array of semi-elliptical lenses.
[0052]
3.3 Adjustment by lens cross-sectional shape
The lens 20 (lens element LE) in FIG. 8 is printed with a cross-sectional shape of the lens when cut along a plane including the left and right gaze directions from the overhead viewpoint VP (the gaze direction from the left eye viewpoint and the gaze direction from the right eye viewpoint). The lens has the same cross-sectional shape in the back side region and the near side region of the surface (substantially the same cross-sectional shape is sufficient).
[0053]
That is, in FIG. 8, CS1, CS2, CS3, CS4, and CS5 correspond to planes including the left and right line-of-sight directions from the overhead viewpoint VP (a plane that cuts the printing plane in an oblique direction; a plane that includes the left-eye viewpoint and the right-eye viewpoint). In FIG. 8, the cross-sectional shapes CV1, CV2, CV3, CV4, and CV5 when the lens 20 (LE) is cut by these surfaces CS1, CS2, CS3, CS4, and CS5 are the same cross-sectional shape (substantially the same cross-sectional shape). It has become. That is, the lens 20 (LE) has a shape obtained by connecting the cross-sectional shapes CV1, CV2, CV3, CV4, and CV5 of FIG. 8 with an envelope.
[0054]
If the lens 20 is set in the shape as shown in FIG. 8, the focus when viewed from the overhead viewpoint VP can be adjusted to the printing surface (surface SF in FIG. 8) from the near side region to the far side region. Become. This is because the cross-sectional shapes CV1 to CV5 are the same in FIG. 8, and the focal points of the image light (light flux) parallel to the surfaces CS1, CS2, CS3, CS4, and CS5 are SF1, SF2, SF3, SF4, This is because it matches the position of SF5. Therefore, the focus of the lens 20 is ideally matched with the printing surface, and optimal stereoscopic viewing can be realized when viewed from the overhead viewpoint VP.
[0055]
4). Placement of printed matter
Now, as shown in FIG. 9A, the printed material 10 of the present embodiment is desirably arranged so that its printed surface is parallel to the horizontal plane.
[0056]
That is, in the conventional stereoscopic vision, as shown in FIG. 4A, it was planned that the viewer would see the printed material 10 facing the printed material. On the other hand, as will be described later, in the present embodiment, a stereoscopic viewing method that does not contradict the relationship between the focus adjustment and the binocular parallax is adopted even when the printed matter 10 is viewed from an overhead viewpoint. Therefore, if the stereoscopic viewing method of this embodiment described later is used, even if the printed matter 10 is arranged as shown in FIG. 9A, there is a sense of reality that there is no contradiction between the focus adjustment and the binocular parallax. Stereoscopic vision can be realized. In addition, at this time, if the lens 20 (optical device) having the configuration described with reference to FIGS. 5 to 8 is used, even when the print surface is viewed from a bird's eye view as shown in FIG. It is possible to focus on the printing surface in both of the back side regions. Accordingly, by arranging the printed material 10 so that the printing surface is horizontal as shown in FIG. 9A and attaching the lens 20 as shown in FIGS. 5 to 8 to the printed material 10, the relationship between focus adjustment and binocular parallax. An image of a stereoscopic display object that does not cause any contradiction is printed from the near side area to the far side area of the printing surface without being out of focus. Thereby, natural and realistic stereoscopic vision can be realized.
[0057]
As shown in FIG. 9B, the printed matter 10 may be arranged such that the printed surface forms an angle α (for example, 0 degree <α ≦ 45 degrees) with respect to the horizontal plane.
[0058]
In addition to the printed material 10, a second printed material may be provided. In this case, the second printed material can be set and arranged such that the printed surface is parallel to the vertical surface.
[0059]
The stereoscopic printed material of the present embodiment can be applied in various ways. For example, electronic guide maps, electronic menus, electronic advertisements, photographs sold by photography devices, business and home game devices, portable game devices, mobile phones, electronic notebooks, electronic dictionaries, electronic encyclopedias, portable devices, It can be applied to medical devices, pachinko machines, medal game machines, card game machines, slot machines, and the like.
[0060]
For example, FIG. 10A shows an example in which the stereoscopic printed matter of the present embodiment is applied to an electronic guide map that displays an image of a guide map such as a map. As shown in FIG. 10A, according to the present embodiment, an index or a building that serves as a landmark is displayed stereoscopically in the guide map, so that an electronic guide map that is easy to understand for the user can be provided. Further, as described above, in the present embodiment, it is possible to realize a suitable stereoscopic view at the time of the overhead view viewpoint. Accordingly, it is possible to provide a stereoscopic printed material suitable for an electronic guide map as shown in FIG.
[0061]
FIG. 10B shows an example in which the stereoscopic print of the present embodiment is applied to an electronic menu that displays menu images such as food and merchandise. As shown in FIG. 10B, according to the present embodiment, food, products, etc. displayed on the menu are displayed in a stereoscopic view, and thus an electronic menu with a high visual effect and production effect can be provided. Further, as described above, in the present embodiment, it is possible to realize a suitable stereoscopic view at the time of the overhead view viewpoint. Accordingly, it is possible to provide a stereoscopic print suitable for an electronic menu that is installed on a street as shown in FIG. 10B or placed on a desk.
[0062]
In addition, the shape of the printed matter of this embodiment is not limited to the shape shown to FIG. 1 (A), FIG. 10 (A), and (B). For example, a shape other than a square may be used. The image to be printed on the printed material 10 may be an image generated by actual shooting or an image generated by CG.
[0063]
Further, for example, a mechanism for winding the printed matter in a given direction may be further provided. Then, by winding up the printed material by this winding mechanism and moving the printing surface, at least one of the type, arrangement and number of stereoscopic display objects virtually displayed in the space on the printing surface side is changed. Also good.
[0064]
5. Stereoscopic details
Next, details of the stereoscopic viewing method of the present embodiment will be described. In the present embodiment, stereoscopic vision is realized by the two methods described below.
[0065]
5.1 First stereoscopic viewing method
FIG. 11 shows a flowchart of the first stereoscopic viewing method of the present embodiment.
[0066]
First, a first left-eye image IL1 and a first right-eye image IR1 for stereoscopic viewing are generated (steps S1 and S2). Specifically, a left-eye image IL1 that is visible from the left-eye viewpoint position VPL and a right-eye image IR1 that is visible from the right-eye viewpoint position VPR are generated.
[0067]
Here, the left-eye and right-eye viewpoint positions VPL and VPR are positions assumed as positions of the left eye and right eye of the viewer as shown in FIG. For example, when the left-eye and right-eye images IL1 and IR1 are generated by actual shooting by a camera (digital camera), the cameras are arranged at the positions of these VPL and VPR, and the left-eye and right-eye images IL1 and IR1 are obtained. Take a picture. In this case, two cameras may be arranged in the VPL and VPR and photographed at the same time, or the position of one camera may be changed and photographed.
[0068]
On the other hand, when the left-eye and right-eye images IL1 and IR1 are generated by a system that generates CG (computer graphics) images and game images (real-time moving images), virtual cameras are arranged at these VPL and VPR positions. Thus, the left-eye and right-eye images IL1 and IR1 are generated. That is, an image that can be seen from the VPL and VPR in the object space is generated.
[0069]
FIGS. 13 and 14 show examples of the left-eye image IL1 and the right-eye image IR1. These are examples when IL1 and IR1 are generated by actual shooting by a camera (digital camera). Various objects such as a mandarin orange, a box, a ballpoint pen, and a stapler (a subject or an object in a narrow sense; the same applies to the following description) are arranged on a reference surface (a placement surface on which an object such as a prize is placed). . The left-eye image IL1 is obtained by placing the camera at the left-eye viewpoint position VPL and taking the camera's line of sight (direction) toward the object (gaze point, representative point of the object). The right-eye image IR1 is obtained by placing a camera at the right-eye viewpoint position VPR and shooting with the camera's line of sight directed toward the object. As shown in FIG. 13 and FIG. 14, the left-eye and right-eye images IL1 and IR1 have a different line-of-sight angle (how to see). Is realized.
[0070]
In the present embodiment, a display screen on which a stereoscopic image is displayed and a surface at a position corresponding to the print surface of the printed material can be set as the reference surface.
[0071]
In the case of a CG or a game, an object (an object that models a mandarin orange, a box, a ballpoint pen, a stapler, etc.) is placed on a reference plane set in the object space, and a virtual camera is placed in the VPL or VPR. Deploy. Then, by generating an image that can be viewed from the virtual camera with the line of sight (direction) of the virtual camera directed toward the object (gaze point, representative point of the object), it is possible to generate an image similar to FIGS. 13 and 14.
[0072]
Next, as shown in step S3 of FIG. 11, the first left-eye image IL1 obtained in step S1 is subjected to correction processing for eliminating the perspective of the image on the reference plane BS, and the second A left-eye image IL2 is generated. Further, as shown in step S4, the first right-eye image IR1 obtained in step S2 is subjected to correction processing for eliminating the perspective of the image on the reference plane BS, and the second right-eye image is obtained. IR2 is generated.
[0073]
FIGS. 15 and 16 show examples of the left-eye image IL2 and the right-eye image IR2 obtained by the correction process. For example, in FIGS. 13 and 14, a perspective is attached to a rectangle RTG (a rectangle in a broad sense including a square, which is also included in the following description) drawn on the reference plane BS. On the other hand, in FIG. 15 and FIG. 16, the perspective of the rectangular RTG is lost.
[0074]
Here, the correction processing for eliminating the perspective in the present embodiment is, as shown in FIG. 18A, an image of the reference plane BS itself, an image IM1 drawn on the reference plane, and an object OB (object). This is a process for eliminating the perspective (depth feeling) of the image in the part of the image that is in contact with the reference plane BS. That is, in B1 of FIG. 18A, the distance between the vertices decreases as the distance from the viewpoint increases, but in B2 of FIG. 18A, the distance between the vertices changes even when the distance from the viewpoint increases. Absent. By performing such correction processing, an image as if viewed from directly above is generated for the image of the reference plane BS. Note that the perspective does not need to be completely eliminated by this correction process, and it is sufficient that the perspective disappears to such an extent that a sense of incongruity does not occur.
[0075]
Next, as shown in step S5 of FIG. 11, a stereoscopic image (image data) is generated based on the second left-eye image IL2 and the second right-eye image IR2. More specifically, based on IL2 (LV) and IR2 (RV), a process as shown in FIG. 3 is performed to generate a stereoscopic image.
[0076]
Then, by printing this stereoscopic image (actual image or CG image) on a printing medium (paper, lens sheet) using a printer such as an ink jet method or a laser printer method, a stereoscopic printed matter can be manufactured. . The stereoscopic printed matter may be manufactured by duplicating the stereoscopic printed matter that becomes the master printed by the printer. In this way, there is an advantage that a large amount of stereoscopic printed material can be manufactured in a short period of time.
[0077]
If the stereoscopic image is displayed on the display of a display device (image generation device), a display image (moving image) can be generated in real time.
[0078]
FIG. 17 shows an image obtained by superimposing the left-eye and right-eye images IL2 and IR2 shown in FIGS.
[0079]
The image of FIG. 17 includes a left-eye image IL2 (IL) and a right-eye image IR2 (IR). The left-eye image IL2 and the right-eye image IR2 each include an image of the object OB arranged on the reference plane BS. It also includes an image of the reference plane BS.
[0080]
As shown in A1 of FIG. 19, the object image of the left-eye image IL2 and the object image of the right-eye image IR2 match at the position of the reference plane BS (however, it is not always necessary to match completely). . That is, the printing position (display position) of the object image of the left-eye image IL2 and the printing position (display position) of the object image IR2 of the right-eye image are the same on the reference plane BS.
[0081]
On the other hand, as shown by A2 in FIG. 19, the difference between the object image of the left-eye image IL2 and the object image of the right-eye image IR2 increases as the distance from the reference plane BS increases. More specifically, the image of the portion of the object OB that is located above the reference plane BS is printed at the left eye image IL2 (display position) and at the right eye image IR2 (display position). ) Is off.
[0082]
In the conventional stereoscopic view, as shown in FIG. 18B, the printed matter PM for stereoscopic viewing (or the display for stereoscopic viewing. The same applies to the following description), the print surface of which is parallel to the vertical surface. It was assumed that the viewer would see the printed matter PM (printed surface) facing the front. For this reason, for example, a stereoscopic image is generated and printed on the printed matter PM without performing any correction processing on the left-eye and right-eye images IL1 and IR1 as shown in FIGS. Since the perspectives remain in the images of FIGS. 15 and 16, when the printed material PM is viewed face to face as shown in FIG. 18B, the image is correct as far as perspective is concerned.
[0083]
However, when the viewer looks at the printed matter PM as shown in FIG. 18B, the focus (focal length) is the same over the entire printed surface. Accordingly, in the human brain, contradiction and error occur in the relationship between focus adjustment, binocular parallax, and convergence. Therefore, when the brain tries to associate with a solid forcibly, it feels unnatural or cannot be recognized as a solid. In addition, if the printed matter PM for printing an image created by a conventional method is placed on a desk so as to be parallel to a horizontal plane, the depth will be inconsistent, resulting in an unnatural stereoscopic view. . That is, the rectangular RTG in FIGS. 15 and 16 is a plane having a height of zero, and the rectangular RTG should not look three-dimensional.
[0084]
Therefore, in the present embodiment, as shown in FIG. 18C, it is assumed that the printed matter PM is viewed by a viewer on a desk (reference plane BS parallel to the horizontal plane). That is, such an arrangement is the default arrangement of this method. When the printed matter PM is arranged in parallel to the horizontal plane as described above, if the stereoscopic image is generated by synthesizing the images in FIGS. 13 and 14 as they are and printed on the printed matter PM, the perspective is inconsistent.
[0085]
Therefore, in the present embodiment, as described with reference to FIGS. 15, 16, and 18A, correction processing is performed to eliminate the perspective of the reference plane image. Then, a stereoscopic image is generated based on the corrected images of FIGS. 15 and 16 after eliminating the perspective on the reference plane, and the printed matter PM on which the generated stereoscopic image is printed is shown in FIG. If the reference plane image (rectangular RTG) is arranged in parallel with the horizontal plane, an appropriate perspective can be obtained. Moreover, if it arrange | positions like FIG.18 (C), the focal distance of each point on the printing surface of the printed matter PM will become different instead of the same. For this reason, the focus adjustment is similar to that in the real world. Therefore, the shift in the relationship between the focus adjustment and the binocular parallax and the convergence is reduced, and a more natural and realistic stereoscopic vision can be realized.
[0086]
Note that, in the stereoscopic viewing method of the present embodiment, when the height of the object is high, there may be a shift in the depth feeling or the like. In such a case, for example, as shown in FIG. 20, two reference surfaces BS1 and BS2 (a plurality of reference surfaces in a broad sense) may be provided.
[0087]
Here, the reference plane BS1 is, for example, a plane parallel to the horizontal plane. On the other hand, the reference surface BS2 is a surface that forms a predetermined angle (for example, a right angle) with the reference surface BS1. The reference surfaces BS1 and BS2 are connected at the boundary BD.
[0088]
The object OB (object) is arranged above the reference surface BS1 and on the front side (VPL, VPR side) of the reference surface BS2. Then, the processing shown in FIG. 21 is performed instead of FIG.
[0089]
Steps S11 and S12 in FIG. 21 are the same as steps S1 and S2 in FIG. In step S13, correction processing for eliminating the perspective on the reference plane BS1 is performed on an area corresponding to the reference plane BS1 of the left-eye image IL1 (the first area on the BS1 side of IL1 with reference to the boundary BD). Apply to. Further, correction processing for eliminating the perspective on the reference surface BS2 is performed on the region corresponding to the reference surface BS2 of IL1 (the second region on the BS2 side of IL1 with reference to the boundary BD). Then, a left-eye image IL2 that is an image obtained by connecting the images generated by these correction processes is generated.
[0090]
In step S14, correction processing for eliminating the perspective on the reference surface BS1 is performed on the region corresponding to the reference surface BS1 of the right-eye image IR1 (the first region on the BS1 side of the IR1 with reference to the boundary BD). Apply to. Further, correction processing for eliminating the perspective on the reference surface BS2 is performed on the region corresponding to the reference surface BS2 of IR1 (the second region on the BS2 side of IR1 with reference to the boundary BD). Then, a right-eye image IR2 that is an image obtained by connecting the images generated by these correction processes is generated.
[0091]
Finally, as in step S15, a stereoscopic image is generated based on IL2 and IR2. Then, the obtained stereoscopic image is printed on a print medium to produce a stereoscopic print or displayed on a display.
[0092]
In this way, as shown in FIG. 22, even when the OB is an object with a high height from the reference plane BS1, a more natural and realistic stereoscopic vision can be realized. That is, in the region near the foot of the object OB (the first region below the boundary BS), stereoscopic processing using the reference plane BS1 can realize stereoscopic viewing that does not make sense of depth and focus adjustment. On the other hand, in other regions (second region on the upper side of the boundary BS), stereoscopic viewing without a sense of depth can be realized by the stereoscopic processing using the reference plane BS2.
[0093]
The reference plane is not limited to two, and three or more reference planes (a plurality of linked reference planes) may be used.
[0094]
5.2 Second stereoscopic viewing method
FIG. 23 shows a flowchart of the second stereoscopic viewing method of the present embodiment. The above-described method of FIG. 11 is an optimal method for generating a stereoscopic image using an image captured by a camera, whereas the method of FIG. 23 uses a CG image to generate a stereoscopic image. Is the best way to generate
[0095]
First, in the projection direction connecting the left eye viewpoint position VPL and each point of the object OB, each point of OB is projected onto the reference surface BS (BS1 or BS2) and rendered on the reference surface BS to generate the left eye image IL. (Step S21).
[0096]
Next, in the projection direction connecting the right eye viewpoint position VPR and each point of the object OB, each point of OB is projected onto the reference surface BS (BS1 or BS2) and rendered on the reference surface BS to generate the right eye image IR. (Step S22). Note that the reference surface BS is a surface that is not orthogonal to, for example, the line-of-sight direction (the direction connecting the viewpoint position and the gazing point). That is, the reference plane BS is a plane different from the perspective projection screen that is always orthogonal to the line-of-sight direction.
[0097]
In the processing of steps S21 and S22, virtual light is projected from the VPL (or VPR) toward the object OB, and the image of the OB is a virtual that is the reference plane BS (BS1 or BS2) using the light. Render to virtual paper as if it were burned on paper. As a result, as shown in FIG. 24A, images (properties such as colors) of the points P1, P2, P3, and P4 of the object OB are projected points P1 ′, P2 ′, P3 ′, Rendered to P4 ′. Note that the images of the points P5 and P6 on the reference plane BS are rendered as they are at the positions of the points P5 and P6. For example, as shown in FIG. 24B, rendering is performed so that the entire surface of the reference surface BS (virtual paper) is raster-scanned, so that the left-eye image IL, right-eye similar to IL2 and IR2 in FIGS. An image IR can be generated. That is, it is possible to generate the left-eye and right-eye images IL and IR without the perspective of the reference plane image.
[0098]
Then, based on these left-eye and right-eye images IL, IR (LV, RV), processing as shown in FIG. 3 is performed to generate a stereoscopic image (step S23). Then, the obtained stereoscopic image is printed on a print medium to produce a stereoscopic print or displayed on a display.
[0099]
Then, for example, as shown in FIG. 24C, the printed matter PM (or display) is arranged and viewed so as to be parallel to the horizontal plane (reference plane), thereby realizing a more natural and realistic stereoscopic view.
[0100]
For example, in FIG. 25A, the object OB is perspective-projected on a perspective projection screen SCR (surface perpendicular to the line-of-sight direction) to generate a left-eye image and a right-eye image. Then, the obtained left-eye image and right-eye image are combined to generate a stereoscopic image. Then, as shown in FIG. 25 (B), the viewer looks at the printed surface directly facing the printed matter PM.
[0101]
In the method of FIG. 25A, the points P2 and P3 of the object OB are projected onto the points P2 ″ and P3 ″ on the projection projection screen SCR. Then, since the printed matter PM is viewed as shown in FIG. 25B, the focal length difference L2 between P2 ″ and P3 ″ becomes zero. That is, since the focal length difference L1 between the actual points P2 and P3 is not 0 but L2 is 0, the focus adjustment is different from the actual focus adjustment. Accordingly, a contradiction arises in the relationship between the focus adjustment and the binocular parallax, and the human brain is confused, resulting in an uncomfortable stereoscopic view.
[0102]
On the other hand, in the present embodiment, the printed matter PM is placed on a desk (horizontal plane) as shown in FIG. 24C, so that the points P2 ′ and P3 ′ are shown in FIG. The focal length difference L2 is not 0, like the focal length difference L1 between the actual points P1 and P2. Therefore, the front part (point P2) is visible in the front and the back part (point P3) is visible in the back, so there is no contradiction between the focus adjustment and the binocular parallax, and the human brain is confused. Since it does not occur, more natural stereoscopic vision can be realized.
[0103]
That is, since the present embodiment is a method in which the printed matter PM is placed on a desk and viewed from an oblique direction, the surface of the desk and the reference plane BS (zero plane) on which the object OB to be stereoscopically viewed is placed are the same plane. This is realistic and does not cause unreasonable stereoscopic vision. The object OB only needs to be able to express the appearance that the object OB is lifted by a few centimeters with respect to the reference plane BS (zero plane), so that there is almost no contradiction in the depth direction. In addition, since the reference surface BS is a desk surface, it looks as if a three-dimensional object is actually placed on the desk, and the realism of the object is improved. That is, in the conventional method shown in FIGS. 25A and 25B, since the reference surface is dim, there is a certain three-dimensional effect, but the real sense of the object has only become a phantom.
[0104]
Also in the method of FIG. 23, as described in FIG. 20, a stereoscopic image may be generated by setting a plurality of reference planes. In this case, in steps S21 and S22 of FIG. 23, the points projected on the reference plane BS1 may be rendered on the reference plane BS1, and the points projected on the reference plane BS2 may be rendered on the reference plane BS2.
[0105]
5.3 Setting the viewpoint position
Next, the viewpoint position setting method will be described.
[0106]
The left-eye and right-eye viewpoint positions VPL and VPR in FIGS. 12 and 20 are arranged based on the assumed positions of the left and right eyes of the viewer when the viewer actually views the stereoscopic print or the stereoscopic display screen. It is desirable to do. For example, in FIGS. 12 and 20, the distance DVB (for example, 40 cm) between the object OB (object, subject) and the viewer's eyes, the viewing angle θ (the viewing direction SL), and the distance DLR between the eyes (for example, 7 cm). Based on the above, the left-eye and right-eye viewpoint positions VPL and VPR are set.
[0107]
However, when performing reduction display or enlargement display, the positions of VPL and VPR are moved according to the reduction ratio and the enlargement ratio. In this case, it is desirable to move the viewpoint position by a method as shown in FIG.
[0108]
For example, when the distance DVB between the object OB (subject, object) and the viewpoint position (middle point CP of VPL and VPR) is increased, the left eye viewpoint position VPL is changed according to the change (ratio) of the length. The distance DLR between the right eye viewpoint position VPR is increased. That is, for example, the DLR is lengthened in proportion to the change in the length of DVB.
[0109]
Further, when changing the distance DVB between the object OB (subject, object) and the viewpoint position (middle point CP of VPL and VPR), a straight line LN (line-of-sight direction) forming a predetermined angle θ with respect to the reference plane BS. The viewpoint position (midpoint CP, VPL, VPR) is moved so as to move along.
[0110]
In this way, even when the VPL and VPR are moved, the distance DVB and the distance DLR change at the same magnification ratio, so that it is possible to prevent a situation in which the stereoscopic effect is broken. Thereby, reduction display and enlargement display can be realized while maintaining an appropriate stereoscopic effect.
[0111]
5.4 Image generation device
FIG. 27 shows an example of a block diagram of an image generation device (display device) that generates (displays) a stereoscopic image. Note that the image generation apparatus does not have to include all of the components (each unit) in FIG. 27, and may have a configuration in which some of them are omitted.
[0112]
This image generation apparatus can be used as an apparatus for generating a display image on a display. Further, it can be used as an image generation device (CG tool) for creating a stereoscopic image from a CG image and creating a stereoscopic print. Further, it can be used as an image generation device (personal computer) for taking a real image taken by a camera, creating a stereoscopic image from the real image, and creating a stereoscopic print.
[0113]
The operation unit 160 (lever, button) is for a player (viewer) to input operation data. The storage unit 170 (RAM) is a work area such as the processing unit 100 or the communication unit 196. An information storage medium 180 (a computer-readable medium such as a CD, DVD, HDD, or ROM) stores programs and data. The information storage medium 180 stores a program for causing a computer to function as each unit of the present embodiment (a program for causing a computer to execute processing of each unit).
[0114]
The display 190 displays images, and the sound output unit 192 outputs sounds such as sounds and game sounds. The portable information storage device 194 stores player personal data, game save data, and the like.
[0115]
The printing unit 195 performs processing for printing a stereoscopic image on a print medium. As a printing method in this case, there are various methods such as an ink jet method and a laser printing method. The communication unit 196 performs various controls for performing communication via a network such as the Internet. By using this communication unit 196, the generated stereoscopic image data can be transmitted via the network.
[0116]
The processing unit 100 (processor) performs various processes such as a game process, an image generation process, and a sound generation process based on operation data from the operation unit 160, a program, and the like. In this case, the processing unit 100 performs various processes using the main storage unit 172 in the storage unit 170 as a work area. The function of the processing unit 100 can be realized by hardware such as various processors (CPU, DSP, etc.) or ASIC (gate array, etc.) and a program (game program).
[0117]
The processing unit 100 includes a game processing unit 110, an image generation unit 120, and a sound generation unit 130.
[0118]
Here, the game processing unit 110 performs various game processes based on operation data from the operation unit 160 (game controller). This game process includes a process for starting a game based on a game start condition, a process for advancing the game, a process for placing an object (display object) appearing in the game, object movement information (position, speed, acceleration), There are processing for obtaining motion information (motion information), processing for displaying an object, processing for calculating a game result, processing for ending a game when a game end condition is satisfied, and the like.
[0119]
The image generation unit 120 generates an image based on the results of various processes performed by the processing unit 100 and outputs the image to the display 190. The sound generation unit 130 performs sound processing based on the results of various processes performed by the processing unit 100, generates game sounds such as BGM, sound effects, or sounds, and outputs the game sounds to the sound output unit 192.
[0120]
The image generation unit 120 includes a stereoscopic image generation unit 122. The stereoscopic image generation unit 122 performs a correction process to eliminate the perspective of the image on the reference plane with respect to the first left-eye image that is an image seen from the left-eye viewpoint position (left-eye virtual camera). Then, a second left-eye image is generated. In addition, the first right-eye image, which is an image that can be seen from the right-eye viewpoint position (right-eye virtual camera), is subjected to a correction process for eliminating the perspective of the image on the reference plane, and thus the second right-eye image. Is generated.
[0121]
The correction process in this case is realized by the texture mapping unit 124 performing a texture mapping process as shown in FIG.
[0122]
That is, the perspective texture image TEX (first left-eye image, first right-eye image) is mapped onto a polygon PLG (primitive surface) of a rectangle (a rectangle in a broad sense including a square). Specifically, the texture coordinates (TX1, TY1), (TX2, TY2), (TX3, TY3), (TX4, TY4) of the texture image TEX are coordinated with the vertices VX1, VX2, VX3, VX4 of the polygon PLG. Thus, the texture image TEX is mapped to the polygon PLG. As a result, it is possible to generate an image in which the perspective of the image of the reference plane is lost. Then, by performing such a texture mapping process on each of the first left-eye image and the first right-eye image, the second left-eye image and the second right-eye image for generating a stereoscopic image are generated. Generate an image.
[0123]
Note that the stereoscopic image generation unit 122 generates a left-eye image by projecting and rendering each point of the object on the reference plane in a projection direction connecting the left-eye viewpoint position and each point of the object. The right-eye image may be generated by projecting and rendering each point of the object on the reference plane in the projection direction connecting the right-eye viewpoint position and each point of the object.
[0124]
Next, the stereoscopic image generation unit 122 generates a stereoscopic image based on the second left-eye image (left-eye image) and the second right-eye image (right-eye image). For example, the second left-eye image (left-eye image) and the second right-eye image (right-eye image) are combined to generate a stereoscopic image, which is output to the display 190 or the printing unit 195. More specifically, the pixel array image of the second left-eye image (left-eye image) and the pixel array image of the second right-eye image (right-eye image) are alternately arranged in a strip shape so that stereoscopic viewing is achieved. A work image is generated and output to the display 190 and the printing unit 195. A stereoscopic image is displayed by displaying a stereoscopic image on a display 190 to which a special lens such as a lenticular lens is attached. The printing unit 195 prints a stereoscopic image on a print medium, and attaches (adheres) a special lens (lenticular lens) to the print medium, thereby creating a stereoscopic print. Alternatively, the printing unit 195 directly prints a stereoscopic image on a special lens (lenticular lens) that functions as a print medium, thereby creating a stereoscopic print.
[0125]
The present invention is not limited to that described in the above embodiment, and various modifications can be made.
[0126]
For example, terms (lenses, lenticular lenses, players, etc.) cited as broad terms (optical devices, lenses, viewers, etc.) in the description or drawings are also used in other descriptions in the specifications or drawings. Can be replaced with broad terms.
[0127]
In addition, the method for generating the left-eye image, the right-eye image, and the stereoscopic image is not limited to that described in the present embodiment, and various modifications can be made.
[0128]
In addition, a case where a stereoscopic image is generated by a method equivalent to the first and second stereoscopic methods described in the present embodiment is also included in the scope of the present invention.
[0129]
In the display device of the present invention, a stereoscopic image may be generated and displayed or printed by a method other than the first and second stereoscopic methods.
[0130]
First, various modifications can be made to the structure of the stereoscopic optical device.
[0131]
In the invention according to the dependent claims of the present invention, a part of the constituent features of the dependent claims can be omitted. Moreover, the principal part of the invention according to one independent claim of the present invention can be made dependent on another independent claim.
[Brief description of the drawings]
FIGS. 1A and 1B are examples of a stereoscopic print according to the present embodiment.
FIG. 2 is an explanatory diagram of a lenticular lens.
FIG. 3 is an explanatory diagram of a stereoscopic image.
FIGS. 4A and 4B are explanatory diagrams of problems of a conventional stereoscopic method.
FIG. 5 is an explanatory diagram of a technique according to the present embodiment in which a printing surface is focused from a near side region to a far side region.
FIGS. 6A and 6B are examples of lenses that realize the method of the present embodiment.
FIGS. 7A and 7B are also examples of lenses that realize the method of the present embodiment.
FIG. 8 is an example of a lens that realizes the method of the present embodiment.
FIGS. 9A and 9B are explanatory diagrams of a method for arranging printed matter.
FIGS. 10A and 10B are examples of various forms of stereoscopic printed matter.
FIG. 11 is a flowchart of a first stereoscopic viewing method.
FIG. 12 is an explanatory diagram of a first stereoscopic viewing method.
FIG. 13 is an example of a left-eye image IL1.
FIG. 14 is an example of a right-eye image IR1.
FIG. 15 is an example of a left-eye image IL2.
FIG. 16 is an example of a right-eye image IR2.
FIG. 17 is an example of an image obtained by superimposing a left-eye image and a right-eye image.
FIGS. 18A, 18B, and 18C are explanatory diagrams of correction processing for eliminating a perspective. FIGS.
FIG. 19 is an explanatory diagram of features of a stereoscopic image.
FIG. 20 is an explanatory diagram of a method for providing a plurality of reference planes.
FIG. 21 is a flowchart of a method for providing a plurality of reference planes.
FIG. 22 is an explanatory diagram of a method for providing a plurality of reference planes.
FIG. 23 is an explanatory diagram of a second stereoscopic viewing method.
24A, 24B, and 24C are explanatory diagrams of a second stereoscopic viewing method.
FIGS. 25A and 25B are explanatory diagrams of a conventional method. FIGS.
FIG. 26 is an explanatory diagram of a viewpoint position setting method.
FIG. 27 is a configuration example of an image generation device (display device).
FIG. 28 is an explanatory diagram of correction processing using texture mapping.
[Explanation of symbols]
10 Stereoscopic printed matter, 20 lens (stereoscopic optical device),
SOB stereoscopic display object,
VPL left eye viewpoint, VPR right eye viewpoint, VP overhead view,
OB object (object, subject), BS (BS1, BS2) reference plane,
IL1 first left-eye image, IR1 first right-eye image,
IL2 second left eye image, IR2 second right eye image,
IL image for left eye, IR image for right eye,

Claims (7)

立体視用画像が印刷される印刷物であって、
立体視用画像の左目用画像の像光と立体視用画像の右目用画像の像光とを分離して異なる場所に導光する立体視用光学デバイスを含み、
前記立体視用光学デバイスは、
印刷面を視線方向が左目用画像と右目用画像との境界線に沿った方向となりかつ表示画面に対して斜め方向になる視点から見たときの焦点を、印刷面の手前側領域と奥側領域の両方において印刷面に合わせる光学デバイスであることを特徴とする立体視用印刷物。
A printed matter on which a stereoscopic image is printed,
A stereoscopic optical device that separates and guides the image light of the left-eye image of the stereoscopic image and the image light of the right-eye image of the stereoscopic image to different locations;
The optical device for stereoscopic vision is
Focus on the near side and the far side of the print surface when the print surface is viewed from a viewpoint in which the line- of- sight direction is along the boundary line between the left-eye image and the right-eye image and is oblique to the display screen. A printed matter for stereoscopic viewing, which is an optical device that matches a printed surface in both areas.
立体視用画像が印刷される印刷物であって、
立体視用画像の左目用画像の像光と立体視用画像の右目用画像の像光とを分離して異なる場所に導光する立体視用光学デバイスを含み、
前記立体視用光学デバイスは、
印刷面を視線方向が表示画面に対して斜め方向になる視点から見たときの焦点を、印刷面の手前側領域と奥側領域の両方において印刷面に合わせるように、印刷面の奥側領域での厚さが、手前側領域での厚さよりも薄く形成されていることを特徴とする立体視用印刷物。
A printed matter on which a stereoscopic image is printed,
A stereoscopic optical device that separates and guides the image light of the left-eye image of the stereoscopic image and the image light of the right-eye image of the stereoscopic image to different locations;
The optical device for stereoscopic vision is
The back side area of the print surface so that the focus when the print surface is viewed from the perspective in which the line-of-sight direction is oblique to the display screen is aligned with the print surface in both the near side area and the back side area of the print surface in the thickness, the stereoscopic printed material, characterized in that it is thin rather than the thickness at the front side area.
立体視用画像が印刷される印刷物であって、
立体視用画像の左目用画像の像光と立体視用画像の右目用画像の像光とを分離して異なる場所に導光する立体視用光学デバイスを含み、
前記立体視用光学デバイスは、
印刷面を視線方向が表示画面に対して斜め方向になる視点から見たときの焦点を、印刷面の手前側領域と奥側領域の両方において印刷面に合わせるように、印刷面の奥側領域での曲率半径が、手前側領域での曲率半径よりも大きく形成されていることを特徴とする立体視用印刷物。
A printed matter on which a stereoscopic image is printed,
A stereoscopic optical device that separates and guides the image light of the left-eye image of the stereoscopic image and the image light of the right-eye image of the stereoscopic image to different locations;
The optical device for stereoscopic vision is
The back side area of the print surface so that the focus when the print surface is viewed from the perspective in which the line-of-sight direction is oblique to the display screen is aligned with the print surface in both the near side area and the back side area of the print surface curvature radius is, the stereoscopic printed material, characterized in that it is sized rather than the radius of curvature at the front area.
立体視用画像が印刷される印刷物であって、
立体視用画像の左目用画像の像光と立体視用画像の右目用画像の像光とを分離して異なる場所に導光する立体視用光学デバイスを含み、
前記立体視用光学デバイスは、
印刷面を視線方向が表示画面に対して斜め方向になる視点から見たときの焦点を、印刷面の手前側領域と奥側領域の両方において印刷面に合わせるように、視点からの左右視線方向を含む面で切ったときの断面形状が、印刷面の奥側領域と手前側領域とで同じ断面形状に形成されていることを特徴とする立体視用印刷物。
A printed matter on which a stereoscopic image is printed,
A stereoscopic optical device that separates and guides the image light of the left-eye image of the stereoscopic image and the image light of the right-eye image of the stereoscopic image to different locations;
The optical device for stereoscopic vision is
Focus when the printed surface gaze direction viewed from the viewpoint consisting in an oblique direction with respect to the display screen, so as to match the printing surface at both front area and the back side area of the printing surface, the left and right line of sight from the viewing point A printed matter for stereoscopic vision, characterized in that the cross-sectional shape when cut by a plane including a direction is formed in the same cross-sectional shape in the back side region and the near side region of the printing surface.
請求項1乃至4のいずれかにおいて、
前記立体視用画像が、案内図又はメニューの画像であることを特徴とする立体視用印刷物。
In any one of Claims 1 thru | or 4,
The stereoscopic print is characterized in that the stereoscopic image is a guide map or menu image.
請求項1乃至5のいずれかにおいて、
前記立体視用画像が、
第2の左目用画像と第2の右目用画像により生成され、
前記第2の左目用画像が、
第1の左目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の左目用画像に対して施すことで生成され、
前記第2の右目用画像が、
第1の右目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の右目用画像に対して施すことで生成されていることを特徴とする立体視用印刷物。
In any one of Claims 1 thru | or 5,
The stereoscopic image is
Generated by the second left-eye image and the second right-eye image,
The second left-eye image is
Generated by applying correction processing to the first left-eye image to eliminate the perspective of the image on the reference plane of the first left-eye image;
The second right-eye image is
A stereoscopic printed matter generated by performing correction processing for eliminating a perspective of an image on a reference plane of a first right-eye image on the first right-eye image.
請求項1乃至5のいずれかにおいて、
前記立体視用画像が、
左目用画像と右目用画像により生成され、
前記左目用画像が、
オブジェクト空間内の左目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで生成され、
前記右目用画像が、
オブジェクト空間内の右目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで生成されていることを特徴とする立体視用印刷物。
In any one of Claims 1 thru | or 5,
The stereoscopic image is
Generated by the left eye image and the right eye image,
The left-eye image is
It is generated by projecting each point of an object to a reference plane that is non-orthogonal to the viewing direction in the projection direction that connects the viewpoint position for the left eye in the object space and each point of the object,
The right-eye image is
A projection direction that connects the viewpoint position for the right eye in the object space and each point of the object, and is generated by projecting each point of the object to a reference plane that is not orthogonal to the line-of-sight direction and rendering it on the reference plane 3D printed matter characterized by the above.
JP2002370464A 2002-12-20 2002-12-20 Stereoscopic prints Expired - Fee Related JP4218938B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002370464A JP4218938B2 (en) 2002-12-20 2002-12-20 Stereoscopic prints

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002370464A JP4218938B2 (en) 2002-12-20 2002-12-20 Stereoscopic prints

Publications (2)

Publication Number Publication Date
JP2004198972A JP2004198972A (en) 2004-07-15
JP4218938B2 true JP4218938B2 (en) 2009-02-04

Family

ID=32766383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002370464A Expired - Fee Related JP4218938B2 (en) 2002-12-20 2002-12-20 Stereoscopic prints

Country Status (1)

Country Link
JP (1) JP4218938B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1028776C2 (en) * 2005-04-14 2006-10-20 Sdu Identification Bv Identification and method for the manufacture thereof.
CN110780457A (en) * 2019-10-25 2020-02-11 像航(上海)科技有限公司 Cutting method of optical imaging element

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3921061A1 (en) * 1989-06-23 1991-01-03 Hertz Inst Heinrich DISPLAY DEVICE FOR THREE-DIMENSIONAL PERCEPTION OF IMAGES
JP3579162B2 (en) * 1995-06-29 2004-10-20 松下電器産業株式会社 3D CG image generation device
JP2000029375A (en) * 1998-07-13 2000-01-28 Dainippon Printing Co Ltd Hologram display
JP3333775B2 (en) * 2000-06-16 2002-10-15 ティーディーケイ株式会社 Screen display device and lens
JP2002202477A (en) * 2000-12-28 2002-07-19 Hirata:Kk Method for displaying three-dimensional image, and printed matter of three-dimensional image
JP3436261B2 (en) * 2001-06-06 2003-08-11 凸版印刷株式会社 3D or variable print
JP3577042B2 (en) * 2002-01-15 2004-10-13 キヤノン株式会社 Stereoscopic display device and screen control method in stereoscopic display device

Also Published As

Publication number Publication date
JP2004198972A (en) 2004-07-15

Similar Documents

Publication Publication Date Title
JP4823334B2 (en) Image generation system, image generation method, program, and information storage medium
JP4468341B2 (en) 3D image display method and 3D image display apparatus
US7796134B2 (en) Multi-plane horizontal perspective display
US7907167B2 (en) Three dimensional horizontal perspective workstation
US8249335B2 (en) Method of making printed material for stereoscopic viewing, and printed material for stereoscopic viewing
US20050219694A1 (en) Horizontal perspective display
US20060126927A1 (en) Horizontal perspective representation
JP4218937B2 (en) Stereoscopic display device and stereoscopic display method
US20130044103A1 (en) Apparatus and method for displaying stereoscopic image
US20060250390A1 (en) Horizontal perspective display
JP3579683B2 (en) Method for producing stereoscopic printed matter, stereoscopic printed matter
JP5060231B2 (en) Image generating method, stereoscopic printed matter, manufacturing method and program
JP4397217B2 (en) Image generation system, image generation method, program, and information storage medium
JP3933570B2 (en) Play equipment
JP2004207780A (en) Photo taking apparatus
JP4218938B2 (en) Stereoscopic prints
JP3640256B2 (en) Method for producing stereoscopic printed matter, stereoscopic printed matter
JP5085722B2 (en) Image generation system
JP4397216B2 (en) Method for producing stereoscopic printed matter, stereoscopic printed matter
JP3794694B2 (en) Method for manufacturing stereoscopic printed matter, stereoscopic printed matter, and program
KR100939080B1 (en) Method and Apparatus for generating composited image, Method and Apparatus for displaying using composited image
JP2009169155A (en) Method for manufacturing stereoscopic printed matter, stereoscopic printed matter, image generation system, image generation method, program, and information storage medium
JP2006221372A (en) Method for manufacturing printed matter for stereoscopic vision, printed matter for stereoscopic vision, image generation method, and program
JP2018186319A (en) Stereoscopic image display control device, stereoscopic image display control method and stereoscopic image display control program
JP2000105351A (en) Method and device for displaying 3-dimensional image in simulated space

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080716

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4218938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees