JP4823334B2 - 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 - Google Patents

画像生成システム、画像生成方法、プログラム及び情報記憶媒体 Download PDF

Info

Publication number
JP4823334B2
JP4823334B2 JP2009142227A JP2009142227A JP4823334B2 JP 4823334 B2 JP4823334 B2 JP 4823334B2 JP 2009142227 A JP2009142227 A JP 2009142227A JP 2009142227 A JP2009142227 A JP 2009142227A JP 4823334 B2 JP4823334 B2 JP 4823334B2
Authority
JP
Japan
Prior art keywords
image
eye
eye image
reference plane
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009142227A
Other languages
English (en)
Other versions
JP2009211718A (ja
Inventor
茂樹 遠山
篤 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Namco Ltd
Bandai Namco Entertainment Inc
Original Assignee
Namco Ltd
Namco Bandai Games Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namco Ltd, Namco Bandai Games Inc filed Critical Namco Ltd
Priority to JP2009142227A priority Critical patent/JP4823334B2/ja
Publication of JP2009211718A publication Critical patent/JP2009211718A/ja
Application granted granted Critical
Publication of JP4823334B2 publication Critical patent/JP4823334B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/843Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Description

本発明は、画像生成システム、画像生成方法、プログラム及び情報記憶媒体に関する。
従来より、左目に相当するカメラで撮った左目用の画像と、右目に相当するカメラで撮った右目用の画像とを用意し、これらの画像をアナグリフ(anaglyph)処理などにより合
成し、立体視用画像(立体視用印刷物)を得る技術が知られている。
特開2000−56411号公報
さて、人間が物体の立体感を感じるのは、(1)左右の目が空間的に離れていることに起因して網膜の結像がずれる両眼視差(視線角度のずれ)、(2)左右の目が内側に向く機能である輻輳(ふくそう)、(3)水晶体の厚さが物体までの距離に応答するピント調整(焦点距離)という3つの生理的機能に起因する。そして人間は、これらの3つの生理的機能である両眼視差、輻輳、ピント調整を脳内で処理して立体感を感じている。
そして、これらの3つの生理的機能の関係は、通常、脳内において関連づけられている。従って、この関係に誤差や矛盾が生じると、脳が無理に立体と関連づけようとして、不自然さを感じたり、或いは立体として認知できなかったりする事態が生じる。
ところが、従来の立体視では、両眼視差や輻輳だけを利用して、立体視を表現していた。このため、ピント(焦点距離)は、立体視用画像(立体視用印刷物)の面内においてほぼ一定なのに対し、両眼視差や輻輳のずれは、立体視用画像のほとんどの場所において生じており、人間の脳に無理の無い立体視を実現できなかった。
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、より自然な立体視を実現できる画像生成システム、画像生成方法、プログラム及び情報記憶媒体を提供することにある。
本発明は、立体視用画像を生成する画像生成システムであって、オブジェクト空間内において左目用視点位置から見える第1の左目用画像を生成すると共に、オブジェクト空間内において右目用視点位置から見える第1の右目用画像を生成する第1の画像生成部と、第1の左目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の左目用画像に対して施して、第2の左目用画像を生成すると共に、第1の右目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の右目用画像に対して施して、第2の右目用画像を生成する第2の画像生成部と、第2の左目用画像と第2の右目用画像とに基づいて立体視用画像を生成する立体視用画像生成部とを含むことを画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。また本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるプログラムを記憶(記録)した情報記憶媒体に関係する。
本発明によれば、基準面での画像(例えば基準面自体の画像や、基準面に接する部分での物体の画像等)のパースペクティブを無くすための補正処理を行うことで、第1の左目用画像から第2の左目用画像が生成され、第1の右目用画像から第2の右目用画像が生成
される。そしてこれらの第2の左目用画像、第2の右目用画像に基づいて、立体視用画像が生成される。これにより、ピント調整や奥行き感の矛盾が少なく、より自然な立体視を実現できる立体視用画像を生成できる。
また本発明に係る画像生成システム、画像生成方法、プログラム及び情報記憶媒体では、前記第2の画像生成部が、第1の左目用画像のテクスチャを、長方形のポリゴンにマッピングすることで、第2の左目用画像を生成し、第1の右目用画像のテクスチャを、長方形のポリゴンにマッピングすることで、第2の右目用画像を生成するようにしてもよい。
このようにすれば、長方形のポリゴンにテクスチャにマッピングするという簡素な処理で、基準面での画像のパースペクティブを無くす補正処理を実現できる。
また本発明は、立体視用画像を生成する画像生成システムであって、オブジェクト空間内において左目用視点位置から見える第1の左目用画像を生成すると共に、オブジェクト空間内において右目用視点位置から見える第1の右目用画像を生成する第1の画像生成部と、第1の左目用画像に基づいて第2の左目用画像を生成し、第1の右目用画像に基づいて第2の右目用画像を生成する第2の画像生成部と、第2の左目用画像と第2の右目用画像とに基づいて立体視用画像を生成する立体視用画像生成部とを含み、前記第2の画像生成部が、第1の左目用画像のテクスチャを、長方形のポリゴンにマッピングすることで、第2の左目用画像を生成し、第1の右目用画像のテクスチャを、長方形のポリゴンにマッピングすることで、第2の右目用画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。また本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるプログラムを記憶(記録)した情報記憶媒体に関係する。
また本発明は、立体視用画像を生成する画像生成システムであって、オブジェクト空間内の左目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで、左目用画像を生成すると共に、オブジェクト空間内の右目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで、右目用画像を生成する画像生成部と、左目用画像と右目用画像とに基づいて立体視用画像を生成する立体視用画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。また本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるプログラムを記憶(記録)した情報記憶媒体に関係する。
本発明によれば、左目用視点位置とオブジェクトの各点を結ぶ投影方向で、基準面に対してオブジェクトの各点を投影してレンダリングすることで、左目用画像が生成される。また、右目用視点位置とオブジェクトの各点を結ぶ投影方向で、基準面に対してオブジェクトの各点を投影してレンダリングすることで、右目用画像が生成される。そしてこれらの左目用画像、右目用画像に基づいて、立体視用画像が生成される。これにより、ピント調整や奥行き感の矛盾が少なく、より自然な立体視を実現できる立体視用画像を生成できる。なお、基準面は、例えば視線方向(左目用視点位置と右目用視点位置の中点と仮想カメラの注視点を結ぶ方向)とは直交しない面である。別の言い方をすれば、視線方向と直交する透視変換スクリーンとは異なる面である。
また本発明に係る画像生成システム、画像生成方法、プログラム及び情報記憶媒体では、基準面に対して投影されるオブジェクトが、基準面上に配置されるオブジェクトであってもよい。また本発明に係る画像生成システム、画像生成方法、プログラム及び情報記憶媒体では、基準面に対して投影されるオブジェクトが、その一部又は全部が、左目用視点
位置及び右目用視点位置から見て基準面の奥側に配置されるオブジェクトであってもよい。
また本発明に係る画像生成システム、画像生成方法、プログラム及び情報記憶媒体では、オブジェクトと視点位置との間の距離を長くした場合に、その長さの変化に応じて左目用視点位置と右目用視点位置との間の距離を長くするようにしてもよい。
なお視点位置は例えば左目用視点位置と右目用視点位置の中点である。
また本発明に係る画像生成システム、画像生成方法、プログラム及び情報記憶媒体では、オブジェクトと視点位置との間の距離を変化させる場合に、基準面に対して所定の角度をなす直線に沿って視点位置を移動させるようにしてもよい。
また本発明に係る画像生成システム、画像生成方法、プログラム及び情報記憶媒体では、立体視用画像が表示される表示部の表示画面を、基準面として設定するようにしてもよい。
このようにすれば、例えば水平面に平行になるように表示部の表示画面を設定することで、最適で実在感のある立体視用画像を生成できる。
また本発明に係る画像生成システム、画像生成方法、プログラム及び情報記憶媒体では、センサにより検知されたプレーヤの位置、方向に基づいて、左目用視点位置、右目用視点位置を設定するようにしてもよい。
このようにすれば、プレーヤの位置や方向が、想定していた位置や方向から変化した場合にも、適正な立体視を維持できる。
また本発明に係る画像生成システム、画像生成方法、プログラム及び情報記憶媒体では、第1のプレーヤ用の立体視用画像と第2のプレーヤ用の立体視用画像とを、異なるフレームで表示部に表示するようにしてもよい。
このようにすれば、マルチプレーヤゲームに最適な立体視を実現できる。
また本発明は、立体視用画像を生成する画像生成方法であって、オブジェクト空間内において左目用視点位置から見える第1の左目用画像を生成し、オブジェクト空間内において右目用視点位置から見える第1の右目用画像を生成し、第1の左目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の左目用画像に対して施して、第2の左目用画像を生成し、第1の右目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の右目用画像に対して施して、第2の右目用画像を生成し、第2の左目用画像と第2の右目用画像とに基づいて立体視用画像を生成する画像生成方法に関係する。
また本発明は、立体視用画像を生成する画像生成方法であって、オブジェクト空間内において左目用視点位置から見える第1の左目用画像を生成し、オブジェクト空間内において右目用視点位置から見える第1の右目用画像を生成し、第1の左目用画像に基づいて第2の左目用画像を生成し、第1の右目用画像に基づいて第2の右目用画像を生成し、第2の左目用画像と第2の右目用画像とに基づいて立体視用画像を生成すると共に、第1の左目用画像のテクスチャを、長方形のポリゴンにマッピングすることで、第2の左目用画像を生成し、第1の右目用画像のテクスチャを、長方形のポリゴンにマッピングすることで、第2の右目用画像を生成する画像生成方法に関係する。
また本発明は、立体視用画像を生成する画像生成方法であって、オブジェクト空間内の左目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで、左目用画像を生成し、オブジェクト空間内の右目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで、右目用画像を生成し、左目用画像と右目用画像とに基づいて立体視用画像を生成する画像生成方法に関係する。
本実施形態の第1の立体視方式のフローチャートである。 本実施形態の第1の立体視方式の説明図である。 左目用画像IL1の一例である。 右目用画像IR1の一例である。 左目用画像IL2の一例である。 右目用画像IR2の一例である。 立体視用画像(アナグリフ画像)の一例である。 図8(A)(B)(C)はパースペクティブを無くす補正処理の説明図である。 本実施形態により得られた立体視用画像の特徴の説明図である。 複数の基準面を設ける手法の説明図である。 複数の基準面を設ける手法のフローチャートである。 複数の基準面を設ける手法の説明図である。 本実施形態の第2の立体視方式の説明図である。 図14(A)(B)(C)は第2の立体視方式の説明図である。 図15(A)(B)は従来の方式の説明図である。 視点位置の設定手法の説明図である。 実写画像を用いた立体視用印刷物の作成手法の説明図である。 実写画像を用いた立体視用印刷物の作成手法の説明図である。 図19(A)(B)はCG画像を用いた立体視用印刷物の作成手法の説明図である。 テクスチャマッピングを用いた補正処理の説明図である。 画像生成システムの構成例である。 図22(A)(B)(C)はセンサを用いて視点位置を検知する手法の説明図である。 図23(A)(B)(C)は本実施形態の立体視方式におけるマルチプレーヤゲームの実現手法の説明図である。 座標系についての説明図である。 G1〜G4からG1’〜G4’への変換、G1’〜G4’からF1〜F4への変換についての説明図である。 第2の立体視方式の変換式を導くための図である。 図27(A)(B)は第2の立体視方式を構成する変換の説明図である。 第2の立体視方式を構成する変換の説明図である。 第1の立体視方式の変換でのずれ量についての説明図である。
以下、本実施形態について図面を用いて説明する。
なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
さて、本実施形態では以下に説明する2つの方式で立体視を実現している。
1.第1の立体視方式
図1に本実施形態の第1の立体視方式のフローチャートを示す。
まず、立体視のための第1の左目用画像IL1と第1の右目用画像IR1を作成(生成)する(ステップS1、S2)。具体的には、左目用視点位置VPLから見える左目用画像IL1と、右目用視点位置VPRから見える右目用画像IR1を作成(生成)する。
ここで左目用、右目用視点位置VPL、VPRは、図2に示すように、観者(viewer)の左目、右目の位置として想定される位置である。例えば、カメラ(デジタルカメラ)による実写により左目用、右目用画像IL1、IR1を作成する場合には、これらのVPL、VPRの位置にカメラを配置して、左目用、右目用画像IL1、IR1を撮影する。この場合、2台のカメラをVPL、VPRに配置して同時に撮影してもよいし、1台のカメラの位置を変えて撮影してもよい。
一方、CG(コンピュータグラフィックス)画像やゲーム画像(リアルタイム動画像)を生成するシステムにより左目用、右目用画像IL1、IR1を生成する場合には、これらのVPL、VPRの位置に仮想カメラを配置して左目用、右目用画像IL1、IR1を生成する。即ち、オブジェクト空間においてVPL、VPRから見える画像を生成する。
図3、図4に左目用画像IL1、右目用画像IR1の一例を示す。これらは、カメラ(デジタルカメラ)による実写によりIL1、IR1を作成した場合の例である。基準面(物体が置かれる載置面)の上には、ミカン、箱、ボールペン、ステープラーなどの種々の物体(狭義には被写体又はオブジェクト。以下の説明でも同様)が配置されている。そして左目用画像IL1は、左目用視点位置VPLにカメラを配置して、物体(注視点、物体の代表点)の方にカメラの視線(方向)を向けて撮影したものである。また右目用画像IR1は、右目用視点位置VPRにカメラを配置して、物体の方にカメラの視線を向けて撮影したものである。そして図3、図4に示すように、これらの左目用、右目用画像IL1、IR1では視線角度(見え方)がずれており、この視線角度のずれによる両眼視差を利用して立体視が実現される。
なお本実施形態では、立体視用画像が表示される表示部の表示画面を、基準面として設定することができる。
また、CGやゲームの場合には、オブジェクト空間内に設定された基準面の上に、オブジェクト(ミカン、箱、ボールペン、ステープラー等をモデル化したオブジェクト)を配置し、VPL、VPRに仮想カメラを配置する。そして、仮想カメラの視線(方向)をオブジェクト(注視点、オブジェクトの代表点)の方に向けて、仮想カメラから見える画像を生成することで、図3、図4と同様な画像を生成できる。
次に図1のステップS3に示すように、基準面BSでの画像のパースペクティブ(perspective)を無くすための補正処理を、ステップS1で得られた第1の左目用画像IL1に施し、第2の左目用画像IL2を作成(生成)する。またステップS4に示すように、基準面BSでの画像のパースペクティブ(遠近感)を無くすための補正処理を、ステップS2で得られた第1の右目用画像IR1に施し、第2の右目用画像IR2を作成(生成)する。
図5、図6に、補正処理により得られた左目用画像IL2、右目用画像IR2の一例を示す。例えば図3、図4では、基準面BSに描かれている長方形RTG(正方形も含む広義の意味の長方形。以下の説明でも同様)にパースペクティブがついている。これに対して図5、図6では、長方形RTGのパースペクティブが無くなっている。
ここで、本実施形態におけるパースペクティブを無くす補正処理とは、図8(A)に示すように、基準面BS自体の画像や、基準面に描かれている画像IM1や、物体OB(オブジェクト)の画像のうち基準面BSに接する部分の画像のパースペクティブ(奥行き感)を無くす処理である。即ち図8(A)のB1では、視点から奥側に行くほど、頂点間の距離が狭まるが、図8(A)のB2では、視点から奥側に行っても、頂点間の距離が変わらない。このような補正処理を行うことで、基準面BSの画像については、あたかも真上から見たような画像が作成(生成)されるようになる。なお、この補正処理により、パースペクティブが完全に厳密に無くなる必要はなく、立体視に違和感が生じない程度にパースペクティブが無くなればよい。
次に図1のステップS5に示すように、第2の左目用画像IL2と第2の右目用画像IR2に基づき、立体視用画像(画像データ)を作成(生成)する。より具体的には、IL2とIR2とに基づきアナグリフ処理などを行って立体視用画像を作成(生成)する。
そして、この立体視用画像(実写画像又はCG画像)を、インクジェット方式やレーザプリンタ方式などのカラープリンタ(広義には印刷機)を用いて、印刷媒体に印刷することで、立体視用印刷物を製造できる。なお、カラープリンタ(印刷機)により印刷された原盤となる立体視用印刷物を複製することで、立体視用印刷物を製造してもよい。このようにすれば、立体視用印刷物を短期間で大量に製造できるという利点がある。
また立体視用画像を、画像生成システムの表示部に表示すれば、ゲーム画像(動画像)のリアルタイム生成が可能になる。なお、この場合に、アナグリフ処理等により得られた立体視用画像を直接に表示部に表示し、これを色フィルタ(赤、青)が設けられた眼鏡(広義には器具)を用いて見るようにしてもよい。或いは、左目用、右目用画像IL2、IR2を異なるフレームで例えば交互に表示部に表示し、これを液晶シャッタ等が設けられた眼鏡を用いて見るようにしてもよい。
図7に、図5、図6の左目用、右目用画像IL2、IR2に基づきアナグリフ処理を行うことで得られた立体視用画像の一例を示す。
この図7の立体視用画像では、左目用画像IL2(IL)と右目用画像IR2(IR)
とが合成されている。そして左目用画像IL2と右目用画像IR2は、各々、基準面BSに配置された物体OBの画像を含む。また基準面BSの画像も含む。
そして図9のA1に示すように、左目用画像IL2の物体画像と右目用画像IR2の物体画像は、基準面BSの位置において一致している(但し必ずしも完全に一致している必要はない)。即ち、左目用画像IL2の物体画像の印刷位置(表示位置)と右目用画像の物体画像IR2の印刷位置(表示位置)が、基準面BSにおいて一致している。
一方、図9のA2に示すように、基準面BSから離れるほど左目用画像IL2の物体画像と、右目用画像IR2の物体画像のずれが大きくなっている。より具体的には、物体OBの部分のうち基準面BSから上方に位置する部分の画像ほど、左目用画像IL2での印刷位置(表示位置)と、右目用画像IR2での印刷位置(表示位置)とがずれている。
この図7、図9の立体視用画像をプリント媒体に印刷することで立体視用印刷物を製造できる。そして、その立体視用印刷物を、例えば左目に赤色フィルタが設けられ右目に青色フィルタが設けられた眼鏡で見ることで、立体視を実現できる。また図7、図9の立体視用画像を表示部に表示することで、立体視用のゲーム画像を生成できる。
さて、これまでの立体視では図8(B)に示すように、立体視用印刷物PM(或いは表示部の表示画面。以下の説明でも同様)を、その面が鉛直面に対して平行になるように配置し、観者が、立体視用印刷物PMを正対して見ることが想定されていた。このため、例えば図3、図4のような左目用、右目用画像IL1、IR1に対してそのままアナグリフ処理を施して、立体視用印刷物PMを作成していた。そして、図3、図4の画像ではパースペクティブが残っているため、図8(B)のように立体視用印刷物PMを正対して見た場合に、遠近感に関する限りは、正しい画像になる。
しかしながら図8(B)のように観者が立体視用印刷物PMを正対して見た場合に、ピント(焦点距離)については、PMの全面において同一になってしまう。従って、人間の脳内において、ピント調整と、両眼視差、輻輳との関係に矛盾や誤差が生じてしまう。従って、脳が無理に立体と関連づけようとして、不自然さを感じたり、立体として認知できなくなってしまう。また、従来の方式で作成された立体視用印刷物PMを、水平面に平行になるように机に配置して見てしまうと、奥行き感に矛盾が生じ、不自然な立体視になってしまう。即ち図3、図4の長方形RTGは、高さが零の平面であり、この長方形RTGが立体に見えてはいけないからである。
そこで本実施形態では、図8(C)に示すように、立体視用印刷物PM(表示画面)を、観者が机(水平面に平行な基準面BS)の上に配置して見ることを想定するようにしている。即ち、このような配置が本方式のデフォルトの配置となる。そして、このように水平面に平行に立体視用印刷物PMを配置した場合に、図3、図4の画像をそのままアナグリフ処理して立体視用印刷物PMを作成すると、遠近感に矛盾が生じる。
そこで本実施形態では図5、図6、図8(A)で説明したように、基準面の画像のパースペクティブを無くす補正処理を行う。そして基準面でのパースペクティブを無くした補正後の図5、図6の画像に基づいて、アナグリフ処理を行い、立体視用印刷物PMを作成し、作成された立体視用印刷物PMを図8(C)のように水平面に平行に配置すれば、基準面の画像(長方形RTG)には適正なパースペクティブがつくようになる。また、図8(C)のように配置すれば、立体視用印刷物PMの面上の各点の焦点距離が同一ではなく異なるようになる。このため、ピント調整についても現実世界のピント調整と近いものになる。従って、ピント調整と、両眼視差や輻輳との間の関係のずれも軽減され、より自然で、実在感のある立体視を実現できる。
なお、本実施形態の立体視方式では、物体の高さが高い場合に奥行き感等にずれが生じる可能性がある。このような場合には例えば図10に示すように、2つの基準面BS1、BS2(広義には複数の基準面)を設ければよい。
ここで基準面BS1は例えば水平面に平行な面である。一方、基準面BS2は、基準面BS1と所定の角度(例えば直角)をなす面である。そして、基準面BS1、BS2は境界BDにおいて連結されている。
物体OB(オブジェクト)は、基準面BS1の上方で且つ基準面BS2の手前側(VPL、VPR側)に配置する。そして図1の代わりに図11に示す処理を行う。
図11のステップS11、S12は、図1のステップS1、S2と同様である。そしてステップS13では、基準面BS1でのパースペクティブを無くすための補正処理を、左目用画像IL1の基準面BS1に対応する領域(IL1のうち境界BDを基準にしてBS1側の第1の領域)に対して施す。また、基準面BS2でのパースペクティブを無くすための補正処理を、IL1の基準面BS2に対応する領域(IL1のうち境界BDを基準にしてBS2側の第2の領域)に対して施す。そして、これらの補正処理により生成された画像を繋げた画像である左目用画像Il2を作成(生成)する。
またステップS14では、基準面BS1でのパースペクティブを無くすための補正処理を、右目用画像IR1の基準面BS1に対応する領域(IR1のうち境界BDを基準にしてBS1側の第1の領域)に対して施す。また、基準面BS2でのパースペクティブを無くすための補正処理を、IR1の基準面BS2に対応する領域(IR1のうち境界BDを基準にしてBS2側の第2の領域)に対して施す。そして、これらの補正処理により生成された画像を繋げた画像である右目用画像IR2を作成(生成)する。
そして最後にステップS15のように、IL2、IR2に基づき、例えばアナグリフ処理等を行って、立体視用画像を作成(生成)する。そして、得られた立体視用画像を印刷媒体に印刷して立体視用印刷物を製造したり、立体視用画像を表示部に表示することでリアルタイム動画像であるゲーム画像を生成する。
このようにすることで図12に示すように、OBが、基準面BS1からの高さが高い物体である場合にも、より自然で、実在感のある立体視を実現できる。即ち、物体OBの足下付近の領域(境界BSの下側の第1の領域)では、基準面BS1を利用した立体視の処理により、奥行き感やピント調整に無理の無い立体視を実現できる。一方、それ以外の領域(境界BSの上側の第2の領域)では、基準面BS2を利用した立体視の処理により、奥行き感に無理の無い立体視を実現できる。
なお、基準面は2つに限定されず、3つ以上の基準面(連結された複数の基準面)を用いてもよい。
2.第2の立体視方式
図13に本実施形態の第2の立体視方式のフローチャートを示す。前述の図1の方式は、カメラにより実写した画像を用いて立体視用印刷物を作成するのに最適な方式であるのに対して、図13の方式は、CG画像を用いて立体視用印刷物を作成するのに最適な方式である。
まず、左目用視点位置VPLとオブジェクトOBの各点を結ぶ投影方向で、基準面BS(図10の場合はBS1又はBS2)にOBの各点を投影して基準面BSにレンダリング
し、左目用画像ILを作成(生成)する(ステップS21)。
次に、右目用視点位置VPRとオブジェクトOBの各点を結ぶ投影方向で、基準面BS(図10の場合はBS1又はBS2)にOBの各点を投影して基準面BSにレンダリングし、右目用画像IRを作成(生成)する(ステップS22)。なお、基準面BSは、例えば視線方向(視点位置と注視点を結ぶ方向)に直交しない面である。即ち、基準面BSは、視線方向に常に直交する透視投影スクリーンとは異なる面である。
ステップS21、S22の処理では、VPL(或いはVPR)からオブジェクトOBの方に向かって仮想的な光を投射し、その光を用いて、OBの画像を基準面BS(BS1又はBS2)である仮想紙に焼き付けるようにして、仮想紙にレンダリングする。これにより、図14(A)に示すように、オブジェクトOBの点P1、P2、P3、P4の画像(色等のプロパティ)が、基準面BS上の投影点P1’、P2’、P3’、P4’にレンダリングされる。なお、基準面BS上の点P5、P6の画像については、そのまま、その点P5、P6の位置にレンダリングされる。そして例えば図14(B)に示すように、基準面BS(仮想紙)の全面をラスタスキャンするようにレンダリングすることで、図5、図6のIL2、IR2と同様の左目用画像IL、右目用画像IRを作成できる。即ち、基準面の画像のパースペクティブが無くなった左目用、右目用画像IL、IRを作成できる。
そして、これらの左目用、右目用画像IL、IRに基づき、例えばアナグリフ処理等を行って、立体視用画像を作成(生成)する(ステップS23)。これにより、図7に示すような立体視用画像を得ることができる。そして、得られた立体視用画像を印刷媒体に印刷して立体視用印刷物を製造したり、立体視用画像を表示部に表示することでゲーム画像を生成できる。
そして例えば図14(C)に示すように立体視用印刷物PM(或いは表示画面)を水平面(基準面)に平行になるように配置して見ることで、より自然で実在感のある立体視を実現できる。
例えば図15(A)では、オブジェクトOBを透視投影スクリーンSCR(視線方向に直交する面)に透視投影して左目用画像、右目用画像を作成している。そして、得られた左目用画像、右目用画像を合成して立体視用印刷物PMを作成する。そして図15(B)に示すように、観者は、立体視用印刷物PMに正対してPMを見ることになる。
この図15(A)の方式では、オブジェクトOBの点P2、P3は、投影投影スクリーンSCR上の点P2”、P3”に投影される。そして、立体視用印刷物PMは図15(B)のように正対して見ることになるため、P2”、P3”の焦点距離差L2が0になってしまう。即ち、実際の点P2、P3の焦点距離差L1は0ではないのに、L2が0となるため、ピント調整が実際のものと異なってしまう。従って、ピント調整と両眼視差の関係に矛盾が生じ、人間の脳に混乱が生じ、違和感のある立体視になってしまう。
これに対して本実施形態では、立体視用印刷物PM(表示画面)を図14(C)に示すように机に置いて見ることになるため、図14(A)に示すように、点P2’、P3’の焦点距離差L2は、実際の点P1、P2の焦点距離差L1と同様に、0ではない。従って手前の部分(点P2)は手前に見え、奥にある部分(P3)は奥に見えるようになるため、ピント調整と両眼視差の関係に矛盾が生じず、人間の脳に混乱が生じないため、より自然な立体視を実現できる。
即ち本実施形態は、立体視用印刷物PMを机に置いて斜めから見る方式であるため、机の面と、立体視の対象となるオブジェクトOBが載っている基準面BS(零面)とは、同
一面となり、現実的であり、立体視に無理が生じない。そして、オブジェクトOBが、基準面BS(零面)に対して、数センチメートルだけ浮き上がって見える様子を表現できればよいため、奥行き方向についての矛盾はほとんど生じない。しかも、基準面BSが机の面であるため、あたかも机の上に本当に立体の物体が配置されているかのように見え、物体の実在感が向上する。即ち従来の図15(A)、(B)の方式では、基準面があやふやであるため、立体感は確かにあるが、物体の実在感が幻のようにしかならなかったのである。
なお、図13の方式においても、図10で説明したように、複数の基準面を設定して立体視用画像を作成(生成)してもよい。この場合には、図13のステップS21、S22において、基準面BS1に投影される点については基準面BS1にレンダリングし、基準面BS2に投影される点については基準面BS2にレンダリングすればよい。
3.アナグリフ処理
次に図1のステップS5、図11のステップS15、図13のステップS23で行われるアナグリフ処理について簡単に説明する。
アナグリフ処理では、1枚の印刷媒体に、左目用画像と右目用画像を色を変えて印刷して、立体視用印刷物を作成する。そしてこの立体視用印刷物を、左右の目で異なる色フィルタ(例えば左目が赤、右目が青)を介して見る。この時に、左目では左目用画像だけが見え、右目では右目用画像だけが見えるようになり、立体視が実現される。
例えばモノクロのアナグリフ処理では、左目用画像(IL2、IL)をグレースケールに変換する。そして変換後の画像データをアナグリフ画像(RGB)のRチャンネルにコピーする。次に、右目用画像(IR2、IR)をグレースケールに変換する。そして変換後の画像データを、アナグリフ画像(RGB)のGチャンネルとBチャンネルにコピーする。これにより、モノクロのアナグリフ画像が作成される。なお、右目用画像をBチャンネルだけにコピーするようにしてもよい。
またカラーのアナグリフ処理では、左目用画像(IL2、IL)のRチャンネルを、アナグリフ画像(RGB)のRチャンネルにコピーする。また右目用画像(IR2、IR)のGチャンネルを、アナグリフ画像(RGB)のGチャンネルにコピーする。また右目用画像のBチャンネルをアナグリフ画像(RGB)のBチャンネルにコピーする。これにより、カラー(疑似カラー)のアナグリフ画像を作成できる。
なお、立体視の実現手法(図1のステップS5、図11のステップS15、図13のステップS23)は、少なくとも、左目用画像(IL2、IL)と右目用画像(IR2、IR)を用いて実現されるものであればよく、アナグリフ処理に限定されない。
例えばレンチキュラーレンズと呼ばれる特殊なレンズを使って、左目には左目用画像の像だけが入り、右目には右目用画像の像だけが入るようにして、立体視を実現していもよい。
また左目用画像、右目用画像の前に偏光板を配置し、左目用画像の前に置かれた偏光板と右目用画像の前に置かれた偏光板とで、偏向方向を異ならせておく。そして、それに応じた偏向方向を持つ偏光板をレンズ部分に取り付けた眼鏡を観者がかけることで、立体視を実現してもよい。
また左目用画像と右目用画像を、例えばフレームを異ならせて交互に表示する。そして左目用画像の表示に同期して開く左目用のシャッター(例えば液晶シャッター)と、右目
用画像の表示に同期して開く右目用のシャッターが設けられた眼鏡を観者がかけることで、立体視を実現してもよい。
4.視点位置の設定
次に視点位置の設定手法について説明する。
図2、図10の左目用、右目用視点位置VPL、VPRは、立体視用印刷物や立体視用表示画面を観者が実際に見る時の観者の左目、右目の想定位置に基づいて配置することが望ましい。例えば図2、図10において、物体OB(オブジェクト、被写体)と観者の目との間の距離DVB(例えば40cm)、視線角度θ(視線方向SL)、両目間の距離DLR(例えば7cm)に基づいて、左目用、右目用視点位置VPL、VPRを設定する。
但し、縮小表示や拡大表示を行う場合には、縮小率や拡大率に応じてVPL、VPRの位置を移動させる。この場合には図16に示すような手法で視点位置を移動させることが望ましい。
例えば物体OB(被写体、オブジェクト)と視点位置(VPLとVPRの中点CP)と間の距離DVBを長くした場合には、その長さの変化(比)に応じて、左目用視点位置VPLと右目用視点位置VPRとの間の距離DLRを長くする。即ち例えばDVBの長さの変化に比例してDLRを長くする。
また物体OB(被写体、オブジェクト)と視点位置(VPLとVPRの中点CP)との間の距離DVBを変化させる場合に、基準面BSに対して所定の角度θをなす直線LN(視線方向)に沿って移動するように、視点位置(中点CP、VPL、VPR)を移動させる。
このようにすることで、VPL、VPRを移動させた場合にも、距離DVBや距離DLRが等倍比で変化するようになるため、立体感に破綻が生じる事態を防止できる。これにより、適正な立体感を維持しながら縮小表示や拡大表示を実現できるようになる。
5.実写画像を用いた立体視用印刷物の作成
次に、実写画像を用いて立体視用印刷物を作成(製造)する手法の詳細について説明する。この場合には図1で説明した第1の立体視方式が適している。
実写画像を用いる場合には、撮影時の環境をそのまま再現する必要がある。従って、観者が見る時の位置関係に近いレイアウトで、実写用のカメラ(デジタルカメラ等)を配置する。例えば標準的な机に立体視用印刷物等を置いて、観者が椅子に座って見た場合を想定して、実写用のカメラを配置する。
5.1 基準面が1つの場合
図2のように基準面が1つである場合には、両目間の距離DLR(約7cm)、視点と被写体OBとの距離DVB、視線の角度θ、印刷紙の縦サイズD1、横サイズD2(印刷範囲)を設定する。
次に観者の左目、右目の位置と想定される位置にカメラを配置する。そして印刷範囲(D1、D2)の目安となるマークMK1〜MK4(第1〜第4のマーク)が書かれた紙を置く。このマークMK1〜MK4は、基準面BS上の長方形(正方形も含む広義の長方形)の頂点を構成する。
次に、被写体OBを紙に載せる。この時に、カメラの位置から見て、マークMK1〜M
K4で構成される長方形(印刷範囲)の外に被写体OBがはみ出さないように、OBを置く。そして、左目、右目の位置と想定される位置にセッティングされたカメラを用いて、被写体OBとマークMK1〜MK4が入るように撮影し、図3、図4に示すような左目用、右目用の画像IL1、IR1を作成する。
次に、撮影された左目用、右目用画像IL1、IR1を画像生成システム(パーソナルコンピュータ、情報処理装置)に取り込み、画面上に表示する。そして表示された画像の中から、紙のマークMK1〜MK4を見つけ出す。
次に、図17に示すように、D1対D2の縦横比の長方形(正方形も含む広義の意味の長方形)の頂点VX1〜VX4の位置に、マークMK1〜MK4を移動させて、画像をゆがめる補正処理を行う。この補正処理を、左目用、右目用画像IL1、IR1のそれぞれに対して行うことで、図5、図6の示すような左目用、右目用画像IL2、IR2を作成する。
次に、印刷範囲以外の余計な部分をトリミングする。そして、アナグリフ処理のソフトウェアを使用して、左目用、右目用画像IL2、IR2から、図7に示すような立体視用画像(アナグリフ画像)を作成する。そして、得られた立体視用画像を、D1、D2のサイズの印刷範囲で紙に印刷して、立体視用印刷物を完成する。
5.2 基準面が2つの場合
図10のように基準面を2つ設ける場合には、両目間の距離DLR(約7cm)、視点と被写体OBとの距離DVB、視線の角度θ、印刷紙の縦サイズD1、横サイズD2、高さサイズD3(印刷範囲)を設定する。
次に、観者の左目、右目の位置と想定される位置にカメラを配置する。そして印刷範囲(D1、D2)の目安となるマークMK1〜MK4(第1〜第4のマーク)が書かれた1枚目の紙(基準面BS1)を置く。このマークMK1〜MK4は、基準面BS1上の長方形の頂点を構成する。
次に、印刷範囲(D2、D3)の目安となるマークMK5〜MK8(第5〜第8のマーク)が書かれた2枚目の紙(基準面BS2)を、1枚目の紙の後ろに垂直に立てて置く。このマークMK5〜MK8は、基準面BS2上の長方形の頂点を構成する。
次に、被写体OBを1枚目の紙に載せる。この時に、カメラの位置から見て、マークMK1〜MK4で構成される長方形及びマークMK5〜MK8で構成される長方形(印刷範囲)の外に被写体OBがはみ出さないように、OBを置く。そして、左目、右目の位置と想定される位置にセッティングされたカメラを用いて、被写体OBとマークMK1〜MK4、MK5〜MK8が入るように撮影し、左目用、右目用の画像IL1、IR1(写真)を作成する。
次に、撮影された左目用、右目用画像IL1、IR1を画像生成システム(パーソナルコンピュータ)に取り込み、画面上に表示する。そして表示された画像の中から、紙のマークMK1〜MK4、MK5〜MK8を見つけ出す。なお、マークMK3、MK4とMK6、MK5は同じマークとすることができる。
次に、図18に示すように、D1対D2の縦横比の長方形の頂点VX1〜VX4の位置に、マークMK1〜MK4を移動させて、画像をゆがめる補正処理を行う。また、D3対D2の縦横比の長方形の頂点VX5〜VX8の位置に、マークMK5〜MK8を移動させて、画像をゆがめる補正処理を行う。そして、得られた2枚の画像を繋げる。この補正処
理を、左目用、右目用画像IL1、IR1のそれぞれに対して行うことで、左目用、右目用画像IL2、IR2を作成する。
次に、印刷範囲以外の余計な部分をトリミングする。そして、アナグリフ処理のソフトウェアを使用して、左目用、右目用画像IL2、IR2から、立体視用画像(アナグリフ画像)を作成する。そして、得られた立体視用画像を、D1、D2、D3のサイズの印刷範囲で紙に印刷して、立体視用印刷物を完成する。
6.CG画像を用いた立体視用印刷物の作成
次に、CG(コンピュータグラフィックス)画像を用いて立体視用印刷物を作成(製造)する手法について説明する。この場合には図13で説明した第2の立体視方式が適している。但し図1の第1の立体視方式で実現することも可能である。
まず、観者が見る時の位置関係に近いレイアウトで、仮想カメラ(視点)をオブジェクト空間内に配置する。例えば標準的な机に立体視用印刷物等を置いて、観者が椅子に座って見た場合を想定して、仮想カメラを配置する。
そして図2のように、両目間の距離DLR(約7cm)、視点とオブジェクトOBとの距離DVB、視線の角度θ、印刷紙の縦サイズD1、横サイズD2(印刷範囲)を設定する。
次に観者の左目、右目の位置と想定される位置に仮想カメラを配置する。そして仮想紙(仮想紙オブジェクト)上にオブジェクトを配置する。
次に、左目用視点位置VPLからオブジェクトOBの方に向かって仮想的な光を投射し、その光を用いて、OBの画像を仮想紙に焼き付けるようにしてレンダリングする。これにより左目用画像ILが作成される。これは、目から見た画像を、机の上の仮想紙にプロジェクタで投射する処理と同様の処理である。
次に、右目用視点位置VPRからオブジェクトOBの方に向かって仮想的な光を投射し、その光を用いて、OBの画像を仮想紙に焼き付けるようにしてレンダリングする。これにより右目用画像IRが作成される。
次に、アナグリフ処理のソフトウェアを使用して、左目用、右目用画像IL、IRから、立体視用画像(アナグリフ画像)を作成する。そして、得られた立体視用画像を、D1、D2のサイズの印刷範囲で紙に印刷して、立体視用印刷物を完成する。
なお、図10のように複数の基準面を設けて、CG画像を用いた立体視用印刷物を作成してもよい。
また、基準面BSに対して投影されるオブジェクトOBは、その全部が、図2のように基準面BS上に配置されるオブジェクトであってもよいし、図19(A)のように、その一部が、基準面BSの奥側に配置されるオブジェクトであってもよい。或いは、図19(B)のように、その全部が、基準面BSの奥側に配置されるオブジェクトであってもよい。
例えば図19(A)では、基準面BSの奥側の点P1、P2、P3が手前の点P1’、P2’、P3’に投影される。これにより、オブジェクトOBに開いている穴などを表現できる。また図19(A)のC1の位置では、オブジェクトOBが仮想紙にめり込んだ様子を表現できる。
図19(B)でも、基準面BSの奥側の点P1、P2、P3が手前の点P1’、P2’、P3’に投影される。これにより、水面の下に潜っている魚などのオブジェクトを表現できる。なお、水面などの半透明物を表現する場合には、基準面BSの位置に半透明オブジェクトを配置し、この半透明オブジェクトとオブジェクトOB(点P1’、P2’、P3’)とのα合成を行うことが望ましい。
以上のようにCG画像を用いる本実施形態の手法によれば、ゲームマニュアルに添付するのに最適な立体視用印刷物を作成できる。
例えば、平面的なマップの絵しか添付されていない従来のゲームマニュアルでは、マップの形状等をプレーヤが把握するのが難しいという課題があった。
これに対して本実施形態の手法を用いれば、立体的に見えるマップの印刷物をゲーム・マニュアルに添付することが可能になる。例えば、マップの形状データは、ゲームデータとして存在するため、このゲームデータを利用することで、マップの立体視用印刷物を容易に作成できる。また本実施形態の手法によれば、机などに置いて見たときに最も立体感がハッキリと出る立体視用印刷物を提供できる。従って、プレーヤにとって使いやすく便利で、ゲームマニュアルに添付するのに最適な立体視用印刷物を提供できる。
なお、例えば車、戦車、飛行機のゲームなどにおいて、登場する車、戦車、飛行機が立体的に表される立体視用印刷物をゲームマニュアルに添付してもよい。或いは、モンスターカードゲームに本実施形態の手法を適用すれば、カードのモンスターが立体的に飛び出して見えるようなカードゲームを実現できる。特にカードゲームでは、机やテーブルなどの水平面にカードを置いてゲームを楽しむものであるため、水平面(基準面)においた時に最も効果的な立体視が可能になる本実施形態の手法は最適である。
7.ゲーム画像の生成
次に、リアルタイム動画像であるゲーム画像を生成する手法について説明する。この場合には図1で説明した第1の立体視方式が適している。但し図13の第2の立体視方式で実現することも可能である。
まず、プレーヤが見る時の位置関係に近いレイアウトで、仮想カメラ(視点)をオブジェクト空間内に配置する。例えば標準的な机に立体視用印刷物等を置いて、プレーヤが椅子に座って見た場合を想定して、仮想カメラを配置する。
そして図2のように、両目間の距離DLR(約7cm)、視点とオブジェクトOBとの距離DVB、視線の角度θ、表示画面の縦サイズD1、横サイズD2(表示画面サイズ)を設定する。
次にプレーヤの左目、右目の位置と想定される位置である左目用、右目用視点位置VPL、VPRに、仮想カメラを配置する。また、仮想カメラの被写体となるオブジェクトOBをオブジェクト空間内に配置する。これらの仮想カメラは、基本的に、左目用、右目用視点位置VPL、VPRからオブジェクト空間内のオブジェクト(注視オブジェクト)の方向に向けられる。
次に、左目用、右目用視点位置VPL、VPRに配置された仮想カメラから見える左目用、右目用画像IL1、IR1を生成する。そして、生成された左目用、右目用画像IL1、IR1を、VRAMのテクスチャ領域(テクスチャ空間)に書き込み、これらの画像を、図20に示すようなテクスチャー画像TEXに設定する。
次に、パースペクティブのついたテクスチャ画像TEX(図3、図4参照)を、D1、D2のサイズの長方形(正方形を含む広義の意味の長方形)のポリゴンPLG(プリミティブ面)にマッピングする。具体的には、テクスチャ画像TEXのテクスチャ座標(TX1、TY1)、(TX2、TY2)、(TX3、TY3)、(TX4、TY4)を、ポリゴンPLGの頂点VX1、VX2、VX3、VX4にコーディネートして、テクスチャ画像TEXをポリゴンPLGにマッピングする。これにより、図6、図7に示すように基準面の画像のパースペクティブが無くなった画像を生成できる。そして、このようなテクスチャマッピング処理を、左目用、右目用画像IL1、IR1のそれぞれについて行うことで、左目用、右目用画像IL2、IR2を生成する。
次に、得られた左目用、右目用画像IL2、IR2を、アナグリフ処理を用いて1枚の立体視用画像に合成する。そして合成された立体視用画像を表示部に出力する。
なお、液晶シャッタ等を用いて立体視を実現する場合には、生成された左目用、右目用画像IL2、IR2を、異なるフレームで交互に表示部に出力すればよい。
8.画像生成システム
図21に、本実施形態の画像生成システムの機能ブロック図の例を示す。なお、本実施形態の画像生成システムは、図21の構成要素(各部)を全て含む必要はなく、その一部を省略した構成としてもよい。
この図21の画像生成システムは、ゲーム画像(リアルタイム動画像)を生成するシステムとして用いることができる。また、CG画像(静止画像)により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システム(CGツール)としても用いることができる。また、カメラで撮った実写画像を取り込み、この実写画像により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システムとしても用いることができる。
操作部160は、プレーヤ(操作者)が操作データを入力するためのものであり、その機能は、レバー、ボタン、ステアリング、シフトレバー、アクセルペダル、ブレーキペダル、マイク、センサー、タッチパネル、或いは筺体などのハードウェアにより実現できる。
記憶部170は、処理部100や通信部196などのワーク領域となるもので、その機能はRAMなどのハードウェアにより実現できる。
情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)、光磁気ディスク(MO)、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ(ROM)などのハードウェアにより実現できる。処理部100は、この情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体180には、本実施形態の各部としてコンピュータを機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶(記録、格納)される。
表示部190は、本実施形態により生成された画像を出力するものであり、その機能は、CRT、LCD、タッチパネル、或いはHMD(ヘッドマウントディスプレイ)などのハードウェアにより実現できる。
音出力部192は、本実施形態により生成された音を出力するものであり、その機能は
、スピーカ、或いはヘッドフォンなどのハードウェアにより実現できる。
携帯型情報記憶装置194は、プレーヤの個人データやゲームのセーブデータなどが記憶されるものであり、この携帯型情報記憶装置194としては、メモリカードや携帯型ゲーム装置などがある。
通信部196は、外部(例えばホスト装置や他の画像生成システム)との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ又は通信用ASICなどのハードウェアや、プログラムなどにより実現できる。この通信部196を用いて、カメラで撮影された実写画像を画像生成システムに取り込んだり、作成された立体視用画像をプリンタに出力することが可能になる。
なお本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、ホスト装置(サーバー)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180(記憶部170)に配信するようにしてもよい。このようなホスト装置(サーバー)の情報記憶媒体の使用も本発明の範囲内に含まれる。
処理部100(プロセッサ)は、操作部160からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などの各種の処理を行う。この場合、処理部100は、記憶部170内の主記憶部172をワーク領域として使用して、各種の処理を行う。この処理部100の機能は、各種プロセッサ(CPU、DSP等)又はASIC(ゲートアレイ等)などのハードウェアや、プログラム(ゲームプログラム)により実現できる。
処理部100は、ゲーム処理部110、第1の画像生成部120、第2の画像生成部122、立体視用画像生成部126、音生成部130を含む。
ここでゲーム処理部110は、操作部160(ゲームコントローラ)からの操作データに基づいて、ゲーム画像を生成するための種々のゲーム処理を行う。このゲーム処理としては、ゲーム開始条件に基づいてゲームを開始する処理、ゲームを進行させる処理、ゲームに登場するオブジェクト(表示物)を配置する処理、オブジェクトの移動情報(位置、速度、加速度)や動作情報(モーション情報)を求める処理、オブジェクトを表示するための処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了させる処理などがある。
第1の画像生成部120は、オブジェクト空間内において左目用視点位置(左目用仮想カメラ)から見える画像である第1の左目用画像を生成する処理を行う。また、オブジェクト空間内において右目用視点位置(右目用仮想カメラ)から見える画像である第1の右目用画像を生成する処理を行う。この場合、第1の左目用画像、第1の右目用画像は、立体視のための画像であり、例えば両眼視差がついた画像である。具体的には、左目用視点位置に仮想カメラを配置し、この仮想カメラの視線方向をオブジェクト(注視点)の方に向けて、第1の左目用画像を生成する。また右目用視点位置に仮想カメラを配置し、この仮想カメラの視線方向をオブジェクト(注視点)の方に向けて、第1の右目用画像を生成する。
なお、仮想カメラから見える画像は、次のようにして生成できる。即ち、まず、座標変換、クリッピング処理、透視変換或いは光源処理等のジオメトリ処理を行い、その処理結果に基づいて、描画データ(プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等)を作成する。そして、この描画データ(プリミティブ面データ)に基づいて、透視変換後(ジオメトリ処理後)のオブジェクト(1又は複数プリ
ミティブ面)を、描画バッファ174(フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ)に描画する。これにより、オブジェクト空間内において仮想カメラから見える画像が生成される。
第2の画像生成部122は、第1の左目用画像に対して、基準面での画像のパースペクティブを無くすための補正処理を施して、第2の左目用画像を生成する。また、第1の右目用画像に対して、基準面での画像のパースペクティブを無くすための補正処理を施して、第2の右目用画像を生成する(図1、図8(A)参照)。
この場合の補正処理は、テクスチャマッピング部124が図20で説明したテクスチャマッピング処理を行うことで実現される。具体的には、第1の画像生成部120で生成された第1の左目用画像、第1の右目用画像は、テクスチャ画像としてテクスチャ記憶部176に記憶される。そしてテクスチャマッピング部124は、この記憶された第1の左目用画像のテクスチャを、長方形のポリゴンにマッピングすることで、第2の左目用画像を生成する。また、この記憶された第1の右目用画像のテクスチャを、長方形のポリゴンにマッピングすることで、第2の右目用画像を生成する。
また第2の画像生成部122が、図13で説明した方式に基づいて、左目用画像、右目用画像を生成してもよい。即ち第2の画像生成部122が、左目用視点位置とオブジェクトの各点を結ぶ投影方向で、基準面に対してオブジェクトの各点を投影してレンダリングすることで、左目用画像を生成する。また、右目用視点位置とオブジェクトの各点を結ぶ投影方向で、基準面に対してオブジェクトの各点を投影してレンダリングすることで、右目用画像を生成する。
立体視用画像生成部126は、第2の左目用画像(左目用画像)と第2の右目用画像(右目用画像)とに基づいて立体視用画像を生成する処理を行う。例えば、第2の左目用画像(左目用画像)と第2の右目用画像(右目用画像)をアナグリフ処理により合成して、立体視用画像を生成し、表示部190に出力する。この場合には、プレーヤは、例えば赤の色フィルタと青の色フィルタが左目、右目に設けられた眼鏡をかけて、ゲームをプレイすることになる。
或いは、立体視用画像生成部126が、第2の左目用画像(左目用画像)と第2の右目用画像(右目用画像)を異なるフレームで表示部190に出力する処理を行い、立体視を実現してもよい。この場合には、プレーヤは、フレームに同期してシャッターが開閉するシャッター付き眼鏡をかけて、ゲームをプレイすることになる。
音生成部130は、処理部100で行われる種々の処理の結果に基づいて音処理を行い、BGM、効果音、又は音声などのゲーム音を生成し、音出力部192に出力する。
なお、本実施形態の画像生成システムは、1人のプレーヤのみがプレイできるシングルプレーヤモード専用のシステムにしてもよいし、このようなシングルプレーヤモードのみならず、複数のプレーヤがプレイできるマルチプレーヤモードも備えるシステムにしてもよい。
また複数のプレーヤがプレイする場合に、これらの複数のプレーヤに提供するゲーム画像やゲーム音を、1つの端末を用いて生成してもよいし、ネットワーク(伝送ライン、通信回線)などで接続された複数の端末(ゲーム機、携帯電話)を用いて生成してもよい。
9.センサによる検知
本実施形態の立体視方式でゲーム画像を生成する場合には、プレーヤの位置、方向をセ
ンサにより検知し、検知された位置、方向に基づいて、図2の左目用視点位置VPL、右目用視点位置VPRを設定することが望ましい。
より具体的には図22(A)に示すように、プレーヤがかけるための眼鏡10を用意する。例えばアナグリフ方式により立体視を実現する場合には、眼鏡10の左目部分12には赤の色フィルタ(広義には第1の色のフィルタ)が取り付けられ、右目部分14には青の色フィルタ(広義には第2の色のフィルタ)が取り付けられる。これにより、プレーヤの左目には左目用画像だけが見え、右目には右目用画像だけが見えるようになり、アナグリフ方式による立体視を実現できる。
一方、シャッター方式により立体視を実現する場合には、左目部分12には第1の液晶シャッター(広義には第1のシャッター)が設けられ、右目部分14には第2の液晶シャッター(広義には第2のシャッター)が設けられる。そして、表示部190に左目用画像が出力されるときには、第1の液晶シャッターが開くと共に、第2の液晶シャッターが閉じる。一方、表示部190に右目用画像が出力されるときには、第1の液晶シャッターが閉じると共に、第2の液晶シャッターが開く。これにより、プレーヤの左目には左目用画像だけが見え、右目には右目用画像だけが見えるようになり、シャッター方式による立体視を実現できる。
そして本実施形態では、この眼鏡10に受信センサ20(広義にはセンサ)を取り付け、この受信センサ20によりプレーヤの位置や方向を検知する。
例えば図22(B)では、磁場を利用してプレーヤの位置や方向(動作情報)を検知できる。具体的には、XYZの3方向にコイルが巻かれたソースコイルにより送信部30を構成する。一方、受信センサ20は、XYZの3方向にコイルが巻かれたセンサコイルにより構成する。そして、送信部30のソースコイルに含まれる3つのコイルに電流を流すことにより、磁場のXYZ方向成分を順次発生させる。そして、それぞれの磁場を発生させた時に、受信センサ20のセンサコイルに含まれる3つのコイルから得られる電流を検出する。そして、この検出電流を測定することにより、プレーヤの位置や方向を検知する。
一方、図22(C)では、送信部30に超音波送信器32、33、34を取り付ける。一方、受信センサ20には、超音波受信機23、24、25を取り付けると共に、圧電振動ジャイロ26、27、28を取り付ける。そして送信部30の超音波送信器32、33、34からの超音波を、受信センサ20の超音波受信機23、24、25が受信することで、プレーヤの位置及び方向を求める。また、圧電振動ジャイロ26、27、28を用いることで、プレーヤの頭部が動作した時の角速度を検知する。そして、この角速度に基づき、所定軸回りでのプレーヤの頭部の回転角度を求める。
図22(A)、(B)、(C)の手法を用いて、プレーヤの位置、方向を検知し、プレーヤの左目、右目の位置を特定し、特定された位置に、図2の左目用、右目用視点位置VPL、VPRを設定すれば、プレーヤの位置や方向が変化した場合にも、適正な立体視用画像を得ることができる。例えばプレーヤが表示画面から離れたり、表示画面に近づいた場合に、それに応じて、縮小表示を行ったり、拡大表示を行うことが可能になる。また、プレーヤの視線方向が変化した場合にも、適正な視線方向で立体視用画像を表示できる。これにより、どの方向から見ても、立体感のある画像を見ることが可能になり、プレーヤの仮想現実感を増すことができる。
10.マルチプレーヤゲーム
図23(A)に、本実施形態の画像生成システムで、マルチプレーヤゲームを実現する
場合の例を示す。
図23(A)に示すように、表示部190の表示画面DSCは、水平面に対して平行に配置される。そして、この表示画面DSCを挟んで、プレーヤPL1、PL2(第1、第2のプレーヤ)が対峙する。そして、プレーヤPL1、PL2は、見下ろすような視線(鳥瞰視線)で表示画面DSCを見ることになる。即ち、視線方向SL1、SL2を下側に傾けて表示画面DSCを見る。
またプレーヤPL1、PL2は、図22(A)で説明した眼鏡10-1、10-2をかけている。そして、これらの眼鏡10-1、10-2にはセンサ20ー1、20-2が設けられてお
り、プレーヤPL1、PL2の視点位置や視線方向を検知できるようになっている。また眼鏡10-1、10-2の左目部分には赤の色フィルタが取り付けられ、右目部分には青の色フィルタが取り付けられている。更に、液晶シャッター(広義にはシャッター)も取り付けられている。
そして本実施形態では図23(B)に示すように、プレーヤPL1用の立体視用画像と、プレーヤPL2用の立体視用画像とを、異なるフレームで表示部190の表示画面DSCに表示する。より具体的には、例えばフレームK、K+2、K+4・・・・ではプレーヤPL1用の立体視用画像IP1を表示する。一方、フレームK+1、K+3、K+5・・・・ではプレーヤPL2用の立体視用画像IP2を表示する。
そして、プレーヤPL1用の立体視用画像IP1が表示されているフレームK、K+2、K+4・・・では、プレーヤPL1の眼鏡10-1の液晶シャッターを開く一方で、プレーヤPL2の眼鏡10-2の液晶シャッターを閉じる。従って、プレーヤPL1は、表示画面DSCに表示されるアナグリフ画像を、眼鏡10-1の左目部分、右目部分に取り付けられている赤の色フィルタ、青の色フィルタを介して見ることで、画像を立体的に見ることができる。
一方、プレーヤPL2用の立体視用画像IP2が表示されているフレームK+1、K+3、K+5・・・・では、プレーヤPL2の眼鏡10-2の液晶シャッターを開く一方で
、プレーヤPL1の眼鏡10-1の液晶シャッターを閉じる。従って、プレーヤPL2は、表示画面DSCに表示されるアナグリフ画像を、眼鏡10-2の左目部分、右目部分に取り付けられている赤の色フィルタ、青の色フィルタを介して見ることで、画像を立体的に見ることができる。これにより、マルチプレーヤゲームに最適な立体視を実現できる。
なお、表示画面DSCにアナグリフ画像を表示するのではなく、左目用画像、右目用画像を交互に表示する場合には、図23(C)のようにすればよい。即ち例えばフレームK、K+1では、プレーヤPL1用の左目用画像IP1L、右目用画像IP1Rを表示画面DSCに表示する。またフレームK+2、K+3では、プレーヤPL2用の左目用画像IP2L、右目用画像IP2Rを表示画面DSCに表示する。またフレームK+4、K+5では、プレーヤPL1用の左目用画像IP1L、右目用画像IP1Rを表示画面DSCに表示する。
そして、プレーヤPL1の左目用画像IP1Lが表示されているフレームKでは、プレーヤPL1の左目部分の液晶シャッターだけを開け、プレーヤPL1の右目部分のシャッターと、プレーヤPL2の左目及び右目部分の液晶シャッターを閉じる。またプレーヤPL1の右目用画像IP1Rが表示されているフレームK+1では、プレーヤPL1の右目部分の液晶シャッターだけを開け、プレーヤPL1の左目部分のシャッターと、プレーヤPL2の左目及び右目部分の液晶シャッターを閉じる。
また、プレーヤPL2の左目用画像IP2Lが表示されているフレームK+2では、プレーヤPL2の左目部分の液晶シャッターだけを開け、プレーヤPL2の右目部分のシャッターと、プレーヤPL1の左目及び右目部分の液晶シャッターを閉じる。またプレーヤPL2の右目用画像IP2Rが表示されているフレームK+3では、プレーヤPL2の右目部分の液晶シャッターだけを開け、プレーヤPL2の左目部分のシャッターと、プレーヤPL1の左目及び右目部分の液晶シャッターを閉じる。このようにすれば、アナグリフ画像を合成することなく、マルチプレーヤゲームでの立体視を実現できる。
特に図1、図13等で説明した本実施形態の立体視方式は、従来の立体視方式に比べて、マルチプレーヤゲームに好適である。
即ち例えば図23(C)のように、左目用画像、右目用画像が交互に表示されると、プレーヤの目の残像効果により画像にチラツキが生じるおそれがある。ところが、本実施形態では、図9で説明したように、基準面BS(零面)においては左目用画像と右目用画像の表示位置が一致する。従って、左目用画像、右目用画像が交互に表示されても、基準面BSの位置での画像は動かないため、プレーヤの目の残像効果によるチラツキが生じにくい。
しかも、基準面BSは、マップ等が配置される場所であるため、表示画面DSCの大部分を占める可能性がある。従って、基準面BSにおいてチラツキが生じてしまう従来の立体視方式では、そのチラツキが非常に目立ってしまう。
これに対して、本実施形態の立体視方式では、表示画面DSCの大部分を占める基準面BSにおいて画像のチラツキが生じにくいため、従来の立体視方式に比べて、画面のチラツキを大幅に軽減できる。
11.第1、第2の立体視方式の解析
次に図1、図13で説明した本実施形態の第1、第2の立体視方式を数学的に解析する。第1の立体視方式は、基準面(机)スクリーンに直接射影(C1)できない現実世界の物体の像が、カメラの撮影(C2)で得られた写真(図3、図4)と、それに対する後処理(C3。図8(A)のパースペクティブを無くす処理)によって、実用上は差し支えない範囲で再構成が可能なことを示している。そこで、この第1の立体視方式と、基準面(机)スクリーンに物体の点を直接射影する第2の立体視方式との違いについて、数学的な解析を行う。
11.1 第1の立体視方式の数学的解析
まず視点(v)と、カメラのスクリーン(s)と、物体と、それらに対する座標系を図24のように定める。図24では、視点からの射影によって、物体の点(x、y、z)が、スクリーン(カメラのスクリーン)上の点(x、y)に投影されている。
まずカメラの撮影(C2)は、下式(1)の回転Rxの行列と、下式(2)の射影Pzの行列との合成により表すことができる。
ここで回転Rxの行列は、斜め方向の視線方向をZ軸方向に平行になるように回転させる行列である。また射影Pzの行列は、視点(Z=v)からカメラのスクリーン(Z=s)への射影を表す行列である。なおαは視線方向と基準面スクリーンとのなす角度である。
従って、カメラの撮影(C2)は下式(3)のように表すことができる。
この上式(3)は下式(4)のような変換式で表すこともできる。
例えば図25に示すように、机等の基準面上(Z=0)に、正方形を構成する4つの格子点G1=(a、a、0)、G2=(−a、a、0)、G3=(−a、−a、0)、G4=(a、−a、0)を設定する。なお「t」は転置を意味する。
これらの格子点G1〜G4は、上式(3)(4)の変換によって、図25に示すように格子点G1’〜G4’に写る。これらの格子点G1’〜G4’の座標は、上式(3)(4)の(x、y、z)に、(a、a、0)、(−a、a、0)、(−a、−a、0)、(a、−a、0)を代入することで、下式(5)〜(8)のように計算される。
第1の立体視方式の後処理(C3。パースペクティブを無くす処理)は、これらの格子点G1’〜G4’を、写真上の2次元正方形を構成する格子点F1=(b、b)、F2=(−b、b)、F3=(−b、−b)、F4=(b、−b)に写す射影変換である。即ち図3のマーカMK1〜MK4(G1’〜G4’に相当)の位置を、図5のマーカMK1〜MK4(F1〜F4に相当)の位置に写す射影変換である。
このような射影P1を表す行列は、行列の要素a11、a12、a13・・・a33についての連立方程式を解くことで、下式(9)のように求められる。
従って、カメラの撮影(C2)と後処理(C3)の合成である第1の立体視方式の変換は、上式(1)の回転Rxの行列と、上式(2)の射影Pzの行列と、上式(9)の射影P1の行列の合成で表すことができ、下式(10)のように表すことができる。
この上式(10)は下式(11)のような変換式で表すこともできる。
以上のように、図1の第1の立体視方式は、上式(10)又は上式(11)のような数式で表現できる。
11.2 第2の立体視方式の数学的解析
物体の点を基準面スクリーンに直接投影する図13の第2の立体視方式の変換は、図26から、下式(12)のように表すことができる。
この上式(12)は下式(13)のような変換式で表すこともできる。
上式(12)(13)で表される第2の立体視方式の変換は、図27(A)に示すような物体OBの平行移動Ty(y方向での−vcosαの平行移動)と、図27(B)に示すような平行移動後の物体OBの射影PZと、図28に示すような射影後の物体OBの平行移動Ty(y方向でのvcosαの平行移動)の3つの変換から成り立っている。
11.3 第1、第2の立体視方式の比較
以上のように、数学的には、第1の立体式方式の変換は下式(14)又は(15)のように表され、第2の立体視方式の変換は下式(16)又は(17)のように表される。
上式(14)と(16)との相違部分は、J1に示す項とK1に示す項である。上式(15)と(17)では、この相違部分は、J2に示す項とK2に示す項の相違になる。
これらの相違部分を、図を用いて直感的に説明すると次のようになる。即ち、前述のように第2の立体視方式は図27(A)(B)、図28の3つの変換により成り立っている。そして第1の立体視方式が第2の立体視方式と異なるのは、最初の図27(A)の平行移動でのずれ量である。即ち第1の立体視方式では、このずれ量はzcotαになる(上式(14)(15)のJ1、J2参照)。これに対して第2の立体視方式では、このずれ量はvcosα(上式(16)(17)のK1、K2参照)になる。
このように第2の立体視方式では、ずれ量(vcosα)は、視点(v)と視線方向(
α)に依存する。一方、第1の立体視方式では、ずれ量(zcotα)は、高さ(z)と視線方向(α)に依存し、視点(v)そのものには依存しない。そしてこの第1の立体視方式でのずれ量(zcotα)は、図29に示すように、物体の点(x、y、z)から下ろした垂線が、基準面(机)スクリーンとが交わる点N1と、物体の点(x、y、z)から、射影方向ではなく視線方向に延ばした線と、基準面スクリーンとが交わる点N2との間の距離に等しい。
このように第1の立体視方式では、図27(A)の平行移動のずれ量(zcotα)が、高さ(z)に依存する。従って、物体の点(x、y、z)の高さ(z)に応じて、第1の立体視方式での立体視の見え方と、第2の立体視方式での立体視の見え方に差異が生じるようになり、この点において第1、第2の立体視方式は異なる。
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。
例えば、明細書又は図面中の記載において広義な用語(第1の色フィルタ、第2の色フィルタ、シャッター、センサ、物体、プリミティブ面等)として引用された用語(赤の色フィルタ、青の色フィルタ、液晶シャッター、受信センサ、オブジェクト・被写体、ポリゴン等)は、明細書又は図面中の他の記載においても広義な用語に置き換えることができる。
また、左目用画像、右目用画像、立体視用画像の生成手法も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
また本発明の手法で生成された立体視用画像を、立体視用印刷物やゲーム画像以外の用途に用いることも可能である。
また本実施形態で説明した第1、第2の立体視方式と均等な方式で、立体視用画像を生成する場合も本発明の範囲に含まれる。
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の1の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
また、本発明は種々のゲーム(格闘ゲーム、競争ゲーム、シューティングゲーム、ロボット対戦ゲーム、スポーツゲーム、ロールプレイングゲーム等)に適用できる。
また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード等の種々の画像生成システム(ゲームシステム)に適用できる。
VPL 左目用視点位置、VPR 右目用視点位置、
OB 物体(オブジェクト、被写体)、BS(BS1、BS2) 基準面、
RTG 長方形、MK1〜MK4 マーク、MK5〜MK8 マーク、
IL1 第1の左目用画像、IR1 第1の右目用画像、
IL2 第2の左目用画像、IR2 第2の右目用画像、
IL 左目用画像、IR 右目用画像、
100 処理部、110 ゲーム処理部、120 第1の画像生成部、
122 第2の画像生成部、124 テクスチャマッピング部
126 立体視用画像生成部、130 音生成部、160 操作部、
170 記憶部、172 主記憶部、174 描画バッファ、
176 テクスチャ記憶部、180 情報記憶媒体、190 表示部
192 音出力部、194 携帯型情報記憶装置、196 通信部

Claims (10)

  1. 立体視用画像の作成方法であって、
    視線方向に対して斜め方向となる基準面に物体を配置して立体視のための第1の左目用画像と立体視のための第1の右目用画像を作成し、
    第1の左目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の左目用画像に対して施して、第2の左目用画像を作成し、
    第1の右目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の右目用画像に対して施して、第2の右目用画像を作成し、
    第2の左目用画像と第2の右目用画像とに基づいて立体視用画像を作成し、
    基準面が、第1の基準面と、第1の基準面に対して所定の角度をなす第2の基準面を含み、
    第2の左目用画像を作成する際は、第1の左目用画像の第1の基準面での画像のパースペクティブを無くすための左目用の第1の補正処理を、第1の左目用画像の第1の基準面に対応する領域に対して施し、第1の左目用画像の第2の基準面での画像のパースペクティブを無くすための左目用の第2の補正処理を、第1の左目用画像の第2の基準面に対応する領域に対して施して、第2の左目用画像を作成し、
    第2の右目用画像を作成する際は、第1の右目用画像の第1の基準面での画像のパースペクティブを無くすための右目用の第1の補正処理を、第1の右目用画像の第1の基準面に対応する領域に対して施し、第1の右目用画像の第2の基準面での画像のパースペクティブを無くすための右目用の第2の補正処理を、第1の右目用画像の第2の基準面に対応する領域に対して施して、第2の右目用画像を作成することを特徴とする立体視用画像の作成方法。
  2. 立体視用画像の作成方法であって、
    被写体と、基準面において長方形を構成する第1〜第4のマークを、基準面に対して視線方向が斜め方向となる左目用視点位置から撮影することで、立体視のための第1の左目用画像を作成し、
    被写体と、基準面において長方形を構成する第1〜第4のマークを、基準面に対して視線方向が斜め方向となる右目用視点位置から撮影することで、立体視のための第1の右目用画像を作成し、
    第1の左目用画像の第1〜第4のマークを、長方形の頂点位置に移動させる補正処理を行うことで、第1の左目用画像から第2の左目用画像を作成し、
    第1の右目用画像の第1〜第4のマークを、長方形の頂点位置に移動させる補正処理を行うことで、第1の右目用画像から第2の右目用画像を作成し、
    第2の左目用画像と第2の右目用画像とに基づいて立体視用画像を作成し、
    基準面が、第1の基準面と、第1の基準面に対して所定の角度をなす第2の基準面を含み、
    第1の左目用画像を作成する際は、被写体と、第1の基準面において長方形を構成する第1〜第4のマークと、第2の基準面において長方形を構成する第5〜第8のマークを、左目用視点位置から撮影することで、立体視のための第1の左目用画像を作成し、
    第1の右目用画像を作成する際は、被写体と、第1の基準面において長方形を構成する第1〜第4のマークと、第2の基準面において長方形を構成する第5〜第8のマークを、右目用視点位置から撮影することで、立体視のための第1の右目用画像を作成し、
    第2の左目用画像を作成する際は、第1の左目用画像の第1〜第4のマークを、長方形の頂点位置に移動させる左目用の第1の補正処理を行い、第1の左目用画像の第5〜第8のマークを、長方形の頂点位置に移動させる左目用の第2の補正処理を行うことで、第1の左目用画像から第2の左目用画像を作成し、
    第2の右目用画像を作成する際は、第1の右目用画像の第1〜第4のマークを、長方形の頂点位置に移動させる右目用の第1の補正処理を行い、第1の右目用画像の第5〜第8のマークを、長方形の頂点位置に移動させる右目用の第2の補正処理を行うことで、第1の右目用画像から第2の右目用画像を作成することを特徴とする立体視用画像の作成方法。
  3. 立体視用画像の作成方法であって、
    立体視のための第1の左目用画像を作成し、
    立体視のための第1の右目用画像を作成し、
    第1の左目用画像の第1の基準面での画像のパースペクティブを無くすための左目用の第1の補正処理を、第1の左目用画像の第1の基準面に対応する領域に対して施し、第1の基準面に対して所定の角度をなす第2の基準面での第1の左目用画像の画像のパースペクティブを無くすための左目用の第2の補正処理を、第1の左目用画像の第2の基準面に対応する領域に対して施して、第2の左目用画像を作成し、
    第1の右目用画像の第1の基準面での画像のパースペクティブを無くすための右目用の第1の補正処理を、第1の右目用画像の第1の基準面に対応する領域に対して施し、第1の右目用画像の第2の基準面での画像のパースペクティブを無くすための右目用の第2の補正処理を、第1の右目用画像の第2の基準面に対応する領域に対して施して、第2の右目用画像を作成し、
    第2の左目用画像と第2の右目用画像とに基づいて立体視用画像を作成することを特徴とする立体視用画像の作成方法。
  4. 立体視用画像の作成方法であって、
    被写体と、第1の基準面において長方形を構成する第1〜第4のマークと、第1の基準面に対して所定の角度をなす第2の基準面において長方形を構成する第5〜第8のマークを、左目用視点位置から撮影することで、立体視のための第1の左目用画像を作成し、
    被写体と、第1の基準面において長方形を構成する第1〜第4のマークと、第2の基準面において長方形を構成する第5〜第8のマークを、右目用視点位置から撮影することで、立体視のための第1の右目用画像を作成し、
    第1の左目用画像の第1〜第4のマークを、長方形の頂点位置に移動させる左目用の第1の補正処理を行い、第1の左目用画像の第5〜第8のマークを、長方形の頂点位置に移動させる左目用の第2の補正処理を行うことで、第1の左目用画像から第2の左目用画像を作成し、
    第1の右目用画像の第1〜第4のマークを、長方形の頂点位置に移動させる右目用の第1の補正処理を行い、第1の右目用画像の第5〜第8のマークを、長方形の頂点位置に移動させる右目用の第2の補正処理を行うことで、第1の右目用画像から第2の右目用画像を作成し、
    第2の左目用画像と第2の右目用画像とに基づいて立体視用画像を作成することを特徴とする立体視用画像の作成方法。
  5. 請求項1乃至のいずれかにおいて、
    被写体を左目用視点位置から撮影することで、第1の左目用画像を作成し、
    被写体を右目用視点位置から撮影することで、第1の右目用画像を作成し、
    被写体と視点位置との間の距離を長くした場合に、その長さの変化に応じて左目用視点位置と右目用視点位置との間の距離を長くすることを特徴とする立体視用画像の作成方法。
  6. 請求項1乃至のいずれかにおいて、
    被写体を左目用視点位置から撮影することで、第1の左目用画像を作成し、
    被写体を右目用視点位置から撮影することで、第1の右目用画像を作成し、
    被写体と視点位置との間の距離を変化させる場合に、基準面に対して所定の角度をなす直線に沿って視点位置を移動させることを特徴とする立体視用画像の作成方法。
  7. 請求項1乃至のいずれかにおいて、
    第2の左目用画像と第2の右目用画像とをアナグリフ処理により合成することで、立体視用画像を作成することを特徴とする立体視用画像の作成方法。
  8. 請求項1乃至のいずれかの作成方法により作成された立体視用画像。
  9. 請求項1乃至のいずれかの作成方法により作成された立体視用画像を印刷した立体視用印刷物。
  10. 請求項1乃至のいずれかの作成方法により作成された立体視用画像を印刷した立体視用印刷物を複製することで作成された立体視用印刷物。
JP2009142227A 2002-11-12 2009-06-15 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 Expired - Fee Related JP4823334B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009142227A JP4823334B2 (ja) 2002-11-12 2009-06-15 画像生成システム、画像生成方法、プログラム及び情報記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002328861 2002-11-12
JP2002328861 2002-11-12
JP2009142227A JP4823334B2 (ja) 2002-11-12 2009-06-15 画像生成システム、画像生成方法、プログラム及び情報記憶媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003382945A Division JP4397217B2 (ja) 2002-11-12 2003-11-12 画像生成システム、画像生成方法、プログラム及び情報記憶媒体

Publications (2)

Publication Number Publication Date
JP2009211718A JP2009211718A (ja) 2009-09-17
JP4823334B2 true JP4823334B2 (ja) 2011-11-24

Family

ID=33156558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009142227A Expired - Fee Related JP4823334B2 (ja) 2002-11-12 2009-06-15 画像生成システム、画像生成方法、プログラム及び情報記憶媒体

Country Status (2)

Country Link
US (2) US7321682B2 (ja)
JP (1) JP4823334B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8525288B2 (en) 2009-04-25 2013-09-03 Eris Technology Corporation Schottky diode with improved high current behavior

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680322B2 (en) * 2002-11-12 2010-03-16 Namco Bandai Games Inc. Method of fabricating printed material for stereoscopic viewing, and printed material for stereoscopic viewing
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
WO2005060629A2 (en) * 2003-12-11 2005-07-07 Strider Labs, Inc. Probable reconstruction of surfaces in occluded regions by computed symmetry
CN101627938B (zh) * 2004-02-02 2011-12-21 孕体有限公司 带有可渗透和非渗透性组件的避孕用具
WO2005080135A1 (en) * 2004-02-20 2005-09-01 Sharp Kabushiki Kaisha Onboard display device, vehicle, display method, image display program, and recording medium
US8320708B2 (en) * 2004-04-02 2012-11-27 K-Nfb Reading Technology, Inc. Tilt adjustment for optical character recognition in portable reading machine
US7525541B2 (en) * 2004-04-05 2009-04-28 Actuality Systems, Inc. Data processing for three-dimensional displays
CN101065783A (zh) * 2004-04-05 2007-10-31 迈克尔·A·韦塞利 水平透视显示
JP2008506140A (ja) * 2004-06-01 2008-02-28 マイケル エー. ベセリー 水平透視ディスプレイ
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US20060126926A1 (en) * 2004-11-30 2006-06-15 Vesely Michael A Horizontal perspective representation
US20060250390A1 (en) * 2005-04-04 2006-11-09 Vesely Michael A Horizontal perspective display
US20060221071A1 (en) * 2005-04-04 2006-10-05 Vesely Michael A Horizontal perspective display
US20060250391A1 (en) * 2005-05-09 2006-11-09 Vesely Michael A Three dimensional horizontal perspective workstation
US8717423B2 (en) 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
US7875132B2 (en) * 2005-05-31 2011-01-25 United Technologies Corporation High temperature aluminum alloys
JP4970468B2 (ja) * 2006-02-14 2012-07-04 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 画像ぼかし処理
EP2023298A4 (en) * 2006-05-09 2010-07-21 Sega Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
JP4468341B2 (ja) * 2006-09-28 2010-05-26 株式会社東芝 三次元画像表示方法および三次元画像表示装置
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
WO2009123067A1 (ja) * 2008-04-03 2009-10-08 日本電気株式会社 画像処理方法、画像処理装置及び記録媒体
WO2010050084A1 (ja) * 2008-10-31 2010-05-06 パナソニック株式会社 信号処理装置
EP2355526A3 (en) * 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US8717360B2 (en) 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
EP2365278A1 (en) * 2010-02-22 2011-09-14 Snap-on Equipment Srl a unico socio Scanner system
CN102362294B (zh) 2010-02-23 2015-07-22 松下电器产业株式会社 计算机图形影像合成装置和方法、以及显示装置
JP4806082B2 (ja) 2010-03-30 2011-11-02 株式会社東芝 電子機器及び画像出力方法
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395769B1 (en) 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
KR101397712B1 (ko) * 2010-07-27 2014-06-27 주식회사 팬택 증강 현실 객체 인식 가이드 제공 장치 및 방법
JP2012079291A (ja) 2010-09-08 2012-04-19 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
JP5122659B2 (ja) 2011-01-07 2013-01-16 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
US8786529B1 (en) 2011-05-18 2014-07-22 Zspace, Inc. Liquid crystal variable drive voltage
JP2012253690A (ja) * 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
US8611642B2 (en) * 2011-11-17 2013-12-17 Apple Inc. Forming a steroscopic image using range map
US9041819B2 (en) 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
JP5437415B2 (ja) * 2012-02-24 2014-03-12 株式会社スクウェア・エニックス 立体ゲーム装置
JP5639138B2 (ja) * 2012-10-24 2014-12-10 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
JP6099948B2 (ja) * 2012-11-28 2017-03-22 京セラ株式会社 電子機器及び制御プログラム並びに表示制御方法
JP6066066B2 (ja) * 2013-02-20 2017-01-25 株式会社ジオ技術研究所 立体視画像出力システム
JP2014135771A (ja) * 2014-04-22 2014-07-24 Nintendo Co Ltd 立体視表示制御プログラム、立体視表示制御システム、立体視表示制御装置、および、立体視表示制御方法
JOP20190237A1 (ar) * 2016-04-08 2017-06-16 Maxx Media Group Llc نظام، وطريقة وبرنامج لإنتاج صور ثلاثية الأبعاد افتراضية يتم عرضها لتسقط أمام أو فوق شاشة إلكترونية
CN110073659B (zh) * 2016-12-07 2021-10-12 京瓷株式会社 图像投影装置
WO2018105533A1 (ja) 2016-12-07 2018-06-14 京セラ株式会社 画像投影装置、画像表示装置、および移動体
US10742964B2 (en) * 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
CA3057723C (en) * 2017-04-06 2022-04-12 Maxx Media Group, LLC System, method and software for producing live video containing three-dimensional images that appear to project forward of or vertically above a display

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2811893A (en) * 1954-04-07 1957-11-05 Polaroid Corp Method for producing stereoscopic prints containing improved lightpolarizing images and the product of said method
JPH03236698A (ja) 1990-02-14 1991-10-22 Nissan Motor Co Ltd 両眼立体視の画像生成装置
US5198895A (en) * 1991-08-29 1993-03-30 Rockwell International Corporation Holographic head-up display
US5398131A (en) * 1992-08-13 1995-03-14 Hall; Dennis R. Stereoscopic hardcopy methods
GB2270243B (en) * 1992-08-26 1996-02-28 Namco Ltd Image synthesizing system
JPH06175631A (ja) 1992-12-02 1994-06-24 Sega Enterp Ltd 画像時分割式再生方式
US5991087A (en) * 1993-11-12 1999-11-23 I-O Display System Llc Non-orthogonal plate in a virtual reality or heads up display
JPH08126034A (ja) 1994-10-20 1996-05-17 Canon Inc 立体画像表示装置および方法
US5905499A (en) * 1995-07-05 1999-05-18 Fakespace, Inc. Method and system for high performance computer-generated virtual environments
JPH09116932A (ja) 1995-10-19 1997-05-02 Sony Corp 特殊効果装置
JP3476114B2 (ja) 1996-08-13 2003-12-10 富士通株式会社 立体表示方法及び装置
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
JPH10177660A (ja) 1996-12-16 1998-06-30 Takenaka Komuten Co Ltd 画像生成方法、画像生成装置、及び、仮想現実体験装置
JPH11185052A (ja) 1997-12-25 1999-07-09 Fujitsu Ltd 3次元コンピュータグラフィックスのテクスチャマッピング座標計算装置および方法
JP2888830B2 (ja) 1998-06-17 1999-05-10 株式会社ナムコ 3次元ゲーム装置及び画像合成方法
JP2000056411A (ja) 1998-08-05 2000-02-25 Dainippon Printing Co Ltd 製版方法およびカラー立体印刷物
JP2000132329A (ja) * 1998-10-27 2000-05-12 Sony Corp 面認識装置、面認識方法及び仮想画像立体合成装置
US6614427B1 (en) * 1999-02-01 2003-09-02 Steve Aubrey Process for making stereoscopic images which are congruent with viewer space
US6429867B1 (en) * 1999-03-15 2002-08-06 Sun Microsystems, Inc. System and method for generating and playback of three-dimensional movies
JP2001052192A (ja) 1999-08-04 2001-02-23 Canon Inc 撮影表示システム、立体画像表示方法及び記憶媒体
JP2002095012A (ja) * 2000-09-18 2002-03-29 Hitachi Ltd ステレオ画像生成装置およびその方法
JP2002101428A (ja) * 2000-09-22 2002-04-05 Toshiba Corp 画像立体視表示装置
JP2002125245A (ja) 2000-10-17 2002-04-26 Sony Corp 立体画像編集方法、立体画像編集装置および立体画像表示システム
JP2002325200A (ja) 2001-04-26 2002-11-08 Victor Co Of Japan Ltd 資料提示装置
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
US7680322B2 (en) 2002-11-12 2010-03-16 Namco Bandai Games Inc. Method of fabricating printed material for stereoscopic viewing, and printed material for stereoscopic viewing
JP3852934B2 (ja) 2003-05-20 2006-12-06 株式会社バンダイナムコゲームス 画像処理システム、プログラム及び情報記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8525288B2 (en) 2009-04-25 2013-09-03 Eris Technology Corporation Schottky diode with improved high current behavior

Also Published As

Publication number Publication date
US7321682B2 (en) 2008-01-22
US20040208358A1 (en) 2004-10-21
US7596259B2 (en) 2009-09-29
JP2009211718A (ja) 2009-09-17
US20080037863A1 (en) 2008-02-14

Similar Documents

Publication Publication Date Title
JP4823334B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
US8249335B2 (en) Method of making printed material for stereoscopic viewing, and printed material for stereoscopic viewing
US7907167B2 (en) Three dimensional horizontal perspective workstation
US7796134B2 (en) Multi-plane horizontal perspective display
US20050219240A1 (en) Horizontal perspective hands-on simulator
US20110122130A1 (en) Modifying Perspective of Stereoscopic Images Based on Changes in User Viewpoint
US20060126927A1 (en) Horizontal perspective representation
JP2007536608A (ja) 水平遠近法ハンズオン・シミュレータ
US20050248566A1 (en) Horizontal perspective hands-on simulator
JP4218937B2 (ja) 立体視用表示装置及び立体視用表示方法
JP3579683B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物
JP4397217B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
JP3640256B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物
JP5085722B2 (ja) 画像生成システム
JP4397216B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物
JP4218938B2 (ja) 立体視用印刷物
JP3794694B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物及びプログラム
JP2009169155A (ja) 立体視用印刷物の製造方法、立体視用印刷物、画像生成システム、画像生成方法、プログラム及び情報記憶媒体
JP2006221372A (ja) 立体視用印刷物の製造方法、立体視用印刷物、画像生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110906

R150 Certificate of patent or registration of utility model

Ref document number: 4823334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees