JP5060231B2 - 画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラム - Google Patents

Description

本発明は、画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラムに関する。

従来より、左目に相当するカメラで撮った左目用の画像と、右目に相当するカメラで撮った右目用の画像とを用意し、これらの画像をアナグリフ（anaglyph)処理などにより合成し、立体視用画像（立体視用印刷物）を得る技術が知られている。このような立体視手法の従来技術としては例えば特許文献１、２がある。
特開２０００−５６４１１号公報 特開平２００４−１７８５７９号公報

しかしながら、従来の立体視手法では、立体視の対象となる１つの被写体（物体、オブジェクト）を、左目用カメラ、右目用カメラで１回だけ撮影して、立体視用画像を作成していた。即ち、異なる被写体を別撮りして合成することは行われていなかった。これは、第１の被写体を撮影して得られた立体視用画像と第２の被写体を撮影して得られた立体視用画像を単純に合成するだけでは、適正な合成画像を得ることができないからである。

本発明の幾つかの態様によれば、第１、第２の物体についての立体視用画像を適正に合成できる画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラムを提供できる。

本発明は、立体視用画像を生成するための画像生成方法であって、第１の物体についての第１の左目用画像と第１の右目用画像を取得し、第２の物体についての第２の左目用画像と第２の右目用画像を取得し、取得された前記第１の左目用画像と前記第２の左目用画像を合成して第３の左目用画像を生成し、取得された前記第１の右目用画像と前記第２の右目用画像を合成して第３の右目用画像を生成し、生成された前記第３の左目用画像と前記第３の右目用画像に基づいて、前記立体視用画像を生成する画像生成方法に関係する。

本発明によれば、第１の物体についての第１の左目用画像と第２の物体についての第２の左目用画像が合成されて、第３の左目用画像が生成される。また、第１の物体についての第１の右目用画像と第２の物体についての第２の右目用画像が合成されて、第３の右目用画像が生成される。そして、生成された第３の左目用画像と第３の右目用画像に基づいて、立体視用画像が生成される。このようにすれば、第１、第２の物体についての立体視用画像を適正に合成して、第１、第２の物体の両方の立体視について適正に表現された立体視用画像を得ることが可能になる。

また本発明では、前記第１の左目用画像が格納されるレイヤと前記第２の左目用画像が格納されるレイヤとをレイヤ合成して、前記第３の左目用画像を生成し、前記第１の右目用画像が格納されるレイヤと前記第２の右目用画像が格納されるレイヤとをレイヤ合成して、前記第３の右目用画像を生成してもよい。

このようにすれば、レイヤ合成を利用して、左目用画像と右目用画像を独立に合成できるようになる。

また本発明では、前記第１の左目用画像のうち前記第１の物体の画像以外の画像をトリミングすると共に、前記第２の左目用画像のうち前記第２の物体の画像以外の画像をトリミングし、トリミング後の前記第１の左目用画像が格納されるレイヤとトリミング後の前記第２の左目用画像が格納されるレイヤとをレイヤ合成し、前記第１の右目用画像のうち前記第１の物体の画像以外の画像をトリミングすると共に、前記第２の右目用画像のうち前記第２の物体の画像以外の画像をトリミングし、トリミング後の前記第１の右目用画像が格納されるレイヤとトリミング後の前記第２の右目用画像が格納されるレイヤとをレイヤ合成してもよい。

このようなトリミングを行えば、第１、第２の物体に上下関係がある場合に、これらの第１、第２の物体の画像の適正な合成が可能になる。

また本発明では、基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第１の左目用画像、前記第１の右目用画像、前記第２の左目用画像、前記第２の右目用画像に対して行い、補正処理後の前記第１の左目用画像と補正処理後の前記第２の左目用画像を合成して、前記第３の左目用画像を生成し、補正処理後の前記第１の右目用画像と補正処理後の前記第２の右目用画像を合成して、前記第３の右目用画像を生成してもよい。

このような基準面での画像（例えば基準面自体の画像や、基準面に接する部分での物体画像等）のパースペクティブを無くすための補正処理を行えば、ピント調整や奥行き感の矛盾が少なく、リアルで自然な立体視を実現できる。

また本発明では、前記第１の左目用画像、前記第１の右目用画像に対して両眼視差調整を行って、立体視における前記第１の物体についての基準面の高さ調整を行ってもよい。

このようにすれば、第１の左目用画像、第１の右目用画像を取得した後、これらの画像に映る第１の物体についての基準面の高さを任意に調整することができ、立体視における微調整や多様な立体視表現を実現できる。

また本発明では、前記両眼視差調整は、前記第１の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第１の右目用画像を、前記一方とは異なる他方の方向にずらす処理であってもよい。

このようにすれば、第１の左目用画像、第１の右目用画像を左方向又は右方向へずらすだけで、両眼視差調整を実現でき、調整を簡素化できる。

また本発明では、前記第２の左目用画像、前記第２の右目用画像に対して両眼視差調整を行って、立体視における前記第２の物体についての基準面の高さ調整を行ってもよい。

このようにすれば、第２の左目用画像、第２の右目用画像を取得した後、これらの画像に映る第２の物体についての基準面の高さを任意に調整することができ、立体視における微調整や多様な立体視表現を実現できる。

また本発明では、前記両眼視差調整は、前記第２の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第２の右目用画像を、前記一方とは異なる他方の方向にずらす調整であってもよい。

このようにすれば、第２の左目用画像、第２の右目用画像を左方向又は右方向へずらすだけで、両眼視差調整を実現でき、調整を簡素化できる。

また本発明では、前記第２の物体は、前記第１の物体の上方に浮遊する物体であってもよい。

また本発明では、前記第２の物体の影についての左目用影画像と右目用影画像を生成し、前記第１の左目用画像と前記第２の左目用画像と前記左目用影画像を合成して前記第３の左目用画像を生成し、前記第１の右目用画像と前記第２の右目用画像と前記右目用影画像を合成して前記第３の右目用画像を生成してもよい。

このようにすれば、第２の物体の影についても表現された立体視用画像を生成でき、立体視用画像の品質やリアル度を向上できる。

また本発明では、前記第２の物体の影が落ちる場所での両眼視差情報を、前記第１の左目用画像と前記第１の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行ってもよい。

このようにすれば、立体視時に第１の物体から浮いた位置に影が見えてしまう事態を防止でき、より自然でリアルな影が表現された立体視を実現できる。

また本発明では、前記第２の物体の高さ情報に基づいて、前記左目用影画像と前記右目用影画像のぼかし処理を行ってもよい。

このようにすれば、高さに応じてぼかし具合が変化する影が表現されたリアルな立体視用画像を提供できる。

また本発明では、生成された前記第３の左目用画像と前記第３の右目用画像のアナグリフ処理を行って、前記立体視用画像を生成してもよい。

なおアナグリフ以外の手法の立体視用画像を生成してもよい。

また本発明では生成された前記立体視用画像に対して、両眼視差の無い画像を更に合成してもよい。

このようにすれば、両眼視差の無いロゴや文字などの画像が表現された立体視用画像を提供できる。

また本発明は、上記のいずれに記載の画像生成方法で生成された立体視用画像が印刷された立体視用印刷物に関係する。

また本発明は、立体視用印刷物の製造方法であって、第１の物体についての第１の左目用画像と第１の右目用画像を取得し、第２の物体についての第２の左目用画像と第２の右目用画像を取得し、基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第１の左目用画像、前記第１の右目用画像、前記第２の左目用画像、前記第２の右目用画像に対して行い、補正処理後の前記第１の左目用画像が格納されるレイヤと補正処理後の前記第２の左目用画像が格納されるレイヤとをレイヤ合成して、第３の左目用画像を生成し、補正処理後の前記第１の右目用画像が格納されるレイヤと補正処理後の前記第２の右目用画像が格納されるレイヤとをレイヤ合成して、第３の右目用画像を生成し、生成された前記第３の左目用画像と前記第３の右目用画像に基づいて、立体視用印刷物を作成する立体視用印刷物の製造方法に関係する。

また本発明は、上記に記載の製造方法により作成された立体視用印刷物に関係する。

また本発明は、上記に記載の製造方法により作成された立体視用印刷物を複製することで作成された立体視用印刷物に関係する。

また本発明は、立体視のためのプログラムであって、第１の物体についての第１の左目用画像と第１の右目用画像を取得し、第２の物体についての第２の左目用画像と第２の右目用画像を取得し、取得された前記第１の左目用画像と前記第２の左目用画像を合成して第３の左目用画像を生成し、取得された前記第１の右目用画像と前記第２の右目用画像を合成して第３の右目用画像を生成し、生成された前記第３の左目用画像と前記第３の右目用画像に基づいて、前記立体視用画像を生成する手順を、コンピュータに実行させるプログラムに関係する。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の立体視手法
図１に本実施形態の立体視手法（立体視用画像生成手法）を説明するためのフローチャートを示す。

まず、第１の物体ＯＢ１についての第１の左目用画像ＩＬ１、第１の右目用画像ＩＲ１を取得する（ステップＳ１）。具体的には、図２（Ａ）に示すように基準面ＢＳに物体ＯＢ１を配置（設定）する。例えば被写体となる物体ＯＢ１（オブジェクト、ベース物体、ベースオブジェクト）を基準面ＢＳとなる台（白い台紙が置かれた台）の上に置く。そして左目用視点位置ＶＰＬから見える左目用画像ＩＬ１と、右目用視点位置ＶＰＲから見える右目用画像ＩＲ１を取得する。

ここで左目用、右目用視点位置ＶＰＬ、ＶＰＲは、観者（viewer）の左目、右目の位置として想定される位置である。例えば、カメラ（デジタルカメラ等）による実写により左目用、右目用画像ＩＬ１、ＩＲ１を作成する場合には、これらのＶＰＬ、ＶＰＲの位置にカメラを配置して、左目用、右目用画像ＩＬ１、ＩＲ１を撮影する。この場合、２台のカメラをＶＰＬ、ＶＰＲに配置して同時に撮影してもよいし、１台のカメラの位置を変えて撮影してもよい。一方、ＣＧ（Computer Graphics）画像やゲーム画像（リアルタイム動画像）を生成するシステムにより左目用、右目用画像ＩＬ１、ＩＲ１を生成する場合には、これらのＶＰＬ、ＶＰＲの位置に仮想カメラ（広義にはカメラ）を配置して左目用、右目用画像ＩＬ１、ＩＲ１を生成する。即ち、オブジェクト空間においてＶＰＬ、ＶＰＲから見える画像を生成する。

なお基準面ＢＳは、例えば視線方向ＳＬ（視点位置と注視点を結ぶ方向）に対して斜め方向となる面であり、視線方向ＳＬに直交しない面である。即ち基準面ＢＳは、視線方向ＳＬに常に直交する透視投影スクリーンとは異なる面である。この基準面ＢＳは、立体視時において立体視用印刷物を載置する面に対応する。この基準面は２つに限定されず、３つ以上の基準面（連結された複数の基準面）を用いてもよい。

次に、第２の物体ＯＢ２についての第２の左目用画像ＩＬ２、第２の右目用画像ＩＲ２を取得する（ステップＳ２）。具体的には、図２（Ｂ）に示すように基準面ＢＳに第２の物体ＯＢ２を配置（設定）する。例えば被写体となる物体ＯＢ２（オブジェクト、浮遊物体、浮遊オブジェクト）を基準面ＢＳとなる台（白い台紙が置かれた台）の上に置く。そして左目用視点位置ＶＰＬから見える左目用画像ＩＬ２と、右目用視点位置ＶＰＲから見える右目用画像ＩＲ２を取得する。例えば、カメラによる実写により左目用、右目用画像ＩＬ２、ＩＲ２を作成する場合には、これらのＶＰＬ、ＶＰＲの位置にカメラを配置して、左目用、右目用画像ＩＬ２、ＩＲ２を撮影する。一方、ＣＧ画像やゲーム画像を生成するシステムにより左目用、右目用画像ＩＬ２、ＩＲ２を生成する場合には、これらのＶＰＬ、ＶＰＲの位置に仮想カメラを配置して左目用、右目用画像ＩＬ２、ＩＲ２を生成する。

次に図３のＡ１に示すように、ステップＳ１で取得された物体ＯＢ１についての左目用画像ＩＬ１と、ステップＳ２で取得された物体ＯＢ２についての左目用画像ＩＬ２を合成して、第３の左目用画像ＩＬ３を生成（作成、取得）する（ステップＳ３）。

具体的には、例えば、左目用画像ＩＬ１が格納されるレイヤ（第１の左目用レイヤ）と、左目用画像ＩＬ２が格納されるレイヤ（第１の左目用レイヤの上層の第２の左目用レイヤ）とを、レイヤ合成（統合）して、左目用画像ＩＬ３を生成する。更に具体的には、左目用画像ＩＬ１のうち物体ＯＢ１の画像以外の画像をトリミングすると共に、左目用画像ＩＬ２のうち物体ＯＢ２の画像以外の画像をトリミングし、トリミング後の左目用画像ＩＬ１が格納されるレイヤと、トリミング後の左目用画像ＩＬ２が格納されるレイヤを、レイヤ合成する。

次に図３のＡ２に示すように、ステップＳ１で取得された物体ＯＢ１についての右目用画像ＩＲ１と、ステップＳ２で取得された物体ＯＢ２についての右目用画像ＩＲ２を合成して、第３の右目用画像ＩＲ３を生成（作成、取得）する（ステップＳ４）。

具体的には、例えば、右目用画像ＩＲ１が格納されるレイヤ（第１の右目用レイヤ）と、右目用画像ＩＲ２が格納されるレイヤ（第１の右目用レイヤの上層の第２の右目用レイヤ）とを、レイヤ合成（統合）して、右目用画像ＩＲ３を生成する。更に具体的には、右目用画像ＩＲ１のうち物体ＯＢ１の画像以外の画像をトリミングすると共に、右目用画像ＩＲ２のうち物体ＯＢ２の画像以外の画像をトリミングし、トリミング後の右目用画像ＩＲ１が格納されるレイヤと、トリミング後の右目用画像ＩＲ２が格納されるレイヤを、レイヤ合成する。

次に図３のＡ３に示すように、ステップＳ３で生成された左目用画像ＩＬ３と、ステップＳ４で生成された右目用画像ＩＲ３に基づいて、立体視用画像ＩＳＴを生成（作成）する（ステップＳ５）。具体的には、例えば、左目用画像ＩＬ３と右目用画像ＩＲ３とに基づきアナグリフ処理などを行って立体視用画像ＩＳＴを生成する。

そして図１のステップＳ５で生成された立体視用画像を、インクジェット方式やレーザプリンタ方式などのカラープリンタ（広義には印刷機）を用いて、印刷媒体に印刷することで、立体視用印刷物を製造できる。なお、カラープリンタ（印刷機）により印刷された原盤となる立体視用印刷物を複製することで、立体視用印刷物を製造してもよい。このようにすれば、立体視用印刷物を短期間で大量に製造できるという利点がある。

そしてこのように製造された立体視用印刷物を、例えば左目に赤色フィルタ（赤以外のフィルタでもよい）が設けられ、右目に青色（ターコイズ色）フィルタ（青以外のフィルタでもよい）が設けられた立体視用眼鏡で見ることで、立体視を実現できる。なお、印刷物にレンチキュラーレンズを設けたり、印刷媒体としてレンチキュラーレンズを用いることで、立体視を実現してもよい。

また立体視用画像を、画像生成システムの表示部に表示すれば、ゲーム画像（動画像）のリアルタイム生成が可能になる。なお、この場合に、アナグリフ処理等により得られた立体視用画像を直接に表示部に表示し、これを色フィルタ（赤、青）が設けられた眼鏡（広義には器具）を用いて見るようにしてもよい。或いは、左目用、右目用画像ＩＬ３、ＩＲ３を異なるフレームで例えば交互に表示部に表示し、これを液晶シャッタ等が設けられた眼鏡を用いて見るようにしてもよい。或いは画像生成システムの表示部にレンチキュラーレンズを設けて、立体視を実現してもよい。

以上の本実施形態の立体視手法によれば、図２（Ａ）、図２（Ｂ）に示すように、カメラ等により別個に取得（撮影）した物体ＯＢ１とＯＢ２の画像を合成して、これらの物体ＯＢ１、ＯＢ２が立体的に映る立体視用画像を生成できる。

例えば図２（Ａ）では、物体ＯＢ１はベースとなる物体として想定され、物体ＯＢ２は物体ＯＢ１の上方に浮かぶ浮遊物体として想定されている。具体的には、物体ＯＢ２を、支え棒等により支えることで浮遊させて、物体ＯＢ２を撮影する。この場合に、左目用画像ＩＬ２、右目用画像ＩＲ２には、物体ＯＢ２の他に、支え棒やＯＢ２の影ＳＤが撮影されるようになる。

このように、ベースとなる物体ＯＢ１の上方に物体ＯＢ２が浮遊している様子を表現する立体視用画像を、１回の撮影だけで生成することは困難である。このため図２（Ａ）、図２（Ｂ）では、物体ＯＢ１についての撮影と物体ＯＢ２についての撮影を２回に分けている。

この場合、例えば図２（Ａ）で得られた左目用画像ＩＬ１、右目用画像ＩＲ１により第１の立体視用画像を生成し、図２（Ｂ）で得られた左目用画像ＩＬ２、右目用画像ＩＲ２により第２の立体視用画像を生成し、これらの第１、第２の立体視用画像を合成しても、物体ＯＢ１、ＯＢ２についての適正な立体視を実現できないことが判明した。

そこで本実施形態では、まず、図２（Ａ）で得られた左目用画像ＩＬ１と図２（Ｂ）で得られた左目用画像ＩＬ２を合成する。また図２（Ａ）で得られた右目用画像ＩＲ１と図２（Ｂ）で得られた右目用画像ＩＲ２を別個に合成する。そして図３のＡ１、Ａ２、Ａ３に示すように、合成により得られた左目用画像ＩＬ３と右目用画像ＩＲ３に基づいて、立体視用画像ＩＳＴを生成する。即ち、それぞれの物体ＯＢ１、ＯＢ２の画像ごとに左右別々にレイヤにしたものを、左右別々に統合してからアナグリフ処理を行う。

このようにすれば、物体ＯＢ１、ＯＢ２の両方が映った適正な立体視用画像を得ることが可能になる。即ち物体ＯＢ１、ＯＢ２の両方の立体視について適正に表現された立体視用画像を得ることできる。また、例えば物体ＯＢ１の上に浮遊する物体ＯＢ２のように、１回の撮影では生成することが難しい立体視用画像の生成も可能になる。

２．補正処理
本実施形態では左目用画像、右目用画像に対して以下のような補正処理を行うことが望ましい。具体的には、基準面ＢＳでの画像のパースペクティブ（遠近感）を無くすための補正処理を、図１のステップＳ１で取得された左目用画像ＩＬ１、右目用画像ＩＲ１や、ステップＳ２で取得された左目用画像ＩＬ２、右目用画像ＩＲ２に対して行う。そしてステップＳ３では、補正処理後の左目用画像ＩＬ１と補正処理後の左目用画像ＩＬ２を合成して、左目用画像ＩＬ３を生成する。またステップＳ４では、補正処理後の右目用画像ＩＲ１と補正処理後の右目用画像ＩＲ２を合成して、右目用画像ＩＲ３を生成する。

ここで、本実施形態におけるパースペクティブを無くす補正処理とは、例えば基準面ＢＳでの画像の少なくとも奥行き方向でのパースペクティブを無くす補正処理である。この補正処理は輻輳角の補正処理を含んでもよい。より具体的には、この補正処理は、図４（Ａ）に示すように、基準面ＢＳ自体の画像や、基準面に描かれている画像ＩＭ１や、物体ＯＢ１、ＯＢ２（オブジェクト）の画像のうち基準面ＢＳに接する部分の画像についてのパースペクティブ（奥行き感）を無くす処理である。即ち図４（Ａ）のＢ１では、視点から奥側に行くほど、頂点間の距離が狭まるが、図４（Ａ）のＢ２では、視点から奥側に行っても、頂点間の距離が変わらない。このような補正処理を行うことで、基準面ＢＳの画像については、あたかも真上から見たような画像が作成（生成）されるようになる。なお、この補正処理により、パースペクティブが完全に厳密に無くなる必要はなく、立体視に違和感が生じない程度にパースペクティブが無くなればよい。

例えば従来の一般的な立体視手法では図４（Ｂ）に示すように、立体視用印刷物ＰＭ（或いは表示部の表示画面。他の説明でも同様）を、その面が鉛直面に対して平行になるように配置し、観者が、立体視用印刷物ＰＭを正対して見ることが想定されていた。

この点、図４（Ａ）の補正処理を行う立体視手法では、図４（Ｃ）に示すように、観者が、立体視用印刷物ＰＭ（表示画面）を机などの載置面（基準面ＢＳに対応する面）に配置して斜めから見ることを想定している。即ち、このような配置がデフォルトの配置となる。そして、このように水平面に平行に立体視用印刷物ＰＭを配置した場合に、補正処理を行わないと、遠近感に矛盾が生じる。

そこで図４（Ａ）では、基準面の画像の少なくとも奥行き方向でのパースペクティブを無くす補正処理を行う。そして基準面でのパースペクティブを無くした補正後の画像に基づいて、アナグリフ処理等を行い、立体視用印刷物ＰＭを作成し、作成された立体視用印刷物ＰＭを図４（Ｃ）のように水平面に平行に配置すれば、基準面の画像には適正なパースペクティブがつくようになる。また、図４（Ｃ）のように配置すれば、立体視用印刷物ＰＭの面上の各点の焦点距離が同一ではなく異なるようになる。このため、ピント調整についても現実世界のピント調整と近いものになる。従って、ピント調整と、両眼視差や輻輳との間の関係のずれも軽減され、より自然で、実在感のある立体視を実現できる。

３．アナグリフ処理
次にアナグリフ処理について簡単に説明する。アナグリフ処理では、１枚の印刷媒体に、左目用画像と右目用画像を色を変えて印刷して、立体視用印刷物を作成する。そしてこの立体視用印刷物を、左右の目で異なる色フィルタ（例えば左目が赤、右目が青）を介して見る。この時に、左目では左目用画像だけが見え、右目では右目用画像だけが見えるようになり、立体視が実現される。

例えばモノクロのアナグリフ処理では、左目用画像ＩＬ３をグレースケールに変換する。そして変換後の画像データをアナグリフ画像（ＲＧＢ）のＲチャンネルにコピーする。次に、右目用画像ＩＲ３をグレースケールに変換する。そして変換後の画像データを、アナグリフ画像（ＲＧＢ）のＧチャンネルとＢチャンネルにコピーする。これにより、モノクロのアナグリフ画像が作成される。なお、右目用画像をＢチャンネルだけにコピーするようにしてもよい。

またカラーのアナグリフ処理では、レイヤ統合により得られた左目用画像ＩＬ３のＲチャンネルを、同じくレイヤ統合により得られた右目用画像ＩＲ３のＲチャネルにコピー（上書き）する。そしてこのようにＩＬ３がＲチャネルにコピーされた右目用画像ＩＲ３が、立体視用画像ＩＳＴであるアナグリフ完成画像になる。

なお、立体視の実現手法は、少なくとも、左目用画像と右目用画像を用いて実現されるものであればよく、アナグリフ処理に限定されない。例えばレンチキュラーレンズと呼ばれる特殊なレンズを使って、左目には左目用画像の像だけが入り、右目には右目用画像の像だけが入るようにして、立体視を実現してもよい。

また左目用画像、右目用画像の前に偏光板を配置し、左目用画像の前に置かれた偏光板と右目用画像の前に置かれた偏光板とで、偏向方向を異ならせておく。そして、それに応じた偏向方向を持つ偏光板をレンズ部分に取り付けた眼鏡を観者がかけることで、立体視を実現してもよい。

また左目用画像と右目用画像を、例えばフレームを異ならせて交互に表示する。そして左目用画像の表示に同期して開く左目用のシャッター（例えば液晶シャッター）と、右目用画像の表示に同期して開く右目用のシャッターが設けられた眼鏡を観者がかけることで、立体視を実現してもよい。

４．詳細例
次に本実施形態の立体視手法の詳細例について、図５、図６のフローチャート等を用いて説明する。なお本実施形態の立体視手法はこの詳細例に限定されるものではない。

まず、ベース物体（ＯＢ１）の左目用画像ＩＬ１と右目用画像ＩＲ１を撮影する（ステップＳ１１）。図７にベース物体の左目用画像ＩＬ１の例を示し、図８にベース物体の右目用画像ＩＲ１の例を示す。図７、図８においてベース物体は楕円状の物体になっている。

次に、浮遊物体（ＯＢ２）の左目用画像ＩＬ２と右目用画像ＩＲ２を撮影する（ステップＳ１２）。図９に浮遊物体の左目用画像ＩＬ２の例を示し、図１０に浮遊物体の右目用画像ＩＲ２の例を示す。図９、図１０において浮遊物体はガムなどの物体である。

次に、基準面での画像のパースペクティブを無くすための補正処理をベース物体の左目用画像ＩＬ１、右目用画像ＩＲ１に対して行う（ステップＳ１３）。即ち図４（Ａ）で説明した補正処理を行う。そして補正処理後の左目用画像ＩＬ１、右目用画像ＩＲ１のうちベース物体の画像以外の画像をトリミングする（ステップＳ１４）。即ちベース物体の画像以外の画像を切り取って、ベース物体の画像のみを残す。

次に、補正処理後の浮遊物体のＩＬ２やＩＲ２の画像を参考にして、影画像を作成する（ステップＳ１５）。即ち図９、図１０に示すように、浮遊物体の左目用画像ＩＬ２、右目用画像ＩＲ２では、その浮遊物体の影も撮影されている。これらの撮影された影を参考にして、図１１に示すような影画像（複数の影が映った影画像）を作成する。

このような影画像を作成した後に、補正処理後の左目用画像ＩＬ２、右目用画像ＩＲ２のうち浮遊物体の画像以外の画像をトリミングする（ステップＳ１６）。即ち図１２に示すように、浮遊物体の画像以外の画像（下地の画像、影画像等）を切り取って、浮遊物体の画像のみを残す。

次に、ベース物体の左目用画像ＩＬ１と浮遊物体の左目用画像ＩＬ２をレイヤ合成して作成した左目用画像ＩＬ３と、ベース物体の右目用画像ＩＲ１と浮遊物体の右目用画像ＩＲ２をレイヤ合成して作成した右目用画像ＩＲ３に基づいて、アナグリフ処理を行い、確認用の立体視用画像を作成する（ステップＳ１７）。そして確認用の立体視用画像を参考にして、左目用画像と右目用画像の左右のずれ具合の調整（両眼視差調整）を行い、立体視における高さ、位置の調整を行う（ステップＳ１８）。そして、適正な高さ、位置になるまで調整を繰り返す（ステップＳ１９）。なおこれらの調整の詳細については後述する。

調整が完了すると、作成された影画像のうちベース物体上の１個の影の画像を、左目用、右目用の各レイヤに挿入する（ステップＳ２０）。そして影が落ちる場所でのベース物体の左目用画像、右目用画像の左右のずれ幅（両眼視差情報）を取得する（ステップＳ２１）。そして取得された左右のずれ幅に基づいて左目用、右目用の影画像を右方向又は左方向に移動して両眼視差調整を行う（ステップＳ２２）。この際に照明方向も考慮する。

次に、浮遊物体の高さ情報に応じたぼかし処理を影画像に対して行う（ステップＳ２３）。そしてベース物体上の全ての影に対して、ステップＳ２０〜Ｓ２３の処理を行う（ステップＳ２４）。なお、これらの影画像の生成、調整の詳細については後述する。

次に、背景画像を背景用のレイヤに挿入する（ステップＳ２５）。図１３に、左目用画像ＩＬ１、ＩＬ２に対して背景画像を挿入した画像例を示す。図１３では、背景画像に対してグラディエーション処理が施されている。

次に、背景上の影の画像について両眼視差調整やぼかし処理を行う（ステップＳ２６）。例えば背景上の影については、ベース物体上の影の最大ずらし幅で、左方向又は右方向にずらす。図１４に、立体視の高さ調整や影の処理が完了し、レイヤ合成された左目用画像ＩＬ３の例を示し、図１５に、立体視の高さ調整や影の処理が完了し、レイヤ合成された右目用画像ＩＲ３の例を示す。

次に、図１４のレイヤ合成後の左目用画像ＩＬ３と図１５のレイヤ合成後の右目用画像ＩＲ３に基づいてステップＳ１７と同様の処理を行い、アナグリフ処理により立体視用画像ＩＳＴを作成する（ステップＳ２７）。図１６に、作成された立体視用画像ＩＳＴの例を示す。図１６の立体視用画像ＩＳＴは、図１４の左目用画像ＩＬ３のＲ（赤）チャネルを、図１５の右目用画像ＩＲ３のＲチャネルにコピー（上書き）することで、作成できる。

最後に、ステップＳ２７で作成された立体視用画像ＩＳＴに対して、両眼視差の無いロゴや文字などの画像を合成する（ステップＳ２８）。図１７にロゴや文字の画像の合成後の立体視用画像ＩＳＴの例を示す。

５．調整処理
次に図５のステップＳ１７〜Ｓ１９の調整処理について具体的に説明する。

図１８（Ａ）はベースの物体ＯＢ１をカメラで撮影した時の様子を示す図である。図１８（Ａ）ではベース物体ＯＢ１を基準面ＢＳに置いてカメラで撮影しているため、基準面ＢＳはＣ１に示す高さになっている。

一方、図１７に示すようなロゴや文字などの画像（以下、ロゴ画像と呼ぶ）を合成した場合に、ロゴ画像には両眼視差が無いため（左目用と右目用が同一画像であるため）、立体視時には、ロゴ画像は図１８（Ａ）のＣ１に示す基準面ＢＳの高さに存在しているように見える。従って、想定している位置よりも低い位置にロゴ画像が見えてしまい、自然でインパクトのあるロゴ画像を生成できないという課題がある。

このような課題を解決するために、図５のステップＳ１７〜Ｓ１９では両眼視差の調整処理を行っている。例えば物体ＯＢ１の左目用画像ＩＬ１、右目用画像ＩＲ１に対して両眼視差調整を行って、立体視における物体ＯＢ１についての基準面の高さ調整を行う。具体的には、図１８（Ｂ）のＣ２に示すように、図１８（Ａ）のＣ１に示す撮影時の基準面ＢＳよりも上方に基準面ＢＳ’が設定されるように、両眼視差の調整処理を行う。

このようにすれば図１７に示すロゴ画像が、立体視時に、図１８（Ｂ）のＣ２に示す基準面ＢＳ’の高さに存在してるように見えるようになり、自然でインパクトのあるロゴ画像を生成できる。

なお図１８（Ａ）、図１８（Ｂ）では、ベース物体ＯＢ１の基準面の高さ調整について説明したが、浮遊物体ＯＢ２の基準面の高さ調整を行ってもよい。この場合には、左目用画像ＩＬ２、右目用画像ＩＲ２に対して両眼視差調整を行って、物体ＯＢ２の立体視における基準面からの高さ調整を行う。このようにすれば、物体ＯＢ２が浮遊する高さについても調整することが可能になり、より高品質な立体視用画像を生成できる。

またこの場合の両眼視差調整は、図１８（Ｃ）に示すように、左目用画像ＩＬ（ＩＬ１、ＩＬ２）を、左方向又は右方向のいずれか一方の方向にずらし、右目用画像ＩＲ（ＩＲ１、ＩＲ２）を、一方とは異なる他方の方向にずらすことで実現できる。

例えば物体ＯＢ（ＯＢ１、ＯＢ２）を高い位置に移動する調整を行う場合（基準面を低くする調整を行う場合）には、左目用画像ＩＬを右方向にずらし、右目用画像ＩＲを左方向にずらせばよい。一方、物体ＯＢを低い位置に移動する調整を行う場合（基準面を高くする調整を行う場合）には、左目用画像ＩＬを左方向にずらし、右目用画像ＩＲを右方向にずらせばよい。

例えば従来の一般的な立体視手法において、このような左右方向のずらし幅の調整を行っても、適正な両眼視差調整を実現できない。即ち従来の立体視手法により適正な立体視用画像を得るためには、例えば上下方向のずらし幅の調整等も必要になり、両眼視差調整が複雑になる。

これに対して、図４（Ａ）の手法では、両眼視差は左右方向のずらし幅で決まるため、左右方向のずらし幅を調整するだけで、適正な両眼視差調整を実現できる。従って、図２（Ａ）、図２（Ｂ）に示すように、複数回のカメラ撮影で得られた画像を合成した立体視用画像を生成する場合に、物体ＯＢ１、ＯＢ２間の立体視における高さ調整を簡素に実現できるという利点がある。

なおロゴ画像（ロゴ、文字の画像）として両眼視差のある画像を用いてもよい。具体的には左目用ロゴ画像と右目用ロゴ画像を用意する。そして左目用ロゴ画像と第１、第２の左目用画像ＩＬ１、ＩＬ２を合成（レイヤ合成）して、第３の左目用画像ＩＬ３を生成し、右目用ロゴ画像と第１、第２の右目用画像ＩＲ１、ＩＲ２を合成（レイヤ合成）して、第３の右目用画像ＩＲ３を生成する。このようにすれば、ロゴや文字についても立体的に見える立体視用画像を生成できる。

６．影画像
図２（Ｂ）に示すように浮遊する物体ＯＢ２の立体視用画像を生成する場合には、物体ＯＢ２の影ＳＤについてもリアルに表現できることが望まれる。

しかしながら物体ＯＢ２の撮影時には、物体ＯＢ２の支え棒についても撮影されてしまい、この支え棒が邪魔になって影ＳＤの画像の一部が欠けてしまう場合がある。また図１８（Ａ）〜図１８（Ｃ）に示すような基準面の高さ調整等を行うと、立体視における物体ＯＢ１、ＯＢ２間の高さ関係も変化してしまう。従って、図２（Ｂ）で撮影した影ＳＤの画像を、そのまま使用することはできないという課題がある。

そこで図６のステップＳ２０〜Ｓ２４、Ｓ２６では、種々の調整処理を行いながら影画像を生成している。

例えば本実施形態では物体ＯＢ２の影についての左目用影画像ＩＳＬと右目用影画像ＩＳＲを生成する。具体的には図６のステップＳ２０に示すように、例えば影の画像を左目用、右目用の各レイヤに挿入することで、左目用影画像ＩＳＬと右目用影画像ＩＳＲを生成している。

そして左目用画像ＩＬ１、ＩＬ２と左目用影画像ＩＳＬを合成（レイヤ合成）することで、図１４に示すような左目用画像ＩＬ３を生成する。また右目用画像ＩＲ１、ＩＲ２と右目用影画像ＩＳＲを合成（レイヤ合成）することで、図１５に示すような右目用画像ＩＲ３を生成する。そしてこれらの左目用画像ＩＬ３、右目用画像ＩＲ３に基づいて、図１６、図１７に示すように、浮遊する物体ＯＢ２の影についてもリアルに表現された立体視用画像ＩＳＴを生成する。

この場合に、より高品質な影を表現するためには、影画像の両眼視差や、距離に応じたぼけ具合についてもリアルに表現できることが望ましい。

例えば図１９（Ａ）において、浮遊する物体ＯＢ２-1の影ＳＤ１はＤ１に示す位置に落ちており、物体ＯＢ２-2の影ＳＤ２はＤ２に示す位置に落ちている。従って、影ＳＤ１の両眼視差は、Ｄ１に示す場所の高さに応じたものになることが望ましく、影ＳＤ２の両眼視差は、Ｄ２に示す場所の高さに応じたものになることが望ましい。即ち影ＳＤ１、ＳＤ２についての両眼視差が適正ではないと、立体視時にベースの物体ＯＢ１から浮いた位置に影ＳＤ１、ＳＤ２が浮かんで見えるようになり、不自然な立体視になってしまう。

そこで図６のステップＳ２１、Ｓ２２では、物体ＯＢ１の両眼視差情報を取得し、取得された両眼視差情報に基づいて影画像の両眼視差調整を行っている。例えば、物体ＯＢ２の影が落ちる場所での両眼視差情報を、物体ＯＢ１の左目用画像ＩＬ１と右目用画像ＩＲ１に基づいて取得する。そして取得された両眼視差情報に基づいて、左目用影画像ＩＳＬと右目用影画像ＩＳＲに対して両眼視差調整を行う。

例えば図２０（Ａ）は、左目用画像ＩＬ１、右目用画像ＩＲ１の一部を拡大して模式的に示した図であり、１つの四角が１ピクセル（１ドット）を表す。図２０（Ａ）の場所の画像パターンでは、ＩＬ１、ＩＲ１の画像の左右のずれ幅（ピクセル数、距離）はＤＬＲになっている。従ってこの場所に影が落ちる場合には、図２０（Ｂ）に示すように、図２０（Ａ）のずれ幅ＤＬＲに応じたずらし幅ＤＬ（ピクセル数）だけ、左目用影画像ＩＳＬを右方向（又は左方向）にずらす。またＤＬＲに応じたずらし幅ＤＲ（ピクセル数）だけ、右目用影画像ＩＳＲを左方向（又は右方向）にずらす。このようにすれば、この場所でのＩＬ１、ＩＲ１の両眼視差に応じたずらし幅ＤＬ、ＤＲだけ、左目用影画像ＩＳＬと右目用影画像ＩＳＲがずれるようになり、この場所におけるＩＬ１、ＩＲ１の両眼視差とＩＳＬとＩＳＲの両眼視差が一致するようになる。従って、立体視時にベース物体ＯＢ１から浮いた位置に影が見えてしまう事態を防止でき、より自然でリアルな影が表現された立体視を実現できる。

なお図６のステップＳ２２では、撮影時の照明の方向も考慮して、左目用、右目用の影画像のずらし幅（シフト量）を調整している。例えば撮影時の照明が左斜め方向からのライティングであった場合には、その分だけ影画像を右にずらす。

また図１９（Ａ）のＤ１とＤ２では、ベース物体ＯＢ１からの浮遊物体ＯＢ２-1、ＯＢ２-2の高さが異なっている。そしてこのような場合に、影ＳＤ１、ＳＤ２のぼけ具合が同じになってしまうと、影のリアル度が損なわれてしまう。

そこで図６のステップＳ２３やＳ２６では、浮遊物体ＯＢ２（ＯＢ２-1、ＯＢ２-2）の高さに応じた影のぼかし処理を行っている。例えば図１９（Ｂ）に示すように、浮遊物体ＯＢ２の高さ情報に基づいて、左目用影画像ＩＳＬと右目用影画像ＩＳＲのぼかし処理（デフォーカス）を行う。具体的には、ベース物体ＯＢ１からの浮遊物体ＯＢ２の高さが低い場合には、ぼかし具合を少なくし、高い場合には、ぼかし具合を大きくする。この場合に、影の境界でのぼけ具合をぼかしフィルタ等を用いて調整する。

このようにすれば図１６、図１７に示すように、影のぼかし具合についてもリアルに表現された立体視用画像を生成できるようになる。

なお図６のステップＳ２６では、背景上にある影については、例えばベース物体ＯＢ１上にある影の最大ずらし幅よりも大きなずらし幅で、例えば右用の影画像については右にずらして、遠くの影に設定する。このような影を背景に落とすことで、テクスチャ模様のない背景が一番奥にあるように見えるようになり、より自然な立体視を実現できる。

７．画像生成システム
図２１に、本実施形態の立体視手法を実現できる画像生成システムの構成例を示す。なお、画像生成システムは、図２１の構成要素（各部）を全て含む必要はなく、その一部を省略した構成としてもよい。

図２１の画像生成システムは、例えばゲーム画像（リアルタイム動画像）を生成するシステムとして用いることができる。また、ＣＧ画像（静止画像）により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システム（ＣＧツール）としても用いることができる。また、カメラで撮った実写画像を取り込み、この実写画像により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システムとしても用いることができる。

操作部１６０は、操作者（プレーヤ、観者）が操作データを入力するためのものであり、その機能は、レバー、ボタン、マイク、或いはタッチパネルなどのハードウェアにより実現できる。

記憶部１７０は、処理部１００や印刷部１９３や通信部１９６などのワーク領域となるもので、その機能はＲＡＭなどのハードウェアにより実現できる。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ハードディスク、或いはメモリ（ＲＯＭ）などのハードウェアにより実現できる。処理部１００は、この情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶（記録、格納）される。

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル、或いはＨＭＤ（ヘッドマウントディスプレイ）などのハードウェアにより実現できる。

音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどのハードウェアにより実現できる。

印刷部１９３は、立体視用画像を印刷媒体（紙、レンズ、或いはフィルム等）に印刷するものであり、その機能は、インクジェット方式やレーザプリンタ方式などのカラープリンタ（広義には印刷機）により実現できる。

通信部１９６は、外部（例えばホスト装置や他の画像生成システム）との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。この通信部１９６を用いて、カメラで撮影された実写画像を外部（インターネットなどのネットワーク）から画像生成システムに取り込んだり、作成された立体視用画像を外部に出力することなどが可能になる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、ホスト装置（サーバー）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（記憶部１７０）に配信するようにしてもよい。このようなホスト装置（サーバー）の情報記憶媒体の使用も本発明の範囲内に含まれる。

処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、画像生成処理、音生成処理、或いはゲーム処理（ゲームの開始処理、ゲームの進行処理、ゲームの終了処理）などの各種の処理を行う。この場合、処理部１００は、記憶部１７０をワーク領域として使用して、各種の処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）又はＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラム（ゲームプログラム）により実現できる。

処理部１００は、画像取得部１１０、補正処理部１１２、調整部１１４、影処理部１１６、画像合成部１１８、立体視用画像生成部１２０を含む。なおこれらの一部を省略する構成としてもよい。

画像取得部１１０は左目用画像や右目用画像の取得処理を行う。具体的には、第１の物体についての第１の左目用画像と第１の右目用画像を取得する処理（読み込む処理、生成する処理）を行う。また第２の物体についての第２の左目用画像と第２の右目用画像を取得する処理（読み込む処理、生成する処理）を行う。取得された第１の左目用画像、第２の左目用画像は左目用画像記憶部１７１（左目用のレイヤ）に記憶され、取得された第１の右目用画像、第２の右目用画像は右目用画像記憶部１７２（右目用のレイヤ）に記憶される。

補正処理部１１２は、基準面での画像のパースペクティブを無くすための補正処理を行う。具体的には、基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、画像取得部１１０により取得された第１の左目用画像、第１の右目用画像、第２の左目用画像、第２の右目用画像に対して行う。補正処理後の画像は左目用画像記憶部１７１や右目用画像記憶部１７２に記憶される。

調整部１１４は各種の調整処理を行う。具体的には、補正処理部１１２での補正処理後の第１の左目用画像、第１の右目用画像に対して両眼視差調整を行って、立体視における第１の物体についての基準面の高さ調整を行う。例えば第１の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、第１の右目用画像を、一方とは異なる他方の方向にずらす両眼視差調整処理を行う。また調整部１１４は、補正処理部１１２での補正処理後の第２の左目用画像、第２の右目用画像に対して両眼視差調整を行って、立体視における第２の物体についての基準面の高さ調整を行う。例えば第２の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、第２の右目用画像を、一方とは異なる他方の方向にずらす両眼視差調整処理を行う。

影処理部１１６は影についての種々の処理を行う。具体的には、第２の物体の影についての左目用影画像と右目用影画像を生成する。生成された左目用影画像、右目用影画像は、影画像記憶部１７３に記憶される。

また影処理部１１６は、第２の物体の影が落ちる場所（影の投影領域）での両眼視差情報（例えば左右のずれ幅）を、第１の左目用画像と第１の右目用画像に基づいて取得する。そして取得された両眼視差情報に基づいて、左目用影画像と右目用影画像に対して両眼視差調整（ずらし幅の調整）を行う。なお取得された両眼視差情報は両眼視差情報記憶部１７４に記憶される。

また影処理部１１６は、第２の物体の高さ情報（高さと透過な情報）に基づいて、左目用影画像や右目用影画像のぼかし処理（デフォーカス処理）を行う。

画像合成部１１８は各種の画像の合成処理を行う。例えば、画像取得部１１０により取得された第１の左目用画像と第２の左目用画像を合成して、第３の左目用画像を生成する。具体的には、例えば第１の左目用画像が格納されるレイヤと第２の左目用画像が格納されるレイヤとをレイヤ合成して、第３の左目用画像を生成する。更に具体的には、補正処理部１１２による補正処理後の第１の左目用画像と補正処理後の第２の左目用画像を合成して、第３の左目用画像を生成する。また影処理部１１６により左目用影画像が生成された場合には、画像合成部１１８は、第１の左目用画像と第２の左目用画像と左目用影画像を合成して、第３の左目用画像を生成する。生成された第３の左目用画像は左目用画像記憶部１７１（左目用のレイヤ）に記憶される。

また画像合成部１１８は、画像取得部１１０により取得された第１の右目用画像と第２の右目用画像を合成して、第３の右目用画像を生成する。具体的には、第１の右目用画像が格納されるレイヤと第２の右目用画像が格納されるレイヤとをレイヤ合成して、第３の右目用画像を生成する。更に具体的には、補正処理後の第１の右目用画像と補正処理後の第２の右目用画像を合成して、第３の右目用画像を生成する。また影処理部１１６により右目用影画像が生成された場合には、画像合成部１１８は、第１の右目用画像と第２の右目用画像と右目用影画像を合成して、第３の右目用画像を生成する。生成された第３の右目用画像は右目用画像記憶部１７２（右目用のレイヤ）に記憶される。

立体視用画像生成部１２０は立体視用画像の生成処理を行う。具体的には、画像合成部１１８での画像合成により生成された第３の左目用画像と第３の右目用画像に基づいて、立体視用画像を生成する。更に具体的には、生成された第３の左目用画像と第３の右目用画像のアナグリフ処理を行って、立体視用画像を生成する。そして画像合成部１１８は、生成された立体視用画像に対して、両眼視差の無い画像を更に合成する処理を行う。

立体視用画像生成部１２０は、生成された立体視用画像を印刷部１９３に出力する。すると印刷部１９３は、その立体視用画像を印刷媒体に印刷することで、立体視用印刷物を作成して出力する。

或いは、立体視用画像生成部１２０は、立体視用画像を表示部１９０に出力する。この場合には、走査者（プレーヤ）は、例えば赤の色フィルタと青の色フィルタが左目、右目に設けられた眼鏡をかけて、ゲーム等をプレイすることになる。或いは、立体視用画像生成部１２０が、第３の左目用画像（左目用画像）と第３の右目用画像（右目用画像）を異なるフレームで表示部１９０に出力する処理を行い、立体視を実現してもよい。この場合には、プレーヤは、フレームに同期してシャッターが開閉するシャッター付き眼鏡をかけて、ゲームをプレイすることになる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

また、左目用画像、右目用画像、影画像の取得手法、合成処理、補正処理、調整処理等も、本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムにも適用できる。

本実施形態の立体視手法を説明するためのフローチャート。 図２（Ａ）、図２（Ｂ）は本実施形態の立体視手法の説明図。 本実施形態の立体視手法の説明図。 図４（Ａ）〜図４（Ｃ）はパースペクティブを無くす補正処理の説明図。 本実施形態の詳細例を説明するためのフローチャート。 本実施形態の詳細例を説明するためのフローチャート。 左目用画像ＩＬ１の例。 右目用画像ＩＲ１の例。 左目用画像ＩＬ２の例。 右目用画像ＩＲ２の例。 影画像の例。 トリミング後の画像の例。 背景挿入後の画像の例。 左目用画像ＩＬ３の例。 右目用画像ＩＲ３の例。 立体視用画像の例。 ロゴ、文字を合成した立体視用画像の例。 図１８（Ａ）〜図１８（Ｃ）は両眼視差調整の説明図。 図１９（Ａ）、図１９（Ｂ）は影処理の説明図。 図２０（Ａ）、図２０（Ｂ）は影の両眼視差調整の説明図。 画像生成システムの構成例。

符号の説明

ＶＰＬ 左目用視点位置、ＶＰＲ 右目用視点位置、
ＯＢ１ 第１の物体、ＯＢ２ 第２の物体、ＢＳ 基準面、
ＩＬ１ 第１の左目用画像、ＩＲ１ 第１の右目用画像、
ＩＬ２ 第２の左目用画像、ＩＲ２ 第２の右目用画像、
ＩＬ３ 第３の左目用画像、ＩＲ３ 第３の右目用画像、ＩＳＴ 立体視用画像、
１００ 処理部、１１０ 画像取得部、１１２ 補正処理部、１１４ 調整部、
１１６ 影処理部、１１８ 画像合成部、１２０ 立体視用画像生成部、
１６０ 操作部、１７０ 記憶部、
１７１ 右目用画像記憶部、１７２ 左目用画像記憶部、１７３ 影画像記憶部、
１７４ 両眼視差情報記憶部、１７５ 立体視用画像記憶部、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、
１９３ 印刷部、１９６ 通信部

Claims (15)

1. 立体視用画像を生成するための画像生成方法であって、
   第１の物体についての第１の左目用画像と第１の右目用画像を取得し、
   第２の物体についての第２の左目用画像と第２の右目用画像を取得し、
   基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第１の左目用画像、前記第１の右目用画像、前記第２の左目用画像、前記第２の右目用画像に対して行い、
   取得された補正処理後の前記第１の左目用画像と補正処理後の前記第２の左目用画像を合成して第３の左目用画像を生成し、
   取得された補正処理後の前記第１の右目用画像と補正処理後の前記第２の右目用画像を合成して第３の右目用画像を生成し、
   生成された前記第３の左目用画像と前記第３の右目用画像に基づいて、前記立体視用画像を生成すると共に、
   前記第２の物体の影についての左目用影画像と右目用影画像を生成し、
   前記第２の物体の影が落ちる場所での両眼視差情報を、前記第１の左目用画像と前記第１の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行い、
   前記第１の左目用画像と前記第２の左目用画像と両眼視差調整後の前記左目用影画像を合成して前記第３の左目用画像を生成し、
   前記第１の右目用画像と前記第２の右目用画像と両眼視差調整後の前記右目用影画像を合成して前記第３の右目用画像を生成することを特徴とする画像生成方法。
2. 請求項１において、
   前記第１の左目用画像が格納されるレイヤと前記第２の左目用画像が格納されるレイヤとをレイヤ合成して、前記第３の左目用画像を生成し、
   前記第１の右目用画像が格納されるレイヤと前記第２の右目用画像が格納されるレイヤとをレイヤ合成して、前記第３の右目用画像を生成することを特徴とする画像生成方法。
3. 請求項２において、
   前記第１の左目用画像のうち前記第１の物体の画像以外の画像をトリミングすると共に、前記第２の左目用画像のうち前記第２の物体の画像以外の画像をトリミングし、トリミング後の前記第１の左目用画像が格納されるレイヤとトリミング後の前記第２の左目用画像が格納されるレイヤとをレイヤ合成し、
   前記第１の右目用画像のうち前記第１の物体の画像以外の画像をトリミングすると共に、前記第２の右目用画像のうち前記第２の物体の画像以外の画像をトリミングし、トリミング後の前記第１の右目用画像が格納されるレイヤとトリミング後の前記第２の右目用画像が格納されるレイヤとをレイヤ合成することを特徴とする画像生成方法。
4. 請求項１乃至３のいずれかにおいて、
   前記第１の左目用画像、前記第１の右目用画像に対して両眼視差調整を行って、立体視における前記第１の物体についての基準面の高さ調整を行うことを特徴とする画像生成方法。
5. 請求項４において、
   前記両眼視差調整は、前記第１の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第１の右目用画像を、前記一方とは異なる他方の方向にずらす処理であることを特徴とする画像生成方法。
6. 請求項１乃至５のいずれかにおいて、
   前記第２の左目用画像、前記第２の右目用画像に対して両眼視差調整を行って、立体視における前記第２の物体についての基準面の高さ調整を行うことを特徴とする画像生成方法。
7. 請求項６において、
   前記両眼視差調整は、前記第２の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第２の右目用画像を、前記一方とは異なる他方の方向にずらす調整であることを特徴とする画像生成方法。
8. 請求項１乃至７のいずれかにおいて、
   前記第２の物体は、前記第１の物体の上方に浮遊する物体であることを特徴とする画像生成方法。
9. 請求項１乃至８のいずれかにおいて、
   前記第２の物体の高さ情報に基づいて、前記左目用影画像と前記右目用影画像のぼかし処理を行うことを特徴とする画像生成方法。
10. 請求項１乃至９のいずれかにおいて、
    生成された前記第３の左目用画像と前記第３の右目用画像のアナグリフ処理を行って、前記立体視用画像を生成することを特徴とする画像生成方法。
11. 請求項１乃至１０のいずれかに記載の画像生成方法で生成された立体視用画像が印刷された立体視用印刷物。
12. 立体視用印刷物の製造方法であって、
    第１の物体についての第１の左目用画像と第１の右目用画像を取得し、
    第２の物体についての第２の左目用画像と第２の右目用画像を取得し、
    基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第１の左目用画像、前記第１の右目用画像、前記第２の左目用画像、前記第２の右目用画像に対して行い、
    補正処理後の前記第１の左目用画像が格納されるレイヤと補正処理後の前記第２の左目用画像が格納されるレイヤとをレイヤ合成して、第３の左目用画像を生成し、
    補正処理後の前記第１の右目用画像が格納されるレイヤと補正処理後の前記第２の右目用画像が格納されるレイヤとをレイヤ合成して、第３の右目用画像を生成し、
    生成された前記第３の左目用画像と前記第３の右目用画像に基づいて、立体視用印刷物を作成すると共に、
    前記第２の物体の影についての左目用影画像と右目用影画像を生成し、
    前記第２の物体の影が落ちる場所での両眼視差情報を、前記第１の左目用画像と前記第１の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行い、
    前記第１の左目用画像と前記第２の左目用画像と両眼視差調整後の前記左目用影画像を合成して前記第３の左目用画像を生成し、
    前記第１の右目用画像と前記第２の右目用画像と両眼視差調整後の前記右目用影画像を合成して前記第３の右目用画像を生成することを特徴とする立体視用印刷物の製造方法。
13. 請求項１２に記載の製造方法により作成された立体視用印刷物。
14. 請求項１２に記載の製造方法により作成された立体視用印刷物を複製することで作成された立体視用印刷物。
15. 立体視のためのプログラムであって、
    第１の物体についての第１の左目用画像と第１の右目用画像を取得し、
    第２の物体についての第２の左目用画像と第２の右目用画像を取得し、
    基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第１の左目用画像、前記第１の右目用画像、前記第２の左目用画像、前記第２の右目用画像に対して行い、
    取得された補正処理後の前記第１の左目用画像と補正処理後の前記第２の左目用画像を合成して第３の左目用画像を生成し、
    取得された補正処理後の前記第１の右目用画像と補正処理後の前記第２の右目用画像を合成して第３の右目用画像を生成し、
    生成された前記第３の左目用画像と前記第３の右目用画像に基づいて、前記立体視用画像を生成すると共に、
    前記第２の物体の影についての左目用影画像と右目用影画像を生成し、
    前記第２の物体の影が落ちる場所での両眼視差情報を、前記第１の左目用画像と前記第１の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行い、
    前記第１の左目用画像と前記第２の左目用画像と両眼視差調整後の前記左目用影画像を合成して前記第３の左目用画像を生成し、
    前記第１の右目用画像と前記第２の右目用画像と両眼視差調整後の前記右目用影画像を合成して前記第３の右目用画像を生成する手順を、
    コンピュータに実行させることを特徴とするプログラム。