JP4958689B2 - 立体画像生成装置およびプログラム - Google Patents

Description

本発明は、背景画像に合成対象画像を合成して印刷用の立体画像を生成する処理を実行するコンピュータからなる立体画像生成装置およびプログラムに係り、例えば、レンチキュラ用やパララックスバリア用の画像データを生成する場合等に利用できる。

従来より、印刷した画像により立体像を観察することができる方式として、レンチキュラ方式が知られている。このレンチキュラ方式による立体画像は、複数視点でカメラ撮影しまたは３ＤＣＧデータを複数視点でレンダリングして得られた複数視点の画像を、それぞれ短冊状にして横方向に順番に並べた画像を形成し、この画像に半円柱状のレンズを連ねたレンチキュラシートを重ね合わせることにより得られる。そして、短冊を横方向に並べた画像を１枚のシートに印刷し、これにレンチキュラシートを重ね合わせれば、印刷した画像による立体像の観察を実現することができる。また、原理的に類似した方式として、パララックスバリア方式も知られている。これらのレンチキュラ方式やパララックスバリア方式による印刷用の立体画像は、いずれもメガネを必要とせず、裸眼で立体像を観察することができるものである。

また、メガネを必要とする方式として、アナグリフ方式が知られている。このアナグリフ方式の立体画像は、補色関係にある２色（主に赤と青）を用いて、両眼視差のついた２枚の画像を形成し、これらの２枚の画像を重ねた画像を、共通の透過波長域を持たないカラーフィルタの付加されたメガネを用いて観察することにより得られる。そして、両眼視差のついた２枚の画像を重ねた画像を１枚のシートに印刷すれば、メガネが必要ではあるが、印刷した画像による立体像の観察を実現することができる。

一方、近年、プリクラと称される撮影・印刷システムが開発され、自己の肖像を撮影し、撮影した肖像画像を、その場で他の画像と合成して印刷することができる。さらに、この立体版ともいえるシステム、すなわち被写体の撮影および立体画像の生成、印刷が可能な立体写真プリントシステムも知られている（特許文献１参照）。この立体写真プリントシステムは、複数視点から被写体を撮影して得られたステレオ画像から被写体の奥行き分布を表す視差マップを抽出するとともに、ステレオ画像と視差マップとに基づいて複数視点からの被写体の多視点画像を生成し、この多視点画像に基づいて立体画像を合成し、印刷するものであり、印刷した立体画像に、レンチキュラシートを重ね合わせることにより被写体の立体像を観察することができる。また、この他にも、被写体の奥行き分布を表す視差マップを用いて、レンチキュラ方式の立体画像を生成する幾つかのシステムが知られている（特許文献２〜６参照）。

特開２００１−３４６２２６号公報（請求項１，１１、要約） 特開２００３−３４６１８８号公報（請求項１，３、要約） 特開２００３−１１１１０４号公報（請求項６，７） 特開２００３−４７０２７号公報（請求項１） 特開２００３−４４８８０号公報（請求項１） 特開２００３−４３５９９号公報（請求項１９，２０，３０，３１）

しかしながら、現在普及している撮影・印刷システムでは、殆どの場合、被写体とその背景との位置関係は決まっているので、背景中の被写体の大きさ（背景画像に合成する際の被写体画像の倍率）は予め定めておくことができ、また、被写体が背景に対して任意の位置に配置可能であったとしても、被写体画像および背景画像が共に２Ｄ画像であり、２Ｄ画像どうしを合成して２Ｄ画像を生成するのであれば、背景に対して被写体をどれぐらいの大きさにして合成するのかを考慮するぐらいであるから、合成に際して考慮すべきことは、被写体画像と背景画像との合成により立体画像を生成する場合に比べて少ないといえる。

これに対し、立体画像を生成し、印刷する撮影・印刷システムの場合には、立体像の観察が左右の眼で観察した各画像の融像により実現されるものであるため、立体像を観察し易くするための工夫が必要となってくる。また、被写体が背景に対して任意の位置に配置可能である場合には、配置位置が変われば、背景に対する被写体の大きさや奥行きの調整が必要となるため、観察し易い立体画像を生成することの必要性は高まってくる。さらには、背景画像に合成する合成対象画像が、被写体画像のみならず、他にも存在する場合には、合成対象画像どうしの大きさや奥行きの調整も必要となるため、観察し易い立体画像を生成することの必要性は、より一層顕著になってくる。

本発明の目的は、観察し易い印刷用の立体画像を生成することができる立体画像生成装置およびプログラムを提供するところにある。

本発明は、背景画像に合成対象画像を合成して印刷用の立体画像を生成する処理を実行するコンピュータからなる立体画像生成装置であって、背景画像を記憶する背景画像記憶手段と、この背景画像記憶手段に記憶された背景画像の各部位の奥行き情報を、各部位を識別する部位識別情報と関連付けて記憶するか、または各部位の並び順に対応させて並べて記憶する奥行き情報記憶手段と、背景画像への合成対象画像の配置位置の入力を受け付ける処理を実行する配置位置入力受付処理手段と、この配置位置入力受付処理手段により受け付けた配置位置に対応する背景画像の部位についての奥行き情報を、部位識別情報をキーとして、または並び順に基づき、奥行き情報記憶手段から抽出する処理を実行する奥行き情報抽出処理手段と、この奥行き情報抽出処理手段により抽出した奥行き情報に対応する合成対象画像の眼数を、背景画像の各部位の奥行き情報と合成対象画像の眼数との関係を定めて眼数テーブル記憶手段に記憶されまたはプログラム内に記述された眼数テーブルから取得して決定する処理を実行する眼数決定処理手段と、この眼数決定処理手段により決定した眼数の合成対象画像を、カメラにより撮影して若しくは３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の合成対象画像の中から取得するか、または元画像から生成し、取得または生成した眼数の合成対象画像を、配置位置入力受付処理手段により受け付けた配置位置に配置して背景画像記憶手段に記憶された背景画像に合成することにより、印刷用の立体画像を生成する処理を実行する合成処理手段とを備えたことを特徴とするものである。

ここで、「背景画像の各部位」とは、各画素でもよく、背景画像を縦横に整然と区画した際の各区画（グリッド）でもよく、あるいは背景画像を絵柄に合わせて任意の形状で区画した際の各区画でもよい。他の発明においても同様である。

また、「奥行き情報」は、奥行きの絶対値データ（例えば、何メートル、何ヤード、何フィート等）でもよく、背景画像内における相対的な奥行きのデータでもよく、特定の物体の寸法に対する相対的な寸法で示した奥行きのデータ（例えば、奈良の大仏の身長の何倍、東京タワーの高さの何倍等）でもよく、あるいは奥行きから導かれる奥行きに比例するデータでもよい。他の発明においても同様である。

さらに、「背景画像の各部位の奥行き情報」を「奥行き情報記憶手段」に「各部位の並び順に対応させて並べて記憶する」とは、例えば、各部位が縦横に整然と並んで行列を形成しているときに、左上から右下へ横方向（各行において左から右へ向かう方向）に順番に、右上から左下へ横方向（各行において右から左へ向かう方向）に順番に、左下から右上へ横方向（各行において左から右へ向かう方向）に順番に、右下から左上へ横方向（各行において右から左へ向かう方向）に順番に、左上から右下へ縦方向（各列において上から下へ向かう方向）に順番に、右上から左下へ縦方向（各列において上から下へ向かう方向）に順番に、左下から右上へ縦方向（各列において下から上へ向かう方向）に順番に、右下から左上へ縦方向（各列において下から上へ向かう方向）に順番に、各部位を見ていき、その順番で各部位についての奥行き情報を並べて記憶する等であり、要するに、各部位についての奥行き情報が、一つ一つ部位識別情報と関連付けて記憶されていなくても、いずれの部位についての奥行き情報であるかを判断することができるように並べて記憶するという意味である。なお、「各部位の並び順」は、各部位を順番に見ていく（捉えていく）ときの見方の定義の問題であり、縦横の方向に限らず、斜め方向に順番に見ていってもよく、あるいは、例えば、第１行では左から右へ見ていき、第２行では右から左へ見ていき、第３行では左から右へ見ていき、第４行では右から左へ見ていく等にように、ジグザグに折り返して見ていってもよい。他の発明においても同様である。

そして、「印刷用の立体画像」は、レンチキュラ用や、パララックスバリア用の画像データが好適であるが、これに限定されず、例えば、アナグリフ用等の画像データであってもよい。他の発明においても同様である。

また、「背景画像」および「合成対象画像」のいずれも、カメラで撮影した実写画像でもよく、コンピュータ・グラフィクス（ＣＧ）画像でもよい。他の発明においても同様である。

さらに、「眼数決定処理手段」により決定される「眼数」には、多眼や２眼のみならず、１眼も含まれる。但し、１眼の画像（２Ｄ画像）だけを用意したり、生成するという意味ではなく、合成対象画像の配置位置によっては、多眼や２眼が選択決定されることもあり、そのような状況下で１眼が選択決定されてもよいという意味である。なお、１眼が選択決定される可能性がある構成とする場合には、背景画像は、立体画像であることが必須となる。一方、１眼が選択決定される可能性がない構成とする場合には、背景画像は、２Ｄ画像としてもよい。他の発明においても同様である。

このような立体画像生成装置（以下、「奥行き情報を背景画像の各部位毎に記憶しておき、眼数テーブルを用いて奥行き情報から合成対象画像の眼数を決定する発明」という。）においては、合成対象画像の配置位置の入力を受け付け、受け付けた配置位置に対応する背景画像の部位についての奥行き情報に基づき、合成対象画像の眼数を決定するので、観察し易い印刷用の立体画像を生成することが可能となり、これにより前記目的が達成される。

なお、前述した特許文献１〜６には、背景画像の各部位の奥行き情報に基づき、任意の位置に配置される合成対象画像の眼数を決定する旨の記載はない。

また、上記の発明では、背景画像の各部位の奥行き情報を、奥行き情報記憶手段に記憶しておき、合成対象画像の配置位置に対応する背景画像の部位についての奥行き情報を、奥行き情報記憶手段から抽出し、抽出した奥行き情報に基づき、眼数テーブルを用いて合成対象画像の眼数を決定する構成（奥行き情報を背景画像の各部位毎に記憶しておき、眼数テーブルを用いて奥行き情報から合成対象画像の眼数を決定する発明）とされていたが、次のように、背景画像の各部位の奥行き情報を用いて合成対象画像の眼数を予め定め、このようにして予め定められた合成対象画像の眼数を、背景画像の各部位毎に眼数記憶手段に記憶しておき、合成対象画像の配置位置に対応する背景画像の部位についての合成対象画像の眼数を、眼数記憶手段から抽出して決定する構成（奥行き情報を用いて予め定められた合成対象画像の眼数を背景画像の各部位毎に記憶しておく発明）としてもよい。

すなわち、本発明は、背景画像に合成対象画像を合成して印刷用の立体画像を生成する処理を実行するコンピュータからなる立体画像生成装置であって、背景画像を記憶する背景画像記憶手段と、この背景画像記憶手段に記憶された背景画像の各部位毎にこれらの各部位の奥行き情報を用いて予め定められた合成対象画像の眼数を、部位識別情報と関連付けて記憶するか、または各部位の並び順に従って並べて記憶する眼数記憶手段と、背景画像への合成対象画像の配置位置の入力を受け付ける処理を実行する配置位置入力受付処理手段と、この配置位置入力受付処理手段により受け付けた配置位置に対応する背景画像の部位についての合成対象画像の眼数を、部位識別情報をキーとして、または並び順に基づき、眼数記憶手段から抽出して決定する処理を実行する眼数決定処理手段と、この眼数決定処理手段により決定した眼数の合成対象画像を、カメラにより撮影して若しくは３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の合成対象画像の中から取得するか、または元画像から生成し、取得または生成した眼数の合成対象画像を、配置位置入力受付処理手段により受け付けた配置位置に配置して背景画像記憶手段に記憶された背景画像に合成することにより、印刷用の立体画像を生成する処理を実行する合成処理手段とを備えたことを特徴とするものである。

ここで、「合成対象画像の眼数」を「眼数記憶手段」に「各部位の並び順に従って並べて記憶する」というときの「各部位の並び順に従って並べて記憶する」という意味は、前述した「背景画像の各部位の奥行き情報」を「奥行き情報記憶手段」に「各部位の並び順に対応させて並べて記憶する」というときの「各部位の並び順に従って並べて記憶する」という意味と同様である。

このような立体画像生成装置（以下、「奥行き情報を用いて予め定められた合成対象画像の眼数を背景画像の各部位毎に記憶しておく発明」という。）においては、背景画像の各部位の奥行き情報を用いて合成対象画像の眼数を背景画像の各部位毎に予め定めておき、合成対象画像の配置位置の入力を受け付け、受け付けた配置位置に対応する背景画像の部位について予め定められている合成対象画像の眼数を抽出して眼数を決定するので、観察し易い印刷用の立体画像を生成することが可能となり、これにより前記目的が達成される。

さらに、前述した立体画像生成装置（奥行き情報を背景画像の各部位毎に記憶しておき、眼数テーブルを用いて奥行き情報から合成対象画像の眼数を決定する発明）において、奥行き情報抽出処理手段により抽出した奥行き情報を用いて、合成対象画像を背景画像に合成する際の合成対象画像の拡大または縮小の倍率を算出する処理を実行する合成対象画像倍率算出処理手段を備え、合成処理手段は、眼数決定処理手段により決定した眼数の合成対象画像を、カメラにより撮影して若しくは３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の合成対象画像の中から取得するか、または元画像から生成し、かつ、合成対象画像倍率算出処理手段により算出した倍率で拡大または縮小した状態で、配置位置入力受付処理手段により受け付けた配置位置に配置して背景画像記憶手段に記憶された背景画像に合成することにより、印刷用の立体画像を生成する処理を実行する構成とされていることが望ましい。

また、前述した立体画像生成装置（奥行き情報を用いて予め定められた合成対象画像の眼数を背景画像の各部位毎に記憶しておく発明）において、背景画像記憶手段に記憶された背景画像の各部位の奥行き情報を、各部位を識別する部位識別情報と関連付けて記憶するか、または各部位の並び順に従って並べて記憶する奥行き情報記憶手段と、配置位置入力受付処理手段により受け付けた配置位置に対応する背景画像の部位についての奥行き情報を、部位識別情報をキーとして、または並び順に基づき、奥行き情報記憶手段から抽出する処理を実行する奥行き情報抽出処理手段と、この奥行き情報抽出処理手段により抽出した奥行き情報を用いて、合成対象画像を背景画像に合成する際の合成対象画像の拡大または縮小の倍率を算出する処理を実行する合成対象画像倍率算出処理手段とを備え、合成処理手段は、眼数決定処理手段により決定した眼数の合成対象画像を、カメラにより撮影して若しくは３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の合成対象画像の中から取得するか、または元画像から生成し、かつ、合成対象画像倍率算出処理手段により算出した倍率で拡大または縮小した状態で、配置位置入力受付処理手段により受け付けた配置位置に配置して背景画像記憶手段に記憶された背景画像に合成することにより、印刷用の立体画像を生成する処理を実行する構成とされていることが望ましい。

このように「奥行き情報を背景画像の各部位毎に記憶しておき、眼数テーブルを用いて奥行き情報から合成対象画像の眼数を決定する発明」、または「奥行き情報を用いて予め定められた合成対象画像の眼数を背景画像の各部位毎に記憶しておく発明」において、合成対象画像倍率算出処理手段を備えた構成とした場合には、背景画像の各部位のうち、視点から遠距離にある部位（奥側にある部位）が、合成対象画像の配置位置として入力されたときには、合成対象画像の倍率を自動的に小さくし、視点から近距離にある部位（手前側にある部位）が、合成対象画像の配置位置として入力されたときには、合成対象画像の倍率を自動的に大きくして合成することが可能となる。このため、合成対象画像を自然な状態で背景画像に合成することが容易に可能となる。

そして、上述した合成対象画像倍率算出処理手段を備えた構成とした場合において、合成対象画像または元画像に描かれた合成対象の原寸のサイズ情報を記憶する合成対象サイズ記憶手段を備え、合成対象画像倍率算出処理手段は、奥行き情報抽出処理手段により抽出した奥行き情報、および合成対象サイズ記憶手段に記憶された合成対象の原寸のサイズ情報を用いて、合成対象画像を背景画像に合成する際の合成対象画像の拡大または縮小の倍率を算出する処理を実行する構成とされていることが望ましい。

ここで、「合成対象画像または元画像に描かれた合成対象の原寸のサイズ情報」とは、画像サイズ（ピクセル数）ではなく、現実空間における実寸法（例えば、実物の人間や動物の身長等）またはコンピュータ・グラフィクス上の仮想空間における仮想寸法（アニメキャラクタの身長等）であるが、絶対寸法で示されたデータ（例えば、何メートル、何インチ、何フィート等）でもよく、特定の物体の寸法に対する相対的なデータ（例えば、奈良の大仏の身長の何倍、東京タワーの高さの何倍等）でもよい。他の発明においても同様である。

このように合成対象サイズ記憶手段を備えた構成とした場合には、合成対象の原寸のサイズが大きいときには、合成対象画像の倍率を大きくし、合成対象の原寸のサイズが小さいときには、合成対象画像の倍率を小さくして合成することが可能となる。このため、合成対象画像を自然な状態で背景画像に合成することが容易に可能となる。

また、前述した合成対象画像倍率算出処理手段を備えた構成とした場合において、被写体を撮影するカメラと、このカメラにより撮影した被写体を含む画像から被写体を切り出して合成対象画像としての被写体画像を生成する処理を実行する被写体切出処理手段と、この被写体切出処理手段により切り出された被写体画像の画像サイズから、被写体の原寸のサイズ情報を算出する処理を実行する被写体サイズ算出処理手段とを備え、合成対象画像倍率算出処理手段は、奥行き情報抽出処理手段により抽出した奥行き情報、および被写体サイズ算出処理手段により算出した被写体の原寸のサイズ情報を用いて、合成対象画像としての被写体画像を背景画像に合成する際の被写体画像の拡大または縮小の倍率を算出する処理を実行する構成とすることが望ましい。

このように被写体切出処理手段および被写体サイズ算出処理手段を備えた構成とした場合には、カメラにより撮影した画像から被写体を切り出し、被写体の原寸のサイズ情報を算出し、被写体の原寸のサイズが大きいときには、被写体画像の倍率を大きくし、被写体の原寸のサイズが小さいときには、被写体画像の倍率を小さくして合成することが可能となる。このため、合成対象画像である被写体画像を自然な状態で背景画像に合成することが容易に可能となる。

さらに、前述した合成対象画像倍率算出処理手段を備えた構成とした場合において、被写体を撮影するカメラと、このカメラにより撮影した被写体を含む画像から被写体を切り出して合成対象画像としての被写体画像を生成する処理を実行する被写体切出処理手段と、被写体またはオペレータによる被写体の原寸のサイズ情報の入力を受け付ける処理を実行する被写体サイズ入力受付処理手段とを備え、合成対象画像倍率算出処理手段は、奥行き情報抽出処理手段により抽出した奥行き情報、および被写体サイズ入力受付処理手段により受け付けた被写体の原寸のサイズ情報を用いて、合成対象画像としての被写体画像を背景画像に合成する際の被写体画像の拡大または縮小の倍率を算出する処理を実行する構成としてもよい。

このように被写体切出処理手段および被写体サイズ入力受付処理手段を備えた構成とした場合には、被写体またはオペレータによる被写体の原寸のサイズ情報の入力を受け付け、被写体の原寸のサイズが大きいときには、被写体画像の倍率を大きくし、被写体の原寸のサイズが小さいときには、被写体画像の倍率を小さくして合成することが可能となる。このため、合成対象画像である被写体画像を自然な状態で背景画像に合成することが容易に可能となる。

そして、前述した被写体切出処理手段および被写体サイズ算出処理手段を備えた構成とした場合、または上述した被写体切出処理手段および被写体サイズ入力受付処理手段を備えた構成とした場合において、被写体またはオペレータが背景画像への合成対象画像の配置位置を入力する操作を行うための入力手段と、背景画像に合成対象画像を合成した状態を画面表示により確認するための確認用ディスプレイと、眼数決定処理手段により決定した眼数若しくは確認表示用として予め定められた眼数の合成対象画像を、カメラにより撮影して若しくは３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の合成対象画像の中から取得するか、または元画像から生成し、取得または生成した眼数の合成対象画像を、配置位置入力受付処理手段により受け付けた配置位置に配置して背景画像記憶手段に記憶された背景画像に合成することにより、確認用ディスプレイに画面表示させる確認表示用の立体画像を生成する処理を実行する確認用画像生成処理手段と、合成処理手段により生成された印刷用の立体画像を印刷する印刷装置とを備えた構成とすることが望ましい。

ここで、「確認表示用として予め定められた眼数」は、たまたま「眼数決定処理手段により決定した眼数」と一致する眼数となってもよく、「眼数決定処理手段により決定した眼数」と異なる眼数となってもよく、例えば、確認表示用は、合成対象画像の配置位置に関係なく２眼とし、印刷用は、合成対象画像の配置位置に応じて眼数を変化させて多眼または２眼とする構成等を採用することができる。

このように確認用ディスプレイおよび確認用画像生成処理手段を備えた構成とした場合には、立体画像を印刷装置で印刷する前に、生成した立体画像の合成状態を確認することが可能となる。

また、上述した確認用ディスプレイおよび確認用画像生成処理手段を備えた構成とした場合において、入力手段は、タッチパネルであり、配置位置入力受付処理手段は、タッチパネルと一体化された操作用ディスプレイに背景画像記憶手段に記憶された背景画像を画面表示するとともに、タッチパネルからの入力信号を用いて配置位置に対応する背景画像の部位を特定する処理を実行する構成とされ、確認用画像生成処理手段は、カメラ若しくは確認表示専用の別のカメラにより撮影してまたは３次元コンピュータ・グラフィクスデータをレンダリングして得られた１眼の合成対象画像を、配置位置入力受付処理手段により受け付けた配置位置に配置して背景画像記憶手段に記憶された背景画像に合成することにより、リアルタイム確認表示用の２Ｄ画像を定期的に繰り返し生成する処理と、眼数決定処理手段により決定した眼数若しくは確認表示用として予め定められた眼数の合成対象画像として、２眼若しくは多眼の合成対象画像を、カメラにより撮影して若しくは３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の合成対象画像の中から取得するか、または元画像から生成し、取得または生成した２眼若しくは多眼の合成対象画像を、配置位置入力受付処理手段により受け付けた配置位置に配置して背景画像記憶手段に記憶された背景画像に合成することにより、確認表示用の立体画像を生成する処理とを切り替えて実行する構成とされていることが望ましい。

このように確認用画像生成処理手段を、リアルタイム確認表示用の２Ｄ画像を定期的に繰り返し生成する処理と、確認表示用の立体画像を生成する処理とを切り替えて実行する構成とした場合には、確認用ディスプレイで切替表示を行うことが可能となり、例えば、被写体が動きながらポーズを決めているときの合成状態を逐次表示するとともに、ポーズを決めてから本番撮影を行ったときの合成状態を表示することが可能となる。

さらに、前述した被写体切出処理手段および被写体サイズ算出処理手段を備えた構成とした場合、または前述した被写体切出処理手段および被写体サイズ入力受付処理手段を備えた構成とした場合において、合成処理手段は、眼数決定処理手段により決定した眼数の合成対象画像としての被写体画像を、カメラにより撮影して得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の被写体画像の中から取得するか、または元画像から生成し、かつ、９０度回転させた状態で、配置位置入力受付処理手段により受け付けた配置位置に配置して背景画像記憶手段に記憶された背景画像に合成することにより、印刷用の立体画像を生成する処理を実行する構成としてもよい。

このように被写体画像を９０度回転させた状態で合成する構成とした場合には、例えば、立っている人間等のように縦長の被写体を撮影し、横に寝かせた状態で合成すること等が可能となり、合成するときの姿勢が被写体の撮影姿勢に適していないときであっても、被写体の撮影を容易に行い、かつ、所望の姿勢での被写体画像の合成を実現することが可能となる。

そして、前述した合成対象画像倍率算出処理手段を備えた構成とした場合において、合成処理手段は、眼数決定処理手段により決定した眼数の合成対象画像を、カメラにより撮影して若しくは３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の合成対象画像の中から取得するか、または元画像から生成し、かつ、合成対象画像倍率算出処理手段により算出した倍率で拡大または縮小し、かつ、奥行き情報抽出処理手段により抽出した奥行き情報に応じたぼかし量でぼかした状態で、配置位置入力受付処理手段により受け付けた配置位置に配置して背景画像記憶手段に記憶された背景画像に合成することにより、印刷用の立体画像を生成する処理を実行する構成とされていることが望ましい。

このように奥行き情報に応じたぼかし量でぼかした状態で合成する構成とした場合には、背景画像の各部位のうち、視点から遠距離にある部位（奥側にある部位）が、合成対象画像の配置位置として入力されたときには、合成対象画像のぼかし量を自動的に大きくし、視点から近距離にある部位（手前側にある部位）が、合成対象画像の配置位置として入力されたときには、合成対象画像のぼかし量を自動的に小さくして合成することが可能となる。このため、合成対象画像を自然な状態で背景画像に合成することが容易に可能となる。

また、本発明のプログラムは、以上に述べた立体画像生成装置として、コンピュータを機能させるためのものである。

なお、上記のプログラムまたはその一部は、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）を利用した読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）、デジタル・バーサタイル・ディスク（ＤＶＤ）を利用した読出し専用メモリ（ＤＶＤ−ＲＯＭ）、ＤＶＤを利用したランダム・アクセス・メモリ（ＤＶＤ−ＲＡＭ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等の記録媒体に記録して保存や流通等させることが可能であるとともに、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等の有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に載せて搬送することも可能である。さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

以上に述べたように本発明によれば、合成対象画像の配置位置に対応する背景画像の部位についての奥行き情報に基づき、合成対象画像の眼数を決定するか、または背景画像の各部位の奥行き情報を用いて背景画像の各部位毎に予め定められている合成対象画像の眼数から、合成対象画像の配置位置に対応する背景画像の部位についての合成対象画像の眼数を抽出して眼数を決定するので、観察し易い印刷用の立体画像を生成することができるという効果がある。

以下に本発明の一実施形態について図面を参照して説明する。図１には、本実施形態の立体画像生成装置１０の全体構成が示されている。立体画像生成装置１０は、被写体を撮影し、背景画像と合成して立体画像として印刷する撮影・印刷システムである。図２には、前処理の流れがフローチャートで示され、図３には、被写体の撮影から立体画像の印刷までの全体的な処理の流れがフローチャートで示され、図４には、被写体またはオペレータによる背景画像の選択または生成についての詳細な流れがフローチャートで示され、図５には、被写体またはオペレータによる小道具画像の選択または生成についての詳細な流れがフローチャートで示され、図６には、配置位置の入力の受付、奥行き情報の取得、サイズ情報の取得、および倍率の算出についての詳細な流れがフローチャートで示され、図７には、リアルタイム確認表示用の撮影、および２Ｄ画像の表示についての詳細な流れがフローチャートで示され、図８には、本番撮影、および確認用の立体画像の表示についての詳細な流れがフローチャートで示され、図９には、印刷用の立体画像の生成、印刷についての詳細な流れがフローチャートで示されている。また、図１０には、背景画像の選択画面の一例が示され、図１１には、現在および過去の被写体画像、並びに小道具画像の配置位置の入力画面の一例が示され、図１２には、現在および過去の被写体画像、並びに小道具画像を背景画像に合成する際のレイヤ構造が示され、図１３には、合成された画像の一例が示されている。さらに、図１４は、背景画像の生成および使用についての説明図であり、図１５は、現在の被写体画像の生成および使用についての説明図であり、図１６は、小道具画像の生成および使用についての説明図であり、図１７は、過去の被写体画像の使用についての説明図であり、図１８および図１９は、被写体画像を９０度回転させて合成する場合の説明図である。

図１において、立体画像生成装置１０は、被写体１を撮影する際のバックとなるブルースクリーン１１およびブルーの床１２と、この床１２に設けられたフットペダル１３と、被写体１を撮影するための複数台の高解像度のカメラ１４および１台の低解像度のカメラ１５と、被写体の撮影並びに立体画像の生成および印刷に必要な各種処理を実行するとともに各種データを記憶するコンピュータ本体２０と、印刷用（レンチキュラ用等）の立体画像を印刷する印刷装置６０と、被写体１またはオペレータによる操作のための表示が行われる操作用ディスプレイ７０と、この操作用ディスプレイ７０と一体化された入力手段であるタッチパネル７１と、合成された画像を確認するための表示が行われる確認用ディスプレイ８０とを備えて構成されている。

フットペダル１３は、被写体１が足でスイッチング操作を行うためのものであり、被写体１が撮影ポーズを決めてから本番撮影に移るタイミングを指示するために用いられる。例えば、フットペダル１３を踏んでから一定時間経過後（例えば５秒後等）に、低解像度のカメラ１５によるリアルタイム確認表示用の撮影が終了し、高解像度のカメラ１４による本番撮影が行われる。

高解像度のカメラ１４は、本番撮影を行うための実物のカメラであり、複数視点から被写体１を撮影するために複数台並べて設けられている。例えば、１４視点から被写体１を撮影する場合には、１４台のカメラ１４Ａ〜１４Ｎを設置する。

低解像度のカメラ１５は、リアルタイム確認表示用の撮影を行うための実物のビデオカメラであり、複数台並べて設けられた高解像度のカメラ１４のうちの中央のカメラ１４の近傍に設けられている。例えば、１４台の高解像度のカメラ１４Ａ〜１４Ｎが設置されている場合には、低解像度のカメラ１５は、カメラ１４Ｇまたは１４Ｈの近傍（上側または下側）に設置する。

コンピュータ本体２０は、被写体の撮影並びに立体画像の生成および印刷に必要な各種処理を実行する処理手段３０と、この処理手段３０に接続された背景画像記憶手段５１、合成対象画像記憶手段５２、合成対象サイズ記憶手段５３、奥行き情報記憶手段５４、眼数テーブル記憶手段５５、および印刷用立体画像記憶手段５６とを含んで構成されている。

処理手段３０は、背景選択受付処理手段３１と、配置位置入力受付処理手段３２と、撮影処理手段３３と、被写体切出処理手段３４と、被写体サイズ算出処理手段３５と、新規画像生成処理手段３６と、奥行き情報抽出処理手段３７と、合成対象画像倍率算出処理手段３８と、眼数決定処理手段３９と、確認用画像生成処理手段４０と、合成処理手段４１と、印刷処理手段４２とを含んで構成されている。

背景選択受付処理手段３１は、被写体１またはオペレータによる背景画像の選択、小道具画像の選択、および過去の被写体画像の選択を受け付ける処理を実行するものである。具体的には、背景選択受付処理手段３１は、背景画像記憶手段５１から各背景画像を取得し、取得した各背景画像を、図１０に示すように、操作用ディスプレイ７０の画面上に並べて縮小表示するとともに、被写体１またはオペレータによるタッチパネル７１からの入力信号を受信し、被写体１またはオペレータにより選択された背景画像（背景番号）を特定する処理を行う。

また、背景選択受付処理手段３１は、被写体１またはオペレータにより選択された背景画像に対応して用意された１つまたは複数の小道具画像を、小道具画像記憶手段５２Ｂから取得し、取得した小道具画像を、図１０に示した各背景画像の場合と同様に、操作用ディスプレイ７０の画面上に並べて縮小表示するとともに、被写体１またはオペレータによるタッチパネル７１からの入力信号を受信し、被写体１またはオペレータにより選択された小道具画像（小道具番号）を特定する処理を行う。本実施形態では、小道具画像を識別する小道具番号（小道具画像識別情報）に、背景画像を識別する背景番号（背景画像識別情報）を含ませることにより、背景画像と小道具画像とを関連付けている。例えば、背景番号＝１０１の背景画像（風景１）に対応する小道具画像には、小道具番号１０１−１（小道具１）、小道具番号１０１−２（小道具２）、小道具番号１０１−３（小道具３）…が付されている。なお、背景番号（背景画像識別情報）と小道具番号（小道具画像識別情報）との対応関係を定めるテーブルを作成してもよく、また、背景画像識別情報や小道具画像識別情報は、システムで付した番号ではなく、背景や小道具の名称等としてもよい。

さらに、背景選択受付処理手段３１は、被写体画像記憶手段５２Ａから、過去に撮影された各被写体画像を取得し、取得した過去の各被写体画像を、図１０に示すように、操作用ディスプレイ７０の画面上に並べて縮小表示するとともに、被写体１またはオペレータによるタッチパネル７１からの入力信号を受信し、被写体１またはオペレータにより選択された過去の被写体画像（被写体番号）を特定する処理を行う。なお、被写体番号（被写体画像識別情報）は、現在および過去の被写体を区別することなく付される。また、被写体画像識別情報は、システムで付した番号ではなく、被写体の名前や電話番号等としてもよい。

また、背景選択受付処理手段３１は、被写体１またはオペレータが背景画像や小道具画像を３ＤＣＧデータから自ら生成する旨の選択も受け付け、この場合には、背景用３ＤＣＧ番号と関連付けられて背景画像記憶手段５１に記憶されている背景用３ＤＣＧデータ、あるいは小道具用３ＤＣＧ番号と関連付けられて小道具画像記憶手段５２Ｂに記憶されている小道具用３ＤＣＧデータの選択メニューを操作用ディスプレイ７０の画面上に表示し、被写体１またはオペレータにより、いずれかの背景用３ＤＣＧデータまたは小道具用３ＤＣＧデータが選択されたときに、その選択された背景用３ＤＣＧデータまたは小道具用３ＤＣＧデータを識別する背景用３ＤＣＧ番号または小道具用３ＤＣＧ番号を、新規画像生成処理手段３６に引き渡す処理を行う。

配置位置入力受付処理手段３２は、被写体１またはオペレータによる背景画像への合成対象画像（現在撮影しようとしている被写体画像、過去に撮影された被写体画像、および小道具画像）の配置位置の入力を受け付ける処理を実行するものである。具体的には、配置位置入力受付処理手段３２は、被写体１またはオペレータにより選択された背景画像を、図１１に示すように、操作用ディスプレイ７０の画面上に表示するとともに、被写体１またはオペレータによるタッチパネル７１からの入力信号を受信し、受信した信号値から、入力指定された配置位置に対応する背景画像の部位（部位識別情報）を特定する処理を行う。なお、本実施形態では、背景画像の部位は、一例として、画素単位で捉え、部位識別情報は、画素を識別する座標値（ｘ，ｙ）とする。

撮影処理手段３３は、低解像度のカメラ１５によるリアルタイム確認表示用の撮影を行い、その撮影画像を一定時間置きに（例えば毎秒）繰り返して取り込むとともに、フットペダル１３が踏まれたときに、その信号を受信し、踏まれてから一定時間経過後（例えば５秒後等）に、低解像度のカメラ１５によるリアルタイム確認表示用の撮影を終了させ、高解像度のカメラ１４による本番撮影を行い、その撮影画像を取り込む処理を実行するものである。なお、複数台の高解像度のカメラ１４による本番撮影は、交差法により行うことが好ましいが、平行法でもよい。

被写体切出処理手段３４は、複数台の高解像度のカメラ１４、および低解像度のカメラ１５により撮影した被写体を含む各画像から、被写体を切り出して合成対象画像としての被写体画像を生成する処理を実行するものである。具体的には、被写体切出処理手段３４は、被写体１がブルーバックで撮影されているため、ブルーバックからの被写体１の撮像部分の切出処理を行う。このブルーバックからの切出処理は、クロマキー合成（ブルーバック合成）として公知の技術であり、特許庁のホームページの「資料室（その他参考情報）＞標準技術集＞ノンリニア編集＞３−２−４クロマキー」（http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/nle/nle-3-3-2.html）にも記載されている。

被写体サイズ算出処理手段３５は、被写体切出処理手段３４により切り出された被写体画像の画像サイズから、現在の被写体の原寸のサイズ情報（本実施形態では、現在の被写体が人間や動物であれば、その身長となり、物体であれば、その高さ寸法となる。）を自動算出する処理を実行するものである。具体的には、複数台の高解像度のカメラ１４、および低解像度のカメラ１５の設置位置と、被写体１が立つ床１２の位置とは、ほぼ固定されているため、どれぐらいの身長や高さ寸法を有する被写体が、何ピクセルで撮像されるのかを、予めキャリブレーションを行って把握しておく。例えば、キャリブレーションにおいて、身長Ｌ１メートル（原寸のサイズ）の被写体を撮影し、被写体切出処理手段３４により被写体を切り出すことにより、Ｑ１ピクセル（画像サイズ）の被写体画像が得られたとする。このとき、ある被写体を撮影し、被写体切出処理手段３４により被写体を切り出し、Ｑピクセル（画像サイズ）の被写体画像が得られたとすると、撮影した被写体の身長Ｌメートル（原寸のサイズ）は、Ｌ＝（Ｌ１／Ｑ１）×Ｑという式により算出することができる。（Ｌ１／Ｑ１）という比例係数は、身長の異なる多数のサンプル被写体を用いて収集したデータの平均値とすればよい。また、このように身長Ｌメートル（原寸のサイズ）とＱピクセル（画像サイズ）とを比例関係で捉えるのではなく、身長の異なる多数のサンプル被写体を用いて、Ｌ−Ｑの関係を定める非線形のキャリブレーションデータを作成しておき、このデータを用いてＱピクセル（画像サイズ）から被写体の身長Ｌメートル（原寸のサイズ）を算出するようにしてもよい。そして、（Ｌ１／Ｑ１）という比例係数、あるいはＬ−Ｑの関係を定める非線形のキャリブレーションデータは、被写体サイズ算出処理手段３５を実現するプログラム内に記述しておけばよいが、外出しのデータとしてもよい。

なお、被写体サイズ算出処理手段３５の代わりに、被写体１またはオペレータによる被写体１の原寸のサイズ情報（身長、高さ寸法）の入力を受け付ける処理を実行する被写体サイズ入力受付処理手段を設けてもよい。但し、被写体１またはオペレータの操作の手間を軽減するという観点からは、被写体サイズ算出処理手段３５を設けておくことが好ましい。

また、被写体サイズ算出処理手段３５は、算出した現在の被写体の原寸のサイズ情報を、自動付与した被写体番号と関連付けて被写体サイズ記憶手段５３Ａに記憶させる処理も行う。これにより、被写体サイズ記憶手段５３Ａに記憶された被写体の原寸のサイズ情報は、後に、過去の被写体の原寸のサイズ情報として使用することができるようになる。

新規画像生成処理手段３６は、被写体１またはオペレータが背景画像や小道具画像を３ＤＣＧデータから自ら生成することを選択し、背景選択受付処理手段３１によりその選択情報を受け付けたときに、被写体１またはオペレータの操作に従って３ＤＣＧデータをレンダリングして背景画像や小道具画像を生成する処理を実行するものである。

具体的には、新規画像生成処理手段３６は、被写体１またはオペレータにより背景用３ＤＣＧデータが選択され、背景選択受付処理手段３１から、選択された背景用３ＤＣＧデータを識別する背景用３ＤＣＧ番号を受け取った場合には、受け取った背景用３ＤＣＧ番号の背景用３ＤＣＧデータを用いて操作用ディスプレイ７０に、その背景用３ＤＣＧを表示し、被写体１またはオペレータによる背景用３ＤＣＧの回転操作等を受け付けることにより、背景用３ＤＣＧのアングルの指定を受け付け、指定されたアングルで、複数の仮想カメラにより多視点または２視点レンダリングを実行し、生成された多視点または２視点の背景用３ＤＣＧレンダリング画像を、自動付与した背景番号と関連付けて背景画像記憶手段５１に記憶させる処理を行う。また、新規画像生成処理手段３６は、代表視点（例えば、中央の視点）の背景用３ＤＣＧレンダリング画像についての奥行き情報の分布を示すマップ（本実施形態では、画素単位で分布を示すデプスマップ）を自動作成し、作成したデプスマップを、背景番号と関連付けて奥行き情報記憶手段５４に記憶させる処理も行う。さらに、新規画像生成処理手段３６は、奥行き情報と眼数との対応関係を定める眼数テーブルについて、被写体１またはオペレータによる設定入力を受け付け、あるいは標準の眼数テーブルを使用する旨の選択を受け付け、設定または選択された眼数テーブルを、背景番号と関連付けて眼数テーブル記憶手段５５に記憶させる処理も行う。そして、新規画像生成処理手段３６は、後述する合成対象画像倍率算出処理手段３８で使用する比例係数Ｄ２×（Ｑ２／Ｌ２）の値について、被写体１またはオペレータによる設定入力を受け付け、あるいは標準の比例係数の値を使用する旨の選択を受け付け、設定または選択された比例係数の値を、背景画像とともに、背景番号に関連付けて背景画像記憶手段５１に記憶させる処理も行う。

また、新規画像生成処理手段３６は、被写体１またはオペレータにより小道具用３ＤＣＧデータが選択され、背景選択受付処理手段３１から、選択された小道具用３ＤＣＧデータを識別する小道具用３ＤＣＧ番号を受け取った場合には、受け取った小道具用３ＤＣＧ番号の小道具用３ＤＣＧデータを用いて操作用ディスプレイ７０に、その小道具用３ＤＣＧを表示し、被写体１またはオペレータによる小道具用３ＤＣＧの回転操作等を受け付けることにより、小道具用３ＤＣＧのアングルの指定を受け付け、指定されたアングルで、複数の仮想カメラにより多視点または２視点レンダリングを実行し、生成された多視点または２視点の小道具用３ＤＣＧレンダリング画像を、自動付与した小道具番号と関連付けて小道具画像記憶手段５２Ｂに記憶させる処理を行う。また、新規画像生成処理手段３６は、被写体１またはオペレータによる小道具の原寸のサイズ情報の入力を受け付けるか、または小道具用３ＤＣＧデータとともに保持されていた小道具の原寸のサイズ情報を取得し、小道具の原寸のサイズ情報を、小道具番号と関連付けて小道具サイズ記憶手段５３Ｂに記憶させる処理も行う。

奥行き情報抽出処理手段３７は、被写体１またはオペレータにより選択された背景画像についての奥行き情報の分布を示すマップ（デプスマップ）を、背景番号をキーとして、奥行き情報記憶手段５４から抽出し、配置位置入力受付処理手段３２により受け付けた各配置位置（現在撮影しようとしている被写体画像の配置位置、過去に撮影された被写体画像の配置位置、および小道具画像の配置位置）に対応する背景画像の各部位（本実施形態では、各画素となる。）についての奥行き情報を、抽出した奥行き情報の分布を示すマップ（デプスマップ）から抽出する処理を実行するものである。

具体的には、奥行き情報記憶手段５４には、各背景画像毎に奥行き情報の分布を示すマップ（本実施形態では、画素単位で分布を示すデプスマップ）が記憶され、各マップには、背景画像の各部位（各画素）の並び順に従って奥行き情報が記憶されているので、奥行き情報抽出処理手段３７は、入力された各配置位置（現在撮影しようとしている被写体画像の配置位置、過去に撮影された被写体画像の配置位置、および小道具画像の配置位置）に対応する背景画像の各画素の座標値（ｘ、ｙ）から並び順の順番を算出し、算出した順番の位置に記憶されている奥行き情報を、奥行き情報記憶手段５４から抽出した当該背景画像（被写体１またはオペレータにより選択された背景画像）についての奥行き情報の分布を示すマップ（デプスマップ）から抽出する。なお、各マップにおいて、奥行き情報が、背景画像の各部位についての部位識別情報（各画素についての座標値（ｘ，ｙ））と関連付けて記憶されている場合には、奥行き情報抽出処理手段３７は、部位識別情報（座標値（ｘ，ｙ））をキーとして、当該背景画像についての奥行き情報の分布を示すマップ（デプスマップ）から、入力された各配置位置に対応する背景画像の各部位（各画素）についての奥行き情報を抽出する。

合成対象画像倍率算出処理手段３８は、奥行き情報抽出処理手段３７により抽出した奥行き情報（入力された現在の被写体画像の配置位置に対応する背景画像の部位についての奥行き情報）、および被写体サイズ算出処理手段３５により算出した現在の被写体の原寸のサイズ情報（身長、高さ寸法）を用いて、合成対象画像としての現在の被写体画像を背景画像に合成する際の現在の被写体画像の拡大または縮小の倍率を算出する処理を実行するものである。

また、合成対象画像倍率算出処理手段３８は、奥行き情報抽出処理手段３７により抽出した奥行き情報（入力された過去の被写体画像および小道具画像の各配置位置に対応する背景画像の各部位についての奥行き情報）、および合成対象サイズ記憶手段５３（被写体サイズ記憶手段５３Ａおよび小道具サイズ記憶手段５３Ｂ）に記憶された過去の被写体および小道具の原寸のサイズ情報（身長、高さ寸法）を用いて、合成対象画像（過去の被写体画像および小道具画像）を背景画像に合成する際の合成対象画像の拡大または縮小の倍率を算出する処理を行う。

具体的には、原寸のサイズ（身長、高さ寸法）がＬメートルの現在の被写体が撮影され、被写体切出処理手段３４により切り出された現在の被写体画像の画像サイズがＱピクセルであったとし、一方、背景画像の各部位のうち、奥行きＤ２の部位において、背景画像を構成する背景対象として原寸のサイズがＬ２メートルの物体等が、Ｑ２ピクセルで撮像されていたとする。このとき、撮影された被写体画像を、奥行きＤ２の部位に配置するとすれば、合成する際の被写体画像の画像サイズＱ３ピクセルは、Ｑ３＝（Ｑ２／Ｌ２）×Ｌという式で算出される。つまり、被写体画像は、Ｑ３／Ｑ＝（Ｑ２／Ｌ２）×（Ｌ／Ｑ）倍して合成される。なお、Ｄ２，Ｑ２，Ｌ２は想定値でもよく、例えば、被写体１とグラビアアイドルとが添い寝状態で写っている立体画像（図１８、図１９参照）を生成する場合に、背景画像中の比較的手前側の部位に、原寸のサイズが身長１．６８メートルのグラビアアイドル（小道具）を、横方向の画像サイズが３００ピクセルとなるように描きたい場合には、Ｄ２を背景画像中の比較的手前側の当該部位についての奥行きとし、Ｑ２を３００ピクセルとし、Ｌ２を１．６８メートルとすればよい。

そして、撮影された被写体画像を、奥行きＤ２の部位に配置するのではなく、より一般的に、奥行きＤの部位に配置するとすれば、合成する際の被写体画像の画像サイズＱ４ピクセルは、Ｑ４＝（Ｄ２／Ｄ）×Ｑ３という式で算出され、これに、Ｑ３＝（Ｑ２／Ｌ２）×Ｌを代入すると、Ｑ４＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×Ｌという式となる。従って、Ｄ２，Ｑ２，Ｌ２は予め定められている値であり、Ｄ２×（Ｑ２／Ｌ２）は定数であるから、奥行き情報抽出処理手段３７により抽出した奥行きＤ（現在の被写体画像の配置位置に対応する背景画像の部位についての奥行きＤ）と、被写体サイズ算出処理手段３５により算出した現在の被写体の原寸のサイズＬが与えられると、合成する際の被写体画像の画像サイズＱ４ピクセルが算出される。つまり、被写体画像は、Ｑ４／Ｑ＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×（Ｌ／Ｑ）倍して合成される。なお、この式で、ＤにＤ２を代入すれば、（Ｄ２／Ｄ）＝１となるので、Ｑ４／Ｑ＝（Ｑ２／Ｌ２）×（Ｌ／Ｑ）となり、前述したＱ３／Ｑの式と一致するので、Ｑ４／Ｑの式が、奥行きＤを用いて一般化されていることがわかる。

この際、被写体サイズ算出処理手段３５により、被写体の原寸のサイズＬメートルが、比例係数（Ｌ１／Ｑ１）を用いて、Ｌ＝（Ｌ１／Ｑ１）×Ｑという式により算出されていたとすれば、（Ｌ／Ｑ）の値は、一定値（Ｌ１／Ｑ１）となるので、被写体画像は、Ｑ４／Ｑ＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×（Ｌ１／Ｑ１）倍して合成されることになるので、カメラ１４，１５と被写体１の立つ場所との位置関係が固定されていれば、被写体サイズ算出処理手段３５により被写体の原寸のサイズＬメートルを算出しなくても、奥行きＤを与えるだけで、倍率は定まることになる。しかし、本実施形態では、同じ撮影状況（同じ装置）で撮影された現在の被写体画像および過去の被写体画像だけではなく、被写体画像とは異なる撮影状況で撮影され、あるいは３ＤＣＧデータをレンダリングして生成された小道具画像も背景画像に合成するので、小道具画像の倍率算出処理と同様な処理で被写体画像の倍率を算出することができるように、被写体サイズ算出処理手段３５により被写体の原寸のサイズＬメートルを算出している。

また、過去の被写体および小道具については、合成対象サイズ記憶手段５３（被写体サイズ記憶手段５３Ａおよび小道具サイズ記憶手段５３Ｂ）に記憶された過去の被写体および小道具の原寸のサイズがＬメートルであり、合成対象画像記憶手段５２（被写体画像記憶手段５２Ａおよび小道具画像記憶手段５２Ｂ）に記憶された合成対象画像（過去の被写体画像および小道具画像）の画像サイズがＱピクセルであるものとして、前述した現在の被写体の場合と同様の式により、合成する際の合成対象画像の画像サイズＱ４ピクセル、あるいは合成対象画像の倍率Ｑ４／Ｑが算出される。

なお、Ｑ４の式中、あるいはＱ４／Ｑの式中の比例係数Ｄ２×（Ｑ２／Ｌ２）の値は、各背景画像毎に定まるので、背景画像とともに、背景番号に関連付けて背景画像記憶手段５１に記憶させておけばよい。

眼数決定処理手段３９は、被写体１またはオペレータにより選択された背景画像についての眼数テーブル（背景画像の各部位の奥行き情報と合成対象画像の眼数との対応関係を定めるテーブル）を、背景番号をキーとして、眼数テーブル記憶手段５５から抽出し、奥行き情報抽出処理手段３７により抽出した奥行き情報に対応する合成対象画像（現在撮影しようとしている被写体画像、過去に撮影された被写体画像、および小道具画像）の眼数を、抽出した眼数テーブルから取得して決定する処理を実行するものである。なお、本実施形態では、各背景画像毎に眼数テーブルを用意しているが、各背景画像に共通化した眼数テーブルとする場合には、眼数テーブルを、眼数決定処理手段３９を実現するプログラム内に記述しておいてもよい。

確認用画像生成処理手段４０は、リアルタイム確認表示用の２Ｄ画像を定期的に繰り返し生成する処理と、確認表示用の立体画像を生成する処理とを、被写体１の操作によるフットペダル１３からの信号に基づき、切り替えて実行するとともに、生成したリアルタイム確認表示用の２Ｄ画像または確認表示用の立体画像を、確認用ディスプレイ８０に切り替えて表示する処理を実行するものである。

前者のリアルタイム確認表示用の２Ｄ画像を定期的に繰り返し生成する処理では、１眼の現在の被写体画像（２Ｄ画像）、１眼の過去の被写体画像（２Ｄ画像）、および１眼の小道具画像（２Ｄ画像）を、それぞれ合成対象画像倍率算出処理手段３８により算出した倍率で拡大または縮小した状態で、配置位置入力受付処理手段３２により受け付けた各配置位置に配置し、被写体１またはオペレータにより選択された１眼の背景画像（２Ｄ画像）に合成することにより、リアルタイム確認表示用の２Ｄ画像を定期的に繰り返し生成する。この際、１眼の現在の被写体画像（２Ｄ画像）は、確認表示専用のカメラである１台の低解像度のカメラ１５により撮影された現在の被写体を含む画像から被写体切出処理手段３４による切出処理を行って得られた画像である（図１５参照）。また、１眼の過去の被写体画像（２Ｄ画像）は、被写体画像記憶手段５２Ａに記憶された過去の被写体画像のうち、被写体１またはオペレータにより選択された過去の被写体画像（多視点または２視点の過去の被写体画像）の中から自動選択された代表視点（例えば、中央の視点）の画像である（図１７参照）。さらに、１眼の小道具画像（２Ｄ画像）は、小道具画像記憶手段５２Ｂに記憶された小道具画像のうち、被写体１またはオペレータにより選択された小道具画像（多視点または２視点の小道具用実写画像、あるいは多視点または２視点の小道具用３ＤＣＧレンダリング画像）の中から自動選択された代表視点（例えば、中央の視点）の画像である（図１６参照）。そして、１眼の背景画像（２Ｄ画像）は、背景画像記憶手段５１に記憶された背景画像のうち、被写体１またはオペレータにより選択された背景画像（多視点または２視点の背景用実写画像、あるいは多視点または２視点の背景用３ＤＣＧレンダリング画像）の中から自動選択された代表視点（例えば、中央の視点）の画像である（図１４参照）。

後者の確認表示用の立体画像を生成する処理では、２眼偏光式用の現在の被写体画像、２眼偏光式用の過去の被写体画像、および２眼偏光式用の小道具画像を、それぞれ合成対象画像倍率算出処理手段３８により算出した倍率で拡大または縮小した状態で、配置位置入力受付処理手段３２により受け付けた各配置位置に配置し、被写体１またはオペレータにより選択された背景画像（２眼偏光式用の背景画像）に合成することにより、確認表示用の立体画像として、２眼の偏光メガネ方式の立体画像を生成する。この際、２眼偏光式用の現在の被写体画像は、本番撮影用の複数台の高解像度のカメラ１４により撮影して得られた多視点または２視点の現在の被写体画像の中から自動選択された中央付近の２視点の画像を用いて、ｘｐｏｌ（マイクロポール）のパターンに合わせて生成される（図１５参照）。また、２眼偏光式用の過去の被写体画像は、被写体画像記憶手段５２Ａに記憶された過去の被写体画像のうち、被写体１またはオペレータにより選択された過去の被写体画像（多視点または２視点の過去の被写体画像）の中から自動選択された中央付近の２視点の画像を用いて、ｘｐｏｌ（マイクロポール）のパターンに合わせて生成される（図１７参照）。さらに、２眼偏光式用の小道具画像は、小道具画像記憶手段５２Ｂに記憶された小道具画像のうち、被写体１またはオペレータにより選択された小道具画像（多視点または２視点の小道具用実写画像、あるいは多視点または２視点の小道具用３ＤＣＧレンダリング画像）の中から自動選択された中央付近の２視点の画像を用いて、ｘｐｏｌ（マイクロポール）のパターンに合わせて生成される（図１６参照）。そして、２眼偏光式用の背景画像は、背景画像記憶手段５１に記憶された背景画像のうち、被写体１またはオペレータにより選択された背景画像（多視点または２視点の背景用実写画像、あるいは多視点または２視点の背景用３ＤＣＧレンダリング画像）の中から自動選択された中央付近の２視点の画像を用いて、ｘｐｏｌ（マイクロポール）のパターンに合わせて生成される（図１４参照）。なお、確認表示用の立体画像は、２眼の偏光メガネ方式の立体画像に限定されるものではなく、２眼の液晶シャッタ方式の立体画像でもよく、確認用ディスプレイ８０が多眼式ディスプレイである場合には、メガネが必要ない多眼の立体画像としてもよい。

合成処理手段４１は、眼数決定処理手段３９により決定した眼数の合成対象画像（現在および過去の被写体画像、並びに小道具画像）を生成し、生成した各合成対象画像を、配置位置入力受付処理手段３２により受け付けた各配置位置に配置し、被写体１またはオペレータにより選択された背景画像（予め定められた眼数の背景画像）に合成することにより、印刷用の立体画像を生成する処理を実行するものである。この際、合成して生成する印刷用の立体画像が、レンチキュラ用またはパララックスバリア用の立体画像である場合には、眼数決定処理手段３９により決定した眼数の現在の被写体画像は、本番撮影用の複数台の高解像度のカメラ１４により撮影して得られた多視点または２視点の現在の被写体画像から、それぞれ短冊状の画像を形成し、これらの短冊状の画像を横方向に並べて結合することにより、レンチキュラ用またはパララックスバリア用の画像として生成される（図１５参照）。また、眼数決定処理手段３９により決定した眼数の過去の被写体画像は、被写体画像記憶手段５２Ａに記憶された過去の被写体画像のうち、被写体１またはオペレータにより選択された過去の被写体画像（多視点または２視点の過去の被写体画像）から、それぞれ短冊状の画像を形成し、これらの短冊状の画像を横方向に並べて結合することにより、レンチキュラ用またはパララックスバリア用の画像として生成される（図１７参照）。さらに、眼数決定処理手段３９により決定した眼数の小道具画像は、小道具画像記憶手段５２Ｂに記憶された小道具画像のうち、被写体１またはオペレータにより選択された小道具画像（多視点または２視点の小道具用実写画像、または多視点または２視点の小道具用３ＤＣＧレンダリング画像）から、それぞれ短冊状の画像を形成し、これらの短冊状の画像を横方向に並べて結合することにより、レンチキュラ用またはパララックスバリア用の画像として生成される（図１６参照）。なお、予め定められた眼数の背景画像は、前処理（図２のステップＳ４）で予め生成されるか、または新規画像生成処理手段３６による処理（図４のステップＳ１２０６）で生成されて背景画像記憶手段５１に保存されている。

また、合成処理手段４１は、多視点または２視点の元画像から、レンチキュラ用またはパララックスバリア用の合成対象画像（現在および過去の被写体画像、並びに小道具画像）を生成する際には、合成対象画像倍率算出処理手段３８により算出した各倍率（現在の被写体画像の倍率、過去の被写体画像の倍率、および小道具画像の倍率）で画像を拡大または縮小する処理を行う。この際、元画像を拡大または縮小した後に、短冊状の画像を形成して横方向に並べて結合してもよく、あるいは元画像から短冊状の画像を形成して横方向に並べて結合した後に、拡大または縮小してもよい。

さらに、合成処理手段４１は、奥行き情報抽出処理手段３７により抽出した各奥行き情報（入力した現在の被写体画像の配置位置、過去の被写体画像の配置位置、小道具画像の配置位置に対応する背景画像の各部位についての奥行き情報）に応じたぼかし量で、合成対象画像（現在および過去の被写体画像、並びに小道具画像）をぼかした状態で、配置位置入力受付処理手段３２により受け付けた各配置位置に配置して被写体１またはオペレータにより選択された背景画像に合成する。なお、ぼかしの処理は、ガウス分布によるぼかし処理等の既存の処理を採用することができる。

そして、合成処理手段４１は、背景選択受付処理手段３１により、被写体１と、グラビアアイドルや過去に撮影した恋人や家族等とが、添い寝状態で写っている立体画像を生成するための背景画像（ベッド、畳、じゅうたん、布団等の画像）の選択を受け付けた場合には、撮影した被写体１が写っている現在の被写体画像、および過去に撮影した恋人や家族等が写っている過去の被写体画像を、９０度回転させた状態で、配置位置入力受付処理手段３２により受け付けた各配置位置に配置して被写体１またはオペレータにより選択された背景画像に合成する（図１８、図１９参照）。なお、グラビアアイドル等が写っている小道具画像は、別の撮影装置で横たわった状態で撮影されているので、本実施形態では、回転させないが、小道具画像も、９０度回転させた状態で、背景画像に合成するようにしてもよい。

また、合成処理手段４１は、生成した印刷用の立体画像を、印刷用立体画像番号と関連付けて印刷用立体画像記憶手段５６に記憶させる処理を行う。

印刷処理手段４２は、合成処理手段４１により生成した印刷用の立体画像を、印刷装置６０で印刷する処理を実行するものである。

背景画像記憶手段５１は、各映画（実写、コンピュータ・グラフィクスを含む。）の各シーン、風景等の各ロケーション、あるいは各ロケーションの各アングル等の背景画像を、前述した合成対象画像倍率算出処理手段３８で使用する比例係数Ｄ２×（Ｑ２／Ｌ２）の値とともに、背景番号と関連付けて記憶するものである。この背景画像記憶手段５１に記憶される背景画像には、複数台の実物カメラ（カメラ１４，１５とは異なるカメラ）で撮影された多視点または２視点（例えば、１４視点等）の背景用実写画像と、背景用３ＤＣＧデータを複数台の仮想カメラでレンダリングして得られた多視点または２視点（例えば、１４視点等）の背景用３ＤＣＧレンダリング画像とが含まれる（図１４参照）。また、背景画像記憶手段５１には、被写体１またはオペレータが自らの操作で背景画像を生成する場合に用いられる背景用３ＤＣＧデータも、背景用３ＤＣＧ番号と関連付けて記憶されている。

合成対象画像記憶手段５２は、図１に示すように、被写体画像記憶手段５２Ａと、小道具画像記憶手段５２Ｂとにより構成されている。

被写体画像記憶手段５２Ａは、ブルーバックで複数台の高解像度のカメラ１４により撮影された被写体を含む多視点または２視点（例えば、１４視点等）の実写画像から被写体切出処理手段３４による切出処理を行って得られた多視点または２視点（例えば、１４視点等）の被写体画像を、被写体番号と関連付けて記憶するものである（図１５、図１７参照）。この被写体画像記憶手段５２Ａには、過去の被写体画像および現在の被写体画像が区別することなく記憶される。なお、同時に撮影された人間や動物あるいは物体は、１つの被写体とみなされ、１つの被写体番号が付与されるので、例えば、２人で同時に写った場合や、犬とその飼い主とが同時に写った場合等は、１つの被写体とみなされる。

小道具画像記憶手段５２Ｂは、各背景画像に対応する１つまたは複数の小道具画像を、小道具番号と関連付けて記憶するものである。この小道具画像記憶手段５２Ｂに記憶される小道具画像には、複数台の実物カメラ（カメラ１４，１５とは異なるカメラ）で撮影された多視点または２視点（例えば、１４視点等）の小道具用実写画像と、小道具用３ＤＣＧデータを複数台の仮想カメラでレンダリングして得られた多視点または２視点（例えば、１４視点等）の小道具用３ＤＣＧレンダリング画像とが含まれる（図１６参照）。また、小道具画像記憶手段５２Ｂには、被写体１またはオペレータが自らの操作で小道具画像を生成する場合に用いられる小道具用３ＤＣＧデータも、小道具用３ＤＣＧ番号と関連付けて記憶されている。さらに、小道具画像には、例えば、アニメ映画に登場するキャラクタ、映画の原作者の肖像、背景となる風景の場所にいる動物等の画像が含まれる他、被写体１とグラビアアイドル等の小道具とが添い寝状態になっている立体画像（図１８、図１９参照）を生成する際に用いられる小道具画像としてのグラビアアイドル等の画像も含まれる。

合成対象サイズ記憶手段５３は、図１に示すように、被写体サイズ記憶手段５３Ａと、小道具サイズ記憶手段５３Ｂとにより構成されている。

被写体サイズ記憶手段５３Ａは、被写体サイズ算出処理手段３５により算出された被写体の原寸のサイズ情報（身長、高さ寸法）を、被写体番号と関連付けて記憶するものである。この被写体サイズ記憶手段５３Ａには、過去の被写体の原寸のサイズ情報および現在の被写体の原寸のサイズ情報が区別することなく記憶される。

小道具サイズ記憶手段５３Ｂは、小道具の原寸のサイズ情報（身長、高さ寸法）を、小道具番号と関連付けて記憶するものである。

奥行き情報記憶手段５４は、各背景画像毎に、背景画像の各部位についての奥行き情報の分布を示すマップを、背景番号と関連付けて記憶するものである。本実施形態では、一例として、奥行き情報の分布を示すマップは、背景画像の各画素についての奥行き情報の分布を示すデプスマップであるものとする。このデプスマップは、ビットマップデータの如く、背景画像の各画素の並び順に従って、各画素についての奥行き情報を並べて記憶しており、ヘッダーには、背景画像の縦のピクセル数と、横のピクセル数とが記憶されているので、画素（ｘ，ｙ）についての奥行き情報が、何番目に記憶されているのかが、わかるようになっている。また、本実施形態では、デプスマップを構成する各奥行き情報は、視点から対象物までの距離を相対的に示した値であり、例えば、０〜２５５までの数値である。

なお、奥行き情報記憶手段５４は、奥行き情報の分布を示すマップとして、例えば、（１，１），６７，（１，２），６８，（１，３），６６…のように、各画素の座標値と奥行き情報とを交互に記憶する等、奥行き情報を、部位識別情報（画素の座標値（ｘ，ｙ））と関連付けて記憶する構成としてもよい。

また、各背景画像についての奥行き情報の分布を示すマップは、背景画像記憶手段５１に記憶された多視点または２視点（例えば、１４視点等）の背景用実写画像、または多視点または２視点（例えば、１４視点等）の背景用３ＤＣＧレンダリング画像のうち、代表視点（例えば中央の視点）の画像についての奥行き情報の分布を示すマップとする。

眼数テーブル記憶手段５５は、背景画像の各部位についての奥行き情報と、各部位に配置される合成対象画像の眼数との対応関係を定める眼数テーブルを、背景番号と関連付けて記憶するものである。この眼数テーブルは、各背景画像毎に定められるものであるが、前述したように、被写体１またはオペレータが自らの操作で新規画像生成処理手段３６により背景用３ＤＣＧデータから背景画像を生成する場合には、当該背景画像についての眼数テーブルとして、標準の眼数テーブルを選択し、眼数テーブル記憶手段５５に記憶させてもよい。なお、標準の眼数テーブルは、新規画像生成処理手段３６を実現するプログラム内に記述しておいてもよく、外出しのデータとして記憶しておいてもよい。

合成対象画像の眼数（像数）の変化は、例えば、１４眼、７眼、４眼、２眼の４段階等とすることができ、背景画像が立体画像である場合には、１眼（２Ｄ）を加えて、１４眼、７眼、４眼、２眼、１眼（２Ｄ）の５段階等としてもよい。背景画像において、両眼の視差量が０になる部位についての奥行きをＤ０とすれば、入力された合成対象画像の配置位置に対応する背景画像の部位についての奥行きＤが、奥行きＤ０に近ければ、つまり視差量が０の近傍値になる部位では、眼数を多くして、例えば１４眼または７眼の合成対象画像を配置し、奥行きＤ０よりもマイナス側（奥行きＤ＝０寄りの側：視点側）またはプラス側（奥行きＤ＝２５５寄りの側）のどちらかに離れる程、つまり視差量が交差方向に大きくなる部位（手前に飛び出る部位）である程または同側方向に大きくなる部位（奥側に引っ込む部位）である程、眼数を少なくしていき、例えば４眼または２眼の合成対象画像を配置することができる。

また、視差量が交差方向に大きくなる部位（手前に飛び出る部位）である場合と、視差量が同側方向に大きくなる部位（奥側に引っ込む部位）である場合とで、眼数の変化を対称にする必要はなく、例えば、視差量が交差方向に大きくなっていくときには、比較的急激に眼数を減少させ、視差量が同側方向に大きくなっていくときには、比較的緩やかに眼数を減少させるようにしてもよい。より具体的には、例えば、奥行きＤ＝０〜３１の範囲は、眼数を２眼とし、奥行きＤ＝３２〜６３の範囲は、眼数を４眼とし、奥行きＤ＝６４〜９５の範囲は、眼数を７眼とし、奥行きＤ＝９６〜１２７の範囲は、眼数を１４眼とし、奥行きＤ＝１２８〜１５９の範囲は、眼数を７眼とし、奥行きＤ＝１６０〜１９１の範囲は、眼数を７眼とし、奥行きＤ＝１９２〜２２３の範囲は、眼数を４眼とし、奥行きＤ＝２２４〜２５５の範囲は、眼数を４眼とする等のように、奥行きＤの各範囲に対して、眼数を設定すればよい。

印刷用立体画像記憶手段５６は、合成処理手段４１により生成された印刷用の立体画像を、印刷用立体画像番号と関連付けて記憶するものである。

そして、以上において、処理手段３０に含まれる各処理手段３１〜４２は、コンピュータ本体２０の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。

また、各記憶手段５１〜５６は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。

さらに、処理手段３０は、１台のコンピュータまたは１つのＣＰＵにより実現されるものに限定されず、複数台のコンピュータまたは複数のＣＰＵによる分散処理で実現してもよい。

操作用ディスプレイ７０およびタッチパネル７１は、一体化されたタッチパネルディスプレイを構成し、被写体１またはオペレータの操作用の表示を行うとともに、タッチパネル７１で入力操作を受け付けるものである。なお、操作用ディスプレイ７０およびタッチパネル７１は、本実施形態では、被写体１が、１人で自己の撮影をしながら入力操作を行うことができるようになっているが、オペレータ専用の操作用ディスプレイ７０およびタッチパネル７１（マウスやキーボード等、タッチパネル７１以外の入力手段でもよい。）を別途に設けてもよく、あるいは被写体１は操作せず、オペレータのみが操作することを前提とした操作用ディスプレイ７０およびタッチパネル７１（マウスやキーボード等、タッチパネル７１以外の入力手段でもよい。）を設けてもよい。

確認用ディスプレイ８０は、リアルタイム確認表示用の２Ｄ画像の表示と、確認表示用の２眼の偏光メガネ方式の立体画像の表示とを、被写体１の操作によるフットペダル１３からの信号に基づき、切り替えて行うものであり、後者の２眼の偏光メガネ方式の立体画像の表示を可能とするため、ｘｐｏｌ（マイクロポール）を備えている。前者のリアルタイム確認表示用の２Ｄ画像の表示は、被写体１が動きながらポーズを決める際に行われるが、立体画像ではないため、メガネをかけることなく見ることができる。一方、後者の確認表示用の２眼の偏光メガネ方式の立体画像の表示は、被写体１がポーズを決めてから本番撮影をした後に行われ、偏光メガネをかけて観察することができる。なお、本番撮影時は、メガネはしていない。なお、確認用ディスプレイ８０は、本実施形態では、被写体１が、撮影時から印刷時まで自ら合成状態を確認することができるようになっているが、オペレータ専用の確認用ディスプレイ８０を別途に設けてもよく、あるいは被写体１が自ら確認することはせず、オペレータのみが確認することを前提とした表示を行う確認用ディスプレイ８０を設けてもよい。

このような本実施形態においては、以下のようにして立体画像生成装置１０を用いて、被写体の撮影、並びに立体画像の生成および印刷が行われる。

図２において、先ず、被写体の撮影、並びに立体画像の生成および印刷を行うために必要なデータを準備するための前処理を開始する（ステップＳ１）。

各映画の各シーン、風景等の各ロケーション、あるいは各ロケーションの各アングルについて、それぞれ複数台の実物カメラで撮影された多視点または２視点（例えば、１４視点等）の背景用実写画像を用意し（図１４参照）、背景番号と関連付けて背景画像記憶手段５１に保存する（ステップＳ２）。なお、背景画像の撮影は、交差法だと遠景を融像させるのが困難であるため、平行法を用いることが好ましい。また、代表視点（例えば、１４視点中の７番目または８番目の視点）の背景用実写画像についての奥行き情報の分布を示すマップ（デプスマップ）を作成し、背景番号と関連付けて奥行き情報記憶手段５４に保存する（ステップＳ２）。さらに、眼数テーブルを作成し、背景番号と関連付けて眼数テーブル情報記憶手段５５に保存する（ステップＳ２）。そして、前述した合成対象画像倍率算出処理手段３８で使用する比例係数Ｄ２×（Ｑ２／Ｌ２）の値を定め、背景用実写画像とともに、背景番号と関連付けて背景画像記憶手段５１に保存する（ステップＳ２）。

続いて、コンピュータ・グラフィクス用のソフトウェアを用いて、各背景用３ＤＣＧデータ、あるいは各背景用３ＤＣＧデータの各アングルについて、それぞれ複数の仮想カメラで多視点または２視点レンダリングを実行して多視点または２視点（例えば、１４視点等）の背景用３ＤＣＧレンダリング画像を生成し（図１４参照）、背景番号と関連付けて背景画像記憶手段５１に保存する（ステップＳ３）。この背景用３ＤＣＧレンダリング画像は、ＢＭＰイメージデータ、あるいはＪＰＧイメージデータ等である。また、代表視点（例えば、１４視点中の７番目または８番目の視点）の背景用３ＤＣＧレンダリング画像についての奥行き情報の分布を示すマップ（デプスマップ）を作成し、背景番号と関連付けて奥行き情報記憶手段５４に保存する（ステップＳ３）。さらに、眼数テーブルを作成し、背景番号と関連付けて眼数テーブル情報記憶手段５５に保存する（ステップＳ３）。そして、前述した合成対象画像倍率算出処理手段３８で使用する比例係数Ｄ２×（Ｑ２／Ｌ２）の値を定め、背景用３ＤＣＧレンダリング画像とともに、背景番号と関連付けて背景画像記憶手段５１に保存する（ステップＳ３）。

それから、各背景画像について、多視点または２視点（例えば、１４視点等）の背景用実写画像、あるいは多視点または２視点（例えば、１４視点等）の背景用３ＤＣＧレンダリング画像から、それぞれ短冊状の画像を生成し、これらの短冊状の画像を横方向に並べて結合することにより、多眼または２眼の一枚の印刷用（レンチキュラ用またはパララックスバリア用）の背景画像を生成し（図１４参照）、背景番号と関連付けて背景画像記憶手段５１に保存する（ステップＳ４）。この印刷用（レンチキュラ用またはパララックスバリア用）の背景画像は、ＢＭＰイメージデータ、あるいはＪＰＧイメージデータ等である。背景画像については、合成対象画像とは異なり、１種類の眼数の印刷用（レンチキュラ用またはパララックスバリア用）の背景画像を用意する。なお、用意する１種類の眼数は、比較的大きい眼数、例えば、１４眼や７眼等が好ましい。具体的には、ステップＳ２，Ｓ３で、例えば、１４視点の背景用実写画像Ｈ１〜Ｈ１４または背景用３ＤＣＧレンダリング画像Ｈ１〜Ｈ１４が生成されている場合（図１４参照）には、例えば、１４視点の元画像Ｈ１〜Ｈ１４の全てを用いて、１４眼の印刷用（レンチキュラ用またはパララックスバリア用）の背景画像を生成し、ステップＳ２，Ｓ３で、例えば、７視点の背景用実写画像または背景用３ＤＣＧレンダリング画像が生成されている場合には、例えば、７視点の元画像の全てを用いて、７眼の印刷用（レンチキュラ用またはパララックスバリア用）の背景画像を生成する。

次に、各映画の各シーン、風景等の各ロケーション、あるいは各背景用３ＤＣＧデータに対応させて、それぞれ複数台の実物カメラで撮影された多視点または２視点（例えば、１４視点等）の小道具用実写画像を用意し（図１６参照）、小道具番号と関連付けて小道具画像記憶手段５２Ｂに保存する（ステップＳ５）。また、小道具の原寸のサイズ情報を入力し、小道具番号と関連付けて小道具サイズ記憶手段５３Ｂに保存する保存する（ステップＳ５）。

続いて、各映画の各シーン、風景等の各ロケーション、あるいは各背景用３ＤＣＧデータに対応させて、それぞれ小道具用３ＤＣＧデータを用意し、コンピュータ・グラフィクス用のソフトウェアを用いて、用意した小道具用３ＤＣＧの各アングルについて、それぞれ複数の仮想カメラで多視点または２視点レンダリングを実行して多視点または２視点（例えば、１４視点等）の小道具用３ＤＣＧレンダリング画像を生成し（図１６参照）、小道具番号と関連付けて小道具画像記憶手段５２Ｂに保存する（ステップＳ６）。この小道具用３ＤＣＧレンダリング画像は、ＢＭＰイメージデータ、あるいはＪＰＧイメージデータ等である。また、小道具の原寸のサイズ情報を入力し、小道具番号と関連付けて小道具サイズ記憶手段５３Ｂに保存する保存する（ステップＳ６）。

ここで、小道具画像について、背景画像と合成する際に、視差量調整等を行わない場合には、ステップＳ５，Ｓ６で生成した多視点または２視点（例えば、１４視点等）の小道具用実写画像または小道具用３ＤＣＧレンダリング画像から、複数種類の眼数の印刷用の小道具画像を予め生成し、小道具番号と関連付けて小道具画像記憶手段５２Ｂに保存しておいてもよく、そのようにすれば撮影から印刷までの処理時間を短縮することができる。具体的には、ステップＳ５，Ｓ６で、例えば、１４視点の小道具用実写画像Ｋ１〜Ｋ１４または小道具用３ＤＣＧレンダリング画像Ｋ１〜Ｋ１４が生成されている場合（図１６参照）には、例えば、１４眼、７眼、４眼、２眼の合計４種類の眼数の印刷用（レンチキュラ用またはパララックスバリア用）の小道具画像を生成することができる。この際、１４眼の印刷用の小道具画像は、１４視点の元画像Ｋ１〜Ｋ１４の全てを用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、７眼の印刷用の小道具画像は、例えば、１４視点のうちの７視点の元画像（Ｋ１，Ｋ３，Ｋ５，Ｋ７，Ｋ９，Ｋ１１，Ｋ１３）または（Ｋ２，Ｋ４，Ｋ６，Ｋ８，Ｋ１０，Ｋ１２，Ｋ１４）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、４眼の印刷用の小道具画像は、例えば、１４視点のうちの４視点の元画像（Ｋ５，Ｋ７，Ｋ９，Ｋ１１）または（Ｋ４，Ｋ６，Ｋ８，Ｋ１０）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、２眼の印刷用の小道具画像は、例えば、１４視点のうちの２視点の元画像（Ｋ７，Ｋ１１）または（Ｋ８，Ｋ１０）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができる。そして、背景画像が立体画像である場合には、これらに、１眼（２Ｄ）の印刷用の小道具画像を加えてもよく、その場合には、１４眼、７眼、４眼、２眼、１眼（２Ｄ）の合計５種類の眼数の印刷用の小道具画像を用意することができる。

また、同様にして、ステップＳ５，Ｓ６で、例えば、７視点の小道具用実写画像または小道具用３ＤＣＧレンダリング画像が生成されている場合には、例えば、７眼、４眼、２眼の合計３種類（１眼（２Ｄ）を加えれば合計４種類）の眼数の印刷用の小道具画像を用意することができ、ステップＳ５，Ｓ６で、例えば、４視点の小道具用実写画像または小道具用３ＤＣＧレンダリング画像が生成されている場合には、例えば、４眼、２眼の合計２種類（１眼（２Ｄ）を加えれば合計３種類）の眼数の印刷用の小道具画像を用意することができ、ステップＳ５，Ｓ６で、例えば、２視点の小道具用実写画像または小道具用３ＤＣＧレンダリング画像が生成されている場合には、１眼（２Ｄ）を加えれば、２眼、１眼（２Ｄ）の合計２種類の眼数の印刷用の小道具画像を用意することができる。なお、本実施形態では、小道具画像について、背景画像と合成する際に、視差量調整等を行うことにしているため、印刷用の小道具画像の生成は、後述する図９のステップＳ２１０４の処理で行っている。

以上で、前処理を終了する（ステップＳ７）。

図３において、先ず、処理手段３０を実現するプログラムを立ち上げ、被写体の撮影から立体画像の印刷までの一連の処理を開始する（ステップＳ１１）。

続いて、被写体１またはオペレータによる背景画像の選択を受け付けるか、あるいは被写体１またはオペレータの指示操作に基づき背景画像を生成する処理を行う（ステップＳ１２：図４のＳ１２０１〜Ｓ１２０６）。

図４において、背景選択受付処理手段３１により、背景画像記憶手段５１から各背景画像を取得し、取得した各背景画像を、図１０に示すように、操作用ディスプレイ７０の画面上に並べて縮小表示する。この中には、被写体１とグラビアアイドル等の小道具とが添い寝状態になっている立体画像（図１８、図１９参照）を生成する際に用いられる背景画像も含まれる。そして、被写体１またはオペレータは、所望の背景画像を選択するためのタッチ操作を行う。すると、背景選択受付処理手段３１により、タッチパネル７１からの入力信号が受信され、被写体１またはオペレータにより選択された背景画像（背景番号）が特定される（ステップＳ１２０１）。ここでは、背景番号＝１０１の背景画像（風景１）が選択されたものとする。

また、被写体１またはオペレータは、操作用ディスプレイ７０の画面上で、背景画像を自らの操作で背景用３ＤＣＧデータから生成する旨の選択も行うことができ、この場合には、背景選択受付処理手段３１により、背景画像記憶手段５１に記憶されている背景用３ＤＣＧデータの選択メニューを操作用ディスプレイ７０の画面上に表示する。そして、被写体１またはオペレータは、所望の背景用３ＤＣＧデータを選択するためのタッチ操作を行う。すると、背景選択受付処理手段３１により、タッチパネル７１からの入力信号が受信され、被写体１またはオペレータにより選択された背景用３ＤＣＧデータ（背景用３ＤＣＧ番号）が特定される（ステップＳ１２０１）。

続いて、背景選択受付処理手段３１により背景用３ＤＣＧデータの選択を受け付けたか否かを判断し（ステップＳ１２０２）、背景用３ＤＣＧデータの選択を受け付けていない場合、すなわち背景画像を自らの操作で生成する旨の選択ではなく、既に用意されている背景画像が選択された場合には、次のステップＳ１３の処理に移る。一方、背景選択受付処理手段３１により背景用３ＤＣＧデータの選択を受け付けた場合には、背景選択受付処理手段３１から新規画像生成処理手段３６へ背景用３ＤＣＧ番号を引き渡し、新規画像生成処理手段３６により、背景選択受付処理手段３１から受け取った背景用３ＤＣＧ番号の背景用３ＤＣＧデータを背景画像記憶手段５１から読み込み、読み込んだ背景用３ＤＣＧデータを用いて操作用ディスプレイ７０の画面上に、その背景用３ＤＣＧを表示する（ステップＳ１２０３）。

それから、新規画像生成処理手段３６により、被写体１またはオペレータによる背景用３ＤＣＧの回転操作等を受け付けることにより、背景用３ＤＣＧのアングルの指定を受け付ける（ステップＳ１２０４）。

続いて、新規画像生成処理手段３６により、指定されたアングルで、複数の仮想カメラにより多視点または２視点レンダリングを実行して多視点または２視点（例えば、１４視点等）の背景用３ＤＣＧレンダリング画像を生成し（図１４参照）、自動付与した背景番号と関連付けて背景画像記憶手段５１に保存する（ステップＳ１２０５）。この背景用３ＤＣＧレンダリング画像は、ＢＭＰイメージデータ、あるいはＪＰＧイメージデータ等である。

また、新規画像生成処理手段３６により、代表視点（例えば、１４視点のうち、第７番目または第８番目の視点）の背景用３ＤＣＧレンダリング画像についての奥行き情報の分布を示すマップ（本実施形態では、画素単位で分布を示すデプスマップ）を自動作成し、作成したデプスマップを、背景番号と関連付けて奥行き情報記憶手段５４に保存する（ステップＳ１２０５）。

さらに、新規画像生成処理手段３６により、奥行き情報と眼数との対応関係を定める眼数テーブルについて、被写体１またはオペレータによる設定入力を受け付け、あるいは標準の眼数テーブルを使用する旨の選択を受け付け、設定または選択された眼数テーブルを、背景番号と関連付けて眼数テーブル記憶手段５５に保存する（ステップＳ１２０５）。

そして、新規画像生成処理手段３６により、前述した合成対象画像倍率算出処理手段３８で使用する比例係数Ｄ２×（Ｑ２／Ｌ２）の値について、被写体１またはオペレータによる設定入力を受け付け、あるいは標準の比例係数の値を使用する旨の選択を受け付け、設定または選択された比例係数の値を、背景画像とともに、背景番号に関連付けて背景画像記憶手段５１に保存する（ステップＳ１２０５）。

それから、新規画像生成処理手段３６により、前述したステップＳ４の処理と同様に、多視点または２視点（例えば、１４視点等）の背景用３ＤＣＧレンダリング画像から、それぞれ短冊状の画像を生成し、これらの短冊状の画像を横方向に並べて結合することにより、多眼または２眼の一枚の印刷用（レンチキュラ用またはパララックスバリア用）の背景画像を生成し（図１４参照）、背景番号と関連付けて背景画像記憶手段５１に保存する（ステップＳ１２０６）。この印刷用（レンチキュラ用またはパララックスバリア用）の背景画像は、ＢＭＰイメージデータ、あるいはＪＰＧイメージデータ等である。

次に、図３に示すように、被写体１またはオペレータによる小道具画像の選択を受け付けるか、あるいは被写体１またはオペレータの指示操作に基づき小道具画像を生成する処理を行う（図３のステップＳ１３：図５のＳ１３０１〜Ｓ１３０５）。

図５において、背景選択受付処理手段３１により、被写体１またはオペレータにより選択された既存の背景画像についての背景番号、または背景用３ＤＣＧデータについての背景用３ＤＣＧ番号に基づき、選択された既存の背景画像または背景用３ＤＣＧデータに対応する各小道具画像についての小道具番号を把握する。本実施形態では、小道具番号に、背景番号または背景用３ＤＣＧ番号を含ませることにより、この対応関係を定めている。そして、背景選択受付処理手段３１により、把握した小道具番号に基づき、小道具画像記憶手段５２Ｂから、選択された既存の背景画像または背景用３ＤＣＧデータに対応する各小道具画像を取得し、取得した各小道具画像を、図１０に示した背景画像の場合と同様に、操作用ディスプレイ７０の画面上に並べて縮小表示する。この中には、被写体１とグラビアアイドル等の小道具とが添い寝状態になっている立体画像（図１８、図１９参照）を生成する際に用いられる小道具画像としてのグラビアアイドル等の画像も含まれる。そして、被写体１またはオペレータは、所望の小道具画像を選択するためのタッチ操作を行う。すると、背景選択受付処理手段３１により、タッチパネル７１からの入力信号が受信され、被写体１またはオペレータにより選択された小道具画像（小道具番号）が特定される（ステップＳ１３０１）。ここでは、背景番号＝１０１の背景画像（風景１）に対応して用意された小道具番号＝１０１−１の小道具画像（小道具１）が選択されたものとする。

また、被写体１またはオペレータは、操作用ディスプレイ７０の画面上で、小道具画像を自らの操作で小道具用３ＤＣＧデータから生成する旨の選択も行うことができ、この場合には、背景選択受付処理手段３１により、小道具画像記憶手段５２Ｂに記憶されている小道具用３ＤＣＧデータの選択メニューを操作用ディスプレイ７０の画面上に表示する（ステップＳ１３０１）。この際、選択メニューに表示される小道具用３ＤＣＧデータは、被写体１またはオペレータにより選択された既存の背景画像または背景用３ＤＣＧデータに対応して用意された小道具用３ＤＣＧデータであり、この表示は、被写体１またはオペレータにより選択された既存の背景画像についての背景番号、または背景用３ＤＣＧデータについての背景用３ＤＣＧ番号に基づき、当該小道具用３ＤＣＧデータについての小道具用３ＤＣＧ番号を把握することにより実現される。本実施形態では、小道具用３ＤＣＧ番号に、背景番号または背景用３ＤＣＧ番号を含ませることにより、この対応関係を定めている。

そして、被写体１またはオペレータは、所望の小道具用３ＤＣＧデータを選択するためのタッチ操作を行う。すると、背景選択受付処理手段３１により、タッチパネル７１からの入力信号が受信され、被写体１またはオペレータにより選択された小道具用３ＤＣＧデータ（小道具用３ＤＣＧ番号）が特定される（ステップＳ１３０１）。

続いて、背景選択受付処理手段３１により小道具用３ＤＣＧデータの選択を受け付けたか否かを判断し（ステップＳ１３０２）、小道具用３ＤＣＧデータの選択を受け付けていない場合、すなわち小道具画像を自らの操作で生成する旨の選択ではなく、既に用意されている小道具画像が選択された場合には、次のステップＳ１４の処理に移る。一方、背景選択受付処理手段３１により小道具用３ＤＣＧデータの選択を受け付けた場合には、背景選択受付処理手段３１から新規画像生成処理手段３６へ小道具用３ＤＣＧ番号を引き渡し、新規画像生成処理手段３６により、背景選択受付処理手段３１から受け取った小道具用３ＤＣＧ番号の小道具用３ＤＣＧデータを小道具画像記憶手段５２Ｂから読み込み、読み込んだ小道具用３ＤＣＧデータを用いて操作用ディスプレイ７０の画面上に、その小道具用３ＤＣＧを表示する（ステップＳ１３０３）。

それから、新規画像生成処理手段３６により、被写体１またはオペレータによる小道具用３ＤＣＧの回転操作等を受け付けることにより、小道具用３ＤＣＧのアングルの指定を受け付ける（ステップＳ１３０４）。

続いて、新規画像生成処理手段３６により、指定されたアングルで、複数の仮想カメラにより多視点または２視点レンダリングを実行して多視点または２視点（例えば、１４視点等）の小道具用３ＤＣＧレンダリング画像を生成し（図１６参照）、自動付与した小道具番号と関連付けて小道具画像記憶手段５２Ｂに保存する（ステップＳ１３０５）。この小道具用３ＤＣＧレンダリング画像は、ＢＭＰイメージデータ、あるいはＪＰＧイメージデータ等である。

また、新規画像生成処理手段３６により、被写体１またはオペレータによる小道具の原寸のサイズ情報の入力を受け付けるか、または小道具用３ＤＣＧデータとともに保持されていた小道具の原寸のサイズ情報を取得し、小道具の原寸のサイズ情報を、小道具番号と関連付けて小道具サイズ記憶手段５３Ｂに保存する（ステップＳ１３０５）。

ここで、小道具画像について、背景画像と合成する際に、視差量調整等を行わない場合には、ステップＳ１３０５で生成した多視点または２視点（例えば、１４視点等）の小道具用３ＤＣＧレンダリング画像から、複数種類の眼数の印刷用の小道具画像を予め生成し、小道具番号と関連付けて小道具画像記憶手段５２Ｂに保存しておいてもよく、そのようにすれば撮影から印刷までの処理時間を短縮することができる。この点は、図２に示した前処理におけるステップＳ５，Ｓ６の処理後の説明で述べたことと同様である。なお、本実施形態では、小道具画像について、背景画像と合成する際に、視差量調整等を行うことにしているため、印刷用の小道具画像の生成は、後述する図９のステップＳ２１０４の処理で行っている。

その後、図３に示すように、被写体１またはオペレータによる過去の被写体画像の選択を受け付ける（図３のステップＳ１４）。すなわち、背景選択受付処理手段３１により、被写体画像記憶手段５２Ａから、過去に撮影された各被写体画像を取得し、取得した各被写体画像を、図１０に示した背景画像の場合と同様に、操作用ディスプレイ７０の画面上に並べて縮小表示する。この中には、これから撮影しようとしている現在の被写体１と過去の被写体（例えば、過去に撮影した恋人や家族等）とが添い寝状態になっている立体画像（図１８、図１９において、グラビアアイドルの代わりに、過去の被写体を配置した状態の立体画像）を生成する際に用いられる過去の被写体画像も含まれる。そして、被写体１またはオペレータは、所望の過去の被写体画像を選択するためのタッチ操作を行う。すると、背景選択受付処理手段３１により、タッチパネル７１からの入力信号が受信され、被写体１またはオペレータにより選択された過去の被写体画像（被写体番号）が特定される。ここでは、被写体番号＝１の被写体画像（ギターを持った若者の画像）が選択されたものとする。

次に、図３に示すように、被写体１またはオペレータによる現在および過去の被写体画像並びに小道具画像の各配置位置の入力を受け付け、入力された各配置位置に対応する背景画像の各部位についての奥行き情報を取得し、過去の被写体および小道具の原寸のサイズ情報を取得し、背景画像に過去の被写体画像および小道具画像を合成する際の各倍率を算出する処理を行う（図３のステップＳ１５：図６のステップＳ１５０１〜Ｓ１５０４）。

図１５において、配置位置入力受付処理手段３２により、被写体１またはオペレータにより選択された背景画像を、図１１に示すように、操作用ディスプレイ７０の画面上に表示する（ステップＳ１５０１）。被写体１またはオペレータは、システムによる音声案内等に従って、操作用ディスプレイ７０に画面表示されている背景画像上で、現在撮影しようとしている被写体１の被写体画像を配置する配置位置（例えば、被写体１である人間の２足の中心位置）を入力するためのタッチ操作を行う。すると、配置位置入力受付処理手段３２により、被写体１またはオペレータによるタッチパネル７１からの入力信号が受信され、受信した信号値から、入力指定された配置位置に対応する背景画像の部位（本実施形態では、画素を識別する座標値（ｘ，ｙ））が特定されるとともに、操作用ディスプレイ７０に画面表示されている背景画像上において、特定された部位（座標値（ｘ，ｙ））に、入力指定された現在の被写体画像の配置位置を示すマーク（例えば、図１１中の黒い丸印のマーク１０５）が表示される（ステップＳ１５０１）。

また、同様にして、被写体１またはオペレータは、システムによる音声案内等に従って、操作用ディスプレイ７０に画面表示されている背景画像上で、選択した過去の被写体画像を配置する配置位置（例えば、過去の被写体である人間の２足の中心位置）を入力するためのタッチ操作を行う。すると、配置位置入力受付処理手段３２により、被写体１またはオペレータによるタッチパネル７１からの入力信号が受信され、受信した信号値から、入力指定された配置位置に対応する背景画像の部位（座標値（ｘ，ｙ））が特定されるとともに、操作用ディスプレイ７０に画面表示されている背景画像上において、特定された部位（座標値（ｘ，ｙ））に、入力指定された過去の被写体画像の配置位置を示すマーク（例えば、図１１中の黒い四角印のマーク１０６）が表示される（ステップＳ１５０１）。

さらに、同様にして、被写体１またはオペレータは、システムによる音声案内等に従って、操作用ディスプレイ７０に画面表示されている背景画像上で、選択した小道具画像を配置する配置位置（例えば、小道具である動物の４足の中心位置）を入力するためのタッチ操作を行う。すると、配置位置入力受付処理手段３２により、被写体１またはオペレータによるタッチパネル７１からの入力信号が受信され、受信した信号値から、入力指定された配置位置に対応する背景画像の部位（座標値（ｘ，ｙ））が特定されるとともに、操作用ディスプレイ７０に画面表示されている背景画像上において、特定された部位（座標値（ｘ，ｙ））に、入力指定された小道具画像の配置位置を示すマーク（例えば、図１１中の黒い三角印のマーク１０７）が表示される（ステップＳ１５０１）。

続いて、奥行き情報抽出処理手段３７により、被写体１またはオペレータにより選択された背景画像についての背景番号をキーとして、奥行き情報記憶手段５４から、選択された背景画像についての奥行き情報の分布を示すマップ（デプスマップ）を抽出する（ステップＳ１５０２）。そして、奥行き情報抽出処理手段３７により、配置位置入力受付処理手段３２により受け付けた各配置位置（現在撮影しようとしている被写体画像の配置位置、過去に撮影された被写体画像の配置位置、および小道具画像の配置位置）に対応する背景画像の各部位（座標値（ｘ，ｙ））についての奥行き情報を、奥行き情報の分布を示すマップ（デプスマップ）から抽出する（ステップＳ１５０２）。

それから、合成対象画像倍率算出処理手段３８により、被写体１またはオペレータにより選択された過去の被写体画像についての被写体番号をキーとして、被写体サイズ記憶手段５３Ａから、選択された過去の被写体画像に写っている過去の被写体の原寸のサイズ情報を取得する（ステップＳ１５０３）。また、合成対象画像倍率算出処理手段３８により、被写体１またはオペレータにより選択された小道具画像についての小道具番号をキーとして、小道具サイズ記憶手段５３Ｂから、選択された小道具画像に写っている小道具の原寸のサイズ情報を取得する（ステップＳ１５０３）。さらに、合成対象画像倍率算出処理手段３８により、被写体１またはオペレータにより選択された背景画像についての背景番号をキーとして、背景画像記憶手段５１から、選択された背景画像についての比例係数Ｄ２×（Ｑ２／Ｌ２）の値を取得する（ステップＳ１５０３）。

続いて、合成対象画像倍率算出処理手段３８により、奥行き情報抽出処理手段３７により抽出した過去の被写体画像の配置位置に対応する背景画像の部位についての奥行き情報（奥行きの値をＤとする。）と、被写体サイズ記憶手段５３Ａから取得した過去の被写体の原寸のサイズ情報（身長をＬメートルとする。）と、背景画像記憶手段５１から取得した比例係数Ｄ２×（Ｑ２／Ｌ２）の値とを用いて、前述したＱ４＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×Ｌという式により、合成する際の過去の被写体画像の画像サイズＱ４ピクセルを算出する（ステップＳ１５０４）。あるいは、被写体画像記憶手段５２Ａに記憶されている過去の被写体画像の画像サイズ（身長の方向がＱピクセルとする。）を用いて、前述したＱ４／Ｑ＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×（Ｌ／Ｑ）という式により、合成する際の過去の被写体画像の倍率Ｑ４／Ｑを算出する（ステップＳ１５０４）。

また、合成対象画像倍率算出処理手段３８により、奥行き情報抽出処理手段３７により抽出した小道具画像の配置位置に対応する背景画像の部位についての奥行き情報（奥行きの値をＤとする。）と、小道具サイズ記憶手段５３Ｂから取得した小道具の原寸のサイズ情報（高さ寸法をＬメートルとする。）と、背景画像記憶手段５１から取得した比例係数Ｄ２×（Ｑ２／Ｌ２）の値とを用いて、前述したＱ４＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×Ｌという式により、合成する際の小道具画像の画像サイズＱ４ピクセルを算出する（ステップＳ１５０４）。あるいは、小道具画像記憶手段５２Ｂに記憶されている小道具画像の画像サイズ（高さ方向がＱピクセルとする。）を用いて、前述したＱ４／Ｑ＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×（Ｌ／Ｑ）という式により、合成する際の小道具画像の倍率Ｑ４／Ｑを算出する（ステップＳ１５０４）。

次に、図３に示すように、リアルタイム確認表示用の被写体１の撮影を行い、背景画像に現在および過去の被写体画像並びに小道具画像を合成した状態の２Ｄ画像を、確認用ディスプレイ８０に表示する（図３のステップＳ１６：図７のステップＳ１６０１〜Ｓ１６０６）。

図７において、被写体１は、ブルースクリーン１１をバックにして床１２上に立つ。この状態で、撮影処理手段３３により、低解像度のカメラ１５による被写体１（現在の被写体）のリアルタイム確認表示用の撮影を行う（ステップＳ１６０１）。

続いて、被写体切出処理手段３４により、低解像度のカメラ１５により撮影した被写体１を含むブルーバックの画像から、被写体１を切り出すことにより、合成対象画像としての１眼（２Ｄ）の現在の被写体画像（図１５参照）を生成する（ステップＳ１６０２）。

それから、被写体サイズ算出処理手段３５により、被写体切出処理手段３４により切り出された現在の被写体画像の画像サイズ（身長の方向がＱピクセルとする。）から、前述したＬ＝（Ｌ１／Ｑ１）×Ｑという式により、被写体１（現在の被写体）の原寸のサイズ情報（身長Ｌメートル）を算出する（ステップＳ１６０３）。前述したように、（Ｌ１／Ｑ１）は、予め定められた比例係数である。なお、ここでの現在の被写体画像の画像サイズ（身長の方向がＱピクセルとする。）は、低解像度のカメラ１５により撮影した画像の画像サイズであるから、後述する図８のステップＳ１９０２で生成される現在の被写体画像、すなわち高解像度のカメラ１４により撮影した画像の画像サイズとは異なる。従って、次のステップＳ１６０４で算出される現在の被写体画像の倍率も、後述する図８のステップＳ１９０４で算出される現在の被写体画像の倍率とは異なる値となる。

さらに、合成対象画像倍率算出処理手段３８により、奥行き情報抽出処理手段３７により抽出した現在の被写体画像の配置位置に対応する背景画像の部位についての奥行き情報（奥行きの値をＤとする。）と、被写体サイズ算出処理手段３５により算出した現在の被写体の原寸のサイズ情報（身長をＬメートルとする。）と、背景画像記憶手段５１から取得した比例係数Ｄ２×（Ｑ２／Ｌ２）の値とを用いて、前述したＱ４＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×Ｌという式により、合成する際の現在の被写体画像の画像サイズＱ４ピクセルを算出する（ステップＳ１６０４）。あるいは、被写体切出処理手段３４により切り出された現在の被写体画像の画像サイズ（身長の方向がＱピクセルとする。）を用いて、前述したＱ４／Ｑ＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×（Ｌ／Ｑ）という式により、合成する際の現在の被写体画像の倍率Ｑ４／Ｑを算出する（ステップＳ１６０４）。

続いて、確認用画像生成処理手段４０により、１眼の現在の被写体画像（２Ｄ画像）、１眼の過去の被写体画像（２Ｄ画像）、および１眼の小道具画像（２Ｄ画像）を、それぞれ合成対象画像倍率算出処理手段３８により算出した倍率で拡大または縮小した状態で、配置位置入力受付処理手段３２により受け付けた各配置位置に配置し、被写体１またはオペレータにより選択された１眼の背景画像（２Ｄ画像）に合成することにより、リアルタイム確認表示用の２Ｄ画像を生成する（ステップＳ１６０５）。

この際、１眼の現在の被写体画像（２Ｄ画像）は、確認表示専用のカメラである１台の低解像度のカメラ１５により撮影された現在の被写体を含む画像から被写体切出処理手段３４による切出処理を行って得られた画像である（図１５参照）。また、１眼の過去の被写体画像（２Ｄ画像）は、被写体画像記憶手段５２Ａに記憶された過去の被写体画像のうち、被写体１またはオペレータにより選択された過去の被写体画像（多視点または２視点の過去の被写体画像）の中から自動選択された代表視点（例えば、１４視点のうち、第７番目または第８番目の視点）の画像である（図１７参照）。さらに、１眼の小道具画像（２Ｄ画像）は、小道具画像記憶手段５２Ｂに記憶された小道具画像のうち、被写体１またはオペレータにより選択された小道具画像（多視点または２視点の小道具用実写画像、あるいは多視点または２視点の小道具用３ＤＣＧレンダリング画像）の中から自動選択された代表視点（例えば、１４視点のうち、第７番目または第８番目の視点）の画像である（図１６参照）。そして、１眼の背景画像（２Ｄ画像）は、背景画像記憶手段５１に記憶された背景画像のうち、被写体１またはオペレータにより選択された背景画像（多視点または２視点の背景用実写画像、あるいは多視点または２視点の背景用３ＤＣＧレンダリング画像）の中から自動選択された代表視点（例えば、１４視点のうち、第７番目または第８番目の視点）の画像である（図１４参照）。

また、１眼の現在の被写体画像（２Ｄ画像）は、背景画像が被写体１とグラビアアイドル等の小道具とを添い寝状態で合成するための背景画像（図１８、図１９参照）である場合には、１眼の現在の被写体画像（２Ｄ画像）を９０度回転させた状態で背景画像に合成する。そして、１眼の過去の被写体画像（２Ｄ画像）は、背景画像が被写体１（現在の被写体）と過去の被写体とを添い寝状態で合成するための背景画像である場合（図１８、図１９において、グラビアアイドルに代えて、過去の被写体を配置する場合）には、１眼の過去の被写体画像（２Ｄ画像）を９０度回転させた状態で背景画像に合成する。

そして、確認用画像生成処理手段４０により、合成して得られたリアルタイム確認表示用の２Ｄ画像を、確認用ディスプレイ８０に表示する（ステップＳ１６０６）。

被写体１は、確認用ディスプレイ８０に表示された２Ｄ画像を見て、現在および過去の被写体画像並びに小道具画像の各配置位置を変更したい場合には、操作用ディスプレイ７０に表示されている「配置位置の変更」ボタン１０１（図１１参照）を押すためのタッチ操作を行う。オペレータが代理操作してもよい。従って、配置位置入力受付処理手段３２がタッチパネル７１からの「配置位置の変更」ボタン１０１の押下信号を受信した場合（ステップＳ１７）には、図３に示すように、ステップＳ１５に戻り、再度、配置位置入力受付処理手段３２による配置位置の入力受付処理が行われる。

また、被写体１は、現在および過去の被写体画像並びに小道具画像の各配置位置を変更しなくてよい場合は、現時点のポーズで本番撮影を行うのか、あるいはポーズを変えて、再度、リアルタイム確認表示用の撮影を行うのかを判断し、本番撮影を行うと判断した場合には、床１２に設けられたフットペダル１３を踏む（図１参照）。オペレータが代理操作してもよい。従って、撮影処理手段３３がフットペダル１３からの踏信号を受信した場合、すなわち本番撮影を行うという判断がなされた場合（ステップＳ１８）には、図３に示すように、次の本番撮影の処理に移る。一方、撮影処理手段３３がフットペダル１３からの踏信号を受信しない場合、すなわち本番撮影を行うという判断がなされない場合（ステップＳ１８）には、図３に示すように、ステップＳ１６に戻り、再度、リアルタイム確認表示用の撮影処理が行われる。このため、被写体１がフットペダル１３を踏まなければ、ステップＳ１６のリアルタイム確認表示用の撮影処理および２Ｄ画像の表示処理が繰り返されるので、その間に、被写体１は、好みのポーズを決めることができる。なお、図３において、図示は省略されているが、フットペダル１３を踏んでから、一定時間（例えば、５秒間等）が経過するまでは、次の本番撮影の処理に進まずに、ステップＳ１６のリアルタイム確認表示用の撮影処理および２Ｄ画像の表示処理が繰り返されるようになっているので、その間に、被写体１は、フットペダル１３を踏む操作を行うことにより、若干、崩れてしまったポーズを、好みのポーズに修正し、本番撮影を待つことができる。

そして、図３に示すように、フットペダル１３が踏まれてから、一定時間（例えば、５秒間等）が経過した後に、本番撮影の処理、および確認用の立体画像の表示処理が行われる（図３のステップＳ１９：図８のステップＳ１９０１〜Ｓ１９１１）。

図８において、被写体１は、ブルースクリーン１１をバックにして、好みのポーズで床１２上に立っているので、この状態で、撮影処理手段３３により、複数台の高解像度のカメラ１４（例えば、１４台のカメラ１４Ａ，１４Ｂ，１４Ｃ，…，１４Ｎ）による被写体１（現在の被写体）の本番撮影を行う（ステップＳ１９０１）。

続いて、被写体切出処理手段３４により、複数台の高解像度のカメラ１４により撮影した被写体１を含むブルーバックの各画像から、被写体１を切り出すことにより、合成対象画像としての多視点または２視点の現在の被写体画像（図１５参照）を生成し、自動付与した被写体番号と関連付けて被写体画像記憶手段５２Ａに保存する（ステップＳ１９０２）。例えば、１４台の高解像度のカメラ１４Ａ，１４Ｂ，１４Ｃ，…，１４Ｎ（図１参照）により撮影を行って、図１５に示すように、被写体１を含むブルーバックの１４視点の画像Ｂ１〜Ｂ１４が得られた場合には、これらの１４視点の画像Ｂ１〜Ｂ１４から、それぞれ被写体１の切り出しを行って、１４視点の現在の被写体画像Ｇ１〜Ｇ１４を生成する。

それから、被写体サイズ算出処理手段３５により、被写体切出処理手段３４により切り出された多視点または２視点の現在の被写体画像のうち、代表視点（例えば、１４視点のうち、第７番目または第８番目の視点）の現在の被写体画像の画像サイズ（身長の方向がＱピクセルとする。）から、前述したＬ＝（Ｌ１／Ｑ１）×Ｑという式により、被写体１（現在の被写体）の原寸のサイズ情報（身長Ｌメートル）を算出し、被写体番号と関連付けて被写体サイズ記憶手段５３Ａに保存する（ステップＳ１９０３）。前述したように、（Ｌ１／Ｑ１）は、予め定められた比例係数である。なお、ここでの現在の被写体画像の画像サイズ（身長の方向がＱピクセルとする。）は、高解像度のカメラ１４により撮影した画像の画像サイズであるから、前述した図７のステップＳ１６０２で生成される現在の被写体の２Ｄ画像、すなわち低解像度のカメラ１５により撮影した画像の画像サイズとは異なる。従って、次のステップＳ１９０４で算出される現在の被写体画像の倍率も、前述した図７のステップＳ１６０４で算出される現在の被写体画像の倍率とは異なる値となる。

さらに、合成対象画像倍率算出処理手段３８により、奥行き情報抽出処理手段３７により抽出した現在の被写体画像の配置位置に対応する背景画像の部位についての奥行き情報（奥行きの値をＤとする。）と、被写体サイズ算出処理手段３５により算出した現在の被写体の原寸のサイズ情報（身長をＬメートルとする。）と、背景画像記憶手段５１から取得した比例係数Ｄ２×（Ｑ２／Ｌ２）の値とを用いて、前述したＱ４＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×Ｌという式により、合成する際の現在の被写体画像の画像サイズＱ４ピクセルを算出する（ステップＳ１９０４）。あるいは、被写体切出処理手段３４により切り出された多視点または２視点の現在の被写体画像のうちの代表視点の現在の被写体画像の画像サイズ（身長の方向がＱピクセルとする。）を用いて、前述したＱ４／Ｑ＝（Ｄ２／Ｄ）×（Ｑ２／Ｌ２）×（Ｌ／Ｑ）という式により、合成する際の現在の被写体画像の倍率Ｑ４／Ｑを算出する（ステップＳ１９０４）。

それから、確認用画像生成処理手段４０により、被写体切出処理手段３４により切り出された多視点または２視点の現在の被写体画像（ステップＳ１９０２で被写体画像記憶手段５２Ａに保存された画像）から、多眼または２眼の確認表示用の現在の被写体画像（例えば、２眼偏光式用の現在の被写体画像）を生成する（ステップＳ１９０５）。２眼偏光式用の現在の被写体画像は、本番撮影用の複数台の高解像度のカメラ１４により撮影して得られた多視点または２視点の現在の被写体画像の中から自動選択された中央付近の２視点の画像（例えば、図１５に示すように、１４視点の画像Ｇ１〜Ｇ１４のうち、画像Ｇ７および画像Ｇ１１、あるいは画像Ｇ８および画像Ｇ１０）を用いて、ｘｐｏｌ（マイクロポール）のパターンに合わせて生成される（図１５参照）。なお、液晶シャッタ方式の２眼の現在の被写体画像を生成する場合も、同様にして中央付近の２視点の画像を自動選択すればよい。

また、確認用画像生成処理手段４０により、被写体画像記憶手段５２Ａに記憶されている多視点または２視点の過去の被写体画像から、多眼または２眼の確認表示用の過去の被写体画像（例えば、２眼偏光式用の過去の被写体画像）を生成する（ステップＳ１９０６）。２眼偏光式用の過去の被写体画像は、被写体画像記憶手段５２Ａに記憶された過去の被写体画像のうち、被写体１またはオペレータにより選択された過去の被写体画像（多視点または２視点の過去の被写体画像）の中から自動選択された中央付近の２視点の画像（例えば、図１７に示すように、１４視点の画像Ｐ１〜Ｐ１４のうち、画像Ｐ７および画像Ｐ１１、あるいは画像Ｐ８および画像Ｐ１０）を用いて、ｘｐｏｌ（マイクロポール）のパターンに合わせて生成される（図１７参照）。なお、液晶シャッタ方式の２眼の過去の被写体画像を生成する場合も、同様にして中央付近の２視点の画像を自動選択すればよい。

さらに、確認用画像生成処理手段４０により、小道具画像記憶手段５２Ｂに記憶されている多視点または２視点の小道具画像から、多眼または２眼の確認表示用の小道具画像（例えば、２眼偏光式用の小道具画像）を生成する（ステップＳ１９０７）。２眼偏光式用の小道具画像は、小道具画像記憶手段５２Ｂに記憶された小道具画像のうち、被写体１またはオペレータにより選択された小道具画像（多視点または２視点の小道具用実写画像、あるいは多視点または２視点の小道具用３ＤＣＧレンダリング画像）の中から自動選択された中央付近の２視点の画像（例えば、図１６に示すように、１４視点の画像Ｋ１〜Ｋ１４のうち、画像Ｋ７および画像Ｋ１１、あるいは画像Ｋ８および画像Ｋ１０）を用いて、ｘｐｏｌ（マイクロポール）のパターンに合わせて生成される（図１６参照）。なお、液晶シャッタ方式の２眼の小道具画像を生成する場合も、同様にして中央付近の２視点の画像を自動選択すればよい。

そして、確認用画像生成処理手段４０により、背景画像記憶手段５１に記憶されている多視点または２視点の背景画像から、多眼または２眼の確認表示用の背景画像（例えば、２眼偏光式用の背景画像）を生成する（ステップＳ１９０８）。２眼偏光式用の背景画像は、背景画像記憶手段５１に記憶された背景画像のうち、被写体１またはオペレータにより選択された背景画像（多視点または２視点の背景用実写画像、あるいは多視点または２視点の背景用３ＤＣＧレンダリング画像）の中から自動選択された中央付近の２視点の画像（例えば、図１４に示すように、１４視点の画像Ｈ１〜Ｈ１４のうち、画像Ｈ７および画像Ｈ１１、あるいは画像Ｈ８および画像Ｈ１０）を用いて、ｘｐｏｌ（マイクロポール）のパターンに合わせて生成される（図１４参照）。なお、液晶シャッタ方式の２眼の背景画像を生成する場合も、同様にして中央付近の２視点の画像を自動選択すればよい。

続いて、確認用画像生成処理手段４０により、多眼または２眼の確認表示用の現在の被写体画像（例えば、２眼偏光式用の現在の被写体画像）、多眼または２眼の確認表示用の過去の被写体画像（例えば、２眼偏光式用の過去の被写体画像）、および多眼または２眼の確認表示用の小道具画像（例えば、２眼偏光式用の小道具画像）を、それぞれ合成対象画像倍率算出処理手段３８により算出した倍率で拡大または縮小した状態で、配置位置入力受付処理手段３２により受け付けた各配置位置に配置し、被写体１またはオペレータにより選択された多眼または２眼の確認表示用の背景画像（例えば、２眼偏光式用の背景画像）に合成することにより、確認表示用の立体画像（例えば、２眼の偏光メガネ方式の立体画像）を生成する（ステップＳ１９０９）。

そして、確認用画像生成処理手段４０により、合成して得られた確認表示用の立体画像（例えば、２眼の偏光メガネ方式の立体画像）を、確認用ディスプレイ８０に表示する（ステップＳ１９１０）。

その後、被写体１は、確認用ディスプレイ８０に表示された確認表示用の立体画像を見て（例えば、偏光メガネをかけて、２眼の偏光メガネ方式の立体画像を見て）、現在および過去の被写体画像、並びに小道具画像について、配置位置、視差量、倍率等を微調整したい場合には、操作用ディスプレイ７０に表示されている「微調整」ボタン１０２（図１１参照）を押すためのタッチ操作を行う。オペレータが代理操作してもよい。従って、確認用画像生成処理手段４０がタッチパネル７１からの「微調整」ボタン１０２の押下信号を受信した場合には、ステップＳ１９０５に戻り、再度、確認用画像生成処理手段４０による確認表示用の立体画像の生成および表示処理（ステップＳ１９０５〜Ｓ１９１０）を行う。

ここで、配置位置の微調整は、例えば、タッチ操作により微調整後の配置位置を入力指定させたり、あるいは上下左右や斜めのいずれの方向に、どれぐらい移動させるのかを段階的にタッチ操作により入力指定させる等の方法を採ることができる。また、視差量の微調整も、例えば、飛び出させる程度や引っ込める程度を、段階的にタッチ操作により入力指定させる等の方法を採ることができる。さらに、倍率の微調整も、例えば、拡大する程度や縮小する程度を、段階的にタッチ操作により入力指定させる等の方法を採ることができる。

次に、被写体１は、確認用ディスプレイ８０に表示された確認表示用の立体画像を見て（例えば、偏光メガネをかけて、２眼の偏光メガネ方式の立体画像を見て）、微調整の必要がなく、印刷したい場合には、操作用ディスプレイ７０に表示されている「印刷」ボタン１０３（図１１参照）を押すためのタッチ操作を行う。オペレータが代理操作してもよい。一方、被写体１は、確認用ディスプレイ８０に表示された確認表示用の立体画像を見て、出来映えが気に入らなければ、最初からやり直すことができ、この場合には、操作用ディスプレイ７０に表示されている「やり直し」ボタン１０４（図１１参照）を押すためのタッチ操作を行う。オペレータが代理操作してもよい。

従って、図３に示すように、合成処理手段４１がタッチパネル７１からの「印刷」ボタン１０３の押下信号を受信した場合（ステップＳ２０）には、次の印刷用の立体画像の生成および印刷処理に移り、一方、背景選択受付処理手段３１がタッチパネル７１からの「やり直し」ボタン１０４の押下信号を受信した場合、すなわち印刷を行わない場合（ステップＳ２０）には、ステップＳ１１に戻り、背景画像や小道具画像の選択から処理をやり直す。

その後、印刷用の立体画像の生成および印刷処理を行う（図３のステップＳ２１：図９のステップＳ２１０１〜Ｓ２１０６）。

図９において、先ず、眼数決定処理手段３９により、被写体１またはオペレータにより選択された背景画像についての背景番号をキーとして、眼数テーブル記憶手段５５から、選択された背景画像についての眼数テーブルを抽出する。そして、抽出した眼数テーブルを用いて、奥行き情報抽出処理手段３７により抽出した現在の被写体画像の配置位置に対応する背景画像の部位についての奥行き情報から、現在の被写体画像の眼数を取得し、奥行き情報抽出処理手段３７により抽出した過去の被写体画像の配置位置に対応する背景画像の部位についての奥行き情報から、過去の被写体画像の眼数を取得し、奥行き情報抽出処理手段３７により抽出した小道具画像の配置位置に対応する背景画像の部位についての奥行き情報から、小道具画像の眼数を取得することにより、各合成対象画像の眼数を決定する（ステップＳ２１０１）。

続いて、合成処理手段４１により、眼数決定処理手段３９により決定した眼数の印刷用の現在の被写体画像を生成する（ステップＳ２１０２）。例えば、本番撮影用の複数台の高解像度のカメラ１４により撮影して得られた多視点または２視点の現在の被写体画像（被写体画像記憶手段５２Ａに記憶されている多視点または２視点の現在の被写体画像）から、それぞれ短冊状の画像を形成し、これらの短冊状の画像を横方向に並べて結合することにより、印刷用の現在の被写体画像を、レンチキュラ用またはパララックスバリア用の画像として生成する（図１５参照）。

より具体的には、例えば、１４視点の現在の被写体画像Ｇ１〜Ｇ１４が生成されている場合（図１５参照）には、例えば、１４眼、７眼、４眼、２眼の合計４種類の眼数の印刷用（レンチキュラ用またはパララックスバリア用）の現在の被写体画像を生成することができる。この際、１４眼の印刷用の現在の被写体画像は、１４視点の元画像Ｇ１〜Ｇ１４の全てを用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、７眼の印刷用の現在の被写体画像は、例えば、１４視点のうちの７視点の元画像（Ｇ１，Ｇ３，Ｇ５，Ｇ７，Ｇ９，Ｇ１１，Ｇ１３）または（Ｇ２，Ｇ４，Ｇ６，Ｇ８，Ｇ１０，Ｇ１２，Ｇ１４）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、４眼の印刷用の現在の被写体画像は、例えば、１４視点のうちの４視点の元画像（Ｇ５，Ｇ７，Ｇ９，Ｇ１１）または（Ｇ４，Ｇ６，Ｇ８，Ｇ１０）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、２眼の印刷用の現在の被写体画像は、例えば、１４視点のうちの２視点の元画像（Ｇ７，Ｇ１１）または（Ｇ８，Ｇ１０）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができる。そして、背景画像が立体画像である場合には、これらに、１眼（２Ｄ）の印刷用の現在の被写体画像を加えてもよく、その場合には、１４眼、７眼、４眼、２眼、１眼（２Ｄ）の合計５種類の眼数の印刷用の現在の被写体画像を生成することができる。

また、同様にして、７視点の現在の被写体画像が生成されている場合には、例えば、７眼、４眼、２眼の合計３種類（１眼（２Ｄ）を加えれば合計４種類）の眼数の印刷用の現在の被写体画像を生成することができ、４視点の現在の被写体画像が生成されている場合には、例えば、４眼、２眼の合計２種類（１眼（２Ｄ）を加えれば合計３種類）の眼数の印刷用の現在の被写体画像を生成することができ、２視点の現在の被写体画像が生成されている場合には、１眼（２Ｄ）を加えれば、２眼、１眼（２Ｄ）の合計２種類の眼数の印刷用の現在の被写体画像を生成することができる。なお、本実施形態では、現在の被写体画像について、背景画像と合成する際に、視差量調整等を行うことにしているため、本ステップ（ステップＳ２１０２）で、眼数決定処理手段３９により決定した眼数の印刷用の現在の被写体画像を生成することにしているが、視差量調整等を行わない場合には、より前の段階（例えば、図８のステップＳ１９０２の処理後の段階等）で、複数種類の眼数の印刷用の現在の被写体画像を予め生成しておき、その中から、眼数決定処理手段３９により決定した眼数の印刷用の現在の被写体画像を選択するようにしてもよい。

また、合成処理手段４１により、眼数決定処理手段３９により決定した眼数の印刷用の過去の被写体画像を生成する（ステップＳ２１０３）。例えば、被写体画像記憶手段５２Ａに記憶された過去の被写体画像のうち、被写体１またはオペレータにより選択された過去の被写体画像（多視点または２視点の過去の被写体画像）から、それぞれ短冊状の画像を形成し、これらの短冊状の画像を横方向に並べて結合することにより、印刷用の過去の被写体画像を、レンチキュラ用またはパララックスバリア用の画像として生成する（図１７参照）。

より具体的には、例えば、１４視点の過去の被写体画像Ｐ１〜Ｐ１４が生成されている場合（図１７参照）には、例えば、１４眼、７眼、４眼、２眼の合計４種類の眼数の印刷用（レンチキュラ用またはパララックスバリア用）の過去の被写体画像を生成することができる。この際、１４眼の印刷用の過去の被写体画像は、１４視点の元画像Ｐ１〜Ｐ１４の全てを用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、７眼の印刷用の過去の被写体画像は、例えば、１４視点のうちの７視点の元画像（Ｐ１，Ｐ３，Ｐ５，Ｐ７，Ｐ９，Ｐ１１，Ｐ１３）または（Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ１０，Ｐ１２，Ｐ１４）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、４眼の印刷用の過去の被写体画像は、例えば、１４視点のうちの４視点の元画像（Ｐ５，Ｐ７，Ｐ９，Ｐ１１）または（Ｐ４，Ｐ６，Ｐ８，Ｐ１０）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、２眼の印刷用の過去の被写体画像は、例えば、１４視点のうちの２視点の元画像（Ｐ７，Ｐ１１）または（Ｐ８，Ｐ１０）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができる。そして、背景画像が立体画像である場合には、これらに、１眼（２Ｄ）の印刷用の過去の被写体画像を加えてもよく、その場合には、１４眼、７眼、４眼、２眼、１眼（２Ｄ）の合計５種類の眼数の印刷用の過去の被写体画像を生成することができる。

また、同様にして、７視点の過去の被写体画像が生成されている場合には、例えば、７眼、４眼、２眼の合計３種類（１眼（２Ｄ）を加えれば合計４種類）の眼数の印刷用の過去の被写体画像を生成することができ、４視点の過去の被写体画像が生成されている場合には、例えば、４眼、２眼の合計２種類（１眼（２Ｄ）を加えれば合計３種類）の眼数の印刷用の過去の被写体画像を生成することができ、２視点の過去の被写体画像が生成されている場合には、１眼（２Ｄ）を加えれば、２眼、１眼（２Ｄ）の合計２種類の眼数の印刷用の過去の被写体画像を生成することができる。なお、本実施形態では、過去の被写体画像について、背景画像と合成する際に、視差量調整等を行うことにしているため、本ステップ（ステップＳ２１０２）で、眼数決定処理手段３９により決定した眼数の印刷用の過去の被写体画像を生成することにしているが、視差量調整等を行わない場合には、より前の段階（例えば、図３のステップＳ１４の処理後の段階等）で、複数種類の眼数の印刷用の過去の被写体画像を予め生成しておき、その中から、眼数決定処理手段３９により決定した眼数の印刷用の過去の被写体画像を選択するようにしてもよい。

さらに、合成処理手段４１により、眼数決定処理手段３９により決定した眼数の印刷用の小道具画像を生成する（ステップＳ２１０４）。例えば、小道具画像記憶手段５２Ｂに記憶された小道具画像のうち、被写体１またはオペレータにより選択された小道具画像（多視点または２視点の小道具画像）から、それぞれ短冊状の画像を形成し、これらの短冊状の画像を横方向に並べて結合することにより、印刷用の小道具画像を、レンチキュラ用またはパララックスバリア用の画像として生成する（図１６参照）。

より具体的には、例えば、１４視点の小道具用実写画像Ｋ１〜Ｋ１４または小道具用３ＤＣＧレンダリング画像Ｋ１〜Ｋ１４が生成されている場合（図１６参照）には、例えば、１４眼、７眼、４眼、２眼の合計４種類の眼数の印刷用（レンチキュラ用またはパララックスバリア用）の小道具画像を生成することができる。この際、１４眼の印刷用の小道具画像は、１４視点の元画像Ｋ１〜Ｋ１４の全てを用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、７眼の印刷用の小道具画像は、例えば、１４視点のうちの７視点の元画像（Ｋ１，Ｋ３，Ｋ５，Ｋ７，Ｋ９，Ｋ１１，Ｋ１３）または（Ｋ２，Ｋ４，Ｋ６，Ｋ８，Ｋ１０，Ｋ１２，Ｋ１４）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、４眼の印刷用の小道具画像は、例えば、１４視点のうちの４視点の元画像（Ｋ５，Ｋ７，Ｋ９，Ｋ１１）または（Ｋ４，Ｋ６，Ｋ８，Ｋ１０）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができ、２眼の印刷用の小道具画像は、例えば、１４視点のうちの２視点の元画像（Ｋ７，Ｋ１１）または（Ｋ８，Ｋ１０）を用いて、それぞれ短冊状の画像を生成し、それらを結合して得ることができる。そして、背景画像が立体画像である場合には、これらに、１眼（２Ｄ）の印刷用の小道具画像を加えてもよく、その場合には、１４眼、７眼、４眼、２眼、１眼（２Ｄ）の合計５種類の眼数の印刷用の小道具画像を生成することができる。

また、同様にして、７視点の小道具用実写画像または小道具用３ＤＣＧレンダリング画像が生成されている場合には、例えば、７眼、４眼、２眼の合計３種類（１眼（２Ｄ）を加えれば合計４種類）の眼数の印刷用の小道具画像を生成することができ、４視点の小道具用実写画像または小道具用３ＤＣＧレンダリング画像が生成されている場合には、例えば、４眼、２眼の合計２種類（１眼（２Ｄ）を加えれば合計３種類）の眼数の印刷用の小道具画像を生成することができ、２視点の小道具用実写画像または小道具用３ＤＣＧレンダリング画像が生成されている場合には、１眼（２Ｄ）を加えれば、２眼、１眼（２Ｄ）の合計２種類の眼数の印刷用の小道具画像を生成することができる。なお、本実施形態では、小道具画像について、背景画像と合成する際に、視差量調整等を行うことにしているため、本ステップ（ステップＳ２１０２）で、眼数決定処理手段３９により決定した眼数の印刷用の小道具画像を生成することにしているが、視差量調整等を行わない場合には、より前の段階（例えば、図３のステップＳ１３の処理後の段階等）で、複数種類の眼数の印刷用の小道具画像を予め生成しておき、その中から、眼数決定処理手段３９により決定した眼数の印刷用の小道具画像を選択するようにしてもよい。

なお、印刷用（レンチキュラ用またはパララックスバリア用）の背景画像は、予め定められた眼数（例えば、１４眼）で、前処理（図２のステップＳ４）で予め生成されるか、または新規画像生成処理手段３６による処理（図４のステップＳ１２０６）で生成されて背景画像記憶手段５１に保存されている。

また、以上のステップＳ２１０２〜Ｓ２１０４において、合成処理手段４１は、多視点または２視点の元画像から、印刷用（レンチキュラ用またはパララックスバリア用）の合成対象画像（現在および過去の被写体画像、並びに小道具画像）を生成する際には、合成対象画像倍率算出処理手段３８により算出した各倍率（現在の被写体画像の倍率、過去の被写体画像の倍率、および小道具画像の倍率）で元画像を拡大または縮小するとともに、「微調整」ボタン１０２（図１１参照）による倍率の調整が行われていた場合には、その調整量を加味した倍率で元画像を拡大または縮小する。また、合成処理手段４１は、奥行き情報抽出処理手段３７により抽出された各合成対象画像（現在および過去の被写体画像、並びに小道具画像）の配置位置に対応する背景画像の各部位についての奥行き情報に応じて、各合成対象画像（現在および過去の被写体画像、並びに小道具画像）の視差量を定めて印刷用の合成対象画像を生成するとともに、「微調整」ボタン１０２（図１１参照）による視差量の調整が行われていた場合には、その調整量を加味した視差量で印刷用の合成対象画像を生成する。なお、奥行きの値が大きい程（視点から遠い程）、同側方向（右眼用画像を右向きにずらし、左眼用画像を左向きにずらす方向）の視差量を大きくし（あるいは、交差方向の視差量を小さくし）、奥行きの値が小さい程（視点に近い程）、交差方向（右眼用画像を左向きにずらし、左眼用画像を右向きにずらす方向）の視差量を大きくする（あるいは、同側方向の視差量を小さくする）。

さらに、合成処理手段４１は、奥行き情報抽出処理手段３７により抽出した各奥行き情報（現在および過去の被写体画像、並びに小道具画像の各配置位置に対応する背景画像の各部位についての奥行き情報）に応じたぼかし量で、ぼかした状態の印刷用（レンチキュラ用またはパララックスバリア用）の合成対象画像（現在および過去の被写体画像、並びに小道具画像）を生成する。すなわち、奥行きの値が大きい程（視点から遠い程）、ぼかし量を多くする。

それから、合成処理手段４１により、前述したステップＳ２１０２で生成した印刷用の現在の被写体画像、前述したステップＳ２１０３で生成した印刷用の過去の被写体画像、および前述したステップＳ２１０４で生成した印刷用の小道具画像を、被写体１またはオペレータにより選択されたそれぞれの配置位置、あるいは「微調整」ボタン１０２（図１１参照）による各配置位置の調整が行われていた場合には、その調整量を加味したそれぞれの配置位置に配置し、被写体１またはオペレータにより選択された背景画像（背景画像記憶手段５１に記憶されている印刷用（レンチキュラ用またはパララックスバリア用）の背景画像）に合成することにより、印刷用（レンチキュラ用またはパララックスバリア用）の立体画像を生成し、印刷用立体画像番号と関連付けて印刷用立体画像記憶手段５６に保存する（ステップＳ２１０５）。この印刷用（レンチキュラ用またはパララックスバリア用）の立体画像は、ＢＭＰイメージデータ、あるいはＪＰＧイメージデータ等である。例えば、合成処理手段４１は、図１２に示したレイヤ構造のように、被写体１（女性）が写っている現在の被写体画像と、小道具番号１０１−１の小道具（シマウマ）が写っている小道具画像と、被写体番号＝１の過去の被写体（ギターを持った若者）が写っている過去の被写体画像と、背景番号＝１０１の風景が写っている背景画像とを、奥行き情報抽出処理手段３７により抽出した各奥行き情報に応じて、Ｚ軸方向に距離を持たせて並べて合成し、図１３に示すような印刷用の立体画像を生成する。

この際、合成処理手段４１は、背景画像が被写体１と小道具であるグラビアアイドル等とが添い寝状態で写っている立体画像、あるいは被写体１と過去の被写体とが添い寝状態で写っている立体画像を生成するための背景画像である場合には、被写体１が写っている現在の被写体画像、および過去に撮影した恋人や家族等が写っている過去の被写体画像を、９０度回転させた状態で、配置位置入力受付処理手段３２により受け付けた各配置位置に配置し、被写体１またはオペレータにより選択された背景画像に合成する。例えば、図１８および図１９の場合には、被写体１が写っている現在の被写体画像を９０度回転させた状態で配置して背景画像に合成する。

なお、図１８に示すように、被写体１またはオペレータが、被写体１が写っている現在の被写体画像を手前側に配置し、グラビアアイドル等が写っている小道具画像を奥側に配置した場合には、例えば、被写体１が写っている現在の被写体画像の眼数が多くなり、グラビアアイドル等が写っている小道具画像の眼数が少なくなるように、これらの背景画像についての眼数テーブルを設定しておくことができる。一方、図１９に示すように、被写体１またはオペレータが、被写体１が写っている現在の被写体画像を奥側に配置し、グラビアアイドル等が写っている小道具画像を手前側に配置した場合には、例えば、被写体１が写っている現在の被写体画像の眼数が少なくなり、グラビアアイドル等が写っている小道具画像の眼数が多くなるように、これらの背景画像についての眼数テーブルを設定しておくことができる。また、図１８および図１９の場合のように、現在および過去の被写体画像に写っている被写体、並びに小道具画像に写っているグラビアアイドル等の小道具が、横向きになっている場合には、これらの画像の配置位置の指定方法は、足の位置を指定するのではなく、例えば、体の中心位置等を指定するようにしてもよい。

そして、印刷処理手段４２により、合成処理手段４１により生成した印刷用（レンチキュラ用またはパララックスバリア用）の立体画像を、印刷装置６０で印刷する（ステップＳ２１０６）。

以上により、図３に示すように、被写体の撮影から立体画像の印刷までの一連の処理を終了する（図３のステップ２２）。

このような本実施形態によれば、次のような効果がある。すなわち、立体画像生成装置１０は、配置位置入力受付処理手段３２、奥行き情報抽出処理手段３７、眼数決定処理手段３９、および合成処理手段４１を備えているので、各合成対象画像（現在および過去の被写体画像、並びに小道具画像）の配置位置の入力を受け付け、受け付けた各配置位置に対応する背景画像の部位についての奥行き情報を抽出し、抽出した各奥行き情報に基づき眼数テーブルを用いて各合成対象画像の眼数を決定することができる。このため、観察し易い印刷用の立体画像を生成することができる。このように眼数を変化させることにより、例えば、１４眼（１４像）では、極端な飛び出し方向でぼやけることがあるが、眼数（像数）を減らすことで、融像した立体像が鮮明になり、観察し易くなる。

また、立体画像生成装置１０は、被写体サイズ算出処理手段３５、合成対象画像倍率算出処理手段３８、および合成対象サイズ記憶手段５３を備えているので、合成対象（現在および過去の被写体、並びに小道具）の原寸のサイズが大きいときには、合成対象画像の倍率を大きくし、合成対象の原寸のサイズが小さいときには、合成対象画像の倍率を小さくして合成することができる。このため、合成対象画像（現在および過去の被写体画像、並びに小道具画像）を自然な状態で背景画像に合成することができる。

さらに、立体画像生成装置１０は、確認用画像生成処理手段４０および確認用ディスプレイ８０を備えているので、立体画像を印刷装置６０で印刷する前に、生成した立体画像の合成状態を確認することができる。

そして、確認用画像生成処理手段４０は、リアルタイム確認表示用の２Ｄ画像を定期的に繰り返し生成する処理と、確認表示用の立体画像を生成する処理とを切り替えて実行する構成とされているので、確認用ディスプレイ８０で切替表示を行うことができ、例えば、被写体が動きながらポーズを決めているときの合成状態を逐次表示するとともに、ポーズを決めてから本番撮影を行ったときの合成状態を表示することができる。

また、合成処理手段４１は、現在および過去の被写体画像を、９０度回転させた状態で配置して背景画像に合成することができるので、例えば、立っている人間等のように縦長の被写体を撮影し、横に寝かせた状態で合成すること等ができ、合成するときの姿勢が被写体の撮影姿勢に適していないときであっても、被写体の撮影を容易に行い、かつ、所望の姿勢での被写体画像の合成を実現することができる。

さらに、合成処理手段４１は、合成対象画像を、奥行き情報抽出処理手段３７により抽出した奥行き情報に応じたぼかし量でぼかした状態で配置して背景画像に合成することができるので、背景画像の各部位のうち、視点から遠距離にある部位（奥側にある部位）が、合成対象画像の配置位置として入力されたときには、合成対象画像のぼかし量を自動的に大きくし、視点から近距離にある部位（手前側にある部位）が、合成対象画像の配置位置として入力されたときには、合成対象画像のぼかし量を自動的に小さくして合成することができる。このため、合成対象画像を自然な状態で背景画像に合成することができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

例えば、前記実施形態では、背景画像の各部位についての奥行き情報の分布を示すマップ（デプスマップ）を、奥行き情報記憶手段５４に記憶しておき、被写体１またはオペレータにより入力された合成対象画像の配置位置に対応する背景画像の部位についての奥行き情報を、奥行き情報記憶手段５４に記憶されたデプスマップから抽出し、抽出した奥行き情報に基づき、眼数テーブルを用いて合成対象画像の眼数を決定する構成とされていたが、本発明の立体画像生成装置は、このような構成に限定されるものではなく、次のような構成としてもよい。すなわち、背景画像の各部位についての奥行き情報を用いて合成対象画像の眼数を予め定め、このようにして予め定められた合成対象画像の眼数を、背景画像の各部位毎に眼数記憶手段に記憶しておき、被写体１またはオペレータにより入力された合成対象画像の配置位置に対応する背景画像の部位についての合成対象画像の眼数を、眼数記憶手段から抽出して決定する構成としてもよい。このような構成とした場合でも、奥行き情報に基づき合成対象画像の眼数が決定されることに変わりはないので、前記実施形態の場合と同様な効果が得られる。

また、前記実施形態では、背景画像に合成する合成対象画像として、現在の被写体画像、過去の被写体画像、および小道具画像があったが、過去の被写体画像や小道具画像の合成を行わない立体画像生成装置としてもよい。

以上のように、本発明の立体画像生成装置およびプログラムは、例えば、印刷用の立体画像として、レンチキュラ用やパララックスバリア用の画像データを生成する場合等に用いるのに適している。

本発明の一実施形態の立体画像生成装置の全体構成図。 前記実施形態の前処理の流れを示すフローチャートの図。 前記実施形態の被写体の撮影から立体画像の印刷までの全体的な処理の流れを示すフローチャートの図。 前記実施形態の被写体またはオペレータによる背景画像の選択または生成についての詳細な流れを示すフローチャートの図。 前記実施形態の被写体またはオペレータによる小道具画像の選択または生成についての詳細な流れを示すフローチャートの図。 前記実施形態の配置位置の入力の受付、奥行き情報の取得、サイズ情報の取得、および倍率の算出についての詳細な流れを示すフローチャートの図。 前記実施形態のリアルタイム確認表示用の撮影、および２Ｄ画像の表示についての詳細な流れを示すフローチャートの図。 前記実施形態の本番撮影、および確認用の立体画像の表示についての詳細な流れを示すフローチャートの図。 前記実施形態の印刷用の立体画像の生成、印刷についての詳細な流れを示すフローチャートの図。 前記実施形態の背景画像の選択画面の例示図。 前記実施形態の現在および過去の被写体画像、並びに小道具画像の配置位置の入力画面の例示図。 前記実施形態の現在および過去の被写体画像、並びに小道具画像を背景画像に合成する際のレイヤ構造の説明図。 前記実施形態の合成された画像の例示図。 前記実施形態の背景画像の生成および使用についての説明図。 前記実施形態の現在の被写体画像の生成および使用についての説明図。 前記実施形態の小道具画像の生成および使用についての説明図。 前記実施形態の過去の被写体画像の使用についての説明図。 前記実施形態の被写体画像を９０度回転させて合成する場合の説明図。 前記実施形態の被写体画像を９０度回転させて合成する場合の別の説明図。

符号の説明

１ 被写体
１０ 立体画像生成装置
１４，１５ カメラ
３２ 配置位置入力受付処理手段
３４ 被写体切出処理手段
３５ 被写体サイズ算出処理手段
３７ 奥行き情報抽出処理手段
３８ 合成対象画像倍率算出処理手段
３９ 眼数決定処理手段
４０ 確認用画像生成処理手段
４１ 合成処理手段
５１ 背景画像記憶手段
５３ 合成対象サイズ記憶手段
５４ 奥行き情報記憶手段
５５ 眼数テーブル記憶手段
６０ 印刷装置
７０ 操作用ディスプレイ
７１ 入力手段であるタッチパネル
８０ 確認用ディスプレイ

Claims (12)

1. 背景画像に合成対象画像を合成して印刷用の立体画像を生成する処理を実行するコンピュータからなる立体画像生成装置であって、
   前記背景画像を記憶する背景画像記憶手段と、
   この背景画像記憶手段に記憶された前記背景画像の各部位の奥行き情報を、前記各部位を識別する部位識別情報と関連付けて記憶するか、または前記各部位の並び順に対応させて並べて記憶する奥行き情報記憶手段と、
   前記背景画像への前記合成対象画像の配置位置の入力を受け付ける処理を実行する配置位置入力受付処理手段と、
   この配置位置入力受付処理手段により受け付けた前記配置位置に対応する前記背景画像の部位についての前記奥行き情報を、前記部位識別情報をキーとして、または前記並び順に基づき、前記奥行き情報記憶手段から抽出する処理を実行する奥行き情報抽出処理手段と、
   この奥行き情報抽出処理手段により抽出した前記奥行き情報に対応する前記合成対象画像の眼数を、前記背景画像の前記各部位の奥行き情報と前記合成対象画像の眼数との関係を定めて眼数テーブル記憶手段に記憶されまたはプログラム内に記述された眼数テーブルから取得して決定する処理を実行する眼数決定処理手段と、
   この眼数決定処理手段により決定した前記眼数の前記合成対象画像を、カメラにより撮影して若しくは３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の前記合成対象画像の中から取得するか、または前記元画像から生成し、取得または生成した前記眼数の前記合成対象画像を、前記配置位置入力受付処理手段により受け付けた前記配置位置に配置して前記背景画像記憶手段に記憶された前記背景画像に合成することにより、前記印刷用の立体画像を生成する処理を実行する合成処理手段と
   を備えたことを特徴とする立体画像生成装置。
2. 背景画像に合成対象画像を合成して印刷用の立体画像を生成する処理を実行するコンピュータからなる立体画像生成装置であって、
   前記背景画像を記憶する背景画像記憶手段と、
   この背景画像記憶手段に記憶された前記背景画像の各部位毎にこれらの各部位の奥行き情報を用いて予め定められた前記合成対象画像の眼数を、前記部位識別情報と関連付けて記憶するか、または前記各部位の並び順に従って並べて記憶する眼数記憶手段と、
   前記背景画像への前記合成対象画像の配置位置の入力を受け付ける処理を実行する配置位置入力受付処理手段と、
   この配置位置入力受付処理手段により受け付けた前記配置位置に対応する前記背景画像の部位についての前記合成対象画像の眼数を、前記部位識別情報をキーとして、または前記並び順に基づき、前記眼数記憶手段から抽出して決定する処理を実行する眼数決定処理手段と、
   この眼数決定処理手段により決定した前記眼数の前記合成対象画像を、カメラにより撮影して若しくは３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて合成対象画像記憶手段に記憶された複数種類の眼数の前記合成対象画像の中から取得するか、または前記元画像から生成し、取得または生成した前記眼数の前記合成対象画像を、前記配置位置入力受付処理手段により受け付けた前記配置位置に配置して前記背景画像記憶手段に記憶された前記背景画像に合成することにより、前記印刷用の立体画像を生成する処理を実行する合成処理手段と
   を備えたことを特徴とする立体画像生成装置。
3. 前記奥行き情報抽出処理手段により抽出した前記奥行き情報を用いて、前記合成対象画像を前記背景画像に合成する際の前記合成対象画像の拡大または縮小の倍率を算出する処理を実行する合成対象画像倍率算出処理手段を備え、
   前記合成処理手段は、
   前記眼数決定処理手段により決定した前記眼数の前記合成対象画像を、前記カメラにより撮影して若しくは前記３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて前記合成対象画像記憶手段に記憶された複数種類の眼数の前記合成対象画像の中から取得するか、または前記元画像から生成し、かつ、前記合成対象画像倍率算出処理手段により算出した前記倍率で拡大または縮小した状態で、前記配置位置入力受付処理手段により受け付けた前記配置位置に配置して前記背景画像記憶手段に記憶された前記背景画像に合成することにより、前記印刷用の立体画像を生成する処理を実行する構成とされている
   ことを特徴とする請求項１に記載の立体画像生成装置。
4. 前記背景画像記憶手段に記憶された前記背景画像の各部位の奥行き情報を、前記各部位を識別する部位識別情報と関連付けて記憶するか、または前記各部位の並び順に従って並べて記憶する奥行き情報記憶手段と、
   前記配置位置入力受付処理手段により受け付けた前記配置位置に対応する前記背景画像の部位についての前記奥行き情報を、前記部位識別情報をキーとして、または前記並び順に基づき、前記奥行き情報記憶手段から抽出する処理を実行する奥行き情報抽出処理手段と、
   この奥行き情報抽出処理手段により抽出した前記奥行き情報を用いて、前記合成対象画像を前記背景画像に合成する際の前記合成対象画像の拡大または縮小の倍率を算出する処理を実行する合成対象画像倍率算出処理手段とを備え、
   前記合成処理手段は、
   前記眼数決定処理手段により決定した前記眼数の前記合成対象画像を、前記カメラにより撮影して若しくは前記３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて前記合成対象画像記憶手段に記憶された複数種類の眼数の前記合成対象画像の中から取得するか、または前記元画像から生成し、かつ、前記合成対象画像倍率算出処理手段により算出した前記倍率で拡大または縮小した状態で、前記配置位置入力受付処理手段により受け付けた前記配置位置に配置して前記背景画像記憶手段に記憶された前記背景画像に合成することにより、前記印刷用の立体画像を生成する処理を実行する構成とされている
   ことを特徴とする請求項２に記載の立体画像生成装置。
5. 前記合成対象画像または前記元画像に描かれた合成対象の原寸のサイズ情報を記憶する合成対象サイズ記憶手段を備え、
   前記合成対象画像倍率算出処理手段は、
   前記奥行き情報抽出処理手段により抽出した前記奥行き情報、および前記合成対象サイズ記憶手段に記憶された前記合成対象の原寸のサイズ情報を用いて、前記合成対象画像を前記背景画像に合成する際の前記合成対象画像の拡大または縮小の倍率を算出する処理を実行する構成とされている
   ことを特徴とする請求項３または４に記載の立体画像生成装置。
6. 被写体を撮影するカメラと、
   このカメラにより撮影した前記被写体を含む画像から前記被写体を切り出して前記合成対象画像としての被写体画像を生成する処理を実行する被写体切出処理手段と、
   この被写体切出処理手段により切り出された前記被写体画像の画像サイズから、前記被写体の原寸のサイズ情報を算出する処理を実行する被写体サイズ算出処理手段とを備え、
   前記合成対象画像倍率算出処理手段は、
   前記奥行き情報抽出処理手段により抽出した前記奥行き情報、および前記被写体サイズ算出処理手段により算出した前記被写体の原寸のサイズ情報を用いて、前記合成対象画像としての前記被写体画像を前記背景画像に合成する際の前記被写体画像の拡大または縮小の倍率を算出する処理を実行する構成とされている
   ことを特徴とする請求項３または４に記載の立体画像生成装置。
7. 被写体を撮影するカメラと、
   このカメラにより撮影した前記被写体を含む画像から前記被写体を切り出して前記合成対象画像としての被写体画像を生成する処理を実行する被写体切出処理手段と、
   前記被写体またはオペレータによる前記被写体の原寸のサイズ情報の入力を受け付ける処理を実行する被写体サイズ入力受付処理手段とを備え、
   前記合成対象画像倍率算出処理手段は、
   前記奥行き情報抽出処理手段により抽出した前記奥行き情報、および前記被写体サイズ入力受付処理手段により受け付けた前記被写体の原寸のサイズ情報を用いて、前記合成対象画像としての前記被写体画像を前記背景画像に合成する際の前記被写体画像の拡大または縮小の倍率を算出する処理を実行する構成とされている
   ことを特徴とする請求項３または４に記載の立体画像生成装置。
8. 前記被写体またはオペレータが前記背景画像への前記合成対象画像の前記配置位置を入力する操作を行うための入力手段と、
   前記背景画像に前記合成対象画像を合成した状態を画面表示により確認するための確認用ディスプレイと、
   前記眼数決定処理手段により決定した前記眼数若しくは確認表示用として予め定められた眼数の前記合成対象画像を、前記カメラにより撮影して若しくは前記３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて前記合成対象画像記憶手段に記憶された複数種類の眼数の前記合成対象画像の中から取得するか、または前記元画像から生成し、取得または生成した前記眼数の前記合成対象画像を、前記配置位置入力受付処理手段により受け付けた前記配置位置に配置して前記背景画像記憶手段に記憶された前記背景画像に合成することにより、前記確認用ディスプレイに画面表示させる確認表示用の立体画像を生成する処理を実行する確認用画像生成処理手段と、
   前記合成処理手段により生成された前記印刷用の立体画像を印刷する印刷装置と
   を備えたことを特徴とする請求項６または７に記載の立体画像生成装置。
9. 前記入力手段は、タッチパネルであり、
   前記配置位置入力受付処理手段は、
   前記タッチパネルと一体化された操作用ディスプレイに前記背景画像記憶手段に記憶された前記背景画像を画面表示するとともに、前記タッチパネルからの入力信号を用いて前記配置位置に対応する前記背景画像の部位を特定する処理を実行する構成とされ、
   前記確認用画像生成処理手段は、
   前記カメラ若しくは確認表示専用の別のカメラにより撮影してまたは前記３次元コンピュータ・グラフィクスデータをレンダリングして得られた１眼の前記合成対象画像を、前記配置位置入力受付処理手段により受け付けた前記配置位置に配置して前記背景画像記憶手段に記憶された前記背景画像に合成することにより、リアルタイム確認表示用の２Ｄ画像を定期的に繰り返し生成する処理と、
   前記眼数決定処理手段により決定した前記眼数若しくは確認表示用として予め定められた眼数の前記合成対象画像として、２眼若しくは多眼の前記合成対象画像を、前記カメラにより撮影して若しくは前記３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて前記合成対象画像記憶手段に記憶された複数種類の眼数の前記合成対象画像の中から取得するか、または前記元画像から生成し、取得または生成した２眼若しくは多眼の前記合成対象画像を、前記配置位置入力受付処理手段により受け付けた前記配置位置に配置して前記背景画像記憶手段に記憶された前記背景画像に合成することにより、前記確認表示用の立体画像を生成する処理と
   を切り替えて実行する構成とされている
   ことを特徴とする請求項８に記載の立体画像生成装置。
10. 前記合成処理手段は、
    前記眼数決定処理手段により決定した前記眼数の前記合成対象画像としての前記被写体画像を、前記カメラにより撮影して得られた元画像から予め生成されて前記合成対象画像記憶手段に記憶された複数種類の眼数の前記被写体画像の中から取得するか、または前記元画像から生成し、かつ、９０度回転させた状態で、前記配置位置入力受付処理手段により受け付けた前記配置位置に配置して前記背景画像記憶手段に記憶された前記背景画像に合成することにより、前記印刷用の立体画像を生成する処理を実行する構成とされている
    ことを特徴とする請求項６〜９のいずれかに記載の立体画像生成装置。
11. 前記合成処理手段は、
    前記眼数決定処理手段により決定した前記眼数の前記合成対象画像を、前記カメラにより撮影して若しくは前記３次元コンピュータ・グラフィクスデータをレンダリングして得られた元画像から予め生成されて前記合成対象画像記憶手段に記憶された複数種類の眼数の前記合成対象画像の中から取得するか、または前記元画像から生成し、かつ、前記合成対象画像倍率算出処理手段により算出した前記倍率で拡大または縮小し、かつ、前記奥行き情報抽出処理手段により抽出した前記奥行き情報に応じたぼかし量でぼかした状態で、前記配置位置入力受付処理手段により受け付けた前記配置位置に配置して前記背景画像記憶手段に記憶された前記背景画像に合成することにより、前記印刷用の立体画像を生成する処理を実行する構成とされている
    ことを特徴とする請求項３〜１０のいずれかに記載の立体画像生成装置。
12. 請求項１〜１１のいずれかに記載の立体画像生成装置として、コンピュータを機能させるためのプログラム。

Images