JP5060231B2 - 画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラム - Google Patents

画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラム Download PDF

Info

Publication number
JP5060231B2
JP5060231B2 JP2007245726A JP2007245726A JP5060231B2 JP 5060231 B2 JP5060231 B2 JP 5060231B2 JP 2007245726 A JP2007245726 A JP 2007245726A JP 2007245726 A JP2007245726 A JP 2007245726A JP 5060231 B2 JP5060231 B2 JP 5060231B2
Authority
JP
Japan
Prior art keywords
image
eye
eye image
shadow
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007245726A
Other languages
English (en)
Other versions
JP2009077276A (ja
Inventor
茂樹 遠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Namco Ltd
Bandai Namco Entertainment Inc
Original Assignee
Namco Ltd
Namco Bandai Games Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namco Ltd, Namco Bandai Games Inc filed Critical Namco Ltd
Priority to JP2007245726A priority Critical patent/JP5060231B2/ja
Publication of JP2009077276A publication Critical patent/JP2009077276A/ja
Application granted granted Critical
Publication of JP5060231B2 publication Critical patent/JP5060231B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラムに関する。
従来より、左目に相当するカメラで撮った左目用の画像と、右目に相当するカメラで撮った右目用の画像とを用意し、これらの画像をアナグリフ(anaglyph)処理などにより合成し、立体視用画像(立体視用印刷物)を得る技術が知られている。このような立体視手法の従来技術としては例えば特許文献1、2がある。
特開2000−56411号公報 特開平2004−178579号公報
しかしながら、従来の立体視手法では、立体視の対象となる1つの被写体(物体、オブジェクト)を、左目用カメラ、右目用カメラで1回だけ撮影して、立体視用画像を作成していた。即ち、異なる被写体を別撮りして合成することは行われていなかった。これは、第1の被写体を撮影して得られた立体視用画像と第2の被写体を撮影して得られた立体視用画像を単純に合成するだけでは、適正な合成画像を得ることができないからである。
本発明の幾つかの態様によれば、第1、第2の物体についての立体視用画像を適正に合成できる画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラムを提供できる。
本発明は、立体視用画像を生成するための画像生成方法であって、第1の物体についての第1の左目用画像と第1の右目用画像を取得し、第2の物体についての第2の左目用画像と第2の右目用画像を取得し、取得された前記第1の左目用画像と前記第2の左目用画像を合成して第3の左目用画像を生成し、取得された前記第1の右目用画像と前記第2の右目用画像を合成して第3の右目用画像を生成し、生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、前記立体視用画像を生成する画像生成方法に関係する。
本発明によれば、第1の物体についての第1の左目用画像と第2の物体についての第2の左目用画像が合成されて、第3の左目用画像が生成される。また、第1の物体についての第1の右目用画像と第2の物体についての第2の右目用画像が合成されて、第3の右目用画像が生成される。そして、生成された第3の左目用画像と第3の右目用画像に基づいて、立体視用画像が生成される。このようにすれば、第1、第2の物体についての立体視用画像を適正に合成して、第1、第2の物体の両方の立体視について適正に表現された立体視用画像を得ることが可能になる。
また本発明では、前記第1の左目用画像が格納されるレイヤと前記第2の左目用画像が格納されるレイヤとをレイヤ合成して、前記第3の左目用画像を生成し、前記第1の右目用画像が格納されるレイヤと前記第2の右目用画像が格納されるレイヤとをレイヤ合成して、前記第3の右目用画像を生成してもよい。
このようにすれば、レイヤ合成を利用して、左目用画像と右目用画像を独立に合成できるようになる。
また本発明では、前記第1の左目用画像のうち前記第1の物体の画像以外の画像をトリミングすると共に、前記第2の左目用画像のうち前記第2の物体の画像以外の画像をトリミングし、トリミング後の前記第1の左目用画像が格納されるレイヤとトリミング後の前記第2の左目用画像が格納されるレイヤとをレイヤ合成し、前記第1の右目用画像のうち前記第1の物体の画像以外の画像をトリミングすると共に、前記第2の右目用画像のうち前記第2の物体の画像以外の画像をトリミングし、トリミング後の前記第1の右目用画像が格納されるレイヤとトリミング後の前記第2の右目用画像が格納されるレイヤとをレイヤ合成してもよい。
このようなトリミングを行えば、第1、第2の物体に上下関係がある場合に、これらの第1、第2の物体の画像の適正な合成が可能になる。
また本発明では、基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第1の左目用画像、前記第1の右目用画像、前記第2の左目用画像、前記第2の右目用画像に対して行い、補正処理後の前記第1の左目用画像と補正処理後の前記第2の左目用画像を合成して、前記第3の左目用画像を生成し、補正処理後の前記第1の右目用画像と補正処理後の前記第2の右目用画像を合成して、前記第3の右目用画像を生成してもよい。
このような基準面での画像(例えば基準面自体の画像や、基準面に接する部分での物体画像等)のパースペクティブを無くすための補正処理を行えば、ピント調整や奥行き感の矛盾が少なく、リアルで自然な立体視を実現できる。
また本発明では、前記第1の左目用画像、前記第1の右目用画像に対して両眼視差調整を行って、立体視における前記第1の物体についての基準面の高さ調整を行ってもよい。
このようにすれば、第1の左目用画像、第1の右目用画像を取得した後、これらの画像に映る第1の物体についての基準面の高さを任意に調整することができ、立体視における微調整や多様な立体視表現を実現できる。
また本発明では、前記両眼視差調整は、前記第1の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第1の右目用画像を、前記一方とは異なる他方の方向にずらす処理であってもよい。
このようにすれば、第1の左目用画像、第1の右目用画像を左方向又は右方向へずらすだけで、両眼視差調整を実現でき、調整を簡素化できる。
また本発明では、前記第2の左目用画像、前記第2の右目用画像に対して両眼視差調整を行って、立体視における前記第2の物体についての基準面の高さ調整を行ってもよい。
このようにすれば、第2の左目用画像、第2の右目用画像を取得した後、これらの画像に映る第2の物体についての基準面の高さを任意に調整することができ、立体視における微調整や多様な立体視表現を実現できる。
また本発明では、前記両眼視差調整は、前記第2の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第2の右目用画像を、前記一方とは異なる他方の方向にずらす調整であってもよい。
このようにすれば、第2の左目用画像、第2の右目用画像を左方向又は右方向へずらすだけで、両眼視差調整を実現でき、調整を簡素化できる。
また本発明では、前記第2の物体は、前記第1の物体の上方に浮遊する物体であってもよい。
また本発明では、前記第2の物体の影についての左目用影画像と右目用影画像を生成し、前記第1の左目用画像と前記第2の左目用画像と前記左目用影画像を合成して前記第3の左目用画像を生成し、前記第1の右目用画像と前記第2の右目用画像と前記右目用影画像を合成して前記第3の右目用画像を生成してもよい。
このようにすれば、第2の物体の影についても表現された立体視用画像を生成でき、立体視用画像の品質やリアル度を向上できる。
また本発明では、前記第2の物体の影が落ちる場所での両眼視差情報を、前記第1の左目用画像と前記第1の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行ってもよい。
このようにすれば、立体視時に第1の物体から浮いた位置に影が見えてしまう事態を防止でき、より自然でリアルな影が表現された立体視を実現できる。
また本発明では、前記第2の物体の高さ情報に基づいて、前記左目用影画像と前記右目用影画像のぼかし処理を行ってもよい。
このようにすれば、高さに応じてぼかし具合が変化する影が表現されたリアルな立体視用画像を提供できる。
また本発明では、生成された前記第3の左目用画像と前記第3の右目用画像のアナグリフ処理を行って、前記立体視用画像を生成してもよい。
なおアナグリフ以外の手法の立体視用画像を生成してもよい。
また本発明では生成された前記立体視用画像に対して、両眼視差の無い画像を更に合成してもよい。
このようにすれば、両眼視差の無いロゴや文字などの画像が表現された立体視用画像を提供できる。
また本発明は、上記のいずれに記載の画像生成方法で生成された立体視用画像が印刷された立体視用印刷物に関係する。
また本発明は、立体視用印刷物の製造方法であって、第1の物体についての第1の左目用画像と第1の右目用画像を取得し、第2の物体についての第2の左目用画像と第2の右目用画像を取得し、基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第1の左目用画像、前記第1の右目用画像、前記第2の左目用画像、前記第2の右目用画像に対して行い、補正処理後の前記第1の左目用画像が格納されるレイヤと補正処理後の前記第2の左目用画像が格納されるレイヤとをレイヤ合成して、第3の左目用画像を生成し、補正処理後の前記第1の右目用画像が格納されるレイヤと補正処理後の前記第2の右目用画像が格納されるレイヤとをレイヤ合成して、第3の右目用画像を生成し、生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、立体視用印刷物を作成する立体視用印刷物の製造方法に関係する。
また本発明は、上記に記載の製造方法により作成された立体視用印刷物に関係する。
また本発明は、上記に記載の製造方法により作成された立体視用印刷物を複製することで作成された立体視用印刷物に関係する。
また本発明は、立体視のためのプログラムであって、第1の物体についての第1の左目用画像と第1の右目用画像を取得し、第2の物体についての第2の左目用画像と第2の右目用画像を取得し、取得された前記第1の左目用画像と前記第2の左目用画像を合成して第3の左目用画像を生成し、取得された前記第1の右目用画像と前記第2の右目用画像を合成して第3の右目用画像を生成し、生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、前記立体視用画像を生成する手順を、コンピュータに実行させるプログラムに関係する。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の立体視手法
図1に本実施形態の立体視手法(立体視用画像生成手法)を説明するためのフローチャートを示す。
まず、第1の物体OB1についての第1の左目用画像IL1、第1の右目用画像IR1を取得する(ステップS1)。具体的には、図2(A)に示すように基準面BSに物体OB1を配置(設定)する。例えば被写体となる物体OB1(オブジェクト、ベース物体、ベースオブジェクト)を基準面BSとなる台(白い台紙が置かれた台)の上に置く。そして左目用視点位置VPLから見える左目用画像IL1と、右目用視点位置VPRから見える右目用画像IR1を取得する。
ここで左目用、右目用視点位置VPL、VPRは、観者(viewer)の左目、右目の位置として想定される位置である。例えば、カメラ(デジタルカメラ等)による実写により左目用、右目用画像IL1、IR1を作成する場合には、これらのVPL、VPRの位置にカメラを配置して、左目用、右目用画像IL1、IR1を撮影する。この場合、2台のカメラをVPL、VPRに配置して同時に撮影してもよいし、1台のカメラの位置を変えて撮影してもよい。一方、CG(Computer Graphics)画像やゲーム画像(リアルタイム動画像)を生成するシステムにより左目用、右目用画像IL1、IR1を生成する場合には、これらのVPL、VPRの位置に仮想カメラ(広義にはカメラ)を配置して左目用、右目用画像IL1、IR1を生成する。即ち、オブジェクト空間においてVPL、VPRから見える画像を生成する。
なお基準面BSは、例えば視線方向SL(視点位置と注視点を結ぶ方向)に対して斜め方向となる面であり、視線方向SLに直交しない面である。即ち基準面BSは、視線方向SLに常に直交する透視投影スクリーンとは異なる面である。この基準面BSは、立体視時において立体視用印刷物を載置する面に対応する。この基準面は2つに限定されず、3つ以上の基準面(連結された複数の基準面)を用いてもよい。
次に、第2の物体OB2についての第2の左目用画像IL2、第2の右目用画像IR2を取得する(ステップS2)。具体的には、図2(B)に示すように基準面BSに第2の物体OB2を配置(設定)する。例えば被写体となる物体OB2(オブジェクト、浮遊物体、浮遊オブジェクト)を基準面BSとなる台(白い台紙が置かれた台)の上に置く。そして左目用視点位置VPLから見える左目用画像IL2と、右目用視点位置VPRから見える右目用画像IR2を取得する。例えば、カメラによる実写により左目用、右目用画像IL2、IR2を作成する場合には、これらのVPL、VPRの位置にカメラを配置して、左目用、右目用画像IL2、IR2を撮影する。一方、CG画像やゲーム画像を生成するシステムにより左目用、右目用画像IL2、IR2を生成する場合には、これらのVPL、VPRの位置に仮想カメラを配置して左目用、右目用画像IL2、IR2を生成する。
次に図3のA1に示すように、ステップS1で取得された物体OB1についての左目用画像IL1と、ステップS2で取得された物体OB2についての左目用画像IL2を合成して、第3の左目用画像IL3を生成(作成、取得)する(ステップS3)。
具体的には、例えば、左目用画像IL1が格納されるレイヤ(第1の左目用レイヤ)と、左目用画像IL2が格納されるレイヤ(第1の左目用レイヤの上層の第2の左目用レイヤ)とを、レイヤ合成(統合)して、左目用画像IL3を生成する。更に具体的には、左目用画像IL1のうち物体OB1の画像以外の画像をトリミングすると共に、左目用画像IL2のうち物体OB2の画像以外の画像をトリミングし、トリミング後の左目用画像IL1が格納されるレイヤと、トリミング後の左目用画像IL2が格納されるレイヤを、レイヤ合成する。
次に図3のA2に示すように、ステップS1で取得された物体OB1についての右目用画像IR1と、ステップS2で取得された物体OB2についての右目用画像IR2を合成して、第3の右目用画像IR3を生成(作成、取得)する(ステップS4)。
具体的には、例えば、右目用画像IR1が格納されるレイヤ(第1の右目用レイヤ)と、右目用画像IR2が格納されるレイヤ(第1の右目用レイヤの上層の第2の右目用レイヤ)とを、レイヤ合成(統合)して、右目用画像IR3を生成する。更に具体的には、右目用画像IR1のうち物体OB1の画像以外の画像をトリミングすると共に、右目用画像IR2のうち物体OB2の画像以外の画像をトリミングし、トリミング後の右目用画像IR1が格納されるレイヤと、トリミング後の右目用画像IR2が格納されるレイヤを、レイヤ合成する。
次に図3のA3に示すように、ステップS3で生成された左目用画像IL3と、ステップS4で生成された右目用画像IR3に基づいて、立体視用画像ISTを生成(作成)する(ステップS5)。具体的には、例えば、左目用画像IL3と右目用画像IR3とに基づきアナグリフ処理などを行って立体視用画像ISTを生成する。
そして図1のステップS5で生成された立体視用画像を、インクジェット方式やレーザプリンタ方式などのカラープリンタ(広義には印刷機)を用いて、印刷媒体に印刷することで、立体視用印刷物を製造できる。なお、カラープリンタ(印刷機)により印刷された原盤となる立体視用印刷物を複製することで、立体視用印刷物を製造してもよい。このようにすれば、立体視用印刷物を短期間で大量に製造できるという利点がある。
そしてこのように製造された立体視用印刷物を、例えば左目に赤色フィルタ(赤以外のフィルタでもよい)が設けられ、右目に青色(ターコイズ色)フィルタ(青以外のフィルタでもよい)が設けられた立体視用眼鏡で見ることで、立体視を実現できる。なお、印刷物にレンチキュラーレンズを設けたり、印刷媒体としてレンチキュラーレンズを用いることで、立体視を実現してもよい。
また立体視用画像を、画像生成システムの表示部に表示すれば、ゲーム画像(動画像)のリアルタイム生成が可能になる。なお、この場合に、アナグリフ処理等により得られた立体視用画像を直接に表示部に表示し、これを色フィルタ(赤、青)が設けられた眼鏡(広義には器具)を用いて見るようにしてもよい。或いは、左目用、右目用画像IL3、IR3を異なるフレームで例えば交互に表示部に表示し、これを液晶シャッタ等が設けられた眼鏡を用いて見るようにしてもよい。或いは画像生成システムの表示部にレンチキュラーレンズを設けて、立体視を実現してもよい。
以上の本実施形態の立体視手法によれば、図2(A)、図2(B)に示すように、カメラ等により別個に取得(撮影)した物体OB1とOB2の画像を合成して、これらの物体OB1、OB2が立体的に映る立体視用画像を生成できる。
例えば図2(A)では、物体OB1はベースとなる物体として想定され、物体OB2は物体OB1の上方に浮かぶ浮遊物体として想定されている。具体的には、物体OB2を、支え棒等により支えることで浮遊させて、物体OB2を撮影する。この場合に、左目用画像IL2、右目用画像IR2には、物体OB2の他に、支え棒やOB2の影SDが撮影されるようになる。
このように、ベースとなる物体OB1の上方に物体OB2が浮遊している様子を表現する立体視用画像を、1回の撮影だけで生成することは困難である。このため図2(A)、図2(B)では、物体OB1についての撮影と物体OB2についての撮影を2回に分けている。
この場合、例えば図2(A)で得られた左目用画像IL1、右目用画像IR1により第1の立体視用画像を生成し、図2(B)で得られた左目用画像IL2、右目用画像IR2により第2の立体視用画像を生成し、これらの第1、第2の立体視用画像を合成しても、物体OB1、OB2についての適正な立体視を実現できないことが判明した。
そこで本実施形態では、まず、図2(A)で得られた左目用画像IL1と図2(B)で得られた左目用画像IL2を合成する。また図2(A)で得られた右目用画像IR1と図2(B)で得られた右目用画像IR2を別個に合成する。そして図3のA1、A2、A3に示すように、合成により得られた左目用画像IL3と右目用画像IR3に基づいて、立体視用画像ISTを生成する。即ち、それぞれの物体OB1、OB2の画像ごとに左右別々にレイヤにしたものを、左右別々に統合してからアナグリフ処理を行う。
このようにすれば、物体OB1、OB2の両方が映った適正な立体視用画像を得ることが可能になる。即ち物体OB1、OB2の両方の立体視について適正に表現された立体視用画像を得ることできる。また、例えば物体OB1の上に浮遊する物体OB2のように、1回の撮影では生成することが難しい立体視用画像の生成も可能になる。
2.補正処理
本実施形態では左目用画像、右目用画像に対して以下のような補正処理を行うことが望ましい。具体的には、基準面BSでの画像のパースペクティブ(遠近感)を無くすための補正処理を、図1のステップS1で取得された左目用画像IL1、右目用画像IR1や、ステップS2で取得された左目用画像IL2、右目用画像IR2に対して行う。そしてステップS3では、補正処理後の左目用画像IL1と補正処理後の左目用画像IL2を合成して、左目用画像IL3を生成する。またステップS4では、補正処理後の右目用画像IR1と補正処理後の右目用画像IR2を合成して、右目用画像IR3を生成する。
ここで、本実施形態におけるパースペクティブを無くす補正処理とは、例えば基準面BSでの画像の少なくとも奥行き方向でのパースペクティブを無くす補正処理である。この補正処理は輻輳角の補正処理を含んでもよい。より具体的には、この補正処理は、図4(A)に示すように、基準面BS自体の画像や、基準面に描かれている画像IM1や、物体OB1、OB2(オブジェクト)の画像のうち基準面BSに接する部分の画像についてのパースペクティブ(奥行き感)を無くす処理である。即ち図4(A)のB1では、視点から奥側に行くほど、頂点間の距離が狭まるが、図4(A)のB2では、視点から奥側に行っても、頂点間の距離が変わらない。このような補正処理を行うことで、基準面BSの画像については、あたかも真上から見たような画像が作成(生成)されるようになる。なお、この補正処理により、パースペクティブが完全に厳密に無くなる必要はなく、立体視に違和感が生じない程度にパースペクティブが無くなればよい。
例えば従来の一般的な立体視手法では図4(B)に示すように、立体視用印刷物PM(或いは表示部の表示画面。他の説明でも同様)を、その面が鉛直面に対して平行になるように配置し、観者が、立体視用印刷物PMを正対して見ることが想定されていた。
この点、図4(A)の補正処理を行う立体視手法では、図4(C)に示すように、観者が、立体視用印刷物PM(表示画面)を机などの載置面(基準面BSに対応する面)に配置して斜めから見ることを想定している。即ち、このような配置がデフォルトの配置となる。そして、このように水平面に平行に立体視用印刷物PMを配置した場合に、補正処理を行わないと、遠近感に矛盾が生じる。
そこで図4(A)では、基準面の画像の少なくとも奥行き方向でのパースペクティブを無くす補正処理を行う。そして基準面でのパースペクティブを無くした補正後の画像に基づいて、アナグリフ処理等を行い、立体視用印刷物PMを作成し、作成された立体視用印刷物PMを図4(C)のように水平面に平行に配置すれば、基準面の画像には適正なパースペクティブがつくようになる。また、図4(C)のように配置すれば、立体視用印刷物PMの面上の各点の焦点距離が同一ではなく異なるようになる。このため、ピント調整についても現実世界のピント調整と近いものになる。従って、ピント調整と、両眼視差や輻輳との間の関係のずれも軽減され、より自然で、実在感のある立体視を実現できる。
3.アナグリフ処理
次にアナグリフ処理について簡単に説明する。アナグリフ処理では、1枚の印刷媒体に、左目用画像と右目用画像を色を変えて印刷して、立体視用印刷物を作成する。そしてこの立体視用印刷物を、左右の目で異なる色フィルタ(例えば左目が赤、右目が青)を介して見る。この時に、左目では左目用画像だけが見え、右目では右目用画像だけが見えるようになり、立体視が実現される。
例えばモノクロのアナグリフ処理では、左目用画像IL3をグレースケールに変換する。そして変換後の画像データをアナグリフ画像(RGB)のRチャンネルにコピーする。次に、右目用画像IR3をグレースケールに変換する。そして変換後の画像データを、アナグリフ画像(RGB)のGチャンネルとBチャンネルにコピーする。これにより、モノクロのアナグリフ画像が作成される。なお、右目用画像をBチャンネルだけにコピーするようにしてもよい。
またカラーのアナグリフ処理では、レイヤ統合により得られた左目用画像IL3のRチャンネルを、同じくレイヤ統合により得られた右目用画像IR3のRチャネルにコピー(上書き)する。そしてこのようにIL3がRチャネルにコピーされた右目用画像IR3が、立体視用画像ISTであるアナグリフ完成画像になる。
なお、立体視の実現手法は、少なくとも、左目用画像と右目用画像を用いて実現されるものであればよく、アナグリフ処理に限定されない。例えばレンチキュラーレンズと呼ばれる特殊なレンズを使って、左目には左目用画像の像だけが入り、右目には右目用画像の像だけが入るようにして、立体視を実現してもよい。
また左目用画像、右目用画像の前に偏光板を配置し、左目用画像の前に置かれた偏光板と右目用画像の前に置かれた偏光板とで、偏向方向を異ならせておく。そして、それに応じた偏向方向を持つ偏光板をレンズ部分に取り付けた眼鏡を観者がかけることで、立体視を実現してもよい。
また左目用画像と右目用画像を、例えばフレームを異ならせて交互に表示する。そして左目用画像の表示に同期して開く左目用のシャッター(例えば液晶シャッター)と、右目用画像の表示に同期して開く右目用のシャッターが設けられた眼鏡を観者がかけることで、立体視を実現してもよい。
4.詳細例
次に本実施形態の立体視手法の詳細例について、図5、図6のフローチャート等を用いて説明する。なお本実施形態の立体視手法はこの詳細例に限定されるものではない。
まず、ベース物体(OB1)の左目用画像IL1と右目用画像IR1を撮影する(ステップS11)。図7にベース物体の左目用画像IL1の例を示し、図8にベース物体の右目用画像IR1の例を示す。図7、図8においてベース物体は楕円状の物体になっている。
次に、浮遊物体(OB2)の左目用画像IL2と右目用画像IR2を撮影する(ステップS12)。図9に浮遊物体の左目用画像IL2の例を示し、図10に浮遊物体の右目用画像IR2の例を示す。図9、図10において浮遊物体はガムなどの物体である。
次に、基準面での画像のパースペクティブを無くすための補正処理をベース物体の左目用画像IL1、右目用画像IR1に対して行う(ステップS13)。即ち図4(A)で説明した補正処理を行う。そして補正処理後の左目用画像IL1、右目用画像IR1のうちベース物体の画像以外の画像をトリミングする(ステップS14)。即ちベース物体の画像以外の画像を切り取って、ベース物体の画像のみを残す。
次に、補正処理後の浮遊物体のIL2やIR2の画像を参考にして、影画像を作成する(ステップS15)。即ち図9、図10に示すように、浮遊物体の左目用画像IL2、右目用画像IR2では、その浮遊物体の影も撮影されている。これらの撮影された影を参考にして、図11に示すような影画像(複数の影が映った影画像)を作成する。
このような影画像を作成した後に、補正処理後の左目用画像IL2、右目用画像IR2のうち浮遊物体の画像以外の画像をトリミングする(ステップS16)。即ち図12に示すように、浮遊物体の画像以外の画像(下地の画像、影画像等)を切り取って、浮遊物体の画像のみを残す。
次に、ベース物体の左目用画像IL1と浮遊物体の左目用画像IL2をレイヤ合成して作成した左目用画像IL3と、ベース物体の右目用画像IR1と浮遊物体の右目用画像IR2をレイヤ合成して作成した右目用画像IR3に基づいて、アナグリフ処理を行い、確認用の立体視用画像を作成する(ステップS17)。そして確認用の立体視用画像を参考にして、左目用画像と右目用画像の左右のずれ具合の調整(両眼視差調整)を行い、立体視における高さ、位置の調整を行う(ステップS18)。そして、適正な高さ、位置になるまで調整を繰り返す(ステップS19)。なおこれらの調整の詳細については後述する。
調整が完了すると、作成された影画像のうちベース物体上の1個の影の画像を、左目用、右目用の各レイヤに挿入する(ステップS20)。そして影が落ちる場所でのベース物体の左目用画像、右目用画像の左右のずれ幅(両眼視差情報)を取得する(ステップS21)。そして取得された左右のずれ幅に基づいて左目用、右目用の影画像を右方向又は左方向に移動して両眼視差調整を行う(ステップS22)。この際に照明方向も考慮する。
次に、浮遊物体の高さ情報に応じたぼかし処理を影画像に対して行う(ステップS23)。そしてベース物体上の全ての影に対して、ステップS20〜S23の処理を行う(ステップS24)。なお、これらの影画像の生成、調整の詳細については後述する。
次に、背景画像を背景用のレイヤに挿入する(ステップS25)。図13に、左目用画像IL1、IL2に対して背景画像を挿入した画像例を示す。図13では、背景画像に対してグラディエーション処理が施されている。
次に、背景上の影の画像について両眼視差調整やぼかし処理を行う(ステップS26)。例えば背景上の影については、ベース物体上の影の最大ずらし幅で、左方向又は右方向にずらす。図14に、立体視の高さ調整や影の処理が完了し、レイヤ合成された左目用画像IL3の例を示し、図15に、立体視の高さ調整や影の処理が完了し、レイヤ合成された右目用画像IR3の例を示す。
次に、図14のレイヤ合成後の左目用画像IL3と図15のレイヤ合成後の右目用画像IR3に基づいてステップS17と同様の処理を行い、アナグリフ処理により立体視用画像ISTを作成する(ステップS27)。図16に、作成された立体視用画像ISTの例を示す。図16の立体視用画像ISTは、図14の左目用画像IL3のR(赤)チャネルを、図15の右目用画像IR3のRチャネルにコピー(上書き)することで、作成できる。
最後に、ステップS27で作成された立体視用画像ISTに対して、両眼視差の無いロゴや文字などの画像を合成する(ステップS28)。図17にロゴや文字の画像の合成後の立体視用画像ISTの例を示す。
5.調整処理
次に図5のステップS17〜S19の調整処理について具体的に説明する。
図18(A)はベースの物体OB1をカメラで撮影した時の様子を示す図である。図18(A)ではベース物体OB1を基準面BSに置いてカメラで撮影しているため、基準面BSはC1に示す高さになっている。
一方、図17に示すようなロゴや文字などの画像(以下、ロゴ画像と呼ぶ)を合成した場合に、ロゴ画像には両眼視差が無いため(左目用と右目用が同一画像であるため)、立体視時には、ロゴ画像は図18(A)のC1に示す基準面BSの高さに存在しているように見える。従って、想定している位置よりも低い位置にロゴ画像が見えてしまい、自然でインパクトのあるロゴ画像を生成できないという課題がある。
このような課題を解決するために、図5のステップS17〜S19では両眼視差の調整処理を行っている。例えば物体OB1の左目用画像IL1、右目用画像IR1に対して両眼視差調整を行って、立体視における物体OB1についての基準面の高さ調整を行う。具体的には、図18(B)のC2に示すように、図18(A)のC1に示す撮影時の基準面BSよりも上方に基準面BS’が設定されるように、両眼視差の調整処理を行う。
このようにすれば図17に示すロゴ画像が、立体視時に、図18(B)のC2に示す基準面BS’の高さに存在してるように見えるようになり、自然でインパクトのあるロゴ画像を生成できる。
なお図18(A)、図18(B)では、ベース物体OB1の基準面の高さ調整について説明したが、浮遊物体OB2の基準面の高さ調整を行ってもよい。この場合には、左目用画像IL2、右目用画像IR2に対して両眼視差調整を行って、物体OB2の立体視における基準面からの高さ調整を行う。このようにすれば、物体OB2が浮遊する高さについても調整することが可能になり、より高品質な立体視用画像を生成できる。
またこの場合の両眼視差調整は、図18(C)に示すように、左目用画像IL(IL1、IL2)を、左方向又は右方向のいずれか一方の方向にずらし、右目用画像IR(IR1、IR2)を、一方とは異なる他方の方向にずらすことで実現できる。
例えば物体OB(OB1、OB2)を高い位置に移動する調整を行う場合(基準面を低くする調整を行う場合)には、左目用画像ILを右方向にずらし、右目用画像IRを左方向にずらせばよい。一方、物体OBを低い位置に移動する調整を行う場合(基準面を高くする調整を行う場合)には、左目用画像ILを左方向にずらし、右目用画像IRを右方向にずらせばよい。
例えば従来の一般的な立体視手法において、このような左右方向のずらし幅の調整を行っても、適正な両眼視差調整を実現できない。即ち従来の立体視手法により適正な立体視用画像を得るためには、例えば上下方向のずらし幅の調整等も必要になり、両眼視差調整が複雑になる。
これに対して、図4(A)の手法では、両眼視差は左右方向のずらし幅で決まるため、左右方向のずらし幅を調整するだけで、適正な両眼視差調整を実現できる。従って、図2(A)、図2(B)に示すように、複数回のカメラ撮影で得られた画像を合成した立体視用画像を生成する場合に、物体OB1、OB2間の立体視における高さ調整を簡素に実現できるという利点がある。
なおロゴ画像(ロゴ、文字の画像)として両眼視差のある画像を用いてもよい。具体的には左目用ロゴ画像と右目用ロゴ画像を用意する。そして左目用ロゴ画像と第1、第2の左目用画像IL1、IL2を合成(レイヤ合成)して、第3の左目用画像IL3を生成し、右目用ロゴ画像と第1、第2の右目用画像IR1、IR2を合成(レイヤ合成)して、第3の右目用画像IR3を生成する。このようにすれば、ロゴや文字についても立体的に見える立体視用画像を生成できる。
6.影画像
図2(B)に示すように浮遊する物体OB2の立体視用画像を生成する場合には、物体OB2の影SDについてもリアルに表現できることが望まれる。
しかしながら物体OB2の撮影時には、物体OB2の支え棒についても撮影されてしまい、この支え棒が邪魔になって影SDの画像の一部が欠けてしまう場合がある。また図18(A)〜図18(C)に示すような基準面の高さ調整等を行うと、立体視における物体OB1、OB2間の高さ関係も変化してしまう。従って、図2(B)で撮影した影SDの画像を、そのまま使用することはできないという課題がある。
そこで図6のステップS20〜S24、S26では、種々の調整処理を行いながら影画像を生成している。
例えば本実施形態では物体OB2の影についての左目用影画像ISLと右目用影画像ISRを生成する。具体的には図6のステップS20に示すように、例えば影の画像を左目用、右目用の各レイヤに挿入することで、左目用影画像ISLと右目用影画像ISRを生成している。
そして左目用画像IL1、IL2と左目用影画像ISLを合成(レイヤ合成)することで、図14に示すような左目用画像IL3を生成する。また右目用画像IR1、IR2と右目用影画像ISRを合成(レイヤ合成)することで、図15に示すような右目用画像IR3を生成する。そしてこれらの左目用画像IL3、右目用画像IR3に基づいて、図16、図17に示すように、浮遊する物体OB2の影についてもリアルに表現された立体視用画像ISTを生成する。
この場合に、より高品質な影を表現するためには、影画像の両眼視差や、距離に応じたぼけ具合についてもリアルに表現できることが望ましい。
例えば図19(A)において、浮遊する物体OB2-1の影SD1はD1に示す位置に落ちており、物体OB2-2の影SD2はD2に示す位置に落ちている。従って、影SD1の両眼視差は、D1に示す場所の高さに応じたものになることが望ましく、影SD2の両眼視差は、D2に示す場所の高さに応じたものになることが望ましい。即ち影SD1、SD2についての両眼視差が適正ではないと、立体視時にベースの物体OB1から浮いた位置に影SD1、SD2が浮かんで見えるようになり、不自然な立体視になってしまう。
そこで図6のステップS21、S22では、物体OB1の両眼視差情報を取得し、取得された両眼視差情報に基づいて影画像の両眼視差調整を行っている。例えば、物体OB2の影が落ちる場所での両眼視差情報を、物体OB1の左目用画像IL1と右目用画像IR1に基づいて取得する。そして取得された両眼視差情報に基づいて、左目用影画像ISLと右目用影画像ISRに対して両眼視差調整を行う。
例えば図20(A)は、左目用画像IL1、右目用画像IR1の一部を拡大して模式的に示した図であり、1つの四角が1ピクセル(1ドット)を表す。図20(A)の場所の画像パターンでは、IL1、IR1の画像の左右のずれ幅(ピクセル数、距離)はDLRになっている。従ってこの場所に影が落ちる場合には、図20(B)に示すように、図20(A)のずれ幅DLRに応じたずらし幅DL(ピクセル数)だけ、左目用影画像ISLを右方向(又は左方向)にずらす。またDLRに応じたずらし幅DR(ピクセル数)だけ、右目用影画像ISRを左方向(又は右方向)にずらす。このようにすれば、この場所でのIL1、IR1の両眼視差に応じたずらし幅DL、DRだけ、左目用影画像ISLと右目用影画像ISRがずれるようになり、この場所におけるIL1、IR1の両眼視差とISLとISRの両眼視差が一致するようになる。従って、立体視時にベース物体OB1から浮いた位置に影が見えてしまう事態を防止でき、より自然でリアルな影が表現された立体視を実現できる。
なお図6のステップS22では、撮影時の照明の方向も考慮して、左目用、右目用の影画像のずらし幅(シフト量)を調整している。例えば撮影時の照明が左斜め方向からのライティングであった場合には、その分だけ影画像を右にずらす。
また図19(A)のD1とD2では、ベース物体OB1からの浮遊物体OB2-1、OB2-2の高さが異なっている。そしてこのような場合に、影SD1、SD2のぼけ具合が同じになってしまうと、影のリアル度が損なわれてしまう。
そこで図6のステップS23やS26では、浮遊物体OB2(OB2-1、OB2-2)の高さに応じた影のぼかし処理を行っている。例えば図19(B)に示すように、浮遊物体OB2の高さ情報に基づいて、左目用影画像ISLと右目用影画像ISRのぼかし処理(デフォーカス)を行う。具体的には、ベース物体OB1からの浮遊物体OB2の高さが低い場合には、ぼかし具合を少なくし、高い場合には、ぼかし具合を大きくする。この場合に、影の境界でのぼけ具合をぼかしフィルタ等を用いて調整する。
このようにすれば図16、図17に示すように、影のぼかし具合についてもリアルに表現された立体視用画像を生成できるようになる。
なお図6のステップS26では、背景上にある影については、例えばベース物体OB1上にある影の最大ずらし幅よりも大きなずらし幅で、例えば右用の影画像については右にずらして、遠くの影に設定する。このような影を背景に落とすことで、テクスチャ模様のない背景が一番奥にあるように見えるようになり、より自然な立体視を実現できる。
7.画像生成システム
図21に、本実施形態の立体視手法を実現できる画像生成システムの構成例を示す。なお、画像生成システムは、図21の構成要素(各部)を全て含む必要はなく、その一部を省略した構成としてもよい。
図21の画像生成システムは、例えばゲーム画像(リアルタイム動画像)を生成するシステムとして用いることができる。また、CG画像(静止画像)により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システム(CGツール)としても用いることができる。また、カメラで撮った実写画像を取り込み、この実写画像により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システムとしても用いることができる。
操作部160は、操作者(プレーヤ、観者)が操作データを入力するためのものであり、その機能は、レバー、ボタン、マイク、或いはタッチパネルなどのハードウェアにより実現できる。
記憶部170は、処理部100や印刷部193や通信部196などのワーク領域となるもので、その機能はRAMなどのハードウェアにより実現できる。
情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)、ハードディスク、或いはメモリ(ROM)などのハードウェアにより実現できる。処理部100は、この情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体180には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶(記録、格納)される。
表示部190は、本実施形態により生成された画像を出力するものであり、その機能は、CRT、LCD、タッチパネル、或いはHMD(ヘッドマウントディスプレイ)などのハードウェアにより実現できる。
音出力部192は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどのハードウェアにより実現できる。
印刷部193は、立体視用画像を印刷媒体(紙、レンズ、或いはフィルム等)に印刷するものであり、その機能は、インクジェット方式やレーザプリンタ方式などのカラープリンタ(広義には印刷機)により実現できる。
通信部196は、外部(例えばホスト装置や他の画像生成システム)との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ又は通信用ASICなどのハードウェアや、プログラムなどにより実現できる。この通信部196を用いて、カメラで撮影された実写画像を外部(インターネットなどのネットワーク)から画像生成システムに取り込んだり、作成された立体視用画像を外部に出力することなどが可能になる。
なお本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、ホスト装置(サーバー)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180(記憶部170)に配信するようにしてもよい。このようなホスト装置(サーバー)の情報記憶媒体の使用も本発明の範囲内に含まれる。
処理部100(プロセッサ)は、操作部160からの操作データやプログラムなどに基づいて、画像生成処理、音生成処理、或いはゲーム処理(ゲームの開始処理、ゲームの進行処理、ゲームの終了処理)などの各種の処理を行う。この場合、処理部100は、記憶部170をワーク領域として使用して、各種の処理を行う。この処理部100の機能は、各種プロセッサ(CPU、DSP等)又はASIC(ゲートアレイ等)などのハードウェアや、プログラム(ゲームプログラム)により実現できる。
処理部100は、画像取得部110、補正処理部112、調整部114、影処理部116、画像合成部118、立体視用画像生成部120を含む。なおこれらの一部を省略する構成としてもよい。
画像取得部110は左目用画像や右目用画像の取得処理を行う。具体的には、第1の物体についての第1の左目用画像と第1の右目用画像を取得する処理(読み込む処理、生成する処理)を行う。また第2の物体についての第2の左目用画像と第2の右目用画像を取得する処理(読み込む処理、生成する処理)を行う。取得された第1の左目用画像、第2の左目用画像は左目用画像記憶部171(左目用のレイヤ)に記憶され、取得された第1の右目用画像、第2の右目用画像は右目用画像記憶部172(右目用のレイヤ)に記憶される。
補正処理部112は、基準面での画像のパースペクティブを無くすための補正処理を行う。具体的には、基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、画像取得部110により取得された第1の左目用画像、第1の右目用画像、第2の左目用画像、第2の右目用画像に対して行う。補正処理後の画像は左目用画像記憶部171や右目用画像記憶部172に記憶される。
調整部114は各種の調整処理を行う。具体的には、補正処理部112での補正処理後の第1の左目用画像、第1の右目用画像に対して両眼視差調整を行って、立体視における第1の物体についての基準面の高さ調整を行う。例えば第1の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、第1の右目用画像を、一方とは異なる他方の方向にずらす両眼視差調整処理を行う。また調整部114は、補正処理部112での補正処理後の第2の左目用画像、第2の右目用画像に対して両眼視差調整を行って、立体視における第2の物体についての基準面の高さ調整を行う。例えば第2の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、第2の右目用画像を、一方とは異なる他方の方向にずらす両眼視差調整処理を行う。
影処理部116は影についての種々の処理を行う。具体的には、第2の物体の影についての左目用影画像と右目用影画像を生成する。生成された左目用影画像、右目用影画像は、影画像記憶部173に記憶される。
また影処理部116は、第2の物体の影が落ちる場所(影の投影領域)での両眼視差情報(例えば左右のずれ幅)を、第1の左目用画像と第1の右目用画像に基づいて取得する。そして取得された両眼視差情報に基づいて、左目用影画像と右目用影画像に対して両眼視差調整(ずらし幅の調整)を行う。なお取得された両眼視差情報は両眼視差情報記憶部174に記憶される。
また影処理部116は、第2の物体の高さ情報(高さと透過な情報)に基づいて、左目用影画像や右目用影画像のぼかし処理(デフォーカス処理)を行う。
画像合成部118は各種の画像の合成処理を行う。例えば、画像取得部110により取得された第1の左目用画像と第2の左目用画像を合成して、第3の左目用画像を生成する。具体的には、例えば第1の左目用画像が格納されるレイヤと第2の左目用画像が格納されるレイヤとをレイヤ合成して、第3の左目用画像を生成する。更に具体的には、補正処理部112による補正処理後の第1の左目用画像と補正処理後の第2の左目用画像を合成して、第3の左目用画像を生成する。また影処理部116により左目用影画像が生成された場合には、画像合成部118は、第1の左目用画像と第2の左目用画像と左目用影画像を合成して、第3の左目用画像を生成する。生成された第3の左目用画像は左目用画像記憶部171(左目用のレイヤ)に記憶される。
また画像合成部118は、画像取得部110により取得された第1の右目用画像と第2の右目用画像を合成して、第3の右目用画像を生成する。具体的には、第1の右目用画像が格納されるレイヤと第2の右目用画像が格納されるレイヤとをレイヤ合成して、第3の右目用画像を生成する。更に具体的には、補正処理後の第1の右目用画像と補正処理後の第2の右目用画像を合成して、第3の右目用画像を生成する。また影処理部116により右目用影画像が生成された場合には、画像合成部118は、第1の右目用画像と第2の右目用画像と右目用影画像を合成して、第3の右目用画像を生成する。生成された第3の右目用画像は右目用画像記憶部172(右目用のレイヤ)に記憶される。
立体視用画像生成部120は立体視用画像の生成処理を行う。具体的には、画像合成部118での画像合成により生成された第3の左目用画像と第3の右目用画像に基づいて、立体視用画像を生成する。更に具体的には、生成された第3の左目用画像と第3の右目用画像のアナグリフ処理を行って、立体視用画像を生成する。そして画像合成部118は、生成された立体視用画像に対して、両眼視差の無い画像を更に合成する処理を行う。
立体視用画像生成部120は、生成された立体視用画像を印刷部193に出力する。すると印刷部193は、その立体視用画像を印刷媒体に印刷することで、立体視用印刷物を作成して出力する。
或いは、立体視用画像生成部120は、立体視用画像を表示部190に出力する。この場合には、走査者(プレーヤ)は、例えば赤の色フィルタと青の色フィルタが左目、右目に設けられた眼鏡をかけて、ゲーム等をプレイすることになる。或いは、立体視用画像生成部120が、第3の左目用画像(左目用画像)と第3の右目用画像(右目用画像)を異なるフレームで表示部190に出力する処理を行い、立体視を実現してもよい。この場合には、プレーヤは、フレームに同期してシャッターが開閉するシャッター付き眼鏡をかけて、ゲームをプレイすることになる。
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
また、左目用画像、右目用画像、影画像の取得手法、合成処理、補正処理、調整処理等も、本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムにも適用できる。
本実施形態の立体視手法を説明するためのフローチャート。 図2(A)、図2(B)は本実施形態の立体視手法の説明図。 本実施形態の立体視手法の説明図。 図4(A)〜図4(C)はパースペクティブを無くす補正処理の説明図。 本実施形態の詳細例を説明するためのフローチャート。 本実施形態の詳細例を説明するためのフローチャート。 左目用画像IL1の例。 右目用画像IR1の例。 左目用画像IL2の例。 右目用画像IR2の例。 影画像の例。 トリミング後の画像の例。 背景挿入後の画像の例。 左目用画像IL3の例。 右目用画像IR3の例。 立体視用画像の例。 ロゴ、文字を合成した立体視用画像の例。 図18(A)〜図18(C)は両眼視差調整の説明図。 図19(A)、図19(B)は影処理の説明図。 図20(A)、図20(B)は影の両眼視差調整の説明図。 画像生成システムの構成例。
符号の説明
VPL 左目用視点位置、VPR 右目用視点位置、
OB1 第1の物体、OB2 第2の物体、BS 基準面、
IL1 第1の左目用画像、IR1 第1の右目用画像、
IL2 第2の左目用画像、IR2 第2の右目用画像、
IL3 第3の左目用画像、IR3 第3の右目用画像、IST 立体視用画像、
100 処理部、110 画像取得部、112 補正処理部、114 調整部、
116 影処理部、118 画像合成部、120 立体視用画像生成部、
160 操作部、170 記憶部、
171 右目用画像記憶部、172 左目用画像記憶部、173 影画像記憶部、
174 両眼視差情報記憶部、175 立体視用画像記憶部、
180 情報記憶媒体、190 表示部、192 音出力部、
193 印刷部、196 通信部

Claims (15)

  1. 立体視用画像を生成するための画像生成方法であって、
    第1の物体についての第1の左目用画像と第1の右目用画像を取得し、
    第2の物体についての第2の左目用画像と第2の右目用画像を取得し、
    基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第1の左目用画像、前記第1の右目用画像、前記第2の左目用画像、前記第2の右目用画像に対して行い、
    取得された補正処理後の前記第1の左目用画像と補正処理後の前記第2の左目用画像を合成して第3の左目用画像を生成し、
    取得された補正処理後の前記第1の右目用画像と補正処理後の前記第2の右目用画像を合成して第3の右目用画像を生成し、
    生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、前記立体視用画像を生成すると共に、
    前記第2の物体の影についての左目用影画像と右目用影画像を生成し、
    前記第2の物体の影が落ちる場所での両眼視差情報を、前記第1の左目用画像と前記第1の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行い、
    前記第1の左目用画像と前記第2の左目用画像と両眼視差調整後の前記左目用影画像を合成して前記第3の左目用画像を生成し、
    前記第1の右目用画像と前記第2の右目用画像と両眼視差調整後の前記右目用影画像を合成して前記第3の右目用画像を生成することを特徴とする画像生成方法。
  2. 請求項1において、
    前記第1の左目用画像が格納されるレイヤと前記第2の左目用画像が格納されるレイヤとをレイヤ合成して、前記第3の左目用画像を生成し、
    前記第1の右目用画像が格納されるレイヤと前記第2の右目用画像が格納されるレイヤとをレイヤ合成して、前記第3の右目用画像を生成することを特徴とする画像生成方法。
  3. 請求項2において、
    前記第1の左目用画像のうち前記第1の物体の画像以外の画像をトリミングすると共に、前記第2の左目用画像のうち前記第2の物体の画像以外の画像をトリミングし、トリミング後の前記第1の左目用画像が格納されるレイヤとトリミング後の前記第2の左目用画像が格納されるレイヤとをレイヤ合成し、
    前記第1の右目用画像のうち前記第1の物体の画像以外の画像をトリミングすると共に、前記第2の右目用画像のうち前記第2の物体の画像以外の画像をトリミングし、トリミング後の前記第1の右目用画像が格納されるレイヤとトリミング後の前記第2の右目用画像が格納されるレイヤとをレイヤ合成することを特徴とする画像生成方法。
  4. 請求項1乃至3のいずれかにおいて、
    前記第1の左目用画像、前記第1の右目用画像に対して両眼視差調整を行って、立体視における前記第1の物体についての基準面の高さ調整を行うことを特徴とする画像生成方法。
  5. 請求項4において、
    前記両眼視差調整は、前記第1の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第1の右目用画像を、前記一方とは異なる他方の方向にずらす処理であることを特徴とする画像生成方法。
  6. 請求項1乃至5のいずれかにおいて、
    前記第2の左目用画像、前記第2の右目用画像に対して両眼視差調整を行って、立体視における前記第2の物体についての基準面の高さ調整を行うことを特徴とする画像生成方法。
  7. 請求項6において、
    前記両眼視差調整は、前記第2の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第2の右目用画像を、前記一方とは異なる他方の方向にずらす調整であることを特徴とする画像生成方法。
  8. 請求項1乃至7のいずれかにおいて、
    前記第2の物体は、前記第1の物体の上方に浮遊する物体であることを特徴とする画像生成方法。
  9. 請求項1乃至8のいずれかにおいて、
    前記第2の物体の高さ情報に基づいて、前記左目用影画像と前記右目用影画像のぼかし処理を行うことを特徴とする画像生成方法。
  10. 請求項1乃至9のいずれかにおいて、
    生成された前記第3の左目用画像と前記第3の右目用画像のアナグリフ処理を行って、前記立体視用画像を生成することを特徴とする画像生成方法。
  11. 請求項1乃至10のいずれかに記載の画像生成方法で生成された立体視用画像が印刷された立体視用印刷物。
  12. 立体視用印刷物の製造方法であって、
    第1の物体についての第1の左目用画像と第1の右目用画像を取得し、
    第2の物体についての第2の左目用画像と第2の右目用画像を取得し、
    基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第1の左目用画像、前記第1の右目用画像、前記第2の左目用画像、前記第2の右目用画像に対して行い、
    補正処理後の前記第1の左目用画像が格納されるレイヤと補正処理後の前記第2の左目用画像が格納されるレイヤとをレイヤ合成して、第3の左目用画像を生成し、
    補正処理後の前記第1の右目用画像が格納されるレイヤと補正処理後の前記第2の右目用画像が格納されるレイヤとをレイヤ合成して、第3の右目用画像を生成し、
    生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、立体視用印刷物を作成すると共に、
    前記第2の物体の影についての左目用影画像と右目用影画像を生成し、
    前記第2の物体の影が落ちる場所での両眼視差情報を、前記第1の左目用画像と前記第1の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行い、
    前記第1の左目用画像と前記第2の左目用画像と両眼視差調整後の前記左目用影画像を合成して前記第3の左目用画像を生成し、
    前記第1の右目用画像と前記第2の右目用画像と両眼視差調整後の前記右目用影画像を合成して前記第3の右目用画像を生成することを特徴とする立体視用印刷物の製造方法。
  13. 請求項12に記載の製造方法により作成された立体視用印刷物。
  14. 請求項12に記載の製造方法により作成された立体視用印刷物を複製することで作成された立体視用印刷物。
  15. 立体視のためのプログラムであって、
    第1の物体についての第1の左目用画像と第1の右目用画像を取得し、
    第2の物体についての第2の左目用画像と第2の右目用画像を取得し、
    基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第1の左目用画像、前記第1の右目用画像、前記第2の左目用画像、前記第2の右目用画像に対して行い、
    取得された補正処理後の前記第1の左目用画像と補正処理後の前記第2の左目用画像を合成して第3の左目用画像を生成し、
    取得された補正処理後の前記第1の右目用画像と補正処理後の前記第2の右目用画像を合成して第3の右目用画像を生成し、
    生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、前記立体視用画像を生成すると共に、
    前記第2の物体の影についての左目用影画像と右目用影画像を生成し、
    前記第2の物体の影が落ちる場所での両眼視差情報を、前記第1の左目用画像と前記第1の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行い、
    前記第1の左目用画像と前記第2の左目用画像と両眼視差調整後の前記左目用影画像を合成して前記第3の左目用画像を生成し、
    前記第1の右目用画像と前記第2の右目用画像と両眼視差調整後の前記右目用影画像を合成して前記第3の右目用画像を生成する手順を、
    コンピュータに実行させることを特徴とするプログラム。
JP2007245726A 2007-09-21 2007-09-21 画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラム Expired - Fee Related JP5060231B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007245726A JP5060231B2 (ja) 2007-09-21 2007-09-21 画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007245726A JP5060231B2 (ja) 2007-09-21 2007-09-21 画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2009077276A JP2009077276A (ja) 2009-04-09
JP5060231B2 true JP5060231B2 (ja) 2012-10-31

Family

ID=40611807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007245726A Expired - Fee Related JP5060231B2 (ja) 2007-09-21 2007-09-21 画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5060231B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5448558B2 (ja) * 2009-05-01 2014-03-19 ソニー株式会社 送信装置、立体画像データの送信方法、受信装置、立体画像データの受信方法、中継装置および立体画像データの中継方法
JP5227910B2 (ja) * 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
JP5438412B2 (ja) * 2009-07-22 2014-03-12 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム情報表示制御方法及びゲーム情報表示制御プログラム
JP5627930B2 (ja) * 2010-05-31 2014-11-19 オリンパスメモリーワークス株式会社 3次元画像データ生成方法
JP5477349B2 (ja) * 2010-09-30 2014-04-23 カシオ計算機株式会社 画像合成装置、及び画像検索方法、プログラム
JP6397303B2 (ja) * 2014-10-20 2018-09-26 株式会社デンソー 車両用表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08182023A (ja) * 1994-12-26 1996-07-12 Sanyo Electric Co Ltd 2次元画像を3次元画像に変換する装置
JP3369994B2 (ja) * 1998-12-28 2003-01-20 株式会社オリエントコーポレーション カード作成支援装置及び方法並びにカード作成支援用ソフトウェアを記録した記録媒体
JP2004207780A (ja) * 2002-12-20 2004-07-22 Namco Ltd 写真撮影装置
JP3794694B2 (ja) * 2004-09-14 2006-07-05 株式会社バンダイナムコゲームス 立体視用印刷物の製造方法、立体視用印刷物及びプログラム
JP4662238B2 (ja) * 2004-11-26 2011-03-30 株式会社バンダイナムコゲームス 立体視用印刷物の製造方法、立体視用印刷物、画像生成方法及びプログラム

Also Published As

Publication number Publication date
JP2009077276A (ja) 2009-04-09

Similar Documents

Publication Publication Date Title
KR100812905B1 (ko) 입체 화상 처리 방법, 장치 및 컴퓨터 판독가능 기록 매체
JP4823334B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
US7295699B2 (en) Image processing system, program, information storage medium, and image processing method
US8249335B2 (en) Method of making printed material for stereoscopic viewing, and printed material for stereoscopic viewing
JP5060231B2 (ja) 画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラム
JP2009031797A (ja) 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置
JP2006211386A (ja) 立体画像処理装置、立体画像表示装置、及び立体画像生成方法
JP3579683B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物
JP4660769B2 (ja) 多視点立体ディスプレイ装置
JP4129786B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2004207780A (ja) 写真撮影装置
JP2006211383A (ja) 立体画像処理装置、立体画像表示装置、及び立体画像生成方法
KR102042914B1 (ko) 다중 배열된 디스플레이 면을 이용한 플로팅 방식의 홀로그램 디스플레이 장치와 그를 위한 다중영상 생성방법
JPH07244343A (ja) 立体写真
JP4200718B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4200717B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4218938B2 (ja) 立体視用印刷物
JP3640256B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物
JP5085722B2 (ja) 画像生成システム
JP2006133455A (ja) 三次元画像表示装置
JP2009169155A (ja) 立体視用印刷物の製造方法、立体視用印刷物、画像生成システム、画像生成方法、プログラム及び情報記憶媒体
JP3464633B2 (ja) 三次元表示方法
JP2007017558A (ja) 立体画像表示装置および立体画像表示方法
JP4397216B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物
JP5396027B2 (ja) 立体視用印刷物

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120803

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5060231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees