JP3579162B2 - 3D CG image generation device - Google Patents

Description

【００１７】
遠点条件：
【００１８】
【数２】

【００１９】
である。ただし、２×ΔＳは、立体画像表示スクリーン上における左右画像の位相差を示し、通常は２×ΔＳは観察者の両眼間隔（６０ｍｍ程度）に設定されることが多い。また、Ｄ−、Ｄ＋は、それぞれ観察者が両眼融合できる最も近い点での両眼視差、最も遠い点での両眼視差である。また、焦点距離ｆとカメラの画角θには、一意な関係、
【００２０】
【数３】

【００２１】
があるので、どちらで定義しても良い。また、ｄｘ は、カメラの位置とカメラの向ける点の３次元位置を決定しても自動的に決定出来る。融合範囲確認部１１は、これらの式を両方満足するカメラ間隔Ｗｃ 、カメラの焦点距離ｆ、カメラの輻輳点Ｐと仮想カメラ位置Ｖの距離ｄｘの組合せを全て計算することになる。
【００２２】
次に、カメラパラメータ決定部６は、融合範囲確認部１１により計算されたカメラパラメータの組合せの中で、どれを採用するかを決定する。
【００２３】
決定方法は、例えば、
（１）ＣＧ制作者が操作部１２を操作して出力画像を確認しながら、融合範囲確認部１１が計算したカメラパラメータの組合せを色々試しながら選ぶ方法。
（２）ＣＧ制作者がカメラパラメータＷｃ、ｆ、ｄｘのうちどれか１つをまず決定し、残りの２つのパラメータを操作部１２を操作して、融合範囲確認部１１が示すパラメータの組合せ（（数１）、（数２）の式を満足する２つのパラメータの組合わせ）の中で自由に変化させて出力画像を確認しながら決定する方法。
（３）ＣＧ制作者がカメラパラメータＷｃ、ｆ、ｄｘのうちどれか２つをまず決定し、残りの１つのパラメータを操作部１２を操作して、融合範囲確認部１１が示すパラメータの範囲（（数１）、（数２）の式を満足する１つのパラメータの範囲）の中で自由に変化させて出力画像を確認しながら決定する方法。
のうち、どれかを採用する。以下、（１）〜（３）の手法例について更に詳しく説明する。
【００２４】
（１）の場合、まず、操作部１２に配された表示部に、図５（ａ）に示すように、観察者が両眼融合できるパラメータＷｃ、ｆ、ｄｘの組合せの領域（有効領域）と、現在設定しているＷｃ、ｆ、ｄｘを示すポインタ１３が表示される。ＣＧ制作者は、３次元マウス等を用いて、このポインタの位置を設定する。この時、ポインタの位置によってＷｃ、ｆ、ｄｘの値が変化するが、有効領域以外の領域には設定できないようになっている。そして、ポインタの示す座標でのパラメータがカメラパラメータ決定部６に出力され、出力の立体ＣＧ画像が投影変換部１，２、レンダリング部３，４により計算される。これを立体画像表示装置を用いて観察し、ＣＧ制作者は好みに合わせてポインタの位置を調節する。このようにすることにより、常に観察者の両眼融合範囲内に出力の立体ＣＧ画像が収まるように制御される。
【００２５】
（２）、（３）の場合、操作パネル１２ａは、図５（ｂ）に示すように、各パラメータを調節する３つのボリューム１４、１５、１６と、各パラメータを固定する固定ボタン１７、１８、１９で構成される。最初は、固定ボタンはＯｎされていないと仮定する。まずＣＧ制作者は、出力の立体ＣＧ画像を観察しながら画角を考慮して、図５（ｂ）の操作パネル１２ａに対して、カメラパラメータのうち焦点距離ｆをｆ０に決定する。ボリューム１４をｆ０に合わせ、固定ボタン１７を押す。これにより、パラメータｆはｆ０に固定される。パラメータｆが固定されると、融合範囲確認部１１は残りのパラメータＷｃ、ｄｘのうち、（数１）、（数２）を満足する組み合わせを計算する。次にＣＧ制作者はボリューム１５、１６を操作してパラメータＷｃ、ｄｘを色々変化させながら出力画像を確認する。この時、ＣＧ制作者が設定しようとするＷｃ、ｄｘの値のうち、（数１）、（数２）を満足する範囲のみ操作パネル１２ａでＷｃ、ｄｘを変化出来るように設定される。この時、固定ボタン１８、１９により、Ｗｃ、ｄｘのどちらかを固定することも可能である。この場合、出力立体ＣＧ画像を確認しながら残された一つのパラメータのみを変化させることになる。このようにすることにより、常に観察者の両眼融合範囲内に出力立体ＣＧ画像が収まるように保ちながら、パラメータをひとつずつ決定していくことが出来る。
【００２６】
以上の様にして決定されたカメラパラメータＷｃ、ｆ、ｄｘを用いて投影変換部１，２は、左右のカメラで撮像した時にフイルムに投影される物体の２次元位置を計算し、更にレンダリング部３、４で各ポリゴン内部の画像の輝度と色を物体の材質や光源の種類、３次元位置により決定する。そして、最終的な左右眼用の立体ＣＧ画像を出力する。
【００２７】
なお、本実施の形態では、カメラは輻輳撮影を行なうことを想定したが（図２で左右カメラ７、８が点Ｐに向いている）、図４に示すように左右カメラを平行に設置しても良い。この場合は、融合範囲確認部１１は、被写体の遠点の３次元座標値は用いる必要はなく、
【００２８】
【数４】

【００２９】
で示される条件を満足するＷｃとｆの組合せを計算するのみでよい（ｄｘは∞に設定されるのと等価である）。
【００３０】
また、本実施の形態では、観察者が両眼融合できる範囲の制限を（数１）、（数２）で与えたが、これの中のＤ−、Ｄ＋もしくはこれに相当する奥行き距離をＣＧ制作者が手動で与えても良い。
【００３１】
また、本実施の形態では、カメラパラメータを一つのＣＧ画像データを元に決定したが、動画の場合にも、それぞれの時刻でのＣＧ画像データを用いてカメラパラメータを逐次決定することも可能である。また、ある所定の期間でのカメラパラメータのシーケンスを求めておき、これを記憶しておいて、同じ変化を有する立体カメラパラメータを用いて何度も同じシーンを再生することも可能である。
【００３２】
以上の様に、本実施の形態によれば、カメラと被写体の距離情報と、生成された立体ＣＧ画像の表示装置における視差の大きさを表示装置の大きさと観察距離から計算し、これが観察者の両眼融合範囲に収まるかどうかを判断することにより、適切なカメラパラメータ（焦点距離または画角、カメラ間隔、輻輳点）を決定し、見やすい立体ＣＧ画像を自動的に得ることができる。
【００３３】
図６は、本発明の第２の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図６において、１、２は投影変換部、３、４はレンダリング部、６はカメラパラメータ決定部であり、これらは本発明の第１の実施の形態の立体ＣＧ画像生成装置のものと同じものである。本実施の形態が第１の実施の形態の立体ＣＧ画像生成装置と異なる点は、図１の距離情報抽出部５と融合範囲確認部１１に代えて、視差地図計算部２０と画素数計算手段としての融合領域判断部Ａ２１が設けられている点である。
【００３４】
以上のように構成された本実施の形態の立体ＣＧ画像生成装置について、以下その動作を説明する。
【００３５】
本実施の形態は、カメラパラメータＷｃ、ｆ、ｄｘの内、少なくとも１つ、特にＷｃ がＣＧ制作者により固定されており、このままでは出力される立体ＣＧ画像の全体を観察者の両眼融合範囲に収めることが出来ない場合に効果を発する。
【００３６】
物体の３次元形状をサーフェスモデルで記述した３次元構造情報は投影変換部１、２に入力される。第１の実施の形態と同様に、まず、ＣＧ制作者は、レンダリング部３、４に接続された立体画像表示装置（図示省略）を見て出力画像を確認しながら、好みに合わせて被写体と仮想カメラ（左右カメラの位置の中点）をワールド座標系の適当な位置に配置し、その方向を決定する。左右のカメラ位置は、仮想カメラ位置Ｖを中心としてＸ軸方向に±Ｗｃ の位置に配置される（図２参照）。カメラパラメータＷｃ、ｆ、ｄｘは、予め設定された初期値が用いられる（これらの内いずれかは固定値である）。
【００３７】
これにより設定されたパラメータを用いて、投影変換部１、２は３次元構造情報を２次元画面に投影した画像を出力し、レンダリング部３、４にてＣＧ画像を生成する。レンダリング部３、４の出力と３次元構造情報から、視差地図計算部２０は投影変換された画像上の各点での左右画像の奥行きデータ、即ち視差地図（各画素での奥行き量を示した画像）を計算する。例えば、従来からＣＧに使用されているＺバッファ処理の結果を用いれば、画面の各点での奥行き量を得ることが出来、これを元にして視差地図を作成することは容易に可能である。また、レンダリングを行なわない、ワイヤーフレームの様な画像の場合は、投影変換部１、２と３次元構造情報から視差地図を作成することになる。
【００３８】
この視差地図を基に、融合領域判断部Ａ２１は、画面中で、立体ＣＧ画像観察者の両眼融合範囲（視差がＤ−〜Ｄ＋の間の値）に入る領域の画素数（これを有効画素数と定義する）を計算する。次に、視差地図計算部２０、融合領域判断部Ａ２１は、カメラパラメータＷｃ、ｆ、ｄｘを順次変化させて、固定値以外の予め設定されたＷｃ、ｆ、ｄｘの変化範囲の全ての組合せについて、有効画素数を計算する。
【００３９】
次に、カメラパラメータ決定部６は、これまで計算されたパラメータＷｃ 、ｆ、ｄｘ の全ての組合せに対する有効画素数のうち、これの最大値に対応するパラメータＷｃ、ｆ、ｄｘを算出する。そして、算出されたＷｃ、ｆ、ｄｘを投影変換部１、２に出力する。この場合、有効画素数の最大値ではなく、最大値に近い組合せを複数個列挙し、ＣＧ制作者がこれらの中から好みの組合せを選んで投影変換部１、２に出力してもよい。また、カメラパラメータ決定部６は、３つのパラメータのうち、どれか（複数個可能）を固定しておいて、残りのパラメータの組合せのうちで、有効画素数が最大、または、有効画素数の最大値に近い残りのパラメータの組合せを列挙し、ＣＧ制作者が好みの組合せを決定してもよい。
【００４０】
そして、投影変換部１、２及びレンダリング部３、４は、これらのパラメータを用いて最終的な立体ＣＧ画像を算出する。このようにすることによって、観察者の両眼融合範囲内に画像が最も多く入るようにカメラパラメータを自動的に決定するすることができる。有効画素数の最大値が複数存在する場合は、それぞれの場合のパラメータでの立体ＣＧ画像を生成し、立体ＣＧ制作者がこれを立体画像表示装置で観察し、好みのパラメータの組合せを選ぶ。
【００４１】
以上の様に、本実施の形態によれば、カメラパラメータに制約条件があり、最終的な出力の立体ＣＧ画像全体が観察者の両眼融合範囲内に収まらない場合でも、両眼融合可能な画像の面積が最も広くなるように、カメラパラメータＷｃ、ｆ、ｄｘを自動的に決定できる。
【００４２】
また、上記第２の実施の形態において、視差地図から被写体の近点・遠点を算出し、これを元にして、後は前述の第１の実施の形態の手法を用いて立体カメラパラメータを決定してもよい。
【００４３】
図７は、本発明の第３の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図７において、１、２は投影変換部、３、４はレンダリング部、６はカメラパラメータ決定部、２０は視差地図計算部であり、これらは本発明の第２の実施の形態の立体ＣＧ画像生成装置のものと同じものである。第２の実施の形態の立体ＣＧ画像生成装置と異なる点は、融合領域判断部Ａ２１が画素数計算手段としての融合領域判断部Ｂ２１’に変わり、特定画像処理部としてのクリッピング値決定部２２が追加されている点である。
【００４４】
以上のように構成された本実施の形態の立体ＣＧ画像生成装置について、以下その動作を説明する。
【００４５】
まず、上記第２の実施の形態と同様にして、カメラパラメータ決定部６は、投影変換部１、２でのカメラパラメータ（Ｗｃ、ｄｘ、ｆ）を決定する。概略を説明すると、まず、ＣＧ制作者は、レンダリング部３、４に接続された立体画像表示装置を見て出力画像を確認しながら、好みに合わせて被写体と仮想カメラをワールド座標系の適当な位置に配置し、その方向を決定する。
【００４６】
これにより設定されたパラメータを用いて、投影変換部１、２は３次元構造情報を２次元画面に投影した画像を出力し、レンダリング部３、４にてＣＧ画像を生成する。レンダリング部３、４の出力と３次元構造情報から、視差地図計算部２０は投影変換された画像上の各点での視差地図を計算する。
【００４７】
この視差地図を基に、融合領域判断部Ｂ２１’は、画面中で、立体ＣＧ画像観察者の両眼融合範囲に入る領域の有効画素数を計算し、視差地図計算部２０、融合領域判断部Ｂ２１’は、カメラパラメータＷｃ、ｆ、ｄｘを順次変化させて有効画素数を計算する。
【００４８】
次に、カメラパラメータ決定部６は、これまで計算されたパラメータＷｃ 、ｆ、ｄｘ の全ての組合せに対する有効画素数のうち、これの最大値に対応するパラメータＷｃ、ｆ、ｄｘを算出する。そして、算出されたＷｃ、ｆ、ｄｘを投影変換部１、２に出力する。投影変換部１、２及びレンダリング部３、４はこれらのパラメータを用いて最終的な立体ＣＧ画像を算出する。このカメラパラメータは一度決定したら固定であるとする。
【００４９】
ここで、物体が移動するか、左右カメラがお互いの位置関係を保ちつつ移動することを考える。カメラが被写体に向かって移動すると、被写体との距離は小さくなり、両眼視差も大きくなり、観察者の両眼範囲内に入らなくなってしまう場合が発生する。遠点についても同様である。そこで、カメラパラメータは固定でクリッピングによる処理を行なう。
【００５０】
レンダリング部３、４において、近い被写体、遠い被写体はクリッピングをかけて表示しない、という処理を従来のＣＧ画像では行なっていたが、本実施の形態では、図８（ａ）に示すように、このクリッピング位置を、レンダリング部３、４に対して両眼融合範囲内にない画像は出力されぬような値に決定する。即ち、融合領域判断部Ｂ２１’によって観察者の両眼融合限界（遠い方の限界、近い方の限界の２種類が存在する）を計算する。具体的には図８（ａ）のワールド座標系において（数１）、（数２）を満たす点を全て算出し、これが図８（ａ）の斜線領域であるとする。次に、この斜線領域以外の点が最終ＣＧ画像出力に出力されないようにＮｅａｒクリッピング値ＣＬＮ、ｆａｒクリッピング値ＣＬＦ を決定する（ＣＬＮＲ、ＣＬＮＬはそれぞれ右カメラ、左カメラのＮｅａｒクリッピング面、ＣＬＦＲ、ＣＬＦＬはそれぞれ右カメラ、左カメラのＦａｒクリップ面である）。それぞれのＮｅａｒ クリッピング面、Ｆａｒ クリッピング面で囲まれた領域の物体のみレンダリング部３、４から出力する。
【００５１】
また、前述の例では、左右カメラそれぞれについて、クリッピング面ＣＬＮＲ、ＣＬＮＬ、ＣＬＦＲ、ＣＬＦＬを設定したが、図８（ｂ）に示すように、仮想カメラ（原点）について、Ｎｅａｒクリッピング面ＣＬＣＮ、Ｆａｒクリッピング面ＣＬＣＦ を決定し、これを左右カメラに共通で適用してもよい。
【００５２】
また、本実施の形態において、クリッピングされる領域に被写体が存在する場合には、これを最終出力画像に表示しないように設定したが、クリッピングされる領域に物体が近づくにつれて、徐々に物体のコントラストを下げたり、物体の色を透明にしていけば、観察者が両眼融合できない領域において、自然に物体が消失するので更に違和感が少ない立体ＣＧ画像を得ることが出来る。
【００５３】
以上の様に、本実施の形態によれば、カメラパラメータ固定であっても、クリッピング面を観察者の両眼融合範囲を考慮に入れて設定することにより、最終的な出力の立体ＣＧ画像を観察者の両眼融合範囲内に収めることが出来る。
【００５４】
図９は、本発明の第４の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図９において、１、２は投影変換部、３、４はレンダリング部、６はカメラパラメータ決定部、２０は視差地図計算部、２１’は融合領域判断部Ｂであり、これらは前述の第３の実施の形態の立体ＣＧ画像生成装置のものと同じものである。第３の実施の形態の立体ＣＧ画像生成装置と異なる点は、クリッピング値決定部２２に代えて、ピントパラメータ決定部２３及び霧効果パラメータ決定部２４が設けられた点であり、被写体の両眼視差量に合わせて、これらのパラメータを制御している点である。このピントパラメータ決定部２３および霧効果パラメータ決定部２４が特定画像処理部を構成している。
【００５５】
以上のように構成された本実施の形態の立体ＣＧ画像生成装置について、以下その動作を説明する。
【００５６】
まず、上述の第３の実施の形態と同様にして、カメラパラメータ決定部６は、投影変換部１、２でのカメラパラメータ（Ｗｃ、ｄｘ、ｆ）を決定する。まず、ＣＧ制作者は、レンダリング部３、４に接続された立体画像表示装置を見て出力画像を確認しながら、好みに合わせて被写体と仮想カメラをワールド座標系の適当な位置に配置し、その方向を決定する。その後、投影変換部１、２は３次元構造情報を２次元画面に投影した画像を出力し、レンダリング部３、４にてＣＧ画像を生成する。
【００５７】
次にレンダリング部３、４の出力と３次元構造情報から、視差地図計算部２０は投影変換された画像上の各点での視差地図を計算する。この視差地図を基に、融合領域判断部Ｂ２１’は、画面中で立体ＣＧ画像観察者の両眼融合範囲に入る領域の有効画素数を計算し、視差地図計算部２０、融合領域判断部Ｂ２１’は、カメラパラメータＷｃ、ｆ、ｄｘを順次変化させて有効画素数を計算する。
【００５８】
次に、カメラパラメータ決定部６は、これまで計算されたパラメータＷｃ 、ｆ、ｄｘ の全ての組合せに対する有効画素数のうち、これの最大値に対応するパラメータＷｃ、ｆ、ｄｘを算出する。そして、算出されたＷｃ、ｆ、ｄｘを投影変換部１、２に出力する。投影変換部１、２及びレンダリング部３、４はこれらのパラメータを用いて最終的な立体ＣＧ画像を算出する。このカメラパラメータは一度決定したら固定であるとする。
【００５９】
ここで、レンダリング部３、４は、最終的なＣＧ画像を生成する際に、カメラのピントをぼかした様な処理や、遠い被写体は霧のかかった状態を表現することにより遠近感を表現する場合がある。これらの、ピントをぼかせる処理や霧の効果の度合を、前述の視差地図と観察者の両眼融合範囲によりピントパラメータ決定部２３、霧効果パラメータ決定部２４が決定する。
【００６０】
例えば、ピントパラメータ決定部２３は、ワールド座標系において、融合領域判断部Ｂ２１’により観察者が両眼融合できない領域を計算する。計算は、（数１）、（数２）、もしくはこれらのうちいずれかを満たさない３次元座標を計算することになる。これらの領域に属する物体についてレンダリングをレンダリング部３、４で行なう際は、ピントパラメータ決定部２３が、出力画像がピントぼけ状態のような、不明瞭な画面になるような効果を出すようなピントパラメータを出力する。もちろん、観察者が両眼融合できる限界領域に近い領域から、この効果を徐々に強くかけていくと、更に自然にピントぼけの画像を得ることが出来る。
【００６１】
ピントぼけの処理については、従来のＣＧ画像技術、例えば光線追跡により、カメラのピントぼけ状態をシミュレートしてもよいし、生成されたＣＧ画像に空間的なフイルタリング操作（低域通過フィルタ等）を行なうという手法もある。また、ピントぼけの量に応じて物体の位置を微妙に変化させて、同じ物体を何度も同じ画像メモリに描き、エッジの部分などにボケを生じさせる方法もある。この物体の位置を変化させるのを、カメラのピントが合う焦点面からの距離に比例させればピントボケ効果が得られる（本実施の形態では、観察者の両眼融合限界からの距離に比例させればよい）。このようにすることにより、観察者が両眼融合できない物体については、ピントぼけの効果を付することにより両眼融合ができない状態での違和感を低減することが出来る。
【００６２】
また、霧効果パラメータ決定部２４は、前述と同様にして、ワールド座標系において融合領域判断部Ｂ２１’により観察者が両眼融合できない領域（特に、遠点条件（数２）が成立しない領域）を計算する。この領域での物体のレンダリング処理において、霧効果パラメータ決定部２４は、大気中に霧がかかったような効果をレンダリング部３、４で与えるように霧効果パラメータを制御する。もちろん、観察者が両眼融合できる限界領域に近い領域から、この霧を徐々に濃く付加するように設定すれば、更に自然に遠い領域が霧に隠れているような状況のＣＧ画面を生成することが出来る。このように、遠い物体の両眼視差が大き過ぎて両眼融合不可能な場合に、霧の効果を付加することにより、両眼融合不可能なことによる観察者の違和感を低減することができる。
【００６３】
レンダリング処理での霧効果の生成方法については、例えば、距離が遠くなるにしたがって、減少する霧係数ｆ（０．０〜１．０）を考える。ｆが１で霧なし、０で真っ白な画像になることを示す。この効果の度合はカメラからの距離をｚとして
【００６４】
【数５】

【００６５】
【数６】

【００６６】
などで定義できる。ここで、ｆａｒ，ｎｅａｒは生成されるＣＧ画像の、カメラからの最も遠い，または近い距離、ｄｅｎｓｉｔｙは霧の濃度である。また、レンダリングされる色は、
【００６７】
【数７】

【００６８】
で計算される。ここでＣ０はレンダリングされた物体の色、Ｃｆ は霧の色である。霧効果パラメータ決定部２４は、観察者の両眼融合範囲内ではｆ＝１、両眼融合限界に近い領域から両眼融合範囲外の領域になるに従ってｆ＝０までなめらかに変化させる。これにより、レンダリング部３、４は両眼融合範囲外で遠い被写体を霧がかかった様な画像とし、両眼融合範囲から外れたことによる違和感を低減する。
【００６９】
以上の様に、本実施の形態によれば、両眼融合ができない様な両眼視差の物体が表示されても、遠い物体は霧の効果、近い物体および遠い物体ではピントボケの効果を付加することにより、この悪影響を低減し、更に見やすい立体ＣＧ画像を生成することができる。
【００７０】
図１３は、本発明の第５の実施の形態における立体ＴＶ装置の構成図を示すものである。図１３において、１、２は投影変換部、３、４はレンダリング部、６はカメラパラメータ決定部、１２は操作部、１１は融合範囲確認部、５は距離情報抽出部、１２７はＣＧ画像発生部であり、以上は本発明の第１の実施の形態と同じものである。第１の実施の形態と異なるのは、以下の構成であり、１２８はウインドウ情報管理部、１２９はウインドウ情報管理制御部、１３０はマウス状態検出部、１３１は表示画面大きさ・ドット数検出部、１３２はウインドウサイズ検出部、１３３はウインドウ生成・消滅検出部、１３４はウインドウ表示位置検出部、１３５はウインドウフォーカス変化検出部、１３６は映像信号変換部、１３７は立体ディスプレイ部、１３８はマウス、１３９は液晶シャッタ付き眼鏡、１４０は視距離測定手段である。
【００７１】
以上のように構成された本実施の形態の立体ＴＶ装置について，以下その動作を説明する。
【００７２】
本実施の形態では、複数の立体画像を最近主流のコンピュータ画面でのウインドウ環境に複数種類の立体画像を大きさの異なる複数のウインドウに表示するものである。これに対し、本発明の第１〜４の実施の形態では、画像を表示する大きさは表示装置固有の大きさであった。
【００７３】
図１３の立体ディスプレイ部１３７に示されるように、同一画面上にＡ、Ｂ、Ｃのウインドウが存在し、それぞれ異なった立体画像を表示しているものとする。
ここで立体画像の表示方法は、既存の立体表示技術を使用することが出来る。本実施の形態では映像信号変換部１３６により映像信号化された立体画像が立体ディスプレイ部１３７に入力され、観察者は液晶シャッタ付き眼鏡を通して立体画像を観察する、いわゆる時分割方式の立体画像表示を用いている。これは、映像信号変換部により入力されるＲ、Ｌ映像信号はＲ、Ｌ、Ｒ、Ｌ．．．というように時間的に交互に切替えられ、これが立体ディスプレイ部１３７に表示され、Ｒの画像が表示されている時には液晶シャッタ付き眼鏡１３９の右目が光を透過、左目が遮断状態になり、Ｌの画像が表示されている時にはその逆になる。これにより、観察者の右目、左目独立にＲ、Ｌ画像をそれぞれ表示することが出来る。また、この例以外に、いかなる既存の立体画像表示手法（例えば、偏光式、レンチキュラレンズ式等）を用いてもよい。通常、観察者は好みに応じてマウス１３８を使用して、ウインドウＡ、Ｂ、Ｃの大きさを変更することが出来る。これに対応して立体画像の大きさも変化する場合、観察者の両眼融合範囲が変化するため、全てのウインドウサイズを常に監視し、これにあわせて常にカメラパラメータを決定する必要がある。即ち、観察者のマウス操作によるウインドウに関する情報をウインドウ情報管理制御部１２９が検出し、これを融合範囲確認部１１に現在表示されているウインドウ全てについてスクリーンサイズとして出力する。この動作は、ウインドウ生成・消滅検出部１３３により現在表示されているウインドウを管理し、その個々のウインドウサイズをウインドウ表示位置検出部１３４、ウインドウサイズ検出部１３２、表示画面大きさ・ドット数検出部１３１により決定する。これは、表示画面の大きさ（何インチか）と、これの縦横のドット数（もしくは同期周波数検出により換算できる）と、各ウインドウのサイズ（ドット数）から、実際に表示されているウインドウの大きさ（インチ、センチメートルなど）を計算しこれを融合範囲確認部１１に出力することにより得られる。
【００７４】
後の処理は、本発明の第１の実施の形態と同じである。即ち、３次元構造情報から得られる距離情報を距離情報抽出部５により検出し、これと視距離測定手段１４０により検出される観察者とディスプレイ表面までの距離ｄｓを用いて（数１、数２）によりカメラパラメータを計算し、これを投影変換部１、２に出力し、レンダリング部３、４により右目、左目用のＲ、Ｌ画像が計算される。ただし、ウインドウ情報管理部１２８により検出されている、立体表示されているウインドウすべてについて、この処理を行ない、全てのウインドウについて、独立にこの処理は行なわれる。
【００７５】
以上のようにすることにより、複数の立体画像を表示するようなウインドウ環境をもつ表示システムにおいても、個々のウインドウサイズをウインドウ情報管理部１２８により監視することにより、全てのウインドウに表示された立体画像を全て観察者の融合範囲内に収めるようにカメラパラメータ制御による視差の制御により、見やすく自然な画像に制御することができる。
【００７６】
また、本発明の第５の実施の形態において、観察者のマウス操作により指定されたウインドウのみ、前述のカメラパラメータ変更をウインドウフォーカス変化検出部１３５の出力を用いて行ない、観察者が注目しているウインドウに表示された立体画像のみ、両眼融合範囲内に収められた画像を表示し本発明の動作の効率化を測ることもできる。
【００７７】
また、本発明の第１〜４の実施の形態において、観察者と表示面までの視距離を第５の実施の形態で示した視距離測定手段１４０で測定して用いてもよい。
【００７８】
以上種々述べたように、本発明によれば、カメラと被写体の距離情報と、生成された立体ＣＧ画像の表示装置における視差の大きさを表示装置の大きさと観察距離から、適切なカメラパラメータ（焦点距離または画角、カメラ間隔、輻輳点）を決定し、見やすい立体ＣＧ画像を自動的に得ることができる。
【００７９】
なお、本発明の第１〜５の実施の形態において、２眼立体画像を用いて説明したが、これに限らず、多眼立体画像においても、観察者の左右眼に入力される画像の組全てについて、同じ手法でカメラパラメータ決定を行なえば、多眼立体ＣＧ画像生成も容易に行なうことが出来る。
【００８０】
また、本発明の第１〜５の実施の形態において、生成される画面全体について観察者の両眼融合範囲内に立体ＣＧ画像が収まるようにカメラパラメータを決定したが、観察者が画面中特定の被写体のみを注視せざるを得ないようなシーンの場合等においては、それ以外の被写体の部分については両眼融合出来ないような設定にすることも考えられる。この様な場合、ＣＧ制作者が出力画面の内、観察者の両眼融合範囲内になくてもよい領域を予め設定し、この領域でのデータはカメラパラメータ決定に用いない様にすることも容易に可能である。
【００８１】
また、本発明の第１〜５の実施の形態において、左右眼用の立体画像をＣＧにより得たが、これを立体カメラに置き換えて自然画撮像の場合に適用してもよい。この場合は、ＣＧ処理の式（数１、２）で扱った、複数のカメラの焦点距離ｆ、カメラ間隔Ｗｃ、カメラと輻輳点までの距離ｄｘ（個々のカメラの光軸の交わる点と複数のカメラの中心点の距離）を実際のカメラにおけるパラメータに直接用いればよい。ただし、（数１、数２）における変数Ｍはスクリーンサイズではなく、カメラの撮像素子の受光面の大きさと実際に立体画像が表示されるスクリーンの大きさの比になる。
【００８２】
また、上記第４の実施の形態では、ピントパラメータ決定部２３及び霧効果パラメータ決定部２４の両方を設けた構成としたが、これに代えて、そのどちらか一方のみを備えた構成であってもよい。
【００８３】
また、上記の第１〜５の実施の形態では、いずれも生成される画面全体について観察者の両眼融合範囲内に立体ＣＧ画像が収まるようにカメラパラメータを決定したが、これに限らず、ＣＧ制作者が出力画面の内、観察者の両眼融合範囲内になくてもよい領域を予め設定し、この領域でのデータはカメラパラメータ決定に用いない様にすることも容易に可能である。
【００８４】
また、上記の第１〜５の実施の形態では、いずれも距離情報抽出部、融合範囲確認部等の各処理部を専用のハードウェアにより構成したが、これに代えて、同様の機能をコンピュータを用いてソフトウェア的に実現してもよい。
【００８５】
【発明の効果】
以上述べたところから明らかなように本発明は、観察者にとって自然で見やすい立体画像を生成できるという長所を有する。
【図面の簡単な説明】
【図１】本発明における第１の実施の形態の立体ＣＧ画像生成装置の構成図である。
【図２】本発明におけるＣＧ空間（ワールド座標系）での物体とカメラ位置の関係を示す図である。
【図３】本発明における観察者空間（立体画像表示装置を観察する空間の定義）を説明する図である。
【図４】本発明における立体画像平行撮像方法の説明図である。
【図５】同図（ａ）は、上記第１の実施の形態における操作部の表示部での表示例を説明する図、同図（ｂ）は、その操作部の操作パネルを示す図である。
【図６】本発明における第２の実施の形態の立体ＣＧ画像生成装置の構成図である。
【図７】本発明における第３の実施の形態の立体ＣＧ画像生成装置の構成図である。
【図８】同図（ａ）は、上記第３の実施の形態におけるＮｅａｒクリッピング、Ｆａｒ クリッピング（左右カメラ独立）の概念を説明する図、同図（ｂ）は、Ｎｅａｒクリッピング、Ｆａｒクリッピング（左右カメラ共通）の概念を説明する図である。
【図９】本発明における第４の実施の形態の立体ＣＧ画像生成装置の構成図である。
【図１０】従来の立体ＣＧ画像生成装置の構成図である。
【図１１】同図（ａ）は、３次元構造情報を説明するための形状モデル例を示す図、同図（ｂ）は、その形状モデルのデータ構造を示す図である。
【図１２】同図（ａ）は、ワールド座標系と投影変換を説明する図、同図（ｂ）は、カメラパラメータを説明する図である。
【図１３】本発明における第５の実施の形態の立体ＣＧ画像生成装置の構成図である。
【符号の説明】
１ 投影変換部（右目用）
２ 投影変換部（左目用）
３ レンダリング部（右目用）
４ レンダリング部（左目用）
５ 距離情報抽出部
６ カメラパラメータ決定部
１１ 融合範囲確認部
１２ 操作部
１３ ポインタ
２０ 視差地図計算部
２１ 融合領域判断部Ａ
２１’ 融合領域判断部Ｂ
２２ クリッピング値決定部
２３ ピントパラメータ決定部
２４ 霧効果パラメータ決定部
１２７ ＣＧ画像発生部
１２８ ウインドウ情報管理部
１２９ ウインドウ情報管理制御部
１３０ マウス状態検出部
１３１ 検出部
１３２ ウインドウサイズ検出部
１３３ ウインドウ生成・消滅検出部
１３４ ウインドウ表示位置検出部
１３５ ウインドウフォーカス変化検出部
１３６ 映像信号変換部
１３７ 立体ディスプレイ部
１３８ マウス
１３９ 液晶シャッタ付き眼鏡
１４０ 視距離測定手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a three-dimensional CG image generation device for stereoscopically displaying a two-dimensional image generated from three-dimensional structure information to enable stereoscopic viewing.
[0002]
[Prior art]
As a conventional three-dimensional CG image generation device, for example, there is one as shown in FIG. This is a three-dimensional structure information that describes the three-dimensional shape of the object with a surface model (the object is approximated by a plurality of facets (polygons), and the three-dimensional position of the vertices included in each polygon and the surface synthesized by each polygon , The information defining the ridge line), and the object defined by this is placed in the world coordinate system. When this is captured by a virtual camera, the two-dimensional position of the object projected onto the film is calculated by the projection conversion units 1 and 2, and the rendering units 3 and 4 further calculate the brightness and color of the image inside each polygon (for example, R, G, and B) are determined based on the material of the object, the type of the light source, and the three-dimensional position.
[0003]
For example, as shown in FIG. 11B, a polyhedron shape model as shown in FIG. 11A is described by three-dimensional coordinates of vertices V1 to V8 and a data structure of the shape model (configuration of planes and ridge lines). Then, the object described by this information is arranged in a world coordinate system as shown in FIG. At this time, the image (vertex) projected on the screen 50 of the object viewed from the viewpoint E of the camera is calculated. Then, the output image is obtained by calculating the position, brightness, and color of the surface and the ridge line on the screen formed by each vertex. At this time, since the image is a stereoscopic image, it is necessary to calculate an image from at least two viewpoints. However, as shown in FIG. 12B, the camera parameters include the interval 2Wc between a plurality of cameras, the camera CL, and the camera CL. It is necessary to determine the viewpoint position, the three-dimensional coordinates of the convergence point P of the camera, and the focal length f (or the angle of view θ) of the camera.
[0004]
[Problems to be solved by the invention]
However, in the above-described conventional three-dimensional CG image generation apparatus, it is necessary to change a plurality of camera parameters depending on the viewing distance and the size of the screen. According to the rule, since the CG creator made adjustments so that the observer thought it was easy to see, when a stereoscopic CG image generated by improper adjustment was displayed on the stereoscopic image display device, both of the stereoscopic CG images were displayed. There is a problem that the eye parallax (for example, the difference between the horizontal positions of the same vertices of the left and right images expressed by the viewing angle) exceeds the allowable range of the observer, and often results in an unnatural and easily fatigued stereoscopic image.
.
[0005]
The present invention considers the problem of such a conventional stereoscopic CG image generating apparatus, and can automatically generate a natural and easy-to-view stereoscopic image on a screen of any size at any viewing distance for an observer. It is an object to provide a CG image generation device.
[0006]
[Means for Solving the Problems]
The present invention generates, from three-dimensional structure information describing a three-dimensional shape of an object, a projection conversion unit that generates a plurality of two-dimensional projected images when viewed from a plurality of cameras, and generates a distance between the object and the camera. A distance information extraction unit, based on a screen size of a stereoscopic image display device for displaying at least a stereoscopic image of the object and a viewing distance between the screen and an observer, which are input in advance, Said Fusion range calculation means for calculating the binocular fusion range of the observer, based on the binocular fusion range and the output of the distance information extraction unit, Said Within the binocular fusion range of the observer Said So that all of the objects fit What Camera parameters combination A camera parameter calculating means for calculating a condition, and an output from the camera parameter calculating means. Within the range that satisfies the conditions of the camera parameters A camera parameter determination unit for determining camera parameters, The projection conversion unit, Utilizing the determined camera parameters, generating the plurality of two-dimensional projection images Characterized by This is a three-dimensional CG image generation device.
[0007]
Further, the present invention, based on a screen size of a stereoscopic image display device for displaying at least a stereoscopic image of an object and a viewing distance between the screen and the observer, which are input in advance, determine a binocular fusion range of the observer. The calculation is performed by the fusion range calculation unit, and the camera parameter calculation unit calculates all of the objects within the binocular fusion range of the observer based on the binocular fusion range and the distance between the camera and the object generated by the distance information extraction unit. CG creator determines the camera parameters from the output of the camera parameter calculation means by the camera parameter determination unit, and the projection conversion unit uses the determined camera parameters so that Then, a plurality of two-dimensional projection images as viewed from a plurality of cameras are generated from the three-dimensional structure information describing the three-dimensional shape of the object.
[0008]
Further, the present invention provides a method for displaying one or more stereoscopic CG images in a window environment at a time from a plurality of cameras viewed from a plurality of cameras based on three-dimensional structure information describing a three-dimensional shape of an object. A projection conversion unit that generates a two-dimensional projection model; a distance information extraction unit that generates a distance between the object and the camera; sizes of all windows displaying a stereoscopic image; The window size of the window information management unit for detecting the information of the resolution or the synchronization frequency of the stereoscopic image display device for displaying the two-dimensional projection model finally generated from the output of the window information management unit is calculated. From the output of the distance information extraction unit and the viewing distance of the observer, the camera parameters for storing the stereoscopic CG image within the binocular fusion range of the observer are determined for each window. C) a fusion range checking unit for calculating the fusion conversion range, and a camera parameter determination unit for finally determining a camera parameter of a stereoscopic image corresponding to each window using an output of the fusion range confirmation unit; The unit is a three-dimensional CG image generation device that generates the plurality of two-dimensional projection images using the determined camera parameters.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described with reference to the drawings showing the embodiments.
[0010]
FIG. 1 shows a configuration diagram of a three-dimensional CG image generation device according to the first embodiment of the present invention. In FIG. 1, reference numerals 1 and 2 denote projection conversion units, and reference numerals 3 and 4 denote rendering units, which are the same as those of a conventional three-dimensional CG image generating apparatus. The present embodiment is different from the conventional stereoscopic CG image generating apparatus in that a distance information extracting unit 5, a fusion range checking unit 11, a camera parameter determining unit 6, and an operation unit 12 are added. Here, the fusion range confirmation unit 11 includes fusion range calculation means and camera parameter calculation means.
[0011]
The operation of the stereoscopic CG image generating apparatus of the present embodiment configured as described above will be described below.
[0012]
First, three-dimensional structure information describing the three-dimensional shape of an object by a surface model is input to the projection conversion units 1 and 2 and the distance information extraction unit 5. The CG creator checks the output image by looking at the stereoscopic image display device (not shown) connected to the rendering units 3 and 4, and adjusts the subject and the virtual camera (middle point of the left and right cameras) as desired. It is placed at an appropriate position in the world coordinate system and its direction is determined. The left and right camera positions are arranged at positions of ± Wc in the X-axis direction around the virtual camera position V (see FIG. 2). At this time, the camera parameters (camera interval Wc (here, the camera interval refers to a half of the distance between the left and right cameras; the same applies unless otherwise specified), the focal length f, and the distance dx to the convergence point : Described later in FIG. 3) is set in advance as an initial value.
[0013]
Next, the distance information extraction unit 5 extracts a point closest to the virtual camera (near point N) and a point farthest from the camera (far point F) among the subjects, and calculates x and y coordinates of these points. Let these be N (XN, YN, ZN) and F (XF, YF, ZF) (see FIG. 2). If these two points fall within the binocular fusion range of the observer, a good stereoscopic CG image can be obtained. At this time, the far point and the near point may be comprehensively determined by averaging the distances from the left and right cameras and the virtual camera.
[0014]
Next, the fusion range checking unit 11 calculates the three-dimensional coordinate values of the near point N and the far point F, the size M of the screen of the stereoscopic image display device for observing the stereoscopic CG image input in advance, and the viewing distance of the observer. Based on ds, an effective range (a range in which the observer can perform binocular fusion) of camera parameters (camera interval Wc, focal length f of the camera, distance dx between the convergence point of the camera and the virtual camera position V) is calculated. The parameter definition of the observer space is shown in FIG.
[0015]
The calculation formula is
Proximity condition:
[0016]
(Equation 1)

[0017]
Far point condition:
[0018]
(Equation 2)

[0019]
It is. However, 2 × ΔS indicates the phase difference between the left and right images on the stereoscopic image display screen, and usually 2 × ΔS is often set to the distance between both eyes of the observer (about 60 mm). D− and D + are binocular parallax at the closest point and binocular parallax at the farthest point where the observer can perform binocular fusion. Further, the focal length f and the angle of view θ of the camera have a unique relationship,
[0020]
(Equation 3)

[0021]
Since there is, either may be defined. Also, dx can be automatically determined by determining the position of the camera and the three-dimensional position of the point to which the camera points. The fusion range checking unit 11 calculates all combinations of the camera interval Wc, the camera focal length f, and the distance dx between the convergence point P of the camera and the virtual camera position V that satisfy both of these expressions.
[0022]
Next, the camera parameter determining unit 6 determines which of the camera parameter combinations calculated by the fusion range checking unit 11 is to be adopted.
[0023]
The determination method is, for example,
(1) A method in which the CG creator operates the operation unit 12 to check an output image, and selects various combinations of camera parameters calculated by the fusion range checking unit 11 while experimenting.
(2) The CG creator first determines any one of the camera parameters Wc, f, and dx, operates the remaining two parameters on the operation unit 12, and sets a combination of the parameters indicated by the fusion range confirmation unit 11 ( A method in which the output image is determined while confirming the output image by freely changing the values within (expression 1) and (combination of two parameters that satisfy the expression (expression 2)).
(3) The CG creator first determines any two of the camera parameters Wc, f, and dx, operates the remaining one parameter on the operation unit 12, and sets the parameter range indicated by the fusion range confirmation unit 11 ( A method in which the output image is determined while freely changing it within (a range of one parameter that satisfies Expressions 1 and 2).
Adopt one of them. Hereinafter, the method examples (1) to (3) will be described in more detail.
[0024]
In the case of (1), first, as shown in FIG. 5A, an area (effective area) of a combination of parameters Wc, f, and dx that allows the observer to perform binocular fusion is displayed on the display unit arranged on the operation unit 12. And the pointer 13 indicating the currently set Wc, f, dx is displayed. The CG creator sets the position of this pointer using a three-dimensional mouse or the like. At this time, the values of Wc, f, and dx change depending on the position of the pointer, but cannot be set in an area other than the effective area. Then, the parameters at the coordinates indicated by the pointer are output to the camera parameter determination unit 6, and the output stereoscopic CG images are calculated by the projection conversion units 1 and 2 and the rendering units 3 and 4. This is observed using a three-dimensional image display device, and the CG creator adjusts the position of the pointer as desired. In this way, control is performed so that the output stereoscopic CG image always falls within the binocular fusion range of the observer.
[0025]
In the cases of (2) and (3), as shown in FIG. 5B, the operation panel 12a includes three volumes 14, 15, and 16 for adjusting each parameter, and fixing buttons 17 and 18 for fixing each parameter. , 19. Initially, assume that the fixed button is not turned on. First, the CG creator determines the focal length f among the camera parameters for the operation panel 12a in FIG. 5B to f0 in consideration of the angle of view while observing the output stereoscopic CG image. Adjust the volume 14 to f0 and press the fix button 17. As a result, the parameter f is fixed at f0. When the parameter f is fixed, the fusion range checking unit 11 calculates a combination that satisfies (Equation 1) and (Equation 2) among the remaining parameters Wc and dx. Next, the CG creator checks the output image while operating the volumes 15 and 16 to change the parameters Wc and dx in various ways. At this time, of the values of Wc and dx that the CG creator intends to set, only the range that satisfies (Equation 1) and (Equation 2) is set so that Wc and dx can be changed on the operation panel 12a. At this time, it is also possible to fix either Wc or dx by the fixing buttons 18 and 19. In this case, only one remaining parameter is changed while checking the output stereoscopic CG image. By doing so, it is possible to determine parameters one by one while always keeping the output stereoscopic CG image within the binocular fusion range of the observer.
[0026]
Using the camera parameters Wc, f, and dx determined as described above, the projection conversion units 1 and 2 calculate the two-dimensional position of the object projected on the film when the images are captured by the left and right cameras, and further, the rendering unit. In steps 3 and 4, the brightness and color of the image inside each polygon are determined based on the material of the object, the type of light source, and the three-dimensional position. Then, a final stereoscopic CG image for the left and right eyes is output.
[0027]
In this embodiment, it is assumed that the camera performs convergence shooting (the left and right cameras 7 and 8 are directed to the point P in FIG. 2), but the left and right cameras are installed in parallel as shown in FIG. May be. In this case, the fusion range checking unit 11 does not need to use the three-dimensional coordinate value of the far point of the subject,
[0028]
(Equation 4)

[0029]
It is only necessary to calculate a combination of Wc and f that satisfies the condition shown by (dx is equivalent to being set to ∞).
[0030]
Also, in the present embodiment, the range in which the observer can perform binocular fusion is given by (Equation 1) and (Equation 2). However, D-, D + or a depth distance equivalent thereto is CG. The creator may give it manually.
[0031]
Further, in the present embodiment, the camera parameters are determined based on one CG image data. However, in the case of a moving image, the camera parameters can be sequentially determined using the CG image data at each time. is there. It is also possible to obtain a sequence of camera parameters in a certain predetermined period, store the sequence, and reproduce the same scene many times using stereoscopic camera parameters having the same change.
[0032]
As described above, according to the present embodiment, the distance information between the camera and the subject and the magnitude of parallax in the display device for the generated stereoscopic CG image are calculated from the size of the display device and the observation distance, and this is calculated by the observer. It is possible to determine appropriate camera parameters (focal length or angle of view, camera interval, point of convergence) by automatically determining whether or not it falls within the binocular fusion range, and automatically obtain an easy-to-view stereoscopic CG image.
[0033]
FIG. 6 shows a configuration diagram of a stereoscopic CG image generation device according to the second embodiment of the present invention. In FIG. 6, reference numerals 1 and 2 denote projection converters, reference numerals 3 and 4 denote rendering units, and reference numeral 6 denotes a camera parameter determining unit, which are the same as those of the stereoscopic CG image generating apparatus according to the first embodiment of the present invention. It is. This embodiment is different from the stereoscopic CG image generating apparatus of the first embodiment in that a parallax map calculating unit 20 and a pixel number calculating unit are used instead of the distance information extracting unit 5 and the fusion range checking unit 11 of FIG. Is that a fusion area determination unit A21 is provided.
[0034]
The operation of the stereoscopic CG image generating apparatus of the present embodiment configured as described above will be described below.
[0035]
In the present embodiment, at least one of the camera parameters Wc, f, and dx, particularly Wc, is fixed by the CG creator. It is effective when it is not possible to fit in.
[0036]
The three-dimensional structure information in which the three-dimensional shape of the object is described by the surface model is input to the projection conversion units 1 and 2. As in the first embodiment, first, the CG creator checks the output image by looking at the stereoscopic image display device (not shown) connected to the rendering units 3 and 4, and selects the subject according to his / her preference. The virtual camera (the midpoint between the positions of the left and right cameras) is arranged at an appropriate position in the world coordinate system, and its direction is determined. The left and right camera positions are arranged at positions of ± Wc in the X-axis direction around the virtual camera position V (see FIG. 2). For the camera parameters Wc, f, and dx, preset initial values are used (any of these is a fixed value).
[0037]
Using the parameters thus set, the projection conversion units 1 and 2 output images in which the three-dimensional structure information is projected on a two-dimensional screen, and the rendering units 3 and 4 generate CG images. From the outputs of the rendering units 3 and 4 and the three-dimensional structure information, the parallax map calculation unit 20 calculates the depth data of the left and right images at each point on the projected and converted image, that is, the parallax map (showing the depth amount at each pixel. Image). For example, by using the result of the Z-buffer processing conventionally used for CG, the depth at each point on the screen can be obtained, and it is easy to create a parallax map based on this. . In the case of an image such as a wire frame that is not rendered, a parallax map is created from the projection conversion units 1 and 2 and the three-dimensional structure information.
[0038]
Based on this disparity map, the fusional area determination unit A21 determines the number of pixels of the area in the screen that falls within the binocular fusional range of the stereoscopic CG image viewer (parallax is a value between D− to D +) (Defined as the number of pixels). Next, the parallax map calculation unit 20 and the fusion area determination unit A21 sequentially change the camera parameters Wc, f, and dx to determine all combinations of the preset change ranges of Wc, f, and dx other than the fixed values. , Calculate the number of effective pixels.
[0039]
Next, the camera parameter determination unit 6 calculates parameters Wc, f, and dx corresponding to the maximum value among the effective pixel numbers for all combinations of the parameters Wc, f, and dx calculated so far. Then, the calculated Wc, f, and dx are output to the projection conversion units 1 and 2. In this case, instead of the maximum value of the number of effective pixels, a plurality of combinations close to the maximum value may be listed, and the CG creator may select a desired combination from these and output it to the projection conversion units 1 and 2. In addition, the camera parameter determination unit 6 fixes one of the three parameters (a plurality of parameters are fixed) and sets the maximum number of effective pixels or the maximum number of effective pixels among the remaining parameter combinations. Combinations of the remaining parameters close to the maximum value may be listed, and the CG creator may determine a preferred combination.
[0040]
Then, the projection conversion units 1 and 2 and the rendering units 3 and 4 calculate a final stereoscopic CG image using these parameters. In this way, the camera parameters can be automatically determined so that the most images fall within the binocular fusion range of the observer. If there are a plurality of maximum values of the number of effective pixels, a three-dimensional CG image is generated with the parameters in each case, and the three-dimensional CG creator observes the three-dimensional CG image on a three-dimensional image display device, and selects a combination of favorite parameters.
[0041]
As described above, according to the present embodiment, binocular fusion can be performed even when there is a constraint condition on camera parameters and the entire final output stereoscopic CG image does not fall within the binocular fusion range of the observer. The camera parameters Wc, f, and dx can be automatically determined so that the area of the image is maximized.
[0042]
Further, in the second embodiment, the near point and the far point of the subject are calculated from the parallax map, and based on this, the stereo camera parameters are calculated using the method of the first embodiment. You may decide.
[0043]
FIG. 7 shows a configuration diagram of a stereoscopic CG image generation device according to the third embodiment of the present invention. In FIG. 7, reference numerals 1 and 2 denote projection converters, reference numerals 3 and 4 denote rendering units, reference numeral 6 denotes a camera parameter determining unit, and reference numeral 20 denotes a parallax map calculating unit. These are stereoscopic CG images according to the second embodiment of the present invention. It is the same as that of the generator. The difference from the three-dimensional CG image generation device of the second embodiment is that the fusion area determination unit A21 is replaced with a fusion area determination unit B21 ′ as a pixel number calculation unit, and the clipping value determination unit 22 as a specific image processing unit is different. It is an added point.
[0044]
The operation of the stereoscopic CG image generating apparatus of the present embodiment configured as described above will be described below.
[0045]
First, similarly to the second embodiment, the camera parameter determination unit 6 determines the camera parameters (Wc, dx, f) in the projection conversion units 1, 2. Briefly, first, the CG creator checks the output image by looking at the stereoscopic image display device connected to the rendering units 3 and 4, and moves the subject and the virtual camera to suit the user's preference in the world coordinate system. Position and determine its direction.
[0046]
Using the parameters thus set, the projection conversion units 1 and 2 output images in which the three-dimensional structure information is projected on a two-dimensional screen, and the rendering units 3 and 4 generate CG images. From the outputs of the rendering units 3 and 4 and the three-dimensional structure information, the disparity map calculation unit 20 calculates a disparity map at each point on the projected and transformed image.
[0047]
Based on this disparity map, the fusion area determination unit B21 ′ calculates the number of effective pixels in the area that falls within the binocular fusion range of the stereoscopic CG image viewer on the screen, and calculates the parallax map calculation unit 20, the fusion area determination unit. B21 ′ calculates the number of effective pixels by sequentially changing the camera parameters Wc, f, and dx.
[0048]
Next, the camera parameter determination unit 6 calculates parameters Wc, f, and dx corresponding to the maximum value among the effective pixel numbers for all combinations of the parameters Wc, f, and dx calculated so far. Then, the calculated Wc, f, and dx are output to the projection conversion units 1 and 2. The projection conversion units 1 and 2 and the rendering units 3 and 4 calculate a final three-dimensional CG image using these parameters. It is assumed that the camera parameters are fixed once determined.
[0049]
Here, it is considered that the object moves or the left and right cameras move while maintaining the mutual positional relationship. When the camera moves toward the subject, the distance to the subject decreases, the binocular parallax increases, and a case may occur where the camera does not enter the range of both eyes of the observer. The same applies to the far point. Therefore, processing by clipping is performed while the camera parameters are fixed.
[0050]
In the rendering units 3 and 4, the processing of not displaying a near subject and a distant subject with clipping is performed on a conventional CG image. In the present embodiment, as shown in FIG. The clipping position is determined to a value such that an image that is not within the binocular fusion range for the rendering units 3 and 4 is not output. That is, the fusional area determination unit B21 'calculates the binocular fusional limit of the observer (there are two types, a distant limit and a near limit). Specifically, all points satisfying (Equation 1) and (Equation 2) in the world coordinate system of FIG. 8A are calculated, and this is assumed to be a hatched area of FIG. 8A. Next, the near clipping value CLN and the far clipping value CLF are determined so that points other than the hatched area are not output to the final CG image output (CLNR and CLNL are the near clipping plane of the right camera and the left camera, CLFR, and CLFL, respectively). Are Far clip planes of the right camera and the left camera, respectively.) Only the objects in the area surrounded by the respective Near clipping plane and Far clipping plane are output from the rendering units 3 and 4.
[0051]
In the above-described example, the clipping planes CLNR, CLNL, CLFR, and CLFL are set for each of the left and right cameras. However, as shown in FIG. 8B, the near clipping planes CLCN and Far clipping are set for the virtual camera (origin). The plane CLCF may be determined and applied to both the left and right cameras.
[0052]
Further, in the present embodiment, when an object is present in the clipped area, it is set not to be displayed in the final output image. However, as the object approaches the clipped area, the contrast of the object gradually decreases. If the color is lowered or the color of the object is made transparent, the object naturally disappears in an area where the observer cannot perform binocular fusion, so that a stereoscopic CG image with less uncomfortable feeling can be obtained.
[0053]
As described above, according to the present embodiment, even if the camera parameters are fixed, the clipping plane is set in consideration of the binocular fusion range of the observer, so that the final output stereoscopic CG image can be obtained. It can be kept within the binocular fusion range of the observer.
[0054]
FIG. 9 shows a configuration diagram of a three-dimensional CG image generation device according to the fourth embodiment of the present invention. In FIG. 9, reference numerals 1 and 2 denote projection conversion units, reference numerals 3 and 4 denote rendering units, reference numeral 6 denotes a camera parameter determination unit, reference numeral 20 denotes a parallax map calculation unit, and reference numeral 21 'denotes a fusion area determination unit B. This is the same as that of the three-dimensional CG image generation device of the embodiment. The difference from the three-dimensional CG image generating device of the third embodiment is that a focus parameter determining unit 23 and a fog effect parameter determining unit 24 are provided instead of the clipping value determining unit 22. The point is that these parameters are controlled in accordance with the amount of parallax. The focus parameter determination unit 23 and the fog effect parameter determination unit 24 constitute a specific image processing unit.
[0055]
The operation of the stereoscopic CG image generating apparatus of the present embodiment configured as described above will be described below.
[0056]
First, similarly to the third embodiment, the camera parameter determination unit 6 determines the camera parameters (Wc, dx, f) in the projection conversion units 1 and 2. First, the CG creator arranges the subject and the virtual camera at appropriate positions in the world coordinate system according to his / her preference while checking the output image by looking at the stereoscopic image display device connected to the rendering units 3 and 4, Determine its direction. After that, the projection conversion units 1 and 2 output images in which the three-dimensional structure information is projected on a two-dimensional screen, and the rendering units 3 and 4 generate CG images.
[0057]
Next, from the outputs of the rendering units 3 and 4 and the three-dimensional structure information, the parallax map calculation unit 20 calculates a parallax map at each point on the projected and transformed image. Based on this disparity map, the fusion area determination unit B21 ′ calculates the number of effective pixels in an area that falls within the binocular fusion area of the stereoscopic CG image viewer on the screen, and calculates the number of effective pixels in the disparity map calculation unit 20, fusion area determination unit B21. 'Calculates the number of effective pixels by sequentially changing the camera parameters Wc, f, and dx.
[0058]
Next, the camera parameter determination unit 6 calculates parameters Wc, f, and dx corresponding to the maximum value among the effective pixel numbers for all combinations of the parameters Wc, f, and dx calculated so far. Then, the calculated Wc, f, and dx are output to the projection conversion units 1 and 2. The projection conversion units 1 and 2 and the rendering units 3 and 4 calculate a final three-dimensional CG image using these parameters. It is assumed that the camera parameters are fixed once determined.
[0059]
Here, when generating the final CG image, the rendering units 3 and 4 express the perspective by performing processing such as blurring the focus of a camera or expressing a distant subject in a fog state. There are cases. The focus parameter deciding unit 23 and the fog effect parameter deciding unit 24 decide the degree of the effect of blurring the focus and the fog effect based on the parallax map and the binocular fusion range of the observer.
[0060]
For example, the focus parameter determination unit 23 calculates, in the world coordinate system, a region where the observer cannot perform binocular fusion by the fusion region determination unit B21 ′. The calculation is to calculate (Equation 1), (Equation 2), or three-dimensional coordinates that do not satisfy any of these. When rendering is performed on the objects belonging to these areas by the rendering units 3 and 4, the focus parameter determination unit 23 focuses on the output image so that the output image has an unclear screen such as a defocused state. Output parameters. Of course, if the effect is gradually increased from a region close to the limit region where the observer can perform binocular fusion, a defocused image can be obtained more naturally.
[0061]
Regarding the defocus processing, the defocus state of the camera may be simulated by a conventional CG image technique, for example, ray tracing, or a spatial filtering operation (a low-pass filter or the like) may be performed on the generated CG image. ). There is also a method in which the position of an object is delicately changed in accordance with the amount of out-of-focus, the same object is drawn many times in the same image memory, and an edge portion is blurred. If the position of this object is changed in proportion to the distance from the focal plane where the camera is in focus, the out-of-focus effect can be obtained (in the present embodiment, it is proportional to the distance from the viewer's binocular fusion limit). Just do it.) By doing so, it is possible to reduce the sense of incongruity in a state where binocular fusion cannot be performed for an object for which the observer cannot perform binocular fusion by adding a defocus effect.
[0062]
In the same manner as described above, the fog effect parameter determination unit 24 determines, in the world coordinate system, a region where the observer cannot perform binocular fusion by the fusion region determination unit B21 ′ (particularly, a region where the far point condition (Equation 2) is not satisfied). Is calculated. In the rendering processing of the object in this area, the fog effect parameter determination unit 24 controls the fog effect parameters so that the rendering units 3 and 4 give an effect as if the fog were in the atmosphere. Of course, if the fog is set so as to gradually increase in density from an area close to the limit area where the observer can perform binocular fusion, a CG screen in a situation where a farther area is hidden by fog is generated. I can do it. As described above, when the binocular disparity of a distant object is too large to perform binocular fusion, the discomfort of the observer due to the inability to perform binocular fusion can be reduced by adding the fog effect. .
[0063]
Regarding the method of generating the fog effect in the rendering processing, for example, consider a fog coefficient f (0.0 to 1.0) that decreases as the distance increases. When f is 1, fog is not generated, and when f is 0, a pure white image is obtained. The degree of this effect is the distance from the camera as z
[0064]
(Equation 5)

[0065]
(Equation 6)

[0066]
And so on. Here, far and near are the farthest or closest distances from the camera of the generated CG image, and density is the density of fog. Also, the rendered colors are
[0067]
(Equation 7)

[0068]
Is calculated by Here, C0 is the color of the rendered object and Cf is the color of the fog. The fog effect parameter determination unit 24 smoothly changes f = 1 within the binocular fusion range of the observer, and f = 0 from a region near the binocular fusion limit to a region outside the binocular fusion range. Thus, the rendering units 3 and 4 render a distant subject outside the binocular fusion range as an image with fog, and reduce discomfort due to being out of the binocular fusion range.
[0069]
As described above, according to the present embodiment, even if an object with binocular parallax that cannot be binocularly fused is displayed, a distant object adds a fog effect, and a near object and a distant object adds a defocus effect. Thereby, this adverse effect can be reduced, and a more easily viewable stereoscopic CG image can be generated.
[0070]
FIG. 13 shows a configuration diagram of a stereoscopic TV device according to the fifth embodiment of the present invention. 13, reference numerals 1 and 2 denote a projection conversion unit, 3 and 4 a rendering unit, 6 a camera parameter determination unit, 12 an operation unit, 11 a fusion range confirmation unit, 5 a distance information extraction unit, and 127 a CG image generation. The above is the same as the first embodiment of the present invention. The following configuration is different from the first embodiment, 128 is a window information management unit, 129 is a window information management control unit, 130 is a mouse state detection unit, 131 is a display screen size / dot number detection unit. , 132 is a window size detection unit, 133 is a window generation / deletion detection unit, 134 is a window display position detection unit, 135 is a window focus change detection unit, 136 is a video signal conversion unit, 137 is a stereoscopic display unit, 137 is a mouse, Reference numeral 139 denotes glasses with a liquid crystal shutter, and 140 denotes viewing distance measuring means.
[0071]
The operation of the stereoscopic TV apparatus according to the present embodiment configured as described above will be described below.
[0072]
In the present embodiment, a plurality of three-dimensional images are displayed in a plurality of windows of different sizes in a window environment on a computer screen which is recently mainstream. On the other hand, in the first to fourth embodiments of the present invention, the size for displaying an image is a size unique to the display device.
[0073]
As shown in the three-dimensional display unit 137 in FIG. 13, it is assumed that windows A, B, and C exist on the same screen and display different stereoscopic images.
Here, as a method of displaying a stereoscopic image, an existing stereoscopic display technique can be used. In the present embodiment, a stereoscopic image converted into a video signal by the video signal conversion unit 136 is input to the stereoscopic display unit 137, and the observer observes the stereoscopic image through glasses with a liquid crystal shutter. Used. This is because the R and L video signals input by the video signal converter are R, L, R, L. . . Are switched alternately in time, and this is displayed on the three-dimensional display unit 137. When the image of R is displayed, the right eye of the glasses 139 with the liquid crystal shutter transmits light, the left eye is in a blocking state, and the L eye is The reverse is true when an image is displayed. Thus, the R and L images can be displayed independently for the right and left eyes of the observer. In addition to this example, any existing stereoscopic image display method (for example, a polarization type, a lenticular lens type, or the like) may be used. Usually, the observer can use the mouse 138 to change the size of the windows A, B, and C as desired. If the size of the stereoscopic image changes correspondingly, the binocular fusion range of the observer changes. Therefore, it is necessary to constantly monitor all window sizes and always determine the camera parameters accordingly. That is, the window information management control unit 129 detects information on the window by the mouse operation of the observer, and outputs this as the screen size for all the windows currently displayed on the fusion range checking unit 11. This operation manages the window currently displayed by the window generation / deletion detection unit 133, and determines the size of each window by using the window display position detection unit 134, the window size detection unit 132, the display screen size / dot number detection unit. 131. This is based on the size of the display screen (how many inches), the number of dots vertically and horizontally (or can be converted by detecting the synchronization frequency), and the size of each window (number of dots). It is obtained by calculating the size (inch, centimeter, etc.) and outputting this to the fusion range checking unit 11.
[0074]
Subsequent processing is the same as in the first embodiment of the present invention. That is, the distance information obtained from the three-dimensional structure information is detected by the distance information extraction unit 5, and the distance information ds between the observer and the display surface detected by the viewing distance measuring means 140 is used (Equation 1, Expression 2). ), And outputs the camera parameters to the projection conversion units 1 and 2. The rendering units 3 and 4 calculate R and L images for the right and left eyes. However, this process is performed for all the three-dimensionally displayed windows detected by the window information management unit 128, and this process is performed independently for all the windows.
[0075]
As described above, even in a display system having a window environment in which a plurality of stereoscopic images are displayed, by monitoring each window size by the window information management unit 128, the stereoscopic images displayed in all the windows can be displayed. By controlling the parallax by the camera parameter control so that all the images fall within the fusional range of the observer, it is possible to control the image to be easy to see and a natural image.
[0076]
Also, in the fifth embodiment of the present invention, the above-described camera parameter change is performed using only the output of the window focus change detection unit 135 for only the window specified by the mouse operation of the observer, and the observer pays attention. Only the stereoscopic image displayed in the window that is displayed can display an image contained within the binocular fusion range, and the efficiency of the operation of the present invention can be measured.
[0077]
In the first to fourth embodiments of the present invention, the visual distance between the observer and the display surface may be measured by the visual distance measuring means 140 shown in the fifth embodiment.
[0078]
As described variously, according to the present invention, the distance information between the camera and the subject, and the magnitude of the parallax of the generated stereoscopic CG image on the display device are determined based on the appropriate camera parameters ( The focal length or the angle of view, the camera interval, the point of convergence) are determined, and an easy-to-view three-dimensional CG image can be automatically obtained.
[0079]
In the first to fifth embodiments of the present invention, the description has been made using the binocular stereoscopic image. However, the present invention is not limited to this. If the camera parameters are determined in the same manner for all of them, it is possible to easily generate a multi-view stereoscopic CG image.
[0080]
Also, in the first to fifth embodiments of the present invention, the camera parameters are determined so that the stereoscopic CG image falls within the binocular fusion range of the observer for the entire generated screen. In the case of a scene in which it is necessary to watch only the subject, for example, the setting may be made such that the binocular fusion cannot be performed on the other subject. In such a case, the CG creator may preliminarily set an area on the output screen that does not need to be within the binocular fusion area of the observer, and may not use data in this area for determining camera parameters. It is easily possible.
[0081]
In addition, in the first to fifth embodiments of the present invention, the stereoscopic images for the left and right eyes are obtained by CG, but this may be replaced with a stereoscopic camera and applied to the case of natural image capturing. In this case, the focal length f of the plurality of cameras, the camera interval Wc, the distance dx between the cameras and the convergence point, which are treated by the CG processing equation (Equations 1 and 2) (the point where the optical axis of each camera May be directly used as the parameters of the actual camera. However, the variable M in (Equation 1, 2) is not the screen size but the ratio of the size of the light receiving surface of the image sensor of the camera to the size of the screen on which a stereoscopic image is actually displayed.
[0082]
In the fourth embodiment, both the focus parameter determination unit 23 and the fog effect parameter determination unit 24 are provided. However, instead of this, only one of them is provided. Is also good.
[0083]
Further, in the first to fifth embodiments, the camera parameters are determined so that the stereoscopic CG image falls within the binocular fusion range of the observer for the entire generated screen. However, the present invention is not limited to this. It is also possible for the CG creator to set in advance in the output screen an area that does not need to be within the binocular fusion range of the observer, and to prevent data in this area from being used for determining camera parameters. .
[0084]
In the first to fifth embodiments, the processing units such as the distance information extraction unit and the fusion range confirmation unit are configured by dedicated hardware. However, similar functions are replaced by a computer. May be implemented by software.
[0085]
【The invention's effect】
As is apparent from the above description, the present invention has an advantage that a stereoscopic image which is natural and easy for the observer to see can be generated.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a stereoscopic CG image generation device according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a relationship between an object and a camera position in a CG space (world coordinate system) according to the present invention.
FIG. 3 is a diagram illustrating an observer space (a definition of a space for observing a stereoscopic image display device) according to the present invention.
FIG. 4 is an explanatory diagram of a stereoscopic image parallel imaging method according to the present invention.
FIG. 5A is a diagram for explaining a display example of the operation unit on the display unit according to the first embodiment, and FIG. 5B is a diagram showing an operation panel of the operation unit; is there.
FIG. 6 is a configuration diagram of a stereoscopic CG image generation device according to a second embodiment of the present invention.
FIG. 7 is a configuration diagram of a stereoscopic CG image generation device according to a third embodiment of the present invention.
FIG. 8A is a diagram illustrating the concept of Near clipping and Far clipping (left and right camera independent) in the third embodiment, and FIG. 8B is a diagram illustrating Near clipping and Far clipping (right and left). It is a figure explaining the concept of (common to cameras).
FIG. 9 is a configuration diagram of a stereoscopic CG image generation device according to a fourth embodiment of the present invention.
FIG. 10 is a configuration diagram of a conventional stereoscopic CG image generation device.
FIG. 11A is a diagram illustrating an example of a shape model for explaining three-dimensional structure information, and FIG. 11B is a diagram illustrating a data structure of the shape model.
FIG. 12A is a diagram for explaining a world coordinate system and projection transformation, and FIG. 12B is a diagram for explaining camera parameters.
FIG. 13 is a configuration diagram of a stereoscopic CG image generation device according to a fifth embodiment of the present invention.
[Explanation of symbols]
1 Projection conversion unit (for right eye)
2 Projection conversion unit (for left eye)
3 Rendering unit (for right eye)
4 Rendering unit (for left eye)
5 Distance information extraction unit
6 Camera parameter determination unit
11 Fusion Range Confirmation Section
12 Operation section
13 Pointer
20 Parallax map calculator
21 Fusion area judgment unit A
21 'Fusion area judgment unit B
22 Clipping value determination unit
23 Focus parameter determination unit
24 Fog effect parameter determination unit
127 CG image generator
128 Window information management unit
129 Window information management control unit
130 Mouse state detector
131 detector
132 Window size detector
133 Window Generation / Destruction Detection Unit
134 Window Display Position Detector
135 Window focus change detection unit
136 Video signal converter
137 3D display unit
138 mouse
139 Glasses with LCD shutter
140 Viewing distance measuring means

Claims (14)

A projection conversion unit that generates a plurality of two-dimensional projected images as viewed from a plurality of cameras from three-dimensional structure information that describes a three-dimensional shape of the object, and a distance information extraction unit that generates a distance between the object and the camera Calculating a binocular fusion range of the observer based on a screen size of a stereoscopic image display device for displaying at least a stereoscopic image of the object and a viewing distance between the screen and the observer, which are input in advance. A camera that calculates a combination condition of camera parameters such that the entirety of the object falls within the binocular fusion range of the observer based on the binocular fusion range and an output of the distance information extraction unit. and parameter calculating means, the camera parameters for determining the camera parameters in a range satisfying the camera parameters from an output of the camera parameter calculating means And a data decision section, the projection transformation sections, using the camera parameters that determine the plurality of stereoscopic CG image generating apparatus and generating a two-dimensional projection images. The three-dimensional CG image generating apparatus according to claim 1, wherein the distance information extracting unit extracts a farthest distance or a closest distance between the camera and the object from the three-dimensional structure information. The farthest distance or the closest distance between the camera and the object, the stereoscopic CG image generating apparatus according to claim 2, wherein the settable manually. Before Symbol distance information extraction unit, from the three-dimensional structural information in the region in the CG screen, stereo according to claim 2, wherein the extracting the greatest distance or the closest distance between the camera and the object CG image generation device. A projection conversion unit that generates a plurality of two-dimensional projection images viewed from a plurality of cameras from three-dimensional structure information that describes a three-dimensional shape of an object, and a rendering unit that generates a CG image from the output of the projection conversion unit A parallax map calculation unit configured to generate a distance image of an output image from the output of the projection conversion unit or the rendering unit and the three-dimensional structure information, and to display at least a stereoscopic image of the object input in advance. Based on the screen size of the stereoscopic image display device and the viewing distance between the screen and the observer, a fusion range calculation unit that calculates the binocular fusion range of the observer, and the binocular fusion range and the parallax map calculation unit. Based on the output, a pixel number calculating means for calculating the number of pixels in the stereoscopic image within the binocular fusion range of the observer, and using the output of the pixel number calculating means, A camera parameter determination unit that determines a camera parameter such that the area of the binocular fusionable range of the observer is wider than a predetermined value, the projection conversion unit using the determined camera parameter, A three-dimensional CG image generation device, wherein the plurality of two-dimensional projection images are generated. Before Symbol pixel number calculation means, based on the disparity information in the CG screen, the viewing distance and screen size and screen and the observer of the stereoscopic image display apparatus is in the binocular fusional range of said viewer The three-dimensional CG image generation device according to claim 5, wherein the number of pixels in the CG image is calculated. The number-of-pixels calculating means detects an area of a subject to which the observer can perform binocular fusion, and further includes a specific image processing method for an image portion outside the binocular-fusion area detected by the pixel number calculating means. 7. The three-dimensional CG image generation device according to claim 6, further comprising a specific image processing unit that performs the following. 8. The three-dimensional CG image generation according to claim 7, wherein the specific image processing unit has a clipping value determination unit that sets a position of a clipping plane so as not to generate a CG image of a portion outside the binocular fusion area. apparatus. The specific image processing unit includes a rendering unit that gradually changes the contrast of the subject image or the transparency of the subject corresponding to the range from the vicinity where the binocular fusion of the observer can be performed to the range where the binocular fusion is not possible. The three-dimensional CG image generation device according to claim 7, wherein: 8. The specific image processing unit according to claim 7, further comprising: a fog effect parameter determining unit that controls a degree of the fog effect so that the fog effect becomes stronger as the observer's binocular fusion limit is exceeded. 3D CG image generation device. 8. The specific image processing unit further comprising a focus parameter determining unit that controls a degree of an out-of-focus effect so that the out-of-focus state of the camera becomes stronger as the binocular fusion limit of the observer is exceeded. 3D CG image generation device. When displaying one or a plurality of three-dimensional CG images at once in a window environment, a plurality of two-dimensional projection models as viewed from a plurality of cameras are generated from three-dimensional structure information describing a three-dimensional shape of an object. A projection conversion unit, a distance information extraction unit that generates a distance between the object and the camera, a size of all windows displaying a stereoscopic image, a resolution of an image displayed on a computer screen, or a synchronization frequency. Window information management unit for detecting the information of the three-dimensional image, and a window size of a three-dimensional image display device for displaying a two-dimensional projection model finally generated from the output of the window information management unit. Calculates camera parameters for each window to contain a stereoscopic CG image within the binocular fusion range of the observer from the output of the observer and the viewing distance of the observer A fusion range confirmation unit, and a camera parameter determination unit that finally determines a camera parameter of a stereoscopic image corresponding to each window using an output of the fusion range confirmation unit. A three-dimensional CG image generating apparatus that generates the plurality of two-dimensional projected images by using the obtained camera parameters. 13. The three-dimensional CG image generation according to claim 12, wherein the camera parameter determination unit changes only the camera parameters of the three-dimensional image corresponding to the window only when the observer specifies a window for which the binocular parallax is to be adjusted. apparatus. A projection conversion unit that generates a plurality of two-dimensional projection images as viewed from a plurality of cameras from three-dimensional structure information that describes a three-dimensional shape of the object, and a distance information extraction unit that generates a distance between the object and the camera And calculating a binocular fusion range of the observer based on a screen size of a stereoscopic image display device for displaying at least a stereoscopic image of the object and a viewing distance between the screen and the observer, which are input in advance. Fusion range calculation means, and camera parameters for determining camera parameters such that the entirety of the object falls within the binocular fusion range of the observer based on the binocular fusion range and the output of the distance information extraction unit. A three-dimensional CG image generation device, comprising: a determination unit; and the projection conversion unit generates the plurality of two-dimensional projection images using the determined camera parameters.

Images