JP3934211B2 - 立体ｃｇ動画像生成装置 - Google Patents
立体ｃｇ動画像生成装置 Download PDFInfo
- Publication number
- JP3934211B2 JP3934211B2 JP16637897A JP16637897A JP3934211B2 JP 3934211 B2 JP3934211 B2 JP 3934211B2 JP 16637897 A JP16637897 A JP 16637897A JP 16637897 A JP16637897 A JP 16637897A JP 3934211 B2 JP3934211 B2 JP 3934211B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- camera
- subject
- parallax
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元ＣＧ動画像を生成するもので、カメラや被写体の動き、運動視差の大きさとディスプレイ監視条件により、観察者にとって適切な動きや奥行き感覚を与えることができる立体ＣＧ動画像生成装置に関するものである。
【０００２】
【従来の技術】
従来の立体ＣＧ画像生成装置は、例えば図９に示すようなものがある。これは、被写体の３次元形状をサーフェスモデルで記述した３次元構造情報（被写体を複数の小面（ポリゴン）で近似し、各ポリゴンに含まれる頂点の３次元位置と、各ポリゴンにより合成される面、稜線とを定義した情報）を入力とし、これで定義された被写体をワールド座標系に配置する。これを仮想的なカメラで撮像した時にフイルムに投影される被写体の２次元位置を投影変換部１，２で計算し、更にレンダリング部３，４で各ポリゴン内部の画像の輝度と色（例えば、Ｒ、Ｇ、Ｂの値）を被写体の材質や光源の種類、３次元位置により決定する。
【０００３】
例えば、図１０（ａ）に示すような多面体の形状モデルは、図１０（ｂ）に示すように、頂点Ｖ１〜Ｖ８の３次元座標、形状モデルのデータ構造（面、稜線の構成）で記述され、この情報で記述される被写体を図１１（ａ）に示すようなワールド座標系に配置する。
【０００４】
すなわち、カメラの視点Ｅから見た被写体のスクリーン５０に投影される像（頂点）を計算する。そして、各頂点により構成される面、稜線のスクリーン上での位置・輝度・色を計算して出力画像を得る。
【０００５】
この時、立体画像であるので、少なくとも２視点での画像を計算する必要があるが、図１１（ｂ）で示されるように、カメラのパラメータは、カメラＣL、ＣRの視点位置、複数のカメラの間隔Ｗc、輻輳撮像の時はカメラの輻輳点Ｐの３次元座標、カメラの焦点距離ｆ（ または画角（angle of field of view）θ）で記述される。
【０００６】
以上の説明は基本的に静止ＣＧ画像を生成するものであるが、カメラや被写体が動き、動画ＣＧ画像を生成する場合には順次カメラ・被写体の動きのパラメータを変更することにより、一枚一枚画像を生成していく。このシーケンスデータを保存し供給するのがカメラシーケンス発生部５、オブジェクトシーケンス発生部６である。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記のような従来の立体ＣＧ画像生成装置では、複数のカメラの動きパラメータや被写体の動きパラメータは、その値が不適切だと観察者の視覚機能にマッチしない場合が多々発生し、観察者に負担をかける場合がある。
【０００８】
たとえば、人間が違和感なく画面の動きを知覚できるためには、対象物の速度はある程度の速さ以下が望ましい。また、運動視差（複数対象物間の相対的速度）による奥行き感覚が適切に得られるためには、相対速度にも制限がある。この条件は、表示する画像の大きさや視距離にも関係する。これらが常に適切に設定されないと、違和感や疲労感、ひいては眼精疲労を誘発するような不適切な画像を生成してしまう、という問題点があった。
【０００９】
本発明は、従来のこのような立体ＣＧ画像生成装置の課題を考慮し、観察者にとってどのような視距離でも、どのような大きさの画面でも自動的に自然で見やすい立体画像を生成できる立体ＣＧ動画像生成装置を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
本発明の立体ＣＧ動画像生成装置は、たとえば、被写体の３次元形状を記述する３次元構造情報に基づいて、カメラから見た時の２次元投影画像を生成する投影変換部と、
前記投影変換部の出力に基づいて、実際に観察される画像を計算する複数のレンダリング部と、
前記投影変換部の投影変換を規定し、これを変化させることにより動画像を生成できるカメラパラメータを発生するカメラシーケンス発生部と、
前記３次元構造情報と、前記投影変換部又は前記レンダリング部の出力と、前記カメラシーケンス発生部の出力とに基づいて、表示される被写体の動き及び／又は運動視差を計算する運動計算部と、
少なくとも、前記運動計算部の出力と、画像表示における画面の大きさと、観察者の視距離とに基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の許容範囲内に収まるか否かを判断する運動判断部と、
前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記カメラの移動速度及び／又はパンニング速度に関して前記カメラパラメータを修正するためのカメラパラメータ修正部と、
を備える。
【００１１】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
【００１２】
図１は、本発明の第１の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図１において、１、２は、３次元構造情報を入力し、変換を行う投影変換部、３、４はその投影変換部１、２からの出力をレンダリングするレンダリング部、５はカメラシーケンス発生部、６はオブジェクトシーケンス発生部であり、これらは従来の立体ＣＧ画像生成装置のものと同じものである。
【００１３】
本実施の形態が従来の立体ＣＧ画像生成装置と異なる点は、運動視差計算部７、運動視差判断部８、カメラパラメータ修正部９、オブジェクト動作修正部１０が存在する点である。
【００１４】
以上のように構成された本実施の形態の立体ＣＧ動画像生成装置について、以下その動作を説明する。
【００１５】
まず、被写体の３次元形状をサーフェスモデルで記述した３次元構造情報が投影変換部１、２と運動視差計算部７に入力される。ＣＧ制作者は、レンダリング部３、４に接続された立体画像表示装置１００を見て出力画像を確認し、且つ被写体と仮想カメラの位置関係を表示する画面１０１も見ながら、好みに合わせて、被写体と仮想カメラ（左右カメラの位置の中点）をワールド座標系の適当な位置に配置し、それらの方向を決定する。また、カメラを移動させてシーンをダイナミックに表現する場合にはカメラの移動データ（カメラ位置と方向の時間的変化データ）をカメラシーケンス発生部５に記憶させる。また、被写体が運動する場合にはオブジェクトシーケンスデータ発生部６に被写体の動き情報などを記憶させる（図３参照）。
【００１６】
ここで左右のカメラ位置は、仮想カメラ位置Ｖを中心としてＸ軸方向に±Ｗc／２ の位置に配置される（図２参照）。カメラの焦点距離ｆ、参照点Ｐｒと併せてカメラシーケンスデータとして記憶される（図２(a)、輻輳撮影の場合）。カメラが平行撮影の場合は、図２(b) に示すように、仮想カメラ位置Ｖが参照点Ｐｒを向き、これに左右のカメラが平行になるように設定される。カメラシーケンスデータの一例を図３に示す。仮想視点Ｖ、参照点Ｐｒ、レンズの焦点距離ｆ、カメラ間隔Ｗｃの各時刻ｔiにおける値が定義されている。
【００１７】
次に、運動視差計算部７は表示される被写体の動きおよび運動視差を計算する。これについて、図４の例を用いて説明する。図４（ａ）において、カメラ１１が速度Vで右方向に運動し、被写体A,B,Cを撮影しているとする。この時、カメラでとらえられた画像は図４（ｂ）のようになる。即ち、被写体A,B,Cは画面上で左方向に運動する。この時、それぞれの被写体の速度はそれぞれＶa、Ｖb、Ｖcであり、カメラから遠い被写体ほど速度が小さい。これらの速度は、３次元構造情報とカメラシーケンス発生部５に記憶されたカメラシーケンスデータ、さらに、被写体も運動する場合にはオブジェクトシーケンス発生部６に記憶されたオブジェクトデータにより公知のＣＧデータ計算手法によって計算される。
【００１８】
すなわち、３次元構造情報は頂点座標の情報があるので、これらとカメラパラメータの時間変化であるカメラシーケンスデータから、各頂点の動きを直接計算することができる（図４参照）。また、各ポリゴンの重心位置でのデータで記述することもできる。また、３次元構造情報を用いず、投影変換部１、２またはレンダリング部３、４の出力画像から、既存の画像処理技術（勾配法、マッチング法など）を用いて計算することも可能である。
【００１９】
このようにして得られた３次元情報中の各頂点または各ポリゴンの速度ヒストグラムを計算すると、一般的には図５(a)のようになる。この時、被写体自身の動きや回転がある場合があり、そのため速度分布は少し広がりをもつ。これらのピーク位置を計算し、それぞれがほぼ前述のＶa、Ｖb、Ｖcとなる。これらの値は各被写体毎に記述される。一般的にはヒストグラムのピークのみの情報では被写体毎の速度ピークを分離することは難しいので、あらかじめ３次元構造情報で与えらえれた被写体情報を元に、頂点データを被写体毎に分けておいて、それらの中で速度分布のピークを求めるか、図５(a)のヒストグラム分布から、分布の山を群化し、被写体毎の速度度数ピークを求めてもよい。また、得られた被写体毎の速度Ｖa、Ｖb、Ｖcを元にしてそれぞれの被写体間の相対速度（運動視差）を計算する。計算結果は図５(b)のようになり、各被写体間の相対速度分布が得られる。
【００２０】
このようにして、図５(a)、(b)のデータを得るために、画像を構成するポリゴンを単位に計算したが、３次元構造情報を用いて、各被写体の動きを、各被写体の中心位置の動きで代表させて計算することもできる。この場合、更に計算量を削減できる。
【００２１】
次に、得られた速度ヒストグラムと画像観察条件（視距離、表示画面の大きさ）に基づいて、図１における運動視差判断部８は、生成される動画像の動きと相対運動の大きさが観察者にとって適切かどうか判断する。
【００２２】
ここで、被写体の動き速度と人間の動き知覚との関係を、図６（ａ）に、また、複数の被写体間の相対速度と人間の奥行き知覚量の関係を図６（ｂ）に示す。
【００２３】
すなわち、図６(a)は人間の動き知覚特性を、表示される画像の速度と知覚される動き量として示したものである。０から速度が増加すると、知覚される速度は線形に増加するが、表示被写体速度がＶeaを越えると減少する。これは人間の運動知覚の限界を示しており、表示被写体速度がＶeaを越えると、人間はもはや正しい速度を知覚できなくなっていることを示している。更に速度をあげていくと、速度Ｖebでは観察者は表示画像が動いていることは知覚できるが、どの程度の速度なのかわからない状態となる。
【００２４】
他方、図６(b)は相対速度に対する人間の奥行き知覚の大きさ特性である。相対速度が０から増加するに従って知覚される奥行き量も線形に増加するが、相対速度がＶecを越えた後は逆に減少し、最終的にはほとんど知覚される奥行き量は０に近くなってしまう。また、図６（ａ）、（ｂ）の特性は、表示条件（観察者の表示領域の視野角）によって変化する。視野角が大きい方が許容限界も大きい。これらの特性は、使用者が観察条件を入力することにより選択される。
【００２５】
以上の人間の知覚特性を考慮し、運動視差判断部８は表示される画像の動きや運動視差が人間に許容されるように、カメラの速度、カメラから見たときの被写体間の距離を調整するべきかどうか判断する。
【００２６】
カメラパラメータ修正部９とオブジェクト動作修正部１０における、画像の動きの修正方法は、次のとうりである。例えば運動視差計算部７による計算結果と人間の運動知覚特性が図５(a)のようになっている場合を考える。点線は図６（ａ）である。この場合、人間の特性は速度で表示され、その単位は角度deg/sであり、運動視差計算部７はドットで表された画像上での動き、運動視差を計算するため、その出力は表示位置座標の速度（ドット数／ｓまたは仮想的座標値／ｓ）であらわされる。ドットによる速度を実際の観察条件における角度／秒に変換するために、観察者の視距離、画面の大きさのデータが用いられる。画面の上でのドット数相当の長さが視角でいくらになるかが計算される。
【００２７】
図５（ａ）の場合、被写体Ｂの速度がＶeaを越えているため、ほとんど観察者は被写体Ｂの動きは速すぎて見えない状態である。
【００２８】
（Ａ）カメラ修正の場合：
これを防ぐために、カメラパラメータ修正部９はカメラの移動速度を下げ、ＶBがＶea以下になるように修正し、これをカメラシーケンス発生部５に記憶させる。なお、この時、速度が下がるため、最初に記憶された通りの位置までカメラが移動するのに多く時間がかかる。
【００２９】
また、図１に示されるように修正前後のカメラシーケンスを操作端末などに表示し、どこがどのように修正されたかを示せば、制作者に使いやすいシステムになる。
【００３０】
なお、カメラの速度をどこまで下げるかは、画像制作者の好みの問題もあるため、制作者が速度・運動視差調整データを入力し、基準値であるＶeaの方の大きさを変更することにより修正されたカメラの速度が適宜変更され、好みの設定が得られるようにもできる。すなわち、カメラ修正部により修正後のカメラの速度が変化し、画像の速度が変わる。
【００３１】
一方、運動視差については、図５(b)に示すようになっている場合、運動視差ＶB−ＶCがＶecを越えないように、カメラの速度を落とす。
【００３２】
なお、カメラの速度をどこまで下げるかは、画像制作者の好みの問題もあるため、制作者が速度・運動視差調整データを入力し、基準値であるＶecの方の大きさを変更することにより修正されたカメラの速度が適宜変更され、好みの設定が得られるようにもできる。すなわち、カメラ修正部により修正後のカメラの速度が変化し、画像の相対速度が変わる。
【００３３】
（Ｂ）オブジェクトシーケンス修正の場合：
また、表示される被写体自身の動き量が速く、これが人間の許容範囲を越える場合にはオブジェクト動作修正部１０がオブジェクトの動き速度の最大値ＶBがＶeaを越えないようにオブジェクトの速さを変更し、その結果をオブジェクトシーケンス発生部６に記憶させる。更に、表示される被写体Ｂ，Ｃのカメラからの距離が大きく変化する場合には、それらの被写体の移動量や速度が小さくなるようにそれら被写体の位置（被写体間の距離）や移動速度を修正し、これをオブジェクトシーケンス発生部６に記憶する。
【００３４】
また、オブジェクト動作修正部１０が、修正前後のオブジェクトシーケンスを表示し、どこがどのように修正されたかを示し、また、このままでは適切な動き・運動視差を表示できないオブジェクトシーケンス部分を表示すれば、制作者にとって使いやすいシステムが実現される。
【００３５】
また、図７(a)に示されるように、被写体Ｒ、Ｓが２個あるとき、カメラがＰaからＰfまで移動する際、常に被写体Ｓの方向にカメラが向いているような場合を考える。このような場合でも、被写体の運動・運動視差成分を計算し、これが観察者の許容量を超えている場合にはカメラの移動速度を遅くすることにより観察者の視覚特性に合った動画像を生成できる。この場合には運動成分は被写体Ｒのみが問題となり、被写体Ｓの運動成分は小さくなる。このような場合に、カメラ中心ではない被写体Ｒに対して本発明は有効になる。
【００３６】
更に、同図（ｂ）のようにカメラは移動しないがカメラがパンニングする場合もある。この場合には生成される画像の運動成分のみが主に発生するが、これが観察者の許容限界を越える場合にはカメラのパンニングの速度を遅くすることによって生成される動画像が観察者の視覚特性に合わせることができる。
【００３７】
また、カメラの動きと被写体の動き両方を修正することも可能である。この場合、２つの動きの修正量の組み合わせの割合は、操作者が決定する。たとえば、カメラの動きの制限を本来の５０％に押さえ、後は被写体の動きを修正することにより、画像の動き、運動視差の最大の大きさを目標値以下になるようにすることが出来る。
【００３８】
以上のように、本実施の形態によれば、カメラの動き、被写体の位置・動きを修正することにより、観察者に対して画像の動き・運動視差が観察者の視覚特性に適合し、違和感のない動画像を生成することができる。
【００３９】
図８は、本発明の第２の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図８において、１、２は投影変換部、３、４はレンダリング部、５はカメラシーケンス発生部、６はオブジェクトシーケンス発生部、７は運動視差計算部、８は運動視差判断部、９はカメラパラメータ修正部、１０はオブジェクト動作修正部であり、これらは本発明の第１の実施の形態の立体ＣＧ画像生成装置のものと同じものである。本実施の形態が第１の実施の形態の立体ＣＧ動画像生成装置と異なる点は、両眼視差計算部１１、両眼視差判断部１２が追加されている点である。
【００４０】
以上のように構成された本実施の形態の立体ＣＧ動画像生成装置について、以下その動作を説明する。
【００４１】
基本的な動作は本発明の第１の実施の形態の動作と同じである。
【００４２】
まず、被写体の３次元形状をサーフェスモデルで記述した３次元構造情報が投影変換部１、２と距離情報抽出部５に入力される。ＣＧ制作者は、カメラの移動データ（カメラ位置と方向の時間的変化データ）をカメラシーケンス発生部５に記憶させる。また、被写体が運動する場合にはオブジェクトシーケンスデータ発生部６に被写体の動き情報などを記憶させる（図３参照）。
【００４３】
次に、運動視差計算部７は表示される被写体の動きおよび運動視差を計算する。これについて、図４の例を用いて説明する。図４（ａ）において、カメラ１１が速度Ｖで右方向に運動し、被写体A,B,Cを撮影している。この時、カメラでとらえられた画像は図４（ｂ）のようになる。この時の３次元情報中の各頂点または各ポリゴンの速度ヒストグラムを計算すると、一般的には図５(a)のようになる。これらのピーク位置を計算し、それぞれがほぼ前述のＶa、Ｖb、Ｖcとなる。これらの値は各被写体毎に記述される。次に、得られた被写体毎の速度Ｖa、Ｖb、Ｖcを元にしてそれぞれの被写体間の相対速度を計算する。計算結果は図５(b)のようになり、各被写体間の相対速度分布が得られる。
【００４４】
得られた速度ヒストグラムと画像観察条件（視距離、表示画面の大きさ）を元に運動視差判断部８は表示される画像の動きや運動視差が人間に許容されるように、カメラの速度、カメラから見たときの被写体間の距離を調整するべきかどうか判断し、カメラパラメータ修正部９は、被写体の動きの修正を行う。図５（ａ）の場合、被写体Ｂの速度がＶeaを越えているため、ほとんど観察者は被写体Ｂの動きは速すぎて見えない状態である。これを防ぐために、カメラパラメータ修正部９はカメラの移動速度を下げ、ＶBがＶea以下になるように修正し、これをカメラシーケンス発生部５に記憶させる。また、運動視差の条件においては、図５(b)に示すようになっている場合、運動視差ＶB−ＶCがＶecを越えないように、カメラの移動速度を下げるか、又は、被写体Ｂと被写体Ｃのカメラからの距離が小さくなるように修正する。すなわち、カメラの移動速度を下げるか、または被写体の位置を変えても良い場合には、被写体Ｂ、Ｃの距離を小さくしてＢＣ間の運動視差を小さくすることが出来る。カメラの移動速度は画像の運動、相対運動に影響し、被写体間距離は相対速度（運動視差に影響する）。
【００４５】
以上の動作は、本発明の第1の実施の形態と同じであるが、第２の実施の形態では、以下の動作が付加される。
【００４６】
カメラが被写体に対して奥行き方向に運動する場合、人間の奥行き方向の運動知覚は、運動視差の変化により影響を受けるが、それよりも両眼視差の変化による大きく影響を受ける。この場合には、両眼視差が過度に大きく変化するので、観察者が、奥行き知覚しづらくなる。これを防ぐために、両眼視差計算部１１が３次元構造情報とカメラシーケンスデータとオブジェクトシーケンスデータから被写体の両眼視差の変化を計算し、その計算結果を利用して、両眼視差判断部１２が、画像観察条件（視距離、表示画面の大きさ）も加味して実際に表示される画像の両眼視差の変化が、ある所定の値（制作者が入力する）よりも大きい場合には、カメラの奥行き方向の動きを小さくする。その結果、生成される立体ＣＧ動画像が見やすくなる。
【００４７】
また、両眼視差調整データを両眼視差判断部１３とカメラパラメータ修正部９に入力することにより、両眼視差の変化をいくらまで許容するかを指定する。これにより、制作者が両眼視差の大きさを故意に大きくするなどの特殊な用途にも対応できる。
【００４８】
なお、両眼視差計算部１２は、投影変換部１、２、レンダリング部３、４の出力を用いて既存の画像処理技術（勾配法、マッチング法など）を用いて両眼視差を計算しても良い。
【００４９】
更に、被写体が大きく奥行き方向に運動する場合も同様に、両眼視差計算部１２が計算した両眼視差の変化が許容範囲よりも大きい場合には、オブジェクトシーケンスデータを修正して被写体の動きを小さくすることにより、見やすい立体ＣＧ画像を生成することが出来る。また、この許容範囲は観察条件（表示領域の視野角）によって変化する。視野角が大きいほど許容範囲も大きい。この許容範囲のデータを両眼視差判断部１３は保有しており、使用者が予め観察条件を入力し、それに対応した許容範囲特性が使用される。
【００５０】
また、被写体がカメラの光軸方向に運動する場合、被写体の運動や運動視差も生じるが、２つのカメラで撮像された被写体が左右の画面上で対称に運動するようになる。この場合は特に運動視差の変化よりも、両眼視差の変化により、奥行き方向の知覚が影響を受ける。このような場合を両眼視差判断部１３は検出し、両眼視差の変化が、ある所定値よりも小さくなるように被写体の動きやカメラの動きを修正する。これによって、１つのカメラからの視点では動き、運動視差としてとらえてしまうような状況においても、これを両眼視差の変化と判断し、適切なカメラシーケンス、オブジェクトシーケンスデータを生成することが出来る。
【００５１】
また、カメラパラメータ修正部９とオブジェクト動作修正部１０は、カメラシーケンスやオブジェクトシーケンスのうち、両眼視差の変化の関係から、不適切と判断し修正した部分について、これを制作者に端末等を通じて表示する。このようにすればさらに編集作業のしやすいシステムとなる。
【００５２】
以上のように、本実施の形態によれば、運動視差の変化のみならず両眼視差の変化を適正な範囲に抑えることができるので、観察者の視覚特性に最適であり、違和感のない、立体動画像を生成することができる。
【００５３】
なお、本発明の第１、２の実施の形態において、画像の動き、運動視差、両眼視差の計算は、３次元構造情報、カメラシーケンス、オブジェクトシーケンス発生部の出力を用いたが、投影変換部やレンダリング部の出力を用いて、既存の画像処理技術（マッチング処理や勾配法を用いる方法）によりこれらを計算しても良い。
【００５４】
また、本発明の第１、２の実施の形態は、２眼の立体ＣＧ動画像を生成するようになっているが、これを更に画像数の多い多眼立体画像にするために、投影変換部１、２とレンダリング部３、４を増加させてもよい。この場合、カメラシーケンス発生部５には投影変換部の数に対応した数のカメラパラメータが記述される。
【００５５】
また、立体ＣＧ画像を例にとって説明したが、カメラ１台の従来の単眼の３次元ＣＧ動画像についても本発明は適用される。
【００５６】
また、本発明の第１、２の実施の形態において、被写体の動き、運動視差の計算は、２眼立体画像の場合、仮想視点Ｖ（図２）のパラメータで計算しても良いし、右または左カメラ視点どちらかでのパラメータで計算してもいいし、両方計算してその平均値を用いても良い。
【００５７】
また、多眼立体ＣＧ動画像の場合には、カメラ列の中心の視点のパラメータでの計算を行ってもよいし、もっとも中心に近いカメラのパラメータを用いても良いし、複数のカメラパラメータで計算し、それらの平均値、最大値、最小値、中間値を用いても良い。
【００５８】
また、本発明の第１、２の実施の形態において、被写体の動き、運動視差、両眼視差等の変化が、観察者の運動、奥行き知覚特性の許容範囲よりもかなり大きくなってもよいとし、観察者の眼は追従しないが何か動いている印象を与えたい場合には、画像制作者が運動視差判断部８またはカメラパラメータ修正部９またはオブジェクト動作修正部１０の動作を一時止めて、カメラパラメータやオブジェクトパラメータを自由に設定できるようにしてもよい。
【図面の簡単な説明】
【図１】本発明における第１の実施の形態の立体ＣＧ動画像生成装置の構成図である。
【図２】本発明におけるＣＧ空間でのカメラパラメータを示す図である。
【図３】本発明におけるカメラシーケンス、データを説明する図である。
【図４】本発明におけるカメラの動きと生成される画像の関係を示した図である。
【図５】本発明における動き、運動視差計算結果例を示す図である。
【図６】本発明における動き、運動視差に対する人間の視覚特性を示す図である。
【図７】本発明におけるカメラの動きの説明図である。
【図８】本発明における第１の実施の形態の立体ＣＧ動画像生成装置の構成図である。
【図９】従来の立体ＣＧ画像生成装置の構成図である。
【図１０】同図（ａ）は、３次元構造情報を説明するための形状モデル例を示す図、同図（ｂ）は、その形状モデルのデータ構造を示す図である。
【図１１】同図（ａ）は、ワールド座標系と投影変換を説明する図、同図（ｂ）は、カメラパラメータを説明する図である。
【符号の説明】
１ 投影変換部（右目用）
２ 投影変換部（左目用）
３ レンダリング部（右目用）
４ レンダリング部（左目用）
５ カメラシーケンス発生部
６ オブジェクトシーケンス発生部
７ 運動視差計算部
８ 運動視差判断部
９ カメラパラメータ修正部
１０ オブジェクト動作修正部
１２ 両眼視差計算部
１３ 両眼視差判断部
【発明の属する技術分野】
本発明は、３次元ＣＧ動画像を生成するもので、カメラや被写体の動き、運動視差の大きさとディスプレイ監視条件により、観察者にとって適切な動きや奥行き感覚を与えることができる立体ＣＧ動画像生成装置に関するものである。
【０００２】
【従来の技術】
従来の立体ＣＧ画像生成装置は、例えば図９に示すようなものがある。これは、被写体の３次元形状をサーフェスモデルで記述した３次元構造情報（被写体を複数の小面（ポリゴン）で近似し、各ポリゴンに含まれる頂点の３次元位置と、各ポリゴンにより合成される面、稜線とを定義した情報）を入力とし、これで定義された被写体をワールド座標系に配置する。これを仮想的なカメラで撮像した時にフイルムに投影される被写体の２次元位置を投影変換部１，２で計算し、更にレンダリング部３，４で各ポリゴン内部の画像の輝度と色（例えば、Ｒ、Ｇ、Ｂの値）を被写体の材質や光源の種類、３次元位置により決定する。
【０００３】
例えば、図１０（ａ）に示すような多面体の形状モデルは、図１０（ｂ）に示すように、頂点Ｖ１〜Ｖ８の３次元座標、形状モデルのデータ構造（面、稜線の構成）で記述され、この情報で記述される被写体を図１１（ａ）に示すようなワールド座標系に配置する。
【０００４】
すなわち、カメラの視点Ｅから見た被写体のスクリーン５０に投影される像（頂点）を計算する。そして、各頂点により構成される面、稜線のスクリーン上での位置・輝度・色を計算して出力画像を得る。
【０００５】
この時、立体画像であるので、少なくとも２視点での画像を計算する必要があるが、図１１（ｂ）で示されるように、カメラのパラメータは、カメラＣL、ＣRの視点位置、複数のカメラの間隔Ｗc、輻輳撮像の時はカメラの輻輳点Ｐの３次元座標、カメラの焦点距離ｆ（ または画角（angle of field of view）θ）で記述される。
【０００６】
以上の説明は基本的に静止ＣＧ画像を生成するものであるが、カメラや被写体が動き、動画ＣＧ画像を生成する場合には順次カメラ・被写体の動きのパラメータを変更することにより、一枚一枚画像を生成していく。このシーケンスデータを保存し供給するのがカメラシーケンス発生部５、オブジェクトシーケンス発生部６である。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記のような従来の立体ＣＧ画像生成装置では、複数のカメラの動きパラメータや被写体の動きパラメータは、その値が不適切だと観察者の視覚機能にマッチしない場合が多々発生し、観察者に負担をかける場合がある。
【０００８】
たとえば、人間が違和感なく画面の動きを知覚できるためには、対象物の速度はある程度の速さ以下が望ましい。また、運動視差（複数対象物間の相対的速度）による奥行き感覚が適切に得られるためには、相対速度にも制限がある。この条件は、表示する画像の大きさや視距離にも関係する。これらが常に適切に設定されないと、違和感や疲労感、ひいては眼精疲労を誘発するような不適切な画像を生成してしまう、という問題点があった。
【０００９】
本発明は、従来のこのような立体ＣＧ画像生成装置の課題を考慮し、観察者にとってどのような視距離でも、どのような大きさの画面でも自動的に自然で見やすい立体画像を生成できる立体ＣＧ動画像生成装置を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
本発明の立体ＣＧ動画像生成装置は、たとえば、被写体の３次元形状を記述する３次元構造情報に基づいて、カメラから見た時の２次元投影画像を生成する投影変換部と、
前記投影変換部の出力に基づいて、実際に観察される画像を計算する複数のレンダリング部と、
前記投影変換部の投影変換を規定し、これを変化させることにより動画像を生成できるカメラパラメータを発生するカメラシーケンス発生部と、
前記３次元構造情報と、前記投影変換部又は前記レンダリング部の出力と、前記カメラシーケンス発生部の出力とに基づいて、表示される被写体の動き及び／又は運動視差を計算する運動計算部と、
少なくとも、前記運動計算部の出力と、画像表示における画面の大きさと、観察者の視距離とに基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の許容範囲内に収まるか否かを判断する運動判断部と、
前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記カメラの移動速度及び／又はパンニング速度に関して前記カメラパラメータを修正するためのカメラパラメータ修正部と、
を備える。
【００１１】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
【００１２】
図１は、本発明の第１の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図１において、１、２は、３次元構造情報を入力し、変換を行う投影変換部、３、４はその投影変換部１、２からの出力をレンダリングするレンダリング部、５はカメラシーケンス発生部、６はオブジェクトシーケンス発生部であり、これらは従来の立体ＣＧ画像生成装置のものと同じものである。
【００１３】
本実施の形態が従来の立体ＣＧ画像生成装置と異なる点は、運動視差計算部７、運動視差判断部８、カメラパラメータ修正部９、オブジェクト動作修正部１０が存在する点である。
【００１４】
以上のように構成された本実施の形態の立体ＣＧ動画像生成装置について、以下その動作を説明する。
【００１５】
まず、被写体の３次元形状をサーフェスモデルで記述した３次元構造情報が投影変換部１、２と運動視差計算部７に入力される。ＣＧ制作者は、レンダリング部３、４に接続された立体画像表示装置１００を見て出力画像を確認し、且つ被写体と仮想カメラの位置関係を表示する画面１０１も見ながら、好みに合わせて、被写体と仮想カメラ（左右カメラの位置の中点）をワールド座標系の適当な位置に配置し、それらの方向を決定する。また、カメラを移動させてシーンをダイナミックに表現する場合にはカメラの移動データ（カメラ位置と方向の時間的変化データ）をカメラシーケンス発生部５に記憶させる。また、被写体が運動する場合にはオブジェクトシーケンスデータ発生部６に被写体の動き情報などを記憶させる（図３参照）。
【００１６】
ここで左右のカメラ位置は、仮想カメラ位置Ｖを中心としてＸ軸方向に±Ｗc／２ の位置に配置される（図２参照）。カメラの焦点距離ｆ、参照点Ｐｒと併せてカメラシーケンスデータとして記憶される（図２(a)、輻輳撮影の場合）。カメラが平行撮影の場合は、図２(b) に示すように、仮想カメラ位置Ｖが参照点Ｐｒを向き、これに左右のカメラが平行になるように設定される。カメラシーケンスデータの一例を図３に示す。仮想視点Ｖ、参照点Ｐｒ、レンズの焦点距離ｆ、カメラ間隔Ｗｃの各時刻ｔiにおける値が定義されている。
【００１７】
次に、運動視差計算部７は表示される被写体の動きおよび運動視差を計算する。これについて、図４の例を用いて説明する。図４（ａ）において、カメラ１１が速度Vで右方向に運動し、被写体A,B,Cを撮影しているとする。この時、カメラでとらえられた画像は図４（ｂ）のようになる。即ち、被写体A,B,Cは画面上で左方向に運動する。この時、それぞれの被写体の速度はそれぞれＶa、Ｖb、Ｖcであり、カメラから遠い被写体ほど速度が小さい。これらの速度は、３次元構造情報とカメラシーケンス発生部５に記憶されたカメラシーケンスデータ、さらに、被写体も運動する場合にはオブジェクトシーケンス発生部６に記憶されたオブジェクトデータにより公知のＣＧデータ計算手法によって計算される。
【００１８】
すなわち、３次元構造情報は頂点座標の情報があるので、これらとカメラパラメータの時間変化であるカメラシーケンスデータから、各頂点の動きを直接計算することができる（図４参照）。また、各ポリゴンの重心位置でのデータで記述することもできる。また、３次元構造情報を用いず、投影変換部１、２またはレンダリング部３、４の出力画像から、既存の画像処理技術（勾配法、マッチング法など）を用いて計算することも可能である。
【００１９】
このようにして得られた３次元情報中の各頂点または各ポリゴンの速度ヒストグラムを計算すると、一般的には図５(a)のようになる。この時、被写体自身の動きや回転がある場合があり、そのため速度分布は少し広がりをもつ。これらのピーク位置を計算し、それぞれがほぼ前述のＶa、Ｖb、Ｖcとなる。これらの値は各被写体毎に記述される。一般的にはヒストグラムのピークのみの情報では被写体毎の速度ピークを分離することは難しいので、あらかじめ３次元構造情報で与えらえれた被写体情報を元に、頂点データを被写体毎に分けておいて、それらの中で速度分布のピークを求めるか、図５(a)のヒストグラム分布から、分布の山を群化し、被写体毎の速度度数ピークを求めてもよい。また、得られた被写体毎の速度Ｖa、Ｖb、Ｖcを元にしてそれぞれの被写体間の相対速度（運動視差）を計算する。計算結果は図５(b)のようになり、各被写体間の相対速度分布が得られる。
【００２０】
このようにして、図５(a)、(b)のデータを得るために、画像を構成するポリゴンを単位に計算したが、３次元構造情報を用いて、各被写体の動きを、各被写体の中心位置の動きで代表させて計算することもできる。この場合、更に計算量を削減できる。
【００２１】
次に、得られた速度ヒストグラムと画像観察条件（視距離、表示画面の大きさ）に基づいて、図１における運動視差判断部８は、生成される動画像の動きと相対運動の大きさが観察者にとって適切かどうか判断する。
【００２２】
ここで、被写体の動き速度と人間の動き知覚との関係を、図６（ａ）に、また、複数の被写体間の相対速度と人間の奥行き知覚量の関係を図６（ｂ）に示す。
【００２３】
すなわち、図６(a)は人間の動き知覚特性を、表示される画像の速度と知覚される動き量として示したものである。０から速度が増加すると、知覚される速度は線形に増加するが、表示被写体速度がＶeaを越えると減少する。これは人間の運動知覚の限界を示しており、表示被写体速度がＶeaを越えると、人間はもはや正しい速度を知覚できなくなっていることを示している。更に速度をあげていくと、速度Ｖebでは観察者は表示画像が動いていることは知覚できるが、どの程度の速度なのかわからない状態となる。
【００２４】
他方、図６(b)は相対速度に対する人間の奥行き知覚の大きさ特性である。相対速度が０から増加するに従って知覚される奥行き量も線形に増加するが、相対速度がＶecを越えた後は逆に減少し、最終的にはほとんど知覚される奥行き量は０に近くなってしまう。また、図６（ａ）、（ｂ）の特性は、表示条件（観察者の表示領域の視野角）によって変化する。視野角が大きい方が許容限界も大きい。これらの特性は、使用者が観察条件を入力することにより選択される。
【００２５】
以上の人間の知覚特性を考慮し、運動視差判断部８は表示される画像の動きや運動視差が人間に許容されるように、カメラの速度、カメラから見たときの被写体間の距離を調整するべきかどうか判断する。
【００２６】
カメラパラメータ修正部９とオブジェクト動作修正部１０における、画像の動きの修正方法は、次のとうりである。例えば運動視差計算部７による計算結果と人間の運動知覚特性が図５(a)のようになっている場合を考える。点線は図６（ａ）である。この場合、人間の特性は速度で表示され、その単位は角度deg/sであり、運動視差計算部７はドットで表された画像上での動き、運動視差を計算するため、その出力は表示位置座標の速度（ドット数／ｓまたは仮想的座標値／ｓ）であらわされる。ドットによる速度を実際の観察条件における角度／秒に変換するために、観察者の視距離、画面の大きさのデータが用いられる。画面の上でのドット数相当の長さが視角でいくらになるかが計算される。
【００２７】
図５（ａ）の場合、被写体Ｂの速度がＶeaを越えているため、ほとんど観察者は被写体Ｂの動きは速すぎて見えない状態である。
【００２８】
（Ａ）カメラ修正の場合：
これを防ぐために、カメラパラメータ修正部９はカメラの移動速度を下げ、ＶBがＶea以下になるように修正し、これをカメラシーケンス発生部５に記憶させる。なお、この時、速度が下がるため、最初に記憶された通りの位置までカメラが移動するのに多く時間がかかる。
【００２９】
また、図１に示されるように修正前後のカメラシーケンスを操作端末などに表示し、どこがどのように修正されたかを示せば、制作者に使いやすいシステムになる。
【００３０】
なお、カメラの速度をどこまで下げるかは、画像制作者の好みの問題もあるため、制作者が速度・運動視差調整データを入力し、基準値であるＶeaの方の大きさを変更することにより修正されたカメラの速度が適宜変更され、好みの設定が得られるようにもできる。すなわち、カメラ修正部により修正後のカメラの速度が変化し、画像の速度が変わる。
【００３１】
一方、運動視差については、図５(b)に示すようになっている場合、運動視差ＶB−ＶCがＶecを越えないように、カメラの速度を落とす。
【００３２】
なお、カメラの速度をどこまで下げるかは、画像制作者の好みの問題もあるため、制作者が速度・運動視差調整データを入力し、基準値であるＶecの方の大きさを変更することにより修正されたカメラの速度が適宜変更され、好みの設定が得られるようにもできる。すなわち、カメラ修正部により修正後のカメラの速度が変化し、画像の相対速度が変わる。
【００３３】
（Ｂ）オブジェクトシーケンス修正の場合：
また、表示される被写体自身の動き量が速く、これが人間の許容範囲を越える場合にはオブジェクト動作修正部１０がオブジェクトの動き速度の最大値ＶBがＶeaを越えないようにオブジェクトの速さを変更し、その結果をオブジェクトシーケンス発生部６に記憶させる。更に、表示される被写体Ｂ，Ｃのカメラからの距離が大きく変化する場合には、それらの被写体の移動量や速度が小さくなるようにそれら被写体の位置（被写体間の距離）や移動速度を修正し、これをオブジェクトシーケンス発生部６に記憶する。
【００３４】
また、オブジェクト動作修正部１０が、修正前後のオブジェクトシーケンスを表示し、どこがどのように修正されたかを示し、また、このままでは適切な動き・運動視差を表示できないオブジェクトシーケンス部分を表示すれば、制作者にとって使いやすいシステムが実現される。
【００３５】
また、図７(a)に示されるように、被写体Ｒ、Ｓが２個あるとき、カメラがＰaからＰfまで移動する際、常に被写体Ｓの方向にカメラが向いているような場合を考える。このような場合でも、被写体の運動・運動視差成分を計算し、これが観察者の許容量を超えている場合にはカメラの移動速度を遅くすることにより観察者の視覚特性に合った動画像を生成できる。この場合には運動成分は被写体Ｒのみが問題となり、被写体Ｓの運動成分は小さくなる。このような場合に、カメラ中心ではない被写体Ｒに対して本発明は有効になる。
【００３６】
更に、同図（ｂ）のようにカメラは移動しないがカメラがパンニングする場合もある。この場合には生成される画像の運動成分のみが主に発生するが、これが観察者の許容限界を越える場合にはカメラのパンニングの速度を遅くすることによって生成される動画像が観察者の視覚特性に合わせることができる。
【００３７】
また、カメラの動きと被写体の動き両方を修正することも可能である。この場合、２つの動きの修正量の組み合わせの割合は、操作者が決定する。たとえば、カメラの動きの制限を本来の５０％に押さえ、後は被写体の動きを修正することにより、画像の動き、運動視差の最大の大きさを目標値以下になるようにすることが出来る。
【００３８】
以上のように、本実施の形態によれば、カメラの動き、被写体の位置・動きを修正することにより、観察者に対して画像の動き・運動視差が観察者の視覚特性に適合し、違和感のない動画像を生成することができる。
【００３９】
図８は、本発明の第２の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図８において、１、２は投影変換部、３、４はレンダリング部、５はカメラシーケンス発生部、６はオブジェクトシーケンス発生部、７は運動視差計算部、８は運動視差判断部、９はカメラパラメータ修正部、１０はオブジェクト動作修正部であり、これらは本発明の第１の実施の形態の立体ＣＧ画像生成装置のものと同じものである。本実施の形態が第１の実施の形態の立体ＣＧ動画像生成装置と異なる点は、両眼視差計算部１１、両眼視差判断部１２が追加されている点である。
【００４０】
以上のように構成された本実施の形態の立体ＣＧ動画像生成装置について、以下その動作を説明する。
【００４１】
基本的な動作は本発明の第１の実施の形態の動作と同じである。
【００４２】
まず、被写体の３次元形状をサーフェスモデルで記述した３次元構造情報が投影変換部１、２と距離情報抽出部５に入力される。ＣＧ制作者は、カメラの移動データ（カメラ位置と方向の時間的変化データ）をカメラシーケンス発生部５に記憶させる。また、被写体が運動する場合にはオブジェクトシーケンスデータ発生部６に被写体の動き情報などを記憶させる（図３参照）。
【００４３】
次に、運動視差計算部７は表示される被写体の動きおよび運動視差を計算する。これについて、図４の例を用いて説明する。図４（ａ）において、カメラ１１が速度Ｖで右方向に運動し、被写体A,B,Cを撮影している。この時、カメラでとらえられた画像は図４（ｂ）のようになる。この時の３次元情報中の各頂点または各ポリゴンの速度ヒストグラムを計算すると、一般的には図５(a)のようになる。これらのピーク位置を計算し、それぞれがほぼ前述のＶa、Ｖb、Ｖcとなる。これらの値は各被写体毎に記述される。次に、得られた被写体毎の速度Ｖa、Ｖb、Ｖcを元にしてそれぞれの被写体間の相対速度を計算する。計算結果は図５(b)のようになり、各被写体間の相対速度分布が得られる。
【００４４】
得られた速度ヒストグラムと画像観察条件（視距離、表示画面の大きさ）を元に運動視差判断部８は表示される画像の動きや運動視差が人間に許容されるように、カメラの速度、カメラから見たときの被写体間の距離を調整するべきかどうか判断し、カメラパラメータ修正部９は、被写体の動きの修正を行う。図５（ａ）の場合、被写体Ｂの速度がＶeaを越えているため、ほとんど観察者は被写体Ｂの動きは速すぎて見えない状態である。これを防ぐために、カメラパラメータ修正部９はカメラの移動速度を下げ、ＶBがＶea以下になるように修正し、これをカメラシーケンス発生部５に記憶させる。また、運動視差の条件においては、図５(b)に示すようになっている場合、運動視差ＶB−ＶCがＶecを越えないように、カメラの移動速度を下げるか、又は、被写体Ｂと被写体Ｃのカメラからの距離が小さくなるように修正する。すなわち、カメラの移動速度を下げるか、または被写体の位置を変えても良い場合には、被写体Ｂ、Ｃの距離を小さくしてＢＣ間の運動視差を小さくすることが出来る。カメラの移動速度は画像の運動、相対運動に影響し、被写体間距離は相対速度（運動視差に影響する）。
【００４５】
以上の動作は、本発明の第1の実施の形態と同じであるが、第２の実施の形態では、以下の動作が付加される。
【００４６】
カメラが被写体に対して奥行き方向に運動する場合、人間の奥行き方向の運動知覚は、運動視差の変化により影響を受けるが、それよりも両眼視差の変化による大きく影響を受ける。この場合には、両眼視差が過度に大きく変化するので、観察者が、奥行き知覚しづらくなる。これを防ぐために、両眼視差計算部１１が３次元構造情報とカメラシーケンスデータとオブジェクトシーケンスデータから被写体の両眼視差の変化を計算し、その計算結果を利用して、両眼視差判断部１２が、画像観察条件（視距離、表示画面の大きさ）も加味して実際に表示される画像の両眼視差の変化が、ある所定の値（制作者が入力する）よりも大きい場合には、カメラの奥行き方向の動きを小さくする。その結果、生成される立体ＣＧ動画像が見やすくなる。
【００４７】
また、両眼視差調整データを両眼視差判断部１３とカメラパラメータ修正部９に入力することにより、両眼視差の変化をいくらまで許容するかを指定する。これにより、制作者が両眼視差の大きさを故意に大きくするなどの特殊な用途にも対応できる。
【００４８】
なお、両眼視差計算部１２は、投影変換部１、２、レンダリング部３、４の出力を用いて既存の画像処理技術（勾配法、マッチング法など）を用いて両眼視差を計算しても良い。
【００４９】
更に、被写体が大きく奥行き方向に運動する場合も同様に、両眼視差計算部１２が計算した両眼視差の変化が許容範囲よりも大きい場合には、オブジェクトシーケンスデータを修正して被写体の動きを小さくすることにより、見やすい立体ＣＧ画像を生成することが出来る。また、この許容範囲は観察条件（表示領域の視野角）によって変化する。視野角が大きいほど許容範囲も大きい。この許容範囲のデータを両眼視差判断部１３は保有しており、使用者が予め観察条件を入力し、それに対応した許容範囲特性が使用される。
【００５０】
また、被写体がカメラの光軸方向に運動する場合、被写体の運動や運動視差も生じるが、２つのカメラで撮像された被写体が左右の画面上で対称に運動するようになる。この場合は特に運動視差の変化よりも、両眼視差の変化により、奥行き方向の知覚が影響を受ける。このような場合を両眼視差判断部１３は検出し、両眼視差の変化が、ある所定値よりも小さくなるように被写体の動きやカメラの動きを修正する。これによって、１つのカメラからの視点では動き、運動視差としてとらえてしまうような状況においても、これを両眼視差の変化と判断し、適切なカメラシーケンス、オブジェクトシーケンスデータを生成することが出来る。
【００５１】
また、カメラパラメータ修正部９とオブジェクト動作修正部１０は、カメラシーケンスやオブジェクトシーケンスのうち、両眼視差の変化の関係から、不適切と判断し修正した部分について、これを制作者に端末等を通じて表示する。このようにすればさらに編集作業のしやすいシステムとなる。
【００５２】
以上のように、本実施の形態によれば、運動視差の変化のみならず両眼視差の変化を適正な範囲に抑えることができるので、観察者の視覚特性に最適であり、違和感のない、立体動画像を生成することができる。
【００５３】
なお、本発明の第１、２の実施の形態において、画像の動き、運動視差、両眼視差の計算は、３次元構造情報、カメラシーケンス、オブジェクトシーケンス発生部の出力を用いたが、投影変換部やレンダリング部の出力を用いて、既存の画像処理技術（マッチング処理や勾配法を用いる方法）によりこれらを計算しても良い。
【００５４】
また、本発明の第１、２の実施の形態は、２眼の立体ＣＧ動画像を生成するようになっているが、これを更に画像数の多い多眼立体画像にするために、投影変換部１、２とレンダリング部３、４を増加させてもよい。この場合、カメラシーケンス発生部５には投影変換部の数に対応した数のカメラパラメータが記述される。
【００５５】
また、立体ＣＧ画像を例にとって説明したが、カメラ１台の従来の単眼の３次元ＣＧ動画像についても本発明は適用される。
【００５６】
また、本発明の第１、２の実施の形態において、被写体の動き、運動視差の計算は、２眼立体画像の場合、仮想視点Ｖ（図２）のパラメータで計算しても良いし、右または左カメラ視点どちらかでのパラメータで計算してもいいし、両方計算してその平均値を用いても良い。
【００５７】
また、多眼立体ＣＧ動画像の場合には、カメラ列の中心の視点のパラメータでの計算を行ってもよいし、もっとも中心に近いカメラのパラメータを用いても良いし、複数のカメラパラメータで計算し、それらの平均値、最大値、最小値、中間値を用いても良い。
【００５８】
また、本発明の第１、２の実施の形態において、被写体の動き、運動視差、両眼視差等の変化が、観察者の運動、奥行き知覚特性の許容範囲よりもかなり大きくなってもよいとし、観察者の眼は追従しないが何か動いている印象を与えたい場合には、画像制作者が運動視差判断部８またはカメラパラメータ修正部９またはオブジェクト動作修正部１０の動作を一時止めて、カメラパラメータやオブジェクトパラメータを自由に設定できるようにしてもよい。
【図面の簡単な説明】
【図１】本発明における第１の実施の形態の立体ＣＧ動画像生成装置の構成図である。
【図２】本発明におけるＣＧ空間でのカメラパラメータを示す図である。
【図３】本発明におけるカメラシーケンス、データを説明する図である。
【図４】本発明におけるカメラの動きと生成される画像の関係を示した図である。
【図５】本発明における動き、運動視差計算結果例を示す図である。
【図６】本発明における動き、運動視差に対する人間の視覚特性を示す図である。
【図７】本発明におけるカメラの動きの説明図である。
【図８】本発明における第１の実施の形態の立体ＣＧ動画像生成装置の構成図である。
【図９】従来の立体ＣＧ画像生成装置の構成図である。
【図１０】同図（ａ）は、３次元構造情報を説明するための形状モデル例を示す図、同図（ｂ）は、その形状モデルのデータ構造を示す図である。
【図１１】同図（ａ）は、ワールド座標系と投影変換を説明する図、同図（ｂ）は、カメラパラメータを説明する図である。
【符号の説明】
１ 投影変換部（右目用）
２ 投影変換部（左目用）
３ レンダリング部（右目用）
４ レンダリング部（左目用）
５ カメラシーケンス発生部
６ オブジェクトシーケンス発生部
７ 運動視差計算部
８ 運動視差判断部
９ カメラパラメータ修正部
１０ オブジェクト動作修正部
１２ 両眼視差計算部
１３ 両眼視差判断部
Claims (10)
- 被写体の３次元形状を記述する３次元構造情報に基づいて、カメラから見た時の２次元投影画像を生成する投影変換部と、
前記投影変換部の出力に基づいて、実際に観察される画像を計算する複数のレンダリング部と、
前記投影変換部の投影変換を規定し、これを変化させることにより動画像を生成できるカメラパラメータを発生するカメラシーケンス発生部と、
前記３次元構造情報と、前記投影変換部又は前記レンダリング部の出力と、前記カメラシーケンス発生部の出力とに基づいて、表示される被写体の動き及び／又は運動視差を計算する運動計算部と、
少なくとも、前記運動計算部の出力と、画像表示における画面の大きさと、観察者の視距離とに基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の許容範囲内に収まるか否かを判断する運動判断部と、
前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記カメラの移動速度及び／又はパンニング速度に関して前記カメラパラメータを修正するためのカメラパラメータ修正部と、
を備えたことを特徴とする立体ＣＧ動画像生成装置。 - 前記カメラは複数個有り、また前記投影変換部も複数個有り、前記運動計算部は、複数の前記カメラの中心位置の視点又はそれに近い視点で投影変換された前記被写体の前記動き及び／又は前記運動視差を計算することを特徴とする請求項１記載の立体ＣＧ動画像生成装置。
- 前記カメラは複数個有り、また前記投影変換部も複数個有り、前記運動計算部は、複数の前記カメラのうちの一部又は全部の位置の視点で投影変換された前記被写体の前記動き及び／又は前記運動視差を計算し、それらの平均値、最大値、又は最小値を出力することを特徴とする請求項１記載の立体ＣＧ動画像生成装置。
- 両眼視差を計算する両眼視差計算部と、その両眼視差に基づいて、前記両眼視差の変化を判断する両眼視差判断部とを備え、前記カメラパラメータ修正部は、前記両眼視差の変化が所定の範囲に収まるように前記カメラパラメータを修正することを特徴とする請求項１記載の立体ＣＧ動画像生成装置。
- 前記カメラパラメータ修正部は、前記動き、前記運動視差、又は両眼視差の変化の設定が修正される前のカメラシーケンスの部分、又は前記設定が修正された後の前記カメラシーケンスの部分を出力表示することを特徴とする請求項１記載の立体ＣＧ動画像生成装置。
- 被写体の３次元形状を記述する３次元構造情報に基づいて、カメラから見た時の２次元投影画像を生成する投影変換部と、
前記投影変換部の出力に基づいて、実際に観察される画像を計算する複数のレンダリング部と、
前記３次元構造情報を規定し、これを変化させることにより被写体の動きを表し、動画像を生成できるオブジェクトシーケンス発生部と、
前記３次元構造情報と、前記投影変換部又は前記レンダリング部の出力と、前記オブジェクトシーケンス発生部の出力とに基づいて、表示される前記被写体の前記動き及び／又は運動視差を計算する運動計算部と、
少なくとも、前記運動計算部の出力と、画像表示における画面の大きさと、観察者の視距離とに基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の許容範囲内に収まるか否かを判断する運動判断部と、
前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記被写体の位置及び／又は移動速度に関してオブジェクトシーケンスを修正するためのオブジェクト動作修正部と、
を備えたことを特徴とする立体ＣＧ動画像生成装置。 - 前記カメラは複数個有り、また前記投影変換部も複数個有り、前記運動計算部は、複数の前記カメラの中心位置の視点又はそれに近い視点で投影変換された前記被写体の前記動き及び／又は前記運動視差を計算することを特徴とする請求項６記載の立体ＣＧ動画像生成装置。
- 前記カメラは複数個有り、また前記投影変換部も複数個有り、前記運動計算部は、複数の前記カメラのうちの一部又は全部の位置の視点で投影変換された前記被写体の前記動き及び／又は前記運動視差を計算し、それらの平均値、最大値、又は最小値を出力することを特徴とする請求項６記載の立体ＣＧ動画像生成装置。
- 両眼視差を計算する両眼視差計算部と、その両眼視差に基づいて、前記両眼視差の変化を判断する両眼視差判断部とを備え、前記オブジェクト動作修正部は、前記両眼視差の変化が所定の範囲に収まるように前記オブジェクトシーケンスを修正することを特徴とする請求項６記載の立体ＣＧ動画像生成装置。
- 被写体の３次元形状を記述する３次元構造情報に基づいて、カメラから見た時の２次元投影画像を生成する投影変換部と、
前記投影変換部の出力に基づいて、実際に観察される画像を計算する複数のレンダリング部と、
前記投影変換部の投影変換を規定し、これを変化させることにより動画像を生成できるカメラパラメータを発生するカメラシーケンス発生部と、
前記３次元構造情報を規定し、これを変化させることにより被写体の動きを表し、動画像を生成できるオブジェクトシーケンス発生部と、
前記３次元構造情報と、前記投影変換部又は前記レンダリング部の出力と、前記カメラシーケンス発生部の出力と、前記オブジェクトシーケンス発生部の出力とに基づいて、表示される前記被写体の前記動き及び／又は運動視差を計算する運動計算部と、
少なくとも、前記運動計算部の出力と、画像表示における画面の大きさと、観察者の視距離とに基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の許容範囲内に収まるか否かを判断する運動判断部と、
前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記カメラの移動速度及び／又はパンニング速度に関して前記カメラパラメータを修正するためのカメラパラメータ修正部と、
前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び／又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記被写体の位置及び／又は移動速度に関してオブジェクトシーケンスを修正するためのオブジェクト動作修正部と、
を備えたことを特徴とする立体ＣＧ動画像生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16637897A JP3934211B2 (ja) | 1996-06-26 | 1997-06-23 | 立体ｃｇ動画像生成装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8-165653 | 1996-06-26 | ||
| JP16565396 | 1996-06-26 | ||
| JP16637897A JP3934211B2 (ja) | 1996-06-26 | 1997-06-23 | 立体ｃｇ動画像生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1074269A JPH1074269A (ja) | 1998-03-17 |
| JP3934211B2 true JP3934211B2 (ja) | 2007-06-20 |
Family
ID=26490315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16637897A Expired - Lifetime JP3934211B2 (ja) | 1996-06-26 | 1997-06-23 | 立体ｃｇ動画像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3934211B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4534337B2 (ja) * | 2000-10-19 | 2010-09-01 | ソニー株式会社 | 撮影装置及び撮影方法、並びに、画像生成装置及び画像生成方法 |
| KR100399735B1 (ko) * | 2001-03-26 | 2003-09-29 | 이호균 | 스틸 사진을 이용한 가상 네비게이션 구현 방법 |
| JP2003107603A (ja) * | 2001-09-28 | 2003-04-09 | Namco Ltd | 立体視画像生成装置、立体視画像生成情報および情報記憶媒体 |
| JP2006101329A (ja) * | 2004-09-30 | 2006-04-13 | Kddi Corp | 立体視画像観察装置ならびにその共有サーバ、クライアント端末およびピア・ツー・ピア端末、レンダリング画像生成方法および立体視画像表示方法ならびにそのプログラムおよび記憶媒体 |
| JP2009500878A (ja) * | 2005-04-11 | 2009-01-08 | ヒューマンアイズ テクノロジーズ リミテッド | 奥行錯覚デジタル撮像 |
| CN100384220C (zh) * | 2006-01-17 | 2008-04-23 | 东南大学 | 摄像机标定数据的采集方法及其标定板 |
| WO2008060289A1 (en) * | 2006-11-17 | 2008-05-22 | Thomson Licensing | System and method for model fitting and registration of objects for 2d-to-3d conversion |
| JP4924168B2 (ja) * | 2007-04-12 | 2012-04-25 | 凸版印刷株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2011024635A (ja) * | 2009-07-21 | 2011-02-10 | Konami Digital Entertainment Co Ltd | ビデオゲーム装置及びゲーム画像表示制御方法 |
| CN101961555B (zh) | 2009-07-21 | 2014-01-29 | 科乐美数码娱乐株式会社 | 视频游戏装置、游戏图像显示控制方法和显示模式切换控制方法 |
| JP5405264B2 (ja) | 2009-10-20 | 2014-02-05 | 任天堂株式会社 | 表示制御プログラム、ライブラリプログラム、情報処理システム、および、表示制御方法 |
| JP4754031B2 (ja) | 2009-11-04 | 2011-08-24 | 任天堂株式会社 | 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム |
| EP2355526A3 (en) | 2010-01-14 | 2012-10-31 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| US9693039B2 (en) | 2010-05-27 | 2017-06-27 | Nintendo Co., Ltd. | Hand-held electronic device |
| US20170127035A1 (en) * | 2014-04-22 | 2017-05-04 | Sony Corporation | Information reproducing apparatus and information reproducing method, and information recording apparatus and information recording method |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6423109A (en) * | 1987-07-20 | 1989-01-25 | Agency Ind Science Techn | Stereoscopic visual device |
| US5020878A (en) * | 1989-03-20 | 1991-06-04 | Tektronix, Inc. | Method and apparatus for generating a binocular viewing model automatically adapted to a selected image |
| JPH03236698A (ja) * | 1990-02-14 | 1991-10-22 | Nissan Motor Co Ltd | 両眼立体視の画像生成装置 |
| JP2796221B2 (ja) * | 1992-04-22 | 1998-09-10 | 富士通株式会社 | 相関処理方式 |
| JP2842735B2 (ja) * | 1992-07-20 | 1999-01-06 | 沖電気工業株式会社 | 複数視点３次元画像入力装置、画像合成装置、及びその画像出力装置 |
| JPH06213639A (ja) * | 1993-01-19 | 1994-08-05 | Sony Corp | ３次元形状復元方法 |
| JPH06276552A (ja) * | 1993-03-24 | 1994-09-30 | Nissan Motor Co Ltd | 立体画像撮影装置および画像提示装置 |
| JPH06337756A (ja) * | 1993-05-28 | 1994-12-06 | Daikin Ind Ltd | ３次元位置指定方法および仮想空間立体視装置 |
| JP3032414B2 (ja) * | 1993-10-29 | 2000-04-17 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| JP3086577B2 (ja) * | 1993-12-22 | 2000-09-11 | 三洋電機株式会社 | ２次元画像の３次元化方法 |
| JP3157384B2 (ja) * | 1994-06-20 | 2001-04-16 | 三洋電機株式会社 | 立体映像装置 |
| JP3091644B2 (ja) * | 1994-08-26 | 2000-09-25 | 三洋電機株式会社 | ２次元画像の３次元化方法 |
| US6414709B1 (en) * | 1994-11-03 | 2002-07-02 | Synthonics Incorporated | Methods and apparatus for zooming during capture and reproduction of 3-dimensional images |
| JP3697763B2 (ja) * | 1995-11-15 | 2005-09-21 | ソニー株式会社 | 画像表示システム |
-
1997
- 1997-06-23 JP JP16637897A patent/JP3934211B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1074269A (ja) | 1998-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100456952B1 (ko) | 입체 컴퓨터 그래픽스 동화상 발생 장치 | |
| JP3579162B2 (ja) | 立体ｃｇ画像生成装置 | |
| US7983477B2 (en) | Method and apparatus for generating a stereoscopic image | |
| JP3934211B2 (ja) | 立体ｃｇ動画像生成装置 | |
| US6816158B1 (en) | Three-dimensional display system | |
| US8953023B2 (en) | Stereoscopic depth mapping | |
| JP4228646B2 (ja) | 立体視画像生成方法および立体視画像生成装置 | |
| KR100770019B1 (ko) | 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 | |
| JP2019079552A (ja) | イメージ形成における及びイメージ形成に関する改良 | |
| EP1570436B1 (en) | Parallax scanning through scene object position manipulation | |
| US9443338B2 (en) | Techniques for producing baseline stereo parameters for stereoscopic computer animation | |
| TW201019708A (en) | A method of processing parallax information comprised in a signal | |
| JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
| WO2006062325A1 (en) | Apparatus for correcting image distortion of stereo-camera and method thereof | |
| JP5178876B2 (ja) | 立体映像表示装置及び立体映像表示方法 | |
| JP4580678B2 (ja) | 注視点位置表示装置 | |
| JPH09504131A (ja) | 深さの情報を取扱うための画像処理システム | |
| JP2003348621A (ja) | 二視点カメラの設定手段 | |
| JP2018500690A (ja) | 拡大３ｄ画像を生成するための方法およびシステム | |
| Baker | Generating images for a time-multiplexed stereoscopic computer graphics system | |
| TW201733351A (zh) | ３ｄ自動對焦顯示方法及其系統 | |
| CN108287609B (zh) | 用于ar眼镜的图像绘制方法 | |
| KR20200014631A (ko) | 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치 | |
| Xizuo et al. | A Hybrid Rendering Model in Stereo Display | |
| US8952958B1 (en) | Stereoscopic computer-animation techniques based on perceptual constraints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040407 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040910 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070315 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100330 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |