JP4781981B2 - 動画像生成方法及びシステム - Google Patents

Description

本発明は、被写体を様々な方向から撮影することで得られる複数の写真を用いて、該被写体の３次元モデルを含む動画像を生成するための動画像生成方法及びシステムに関する。

近年、写真（２次元静止画像）からリアルな３次元ＣＧ（コンピュータグラフィックス）を自動的に生成する技術として、イメージベースと呼ばれる手法の有効性が品質とコストの両面で認知され、多くの研究がなされている。例えば、松岡らは、背景色を変化させて物体を撮影することにより、背景色の透過度を算出する背景除去技術を開発し、予め被写体を多方向から撮影することにより、現実感の高い３次元ＣＧを作成する自動３次元ＣＧ生成システムを構築している。このシステムは、人の視覚特性を考慮することにより、被写体の透明感や光沢感を再現できる画像処理手法に特徴がある（非特許文献１参照）。

しかしながら、この写真のデータを基に動画像等を生成する場合、撮影角度の間隔を十分に小さくする必要があり、間隔が大きすぎると、被写体のＣＧ映像である３次元モデルの動きの滑らかさが損なわれることがある。例えば、ビデオクリップやインタラクティブなアニメーションの生成に、撮影角度の間隔が大きいデータを使用すると、ユーザには３次元モデルの動きがぎくしゃくとした幾何学的に不整合な画像として知覚される。この問題は、撮影角度の間隔を小さくすれば解決できるが、任意の位置を視点とする３次元モデルを生成するためには、被写体を、その周囲から半球面状に撮影する必要があり、撮影角度の間隔の自乗に反比例して撮影枚数が増加し、撮影時間並びにデータ量が増大する問題がある。

このように、イメージベース手法では大量の写真を必要とするため、形状情報（静止画に写っている被写体の奥行きに関する情報）を用いた従来のＣＧ（ジオメトリベース手法）を部分的に用いることで、撮影枚数をどれだけ減らせるかを分析した研究が報告されている（非特許文献２参照）。非特許文献２では、撮影枚数を減らした場合に、形状情報でどの程度補えばよいかという問題の解を定量的に得るための手法を示している。
Matsuoka， H. Takeuchi, T. Kitazawa, and H. Onozawa,"Representation of Pseudo Inter−reflection and Transparency by Considering Characteristics of Human Vision", Proceedings of Eurographics 2002, pp.503−510 （2002）． Lin, Z. and Shum, H.−Y.："A Geometric Analysis of Light Field Rendering"； Int‘l J. of Computer Vision, Vol. 58, No.2, pp. 121−138, February （2004）.

上述したように従来の動画像生成方法で用いるイメージベース手法は、動画像の生成に大量の写真を必要とするため、撮影時間並びにデータ量が増大する問題がある。

一方、非特許文献２に記載されたようにイメージベース手法とジオメトリベース手法とを組み合わせた手法では、撮影枚数を減らすることが可能であるが、撮影枚数を減らすには形状情報が欠かせないため、イメージベース手法に比べて処理が複雑になる。また、形状情報を多く用いるほど、形状情報の精度に起因して、生成した３次元モデルの現実感が低下してしまう。

本発明は上記したような従来の技術が有する問題点を解決するためになされたものであり、処理が複雑になることなく、撮影枚数を可能な限り減らすと共に、利用者に生成した３次元モデルの動きが滑らかであると知覚される動画像を生成することが可能な動画像生成方法及びシステムを提供することを目的とする。

上記目的を達成するため本発明の動画像生成方法は、複数の方向から被写体を撮影することで得られる複数の２次元静止画像を用いて、該被写体の３次元モデルを含む３次元仮想空間の動画像を生成するための動画像生成方法であって、
コンピュータが、
前記３次元仮想空間における前記３次元モデルの動作及び視点位置の移動経路を規定するための動作情報を生成し、
前記動作情報に含まれる、前記動画像中で前記３次元モデルが１回転するのに要する時間である回転周期Ｔ［ｓｅｃ］と、前記被写体の撮影角度の間隔Ａ［ｄｅｇ］との関係を示す連立式

を満たす撮影角度の間隔Ａの最大値ＡＭＡＸを用いて前記被写体の撮影条件を決定し、
前記撮影条件にしたがって撮影装置に前記被写体を撮影させて複数の２次元静止画像を取得し、
前記複数の２次元静止画像を用いて前記３次元モデルを生成し、
前記動作情報及び生成した３次元モデルを含む３次元仮想空間の動画像を生成する動画像生成方法である。

一方、本発明の動画像生成システムは、複数の方向から被写体を撮影することで得られる複数の２次元静止画像を用いて、該被写体の３次元モデルを含む３次元仮想空間の動画像を生成するための動画像生成システムであって、
前記３次元仮想空間における前記３次元モデルの動作及び視点位置の移動経路を規定するための動作情報を生成する仮想空間情報生成部、
前記動作情報に含まれる、前記動画像中で前記３次元モデルが１回転するのに要する時間である回転周期Ｔ［ｓｅｃ］と、前記被写体の撮影角度の間隔Ａ［ｄｅｇ］との関係を示す連立式

を満たす撮影角度の間隔Ａの最大値ＡＭＡＸを求める撮影間隔最大化手段を含み、該最大値ＡＭＡＸを用いて前記被写体の撮影条件を決定する撮影条件導出部、並びに
前記動作情報及び複数の２次元静止画像から生成した３次元モデルを含む３次元仮想空間の動画像を生成する動画像生成部を備えた編集装置と、
前記撮影条件にしたがって撮影装置で前記被写体を撮影し、複数の２次元静止画像を取得する被写体撮影部及び前記複数の２次元静止画像を用いて前記３次元モデルを生成する３次元モデル生成部備えた撮影装置と、
を有する。

上記のような動画像生成方法及びシステムでは、動作情報から、利用者から見て３次元モデルの動きが滑らかであり、かつ被写体の撮影間隔が最大になる被写体の撮影条件を決定し、該撮影条件にしたがって３次元モデルの生成に必要な２次元静止画像を取得するため、利用者から見て３次元モデルの動きが十分に滑らかであると知覚できる範囲内で、可能な限り撮影枚数を削減することができる。また、形状情報を用いることなく、２次元静止画像のみ用いて動画像を生成できるため、動画像の生成処理が複雑になることがない。

本発明によれば、撮影枚数を可能な限り減らしつつ、利用者に生成した３次元モデルの動きが滑らかであると知覚される動画像を生成できる。また、形状情報を用いることなく、２次元静止画像のみ用いて動画像を生成できるため、動画像の生成処理が複雑になることがない。

次に本発明について図面を参照して説明する。

本発明者は、利用者の視覚特性を調べるために、複数の被験者に３次元ＣＧによる動画像を提示し、その３次元モデルの動きの滑らかさの評価を実施した。本発明では、この知覚実験によって明らかになった、生成した３次元モデルの動きが滑らかであると利用者に知覚される、あるいは利用者が容認できる画質を確保することが可能な条件を特定し、該条件を満たしつつ３次元ＣＧの合成に必要な撮影枚数を削減する手法を提案する。
［システム構成］
図１は本発明の動画像生成システムの一構成例を示すブロック図である。

図１に示すように、本発明の動画像生成システムは、編集装置１、撮影装置２及び表示装置３を有する構成である。

編集装置１は、仮想空間情報生成部１１、撮影条件導出部１２及び動画像生成部１３を備えている。撮影装置２は被写体撮影部２１及び３次元モデル生成部２２を備え、表示装置３は動画像表示部３１を備えている。

編集装置１及び表示装置３は、例えばプログラムにしたがって処理を行うコンピュータシステムによって実現できる。また、撮影装置２の被写体撮影部２１は、カメラ、該カメラの撮影位置の制御に用いるコンピュータシステム、被写体を置くためのテーブル及び被写体の背景を表示する背景表示装置によって実現できる。撮影装置２の３次元モデル生成部２２は、３次元モデルを生成するためのプログラムが搭載されたコンピュータシステムによって実現できる。

編集装置１、撮影装置２及び表示装置３は、図１に示すようにネットワーク４を介して相互にデータを送受信することが可能である。なお、編集装置１、撮影装置２及び表示装置３は、図１に示した構成に限らず、例えば編集装置１及び表示装置３を１つのコンピュータシステムによって構成してもよく、撮影装置２の３次元モデル生成部２２、編集装置１及び表示装置３を１つのコンピュータシステムによって構成してもよい。

図２は図１に示した動画像生成システムが備えるコンピュータシステムの一構成例を示すブロック図である。

図２に示すコンピュータシステム５は、よく知られた一般的な構成であり、ＣＰＵ５１、メモリ５２、ハードディスク５３、入力装置５４、出力装置５５及びＣＤ−ＲＯＭドライブ５６を備えている。このコンピュータシステム５に、上記編集装置１や撮影装置２の処理を実行するためのプログラムを搭載することで、これらの装置の機能を実現できる。当該プログラムは、ＦＤ（フレキシブルディスク）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュメモリ等の記録媒体に記録して保存したり、配布したりすることが可能である。また、当該プログラムは、インターネットや電子メール等のネットワークを介して提供することも可能である。
［処理概要］
図３は本発明の動画像生成方法の処理手順を示すフローチャートである。

以下、図３を用いて本発明の動画像生成方法の概要について説明する。なお、図３に示すフローチャートは、本出願人による先の特許出願（特開２００６−２４４３０６号公報）においても示した図である。本発明では、図３に示す撮影条件導出処理Ｓ２にて、人の視覚特性を基に、動画像の生成に用いる写真の撮影角度の間隔を最大にするための処理を備えている。その他の処理については、上記特開２００６−２４４３０６号公報を参照することで実現できる。

図３に示すように、本発明の動画像生成システムでは、まず編集装置１の仮想空間情報生成部１１により、利用者の操作に応じて３次元仮想空間エディタ上に仮オブジェクトを生成し、動作情報を生成する（ステップＳ１）。本実施形態の動画像生成システムでは、仮オブジェクトの動作を指定するオブジェクトアニメーションだけでなく、カメラパスや注視点を設定することで、視点を変えたシーンアニメーションを構築できる。これらの処理により被写体の運動パターンが規定され、それに基づいて動作情報が生成される。

なお、３次元仮想空間エディタとは、被写体を撮影することで得られる複数の２次元静止画像を基に生成される３次元モデルやカメラパスを含む、動画像として構築する３次元仮想空間を編集するためのものである。

また、仮オブジェクトは、３次元仮想空間における３次元モデルの動作を指定するために、３次元モデルに代わって用いる単純な３次元形状のモデルであり、被写体の位置と占有範囲を表現する立方体または実物の概略形状に近い直方体等から構成される。

動作情報は、３次元モデルの動作を規定する情報であり、ここでは３次元モデルに代わる仮オブジェクトの動作を規定する仮オブジェクトの動作情報、並びにカメラパス及び注視点の移動経路、すなわち視点位置の移動経路を規定する視点位置の動作情報を備えている。

カメラパスは、３次元仮想空間内の仮オブジェクトをどの視点位置から撮影するかをシミュレーションして示すものあり、３次元仮想空間に設定した仮想的なカメラの移動軌跡・経路を任意の線分や曲線・図形等で示している。カメラパスは仮オブジェクトを含む３次元仮想空間エディタ上に配置される。

次に、動画像生成システムは、撮影条件導出部１２により、仮想空間情報生成部１１で生成した動作情報を用いて、人の視覚特性を考慮し、動画像生成部１３で生成する動画像中の３次元モデルの動きが十分に滑らかに見える範囲内で被写体の撮影角度の間隔が最大となる、すなわち被写体の撮影枚数が最も少なくなる撮影角度の間隔を決定し、その値を撮影条件として出力する（ステップＳ２）。

撮影装置２の被写体撮影部２１は、撮影条件導出部１２で導出した撮影条件にしたがって複数の方向から被写体を撮影し、複数の２次元静止画像を出力する（ステップＳ３）。

動画像生成システムは、撮影装置２の被写体撮影部２１による撮影が終了すると、撮影装置２の３次元モデル生成部２２により、撮影された複数の２次元静止画像から３次元モデルを合成する（ステップＳ４）。合成した３次元モデルのデータは編集装置１に送られる。

編集装置１は、撮影装置２から受け取った３次元モデルのデータと、仮想空間情報生成部１１で生成した動作情報とを用いて、動画像生成部１３により動画像を生成する（ステップＳ５）。生成した動画像は表示装置３へ送られ、表示装置３の動画像表示部３１により表示される（ステップＳ６）。

従来の動画像生成システムでは、３６０度全ての方向から細かい角度単位で被写体を撮影して多数の２次元静止画像を取得するため、撮影時間が非常に長くなると共にデータ量が非常に大きくなる。一方、本発明の動画像生成システムでは、３次元仮想空間エディタ上に設定したカメラパスの時間毎の位置に対応するカメラ位置（撮影装置２が備えるカメラの位置）から被写体を撮影して２次元静止画像を取得する。すなわち、動画像の生成に必要な写真のみを撮影するため、３次元モデルを迅速に生成することが可能であり、またデータ量も削減できる。

図４は最小サンプリング曲線を示すグラフ及び該最小サンプリング曲線を用いた従来の３次元モデルの生成手順を示すフローチャートである。図４（ａ）に示す最小サンプリング曲線は、非特許文献２に記載された技術によって導かれたものであり、上記形状情報の利用数を増やすことで、どれだけ撮影枚数が減らせるかを示している。

図３に示したステップＳ２〜Ｓ４の処理と図４（ｂ）に示すステップＳ２１〜２４の処理とを比べれば分かるように、非特許文献２に記載された手法では、撮影枚数を減らすために写真撮影以外に被写体の形状（奥行き）を別途計算する必要があり、動画像の合成処理が複雑になる。一般に、写真等の画像から被写体の形状を復元し、ジオメトリ（ポリゴン）データを生成して奥行き情報を計算するには膨大な計算を実行しなければならず、コンピュータシステムに大きな負荷がかかってしまう。さらに、非特許文献２に記載された手法では、形状情報を多用するほど撮影枚数を削減することが可能であるが、上述したように、形状情報の精度に起因して、生成した３次元モデルの現実感が低下することが知られている。また、非特許文献２では、利用者による生成した動画像の画質評価を行っていないため、３次元モデルの動きが滑らかであると利用者に知覚される、良好な画質が得られていない可能性があった。

それに対して、本発明では、編集装置１に、予め利用者の視覚特性を考慮して、被写体の撮影間隔の大きさ、すなわち何度単位で被写体を撮影すればよいかを決定し、撮影条件として出力する撮影条件導出部１２を備えている。これにより、利用者から見て３次元モデルの動きが十分に滑らかであると知覚できる範囲内で、可能な限り撮影枚数を削減することができる。また、形状情報を用いることなく、２次元静止画像のみ用いて動画像を生成できるため、動画像の生成処理が複雑になることがない。
［詳細処理］
次に、図１に示した動画像生成システムが備える、仮想空間情報生成部１１、撮影条件導出部１２、動画像生成部１３、被写体撮影部２１、３次元モデル生成部２２及び動画像表示部３１について図面を用いて詳細に説明する。
（１）仮想空間情報生成部
図５は図１に示した仮想空間情報生成部の一構成例を示すブロック図である。

図５に示すように、仮想空間情報生成部１１は、仮オブジェクト生成手段１１１、カメラパス生成手段１１２、注視点指定手段１１３及び動作情報生成手段１１４を備えている。図５には仮想空間情報生成部１１が備える各手段で生成する情報も併せて示している。

図５に示す仮想空間情報生成部１１は以下に記載する処理を実行する。なお、以下の処理は利用者の操作に基づいて実行される。

まず、仮想空間情報生成部１１は、仮オブジェクト生成手段１１１により３次元仮想空間エディタ上に上記仮オブジェクトを生成する。また、カメラパス生成手段１１２により３次元仮想空間エディタ上にカメラパスを生成する。さらに、注視点指定手段１１３により３次元仮想空間エディタ上に注視点を指定する。動作情報生成手段１１４は、仮オブジェクト、カメラパス及び注視点を用いて動作情報を生成する。

動作情報には、上述したように、仮オブジェクトがどのように動作するかを規定する仮オブジェクトの動作情報と、カメラパスと注視点によって視点位置がどのように動くかを規定する視点位置の動作情報の２つがある。動作情報生成手段１１４で生成した動作情報はコンピュータシステムが備える記憶装置（メモリ５２やハードディスク５３）に格納される。

仮想空間情報生成部１１は、動作情報生成手段１１４により動作情報を画像として表示できる画像信号に変換し、プレビュー画像をディスプレイ等に表示する。利用者は、必要に応じてプレビュー画像を見ることで、実際の動画像が完成する前に出来上がりの様子を知ることができる。プレビュー画像で確認した結果、仮オブジェクトの動きが想定したものと異なっている場合はカメラパスを変更する等の操作により適宜修正すればよい。なお、仮オブジェクトは、被写体の正確なサイズを示していないため、後述するように動画像生成部１３にてサイズの補正処理が必要となるが、この時点では完成した動画像の様子がイメージできれば十分なので、単純な直方体等を用いて生成する。

本実施形態の画像合成システムでは、仮オブジェクトを３次元仮想空間エディタ上に１つまたは複数配置することが可能とする。仮オブジェクトが１つだけの場合、カメラの注視点は固定位置（例えば仮オブジェクトの重心位置）に設定し、仮オブジェクトが複数の場合、カメラの注視点は３次元仮想空間エディタ上の任意の一点を指定できる。

図６は図１に示した仮想空間情報生成部によるカメラパスの設定例を示す模式図である。図６は仮オブジェクトを上面から見る場合のカメラパスの設定例を示している。なお、図６はカメラパスと注視点を生成することにより、視点の位置が移動する動画像（シーンアニメーション）を生成する場合を例にしてカメラパスの設定例を示しているが、カメラパスと仮オブジェクトを関連付けることで、仮オブジェクトの動作を指定するオブジェクトアニメーションを編集することも可能である。

３次元仮想空間エディタ内にカメラパスを設定する手法は、周知のポリゴンを用いたジオメトリベースの３次元モデルの構築時に用いられる標準的な技術であり、本発明のようにイメージベースを採用するシステムでも同様に実現できる。カメラパスの形状や数・組み合わせ等については、カメラパス設定用の入力手段を設けることで自由に定義できる。カメラパスの入力手段については、例えば特願２００５−２０５８３１号に記載されている。

カメラパスは、カメラ（被写体撮影部２１が有する後述する画像撮影装置２１４）の移動経路を３次元仮想空間エディタ上の形状情報として表現したものであるため、位置情報だけでなく時間情報も含んでいる。３次元仮想空間エディタ上のカメラパスの時間情報の編集には、通常、タイムラインと呼ばれるユーザインタフェースが用いられる。タイムラインは、時間属性を持つオブジェクト（例えば、カメラパス）をレイヤー毎に時間軸を用いて管理するためのユーザインタフェースであり、３次元ＣＧの画像を構築する際に使用される、従来からよく用いられるものである。タイムラインインタフェースを用いることでカメラパスの管理を容易に行うことができる。本実施形態ではこのタイムラインインタフェースの利用を想定している。

図７はタイムラインインタフェースによる設定画面の一例を示す模式図である。

図７に示すように、タイムラインインタフェースを利用すると、仮オブジェクトやカメラパス等の時間情報を備えたオブジェクト毎に、それぞれの継続時間（動画像の表示時間）を指定できる。また、タイムラインインタフェースでは、１秒あたりの画像更新頻度であるフレームレートＦＰＳを指定することが可能であり、利用者は動画像の再生フォーマット（ＡＶＩ、ＱＵＩＣＫＴＩＭＥ、ＭＰＥＧ、ＤＩＶＸ等）に合わせて所望のフレームレートを指定できる。

一般に、フレームレートＦＰＳが速いほど、表示する物体の動きが滑らかに見えることが知られている。例えばテレビジョン受像機ではフレームレートＦＰＳが３０であるため、本発明でもフレームレートＦＰＳの上限値は３０程度で十分である。

図７に示す例では、仮オブジェクトの継続時間が２０秒間であり、継続時間が１０秒間のカメラパス１及びカメラパス２が設定され、フレームレートＦＰＳが１５に設定されている。この場合、動画像の再生に必要なフレームの総数（静止画像の枚数）は３００となる。

上述したように、動作情報は仮オブジェクトやカメラパスが持つ位置情報及び時間情報によって構成される。本実施形態では、仮オブジェクトを一つだけ用いて動画像を構築する場合、カメラの注視点を固定位置（例えば、仮オブジェクトの重心位置）に設定してもよい。この場合、動作情報を迅速に生成できるため、例えば博物館の作品や宝石類等のように、個別の物体（商品等）を独立した高品質な画像で利用者に提示したい場合に適している。

また、複数の仮オブジェクトを用いて動画像を構築する場合、カメラの注視点は３次元仮想空間エディタ上の任意の一点に指定すればよい。この場合、より現実の空間に近い表現が可能になる。カメラの注視点を３次元仮想空間エディタ上の任意の一点に指定する方法は、例えば様々な物体が配置された部屋の様子等のように、複数の物体（商品等）を組み合わせて表示する動画像の生成に適している。
（２）撮影条件導出部
次に図１に示した編集装置１が備える撮影条件導出部１２について図面を用いて説明する。

図８は図１に示した撮影条件導出部の一構成例を示すブロック図である。

図８に示すように、撮撮影条件導出部１２は、撮影間隔最大化手段１２１、座標変換手段１２２、撮影距離計算手段１２３、垂直角度計算手段１２４、水平角度計算手段１２５及び撮影手順生成手段１２６を備えている。

本実施形態の撮影条件導出部１２は、撮影角度の間隔をある一定の条件の下で最大化することで、撮影装置２による撮影枚数を削減するための機能を備えている。ここで、ある一定の条件とは、複数の被験者による知覚実験結果に基づいて動画像の動きの滑らかさについて規定した値である。したがって、本発明の手法を用いると、動画の品質を保持しつつ動画像の生成に必要な撮影枚数を低減できる。さらに、本実施形態の撮影条件導出部１２は、３次元仮想空間における視点位置の座標を計算する座標変換手段１２２と、撮影装置２と被写体間の撮影距離を決定する撮影距離計算手段１２３と、撮影装置２による、垂直方向の撮影間隔の角度を計算する垂直角度計算手段１２４と、撮影装置２による、水平方向の撮影間隔の角度を計算する水平角度計算手段１２５と、利用者が設定した撮影経路（カメラパス）に沿って撮影するための撮影手順を生成する撮影手順生成手段１２６とを備えている。

以下、撮影条件導出部１２の処理手順を説明する前に本発明者が実施した知覚実験について説明する。

知覚実験は、９人の被験者にＹ軸を基準に３次元モデル（ここでは、立方体）が等速回転運動する試験映像を提示し、パラメータを変化させながら３次元モデルの動きの滑らかさを繰り返し被験者に評価させた。評価は５段階評定により実施した（ランク５：非常になめらか、ランク４：ややなめらか、ランク３：よくわからない、ランク２：ややぎくしゃく、ランク１：非常にぎくしゃく）。変化したパラメータは、フレームレートＦ［ｆｐｓ］と回転周期Ｔ［ｓｅｃ］の２種類である。使用したパラメータの値は、Ｆ［ｆｐｓ］＝６，８，１０，１２，１４，１５，１６，１８、Ｔ［ｓｅｃ］＝１，２，４，６，８，１０，１２である。なお、本知覚試験では、等速回転運動を例にしているため、３次元モデルが１回転するのに要する時間である回転周期が上記動作情報になる。上記説明では一般的なフレームレートの概念をＦＰＳと表記しているが、以下、知覚実験のパラメータとして用いたフレームレートをＦ［ｆｐｓ］で表す。

被験者の評定結果を信号検出理論により分析すると、フレームレートＦＰＳを低下させても大きな画質の劣化が知覚されない範囲を同定できる。図９に本知覚試験の分析結果を示す。

図９は知覚実験の分析結果を示す図であり、同図（ａ）はＲＯＣ曲線を示すグラフ、同図（ｂ）はフレームレートに対応する感度の値及び標準誤差を示す表である。

信号検出理論は、被験者がノイズの中からどれだけ正しく信号を検出できるかを知るための理論である。本知覚実験においては、Ｆ＝１５で表示した動画像を標準的な画質と仮定し、それ以外のＦの値で表示した動画像をノイズとして各評定レベルの累積確率を計算し、ヒット率Ｈとフォールス・アラーム率ＦＡの関係をプロットすることにより、図９（ａ）のグラフで示すＲＯＣ曲線を描いた。

ＲＯＣ曲線の下側の面積は、本知覚実験で用いた試験映像において、被験者が３次元モデルの動きが滑らかであるかまたはぎくしゃくしているかを識別できる感度ｄ’に相当する。図９（ｂ）に回転周期Ｔ＝１２のときの各フレームレートＦの値に対応する感度ｄ’の値及び標準誤差を示す。感度ｄ’は被験者の判断基準の変容に左右されない刺激検出力の指標であり、図９（ａ）の破線で示すＦ＝１５のときの感度ｄ’の値は０である。

感度ｄ’の値が比較的高い場合、被験者が３次元モデルの動きが滑らかであるかまたはぎくしゃくしているかを容易に識別したことを示している。Ｆ＝６やＦ＝８のときは、他の条件に比べて感度ｄ’の値が大きく、被験者が３次元モデルの動きが滑らかではないと容易に認識していることが分かる。

一方、Ｆ＝１０を境に、Ｆ＝１２やＦ＝１４は、ほぼ０に近い値を示しており、被験者は、標準画質としたＦ＝１５のときの試験映像とあまり見分けがついていない可能性が高い。すなわち、標準画質としたＦ＝１５の画像ではないにもかかわらず、しばしば「滑らか」であると評定しているため、被験者にとってＦ＝１２やＦ＝１４のときの試験映像はＦ＝１５のときの試験映像と同等の心理的距離にあると推定できる。

以上の実験結果から、Ｆ＝１０の近辺に３次元モデルの動きが滑らかであるかまたはぎくしゃくしているかを判別するしきい値が存在すると考えることができる。また、フレームレートが１０≦Ｆ≦１５の範囲であれば（但し、Ｔ＝１２）、被験者に、Ｆ＝１５のときの試験映像とほぼ同等の画質、あるいは容認できる範囲内の画質として知覚されていると考えられる。したがって、フレームレートＦが１０≦Ｆ≦１５（但し、Ｔ＝１２）にあり、かつＦ＝１０に可能な限り近いときの動画像が、利用者が容認できる画質が得られる最少のフレーム数と言える。そのようなフレームレートＦの値と回転周期Ｔの関係を明らかにするため、全部で１５１２回の評定結果から回転周期Ｔ毎に「非常に滑らか」と判定された比率をプロットした結果を図１０に示す。図１０に示すグラフの横軸はフレームレートＦであり、縦軸はそのときの３次元モデルの動きが被験者に滑らかであると判定された確率である。

ここで、様々な提示刺激（この場合は、試験映像）に対する被験者の応答確率が正規分布に従うと仮定し、測定結果に対して累積正規分布関数またはロジスティック関数をフィッティングすると、知覚確率曲線が得られる。図１０から、Ｔ＝１の場合、つまり回転速度が速くなるほど、滑らかに動く３次元モデルを表示するために必要なフレームレートＦの値が大きくなることが分かる。

また、図１０に示すグラフから、被験者が３次元モデルの動きが滑らかであると判定する確率が５０％の時のフレームレートＦの値を見ると、Ｔ＝１２のとき、１０≦Ｆ≦１５の範囲にあり、かつＦ＝１０に近い値となっている。４０％の場合でもぎりぎり条件を満たすが、３次元モデルのより滑らかな動きを重視して、本実施形態では最適なフレームレートＦの値を導く指標として５０％しきい値（以下、Ｆ５０％ＴＨと称す）を採用する。

以上の知見に基づき、本発明の基本的なアイデアを考案した。

フレームレートＦ＝１０をＦＭＩＮとすると、上記１０≦Ｆ≦１５の範囲内でＦＭＩＮに最も近いフレームレートで表示できるように被写体を撮影すれば、最適な撮影条件を計算で求めることができる。ここで、最適な撮影条件とは、利用者にとって動画像中の３次元モデルの動きが（理想的ではないが）十分に滑らかであり、かつ最小のフレームレート（すなわち最大の撮影間隔）であることを意味する。フレームレートをＦＭＩＮよりも遅くすると、上記一定の条件の範囲を逸脱してしまうため、動画像を表示する際に３次元モデルの動きが幾何学的に不整合として認識され、ぎこちない映像に見える。

以下、上記アイデアを具体的に定量化する手順について説明する。

上記Ｆ５０％ＴＨの値は、以下に示す式（１）を用いることにより、本実施形態の撮影装置２で被写体を撮影する際の撮影間隔Ａ[ｄｅｇ]に変換することができる。

但し、ωは角速度であり、ω＝２π／Ｔで求められる。

式（１）で得られた撮影間隔Ａ[ｄｅｇ]を回転周期Ｔ［ｓｅｃ］に対してプロットすると、撮影間隔Ａは回転周期Ｔに対して式（２）で示すモデル関数で近似できる。

但し、ｋは定数、ｎはべき指数である。

図１１に示すグラフは、Ｆ５０％ＴＨの値を被写体の撮影間隔Ａ［ｄｅｇ］に変換したとき、その値と回転周期Ｔ［ｓｅｃ］との関係を示している。

したがって、求める撮影間隔Ａ［ｄｅｇ］は、回転周期Ｔ［ｓｅｃ］に対してべき法則でモデル化できる。実際にパラメータを与えると、以下の式（３）が得られる。

以下、式（３）に基づいて処理を実行する撮影間隔最大化手段１２１について説明する。

生成した動画像中の３次元モデルの動きが利用者から見て十分に滑らかであり、かつフレーム数が最小となるのは、撮影間隔Ａ[ｄｅｇ]がその上限値ＡＭＡＸのときである。上限値ＡＭＡＸは、以下の不等式（４）と条件式（５）の連立式から求めることができる。すなわち、式（４）に回転周期Ｔの値を与えることで撮影間隔Ａが求まる。

但し、撮影装置２は、被写体を、その周囲に設定した上半球面から撮影するため、撮影時にカメラが撮影位置を一巡して元の位置に戻るという制約を与える必要があり、そのために下記式（５）を条件として満たす必要がある。

したがって、連立式（４）、（５）を満たす撮影間隔Ａの最大値ＡＭＡＸを求めることで、３次元モデルの等速回転運動を表現する最適な撮影条件を導出できる。重要なポイントであるため、再度確認すると、ここで言う「最適」とは、利用者から見て３次元モデルの動きが滑らかであり、かつ撮影間隔が最大になることを意味する。撮影間隔Ａの最大値ＡＭＡＸが決まれば、カメラパス上を何度間隔で撮影すればよいかが決まるため、後続する座標変換手段１２２にデータを渡すことができる。

なお、本実施形態では、３次元モデルとして立方体の等速回転運動を例にして最適な撮影条件を導くための処理を例示しているが、本発明の撮影条件導出部１２で実行する処理は、加速度を持つ回転運動や並行移動等の他の様々な動作パターンにも応用できる。但し、等速回転運動以外の最適な撮影条件を求める場合は、上記と同様の知覚実験によりパラメータを求める必要がある。

最適な撮影条件が求まると、座標変換手段１２２により、仮オブジェクトの中心を表す、カメラパス上の時間毎の相対的な位置を示す複数の座標データを求める。例えば、仮オブジェクトの中心、すなわち３次元仮想空間エディタのワールド座標系におけるオブジェクト座標系の原点を（２，２，２）とし、カメラパス上の任意の２点におけるカメラの座標を（１０，２，１０）及び（１４，２，８）とすると、座標変換手段１２２の出力は（８，０，８）及び（１２，０，６）となる。

カメラパス上のカメラの座標は、フレーム毎に存在するため、総フレーム数に等しい座標データが出力される。このとき、フレーム間隔ＦＩを指定することで、求める座標データの数を調節することもできる。ここで、フレーム間隔ＦＩとは、あるカメラパスの総フレーム数に対して、どの程度の割合で座標データを抽出するかを示す指標となる値である。この場合、フレーム間隔毎に座標データを出力するので、総フレーム数をフレーム間隔数で除算した値が出力する座標データの数となる。すなわち、座標変換手段１２２により求める座標データの数をｎ、カメラパスの継続時間をＤとすると、ｎ＝（Ｄ×ＦＰＳ）／ＦＩとなる。但し、Ｄは秒単位とする。

例えば、継続時間が１０秒であり、フレームレートＦＰＳが１２のカメラパスでは、総フレーム数が１２０となり、このカメラパスに対してフレーム間隔を１２に指定すると、求める座標データの数は１２０／１２＝１０となる。

３次元モデルがより滑らかに動作する動画像を生成したい場合、フレーム間隔を短くして座標データ数を増やせばよいが、既に撮影間隔最大化手段１２１の処理にて利用者の視覚特性を考慮した最適なフレーム間隔を求めているため、撮影者はこの段階で勘や経験則等によりフレーム間隔を決定する必要はない。

カメラパスは、３次元仮想空間エディタ上の空間の一部を切り取ったものであるため、従来の手法のように被写体を全方向から撮影する場合の総撮影枚数をＰｍとし、本実施形態の総撮影枚数をＰｎとすると、Ｐｍ≧Ｐｎの関係が成り立つ。よって、本実施形態によれば、３次元モデルが滑らかに動作する動画像が得られると共に、従来の手法に比べて必要な撮影画像の枚数を低減できる。

図１２は座標変換手段によって求めたカメラ位置の座標データの一例を示すテーブル図である。

従来の手法では、人の操作によって撮影するカメラの位置（座標）を設定していたため、撮影条件として入力するカメラの座標データが整数となる。一方、本発明では、図９に示すように座標変換手段２１によってカメラの座標データを求めるため、座標データが実数で得られる。そのため、カメラの撮影位置をより精緻に指定できる。

座標変換手段１２２によって座標データを求めると、撮影条件導出部１２は、撮影距離計算手段１２３により、その座標データに基づいてｍｍ単位で撮影距離を計算する。撮影距離はカメラと被写体中心との距離とする。

本実施形態の編集装置１では、３次元仮想空間エディタ上に配置するカメラパスの形状を自由に設定できるため、撮影距離を任意の値に設定することが可能であり、仮オブジェクトとの距離を自由に設定できる。一方、実際の撮影装置２では、カメラを支えるアームの稼動範囲等の制約から撮影距離が制限される（例えば固定距離で撮影しなければならない）場合がある。したがって、そのような撮影上の制約をデータとして予め入力しておくことで、撮影距離計算手段１２３により必要に応じて撮影距離の補正を行う。

なお、撮影時のカメラと被写体との距離の計測は、従来から知られている、同一方向から撮影した複数の画像をステレオ処理することで距離情報を求める方法を用いてもよく、レンジファインダー等の光学手段により被写体上に投光されたパターン光の位置を計測することで、その幾何学的な位置関係から距離情報を取得する方法を用いてもよい。

また、撮影距離を変えることができない場合、カメラの物理的位置を変更するのではなく、カメラが備えるズーム機能を用いて代替する方法が考えられる。但し、その場合は遠近感に関する情報が欠落するため、生成する仮オブジェクトは被写体とカメラの位置関係を正確に示したものではない。そのため、別途、距離を補正する必要があるが、単一の被写体を近距離で撮影するような場合は、距離の誤差が生成した動画像に大きく影響することはない。

次に、撮影条件導出部１２は、座標変換手段１２２で求めた３次元仮想空間エディタ上のカメラパス上のカメラ位置毎に、その座標データとオブジェクト座標系における仮オブジェクトの原点座標の値に基づきベクトル演算を行い、垂直角度計算手段１２４にて垂直角度を求め、水平角度計算手段１２５にて水平角度を求める。

垂直角度は、カメラ及び被写体中心を結んだ線と水平面との成す角度であり、水平角度は、水平面上において、被写体中心と被写体の所定の位置とを結ぶ線、並びに被写体中心とカメラ位置とを結ぶ線の角度である。これら撮影距離、垂直角度、水平角度等のパラメータは、周知の技術で算出できる。

撮影距離、垂直角度及び水平角度を求めた後、撮影条件導出部１２は、撮影手順生成手段１２６により撮影手順を生成する。撮影手順は、例えば図１３に示すように、撮影距離、垂直角度及び水平角度の撮影条件を１セットとして、それらを撮影順に記述したものである。撮影装置２は、撮影条件導出部１２で生成した撮影手順に含まれる各撮影条件を順次読み込むことで、該撮影条件にしたがって複数の方向から被写体を撮影する。

ところで、撮影経路が単純である場合、撮影手順の決定は困難ではない。しかしながら、撮影経路が複雑な場合は、撮影時間が最短となる撮影手順を求めることは困難であるため、公知のアルゴリズムにより近似解を求めて撮影手順を決定する必要がある。従来、これらのパラメータは、利用者の経験則に基づき、撮影前に利用者の操作によって逐一設定していた。しかしながら、撮影手順に配慮しつつ、各種の撮影条件を手動で指定するのは手間がかかり、多様な撮影パターンを作ることも困難である。また、このとき生成した３次元モデルは、利用者が許容できないほどに動きがぎくしゃくして見えることがあった。

一方、本実施形態では、３次元仮想空間エディタ上に設定した座標データから撮影条件を全て計算で求めることができるので、撮影装置２に与える撮影条件を自動的に求めることができる。また、撮影条件導出部１２は、利用者の視覚特性を考慮して撮影条件を求めるため、３次元モデルの動きも実用上容認できる滑らかさを備えている。
（３）被写体撮影部
次に図１に示した撮影装置２が備える被写体撮影部２１について図面を用いて説明する。

被写体撮影部２１は、編集装置１から上記撮影条件を受信し、該撮影条件にしたがって被写体を撮影する。被写体撮影部２１は、カメラを備え、編集装置１から受信した撮影条件にしたがってカメラと被写体の相対位置を変更しながら撮影するための手段を備えている。

図１４は図１に示した被写体撮影部の一構成例を示す斜視図である。

図１４に示すように、被写体撮影部２１は、画像撮影装置２１４、テーブル２１２、背景表示装置２１３、スイッチ２１５及び制御装置２１６を備えた構成である。図１４に示す被写体撮影部２１の構成及びその画像処理方法については、例えば上記非特許文献１及び特開２００１−１４８０２１号公報に記載されている。

図１４に示すように、被写体２１１は、撮影時、テーブル２１２上に設置され、背景表示装置２１３に表示された画像を背景に、カメラ等である画像撮影装置２１４によって撮影される。制御装置２１６は、編集装置１から受信した撮影条件にしたがって、被写体２１１が写った２次元静止画像から背景を除去するために、スイッチ２１５及び背景表示装置２１３を操作する。なお、背景の除去方法については上記非特許文献１に記載されている。

以下、画像撮影装置２１４による被写体２１１の撮影位置の制御方法について説明する。

制御装置２１６は、例えば図１３に示した撮影条件ファイルを読み込み、該撮影条件ファイルで規定された撮影条件にしたがって被写体を撮影する。図１３に示した撮影条件ファイルにしたがうと、制御装置２１６はテーブル２１２を水平方向に１５度単位で回転させながら撮影する。図１３に示した撮影条件ファイルは、被写体撮影部２１が図１４に示した構成であることを想定して、撮影距離（カメラ距離）が固定値に設定された例である。

なお、被写体撮影部２１は、図１４に示した構成に限定されるものではなく、例えば、被写体２１１を中心に、画像撮影装置２１４を半球面状に動かすことができるロボットアーム等を供えていてもよい。そのような構成では、垂直方向の撮影間隔も制御装置２１６によって制御できる。また、ロボットアーム等を備える構成では、画像撮影装置２１４と被写体２１１間の距離を変更することも可能である。撮影距離がロボットアームの可動範囲外にある場合は、例えば画像撮影装置２１４が備えるレンズの焦点距離を調整することで対応してもよい。

このように、制御装置２１６によって、画像撮影装置２１４、テーブル２１２、背景表示装置２１３及びスイッチ２１５を制御して被写体２１１を撮影することで、複数の２次元静止画像を取得できる。
（４）３次元モデル生成部
次に図１に示した撮影装置２が備える３次元モデル生成部２２について図面を用いて説明する。

３次元モデル生成部２２は、被写体撮影部２１が図１４に示した構成である場合、制御装置２１６に３次元モデルを生成するためのプログラムを搭載することで実現できる。

３次元モデル生成部２２は、被写体撮影部２１から出力される被写体を撮影することで得られた複数の２次元静止画像及びそれらの撮影情報を基に３次元モデルを生成する。３次元モデルには、被写体の寸法、被写体を撮影することで得られた複数の２次元静止画像、２次元静止画像内の被写体を示す複数のマスク画像及び被写体を撮影したときの撮影情報（被写体との距離、角度、解像度、画角等）等のデータが含まれる。被写体寸法は、例えば周知のShape from Silhouette法、あるいは被写体の正面画像及び側面画像を用いて算出することができる。マスク画像は、周知のクロマキー法や上記非特許文献１及び特開２００４−４６７７６号公報に記載された方法を用いて生成できる。
（５）動画像生成部
次に図１に示した編集装置１が備える動画像生成部１３について図面を用いて説明する。

動画像生成部１３は、仮想空間情報生成部１１で生成した動作情報及び３次元モデル生成部２２で生成した３次元モデルを用いて動画像を生成する。

動画像生成部１３は、３次元モデル生成部２２から３次元モデルのデータを受け取ると、３次元モデルのサイズ及びカメラパスのズレを補正する。そして、３次元仮想空間エディタ上に構築した動作情報と３次元モデルから各静止画の画像シーケンスを出力することで動画像を生成する。なお、動画像生成部１３には、動画像を生成する前に最終出力を確認するためのプレビュー機能等を備えていてもよい。プレビュー画像により利用者が所望の動画像でない場合は仮想空間情報生成部１１の処理に戻って動作情報を修正すればよい。

図１５は図１に示した動画像生成部の一構成例を示すブロック図である。

図１５に示すように、動画像生成部１３は、比較手段１３１、補正手段１３２及び画像シーケンス出力手段１３３を備えている。以下、図１５に示す動画像生成部１３の処理について説明する。

動画像生成部１３は、まず比較手段１３１により、仮想空間情報生成部１１で生成した仮オブジェクトと３次元モデル生成部２２で生成した３次元モデルのサイズを比較する。仮想空間情報生成部１１は仮オブジェクトを概略形状で生成するため、この概略形状の仮オブジェクトを３次元モデルに外接することで上記サイズの比較処理を行う。

なお、仮オブジェクトは、被写体をラフに撮影した２次元静止画像を用いて生成することも可能である。そのような場合は、仮オブジェクトと３次元モデルのサイズが同じであるため、サイズの比較処理を行う必要はない。

仮オブジェクトと３次元モデルのサイズが異なる場合、動画像生成部１３は、補正手段１３２により３次元モデルをリサイズすると共に、３次元モデル生成前のプレビュー画像と本処理段階のプレビュー画像とのズレを抑制するためにカメラパスを補正する。カメラパスの補正は、３次元モデルのサイズを変更した場合、カメラパスは仮想空間情報生成部１１にて生成した動作情報のままであるため、３次元モデルの位置は変わらなくても３次元モデルの見え方が変化する可能性があり、所望の動画像が得られないことがあるために実施する。必要であれば利用者の操作によりカメラパスをもう一度編集してもよい。仮オブジェクトは３次元モデルのリサイズが終了すると削除される。３次元モデルのリサイズを行う必要が無い場合は３次元モデル生成部２２から３次元モデルのデータを受信した段階で削除される。

最後に、動画像生成部１３は、画像シーケンス出力手段１３３によりタイムラインインタフェースにて設定したフレームレートを用いて３次元モデルを含む動作情報を画像シーケンスに変換して動画像を生成する。画像シーケンスへ変換することで、ＡＶＩ、ＱＵＩＣＫＴＩＭＥ、ＭＰＥＧ、ＤＩＶＸ等の広く普及しているフォーマットを利用して動画像を再生できる。なお、画像シーケンス出力手段１３３は、画像フレームをまとめて１つのデータとすることで動画像を出力してもよく、画像フレーム単位で１枚ずつ出力してもよい。
（６）動画像表示部
次に図１に示した表示装置３が備える動画像表示部３１について図面を用いて説明する。

動画像生成部１３で生成した画像データは表示装置３に送られ、動画像表示部３１にて表示することで利用者に動画像を提供する。動画像表示部３１は、例えばＣＲＴモニタや液晶ディスプレイ、プラズマディスプレイ、テレビ等の表示装置で実現できる。

動画像表示部３１に表示される動画像は、利用者の視覚特性を考慮して生成した３次元モデルに基づいて生成しているため、３次元モデルの基になる撮影画像の枚数が削減されているが、利用者に滑らかに動作していると許容される動画像を表示することができる。

本発明によれば、知覚実験の結果から一定水準の画質を持つ撮影枚数を導くことにより、撮影枚数を削減しつつ、利用者に３次元モデルの動きが滑らかであると知覚される動画像を生成できる。例えば、３次元モデルの動きが等速回転運動の場合、本発明では撮影枚数をおよそ３０％から６０％程度削減できる効果が期待できる。

本発明の手法を用いて生成した動画像の評価を実施した結果、標準画質と比べると画質が劣化していることが判別できるものの、利用者にとって容認できる水準の画質であることが確認できた。したがって、本発明を用いることで、実用上、十分な画質を備えた動画像を迅速に生成できる。

本発明の動画像生成システムの一構成例を示すブロック図である。 図１に示した動画像生成システムが備えるコンピュータシステムの一構成例を示すブロック図である。 本発明の動画像生成方法の処理手順を示すフローチャートである。 最小サンプリング曲線を示すグラフ及び該最小サンプリング曲線を用いた従来の３次元ＣＧの生成手順を示すフローチャートである。 図１に示した仮想空間情報生成部ＶＰの一構成例を示すブロック図である。 図１に示した仮想空間情報生成部によるカメラパスの設定例を示す模式図である。 タイムラインインタフェースによる設定画面の一例を示す模式図である。 図１に示した撮影条件導出部の一構成例を示すブロック図である。 知覚実験の分析結果を示す図であり、同図（ａ）はＲＯＣ曲線を示すグラフ、同図（ｂ）はフレームレートに対応する感度の値及び標準誤差を示すテーブル図である。 動画像のフレームレートと被験者によって滑らかであると判定された確率の関係を示すグラフである。 Ｆ５０％ＴＨの値を被写体の撮影間隔Ａ［ｄｅｇ］に変換したとき、その値と回転周期Ｔ［ｓｅｃ］との関係を示すグラフである。 座標変換手段によって求めたカメラ位置の座標データの一例を示すテーブル図である。 撮影条件導出部で生成する撮影条件の一例を示すテーブル図である。 図１に示した被写体撮影部の一構成例を示す斜視図である。 図１に示した動画像生成部の一構成例を示すブロック図である。

符号の説明

１ 編集装置
２ 撮影装置
３ 表示装置
４ ネットワーク
１１ 仮想空間情報生成部
１２ 撮影条件導出部
１３ 動画像生成部
２１ 被写体撮影部
２２ ３次元モデル生成部
３１ 動画像表示部
５ コンピュータシステム
５１ ＣＰＵ
５２ メモリ
５３ ハードディスク
５４ 入力装置
５５ 出力装置
５６ ＣＤ−ＲＯＭドライブ
１１１ 仮オブジェクト生成手段
１１２ カメラパス生成手段
１１３ 注視点指定手段
１１４ 動作情報生成手段
１２１ 撮影間隔最大化手段
１２２ 座標変換手段
１２３ 撮影距離計算手段
１２４ 垂直角度計算手段
１２５ 水平角度計算手段
１２６ 撮影手順生成手段
１３１ 比較手段
１３２ 補正手段
１３３ 画像シーケンス出力手段
２１１ 被写体
２１２ テーブル
２１３ 背景表示装置
２１４ 画像撮影装置
２１５ スイッチ
２１６ 制御装置

Claims (8)

1. 複数の方向から被写体を撮影することで得られる複数の２次元静止画像を用いて、該被写体の３次元モデルを含む３次元仮想空間の動画像を生成するための動画像生成方法であって、
   コンピュータが、
   前記３次元仮想空間における前記３次元モデルの動作及び視点位置の移動経路を規定するための動作情報を生成し、
   前記動作情報に含まれる、前記動画像中で前記３次元モデルが１回転するのに要する時間である回転周期Ｔ［ｓｅｃ］と、前記被写体の撮影角度の間隔Ａ［ｄｅｇ］との関係を示す連立式
   

   

   を満たす撮影角度の間隔Ａの最大値ＡＭＡＸを用いて前記被写体の撮影条件を決定し、
   前記撮影条件にしたがって撮影装置に前記被写体を撮影させて複数の２次元静止画像を取得し、
   前記複数の２次元静止画像を用いて前記３次元モデルを生成し、
   前記動作情報及び生成した３次元モデルを含む３次元仮想空間の動画像を生成する動画像生成方法。
2. 前記被写体の撮影条件の決定処理として、さらに
   前記撮影角度の間隔Ａの最大値ＡＭＡＸに基づき、前記３次元仮想空間における前記視点位置の座標を計算し、
   前記撮影装置と前記被写体間の撮影距離を決定し、
   前記撮影装置による、垂直方向の撮影間隔の角度を計算し、
   前記撮影装置による、水平方向の撮影間隔の角度を計算し、
   前記利用者が設定した撮影経路に沿って撮影するための撮影手順を生成する請求項１記載の動画像生成方法。
3. 複数の方向から被写体を撮影することで得られる複数の２次元静止画像を用いて、該被写体の３次元モデルを含む３次元仮想空間の動画像を生成するための動画像生成システムであって、
   前記３次元仮想空間における前記３次元モデルの動作及び視点位置の移動経路を規定するための動作情報を生成する仮想空間情報生成部、
   前記動作情報に含まれる、前記動画像中で前記３次元モデルが１回転するのに要する時間である回転周期をＴ［ｓｅｃ］と、前記被写体の撮影角度の間隔Ａ［ｄｅｇ］との関係を示す連立式
   

   

   を満たす撮影角度の間隔Ａの最大値ＡＭＡＸを求める撮影間隔最大化手段を含み、該最大値ＡＭＡＸを用いて前記被写体の撮影条件を決定する撮影条件導出部、並びに
   前記動作情報及び複数の２次元静止画像から生成した３次元モデルを含む３次元仮想空間の動画像を生成する動画像生成部を備えた編集装置と、
   前記撮影条件にしたがって撮影装置で前記被写体を撮影し、複数の２次元静止画像を取得する被写体撮影部及び前記複数の２次元静止画像を用いて前記３次元モデルを生成する３次元モデル生成部備えた撮影装置と、
   を有する動画像生成システム。
4. 前記撮影条件導出部は、さらに
   前記撮影間隔最大化手段で求めた前記撮影角度の間隔Ａの最大値ＡＭＡＸに基づき、前記３次元仮想空間における前記視点位置の座標を計算する座標変換手段と、
   前記撮影装置と前記被写体間の撮影距離を決定する撮影距離計算手段と、
   前記撮影装置による、垂直方向の撮影間隔の角度を計算する垂直角度計算手段と、
   前記撮影装置による、水平方向の撮影間隔の角度を計算する水平角度計算手段と、
   前記利用者が設定した撮影経路に沿って撮影するための撮影手順を生成する撮影手順生成手段と、
   を有する請求項３記載の動画像生成システム。
5. 複数の方向から被写体を撮影することで得られる複数の２次元静止画像を用いて、該被写体の３次元モデルを含む３次元仮想空間の動画像を生成するための動画像生成システムに備える編集装置であって、
   前記３次元仮想空間における前記３次元モデルの動作及び視点位置の移動経路を規定するための動作情報を生成する仮想空間情報生成部と、
   前記動作情報に含まれる、前記動画像中で前記３次元モデルが１回転するのに要する時間である回転周期Ｔ［ｓｅｃ］と、前記被写体の撮影角度の間隔Ａ［ｄｅｇ］との関係を示す連立式
   

   

   を満たす撮影角度の間隔Ａの最大値ＡＭＡＸを求める撮影間隔最大化手段を含み、該最大値ＡＭＡＸを用いて前記被写体の撮影条件を決定する撮影条件導出部と、
   前記動作情報及び複数の２次元静止画像から生成した３次元モデルを含む３次元仮想空間の動画像を生成する動画像生成部と、
   を有する編集装置。
6. 前記撮影条件導出部は、さらに
   前記撮影間隔最大化手段で求めた前記撮影角度の間隔Ａの最大値ＡＭＡＸに基づき、前記３次元仮想空間における前記視点位置の座標を計算する座標変換手段と、
   撮影装置と前記被写体間の撮影距離を決定する撮影距離計算手段と、
   前記撮影装置による、垂直方向の撮影間隔の角度を計算する垂直角度計算手段と、
   前記撮影装置による、水平方向の撮影間隔の角度を計算する水平角度計算手段と、
   前記利用者が設定した撮影経路に沿って撮影するための撮影手順を生成する撮影手順生成手段と、
   を有する請求項５記載の編集装置。
7. 複数の方向から被写体を撮影することで得られる複数の２次元静止画像を用いて、該被写体の３次元モデルを含む３次元仮想空間の動画像を生成するための処理をコンピュータに実行させるためのプログラムであって、
   前記３次元仮想空間における前記３次元モデルの動作及び視点位置の移動経路を規定するための動作情報を生成し、
   前記動作情報に含まれる、前記動画像中で前記３次元モデルが１回転するのに要する時間である回転周期Ｔ［ｓｅｃ］と、前記被写体の撮影角度の間隔Ａ［ｄｅｇ］との関係を示す連立式
   

   

   を満たす撮影角度の間隔Ａの最大値ＡＭＡＸを用いて前記被写体の撮影条件を決定し、
   前記撮影条件にしたがって撮影装置に前記被写体を撮影させて複数の２次元静止画像を取得し、
   前記複数の２次元静止画像を用いて前記３次元モデルを生成し、
   前記動作情報及び生成した３次元モデルを含む３次元仮想空間の動画像を生成する処理をコンピュータに実行させるためのプログラム。
8. 前記被写体の撮影条件の決定処理として、さらに
   前記撮影角度の間隔Ａの最大値ＡＭＡＸに基づき、前記３次元仮想空間における前記視点位置の座標を計算し、
   前記撮影装置と前記被写体間の撮影距離を決定し、
   前記撮影装置による、垂直方向の撮影間隔の角度を計算し、
   前記撮影装置による、水平方向の撮影間隔の角度を計算し、
   前記利用者が設定した撮影経路に沿って撮影するための撮影手順を生成する処理をコンピュータに実行させるための請求項７記載のプログラム。

Images