JP5424405B2 - 複合現実感技術による画像生成方法及び画像生成システム - Google Patents

Description

本発明は、複合現実感技術による画像生成方法及び画像生成システムに関する。

近年、カメラによって撮影された現実空間の画像にＣＧ（コンピュータグラフィックス）画像や文字等の仮想空間の情報を重畳表示することによって、現実空間の情報を増幅・拡張する複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）技術に関する研究、開発が盛んに行われている。また、複合現実感技術を活用し、映画などの映像コンテンツの制作を支援する新しい可視化技術が開発されつつある。

従来、映画の製作過程においては、本番の撮影前に監督が想定するシーンを俳優や制作スタッフに伝えるため、絵コンテを作成したり、アクションやカメラワーク等を含むかたちでフルＣＧ映像により事前に想定シーンを可視化（プレビジュアライゼーション；ＰｒｅＶｉｚ）したりすることが行われていた。しかし、絵コンテやフルＣＧ映像では表現力に限界があるため、監督の意図をより正確に伝えるのが困難な場合があった。

そのため、上記複合現実感技術を用い、本番の撮影前に、実際の撮影セットやロケ地等の背景に登場人物のみのＣＧ画像を合成することによって、本番により近く表現力の高い動画映像（以下、「ＭＲ映像」若しくは「ＭＲ−ＰｒｅＶｉｚ映像」ともいう）を作成し、このＭＲ映像をもとに本番撮影をより効率的に進めようとする試みがなされている。

ここで、ＭＲ映像の撮影には、現実空間と仮想空間との位置合わせを正確に行って実際の背景とＣＧ画像との幾何学的整合性を保つために、実時間で高精度にカメラの位置・姿勢を推定することが要求される。そして、カメラの位置・姿勢を高精度に推定する手法として下記非特許文献１に記載の技術が知られている。

この技術は、ＭＲ映像の撮影の前段階で、移動を伴った背景の撮影画像の各フレームから自然特徴点（ランドマーク）を抽出するとともに、その３次元位置や撮影時点でのカメラの位置・姿勢を推定し、これらの情報をランドマークごとに登録したデータベース（以下、「ランドマークデータベース」という）を構築するものである。そして、ＭＲ映像の撮影時に、現実空間の撮影画像（入力画像）から自然特徴点をリアルタイムに抽出するとともに、入力画像から抽出した自然特徴点と事前に構築したランドマークデータベースに登録されたランドマークとの対応付けを行い、対応付けられたランドマークに基づいてカメラの位置・姿勢を推定し、推定されたカメラの位置・姿勢に応じて入力画像にＣＧ画像を重畳表示する。

大江統子、他３名、「幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定」、日本バーチャルリアリティ学会論文誌、Ｖｏｌ．１０、Ｎｏ．３、２００５

上記非特許文献１に記載の技術は、予め自然特徴点に関するランドマークデータベースを構築することによって、広域な環境下においてもカメラの位置・姿勢の推定誤差が累積せず、現実空間と仮想空間との安定した位置合わせを行うことができるという利点を有している。しかし、ランドマークデータベースの構築時、現実空間におけるいくつかの自然特徴点の３次元位置を測量器によって実測する必要があり、この実測に要する時間を含めランドマークデータベースの構築に長時間を要するという欠点がある。

そのため、非特許文献１に記載のようなランドマークデータベースを利用した複合現実感技術は、前述の映画製作過程におけるＭＲ映像の撮影のために利用することは現実的ではなかった。すなわち、映画撮影過程におけるＭＲ映像の撮影のために上記非特許文献１に記載の技術を利用すると、例えば１シーンの可視化のためだけに長時間かけてランドマークデータベースを構築したり、カメラの移動経路が変わるたびに長時間かけてランドマークデータベースを構築し直したりする場合が生じ、非常に効率が悪化するという弊害があるからである。

また、非特許文献１に記載の技術は、ランドマークデータベースの構築後、ＭＲ映像の撮影を開始したときのカメラの初期位置・姿勢の推定に時間がかかるという欠点も有している。さらに、ＭＲ映像の撮影中、カメラの前を障害物等が通過することによって自然特徴点が映像から消えたり、手ぶれ等によりカメラ視野が急速に移動することによって映像中の自然特徴点が流れたりすると、カメラの位置・姿勢の推定の連続性が途切れるが、その際に復帰することができないという欠点も有している。

本発明は、上記の実情に鑑みてなされたものであり、データベースを用いた複合現実感技術による画像生成方法及びシステムにおいて、データベースの構築を高速化することを目的とする。

本発明は、データベースを利用した複合現実感技術による画像生成方法であって、
カメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごとに登録したデータベースを構築する第１ステップと、
現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けてカメラの位置・姿勢を推定する第２ステップとを含み、
前記第１ステップが、
所定の経路で移動するカメラによって撮影され、かつ前記現実空間に設置されたマーカを含む画像を取得するステップと、
当該画像中のマーカに基づいて当該画像の撮影時点における前記カメラの位置・姿勢に関する情報を取得するステップと、
当該画像から自然特徴点を抽出するステップと、
前記カメラの位置・姿勢に関する情報から前記自然特徴点の位置に関する情報を取得して前記データベースに登録するステップと、を含むことを特徴としている。

本発明は、例えば映画の撮影現場のように、カメラによる撮影範囲（カメラの移動経路）が所定に限定されている環境下で使用されることを前提としており、したがって、データベースの構築時、現実空間にはカメラによる撮影範囲に含まれるように一定の場所にマーカを配置することができ、このマーカに基づいてカメラの位置・姿勢に関する情報を取得するとともに、画像中の自然特徴点の位置についての情報を取得することが可能となる。そのため、従来のように自然特徴点の位置を測量器を用いて実測する必要が無くなり、データベースの構築を高速で行うことができる。また、ＭＲ映像の撮影時には、データベースを使用することから、現実空間にマーカは不要であり、現実空間からマーカを取り除いた状態でＭＲ映像を撮影することができる。したがって、本発明は、映画等の本番撮影前に、想定シーンをＭＲ映像により表現する手段として採用することができる。

前記第２ステップにおいて、カメラの位置・姿勢の取得が破綻した場合に、
前記データベースの構築に使用された撮影画像中の任意の複数の画像フレームから、破綻直後の入力画像の画像フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、破綻直後の入力画像の画像フレームに含まれる自然特徴点とを対応づけて、破綻直後の入力画像の画像フレーム撮影時点におけるカメラの位置・姿勢を推定することが好ましい。

これにより、カメラによる撮影中に、カメラの位置・姿勢の取得が破綻した場合であっても、迅速にカメラの位置・姿勢を推定し、処理を復帰させることができる。

前記第２ステップにおいて、
前記データベースの構築に使用された撮影画像中の任意の複数の画像フレームから、現実空間の入力画像の初期フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、初期フレームに含まれる自然特徴点とを対応づけて、初期フレーム撮影時点におけるカメラの位置・姿勢を推定することが好ましい。

これにより、入力画像の初期フレームにおけるカメラの位置・姿勢の推定を迅速に行うことができる。

本発明は、カメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごとに登録したデータベースを構築するデータベース構築手段と、現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けてカメラの位置・姿勢を推定するカメラ位置・姿勢推定手段とを有している、データベースを利用した複合現実感技術による画像生成システムであって、
前記データベース構築の際に前記現実空間に配置されるマーカを備え、
前記データベース構築手段が、
所定の経路で移動するカメラによって撮影した前記マーカを含む現実空間の画像を取得する手段と、
この画像中のマーカに基づいて当該画像の撮影時点における前記カメラの位置・姿勢に関する情報を取得する手段と、
前記画像から自然特徴点を抽出する手段と、
前記カメラの位置・姿勢に関する情報から前記データベースに登録される前記自然特徴点の位置に関する情報を取得する手段と、を有していることを特徴としている。

したがって、本発明の複合現実感技術による画像生成システムは、上記画像生成方法と同様の作用効果を有する。

本発明によれば、データベースを用いた複合現実感技術による画像生成方法及びシステムにおいて、データベースの構築を高速化することができる。

本発明の実施形態に係る画像生成方法を用いてＭＲ−ＰｒｅＶｉｚ映像を撮影する様子を示す図である。 表示装置に表示されたＭＲ−ＰｒｅＶｉｚ映像を示す図である。 本実施形態の画像生成方法の概要を示すフローチャートである。 ランドマークデータベースの内容を概略的に示す図である。 準備段階のためのカメラ撮影の様子を示す説明図である。 準備段階におけるデータベースへの登録情報取得の流れを示すフローチャートである。 キーフレームデータベースを概略的に示す図である。 キーフレームデータベースに登録されるキーフレームを説明する図である。 カメラの位置・姿勢の推定の手順を示すフローチャートである。 ランドマークの対応付け手法を説明する図である。

以下、本発明の実施形態を図面を参照して説明する。
図１は、本発明の実施形態に係る画像生成方法を用いてＭＲ−ＰｒｅＶｉｚ映像を撮影する様子を示す図である。本実施形態は、映画の本番撮影前に、想定されるシーンを複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）技術を利用した映像（ＭＲ−ＰｒｅＶｉｚ映像）によって表現しようとするものである。したがって、本実施形態では、ＭＲ−ＰｒｅＶｉｚ映像の背景に映画の撮影セット１０が使用されており、この撮影セット１０を視野に含むようにカメラ１１が設置されている。また、カメラ１１は、地面に敷設されたレール１４によって所定の経路で移動するものとされている。また、カメラ１１は、上下方向のチルト角度や左右方向のパン角度、ズーム、フォーカス等により決まる画角等を変更可能である。

カメラ１１には、ＣＰＵ等の演算部やＲＯＭ、ＲＡＭ、ＨＤＤ等の記憶部等を備えたコンピュータからなる処理装置１２が接続され、この処理装置１２の出力インターフェースには液晶モニタやＣＲＴ等の表示装置１３が接続されている。そして、処理装置１２は、カメラ１１で撮影した映像に対して所定の処理を施すことによって、表示装置１３に図２に示すようなＭＲ−ＰｒｅＶｉｚ映像を出力する。

図２は、ＭＲ−ＰｒｅＶｉｚ映像が表示された表示装置１３の表示画面を示す図である。このＭＲ−ＰｒｅＶｉｚ映像には、撮影セット１０からなる背景を含む画像に、出演者の仮想映像であるＣＧ画像（点線で示す）が重畳表示されている。実際には、撮影セット１０を背景として含む動画（画像列）がカメラ１１の移動を伴って撮影され、そのカメラ１１の位置・姿勢に応じてＣＧ画像の方向を随時変化させながら、ＣＧ画像が重畳表示される。

図３は、本実施形態の画像生成方法の処理の概要を示すフローチャートである。本実施形態の画像生成処理過程は、ＭＲ−ＰｒｅＶｉｚ映像を撮影する前の準備段階（オフライン処理）Ｓ１と、実際のＭＲ−ＰｒｅＶｉｚ映像の撮影段階（オンライン処理）Ｓ２との２つの段階に大きく分けることができる。準備段階では、主として、カメラ１１の撮影画像から抽出された自然特徴点（ランドマーク）についての情報が登録されたデータベース（ランドマークデータベース、キーフレームデータベース）を構築する。そして、ＭＲ−ＰｒｅＶｉｚ映像の撮影段階では、準備段階で構築したデータベースを活用し、カメラ１１によって撮影した撮影セット１０の画像（入力画像）からカメラ１１の位置・姿勢を推定し、このカメラ１１の位置・姿勢に応じてＣＧ画像を合成する。

＜準備段階の内容＞
以下、準備段階の内容について詳細に説明する。図４は、ランドマークデータベースの内容を概略的に示す図である。ランドマークデータベースＤＢ１は、処理装置１２の記憶部に構築されるものであり、ランドマークデータベースＤＢ１には、ランドマークの３次元位置を示す位置情報と、ランドマークの撮影地点ごとの情報とが含まれる。また、撮影地点ごとの情報は、ランドマークの識別情報と、撮影時におけるカメラ１１の位置・姿勢情報とが含まれる。

図５は、準備段階のためのカメラ撮影の様子を示す説明図、図６は、準備段階におけるデータベースへの登録情報取得の流れを示すフローチャートである。
この準備段階においては、まず、図５に示すように、現実空間、すなわち撮影セット１０中に人工マーカＭを配置する。本実施形態の人工マーカＭは、立方体形状であり、カメラ１１によって撮影される少なくとも２つの面がマーカ面Ｍ１とされている。本実施形態のマーカ面Ｍ１には、公知のＡＲＴｏｏｌＫｉｔマーカが貼付されており、具体的には、「Ｆ」字形状のマーカと「Ｌ」字形状のマーカとがそれぞれマーカ面Ｍ１に設けられている。また、人工マーカＭは、地上の座標系（世界座標系）の基準となるものであり、世界座標系における人工マーカＭの座標は予め設定され、処理装置１２の記憶部に記憶される。例えば、人工マーカＭは、ユーザが世界座標系の原点としたい場所に配置する。

次いで、人工マーカＭが配置された撮影セット１０中をカメラ１１にて撮影し、画像シーケンス（画像列）を取得する（図６のステップＳ１１）。このときカメラ１１は本番撮影時と同様のカメラワークでレール１４上を移動させるものとする。

そして、カメラ１１によって撮影された人工マーカＭの画像から、カメラ１１の位置・姿勢を推定する処理を行う（ステップＳ１２）。人工マーカＭを利用したカメラ１１の位置・姿勢の推定には、既知の手法（例えば、特開２００９−２０６１４号公報等に開示された手法）を用いることができる。例えば、まず、カメラ１１によって撮影された画像から人工マーカＭを検出し、撮影画像における人工マーカＭの投影位置と人工マーカＭの世界座標系における位置との対応から、世界座標系におけるカメラ１１の位置・姿勢を推定し（いわゆるＰｎＰ問題を解く）、各画像列におけるカメラ１１の位置・姿勢からカメラパスを推定する。

これにより従来手動であったカメラパス推定を自動化することができ、データベース構築時間を短縮することができる。なお、人工マーカＭは現実空間に複数個設けてもよく、この場合、複数の人工マーカＭのキャリブレーションを事前に行って人工マーカＭ間の位置関係を求めておく。

次いで、カメラ１１によって撮影された画像から公知の手法にて自然特徴点Ｐを抽出し、この自然特徴点Ｐの３次元位置を推定する処理を行う（ステップＳ１３）。この自然特徴点Ｐは、例えば、撮影セット１０に含まれる建物の端点、例えば、壁や屋根のコーナー部分等が抽出される。この自然特徴点Ｐの抽出には、Ｆａｓｔ ｃｏｒｎｅｒ ｄｅｔｅｃｔｏｒ（Ｒｏｓｔｅｎ，Ｅ．ａｎｄ Ｄｒｕｍｍｏｎｄ，Ｔ ”Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｆｏｒ ｈｉｇｈ−ｓｐｅｅｄ ｃｏｒｎｅｒ ｄｅｔｅｃｔｉｏｎ．” Ｐｒｏｃ．９ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ(ＥＣＣＶ’０６)， Ｖｏｌ．１， ｐｐ．４３０−４４３，２００６．）や、Ｈａｒｒｉｓ Ｏｐｅｒａｔｏｒ（Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｓｔｅｐｈｅｎｓ “Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ” Ｐｒｏｃ． ４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ． ｐｐ１４７−１５１，１９９８．）の手法等を用いて行うことができる。なお、これらの手法のうち、前者の手法の方がより高速に自然特徴点Ｐを抽出することができる。自然特徴点Ｐの抽出処理に用いられる手法はこれらの例に限定されず、他の手法を用いてもよい。

次に，Ｓｔｒｕｃｔｕｒｅ−Ｆｒｏｍ−Ｍｏｔｉｏｎ（ＳＦＭ）技術により特徴点の世界座標系における３次元位置を推定する。前処理において世界座標系におけるカメラ１１の位置・姿勢が推定されているので、ＳＦＭ技術によって抽出された自然特徴点Ｐの３次元位置を推定することができる。なお、ＳＦＭは、単眼のカメラ１１によって異なる時刻に異なる視点から撮影された複数枚の撮影画像を用い、撮影画像上の対象物の動き及び撮影位置の変位に基づいて対象物の３次元位置を計算する技術である。

次に、全てのフレームにおいて、カメラ１１の位置・姿勢と自然特徴点Ｐの３次元位置との最適化処理を行う（ステップＳ１４）。この処理は、ＬＭ（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）法によるバンドル調整によって実現する。

図４に示すランドマークデータベースＤＢ１には、ランドマーク（自然特徴点Ｐ）ごとに、その３次元位置について情報が登録される。また、カメラ１１の位置・姿勢について情報は、各ランドマークについて、複数の撮影地点（複数の画像フレーム）ごとに登録される。また、ランドマークデータベースＤＢ１には、以上の他に、撮影地点ごとの情報としてランドマークの識別情報が登録される。

ランドマークの識別情報には、種々の情報を登録することができる。例えば、識別情報として、ＳＩＦＴ特徴量及びＳＩＦＴスケール決定係数（固有スケール決定係数）を用いることができる。ＳＩＦＴ特徴量は、後述するカメラのトラッキング処理時に、ランドマークデータベースＤＢ１に登録されたランドマークと、カメラ１１による入力画像から抽出された自然特徴点Ｐとの対応付けを可能にするためのものであり、例えば、”Ｄ．Ｇ．Ｌｏｗｅ，“Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ”（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．６０， Ｎｏ．２ ｐｐ．９１−１１０，２００４）に記載された手法を用いて算出することができる。

ＳＩＦＴ特徴量は、特徴点の近傍領域の局所画像を４×４のブロックに分割し、ブロック内にある画素の微分方向のヒストグラム値を並べて特徴ベクトルとしたものである。方向ヒストグラムは４５°の間隔で離散化されるため、４×４×８＝１２８次元のベクトルとなる。ＳＩＦＴスケール決定係数は、カメラ１１とランドマーク間との３次元距離と、ＳＩＦＴスケールとを乗じた値である。ＳＩＦＴスケールは、画像上での特徴量記述領域の大きさである。

また、本実施形態では、上述のように構築したランドマークデータベースＤＢ１から、キーフレームデータベースＤＢ２を構築する。図７は、キーフレームデータベースＤＢ２を概略的に示す図であり、図８は、キーフレームデータベースＤＢ２に登録されるキーフレームを説明する図である。キーフレームデータベースＤＢ２は、所定のカメラパス１６を移動するカメラ１１によって撮影された画像のフレーム単位でランドマークを管理するものである。このキーフレームは、ランドマークデータベースＤＢ１の構築の際に利用されたフレームからいくつかを任意に選択（例えば、１０フレームおきに選択）したものであり、キーフレームデータベースＤＢ２は、キーフレームごとにランドマークに関する情報を登録したものである。この登録内容はランドマークの３次元位置と識別情報（ＳＩＦＴ特徴量等）を含み、カメラ１１の位置・姿勢に関する情報を含めても良い。

＜ＭＲ−ＰｒｅＶｉｚ映像の撮影段階＞
以上の準備段階において、ランドマークデータベースＤＢ１とキーフレームデータベースＤＢ２の構築を行うと、次に実際のＭＲ−ＰｒｅＶｉｚ映像の撮影段階に入る。
このＭＲ−ＰｒｅＶｉｚ映像の撮影は、カメラ１１を所定の移動経路で移動させながら撮影セット１０を撮影することによって行われる。この撮影は、ランドマークデータベースＤＢ１の構築時と同様に、本番撮影と同様のカメラワークで行い、準備段階で使用したマーカは撮影セット１０から取り除いておく。

そして、カメラ１１によって撮影した撮影セット１０の画像（入力画像）から、ランドマークデータベースＤＢ１及びキーフレームデータベースＤＢ２を用いてカメラ１１の位置・姿勢を推定し、このカメラ１１の位置・姿勢により、現実空間と仮想空間との幾何学的整合性を持たせた状態でＣＧ画像を合成する。

図９は、カメラ１１の位置・姿勢の推定の手順を示すフローチャートである。
まず、カメラ１１によって撮影を開始した時点のカメラ１１の位置・姿勢の推定する。この推定には、準備段階で構築したキーフレームデータベースＤＢ２を使用する。本実施形態では、データベースＤＢ１，ＤＢ２構築時のカメラパスとＭＲ映像撮影時のカメラパスとがほぼ同じであることを利用し、カメラの初期位置を高速で推定する。具体的には、入力画像の初期フレームの画像に最も類似したキーフレームをキーフレームデータベースＤＢ２から検索する。この検索には、フレーム間の類似度を用いる。フレーム間の類似度ｃは、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を利用して、次の式（１）で求めることができる。

ただし、Ｎはキーフレーム内の全ランドマーク数、Ｖ_iは、各ランドマークのＳＩＦＴ特徴量であり、Ｖ’は最近傍である自然特徴点Ｐの特徴量である。

そして、類似度ｃが最大のキーフレーム内に存在するランドマークと入力画像中の特徴点とを、既知の探索手法によって対応付けることで、カメラ１１の初期位置・姿勢を推定する。この探索手法としては、例えば、ｋｄ木を用いた最近傍探索を使用することができるが、これに限定されるものではない。

図９のステップＳ２２以降の処理で、初期フレームより後ろの各フレームについて、カメラ１１の位置・姿勢を推定する処理（トラッキング処理）を行う。このトラッキング処理は、まず、ステップＳ２２において、フレーム内の背景から自然特徴点Ｐを抽出する処理を行う。この処理では、ランドマークデータベースＤＢ１の構築段階で述べたものと同様に、撮影セット１０に含まれる建物の端点、例えば、壁や屋根のコーナー部分等が自然特徴点Ｐとして抽出される。この自然特徴点Ｐの抽出は、Ｆａｓｔ ｃｏｒｎｅｒ ｄｅｔｅｃｔｏｒや、Ｈａｒｒｉｓ Ｏｐｅｒａｔｏｒ、その他の手法等を用いて行うことができる。

次いで、ステップＳ２３においてランドマークの選択を行う。これは、ランドマークデータベースＤＢ１から対応付けに使用するランドマークを限定するものであり、次の条件を全て満たすものを選択する。
１．カメラ１１の視野内に存在するもの
２．ランドマークデータベース構築の際におけるランドマーク撮影時のカメラ１１の位置と、前フレームのカメラ１１の位置との距離が閾値以下であるもの
３．入力画像におけるランドマーク同士の距離が閾値以上であるもの

また、フレームごとの計算量を一定にするために、選択されるランドマーク数に上限を設け、この上限を超える場合には、前フレームで対応付けられたランドマークを優先的に使用する。これによって、フレーム間で利用するランドマークに連続性を持たせることができ、合成するＣＧ画像の振動を抑制することができる。

次いで、ステップＳ２４において、ランドマークの対応付けを行う。まず、対応付けの候補となる自然特徴点を限定するため、図１０に示すように、入力画像中に設定された探索窓内で検出された自然特徴点を、対応付けの候補とする。この探索窓は、各ランドマークの入力画像への投影座標を中心とした円として設定される。ランドマークの入力画像への投影には、前フレームにおけるカメラ１１の位置・姿勢を用いる。
そして、入力画像から抽出された自然特徴点ＰについてＳＩＦＴ特徴量を求め、このＳＩＦＴ特徴量と、対応付け候補となる各ランドマークのＳＩＦＴ特徴量とを比較し、両者のＳＩＦＴベクトル間の角度が最小となる候補を対応ランドマークとする。

次いで、ステップＳ２５において、ランドマークの３次元位置と入力画像上の２次元位置の対応関係から既知の手法により誤った対応ランドマークの排除を行い、残った対応ランドマークを用いてカメラ１１の位置・姿勢を推定する。誤った対応のランドマークを排除する手法として、ＲＡＮＳＡＣ法やＰＲＯＳＡＣ法等を用いることができるが、後者のほうがより高速に処理を行うことができる。

ステップＳ２６では、カメラ１１の位置・姿勢の推定が失敗したか否かを判定する。カメラ１１による撮影中、歩行者や障害物等が横切ることによって自然特徴点Ｐがフレームから消滅したり、手ぶれ等によってカメラ１１が急速に振れ、フレーム内の自然特徴点Ｐが流れてしまったりすると、前フレームからの連続性が途切れ、上述のようなカメラ１１の位置・姿勢のトラッキング処理が行えなくなってしまう。このような場合、前工程のステップＳ２５におけるカメラ１１の位置・姿勢の推定が失敗となり、トラッキング処理が破綻する。
そこで、本実施形態では、トラッキング処理が破綻した場合に、高速に復帰することができるように、以下の手法を採用した。
すなわち、本実施形態では、既に構築してあるキーフレームデータベースＤＢ２を用いてトラッキング破綻から復帰する処理を行う。
この復帰処理は、前述の初期フレームにおけるカメラ１１の位置・姿勢の推定と同様に、キーフレームデータベースＤＢ２に登録されている各キーフレームと、破綻直後の入力画像のフレームとを比較し、入力画像のフレームの画像に最も類似したキーフレームを検索する。そして、類似度ｃが最大のキーフレーム内に存在するランドマークと入力画像中の自然特徴点とを、既知の探索手法によって対応付けることで、カメラ１１の位置・姿勢を高速に推定する（ステップＳ２７）。
このような処理によってトラッキングが破綻したとしても実時間で高速に復帰することが可能となる。

以上、説明した本実施形態では、まず、準備段階としてのランドマークデータベースＤＢ１の構築工程において、撮影セット１０に人工マーカＭを設置し、この人工マーカＭを用いてカメラ１１の位置・姿勢を推定するとともに、自然特徴点Ｐの３次元位置等を推定している。そのため、従来技術（非特許文献１）のように、自然特徴点Ｐを実測する工程が不要となり、ランドマークデータベースＤＢ１の構築を迅速に行うことが可能となる。そのため、本番撮影前の想定シーンの可視化のために、ランドマークデータベースＤＢ１を用いた複合現実感技術を好適に採用することが可能となる。

また、上記実施形態では、入力画像の初期フレームにおけるカメラ１１の位置・姿勢を推定する処理にキーフレームを用いているので、この処理をも迅速に行うことができる。
また、カメラ１１の位置・姿勢の推定処理が破綻（トラッキング破綻）した場合であっても、上記と同様にキーフレームを用いることで、当該破綻から復帰することができる。

本発明は、以上に説明した実施形態に限定されるものではなく、特許請求の範囲に記載の範囲で適宜変更することが可能である。例えば、ランドマークデータベースＤＢ１に登録する各ランドマークの撮影地点毎の情報には、ランドマークの識別情報として、ＳＩＦＴ特徴量に代えて、非特許文献1に記載の技術と同様に撮影地点ごとの画像テンプレートを採用することができる。

また、本発明は、映画製作のためのＭＲ−ＰｒｅＶｉｚ映像の撮影にのみならず、カメラの移動経路が限定されるような他の用途に好適に採用することができる。

１０ 撮影セット（現実空間）
１１ カメラ
１２ 処理装置
１３ 表示装置
１４ レール
ＤＢ１ ランドマークデータベース
ＤＢ２ キーフレームデータベース
Ｍ 人工マーカ
Ｐ 自然特徴点

Claims (5)

1. データベースを利用した複合現実感技術による画像生成方法であって、
   処理装置が、カメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごとに登録したデータベースを構築する第１ステップと、
   処理装置が、現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けて、所定の経路で移動するカメラの位置・姿勢を推定する第２ステップとを含み、
   前記第１ステップが、
   前記第２ステップにおいてカメラが移動する前記所定の経路とほぼ同じ経路で移動するカメラによって撮影され、かつ前記現実空間に配置されたマーカを含む画像を取得するステップと、
   当該画像中のマーカに基づいて当該画像の撮影時点における前記カメラの位置・姿勢に関する情報を取得するステップと、
   当該画像から自然特徴点を抽出するステップと、
   前記カメラの位置・姿勢に関する情報から前記自然特徴点の位置に関する情報を取得して前記データベースに登録するステップと、を含み、
   前記マーカは、前記第１ステップにおいては、前記第２ステップにおいてカメラが移動する前記所定の経路とほぼ同じ経路で移動するカメラによって撮像されるように前記現実空間に配置されるが、前記第２ステップにおいてはカメラによって撮像される前記現実空間から取り除かれる
   ことを特徴とする複合現実感技術による画像生成方法。
2. 前記第２ステップにおいて、カメラの位置・姿勢の取得が破綻した場合に、
   前記データベースの構築に使用された撮影画像中の任意の複数の画像フレームから、破綻直後の入力画像の画像フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、破綻直後の入力画像の画像フレームに含まれる自然特徴点とを対応づけて、破綻直後の入力画像の画像フレーム撮影時点におけるカメラの位置・姿勢を推定する請求項１に記載の複合現実感技術による画像生成方法。
3. 前記第２ステップにおいて、
   前記データベースの構築に使用された撮影画像中の任意の複数の画像フレームから、現実空間の入力画像の初期フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、初期フレームに含まれる自然特徴点とを対応づけて、初期フレーム撮影時点におけるカメラの位置・姿勢を推定する請求項１又は２に記載の複合現実感技術による画像生成方法。
4. データベースを利用した複合現実感技術による画像生成方法であって、
   処理装置が、所定の経路で移動するカメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごとに登録したデータベースを構築する第１ステップと、
   処理装置が、現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けて、前記第１ステップにおいてカメラが移動する前記所定の経路とほぼ同じ経路で移動するカメラの位置・姿勢を推定する第２ステップとを含み、
   前記第２ステップにおいて、カメラの位置・姿勢の取得が破綻した場合に、
   前記データベースの構築に使用された撮影画像フレーム中の前記撮像画像フレーム数よりも少ない数の任意の複数の画像フレームから、破綻直後の入力画像の画像フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、破綻直後の入力画像の画像フレームに含まれる自然特徴点とを対応づけて、破綻直後の入力画像の画像フレーム撮影時点におけるカメラの位置・姿勢を推定することを特徴とする複合現実感技術による画像生成方法。
5. カメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごとに登録したデータベースを構築するデータベース構築手段と、現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けて、所定の経路で移動するカメラの位置・姿勢を推定するカメラ位置・姿勢推定手段とを有している、データベースを利用した複合現実感技術による画像生成システムであって、
   前記データベース構築の際に前記現実空間に配置されるマーカを備え、
   前記データベース構築手段が、
   前記カメラ位置・姿勢推定手段によって位置・姿勢が推定される際にカメラが移動する前記所定の経路とほぼ同じ経路で移動するカメラによって撮影した前記マーカを含む現実空間の画像を取得する手段と、
   この画像中のマーカに基づいて当該画像の撮影時点における前記カメラの位置・姿勢に関する情報を取得する手段と、
   前記画像から自然特徴点を抽出する手段と、
   前記カメラの位置・姿勢に関する情報から前記データベースに登録される前記自然特徴点の位置に関する情報を取得する手段と、を有し、
   前記マーカは、前記データベース構築手段が前記マーカを含む現実空間の画像を取得する際には、前記カメラ位置・姿勢推定手段によって位置・姿勢が推定される際にカメラが移動する前記所定の経路とほぼ同じ経路で移動するカメラによって撮影されるように前記現実空間に配置されるが、前記カメラ位置・姿勢推定手段によって位置・姿勢が推定される際にはカメラによって撮影される前記現実空間から取り除かれることを特徴とする複合現実感技術による画像生成システム。

Images