JP6299269B2 - 画像処理システム、プログラム及び投影装置 - Google Patents

Description

本発明は、被投影物に投影されたパターン画像の特徴点の抽出技術に関し、より詳細には、被投影物に投影された複数種類のパターン画像を用いて、特徴点の位置を算出する画像処理システム、プログラム及び投影装置に関する。

従来、投影装置からスクリーン等の被投影物に画像を投影する場合、投影装置と被投影物の相対的な位置関係や被投影面の局所的な凹凸又は捻じれにより、投影像に台形歪みや非線形歪みが生じることがある。

この問題に対し、ユーザの視点から見た投影像の歪みを低減すべく、種々の画像補正技術が提案されている。特許文献１は、相補的な性質を有する２つのパターン画像を投影し、その撮影画像の差分値で形成される測定用画像を検出し、測定点の三次元座標を算出する投射型表示装置を開示する。

しかしながら、特許文献１が開示する投射型表示装置では、相補的な性質を有する２つのパターン画像の差分値で形成される測定用画像を利用することにより、外光によって生じるホワイトノイズを除去することができるものの、相補的な２つのパターン画像を単純に合成するため、特徴点の位置の抽出精度の向上は限定的である。

特に、単焦点レンズを備える投影装置で近距離の投影面に画像を投影する場合、投影装置と投影面との距離が近い分、投影像の歪み度合が大きくなる。このため、特許文献１が開示する投射型表示装置のように相補的な２つのパターン画像を単純に合成するだけでは、近距離から投影した特徴点の位置の抽出精度を向上させることができず、抽出精度の低い特徴点の位置を基に三次元座標を算出することとなり、その算出精度が低いという問題があった。

本発明は、上記従来技術の問題に鑑みてなされたものであり、特徴点の位置の抽出精度を向上させる画像処理システム、プログラム及び投影装置を提供することを目的とするものである。

上記課題を解決するために、本発明の画像処理システムは、投影装置が投影した複数種類のパターン画像の撮影画像を使用して、各パターン画像に含まれる特徴点の位置を算出し、特徴点の抽出精度を算出し、複数種類のパターン画像間の対応する特徴点の位置を抽出精度で加重平均して、特徴点の平均位置を算出する。

本発明は、上記構成を採用することにより、特徴点の位置の抽出精度を向上させることができる。

本発明の画像投影システムの一実施形態を示す図。 図１に示す情報処理装置のハードウェア構成を示す図。 情報処理装置１１０の機能構成の一実施形態を示す図。 図３に示す実施形態の情報処理装置が実行する処理の一実施形態を示すフローチャート。 被投影物に投影された特徴点の三次元座標の算出方法を示す概念図。 被投影物に投影するパターン画像の一実施形態を示す図。 被投影物に投影するパターン画像の別の実施形態を示す図。 被投影物に投影するパターン画像の他の実施形態を示す図。 図３に示す実施形態の情報処理装置が実行する処理の別の実施形態を示すフローチャート。 情報処理装置１１０の機能構成の別の実施形態を示す図。 図１０に示す実施形態の情報処理装置が実行する処理を示すフローチャート。 被投影物に投影するパターン画像の他の実施形態を示す図。 本発明の別の実施形態に係る画像投影装置のハードウェア構成を示す図。 図１３に示す画像投影装置の機能構成を示す図。 図１３及び図１４に示す実施形態の画像投影装置が実行する処理の一実施形態を示すフローチャート。

以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本発明の画像投影システムの一実施形態を示す図である。図１に示す画像投影システム１００は、情報処理装置１１０と、画像投影装置１２０と、スクリーン１４０とを含んで構成される。

情報処理装置１１０は、複数種類のパターン画像を画像投影装置１２０に送信して投影させると共に、スクリーン１４０等の被投影物に投影されたパターン画像を撮影し、パターン画像の特徴点の三次元空間座標を算出する情報処理装置である。情報処理装置１１０は、パターン画像の特徴点の三次元空間座標を用いて、パターン画像が投影された被投影物の三次元空間座標を算出し、投影対象の画像の歪みを補正する。

画像投影装置１２０は、情報処理装置１１０が提供するパターン画像や任意の画像を投影する装置である。図１に示す実施形態では、画像投影装置１２０は、情報処理装置１１０から無線通信によって受信した２種類のパターン画像１３０ａ，１３０ｂをスクリーン１４０に連続投影する。

図１に示す実施形態では、情報処理装置１１０として撮影装置を備えるタブレット型ＰＣを採用するが、デスクトップ型ＰＣやノート型ＰＣ等の種々のコンピュータを情報処理装置１１０として採用することができる。また、他の実施形態では、情報処理装置１１０と別個独立の撮影装置を用いて、スクリーン１４０に投影された複数種類のパターン画像を撮影し、パターン画像の撮影画像を情報処理装置１１０に提供してもよい。

図２は、図１に示す情報処理装置のハードウェア構成を示す図である。情報処理装置１１０は、プロセッサ２００と、ＲＯＭ２０１と、ＲＡＭ２０２と、ＳＳＤ２０３と、無線ＬＡＮアダプタ２０４と、撮影装置２０５とを備える。

プロセッサ２００は、本発明のプログラムを実行する演算装置である。ＲＯＭ２０１は、ブートプログラムなどが保存される不揮発性メモリである。ＲＡＭ２０２は、情報処理装置１１０が実行するプログラムの実行空間を提供する不揮発性メモリである。ＳＳＤ２０３は、本発明のプログラムやパターン画像、任意の画像などの様々なデータが保存される不揮発性メモリである。

プロセッサ２００は、ＳＳＤ２０３から本発明のプログラムを読み出し、種々のＯＳの管理下で、本発明のプログラムをＲＡＭ２０２に展開して実行することにより、後述する機能を情報処理装置１１０で実現する。

無線ＬＡＮアダプタ２０４は、外部装置との間で無線通信を行うインタフェースである。情報処理装置１１０は、無線ＬＡＮアダプタ２０４を介して、投影対象の画像を画像投影装置１２０に送信する。

撮影装置２０５は、ＣＣＤやＣＭＯＳ等の撮影素子を含んで構成される撮影装置である。撮影装置２０５は、スクリーン１４０等の被投影物を撮影して撮影画像を生成する。

図３は、情報処理装置１１０の機能構成の一実施形態を示す図である。情報処理装置１１０は、通信部３００と、画像提供部３０１と、記憶部３０２と、撮影部３０３と、特徴点位置算出部３０４と、抽出精度算出部３０５と、特徴点平均位置算出部３０６と、三次元座標算出部３０７と、画像補正部３０８とを有する。

通信部３００は、無線ＬＡＮアダプタ２０４を制御する手段である。通信部３００は、無線ＬＡＮアダプタ２０４を制御して、情報処理装置１１０と画像投影装置１２０との間でデータ通信を行う。

画像提供部３０１は、投影対象の画像データを画像投影装置１２０に提供する手段である。画像提供部３０１は、記憶部３０２から投影対象の画像データを取得し、当該画像データを通信部３００に送信させる。

記憶部３０２は、情報処理装置１１０が処理する種々データが保存される記憶手段であり、ＲＯＭ２０１やＲＡＭ２０２、ＳＳＤ２０３によって構成される。記憶部３０２には、パターン画像１３０ａ，１３０ｂや撮影画像、任意の投影対象の画像などが保存される。

撮影部３０３は、撮影装置２０５を制御する手段である。撮影部３０３は、撮影装置２０５を制御して、被投影物に投影されているパターン画像を撮影し、パターン画像の撮影画像を生成する。

特徴点位置算出部３０４は、複数種類のパターン画像の撮影画像を使用して、撮影面上の特徴点の座標を算出する手段である。特徴点位置算出部３０４は、パターン画像の撮影画像の二値化処理やテンプレートマッチングによって、パターン画像に含まれる総ての特徴点を抽出し、これらの特徴点の２次元座標を算出する。

抽出精度算出部３０５は、特徴点位置算出部３０４によるパターン画像の特徴点の抽出精度を算出する手段である。抽出精度算出部３０５は、複数種類のパターン画像間の対応する特徴点間の距離や、テンプレートマッチングの評価値を使用して、特徴点の抽出精度を算出する。

特徴点平均位置算出部３０６は、複数種類のパターン画像を用いて、パターン画像の特徴点の抽出精度を考慮した特徴点の位置（以下、「特徴点の平均位置」とする。）を算出する手段である。特徴点平均位置算出部３０６は、複数種類のパターン画像間の対応する特徴点の座標を、これらの特徴点の抽出精度で加重平均して、撮影面上の特徴点の平均位置の座標を算出する。

三次元座標算出部３０７は、被投影物に投影されたパターン画像の特徴点の三次元座標を算出する手段である。三次元座標算出部３０７は、図５に示すように、撮影点の三次元座標、撮影面上の特徴点の平均位置の座標、投影点の三次元座標、投影面上の特徴点の座標を使用して、被投影物に投影された特徴点の三次元座標を算出することができる。

より詳細には、三次元座標算出部３０７は、特徴点平均位置算出部３０６が算出した撮影面上の特徴点の平均位置（撮影点）と、既知の撮影中心とを結ぶ直線を導出すると共に、投影面上の特徴点の位置（投影点）と、既知の投影中心とを結ぶ直線を導出する。そして、三次元座標算出部３０７は、これらの直線の交点である特徴点の三次元座標を算出する。

画像補正部３０８は、被投影物の三次元座標を用いて、投影対象の画像の歪みを補正する手段である。画像補正部３０８は、被投影物に投影されたパターン画像の特徴点の三次元座標から被投影物の投影面の三次元座標を推定し、周知の歪み補正技術を用いて投影対象の画像を補正する。

図４は、図３に示す実施形態の情報処理装置が実行する処理の一実施形態を示すフローチャートである。以下、図４を参照して、２種類のパターン画像を用いて特徴点の三次元座標を算出する処理について説明する。

図４に示す処理は、ステップＳ４００から開始し、ステップＳ４０１では、画像提供部３０１が、記憶部３０２から第１のパターン画像を取得し、通信部３００に第１のパターン画像を送信させる。ステップＳ４０２では、撮影部３０３が、被投影物に投影された第１のパターン画像を撮影して撮影画像を生成する。

ステップＳ４０３では、画像提供部３０１が、記憶部３０２から第２のパターン画像を取得し、通信部３００に第２のパターン画像を送信させる。ステップＳ４０４では、撮影部３０３が、被投影物に投影された第２のパターン画像を撮影して撮影画像を生成する。

ステップＳ４０５では、特徴点位置算出部３０４が、第１のパターン画像及び第２のパターン画像の撮影画像を使用して、第１のパターン画像及び第２のパターン画像の特徴点を抽出し、これらの特徴点の座標を算出する。

本実施形態では、特徴点位置算出部３０４は、図６に示すような第１のパターン画像１３０ａ及び第２のパターン画像１３０ｂの撮影画像を二値化し、当該撮影画像に含まれる総ての円を抽出し、特徴点である円重心の座標を算出する。

図６に示すパターン画像１３０ａ，１３０ｂに含まれる総ての特徴点は、正方格子状に配置されており、パターン画像１３０ａに含まれる特徴点である円重心の座標と、パターン画像１３０ｂに含まれる特徴点である円重心の座標とは一致する。

パターン画像１３０ａに含まれる円のサイズは、パターン画像１３０ｂに比べて大きいため、パターン画像１３０ａは、パターン画像１３０ｂに比べて、撮像条件（撮影角度やレンズ収差等）による幾何変形や環境光（照明の反射等）等の外乱に強い。一方、パターン画像１３０ｂに含まれる円のサイズは、パターン画像１３０ａに比べて小さいため、パターン画像１３０ｂは、パターン画像１３０ａに比べて円重心の座標の推定精度が高い。

ステップＳ４０６では、抽出精度算出部３０５が、第１のパターン画像の及び第２のパターン画像の特徴点の座標を使用して、特徴点の抽出精度を算出する。

本実施形態では、抽出精度算出部３０５は、第１のパターン画像１３０ａの撮影画像に含まれる特徴点の座標と、当該特徴点に対応する第２のパターン画像１３０ｂの撮影画像に含まれる特徴点の座標との距離ｄを算出し、数式１を使用して、外乱に対して脆弱な第２のパターン画像１３０ｂの特徴点の抽出精度ｐ_２を算出する。

他の実施形態では、抽出精度算出部３０５は、数式２を使用して第２のパターン画像１３０ｂの特徴点の抽出精度ｐ_２を算出してもよい。

このとき、抽出精度算出部３０５は、数式３を使用して第２のパターン画像の特徴点の抽出精度ｐ_２を二値化してもよい。

ここで、θは０以上１以下の値とする。

ステップＳ４０７では、特徴点平均位置算出部３０６が、特徴点の抽出精度を用いて、撮影面上の第１のパターン画像及び第２のパターン画像の特徴点の座標を、抽出精度ｐ_１，ｐ_２を用いて加重平均し、撮影面上の特徴点の平均位置の座標を算出する。

より詳細には、特徴点平均位置算出部３０６は、撮影面上の第１のパターン画像の特徴点ｆ_１の座標（ｘ_１，ｙ_１）と、第２のパターン画像の特徴点ｆ_２の座標（ｘ_２，ｙ_２）と、第１のパターン画像の特徴点の抽出精度ｐ_１と、第２のパターン画像の特徴点の抽出精度ｐ_２とを数式４に代入し、特徴点の平均位置の座標Ｆ（Ｘ，Ｙ）を算出する。

本実施形態では、第１のパターン画像１３０ａの特徴点の抽出精度ｐ_１は一定とする。

ステップＳ４０８では、三次元座標算出部３０７が、被投影物に投影された特徴点の三次元座標を算出し、ステップＳ４０９で処理が終了する。

上述した実施形態では、第１のパターン画像１３０ａ及び第２のパターン画像１３０ｂの撮影画像を二値化して特徴点を抽出し、特徴点の抽出精度を算出するが、他の実施形態では、テンプレートマッチングによって特徴点を抽出して抽出精度を算出することができる。

テンプレートマッチングを用いて特徴点を抽出する場合、抽出精度算出部３０５は、撮影画像に含まれるパターンと、当該パターンのテンプレートとの正規化相関（Normalized Cross Correlation；ＮＣＣ）、撮影画像に含まれるパターンとテンプレートとの差の絶対値の和（Sum of Absolute Difference；ＳＡＤ）、撮影画像に含まれるパターンとテンプレートとの差の二乗の和（Sum of Squared Difference；ＳＳＤ）等の評価値を用いて、特徴点の抽出精度を算出する。

評価値としてＮＣＣを使用する場合、抽出精度算出部３０５は、数式５に示す指数関数を用いて、第１のパターン画像の特徴点の抽出精度ｐ_１及び第２のパターン画像の特徴点の抽出精度ｐ_２を算出する。

この場合、ＮＣＣが大きいほど特徴点の抽出精度ｐ_１，ｐ_２が高くなる。

評価値としてＳＡＤを使用する場合、抽出精度算出部３０５は、数式６に示す指数関数を用いて、第１のパターン画像の特徴点の抽出精度ｐ_１及び第２のパターン画像の特徴点の抽出精度ｐ_２を算出する。

この場合、ＳＡＤが小さいほど特徴点の抽出精度ｐ_１，ｐ_２が高くなる。

評価値としてＳＳＤを使用する場合、抽出精度算出部３０５は、数式７に示す指数関数を用いて、第１のパターン画像の特徴点の抽出精度ｐ_１及び第２のパターン画像の特徴点の抽出精度ｐ_２を算出する。

この場合、ＳＳＤが小さいほど特徴点の抽出精度ｐ_１，ｐ_２が高くなる。

図７は、被投影物に投影するパターン画像の別の実施形態を示す図である。パターン画像７００は、図６に示すパターン画像１３０ｂの代わりに使用するパターン画像である。パターン画像７００の特徴点は、破線円で示すチェッカーパターンの各コーナーであり、パターン画像１３０ａの特徴点と同じ位置に配置される。特徴点位置算出部３０４は、ハリスのコーナー検出法やテンプレートマッチング等によってチェッカーパターンのコーナーを検出することができる。

チェッカーパターンのコーナーの検出精度は、パターン画像１３０ａの円の検出精度に比べて高い。また、上述したように、パターン画像１３０ａは、撮像条件による幾何変形や環境光の外乱に強い。したがって、パターン画像１３０ａ及びパターン画像７００を使用することにより、幾何変形や環境光の外乱に対して、ロバスト且つ高精度な三次元計測が可能となる。

パターン画像７０１，７０２は、図６に示すパターン画像１３０ｂの代わりに使用するパターン画像である。パターン画像７０１は、垂直方向に延在する複数の帯状パターンで構成される。パターン画像７０２は、水平方向に延在する複数の帯状パターンで構成される。

パターン画像７０１，７０２の特徴点は、パターン画像７０１，７０２の合成画像７０３の破線円で示すように、パターン画像７０１，７０２に含まれる複数の帯状パターンのエッジの交点である。これらの特徴点は、パターン画像１３０ａの特徴点と同じ位置に配置される。

特徴点位置算出部３０４は、パターン画像７０１，７０２の撮影画像を二値化し、帯状パターン及び背景画像との境界部分、すなわち、隣接する画素値が異なる部分をエッジとして検出することができる。また、特徴点位置算出部３０４は、テンプレートマッチングによって帯状パターンを抽出し、エッジを検出することができる。そして、特徴点位置算出部３０４は、パターン画像７０１のエッジの撮影面上の座標と、パターン画像７０２のエッジの撮影面上の座標とが一致する点、すなわち、交点の座標を特徴点の座標として算出する。

帯状パターンの交点の検出精度は、パターン画像１３０ａの円の検出精度に比べて高い。また、上述したように、パターン画像１３０ａは、撮像条件による幾何変形や環境光の外乱に強い。したがって、パターン画像１３０ａ及びパターン画像７０１，７０２を使用することにより、幾何変形や環境光の外乱に対して、ロバスト且つ高精度な三次元計測が可能となる。

図８は、被投影物に投影するパターン画像の他の実施形態を示す図である。パターン画像８００は、図６に示すパターン画像１３０ｂの代わりに使用するパターン画像である。パターン画像８００の特徴点は、環状円の重心であり、パターン画像１３０ａの特徴点と同じ位置に配置される。特徴点位置算出部３０４は、パターン画像８００の撮影画像を二値化し、黒画素で形成される環状円を抽出して重心を算出することができる。また、特徴点位置算出部３０４は、テンプレートマッチングによって環状円を特定し、環状円の重心を算出することができる。

図９は、図３に示す実施形態の情報処理装置が実行する処理の別の実施形態を示すフローチャートである。以下、図９を参照して、３種類のパターン画像を用いて特徴点の三次元座標を算出する処理について説明する。

図９に示す処理は、ステップＳ９００から開始し、ステップＳ９０１では、画像提供部３０１が、記憶部３０２から第１のパターン画像を取得し、通信部３００に第１のパターン画像を送信させる。ステップＳ９０２では、撮影部３０３が、被投影物に投影された第１のパターン画像を撮影して撮影画像を生成する。

ステップＳ９０３では、画像提供部３０１が、記憶部３０２から第２のパターン画像を取得し、通信部３００に第２のパターン画像を送信させる。ステップＳ９０４では、撮影部３０３が、被投影物に投影された第２のパターン画像を撮影して撮影画像を生成する。

ステップＳ９０５では、画像提供部３０１が、記憶部３０２から第３のパターン画像を取得し、通信部３００に第２のパターン画像を送信させる。ステップＳ９０６では、撮影部３０３が、被投影物に投影された第３のパターン画像を撮影して撮影画像を生成する。

ステップＳ９０７では、特徴点位置算出部３０４が、第１のパターン画像、第２のパターン画像及び第３のパターン画像の撮影画像に含まれる撮影面上の特徴点の座標を算出する。ステップＳ９０８では、抽出精度算出部３０５が、第１のパターン画像の撮影画像、第２のパターン画像及び第３のパターン画像の特徴点の座標を使用して、第１のパターン画像、第２のパターン画像及び第３のパターン画像の特徴点の抽出精度を算出する。

より詳細には、抽出精度算出部３０５は、第１のパターン画像の特徴点の座標と、当該特徴点に対応する第２のパターン画像の特徴点の座標との距離ｄ_１２を算出し、数式８を使用して、第２のパターン画像の特徴点の抽出精度ｐ_２を算出することができる。

また、抽出精度算出部３０５は、第１のパターン画像の特徴点の座標と、当該特徴点に対応する第３のパターン画像の特徴点の座標との距離ｄ_１３を算出し、数式９を使用して、第３のパターン画像の特徴点の抽出精度ｐ_３を算出することができる。

他の実施形態では、抽出精度算出部３０５は、数式１０を使用して第２のパターン画像の特徴点の抽出精度ｐ_２及び第３のパターン画像の特徴点の抽出精度ｐ_３を算出してもよい。

また、テンプレートマッチングを利用する実施形態では、抽出精度算出部３０５は、数式１１を使用して、第１のパターン画像の特徴点の抽出精度ｐ_１、第２のパターン画像の特徴点の抽出精度ｐ_２及び第３のパターン画像の特徴点の抽出精度ｐ_３を算出してもよい。

ステップＳ９０９では、特徴点平均位置算出部３０６が、第１のパターン画像の特徴点の座標、第２のパターン画像の特徴点の座標及び第３のパターン画像の特徴点の座標を、抽出精度ｐ_１，ｐ_２，ｐ_３を用いて加重平均し、撮影面上の特徴点の平均位置を算出する。

より詳細には、特徴点平均位置算出部３０６は、第１のパターン画像の特徴点ｆ_１の座標（ｘ_１，ｙ_１）、第２のパターン画像の特徴点ｆ_２の座標（ｘ_２，ｙ_２）及び第３のパターン画像の特徴点ｆ_３の座標（ｘ_３，ｙ_３）、第１のパターン画像の特徴点の抽出精度ｐ_１、第２のパターン画像の特徴点の抽出精度ｐ_２、及び第３のパターン画像の特徴点の抽出精度ｐ_３を数式１２に代入し、撮影面上の特徴点の平均位置の座標Ｆ（Ｘ，Ｙ）を算出する。

ステップＳ９１０では、三次元座標算出部３０７が、被投影物に投影された特徴点の三次元座標を算出し、ステップＳ９１１で処理が終了する。

上述した実施形態では、３種類のパターン画像を用いて特徴点の三次元座標を算出するが、他の実施形態では、任意の種類数のパターン画像を用いて特徴点の三次元座標を算出することができ、特徴点の三次元計測精度を一層向上させることができる。この場合、特徴点平均位置算出部３０６は、数式１３を用いて特徴点の座標を加重平均して、撮影面上の特徴点の平均位置を算出する。

ここで、Ｎはパターン画像の種類数を示す。

図１０は、情報処理装置１１０の機能構成の別の実施形態を示す図である。以下、図１０を参照して、情報処理装置１１０の機能構成の別の実施形態について、図３に示す機能構成との相違点を中心に説明する。

情報処理装置１１０は、通信部３００と、画像提供部３０１と、記憶部３０２と、撮影部３０３と、特徴点位置算出部３０４と、抽出精度算出部３０５と、特徴点平均位置算出部３０６と、三次元座標算出部３０７と、画像補正部３０８と、特徴点補間部１０００とを有する。

特徴点補間部１０００は、パターン画像の特徴点の座標及び抽出精度を補間する手段である。図１２は、特徴点補間部１０００による補間が必要なパターン画像の一実施形態を示す。図１２に示す実施形態では、パターン画像１２００，１２０１の特徴点である重心を規定する円の配置密度が異なる。このため、パターン画像１２００には、パターン画像１２０１の一群の特徴点１２０２〜１２０９に対応する特徴点が存在しない。この場合、特徴点補間部１０００は、パターン画像１２００の既存の特徴点の座標及び抽出精度を使用して、パターン画像１２０１の特徴点１２０２〜１２０９に対応する特徴点の座標及び抽出精度を算出し、不足している特徴点を補間する。

より詳細には、特徴点補間部１０００は、パターン画像１２００にローパスフィルタ（０．５，１．０，０．５）等を適用し、補間対象の特徴点に隣接する複数の特徴点の座標及び抽出精度の平均値を算出し、補間対象の特徴点の座標及び抽出精度とする。

例えば、補間対象の特徴点１２１０を補間する場合、特徴点補間部１０００は、隣接する特徴点１２１１，１２１２の座標及び抽出精度の平均値を算出し、補間対象の特徴点１２１０の座標及び抽出精度とする。

また、補間対象の特徴点１２１３を補間する場合、特徴点補間部１０００は、隣接する特徴点１２１２，１２１４の座標及び抽出精度の平均値、隣接する特徴点１２１１，１２１５の座標及び抽出精度の平均値、又は隣接する特徴点１２１１，１２１２，１２１４，１２１５の座標及び抽出精度の平均値を算出し、補間対象の特徴点１２１３の座標及び抽出精度とする。

図１２に示す実施形態では、パターン画像１２０１の特徴点の密度がパターン画像１２０１の特徴点の２倍であるが、特徴点補間部１０００が補間可能なパターン画像の密度は、これに限られるものではない。特徴点補間部１０００は、線形補間やバイキュービック補間等を利用して、任意の配置に対し、特徴点の抽出位置や精度を補間することができる。

図１１は、図１０に示す実施形態の情報処理装置が実行する処理を示すフローチャートである。以下、図１１を参照して、情報処理装置１１０が、パターン画像に含まれる特徴点の配置密度が異なる場合に、被投影物に投影された特徴点の三次元座標を算出する処理について、図４に示す処理との相違点を中心に説明する。なお、第１のパターン画像の特徴点の数が、第２のパターン画像の特徴点の数よりも少ないものとする。

図１１に示す処理は、ステップＳ１１００から開始し、ステップＳ１１０１では、画像提供部３０１が、記憶部３０２から第１のパターン画像を取得し、通信部３００に第１のパターン画像を送信させる。ステップＳ１１０２では、撮影部３０３が、被投影物に投影された第１のパターン画像を撮影して撮影画像を生成する。

ステップＳ１１０３では、画像提供部３０１が、記憶部３０２から第２のパターン画像を取得し、通信部３００に第２のパターン画像を送信させる。ステップＳ１１０４では、撮影部３０３が、被投影物に投影された第２のパターン画像を撮影して撮影画像を生成する。

ステップＳ１１０５では、特徴点位置算出部３０４が、第１のパターン画像及び第２のパターン画像の撮影画像を使用して、第１のパターン画像及び第２のパターン画像の特徴点の座標を算出する。

ステップＳ１１０６では、特徴点補間部１０００が、特徴点の補間が必要な第１のパターン画像の特徴点の座標を補間する。ステップＳ１１０７では、抽出精度算出部３０５が、第１のパターン画像の特徴点と第２のパターン画像の特徴点との差分を算出し、数式１又は数式２を用いて第２のパターン画像の特徴点の抽出精度を算出する。

ステップＳ１１０８では、特徴点平均位置算出部３０６が、数式４を用いて第１のパターン画像の特徴点の座標及び第２のパターン画像の特徴点の座標を、抽出精度ｐ_１，ｐ_２を用いて加重平均して、撮影面上の特徴点の平均位置の座標を算出する。ステップＳ１１０９では、三次元座標算出部３０７が、被投影物に投影された特徴点の三次元座標を算出し、ステップＳ１１１０で処理が終了する。

上述した実施形態では、低密度のパターン画像を計測点を揃えることなく、高密度な三次元計測が可能となる。なお、本実施形態では、第１のパターン画像の抽出精度ｐ_１を一定とするが、テンプレートマッチングを利用する実施形態では、テンプレートマッチングの評価値を数式５〜７に代入して、特徴点の抽出精度ｐ_１及びｐ_２を算出してもよい。

この場合、抽出精度算出部３０５は、特徴点の抽出精度ｐ_１及びｐ_２を算出した後、第１のパターン画像内の補間対象の特徴点の抽出精度ｐ_１を、隣接する複数の特徴点の抽出精度ｐ_１を用いて導出する。そして、特徴点平均位置算出部３０６が、補間された特徴点を含む第１のパターン画像の総ての特徴点の座標と、第２のパターン画像の特徴点の座標とを、抽出精度ｐ_１，ｐ_２を用いて加重平均し、撮影面上の特徴点の平均位置の座標を算出する。

図１３は、本発明の別の実施形態に係る画像投影装置のハードウェア構成を示す図である。画像投影装置１３００は、プロセッサ１３０１と、ＲＯＭ１３０２と、ＲＡＭ１３０３と、ＳＳＤ１３０４と、投影装置１３０５と、撮影装置１３０６とを備える。

プロセッサ１３０１は、本発明のプログラムを実行する演算装置である。ＲＯＭ１３０２は、ブートプログラムなどが保存される不揮発性メモリである。ＲＡＭ１３０３は、画像投影装置１３００が実行するプログラムの実行空間を提供する不揮発性メモリである。ＳＳＤ１３０４は、本発明のプログラムやパターン画像、任意の画像などの様々なデータが保存される不揮発性メモリである。

プロセッサ１３０１は、ＳＳＤ１３０４から本発明のプログラムを読み出し、種々のＯＳの管理下で、本発明のプログラムをＲＡＭ１３０３に展開して実行することにより、後述する機能を画像投影装置１３００で実現する。

投影装置１３０５は、光源やＤＭＤ、カラーホイール、レンズ等を含んで構成される投影装置である。投影装置１３０５は、投影対象の画像をスクリーン等の被投影物に投影する。

撮影装置１３０６は、ＣＣＤやＣＭＯＳ等の撮影素子を含んで構成される撮影装置である。撮影装置１３０６は、スクリーン等の被投影物を撮影素子で撮影して撮影画像を生成する。

図１４は、図１３に示す画像投影装置の機能構成を示す図である。以下、図１４を参照して、画像投影装置１３００の機能について、図３に示す実施形態との相違点を中心に説明する。

画像投影装置１３００は、投影部１４０１と、記憶部１４０２と、撮影部１４０３と、特徴点位置算出部１４０４と、抽出精度算出部１４０５と、特徴点平均位置算出部１４０６と、三次元座標算出部１４０７と、画像補正部１４０８とを有する。

投影部１４０１は、投影装置１３０５を制御して投影対象の画像データを投影する手段である。投影部１４０１は、記憶部１４０２から投影対象の画像データを取得し、当該画像データを被投影物に投影する。

図１５は、図１３及び図１４に示す実施形態の画像投影装置が実行する処理の一実施形態を示すフローチャートである。以下、図１５を参照して、画像投影装置１３００が、パターン画像を被投影物に投影して特徴点の三次元座標を算出する処理について説明する。

図１５に示す処理は、ステップＳ１５００から開始し、ステップＳ１５０１では、投影部１４０１が、記憶部１４０２から第１のパターン画像を取得して被投影物に投影する。ステップＳ１５０２では、撮影部１４０３が、被投影物に投影された第１のパターン画像を撮影して撮影画像を生成する。

ステップＳ１５０３では、投影部１４０１が、記憶部１４０２から第２のパターン画像を取得して被投影物に投影する。ステップＳ１５０４では、撮影部１４０３が、被投影物に投影された第２のパターン画像を撮影して撮影画像を生成する。

ステップＳ１５０５では、特徴点位置算出部１４０４が、第１のパターン画像及び第２のパターン画像の撮影画像を使用して、第１のパターン画像及び第２のパターン画像の特徴点の座標を算出する。ステップＳ１５０６では、抽出精度算出部１４０５が、第１のパターン画像及び第２のパターン画像の特徴点の座標を使用して、第２のパターン画像の特徴点の抽出精度を算出する。

ステップＳ１５０７では、特徴点平均位置算出部１４０６が、第１のパターン画像の特徴点の座標及び第２のパターン画像の特徴点の座標を、これらの特徴点の抽出精度を用いて加重平均し、撮影面上の特徴点の平均位置の座標を算出する。ステップＳ１５０８では、三次元座標算出部１４０７が、被投影物に投影された特徴点の三次元座標を算出し、ステップＳ１５０９で処理が終了する。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要件を変更又は削除し、他の構成要件を付加するなど、当業者が想到することができる範囲内で変更することができる。いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像投影システム、１１０…情報処理装置、１２０…画像投影装置、１３０ａ，１３０ｂ…パターン画像、１４０…スクリーン

特許第５２３３６１３号

Claims (11)

1. 情報処理装置が実行するプログラムであって、画像データを処理する情報処理装置に対し、
   被投影物に投影された複数種類のパターン画像の撮影画像を使用して、各パターン画像に含まれる特徴点の位置を算出するステップと、
   前記特徴点の位置の抽出精度を算出するステップと、
   前記複数種類のパターン画像間の対応する特徴点の位置を前記抽出精度で加重平均して、特徴点の平均位置を算出するステップと
   を実行させるプログラム。
2. 前記抽出精度を算出するステップは、前記対応する特徴点間の距離又はテンプレートマッチングの評価値を用いて抽出精度を算出するステップを含む、請求項１に記載のプログラム。
3. 前記プログラムは、前記情報処理装置に対し、
   同一のパターン画像内の隣接する特徴点の座標及び抽出精度を用いて、補間対象の特徴点の座標及び抽出精度を補間するステップをさらに実行させることを特徴とする、請求項１又は２に記載のプログラム。
4. 前記プログラムは、前記情報処理装置に対し、
   特徴点の平均位置を使用して、前記特徴点の三次元座標を算出するステップをさらに実行させることを特徴とする、請求項１〜３のいずれか１項に記載のプログラム。
5. 前記プログラムは、前記情報処理装置に対し、
   前記特徴点の三次元座標を使用して、投影対象の画像データの歪みを補正するステップをさらに実行させることを特徴とする、請求項１〜４のいずれか１項に記載のプログラム。
6. 複数種類のパターン画像を投影する投影装置と、前記パターン画像の特徴点を抽出する情報処理装置とを含む画像処理システムであって、
   前記情報処理装置は、
   前記投影装置が投影した複数種類のパターン画像の撮影画像を使用して、各パターン画像に含まれる特徴点の位置を算出する特徴点位置算出手段と、
   前記特徴点の位置の抽出精度を算出する抽出精度算出手段と、
   前記複数種類のパターン画像間の対応する特徴点の位置を前記抽出精度で加重平均して、特徴点の平均位置を算出する特徴点平均位置算出手段と
   を備える、画像処理システム。
7. 複数種類のパターン画像を投影する投影装置であって、
   被投影物に投影された複数種類のパターン画像の撮影画像を使用して、各パターン画像に含まれる特徴点の位置を算出する特徴点位置算出手段と、
   前記特徴点の位置の抽出精度を算出する抽出精度算出手段と、
   前記複数種類のパターン画像間の対応する特徴点の位置を前記抽出精度で加重平均して、特徴点の平均位置を算出する特徴点平均位置算出手段と
   を備える、投影装置。
8. 前記抽出精度算出手段は、前記対応する特徴点間の距離又はテンプレートマッチングの評価値を用いて抽出精度を算出することを特徴とする、請求項７に記載の投影装置。
9. 前記投影装置は、
   同一のパターン画像内の隣接する特徴点の座標及び抽出精度を用いて、補間対象の特徴点の座標及び抽出精度を補間する特徴点補間手段をさらに備えることを特徴とする、請求項７又は８に記載の投影装置。
10. 前記投影装置は、
    特徴点の平均位置を使用して、前記特徴点の三次元座標を算出する三次元算出手段をさらに備えることを特徴とする、請求項７〜９のいずれか１項に記載の投影装置。
11. 前記投影装置は、
    前記特徴点の三次元座標を使用して、投影対象の画像データの歪みを補正する画像補正手段をさらに備えることを特徴とする、請求項７〜１０のいずれか１項に記載の投影装置。