JP6070307B2 - パターン抽出装置、画像投影装置、パターン抽出方法およびプログラム - Google Patents

Description

本発明は、投影画像の歪み補正に関し、より詳細には、投影された画像パターンに含まれる特徴点を抽出するパターン抽出装置、画像投影装置、パターン抽出方法およびプログラムに関する。

従来、プロジェクタ等の投影装置からスクリーンに画像を投影する場合、投影装置とスクリーンの相対的な位置関係によって投影画像が台形に歪む台形歪みが生じることがある。また、スクリーン面の局所的な凹凸や捻じれによって、投影画像に非線形の歪みが生じることがある。

このような歪みを補正するために、特定の図形配列で形成される画像パターンを投影したスクリーンをデジタルカメラなどで撮影し、実際に撮影画像で抽出した特徴点の位置と、当該特徴点の理想的な位置とのずれから歪みの程度を算出し、歪みを解消するように画像を補正する技術が存在する。

このような従来技術の一例として、特許文献１は、等間隔に配列された特徴点パターンをスクリーンに投影して撮影し、撮影画像に含まれる特徴点の座標を使用して投影による歪み量を算出し、歪み量に応じて投影画像を補正する画像補正装置を開示する。

しかしながら、特許文献１が開示する画像補正装置では、スクリーンに投影された特徴点パターンを撮影する際に、適切な環境や条件が整っていない場合には、撮影画像の画質が劣化してしまい、撮影画像内に存在すべき特徴点を総て検出することができない。例えば、図１に示すように、画質が劣化した撮影画像では、グリッドが交差する格子点に存在すべき特徴点が欠損することがあるため、特徴点が欠損した箇所では歪み量を算出することができず、画像補正を適切に行うことができないという問題があった。

本発明は、上記従来技術の問題に鑑みてなされたものであり、画像パターンの特徴点が欠損している場合であっても、欠損した特徴点を補間して総ての特徴点を抽出することができるパターン抽出装置、画像投影装置、パターン抽出方法およびプログラムを提供することを目的とするものである。

上記課題を解決するために、本発明のパターン抽出装置は、投影された画像パターンの撮影画像から補間対象の特徴点を抽出し、補間対象の特徴点の近傍の特徴点を使用して当該補間対象の特徴点を補間する。

本発明は、上記構成を採用することにより、画像パターンの特徴点が欠損している場合であっても、欠損した特徴点を補間して総ての特徴点を抽出することができる。

従来技術の問題点であるノード欠損を示す図。 本発明のパターン抽出装置の構成の一実施形態を示す図。 校正用パターンの一実施形態を示す図。 本発明のパターン抽出装置が実行する処理の一実施形態を示すフローチャート。 本発明が採用するステータス値の一実施形態を示す図。 本発明が採用する外挿補間を示す概念図。 本発明の補間処理の一実施形態を示す概念図。 本発明が採用するステータス値の別の実施形態を示す図。 図８を参照して説明した実施形態の補間処理を示す概念図。 本発明のパターン抽出装置が実行する処理の別の実施形態を示すフローチャート。 図１０を参照して説明した実施形態の補間処理を示す概念図。 本発明のプログラムを実行する情報処理装置を示す図。 本発明の補間処理の別の実施形態を示す概念図。 図１３に示す実施形態に係る補間処理を示すフローチャート。 複数の撮影画像を用いて校正用パターンの特徴点を補間する処理の一実施形態を示す概念図。 複数の補間画像を用いて校正用パターンの特徴点を補間する別の実施形態を示す概念図。 基準特徴点の近傍とみなし得る距離に上限を設けて近傍の特徴点を特定する方法を示す図。

以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図２は、本発明のパターン抽出装置の構成の一実施形態を示す図である。

パターン抽出装置２００は、スクリーン等に投影された校正用パターンの撮影画像に含まれる特徴点を補間して抽出する装置である。本実施形態では、パターン抽出装置２００をＡＳＩＣ等の半導体装置として実装することができ、プロジェクタ等の画像投影装置に組み込むことが可能である。

パターン抽出装置２００は、撮影画像に含まれる特徴点の座標を使用して、撮影画像内の欠損した特徴点を補間し、総ての特徴点を抽出する。パターン抽出装置２００は、補間制御部２０１と、補間対象抽出部２０２と、補間部２０３と、ステータス更新部２０４と、記憶手段２０５とを含んで構成される。パターン抽出装置２００が備える機能手段は、半導体集積回路を用いて実現することができる。

補間制御部２０１は、補間対象抽出部２０２、補間部２０３、ステータス更新部２０４および記憶手段２０５を制御して、撮影画像内の欠損した校正用パターンの特徴点を補間して総ての特徴点を抽出する機能手段である。

補間対象抽出部２０２は、補間処理の対象となる特徴点を抽出する機能手段である。補間部２０３は、補間処理の対象である特徴点の座標を補間する機能手段である。ステータス更新部２０４は、ステータスバッファ２０７に保存される校正用パターンの特徴点の状態を示すステータス情報を更新する機能手段である。

記憶手段２０５は、座標データバッファ２０６と、ステータスバッファ２０７とを含んで構成される。座標データバッファ２０６には、撮影画像から得られる校正用パターンの特徴点の座標情報である座標が保存される。ステータスバッファ２０７には、撮影画像から得られる校正用パターンの特徴点のステータス情報が保存される。なお、本明細書におけるパターンとは、座標の元になった図形・画像を最初に抽出できれば（すなわち、観測データ（撮影画像）の特徴点と比較対照できる元の特徴点の正しい座標が事前にわかっている場合は）、本実施形態で説明した円パターン以外のパターン、例えば、四角・人物・山などの自然物の画像等であってもパターンとして利用することができる。

図３は、校正用パターンの一実施形態を示す図である。校正用パターン３００は、投影画像の歪みを校正するために、プロジェクタからスクリーンに投影すべき画像パターンである。校正用パターン３００には、黒色の円がグリッド上にＭ列×Ｎ行で等間隔に配置されている。

校正用パターン３０２は、プロジェクタが校正用パターン３００をスクリーンに投影した画像パターンである。校正用パターン３０２は、校正用パターン３００が台形に変形し、黒色の円の位置が不規則にずれている。

デジタルカメラ等の撮影装置で校正用パターン３０２を撮影し、その撮影画像から特徴点である黒色の円を抽出することにより、特徴点の座標が得られる。なお、以下の説明では、グリッドの第ｉ列、第ｊ行（０≦ｉ≦Ｍ−１、０≦ｊ≦Ｎ−１）の格子点に対応する撮影画像の特徴点の座標を（ｘ［ｉ，ｊ］，ｙ［ｉ，ｊ］）、当該特徴点のステータス情報であるステータス値をＳ［ｉ，ｊ］で表現する。

図４は、本発明のパターン抽出装置が実行する処理の一実施形態を示すフローチャートである。図４の処理は、ステップＳ４００から開始し、ステップＳ４０１で補間制御部２０１が、記憶手段２０５の座標データバッファ２０６およびステータスバッファ２０７に保存されている特徴点の座標およびステータス値を初期化する。

具体的には、補間制御部２０１は、撮影画像に含まれる校正用パターンの特徴点の座標と、校正用パターンの既知の特徴点の座標とを比較して、既知の特徴点に対応する特徴点が撮影画像内に存在するか否か判断する。そして、補間制御部２０１は、数式１に示すように、対応する特徴点が存在する場合と、対応する特徴点が存在しない場合とを区別して、特徴点の座標およびステータス値を初期化する。

対応する特徴点が存在する場合、すなわち、撮影画像の特徴点が存在する場合には、撮影画像の特徴点の座標を、対応する特徴点の既知の座標にする。一方、対応する特徴点が存在しない場合、すなわち、撮影画像の特徴点が欠損した場合には、撮影画像の特徴点の座標を（０，０）にする。

本実施形態のステータス値は、図５に示す値を取り得る。ステータス値「０」は、特徴点が補間されておらず未確定であることを示す。ステータス値「１」は、初期状態から特徴点が存在し確定していることを示す。ステータス値「２」は、特徴点が補間されたことを示す。

ステップＳ４０２では、補間対象抽出部２０２が、ステータスバッファ２０７を参照し、未確定の特徴点（すなわち、Ｓ［ｉ，ｊ］＝０である特徴点）を抽出する。ステップＳ４０３では、補間部２０３が、ステップＳ４０２で抽出した未確定の特徴点の座標を算出する。

本実施形態では、図６に示すように、補間対象である１の特徴点（Ｐ０）について、当該特徴点の近傍の８つの特徴点（Ｐ１〜Ｐ８）をグループ化し、各グループの外挿補間座標を算出する。そして、当該外挿補間の有意性を考慮し、外挿補間座標から補間対象の特徴点（Ｐ０）の座標を導出することにより、未確定の特徴点を補間する。

より詳細には、補間部２０３は、数式２に示すように、特徴点Ｐ１、Ｐ２およびＰ４で構成されるグループａの外挿補間座標（ｘａ，ｙａ）と、特徴点Ｐ２、Ｐ３およびＰ５で構成されるグループｂの外挿補間座標（ｘｂ，ｙｂ）と、特徴点Ｐ４、Ｐ６およびＰ７で構成されるグループｃの外挿補間座標（ｘｃ，ｙｃ）と、特徴点Ｐ５、Ｐ７およびＰ８で構成されるグループｄの外挿補間座標（ｘｄ，ｙｄ）と、外挿補間の有意性を示す情報であるフラグＦａ，Ｆｂ，Ｆｃ，Ｆｄとを算出する。

ここで、（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４），（ｘ５，ｙ５），（ｘ６，ｙ６），（ｘ７，ｙ７），（ｘ８，ｙ８）は、特徴点Ｐ１〜Ｐ８の座標である。補間対象の特徴点の近傍に特徴点が存在し、これらの特徴点のステータスが未確定でない場合、すなわち、外挿補間が有意である場合には、フラグＦａ，Ｆｂ，Ｆｃ，Ｆｄに「１」が設定される。一方、補間対象の特徴点の近傍に特徴点が存在しない場合、例えば、補間対象の特徴点がグリッドの最上段や最下段等の撮影画像の端部に位置する場合には、フラグＦａ，Ｆｂ，Ｆｃ，Ｆｄに「０」が設定される。

そして、補間部２０３は、数式３を用いて、補間対象の特徴点（Ｐ０）の補間座標を導出することができる。

なお、総ての外挿補間が有意でない場合（すなわち、Ｆａ＝Ｆｂ＝Ｆｃ＝Ｆｄ＝０）には、補間対象の特徴点（Ｐ０）の補間座標は算出しないものとする。

次に、ステップＳ４０４では、ステータス更新部２０４が、直前のステップＳ４０３で補間した特徴点のステータス値を、特徴点が補間されたことを示す値に変更する（Ｓ［ｉ，ｊ］＝２）。

ステップＳ４０５では、補間制御部２０１が、ステータスバッファ２０７に保存された特徴点のステータス値を参照し、未確定の特徴点が存在するか否か判断する。未確定の特徴点が存在する場合には（ｙｅｓ）、処理をステップＳ４０２に戻し、未確定の特徴点が存在しなくなるまで、ステップＳ４０２〜ステップＳ４０５の処理を反復して実行する。

一方、未確定の特徴点が存在しない場合には（ｎｏ）、処理がステップＳ４０６に分岐する。ステップＳ４０６では、補間制御部２０１は、数式４を使用して、補間処理の確信度Ｃを算出し、ステップＳ４０７で処理が終了する。

ここで、Ｃ，Ｄは変数であり、ＭＡＸ｛｝は、｛｝内の数値のうち最大のものを出力する関数を示す。

例えば、補間された特徴点の割合が全体の１％であれば、確信度Ｃは９０％となり、補間された特徴点の割合が全体の２％であれば、確信度Ｃは８０％となる。確信度Ｃおよび特徴点の座標は、パターン抽出結果として外部装置に出力することができる。

図７は、上述した実施形態の補間処理を示す概念図である。図７に示す実施形態では、初期状態で３つの未確定の特徴点７００,７０１,７０２が存在する。このうち特徴点７０１,７０２は、近傍の特徴点による外挿補間が可能であるため、１回目の補間処理では、特徴点７０１,７０２が補間される。補間後の特徴点７１１,７１２のステータスは、特徴点が補間されたことを示すステータスとなる（Ｓ［ｉ，ｊ］＝２）。

１回目の補間処理で特徴点７１１の座標が算出されたことにより、未確定の特徴点７００に対する補間が可能となる。そして、２回目の補間処理により、未確定の特徴点７００が補間され、補間後の特徴点７２０のステータスは、特徴点が補間されたことを示すステータスとなる（Ｓ［ｉ，ｊ］＝２）。図７に示す実施形態では、２回目の補間処理によって未確定の特徴点が無くなるため、補間処理が終了する。

上述したように、撮影画像の質の劣化により、校正用パターンの特徴点が欠損した場合であっても、欠損した特徴点の座標を算出することができ、総ての特徴点を完全に抽出することができる。これにより、投影画像に表された校正用パターンと、投影対象のオリジナルの校正用パターンとの歪み量を精緻に算出することができ、画像補正の質を向上させることができる。

また、本実施形態では、特徴点の座標と共に、補間の確信度が得られるため、補間の確信度の高低に応じて、補間の信頼性や精度についてユーザに注意喚起することができ、ユーザビリティを一層向上させることができる。さらに、補間の確信度の高低に応じて、別の画像処理アルゴリズムを用いて特徴点を抽出することができる。

図８は、本発明のパターン抽出装置が採用するステータス値の別の実施形態を示す図である。以下、図８および図９を参照して、当該ステータス値を使用する実施形態について、図２〜図７に示す実施形態との相違点を中心に説明する。

図８に示す実施形態では、ステータス値は「０」〜「３」の値を取り得る。ステータス値「０」は、特徴点が補間されておらず未確定であることを示す。ステータス値「１」は、初期状態から特徴点が存在し確定していることを示す。ステータス値「２」は、ステータス値が「１」の特徴点を用いて特徴点が補間されたことを示す（補間Ａ）。ステータス値「３」は、補間された特徴点を用いて特徴点が補間されたことを示す（補間Ｂ）。

本実施形態では、図４に示すステップＳ４０３の処理において、補間部２０３が、未確定の特徴点の座標を算出する際に、ステータスバッファ２０７に保存されている外挿補間で使用した特徴点のステータス値を参照し、当該特徴点の中に既に補間された特徴点が含まれるか否か判断し、その判断結果を補間対象の特徴点と関連付けて保持する。

そして、続くステップＳ４０４に示すステータス値の更新処理において、ステータス更新部２０４が、補間部２０３が保持する上記判断結果を使用して、外挿補間で使用した近傍の特徴点の中に既に補間された特徴点が含まれるか否か判断する。

外挿補間で使用した近傍の特徴点の中に既に補間された特徴点が含まれない場合には、ステータス更新部２０４は、直前のステップＳ４０３の処理で補間した特徴点のステータス値を、「補間Ａ」を示す値に変更する（Ｓ［ｉ，ｊ］＝２）。一方、外挿補間で使用した近傍の特徴点の中に既に補間された特徴点が含まれる場合には、ステータス更新部２０４は、直前のステップＳ４０３の処理で補間した特徴点のステータス値を、「補間Ｂ」を示す値に変更する（Ｓ［ｉ，ｊ］＝３）。

続くステップＳ４０６に示す確信度の算出処理では、補間制御部２０１は、数式５を使用して、補間処理の確信度Ｃを算出する。

ここで、Ｃ，ＤＡ，ＤＢは変数であり、ＭＡＸ｛｝は、｛｝内の数値のうち最大のものを出力する関数を示す。

例えば、ステータスが「補間Ａ」である特徴点が全体の１％であれば、確信度Ｃは９０％となり、ステータスが「補間Ｂ」である特徴点が全体の１％であれば、確信度Ｃは８０％となる。すなわち、ステータスが「補間Ｂ」である特徴点は、補間された特徴点を利用して補間処理が行われるため、ステータスが「補間Ａ」である特徴点よりも確信度が低くなる。このように、本実施形態では、特徴点を補間した場合に、その補間に利用された特徴点のステータスに応じて、補間処理の信頼性および精度を評価することができる。

図９は、図８を参照して説明した実施形態の補間処理を示す概念図である。図９に示す実施形態では、初期状態で３つの未確定の特徴点９００,９０１,９０２が存在する。このうち特徴点９０１,９０２は、近傍の特徴点によって外挿補間が可能であるため、１回目の補間処理により、特徴点９０１,９０２が補間される。１回目の補間処理では、補間された特徴点、すなわち、ステータスが「補間Ａ」または「補間Ｂ」である特徴点を利用しないため、補間後の特徴点９１１,９１２のステータスは「補間Ａ」となる（Ｓ［ｉ，ｊ］＝２）。

１回目の補間処理で特徴点９１１の座標が算出されたことにより、未確定の特徴点９００に対する補間が可能となるため、２回目の補間処理により、未確定の特徴点９００が補間される。２回目の補間処理では、１回目の補間処理で補間された特徴点９１１を利用するため、補間後の特徴点９２０のステータスは「補間Ｂ」となる（Ｓ［ｉ，ｊ］＝３）。図９に示す実施形態では、２回目の補間処理によって未確定の特徴点が無くなるため、補間処理が終了する。

図１０は、本発明のパターン抽出装置が実行する処理の別の実施形態を示すフローチャートである。以下、図１０および図１１を参照して、図８に示すステータス値を使用する別の実施形態について、図８および図９に示す実施形態との相違点を中心に説明する。

図１０の処理は、ステップＳ１０００から開始し、ステップＳ１００１で補間制御部２０１が、数式１を用いて、記憶手段２０５の座標データバッファ２０６およびステータスバッファ２０７に保存されている特徴点の座標およびステータス値を初期化する。

ステップＳ１００２では、補間対象抽出部２０２が、ステータスバッファ２０７を参照し、未確定の特徴点（すなわち、Ｓ［ｉ，ｊ］＝０である特徴点）およびステータスが「補間Ｂ」の特徴点（すなわち、Ｓ［ｉ，ｊ］＝３である特徴点）を抽出する。ステップＳ１００３では、補間部２０３が、図４に示すステップＳ４０３と同様に、ステップＳ１００２で抽出した未確定の特徴点およびステータスが「補間Ｂ」の特徴点の座標を算出する。

ステップＳ１００３においてステータスが「補間Ｂ」である特徴点を算出する場合、補間部２０３は、数式６を用いて、先行する補間処理によって算出された「補間Ｂ」の特徴点の座標（ｘｐ，ｙｐ）と、今回の補間処理によって算出された「補間Ｂ」の特徴点の座標（ｘ，ｙ）との差分ＤＰを算出する。

ここで、ＳＱＲＴ｛｝は平方根を示し、＾は、べき乗を示す。

また、ステップＳ１００３の処理では、図８に示す実施形態と同様に、補間部２０３が、特徴点の座標を算出する際に、ステータスバッファ２０７に保存されている外挿補間で使用した特徴点のステータス値を参照し、当該特徴点の中に既に補間された特徴点が含まれるか否か判断し、その判断結果を補間対象の特徴点と関連付けて保持する。

そして、続くステップＳ１００４に示すステータス値の更新処理において、ステータス更新部２０４が、補間部２０３が保持する上記判断結果を使用して、外挿補間で使用した近傍の特徴点の中に既に補間された特徴点が含まれるか否か判断する。外挿補間で使用した近傍の特徴点の中に既に補間された特徴点が含まれない場合には、ステータス更新部２０４は、直前のステップＳ１００３の処理で補間した特徴点のステータス値を、「補間Ａ」を示す値に変更する（Ｓ［ｉ，ｊ］＝２）。

一方、外挿補間で使用した近傍の特徴点の中に既に補間された特徴点が含まれる場合には、ステータス更新部２０４は、差分ＤＰが所定の閾値ＤＴ以下であるか否か判断する。閾値ＤＴは、確定している特徴点を用いた補間と同程度の確信度を与える値とすることが好適である。

差分ＤＰが所定の閾値ＤＴ以下であるときには、ステータス更新部２０４は、直前のステップＳ１００３の処理で補間した特徴点のステータス値を、「補間Ａ」を示す値に変更する（Ｓ［ｉ，ｊ］＝２）。一方、差分ＤＰが所定の閾値ＤＴよりも大きいときには、ステータス更新部２０４は、直前のステップＳ１００３の処理で補間した特徴点のステータス値を、「補間Ｂ」を示す値に変更する（Ｓ［ｉ，ｊ］＝３）。

ステップＳ１００５では、補間制御部２０１は、数式５を使用して、補間処理の確信度Ｃを算出する。本実施形態では、外挿補間に使用された近傍の特徴点の中に補間された特徴点が含まれる場合であっても、先行する補間処理によって得られた座標と、今回の補間処理によって得られた座標が近似するならば、安定収束とみなし、高い確信度を与える。

ステップＳ１００６では、補間制御部２０１は、確信度Ｃが閾値Ｔ以上であるか、または確信度Ｃが先行する補間処理の確信度Ｃｐと同一であるか否か判断する。閾値Ｔは、所望される補間の信頼度や精度に応じて、自由に設定することができる。また、確信度Ｃｐの初期値は、確信度として取り得ない値（例えば、９９９）とする。

確信度Ｃが閾値Ｔよりも小さい、かつ確信度Ｃが確信度Ｃｐと異なる場合には（ｎｏ）、処理がステップＳ１００７に分岐する。ステップＳ１００７では、補間制御部２０１は、ステップＳ１００５で得た確信度Ｃの値を確信度Ｃｐに設定し、ステップＳ１００２に処理を戻す。一方、確信度Ｃが閾値Ｔ以上であるか、または確信度Ｃが先行する補間処理による確信度Ｃｐと同一である場合には（ｙｅｓ）、ステップＳ１００８で処理が終了する。

本実施形態では、確信度Ｃが一定の確信度以上になった場合、または、確信度Ｃが一定の確信度に収束する場合に補間処理が終了するが、他の実施形態では、確信度Ｃが、ユーザが指定する確信度に達した時点で補間処理を終了してもよい。

図１１は、図１０を参照して説明した実施形態の補間処理を示す概念図である。図１１に示す実施形態では、初期状態で６つの未確定の特徴点１１００〜１１０５が存在する。このうち特徴点１１００,１１０２，１１０３，１１０５は、近傍の特徴点によって外挿補間が可能であるため、これらの特徴点１１００，１１０２，１１０３，１１０５に対して補間が行われる。この補間処理では、補間された特徴点を利用していないため、補間後の特徴点１１１０，１１１２，１１１３，１１１５のステータスは「補間Ａ」となる（Ｓ［ｉ，ｊ］＝２）。

１回目の補間処理で特徴点１１１０，１１１２，１１１３，１１１５の座標が算出されたことにより、未確定の特徴点１１０１，１１０４に対する外挿補間が可能となるため、２回目の補間処理により、未確定の特徴点１１０１，１１０４が補間される。２回目の補間処理では、１回目の補間処理で補間した特徴点を利用するため、補間後の特徴点１１２１，１１２４のステータスは「補間Ｂ」となる（Ｓ［ｉ，ｊ］＝３）。

次に、特徴点１１２１，１１２４のステータスが「補間Ｂ」であるため、特徴点１１２１，１１２４に対して、再度補間が行われる。特徴点１１２１に対する補間では、補間された近傍の特徴点を利用するものの、本実施形態では当該補間による差分ＤＰが閾値ＤＴ以下であるため、補間後の特徴点１１３１のステータスは「補間Ａ」となる（Ｓ［ｉ，ｊ］＝２）。一方、特徴点１１２４に対する補間では、本実施形態では当該補間による差分ＤＰが閾値ＤＴよりも大きいため、補間後の特徴点１１３４のステータスは「補間Ｂ」のままである。

次に、特徴点１１３４のステータスが「補間Ｂ」であるため、特徴点１１３４に対して、再度補間が行われる。この補間処理では、補間された近傍の特徴点を利用するものの、本実施形態では当該補間による差分ＤＰが閾値ＤＴ以下であるため、補間後の特徴点１１４４のステータスは「補間Ａ」となる（Ｓ［ｉ，ｊ］＝２）。

図１０および図１１に示す実施形態では、未確定の特徴点のみならず、ステータスが「補間Ｂ」の特徴点、すなわち、補間の確信度の低い特徴点に対しても補間処理を反復して適用するため、補間結果の信頼性を向上させることができる。

図１２は、パターン抽出装置の一実施形態である情報処理装置を示す図である。情報処理装置１２００は、デスクトップ型ＰＣやタブレット型ＰＣ、ノート型ＰＣ等の種々のコンピュータであり、プロセッサ１２０１と、ＲＯＭ１２０２と、ＲＡＭ１２０３と、ハードディスク装置（ＨＤＤ）１２０４と、外部機器接続インタフェース１２０５と、ネットワークインタフェース１２０６とを含んで構成される。

プロセッサ１２０１は、情報処理装置１２００が実行する処理を演算する装置であり、ＣＰＵやＭＰＵなどの種々のプロセッサを採用することができる。ＲＯＭ１２０２は、ＢＩＯＳ等のブートプログラムなどが保存される不揮発性メモリである。

ＲＡＭ１２０３は、プログラムの実行空間を提供する不揮発性メモリである。情報処理装置１２００は、ＷＩＮＤＯＷＳ（登録商標）シリーズ、Ｍａｃ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのオペレーティングシステム（ＯＳ）の管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪＡＶＡ ＳＣＲＩＰＴ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを展開して実行することにより、上述した各機能手段を情報処理装置１２００上に実現する。

ハードディスク装置１２０４は、大容量の不揮発性メモリであり、本発明のプログラムなどの様々なデータが保存される。本発明のプログラムは、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納してインストールすることができると共に、ネットワークを介してインストールすることができる。ハードディスク装置１２０４には、校正用パターンの撮影画像に含まれる特徴点の座標データを保存することができる。

ネットワークインタフェース１２０６は、外部ネットワークと接続するインタフェースであり、ＬＡＮケーブルコネクタやモジュラーケーブルコネクタ等の物理インタフェースである。パターン抽出結果は、ネットワークインタフェース１２０６を介して外部の装置に送信することができる。

外部機器接続インタフェース１２０５は、マウスやキーボード等の入力装置や表示装置、印刷装置、撮影装置などの接続するためのインタフェースであり、ＵＳＢポート等の物理インタフェースである。撮影画像に含まれる校正用パターンの特徴点の座標データは、外部機器接続インタフェース１２０５を介して接続されたデジタルカメラ等の撮影装置から取得することができる。パターン抽出結果は、外部機器接続インタフェース１２０５を介して表示装置や印刷装置に出力することができる。

図１３は、本発明の補間処理の別の実施形態を示す概念図である。図１３に示す実施形態では、グリッドの交差点上に配列されていない校正用パターン１３００を使用する。

校正用パターン１３００は、プロジェクタ等の投影装置によって投影すべき画像パターンである。校正用パターン１３１０は、投影装置によって校正用パターン１３００を投影した画像パターンである。校正用パターン１３１０では、投影によって特徴点である黒色の円の位置が不規則にずれていると共に、１の特徴点が欠損している。

本実施形態では、パターン抽出装置２００は、欠損した特徴点１３１１に対応する校正用パターン１３００の特徴点１３２１（以下、「基準特徴点」とする。）を特定し、基準特徴点１３２１の近傍の特徴点１３２２，１３２３，１３２４を特定する。そして、パターン抽出装置２００は、基準特徴点１３２１の座標と、基準特徴点の近傍の特徴点１３２２，１３２３，１３２４の座標と、欠損した特徴点１３１１の近傍の特徴点１３３２，１３３３，１３３４の座標とを使用して、欠損した特徴点１３１１の座標を算出することにより、欠損した特徴点１３１１の座標を算出する。

図１４は、図１３を参照して説明した補間処理を示すフローチャートである。図１４の処理は、ステップＳ１４００から開始し、ステップＳ１４０１で補間制御部２０１または補間対象抽出部２０２が、投影対象の校正用パターン画像に含まれる特徴点と、投影された校正用パターン画像に含まれる特徴点とを照合し、対応付けできない特徴点、すなわち、基準特徴点を特定する。

ステップＳ１４０２では、補間部２０３が、基準特徴点の近傍の複数の特徴点を特定する。本実施形態では、補間部２０３は、基準特徴点の座標と、オリジナル校正用パターン画像に含まれる特徴点の座標とを用いて、当該特徴点と基準特徴点のユークリッド距離を算出することにより、近傍の複数の特徴点を特定することができる。

ステップＳ１４０３では、補間部２０３は、基準特徴点の座標と、基準特徴点の近傍の特徴点の座標と、欠損した特徴点の近傍の特徴点の座標とを使用して、欠損した特徴点の座標を算出する。

具体的には、補間部２０３は、基準特徴点の近傍の特徴点の座標（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ）と、欠損した特徴点の近傍の特徴点の座標（Ｘａ，Ｙａ），（Ｘｂ，Ｙｂ），（Ｘｃ，Ｙｃ）とを数式７に代入して、アフィン変換係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを算出する。そして、補間部２０３は、導出されたアフィン変換係数を数式７に適用し、基準特徴点の座標（ｘｄ，ｙｄ）を代入することにより、欠損した特徴点の座標（Ｘｄ，Ｙｄ）を算出することができる。

ステップＳ１４０４では、補間制御部２０１は、ステップＳ１４０１の照合結果を使用して、他に欠損した特徴点が存在するか否か判断する。欠損した特徴点が存在する場合には（ｙｅｓ）、処理をステップＳ１４０１に戻し、他の欠損した特徴点の座標を算出する。一方、欠損した特徴点が存在しない場合には（ｎｏ）、ステップＳ１４０５で処理が終了する。

本実施形態では、基準特徴点に近い上位の特徴点を近傍の特徴点として採用するが、他の実施形態では、任意の順位の特徴点、例えば、１位、２位および４位の特徴点を近傍の特徴点として採用してもよい。また、本実施形態では、近傍の３つの特徴点を用いて、欠損した特徴点を補間するが、他の実施形態では、近傍の４つ以上の特徴点を用いて、欠損した特徴点を補間してもよい。

さらに、本実施形態では、基準特徴点の近傍の特徴点を特定する場合、基準特徴点の近傍とみなし得る距離に上限を設けずに近傍の特徴点を特定するが、他の実施形態では、基準特徴点の近傍とみなし得る距離に上限を設けて近傍の特徴点を特定してもよい。

図１７は、基準特徴点の近傍とみなし得る距離に上限を設けて近傍の特徴点を特定する方法を示す図である。以下、図１７を参照して、基準特徴点の近傍とみなし得る距離に上限を設けて近傍の特徴点を特定し、欠損した特徴点を補間する方法について説明する。

図１７に示す実際に投影された校正用パターン１７００では、３つの特徴点が欠損している。補間部２０３は、図１４を参照して説明したように、欠損した特徴点に対応する基準特徴点を特定する。本実施形態では、初めに基準特徴点１７０１を特定した場合を想定する。

そして、補間部２０３は、基準特徴点１７０１を中心とする所定の距離１７０２の範囲内に、欠損していない特徴点が所定数存在するか否か判断する。本実施形態では、任意のユークリッド距離を所定の距離とすることができる。

図１７に示すように、基準特徴点１７０１を中心とする所定の距離１７０２の範囲内には、欠損していない特徴点が１つしか存在しない。このため、補間部２０３は、この段階では、基準特徴点１７０１に対応する欠損した特徴点の補間を行わずに、他の欠損した特徴点の補間処理を実行する。

次に、補間部２０３は、他の欠損した特徴点に対応する基準特徴点１７０３を特定する。図１７に示すように、基準特徴点１７０３を中心とする所定の距離１７０４の範囲内には、欠損していない特徴点１７０５，１７０６，１７０７が存在するため、補間部２０３は、これらの特徴点の座標および基準特徴点１７０３の座標を使用して、基準特徴点１７０３に対応する欠損した特徴点を補間する。同様に、補間部２０３は、欠損していない特徴点１７０７，１７０９，１７１０を使用して、基準特徴点１７０８に対応する欠損した特徴点を補間する。

そして、補間部２０３は、基準特徴点１７０１を中心とする所定の距離１７０２の範囲内に存在する特徴点１７１０と、補間された特徴点１７２０，１７２１とを使用して、基準特徴点１７０１に対応する欠損した特徴点を補間する。この結果、図１７に示す実施形態では、補間された特徴点１７２０，１７２１のステータス情報は「補間Ａ」を示し、補間された特徴点１７２２のステータス情報は「補間Ｂ」を示す。

図１５は、複数の撮影画像を用いて校正用パターンの特徴点を補間する処理の一実施形態を示す概念図である。以下、図１５を参照して、２つの撮影画像を用いて校正用パターンの特徴点を補間する処理について説明する。なお、他の実施形態では、３つ以上の撮影画像を使用してもよい。

第１の撮影画像１５００は、撮影装置が生成する校正用パターンの撮影画像である。第２の撮影画像１５１０は、第１の撮影画像１５００と同一の撮影位置で同一の校正用パターンを、第１の撮影画像１５００とは異なる露光時間やホワイトバランス等で撮影した画像である。

他の実施形態では、第１の撮影画像のガンマ値を補正して階調を変更した画像を、第２の撮影画像とすることができる。また、第１の撮影画像を２値化して補間する場合、２値化する際の閾値を変更することにより、補間対象の画像を得てもよい。

第１の撮影画像１５００では、領域１５０３，１５０５，１５０６に存在すべき特徴点が欠損している。第２の撮影画像１５１０では、領域１５１４，１５１６に存在すべき特徴点が欠損している。

図１５に示す実施形態では、補間制御部２０１または補間対象抽出部２０２が、第１の撮影画像１５００に含まれる特徴点の座標情報と、第２の撮影画像１５１０に含まれる特徴点の座標情報とを使用して、欠損部１５２６に存在すべき特徴点を補間対象として抽出する。

図１５に示す実施形態では、特徴点１５２２の座標として、特徴点１５０２の座標と特徴点１５１２の座標との平均値が使用される。また、特徴点１５２３，１５２５の座標として、特徴点１５１３，１５１５の座標が使用される。さらに、特徴点１５２８の座標として特徴点１５０８の座標と特徴点１５１８の座標との平均値が使用され、特徴点１５２９の座標として特徴点１５０９の座標と特徴点１５１９の座標との平均値が使用される。

補間部２０３は、このようにして算出可能な欠損部１５２６の特徴点の近傍の特徴点の座標を用いて、欠損部１５２６の特徴点の座標を算出する。

上述したように、本実施形態では、複数の撮影画像を使用して補間対象を抽出することにより、１の撮影画像を使用して補間対象を抽出する方法と比較して、補間すべき特徴点を削減することができ、補間精度を向上させることができる。

図１６は、複数の補間画像を用いて校正用パターンの特徴点を補間する別の実施形態を示す概念図である。本実施形態のパターン抽出装置２００は、図２に示す機能手段に加え、撮影画像に含まれる特徴点の座標および／または補間部２０３が算出した特徴点の座標を補正する座標補正部を備えている。以下、図１６を参照して、２つの撮影画像を使用して校正用パターンの特徴点を補間する実施形態について説明する。なお、他の実施形態では、３つ以上の撮影画像を使用してもよい。

第１の撮影画像１６００は、撮影装置が生成する校正用パターンの撮影画像である。第２の撮影画像１６２０は、第１の撮影画像１６００と同一の撮影位置で同一の校正用パターンを、第１の撮影画像１６００とは異なる露光時間やホワイトバランス等で撮影した画像である。

他の実施形態では、図１５に示す実施形態と同様に、第１の撮影画像のガンマ値を補正して階調を変更した画像を、第２の撮影画像とすることができる。また、第１の撮影画像を２値化して補間する場合、２値化する際の閾値を変更することにより、補間対象の画像を得てもよい。

画像１６１０は、第１の撮影画像１６００を補間することによって得られる画像である。図１６に示す実施形態では、第１の撮影画像１６００に対する１回目の補間処理により、欠損部１６０３，１６０７が補間され、特徴点１６１３，１６１７の座標が得られる。また、２回目の補間処理により、欠損部１６０５が補間され、特徴点１６１５の座標が得られる。

画像１６３０は、第２の撮影画像１６２０を補間することによって得られる画像である。図１６に示す実施形態では、第２の撮影画像１６２０に対する１回目の補間処理により、欠損部１６２２，１６２４，１６２７が補間され、特徴点１６３２，１６３４，１６３７の座標が得られる。また、２回目の補間処理により、欠損部１６２３，１６２６が補間され、特徴点１６３３，１６３６の座標が得られる。さらに、３回目の補間処理により、欠損部１６２５が補間され、特徴点１６３５の座標が得られる。

座標補正部は、第１の撮影画像の特徴点の座標、第２の撮影画像の特徴点の座標、第１の撮影画像を補間して得られた特徴点の座標、および／または第２の撮影画像を補間して得られた特徴点の座標を使用して、校正用パターンの特徴点の座標を補正する。

より詳細には、双方の撮影画像の特徴点が欠損していない場合、座標補正部は、双方の特徴点の座標の平均値を補正値として採用する。例えば、座標補正部は、第１の撮影画像１６００の特徴点１６０１および第２の撮影画像１６２０の特徴点１６２１の平均値を算出し、特徴点１６４１の補正値を得る。

一方の撮影画像の特徴点が欠損している場合には、座標補正部は、欠損していない特徴点の座標を補正値として採用する。例えば、座標補正部は、第１の撮影画像の特徴点１６０２，１６０４，１６０６の座標を、特徴点１６４２，１６４４，１６４６の補正値とする。

双方の撮影画像の特徴点が欠損している場合には、座標補正部は、補間された特徴点の座標を加重平均して補正値を算出する。

例えば、特徴点１６４３については、第１の撮影画像１６００に対して補間処理が１回実行され、第２の撮影画像１６２０に対して補間処理が２回実行されている。この場合、座標補正部は、第１の撮影画像１６００の特徴点１６１３の座標に重み（２/３）を乗算し、第２の撮影画像１６２０の特徴点１６３３の座標に重み（１/３）を乗算し、これらの積を加算することにより、補正値を算出することができる。

特徴点１６４５については、第１の撮影画像１６００に対して補間処理が２回実行され、第２の撮影画像１６２０に対し補間処理が３回実行されている。この場合、座標補正部は、第１の撮影画像１６００の特徴点１６１３の座標に重み（３/５）を乗算し、第２の撮影画像１６２０の特徴点１６３３の座標に重み（２/５）を乗算し、これらの積を加算することにより、補正値を算出することができる。これにより、累積的に補間回数の少ない特徴点、すなわち、信頼度の高い特徴点の座標を偏重して補正することができる。

また、特徴点１６４７については、第１の撮影画像１６００および第２の撮影画像１６２０に対して補間処理が１回実行されている。この場合、座標補正部は、第１の撮影画像１６００の特徴点１６１３の座標と、第２の撮影画像１６２０の特徴点１６３３の座標に、それぞれ重み（１/２）を乗算し、これらの積を加算することにより、補正値を算出することができる。

本実施形態では、補間した特徴点の座標を加重平均した値を補正値とするが、他の実施形態では、補間回数の少ない特徴点の座標を補正値として採用してもよい。また、他の実施形態では、３つ以上の撮影画像を用いて特徴点の座標を補正することができる。この場合、特徴点の座標の加重平均に使用する重みとして、任意の値を採用することができる。例えば、３つの撮影画像を使用する場合、加重平均に使用する重みとして、補間回数の少ない順に「３／６」、「２／６」および「１／６」の値を採用することができる。なお、本明細書におけるパターンは、実施形態で説明するような円パターンのみを指すわけではなく、その他のパターンも利用可能であり、特定のパターンに限定されるものではない。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要件を変更または削除し、または他の構成要件を付加するなど、当業者が想到することができる範囲内で変更することができる。いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

２００…パターン抽出装置、２０１…補間制御部、２０２…補間対象抽出部、２０３…補間部、２０４…ステータス更新部、２０５…記憶手段、２０６…座標データバッファ、２０７…ステータスバッファ

特開２０１０−０２８４１１号公報

Claims (18)

1. 画像パターンを抽出するパターン抽出装置であって、
   投影された画像パターンの撮影画像から補間対象の特徴点を抽出する補間対象抽出手段と、
   補間対象の特徴点の近傍の特徴点を使用して、前記補間対象の特徴点を補間する補間手段と
   を含み、
   前記補間手段は、
   前記近傍の特徴点をグループ化して外挿補間座標を算出し、外挿補間の有意性を考慮して補間対象の特徴点の座標を算出する、パターン抽出装置。
2. 前記パターン抽出装置は、前記特徴点の状態を示すステータス情報を更新する更新手段をさらに含み、
   前記補間対象抽出手段は、
   前記ステータス情報を使用して補間対象の特徴点を抽出する、請求項１に記載のパターン抽出装置。
3. 前記補間手段が実行した補間の確信度を算出する確信度算出手段をさらに含む、請求項１または２に記載のパターン抽出装置。
4. 前記補間手段は、補間対象の特徴点に対する補間処理を反復して実行する、請求項１〜３のいずれか１項に記載のパターン抽出装置。
5. 前記補間手段は、
   投影対象の画像パターンに含まれる特徴点であって補間対象の特徴点である欠損した特徴点に対応する特徴点の座標と、投影対象の画像パターンに含まれる特徴点であって前記欠損した特徴点に対応する特徴点の近傍の特徴点の座標と、前記欠損した特徴点の近傍の特徴点の座標とを使用して、前記欠損した特徴点の座標を算出する、請求項１に記載のパターン抽出装置。
6. 前記補間対象抽出手段は、
   投影された画像パターンの複数の撮影画像を使用して補間対象の特徴点を抽出する、請求項１〜５のいずれか１項に記載のパターン抽出装置。
7. 前記補間対象抽出手段および補間手段は、投影された画像パターンの複数の撮影画像のそれぞれに対して処理を実行し、
   前記パターン抽出装置は、
   前記撮影画像に含まれる特徴点の座標および／または前記補間手段が算出した特徴点の座標を使用して、前記補間対象の特徴点の座標および／または前記撮影画像に含まれる特徴点の座標を補正する補正手段をさらに含む、請求項１〜５のいずれか１項に記載のパターン抽出装置。
8. 前記補間手段は、補間対象の特徴点から所定の距離の範囲内に存在する特徴点を、近傍の特徴点とすることを特徴とする、請求項１〜７のいずれか１項に記載のパターン抽出装置。
9. 請求項１〜８のいずれか１項に記載のパターン抽出装置を備えた画像投影装置。
10. パターン抽出装置が実行するパターン抽出方法であって、前記パターン抽出方法は、パターン抽出装置が、
    投影された画像パターンの撮影画像から補間対象の特徴点を抽出するステップと、
    前記補間対象の特徴点の近傍の特徴点を使用して、前記補間対象の特徴点を補間するステップと
    を含み、
    前記補間するステップは、
    前記近傍の特徴点をグループ化して外挿補間座標を算出するステップと、
    外挿補間の有意性を考慮して補間対象の特徴点の座標を算出するステップと
    を含む、パターン抽出方法。
11. 前記パターン抽出方法は、前記パターン抽出装置が、前記特徴点の状態を示すステータス情報を更新するステップをさらに含み、
    前記抽出するステップは、
    前記ステータス情報を使用して補間対象の特徴点を抽出する、請求項１０に記載のパターン抽出方法。
12. 前記パターン抽出方法は、前記パターン抽出装置が、
    補間の確信度を算出するステップをさらに含む、請求項１０または１１に記載のパターン抽出方法。
13. 前記パターン抽出装置が、前記補間するステップを反復して実行する、請求項１０〜１２のいずれか１項に記載のパターン抽出方法。
14. 前記補間するステップは、
    投影対象の画像パターンに含まれる特徴点であって前記補間対象の特徴点である欠損した特徴点に対応する特徴点の座標と、投影対象の画像パターンに含まれる特徴点であって前記欠損した特徴点に対応する特徴点の近傍の特徴点の座標と、前記欠損した特徴点の近傍の特徴点の座標とを使用して、前記欠損した特徴点の座標を算出するステップを含む、請求項１０に記載のパターン抽出方法。
15. 前記補間するステップは、
    投影された画像パターンの複数の撮影画像を使用して補間対象の特徴点を抽出するステップを含む、請求項１０〜１４のいずれか１項に記載のパターン抽出方法。
16. 前記パターン抽出装置は、投影された画像パターンの複数の撮影画像のそれぞれに対して、前記抽出するステップおよび補間するステップを実行し、
    前記パターン抽出方法は、前記パターン抽出装置が、
    前記撮影画像に含まれる特徴点の座標および／または前記補間するステップで算出した特徴点の座標を使用して、前記補間対象の特徴点の座標および／または前記撮影画像に含まれる特徴点の座標を補正するステップをさらに含む、請求項１０〜１４のいずれか１項に記載のパターン抽出方法。
17. 前記補間するステップは、補間対象の特徴点から所定の距離の範囲内に存在する特徴点を、近傍の特徴点として抽出するステップを含む、請求項１０〜１６のいずれか１項に記載のパターン抽出方法。
18. 請求項１０〜１７のいずれか１項に記載のパターン抽出方法をパターン抽出装置に実行させるための装置実行可能なプログラム。