JP6307843B2 - 補間方法、プログラムおよび補間装置 - Google Patents

Description

本発明は、投影画像の歪み補正に関し、より詳細には、スクリーン等の被投影物に投影された校正用パターン画像の特徴点を補間する補間方法、プログラムおよび補間装置に関する。

従来、プロジェクタ等の投影装置からスクリーンに画像を投影する場合、投影装置とスクリーンの相対的な位置関係による投影画像の台形歪みや、スクリーン面の局所的な凹凸や捻じれによる投影画像に非線形の歪みが生じることがある。

このような歪みを補正するために、特定の図形配列で形成される校正用パターン画像をスクリーンに投影し、投影画像を撮影装置で撮影し、撮影画像から抽出した特徴点の位置と当該特徴点の理想的な位置とのずれから歪みの程度を算出し、投影画像の歪みを補正する画像補正技術が存在する。

このような従来技術の一例として、特許文献１は、等間隔に配列された校正用パターン画像をスクリーンに投影して撮影し、撮影画像に含まれる特徴点の座標を使用して投影による歪み量を算出し、歪み量に応じて投影画像を補正する画像補正装置を開示する。

しかしながら、特許文献１が開示する画像補正装置では、スクリーンに投影された校正用パターン画像を撮影する際に、適切な環境や条件が整っていない場合、例えば、外光がスクリーンに照射した状態で当該スクリーンに投影された校正用パターン画像を撮影すると、外光が照射した部分の校正用パターンが失われ、総ての特徴点を抽出することができない。このため、特徴点が欠損した箇所では歪み量を算出することができず、画像補正を適切に行うことができないという問題があった。

この場合、欠損した特徴点の近傍の特徴点の重心（中心座標）を利用して、欠損した特徴点の重心を推定して補間する方法も考えられるが、補間対象の特徴点と、その近傍の特徴点とが離散的に配置されている場合には、欠損した特徴点の補間精度が低くなる傾向があり、画像補正の精度が低くなるという問題がある。

本発明は、上記従来技術の問題に鑑みてなされたものであり、欠損した特徴点を高精度に補間することができる補間方法、プログラムおよび補間装置を提供することを目的とするものである。

上記課題を解決するために、本発明の補間方法は、投影された２種類の画像パターンの撮影画像から補間対象の特徴点の周囲の複数の補間図形を特定するステップと、補間対象の特徴点の周囲の補間図形を使用して、補間対象の特徴点を補間するステップとを含む。

本発明は、投影された２種類の画像パターンの撮影画像から補間対象の特徴点の周囲の複数の補間図形を特定し、当該補間図形を使用して補間対象の特徴点を補間するため、欠損した特徴点を高精度に補間することができる。

本発明の画像投影システムの一実施形態を示す図。 本発明の情報処理装置のハードウェア構成を示す図。 情報処理装置１１０の機能構成の一実施形態を示す図。 本発明の情報処理装置が実行する処理の一実施形態を示すフローチャート。 スクリーン１４０に投影された２種類の校正用パターン画像１３０ａ，１３０ｂを撮影した撮影画像５００、５０１を示す図。 本発明の情報処理装置が実行する処理の別の実施形態を示すフローチャート。 本発明の特徴点の補間方法を示す概念図。 校正用パターンの他の実施形態を示す図。

以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本発明の画像投影システムの一実施形態を示す図である。画像投影システム１００は、情報処理装置１１０と、画像投影装置１２０と、スクリーン１４０とを含んで構成される。

情報処理装置１１０は、校正用パターン画像を画像投影装置１２０に投影させ、投影された校正用パターン画像の特徴点を補間し、投影すべき画像を補正する装置である。図１では、情報処理装置１１０としてタブレット型ＰＣを示しているが、デスクトップ型ＰＣやノート型ＰＣ等の種々のコンピュータを情報処理装置１１０として採用することができる。

情報処理装置１１０は、ユーザが所望する画像を画像投影装置１２０に投影させる前の準備処理として、２種類の校正用パターン画像１３０ａ，１３０ｂを画像投影装置１２０に送信して投影させる。校正用パターン画像１３０ａ，１３０ｂには、複数の特徴点と、これらの特徴点を補間する補間図形とが含まれる。

図１に示す実施形態では、校正用パターン画像１３０ａには、特徴点である黒円と、補間図形である白線とが含まれる。校正用パターン画像１３０ｂには、特徴点である白円と、補間図形である黒線とが含まれる。これらの校正用パターン画像では、特徴点および補間図形の色は、対応する特徴点の輝度差および補間図形の輝度差が大きくなるよう色を選択することが好適である。

画像投影装置１２０は、校正用パターン画像１３０ａ，１３０ｂやユーザが所望する画像などの種々の画像をスクリーン１４０等の被投影物に投影する装置である。本実施形態では、画像投影装置１２０は、情報処理装置１１０から受信した２種類の校正用パターン画像１３０ａ，１３０ｂを連続して投影する。

スクリーン１４０に投影された校正用パターン画像は、図１に示すように、スクリーン１４０の状態によって歪みが生じることがある。ＣＣＤやＣＭＯＳ等の撮影素子を含んで構成される撮影装置は、スクリーン１４０に投影された２種類の校正用パターン画像を撮影し、撮影画像を情報処理装置１１０に提供する。ユーザは、スクリーン１４０に投影された２種類の校正用パターン画像を同じ位置で連続して撮影するのが好適である。撮影装置は、画像投影装置１２０または情報処理装置１１０に組み込まれていてもよく、また、別個独立した装置でもよい。

情報処理装置１１０は、校正用パターン画像１３０ａ，１３０ｂの撮影画像および校正用パターン画像１３０ａ，１３０ｂを用いて、投影画像１５０の歪みを補正する補正係数を算出する。そして、情報処理装置１１０は、この補正係数を用いて投影対象の画像を補正し、補正画像を画像投影装置１２０に投影させる。

図２は、本発明の情報処理装置のハードウェア構成を示す図である。情報処理装置１１０は、プロセッサ２００と、ＲＯＭ２０１と、ＲＡＭ２０２と、ＳＳＤ２０３と、無線ＬＡＮアダプタ２０４とを含んで構成される。

プロセッサ２００は、本発明のプログラムを実行する演算装置である。ＲＯＭ２０１は、ブートプログラムなどが保存される不揮発性メモリである。ＲＡＭ２０２は、情報処理装置１１０が実行するプログラムの実行空間を提供する不揮発性メモリである。ＳＳＤ２０３は、本発明のプログラムや校正用パターン画像などの様々なデータが保存される不揮発性メモリである。

プロセッサ２００は、ＳＳＤ２０３から本発明のプログラムを読み出し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、Ｍａｃ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などの種々のＯＳの管理下で、本発明のプログラムをＲＡＭ２０２に展開して実行することにより、図３を参照して詳述する各機能部を情報処理装置１１０上に実現する。

無線ＬＡＮアダプタ２０４は、外部装置との間で無線通信を行うインタフェースである。情報処理装置１１０は、無線ＬＡＮアダプタ２０４を介して、投影すべき画像を画像投影装置１２０に送信する。情報処理装置１１０が撮影装置を備えていない実施形態では、情報処理装置１１０は、無線ＬＡＮアダプタ２０４を介して撮影画像を受信する。

図３は、情報処理装置１１０の機能構成の一実施形態を示す図である。情報処理装置１１０は、通信部３００と、補間制御部３０１と、パターン抽出部３０２と、補間図形特定部３０３と、補間部３０４と、記憶部３０５とを含んで構成される。

通信部３００は、無線ＬＡＮアダプタ２０４を制御する手段である。通信部３００は、無線ＬＡＮアダプタ２０４を制御し、情報処理装置１１０と画像投影装置１２０との間で種々のデータを通信する。

補間制御部３０１は、撮影画像に含まれる校正用パターンを使用して、欠損した特徴点を補間する手段である。補間制御部３０１は、パターン抽出部３０２、補間図形特定部３０３および補間部３０４を制御して、校正用パターンの欠損した特徴点を補間する。

パターン抽出部３０２は、校正用パターンである特徴点および補間図形を抽出する手段である。パターン抽出部３０２は、２種類の校正用パターン画像の撮影画像を使用して、特徴点の座標および補間図形の座標を抽出する。

補間図形特定部３０３は、補間すべき欠損した特徴点を特定する手段である。補間図形特定部３０３は、特徴点の座標および補間図形の座標を使用して、欠損した特徴点の周囲の補間図形の端部を特定する。

補間部３０４は、欠損した特徴点を補間する手段である。補間部３０４は、欠損した特徴点の周囲の補間図形の端部の座標を使用して、欠損した特徴点の座標を算出する。

記憶部３０５は、情報処理装置１１０が処理する種々データが保存される記憶手段であり、ＲＯＭ２０１やＲＡＭ２０２、ＳＳＤ２０３によって実現される。記憶部３０５には、校正用パターン画像１３０ａ，１３０ｂや撮影画像、ユーザが所望する投影対象の画像などが保存される。

図４は、本発明の情報処理装置が実行する処理の一実施形態を示すフローチャートである。以下、図４を参照して、情報処理装置１１０が、２種類の校正用パターン画像を画像投影装置１２０に投影させ、２種類の校正用パターンの撮影画像を取得した後に実行する処理について説明する。

図４に示す処理は、ステップＳ４００で補間制御部３０１がパターン抽出部３０２を呼び出すことにより開始する。ステップＳ４０１では、パターン抽出部３０２が、スクリーン１４０に個別に投影された２種類の校正用パターン画像１３０ａ，１３０ｂの２つの撮影画像を構成する総ての画素について、対応する画素、すなわち、座標が同じ画素の輝度差を算出する。ステップＳ４０２では、パターン抽出部３０２は、輝度差が所定の閾値以上になる画素の座標、すなわち、特徴点または補間図形に該当する画素の座標を抽出し、当該画素の座標を記憶部３０５に保存する。

ステップＳ４０３では、パターン抽出部３０２は、ステップＳ４０２で抽出した画素が、校正用パターン画像の特徴点を構成する画素に相当する画素である否か判断する。抽出した画素が特徴点に相当する画素である場合には（ｙｅｓ）、ステップＳ４０４に処理が分岐する。ステップＳ４０４では、パターン抽出部３０２は、当該画素の座標を特徴点情報として記憶部３０５に保存する。

一方、抽出した画素が特徴点に相当する画素でない場合、すなわち、補間図形に相当する画素である場合には（ｎｏ）、ステップＳ４０５に処理が分岐する。ステップＳ４０５では、パターン抽出部３０２は、当該画素の座標を補間情報として記憶部３０５に保存する。

ステップＳ４０６では、パターン抽出部３０２は、記憶部３０５に保存されている総ての画素について、ステップＳ４０３〜ステップＳ４０５に示す処理を実行したか否か判断する。総ての画素について当該処理を実行していない場合には（ｎｏ）、ステップＳ４０３に処理が戻る。一方、総ての画素について当該処理を実行した場合には（ｙｅｓ）、ステップＳ４０７で処理が終了する。

図５は、スクリーン１４０に投影された２種類の校正用パターン画像１３０ａ，１３０ｂを撮影した撮影画像５００、５０１を示す図である。パターン抽出部３０２は、撮影画像５００、５０１を構成する総ての画素について、対応する画素の輝度差を算出し、輝度差の大きい画素を、特徴点または補間図形に該当する画素として特定する。

図５に示す実施形態では、校正用パターンである撮影画像５００内の黒円と撮影画像５０１内の白円との輝度差や、撮影画像５００内の白線と撮影画像５０１内の黒線との輝度差は、他の画素対の輝度差に比べて大きい。パターン抽出部３０２は、これらの輝度差の大きい画素を特徴点または補間図形に該当する画素として特定する。

そして、パターン抽出部３０２は、これらの総ての画素について、特徴点を構成する画素に相当する画素であるか、補間図形を構成する画素に相当する画素であるか判断する。

図５に示す実施形態では、パターン抽出部３０２は、特徴点または補間図形に該当する画素の座標が示す画素値を撮影画像５００から取得し、当該画素値が黒色を示す画素値であれば、当該画素が特徴点に相当する画素であると判断することができる。一方、パターン抽出部３０２は、当該画素値が白色を示す画素値であれば、当該画素が補間図形に相当する画素であると判断することができる。

図６は、本発明の情報処理装置が実行する処理の別の実施形態を示すフローチャートである。図６に示す処理は、図４に示す処理に続いて実行される。

図６に示す処理は、ステップＳ６００で補間制御部３０１が補間図形特定部３０３を呼び出すことにより開始する。ステップＳ６０１では、補間図形特定部３０３が、記憶部３０５に保存された特徴点情報および補間情報を使用して、欠損した特徴点の周囲の補間図形の端部を特定する。

本実施形態では、補間図形特定部３０３は、図７の図７００に示すように、補間情報を使用して、補間図形の総ての端部の画素を抽出する。本実施形態では、補間図形特定部３０３は、補間図形を構成する画素の画素値を解析することにより、補間図形の端部を特定することができる。

より詳細には、補間図形特定部３０３は、図７１０に示すように、対象画素（例えば、画素７１２）の画素値と、対象画素の周囲の８つの画素の画素値とを比較し、対象画素と画素値が共通する画素が周囲に１つ存在すれば、対象画素は補間図形の端部であると判断する。一方、対象画素（例えば、画素７１１）と画素値が共通する画素が周囲に２つ存在すれば、対象画素は補間図形の端部ではないと判断する。

そして、補間図形特定部３０３は、図７の図７０１に示すように、抽出した補間図形の端部の画素の中から、特徴点情報が示す特徴点に連結していない補間図形の端部の画素を特定する。

次に、補間図形特定部３０３は、図７０２に示すように、特徴点に連結していない補間図形の各端部について、当該端部から所定の距離内に他の端が所定数存在するか否か判断する。図７に示す実施形態では、所定の距離内に他の端部が３つ存在するか否か判断する。

そして、補間図形特定部３０３は、図７０３，７０４に示すように、所定の距離内に他の端部が所定数存在する端部を、欠損した特徴点の周囲の補間図形の端部として特定する。

ステップＳ６０２では、補間制御部３０１が補間部３０４を呼び出し、補間部３０４が、欠損した特徴点の周囲の補間図形の端部を結ぶ直線（以下、「補間直線」とする。）を導出する。より詳細には、補間部３０４は、図７の図７０５に示すように、欠損した特徴点側の補間図形の１の端部と、当該端部から最も距離の離れた端部とを結ぶ補間直線を導出する。図７に示す実施形態では、欠損した特徴点の周囲には４つの補間図形が存在するため、２本の補間直線が導出される。

ステップＳ６０３では、補間部３０４は、補間直線の本数が２本であるか否か判断する。補間直線の本数が２本である場合には（ｙｅｓ）、ステップＳ６０４に処理が分岐する。ステップＳ６０４では、補間部３０４は、２直線の交点を求める連立方程式により、２本の補間直線の交点の座標を算出する。

一方、補間直線の本数が２本でない場合、すなわち、補間直線の本数が３本以上である場合には（ｎｏ）、ステップＳ６０５に処理が分岐する。ステップＳ６０５では、補間部３０４は、総ての補間直線の交点の座標を算出する。このとき、交点の座標が異なる場合には、補間部３０４は各交点の座標の重心を算出し、当該算出した値を求める交点の座標とする。

ステップＳ６０６では、補間部３０４は、ステップＳ６０４またはステップＳ６０５で算出した補間直線の交点の座標を、欠損した特徴点の座標として記憶部３０５に保存し、ステップＳ６０７で処理が終了する。

図８は、校正用パターンの他の実施形態を示す図である。校正用パターン画像８００，８０１では、１つの特徴点に対して８本の直線状の補間図形が連結しており、これら補間図形が近傍の特徴点と連結している。校正用パターン画像８００，８０１を使用する実施形態では、欠損した特徴点の周囲には８つの補間図形が存在することになるため、４本の補間直線が導出される。

校正用パターン画像８００，８０１を使用する場合、図１に示す校正用パターンに比べて特徴点を補間する補間図形の数が多くなるため、補間精度が向上すると共に、一部の補間図形が抽出できなかった場合でも、特徴点を補間することができる。

校正用パターン画像８０２，８０３では、１つの特徴点に対して、８つの短い直線状の補間図形が連結している。この補間図形は、１の特徴点にのみ連結しており、他の特徴点には連結していない。校正用パターン画像８０２，８０３を使用する場合、校正用パターン画像８００，８０１と同様、図１に示す校正用パターンに比べて特徴点を補間する補間図形の数が多くなるため、補間精度が向上すると共に、一部の補間図形が抽出できなかった場合でも、特徴点を補間することができる。

校正用パターン画像８０４，８０５では、１つの特徴点に対して、２本の濃淡のある直線状の補間図形が連結しており、これら補間図形が近傍の特徴点と連結している。校正用パターン画像８０４，８０５を使用する実施形態では、補間図形のうち濃度の最も高い直線領域を特徴点の補間に使用することができる。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要件を変更または削除し、または他の構成要件を付加するなど、当業者が想到することができる範囲内で変更することができる。特に、上述した実施形態では、情報処理装置が本発明の方法を実行して欠損した特徴点を補間するように説明したが、他の実施形態では、投影装置が本発明の方法を実行して欠損した特徴点を補間してもよい。いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像投影システム、１１０…情報処理装置、１２０…画像投影装置、１３０ａ，１３０ｂ…校正用パターン画像、１４０…スクリーン

特開２０１０−０２８４１１号公報

Claims (9)

1. 画像パターンの特徴点を補間する装置が実行する補間方法であって、
   特徴点の色を反転させた２種類の画像パターンを投影し、撮影された２種類の画像から、補間対象となる欠損した特徴点の周囲の複数の補間図形を特定するステップと、
   補間対象となる欠損した特徴点の周囲の補間図形を使用して、前記補間対象となる欠損した特徴点を補間するステップと
   を含む、補間方法。
2. 前記補間対象となる欠損した特徴点を補間するステップは、
   補間対象となる欠損した特徴点の周囲の補間図形の端部を結ぶ複数の直線の交点を算出し、前記交点を前記補間対象となる欠損した特徴点の座標とするステップを含む、請求項１に記載の補間方法。
3. 前記２種類の画像パターンには、複数の特徴点と、少なくとも１以上の特徴点に連結する複数の補間図形が含まれることを特徴とする、請求項１または２に記載の補間方法。
4. 前記補間図形は、１の特徴点にのみ連結することを特徴とする、請求項３に記載の補間方法。
5. 画像パターンの特徴点を補間する補間装置に対し、請求項１〜４のいずれか１項に記載の補間方法を実行させるプログラム。
6. 画像パターンの特徴点を補間する補間装置であって、
   特徴点の色を反転させた２種類の画像パターンを投影し、撮影された２種類の画像から、補間対象となる欠損した特徴点の周囲の複数の補間図形を特定する補間図形特定手段と、
   補間対象となる欠損した特徴点の周囲の補間図形を使用して、前記補間対象となる欠損した特徴点を補間する補間手段と
   を含む、補間装置。
7. 前記補間図形特定手段は、
   補間対象となる欠損した特徴点の周囲の補間図形の端部を結ぶ複数の直線の交点を算出し、前記交点を前記補間対象となる欠損した特徴点の座標とする、請求項６に記載の補間装置。
8. 前記２種類の画像パターンには、複数の特徴点と、少なくとも１以上の特徴点に連結する複数の補間図形が含まれることを特徴とする、請求項６または７に記載の補間装置。
9. 前記補間図形は、１の特徴点にのみ連結することを特徴とする、請求項８に記載の補間装置。