JP4906586B2

JP4906586B2 - 歪み補正装置及びプログラム

Info

Publication number: JP4906586B2
Application number: JP2007130797A
Authority: JP
Inventors: 義広都丸; 雅之原田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-05-16
Filing date: 2007-05-16
Publication date: 2012-03-28
Anticipated expiration: 2027-05-16
Also published as: JP2008287426A

Description

この発明は、プロジェクタによって投影された画像の歪みを補正する歪み補正装置及びこの装置としてコンピュータを機能させるプログラムに関するものである。

従来では、所定のパターン画像と、このパターン画像を投影面に投影しカメラで撮影した画像との対応をとることにより、カメラの撮影場所からの視点で投影面に投影される画像の歪みを補正していた。例えば、特許文献１では、マーカとして複数の十字を一定間隔に並べたテスト画像を用い、このテスト画像におけるマーカの位置とこれを投影面に投影してカメラで撮影した画像におけるマーカの位置との対応をとり、マーカの区切りに応じて画像の投影領域を複数の平面に分割する。これら平面画像ごとに求めた平面射影変換と呼ばれる幾何変換を用いて投影画像の歪みを補正する。このように投影画像を複数の平面で近似することにより、投影面が円筒面や球面を含んでいても投影画像の歪みを補正することができる。

特開２００２−７２３５９号公報

従来の歪み補正では、画像を投影する投影対象が互いに鋭角に交わる平面を含む複合面である場合、投影画像の歪みを十分に補正することができないという課題がある。

例えば、特許文献１では、テスト画像とこれを投影したものの撮影画像において４点のマーカの対応をとり、これら４点に囲まれた箇所を平面として幾何変換を求める。しかしながら、４点のマーカに囲まれる箇所が鋭角に交わる２平面の境界部分に位置する場合、この境界部分を平面と近似してしまうため、大きな誤差が生じて歪みを補正できない。

また、マーカの間隔を狭くして平面に近似する領域を小さくすれば、誤った近似を低減できるが、サンプル点が増加するために歪み補正に要する計算量が膨大になる。

この発明は、上記のような課題を解決するためになされたもので、膨大な計算を要することなく、投影対象の形状に応じた精度の高い歪み補正が可能な歪み補正装置及びこの装置としてコンピュータを機能させるプログラムを得ることを目的とする。

この発明に係る歪み補正装置は、複数のポイントを配列したパターン画像とこのパターン画像を表示した表示対象を撮影した撮影画像とのパターンマッチングを行い、前記ポイントを特徴点として前記パターン画像と前記撮影画像との特徴点の対応情報を求めるパターンマッチング手段と、前記特徴点の対応情報に基づいて、前記撮影画像に撮影された前記表示対象の表示領域を構成する平面に相当する平面領域を特定する表示領域分割手段と、前記表示領域分割手段により特定された平面領域ごとに前記パターン画像から前記撮影画像への射影変換情報を算出する射影変換計算手段と、前記表示対象に表示すべき表示画像を前記撮像画像の座標系に変換する変換行列を算出する変換行列算出手段と、前記表示領域分割手段により特定された平面ごとの射影変換情報及び前記変換行列を用いて、前記撮影画像に撮影された前記表示対象の表示領域に合わせて前記表示画像を補正変形する歪み補正変形手段とを備え、前記表示領域分割手段は、前記パターンマッチング手段により求められた特徴点の対応情報に基づいて、前記パターン画像から撮影画像への平面射影変換情報を求める仮射影変換計算手段と、前記仮射影変換計算手段により求められた平面射影変換情報に基づいて、前記撮影画像に撮影された表示対象の表示領域内で同一平面にある特徴点を分類する同一平面取得手段と、前記同一平面取得手段により分類された特徴点の情報から前記表示領域を構成する平面に相当する平面領域間の境界線を算出する境界線取得手段と、前記境界線取得手段により算出された境界線の情報を用いて、前記撮影画像に撮影された表示対象の表示領域を構成する平面領域を特定する平面分割手段とを備えるものである。

この発明によれば、複数のポイントを配列したパターン画像とこのパターン画像を表示した表示対象を撮影した撮影画像とのパターンマッチングを行い、前記ポイントを特徴点として前記パターン画像と前記撮影画像との特徴点の対応情報を求めるパターンマッチング手段と、前記特徴点の対応情報に基づいて、前記撮影画像に撮影された前記表示対象の表示領域を構成する平面に相当する平面領域を特定する表示領域分割手段と、前記表示領域分割手段により特定された平面領域ごとに前記パターン画像から前記撮影画像への射影変換情報を算出する射影変換計算手段と、前記表示対象に表示すべき表示画像を前記撮像画像の座標系に変換する変換行列を算出する変換行列算出手段と、前記表示領域分割手段により特定された平面ごとの射影変換情報及び前記変換行列を用いて、前記撮影画像に撮影された前記表示対象の表示領域に合わせて前記表示画像を補正変形する歪み補正変形手段とを備え、前記表示領域分割手段は、前記パターンマッチング手段により求められた特徴点の対応情報に基づいて、前記パターン画像から撮影画像への平面射影変換情報を求める仮射影変換計算手段と、前記仮射影変換計算手段により求められた平面射影変換情報に基づいて、前記撮影画像に撮影された表示対象の表示領域内で同一平面にある特徴点を分類する同一平面取得手段と、前記同一平面取得手段により分類された特徴点の情報から前記表示領域を構成する平面に相当する平面領域間の境界線を算出する境界線取得手段と、前記境界線取得手段により算出された境界線の情報を用いて、前記撮影画像に撮影された表示対象の表示領域を構成する平面領域を特定する平面分割手段とを備えるので、膨大な計算を要することなく、表示対象の形状に応じた精度の高い歪み補正を実現できるという効果がある。

実施の形態１．
図１は、この発明の実施の形態１による歪み補正装置の構成を示すブロック図である。図１において、実施の形態１による歪み補正装置は、撮影手段１、撮影画像受信手段２、パターンマッチング手段３、投影領域平面分割部（表示領域分割手段）４、射影変換計算手段５、表示領域入力手段６、表示領域変換行列算出手段（変換行列算出手段）７、歪み補正変形手段８及び出力部９を備える。撮影手段１は、デジタルカメラ等のカメラ装置からなり、出力部９によってパターン画像１２が投影された投影対象１０とパターン画像１２を投影していない投影対象１０とを撮影する。

投影対象１０としては、平面状の投影スクリーンの他、例えば形状が変えられる電子ペーパーやフレキシブル有機ＥＬ（Electro Luminescence）等のフレキシブル表示デバイスも含まれる。つまり、以降では互いに交差した２平面からなる投影スクリーンを例として説明するが、互いに交差した複数の平面を含んでなる表示領域を有する表示対象であれば本発明を適用することができる。

撮影画像受信手段２は、撮影手段１との間で有線又は無線の通信を行う構成要素であり、撮影手段１で撮影された画像を受信する。パターンマッチング手段３は、パターン画像１２と撮影画像受信手段２からの撮影画像１２ａとの特徴点のマッチングを行う。投影領域平面分割部４は、パターンマッチング手段３で得られた撮影画像１２ａとパターン画像１２との特徴点の対応情報に基づいて、投影領域を構成する複数の平面を分割し特定する構成要素であり、仮射影変換計算手段４ａ、同一平面取得手段４ｂ、境界線取得手段４ｃ及び平面分割手段４ｄを備える。

仮射影変換計算手段４ａは、パターンマッチング手段３で得られた撮影画像１２ａとパターン画像１２との特徴点の対応情報に基づいて、特徴点４点で囲まれる平面の射影変換を一時的に求める。同一平面取得手段４ｂは、仮射影変換計算手段４ａからの射影変換を用いて、上記特徴点４点と投影対象１０の投影領域で同一平面にある特徴点とをグルーピングする。境界線取得手段４ｃは、同一平面取得手段４ｂでグルーピングされた特徴点によって複数の平面の境界線を求める。平面分割手段４ｄは、境界線取得手段４ｃからの境界線情報に基づいて、投影対象１０の投影領域を複数の平面に分割する。

射影変換計算手段５は、投影領域平面分割部４で分割された平面毎にパターン画像１２からの平面射影変換を算出する。表示領域入力手段６は、最終的に投影対象１０の投影領域に表示すべき表示領域を矩形で表した表示矩形が撮影画像１２ａの座標系で指定された表示領域データ１１を入力する。表示領域変換行列算出手段７は、最終的な表示矩形に合わせて歪み補正するための行列を算出する。

歪み補正変形手段８は、射影変換計算手段５で算出された平面毎の平面射影変換と表示領域変換行列算出手段７で取得された行列とを用い、投影対象１０の形状に応じて表示データ（表示コンテンツ画像）である表示コンテンツ１３に変形をかけ歪み補正する。出力部９は、投影画像を投影対象１０の投影領域に投影するプロジェクタ等により実現され、歪み補正変形手段８によって歪み補正された表示コンテンツ１３を投影対象１０の投影領域に投影する。

上述した、撮影画像受信手段２、パターンマッチング手段３、投影領域平面分割部４、射影変換計算手段５、表示領域入力手段６、表示領域変換行列算出手段７及び歪み補正変形手段８は、本発明の趣旨に従う歪み補正プログラムをコンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上でソフトウェアとハードウェアが協働した具体的な手段として実現できる。上記コンピュータは、撮影手段１との間でデータ通信を行う通信機能を有しており、プロジェクタ等の出力部９を制御して画像データを投影対象１０に投影する機能を有する。

なお、コンピュータ自体の構成及びその基本的な機能については、当業者が当該技術分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。

次に動作について説明する。
以降では、撮影手段１がカメラ解像度が縦３０００×横２０００画素のデジタルカメラであるものとし、プロジェクタ解像度が縦１０２４×横７６８画素のプロジェクタを出力部９とする。また、投影対象１０は、互いに交差する平面に囲まれた投影領域を有する。パターン画像１２は、垂直水平方向に等間隔に並んだ複数の点をプロットしたポイント画像であり、その解像度がプロジェクタである出力部９と同様の縦１０２４×横７６８画素とする。パターン画像１２における全てのポイントは、パターン画像１２内の他の画素に比べて輝度若しくは色に差がつけられているものとする。なお、カメラ解像度、パターン画像解像度及びプロジェクタ解像度は、互いに相関なく設定してもなんら問題はない。

図２は、図１中の歪み補正装置の動作を示すフローチャートであり、この図に沿って動作を説明する。先ず、表示領域入力手段６は、最終的に投影対象１０の投影領域に表示すべき表示領域を矩形で表した表示矩形が撮影画像１２ａの座標系で指定された表示領域データ１１を入力する（ステップＳＴ１）。次に、投影対象１０に投影した画像を歪みなく視認したい任意の地点に撮影手段１を配置し、パターン画像１２を投影しない状態で該地点から投影対象１０を撮影する（ステップＳＴ２）。

続いて、プロジェクタである出力部９は、パターン画像１２を読み込んで投影対象１０の投影領域に投影する（ステップＳＴ３）。撮影手段１は、ステップＳＴ２での撮影と同位置でパターン画像１２を投影した状態の投影対象１０を撮影する（ステップＳＴ４）。図３は、パターン画像及び撮影画像を示す図であり、図３（ａ）はパターン画像１２を示しており、図３（ｂ）は図３（ａ）中のパターン画像１２が投影された投影対象１０の撮影画像１２ａを示している。

図３（ａ）に示すように、パターン画像１２は、複数のポイントが等間隔に配置されたポイント画像であり、解像度が縦１０２４×横７６８画素である。また、パターン画像１２が投影された投影対象１０を撮影した撮影画像１２ａは、図３（ｂ）に示すように、投影されたパターン画像１２が全て撮影画像１２ａ内に収まるように撮影される。

次に、パターンマッチング手段３は、パターン画像１２の投影前後の各撮影画像１２ａとパターン画像１２とを用いて、パターン画像１２内の特徴点と各撮影画像１２ａ内の特徴点との対応をとることで特徴点毎にマッチングを行う（ステップＳＴ５）。なお、ここでいう特徴点とは、パターン画像１２及びこれの投影後の撮影画像１２ａのようなポイント画像の場合、画像を構成する他の画素と色及び輝度の少なくとも一方に差を設けてプロットされたポイントを指す。また、具体的な特徴点の検出及びパターンマッチングは、以下の処理による。

パターンマッチング手段３は、先ず、パターン画像１２の投影前後の撮影画像１２ａについて差分画像を生成し、この差分画像から例えば輝度の高いポイントを検索することで特徴点を検出する。この特徴点の検出は、図４に示す３×３のフィルタを用いて実現することができる。ここで、図４中の数字は画素の特徴量（輝度）に乗算する数値を示しており、中心の画素について５を乗算し周辺８画素について１を乗算した全ての演算結果を加算して中心画素の特徴量としたものを、差分画像の各画素について算出する。このようにして差分画像から特徴量の大きいポイントを特徴点として検出する。

なお、上述した説明では３×３のフィルタを用いる例を示したが、他のフィルタサイズであってもよい。また、特殊なローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ等のフィルタを用いて検出することも可能である。

パターンマッチング手段３は、上述のようにして検出した差分画像の全ての特徴点に対し、パターン画像１２内の特徴点との１対１のマッチングを行う。ここでは、特徴点の色及び輝度に差を設けているので、その差を識別子として各特徴点の対応をとる。例えば、パターン画像１２の特徴点と上記差分画像の特徴点との輝度の高いものから各々対応をとる。

ここで、パターン画像１２及び撮影画像１２ａ（差分画像も同様）の特徴点にＸＹ座標系をあてはめ、パターン画像１２の最も左上からｉ番目の特徴点の座標値を（Ｘ，Ｙ）＝（Ｘｐｉ，Ｙｐｉ）とし、差分画像の最も左上からｉ番目の特徴点の座標値を（Ｘ，Ｙ）＝（Ｘｃｉ，Ｙｃｉ）とすると、パターン画像１２と差分画像との特徴点は全てペアになる。これにより、各特徴点の対応情報は、（（（Ｘｐ１，Ｙｐ１），（Ｘｃ１，Ｙｃ１）），（（Ｘｐ２，Ｙｐ２），（Ｘｃ２，Ｙｃ２）），・・・）のような態様で取り扱われる。

次に、投影領域平面分割部４の仮射影変換計算手段４ａは、図５に示すようにパターン画像１２上の最も左上のポイント（特徴点）と、その右隣、下、右下に位置する計４つの特徴点を頂点とする矩形を開始矩形ａ１とし、この４つの頂点についての特徴点の対応情報に基づいて開始矩形ａ１に対応する撮影画像１２ａ内の矩形ａ２を取得する。

この後、仮射影変換計算手段４ａは、矩形ａ１と矩形ａ２との間の平面射影変換を求める（ステップＳＴ６）。なお、平面射影変換とは、パターン画像１２内の特徴点の座標値を撮影画像１２ａ内の特徴点の座標値に一意に変換する行列を用いた変換である。この変換行列は、例えば下記式（１）の行列部に相当する。但し、パターン画像１２の座標値（Ｘｐ，Ｙｐ）に対応する撮影画像１２ａの座標値が（Ｘｃ，Ｙｃ）であり、λは定数である。

仮射影変換計算手段４ａは、上記式（１）の平面射影変換は自由度８であることから、図５に示すような座標値の対応から得られる８つの連立方程式を解くことで平面射影変換を求める。

同一平面取得手段４ｂは、仮射影変換計算手段４ａにより求められた平面射影変換を用い、パターン画像１２における、開始矩形ａ１に隣り合う特徴点（以下、隣接特徴点と称す）を平面射影変換し、変換後の座標値が撮影画像１２ａ内の対応する特徴点の座標値に一致するか否かを評価する。

例えば、図６（ａ）に示すようにパターン画像１２の隣接特徴点ｂ１が開始矩形ａ２と投影対象１０の投影領域で同一平面上にある場合、隣接特徴点ｂ１を射影変換した座標値と撮影画像１２ａ内の対応する特徴点ｂ２の座標値とが一致する。一方、パターン画像１２が投影対象１０に投影された際、図６（ｂ）に示すように特徴点ｂ１に隣接する特徴点ｃ１が開始矩形ａ２と同一平面にないならば、この特徴点ｃ１を射影変換した特徴点ｃ３の座標値と撮影画像１２ａ内の対応する特徴点ｃ２の座標値とは一致しない。

同一平面取得手段４ｂは、上述のようにして射影変換後の特徴点の座標値とこれに対応する撮影画像１２ａ内の座標値とが一致するか否かを評価し、一致する特徴点を投影対象１０の投影領域において開始矩形ａ１と同一平面にある特徴点とみなす（ステップＳＴ７）。例えば、図７（ａ）に示すように開始矩形ａ１を構成する各特徴点は撮影画像１２ａ内の矩形ａ２を構成する各特徴点の座標値と一致し、投影対象１０の投影領域で同一平面とみなされる。

この後、同一平面取得手段４ｂは、開始矩形ａ１から左右上下に特徴点の評価を行い、射影変換後の座標値が撮影画像１２ａ内の特徴点の座標値と一致する全ての特徴点を抽出し、これら同一平面にある複数の特徴点で囲まれる図７（ｂ）に示す平面領域ａ３，ａ４を求め、パターン画像１２及び撮影画像１２ａに割り当てる。

平面領域ａ３，ａ４を求めると、同一平面取得手段４ｂは、平面領域ａ３に含まれない特徴点４点の有無から同一平面への割り付けが終了したか否かを判定する（ステップＳＴ８）。ここで、平面領域ａ３に含まれない特徴点が４点ある場合、ステップＳＴ６の処理に戻り、これら特徴点４点に囲まれた矩形を開始矩形としてステップＳＴ６からステップＳＴ７までの処理を繰り返すことで、割り付けられた平面領域以外にある隣接特徴点と同一平面上にある特徴点の探索を実行する。

例えば、図７（ｂ）に示すようにパターン画像１２と撮影画像１２ａの間における同一平面領域ａ３，ａ４が求められると、該領域ａ３外にある隣接特徴点を含む矩形ｄ１を新たな開始矩形として上記特徴点探索を実行する。これにより、図７（ｂ）のように領域ａ３外にある隣接特徴点を含む矩形ｄ１について撮影画像１２ａ内の矩形ｄ２が対応するものとみなされる。

同一平面取得手段４ｂは、上述の処理を領域ａ３外にある全ての特徴点に対し実行することで、図７（ｃ）に示すような平面領域ｄ３，ｄ４を求める。この後、領域ｄ３に含まれないパターン画像１２内の特徴点４点に囲まれた矩形を開始矩形とし、決定された平面領域ｄ３以外にある隣接特徴点に対し、上記と同様な同一平面上にある特徴点の探索を行う。これにより、図７（ｃ）に示す同一平面領域ｅ１，ｅ２が求められる。このようにして同一平面領域の決定が完了すると、パターン画像１２は、複数の平面領域ａ３，ｄ３，ｅ１に割り付けられ、撮影画像１２ａは複数の平面領域ａ４，ｄ４，ｅ２に割り付けられる。

ステップＳＴ８で割り付けが終了したと判定されると、境界線取得手段４ｃは、割り付けられた平面領域から、後述のようにして、同一平面領域内の矩形が１パスで繋がる境界線領域を求め、境界線を算出する（ステップＳＴ９）。ここで、１パスとは、４つの特徴点で囲まれた矩形同士が１辺又は２辺を共有して繋がっていることを意味する。また、境界線領域とは、投影対象１０における互いに交差する平面の境界線位置に割り付けられた平面領域である。

図８（ａ）に示すように、パターン画像１２が平面領域ａ３，ｄ３，ｅ１に分割されている場合、図８（ｂ）に示す領域ｄ３内の矩形ｄ５は、平面領域ｄ３を構成する他の矩形と上下２辺をそれぞれ共有して繋がっている。同様に、平面領域ｄ３内の他の各矩形も、互いに１辺又は２辺を共有して繋がっている。このように、平面領域ｄ３では、全ての矩形が互いに１辺又は２辺を共有して繋がっていることから、境界線領域であると判断される。

一方、図８（ｂ）に示す領域ｅ１内の矩形ｅ２は、図８（ｂ）中に太線で示すように、同一平面領域内の他の矩形と３辺を共有して繋がっている。これにより、矩形ｅ２を含む領域ｅ１は、同一平面領域内の矩形同士が３辺以上を共有して繋がっているので非境界線領域と判断される。同様にして領域ａ３も非境界線領域と判断される。

境界線取得手段４ｃは、非境界線領域ａ３，ｅ１にあたる平面領域ごとにパターン画像１２内で縦若しくは横に並ぶ特徴点同士を特定し（図９（ａ）の例では、符号Ａで示すように横に並んだ特徴点）、特定された特徴点に対応する撮影画像１２ａ内の特徴点を、図９（ｂ）のように直線で結んで、非境界線領域ａ３，ｅ１に対応する平面領域ａ４，ｅ２に挟まれる境界領域ｄ４内の直線の交点ｆ１を求める。

同様にして、境界線取得手段４ｃが、非境界線領域ａ３，ｅ１にあたる平面領域ごとにパターン画像１２内で縦若しくは横に並ぶ特徴点同士を順次特定してゆき、図９（ｃ）に示すようにして、特定された特徴点に対応する撮影画像１２ａ内の特徴点を結んだ各直線の交点を通る境界線ｆ２を算出する。境界線ｆ２は、図９（ｄ）に示すように平面ｐ１，ｐ２を分割する直線の１次式で表現することができる。なお、境界領域が複数ある場合は複数の境界線を取得できる。

平面分割手段４ｄは、ステップＳＴ９で算出された境界線ｆ２を規定する情報（１次で表現した直線式）を用い、撮影画像１２ａに撮影された投影対象１０の投影領域に相当する領域を複数の平面に分割する（ステップＳＴ１０）。例えば、図９（ｄ）に示すように、ステップＳＴ９で算出された境界線ｆ２の１次直線式とパターン画像１２の辺に位置する特徴点を通る直線式とに基づいて、撮影画像１２ａにおける、撮影手段１から見た投影対象１０の投影領域に対応する領域を分割する平面ｐ１，ｐ２を特定する。これによって、投影対象１０の形状に応じた複数の平面領域が特定される。

射影変換計算手段５は、平面分割手段４ｄによって特定された平面毎に射影変換を算出する（ステップＳＴ１１）。具体的には、平面分割手段４ｄにより特定された平面内の特徴点４点を抽出し、仮射影変換計算手段４ａと同様の方法で各平面の射影変換を求める。
これらの射影変換データは、射影変換計算手段５によって平面毎に行列Ｐ₁，Ｐ₂，Ｐ₃，・・・と個別に管理される。

一方、表示領域変換行列算出手段７は、表示領域入力手段６で入力された表示領域データ１１を用いて、最終的に指定された表示矩形を変形して出力するための表示領域変換行列Iを求める（ステップＳＴ１２）。表示領域変換行列Iは、拡大縮小と平行移動の行列からなり、下記式（２）のような形式をとる。但し、表示領域を規定する表示矩形の左上の座標値を（ｘｃ１，ｙｃ１）、表示矩形の右下の座標値を（ｘｃ４，ｙｃ４）、撮影画像１２ａの横幅をｗｃ、縦幅をｈｃとし、最終的に出力する表示コンテンツ画像の横幅をｗｐ、縦幅をｈｐとしている。

ステップＳＴ１２で表示領域変換行列Iが求められると、歪み補正変形手段８は、平面毎の射影変換Ｐと表示領域変換行列Ｉとを用いて、表示コンテンツ１３である表示コンテンツ画像を変形する（ステップＳＴ１３）。例えば、プロジェクタ画像の各画素の座標値に対し行列ＩＰを作用させて得られる座標値をもって表示コンテンツ１３内の対応する画素値を参照して表示コンテンツ画像を変形する。ここで、プロジェクタ画像の各画素の座標値に作用させる行列Ｐは、プロジェクタ画像を投影対象１０の投影領域に投影した際、プロジェクタ画像内の各画素が属する平面に対応する射影変換を用いる。

なお、上述したように、プロジェクタ画像とパターン画像１２の解像度は同一であり、プロジェクタ画像とパターン画像１２の座標系が同一である。これにより、プロジェクタ画像内の画素が平面分割手段４ｄにより特定されたどの平面に属するかの判定は、境界線取得手段４ｃで求めた境界線ｆ２が属する平面の射影変換の逆変換を用いて、境界線ｆ２に対応する直線式をパターン画像１２の座標系で求め、この直線式で規定されるパターン画像１２の平面とプロジェクタ画像内の画素との対応を場合分けすることで可能である。

例えば、図１０に示すように、プロジェクタの最終出力であるプロジェクタ表示（プロジェクタ画像）は、上記平面の射影変換の逆変換を用いて算出した直線式で規定される直線によって平面Ｐ１，Ｐ２に区切られる。平面Ｐ１の射影変換をＰ₁、平面Ｐ２の射影変換をＰ₂とすると、歪み補正変形手段８は、プロジェクタ画像内の平面Ｐ１，Ｐ２に属する画素の座標値に対して行列ＩＰ₁、ＩＰ₂をそれぞれ作用させて得た座標値をもって、表示コンテンツ画像内の対応する画素値を参照し、表示コンテンツ画像内の画素とプロジェクタ画像内の画素とを対応付ける。

この後、歪み補正変形手段８は、上記対応付けに従い表示コンテンツ画像を変形する。変形処理された表示コンテンツ画像を規定するデータは、歪み補正変形手段８から出力部９に送られる。出力部９は、歪み補正変形手段８から入力した表示コンテンツ画像を投影対象１０の投影領域に投影する（ステップＳＴ１４）。

これにより、投影対象１０が互いに交差する平面ｐ１，ｐ２からなり、これら平面ｐ１，ｐ２の境界線を含む投影領域に表示コンテンツ画像を投影する場合であっても、撮影手段１の撮影位置からみた画像としては、図１０に示すように表示コンテンツ画像が境界線部分で歪むことなく、視認することができる。

以上のように、この実施の形態１によれば、複数のポイントを配列したパターン画像１２とこのパターン画像を表示した投影対象１０を撮影した撮影画像１２ａとのパターンマッチングを行い、ポイントを特徴点としてパターン画像１２と撮影画像１２ａとの特徴点の対応情報を求めるパターンマッチング手段３と、特徴点の対応情報に基づいて、撮影画像１２ａに撮影された投影対象１０の投影領域を構成する平面に相当する平面領域を特定する投影領域平面分割部４と、投影領域平面分割部４により特定された平面領域ごとにパターン画像１２から撮影画像１２ａへの射影変換情報を算出する射影変換計算手段５と、投影対象１０に表示すべき表示コンテンツ画像を撮像画像１２ａの座標系に合わせる変換行列を算出する表示領域変換行列算出手段７と、投影領域平面分割部４により特定された平面ごとの射影変換情報及び変換行列を用いて、撮影画像１２ａに撮影された投影対象１０の投影領域に合わせて表示コンテンツ画像を補正変形する歪み補正変形手段８とを備えるので、任意の形状を有する投影対象１０の投影領域を構成する平面を考慮して表示コンテンツ画像を精度良く歪み補正できる。また、パターン画像１２で規定されるポイント（特徴点）が、投影領域を構成する各平面について少なくとも４点あればよいことから、大量の特徴点を設定することなく、精度の高い歪み補正が可能であり、従来に比べ精度に対する演算量を低減できる。

なお、上記実施の形態１では、撮影手段１としてデジタルカメラを用いる場合を示したが、赤外線等の無線機構を用いて撮影手段１の制御部にデータを送ることで、撮影手段１の撮影位置等をリモートコントロールするようにしてもよい。これにより、多様な視点位置における適応的な歪み補正が可能となる。

また、上記実施の形態１では、出力部９によって表示コンテンツ画像を投影する表示領域と撮影手段１で撮影された画像との上下が一致する場合を示したが、プロジェクタが逆さに配置された場合であっても、上述のような歪み補正を施すことにより正常に表示コンテンツ画像を投影することができる。つまり、本発明は、撮影手段１、出力部９及び投影対象１０が様々な相対的な姿勢関係にある場合にも適用できる。

実施の形態２．
上記実施の形態１では、投影対象が互いに交差する２平面からなる複合面である場合を示したが、この実施の形態２は、曲率のある面を含む形状の投影対象に投影した画像の歪み補正を行うものである。

図１１は、この発明の実施の形態２による歪み補正装置の構成を示すブロック図であり、図１と同一又はこれに相当する構成要素には同一符号を付している。実施の形態２による歪み補正装置は、上記実施の形態１で示した図１と基本的な構成は同様であるが、同一平面取得手段４ｂが歪み許容入力手段１４により入力された歪み許容データ１５に基づいて、同一平面に属する特徴点の分類を行う点で異なる。

ここで、歪み許容データ１５は、投影対象１０の形状に対する投影画像の歪みの許容度を示すデータであり、例えば射影変換後のパターン画像１２内の特徴点が撮影画像１２ａにおける曲率のある面で同一平面とみなせる許容度を規定する。また、歪み許容入力手段１４は、実施の形態２による歪み補正装置を構成するコンピュータが歪み補正プログラムを実行することで、該コンピュータの入力装置と協働した具体的手段として実現され、入力されたデータを同一平面取得手段４ｂへ転送する機能を有する。

次に動作について説明する。
以降では、撮影手段１がカメラ解像度が縦３０００×横２０００画素のデジタルカメラであるものとし、プロジェクタ解像度が縦１０２４×横７６８画素のプロジェクタを出力部９とする。また、投影対象１０は、互いに交差する２つの曲面に囲まれた投影領域を有する。パターン画像１２は、垂直水平方向に等間隔に並んだ複数の点をプロットしたポイント画像であり、その解像度がプロジェクタである出力部９と同様の縦１０２４×横７６８画素とする。

パターン画像１２における全てのポイントは、パターン画像１２の他の画素と比較して輝度若しくは色に差がつけられているものとする。なお、カメラ解像度、パターン画像解像度及びプロジェクタ解像度は、互いに相関なく設定してもなんら問題はない。歪み許容データ１５としては、射影変換後のパターン画像１２内の特徴点が撮影画像１２ａにおける曲率のある面で同一平面とみなせる許容度が任意の定数で設定される。

図１２は、図１１中の歪み補正装置の動作を示すフローチャートであり、この図に沿って動作を説明する。先ず、歪み許容入力手段１４が、射影変換後のパターン画像１２内の特徴点が撮影画像１２ａにおける曲率のある面で同一平面とみなせる許容度を規定する歪み許容データ１５を入力し、同一平面取得手段４ｂへ転送する（ステップＳＴ１ａ）。この後、ステップＳＴ２ａからステップＳＴ７ａまでの処理は、上記実施の形態１で示した図２中のステップＳＴ１からステップＳＴ６までと同様である。

同一平面取得手段４ｂは、ステップＳＴ７ａで射影変換された特徴点の座標値とこれに対応する撮影画像１２ａ内の座標値とが一致するか否かを評価し、一致する特徴点を投影対象１０の投影領域において開始矩形ａ１と同一平面にある特徴点とみなす（ステップＳＴ８ａ）このとき、投影対象１０の曲率を有する面のうち、歪み許容データ１５の許容度で平面とみなされる面に属する特徴点については、同一平面としてグルーピングする。

例えば、歪み許容データ１５として、仮射影変換計算手段４ａにより射影変換されたパターン画像１２内の特徴点の座標値とこの特徴点の撮影画像１２ａ上の対応する特徴点の座標値との差分距離の許容範囲を設定する。これにより、射影変換後のパターン画像１２内の特徴点の座標値とこれに対応する撮影画像１２ａ内の特徴点の座標値との差分距離が歪み許容データ１５で規定される許容度以内であれば同一平面とみなす。

図１３は、歪み許容データを用いた同一平面の特徴点の取得処理を説明するための図であり、図１３（ａ）は歪み許容データにより同一平面とみなされる場合を示しており、図１３（ｂ）は歪み許容データにより同一平面とみなされない場合を示している。図１３（ａ）において、パターン画像１２内の開始矩形ａ１の隣接特徴点ｂ１を平面射影変換した座標値は、投影対象１０を構成する面から外れた撮影画像１２ａ内の点ｇ２の座標値に一致する。

このとき、同一平面取得手段４ｂは、撮影画像１２ａ内の投影対象１０を構成する面における特徴点を抽出し、抽出した撮影画像１２ａ内の特徴点の座標値と射影変換後の特徴点ｇ２の座標値との差分距離を算出して歪み許容データ１５内の範囲であるか否かを判定する。図１３（ａ）に示す撮影画像１２ａ内の投影対象１０を構成する面における特徴点ｇ１は射影変換後の特徴点ｇ２との差分距離が歪み許容データ１５の範囲内であることから、同一平面取得手段４ｂは、射影変換後の隣接特徴点ｂ１が撮影画像１２ａ内の特徴点ｇ１に対応するとみなし同一平面としてグルーピングする。

一方、図１３（ｂ）に示す撮影画像１２ａ内の投影対象１０を構成する面における特徴点ｇ３は射影変換後の特徴点ｇ２との差分距離が歪み許容データ１５の範囲外であることから、同一平面取得手段４ｂは、射影変換後の隣接特徴点ｂ１に対応する特徴点ではないとみなす。このようにすることで、所定範囲の曲率を有する面についても同一平面の特徴点のグルーピングが可能であり、曲面を含む投影対象１０も最終的に複数の平面に分割することができる。

ステップＳＴ９ａにおいて、境界線取得手段４ｃは、上記実施の形態１と同様にして、割り付けられた平面領域から同一平面領域内の矩形が１パスで繋がる境界線領域を求め、境界線を算出する。具体的には、非境界線領域にあたる同一平面領域毎にパターン画像１２内で縦若しくは横に並ぶ特徴点について撮影画像１２ａ内の対応する特徴点同士を直線で結び、これら直線を境界線領域側に延ばして両平面に挟まれる境界線領域内にある直線の交点を求め、この処理を繰り返して求めた各交点を通る直線を境界線として算出する。

例えば、図１４に示すように境界線領域ｄ３に接している矩形ａ５，ｅ４内で横に並ぶ符号ｈ１，ｈ２を付した特徴点を特定し、特定された特徴点に対応する撮影画像１２ａ内の特徴点をそれぞれ直線ｉ１，ｉ２で結んで境界線領域ｄ４側に延ばし、境界線領域ｄ４内の直線ｉ１，ｉ２の交点ｆ３を求める。次に、矩形ａ５，ｅ４内で横に並ぶ符号ｈ３，ｈ４を付した特徴点を特定し、同様の処理を施して交点を求め、これら交点を通る境界線を算出する。

以降、ステップＳＴ１０ａからステップＳＴ１５ａまでの処理は、上記実施の形態１で示した図２中のステップＳＴ９からステップＳＴ１４までと同様である。

以上のように、この実施の形態２によれば、平面射影変換した特徴点と曲率のある面に属する特徴点とを所定範囲内で同一平面とみなす歪み許容データ１５を設けたので、投影対象１０が曲面を含む場合であっても精度の高い歪み補正が可能となる。

実施の形態３．
上記実施の形態１，２では、最終的な表示矩形を規定する表示領域データ１１を指定して歪み補正する例を示したが、この実施の形態３は、表示コンテンツ１３から表示領域データ１１を作成し歪み補正するものである。

図１５は、この発明の実施の形態３による歪み補正装置の構成を示すブロック図であり、図１と同一又はこれに相当する構成要素には同一符号を付している。実施の形態３による歪み補正装置は、上記実施の形態１で示した図１と基本的な構成は同様であるが、表示領域入力手段６の代わりに表示領域検索手段（検索手段）１６を備える。表示領域検索手段１６は、実施の形態３による歪み補正装置を構成するコンピュータが歪み補正プログラムを実行することにより、該コンピュータのハードウェアとソフトウェアが協働した具体的手段として実現され、表示コンテンツ１３に基づいて最終的な表示矩形を規定する表示領域データ１１を作成する。

次に動作について説明する。
図１６は、図１５中の歪み補正装置の動作を示すフローチャートであり、この図に沿って動作を説明する。以降では、表示コンテンツ１３である表示コンテンツ画像のアスペクト比を保って最大サイズの表示矩形を確保する表示領域データ１１を生成する場合を例に挙げる。なお、アスペクト比とは画像の縦／横で求まる比率である。

ステップＳＴ１ｂからステップＳＴ１０ｂまでの処理は、上記実施の形態１で示した図２中のステップＳＴ２からステップＳＴ１１までと同様である。ステップＳＴ１０ｂで平面毎の射影変換が算出されると、表示領域検索手段１６は、表示コンテンツ１３を解析して表示コンテンツ画像のアスペクト比を求め、パターンマッチング手段３から入力した撮影画像１２ａとパターン画像１２との特徴点の対応情報に基づいて撮影画像１２ａ内の投影対象１０の投影領域に対応する領域を特定する。

具体的に説明すると、表示領域検索手段１６は、図１７（ａ）に示すように、パターン画像１２の辺に位置する特徴点群Ａ１〜Ａ４を求め、パターンマッチング手段３から入力した特徴点の対応情報を用いて、撮影画像１２ａ内で特徴点群Ａ１〜Ａ４に対応する特徴点群を特定する。次に、表示領域検索手段１６は、図１７（ｂ）に示すように、これら特徴点群をトレースすることで撮影画像１２ａ内の投影対象１０の投影領域に対応する領域Ｄを特定する。

投影領域に対応する領域Ｄを特定すると、表示領域検索手段１６は、表示コンテンツ１３のアスペクト比を維持しつつ、領域Ｄ内で最大の矩形を検索する処理を実行する。具体的に説明すると、図１８（ａ）に示す検索用矩形Ｅを、図１８（ｂ）に示すように領域Ｄ内の最左端に設定し、表示コンテンツ１３のアスペクト比を維持しつつ、領域Ｄ内に収容可能な最大サイズに拡大した検索用矩形Ｅ１を求める。

この後、表示領域検索手段１６は、検索用矩形Ｅ１を領域Ｄ内で１画素分右にずらし、表示コンテンツ１３のアスペクト比を維持しつつ、検索用矩形Ｅ１以上のサイズで領域Ｄ内に収容可能な検索用矩形を求める。以降、求めた検索用矩形を領域Ｄ内で１画素分右にずらし、図１９に示すように検索用矩形の右側の辺が領域Ｄの最右端に位置するまで上記処理を繰り返す。

これにより、図１９に示すような表示コンテンツ１３のアスペクト比を維持しつつ、検索用矩形の中で最大サイズの矩形Ｅ２が求められる。表示領域検索手段１６は、最大サイズの矩形Ｅ２の左上の座標値と右下の座標値を表示領域データ１１として表示領域変換行列算出手段７に出力する。ここまでの処理がステップＳＴ１１ｂに相当する。

以降、ステップＳＴ１２ｂからステップＳＴ１４ｂまでの処理は、上記実施の形態１で示した図２中のステップＳＴ１２からステップＳＴ１４までと同様である。

以上のように、この実施の形態３によれば、撮影画像１２ａ内の投影対象１０の投影対象１０の投影領域に対応する領域で表示コンテンツ１３のアスペクト比に応じた表示矩形を検索するので、表示領域データ１１を指定する操作を省略することができるとともに、適応的に最終的な表示矩形を決定することができる。

また、上記実施の形態３では、上記実施の形態１の構成に適用する例を示したが、図１１に示す上記実施の形態２の構成で表示領域入力手段６の代わりに表示領域検索手段１６を設けてもよい。

なお、上記実施の形態３では、今回は最大矩形を選ぶ例を示したが、撮影画像１２ａの中心に矩形を確保するようにしたり、表示コンテンツ１３のアスペクト比に合わせるだけでなく、ハイビジョンの１６：９やＮＴＳＣの４：３と固定して検索することも可能である。

この発明の実施の形態１による歪み補正装置の構成を示すブロック図である。図１中の歪み補正装置の動作を示すフローチャートである。パターン画像及び撮影画像を示す図である。３×３のフィルタを示す図である。平面射影変換の取得処理を説明するための図である。同一平面に属する特徴点を分類する処理を説明するための図である。平面への割り付け処理を説明するための図である。境界線領域の決定処理を説明するための図である。境界線の算出処理を説明するための図である。表示コンテンツの補正変形処理を説明するための図である。この発明の実施の形態２による歪み補正装置の構成を示すブロック図である。図１１中の歪み補正装置の動作を示すフローチャートである。歪み許容データを用いた同一平面の特徴点の取得処理を説明するための図である。境界線の算出処理を説明するための図である。この発明の実施の形態３による歪み補正装置の構成を示すブロック図である。図１４中の歪み補正装置の動作を示すフローチャートである。撮影画像内の投影領域に対応する領域を特定する処理を説明するための図である。最終的な表示矩形を検索する処理を説明するための図である。最終的な表示矩形を検索する処理を説明するための図である。

符号の説明

１撮影手段、２撮影画像受信手段、３パターンマッチング手段、４投影領域平面分割部（表示領域分割手段）、４ａ仮射影変換計算手段、４ｂ同一平面取得手段、４ｃ境界線取得手段、４ｄ平面分割手段、５射影変換計算手段、６表示領域入力手段、７表示領域変換行列算出手段（変換行列算出手段）、８歪み補正変形手段、９出力部、１０投影対象、１１表示領域データ、１２パターン画像、１２ａ撮影画像、１３表示コンテンツ、１４歪み許容入力手段、１５歪み許容データ、１６表示領域検索手段（検索手段）。

Claims

複数のポイントを配列したパターン画像とこのパターン画像を表示した表示対象を撮影した撮影画像とのパターンマッチングを行い、前記ポイントを特徴点として前記パターン画像と前記撮影画像との特徴点の対応情報を求めるパターンマッチング手段と、
前記特徴点の対応情報に基づいて、前記撮影画像に撮影された前記表示対象の表示領域を構成する平面に相当する平面領域を特定する表示領域分割手段と、
前記表示領域分割手段により特定された平面領域ごとに前記パターン画像から前記撮影画像への射影変換情報を算出する射影変換計算手段と、
前記表示対象に表示すべき表示画像を前記撮像画像の座標系に変換する変換行列を算出する変換行列算出手段と、
前記表示領域分割手段により特定された平面ごとの射影変換情報及び前記変換行列を用いて、前記撮影画像に撮影された前記表示対象の表示領域に合わせて前記表示画像を補正変形する歪み補正変形手段とを備え、
前記表示領域分割手段は、
前記パターンマッチング手段により求められた特徴点の対応情報に基づいて、前記パターン画像から撮影画像への平面射影変換情報を求める仮射影変換計算手段と、
前記仮射影変換計算手段により求められた平面射影変換情報に基づいて、前記撮影画像に撮影された表示対象の表示領域内で同一平面にある特徴点を分類する同一平面取得手段と、
前記同一平面取得手段により分類された特徴点の情報から前記表示領域を構成する平面に相当する平面領域間の境界線を算出する境界線取得手段と、
前記境界線取得手段により算出された境界線の情報を用いて、前記撮影画像に撮影された表示対象の表示領域を構成する平面領域を特定する平面分割手段とを備えたことを特徴とする歪み補正装置。
撮影画像に撮影された表示対象の表示領域内で同一平面にある特徴点を分類する際の許容度を規定する歪み許容データの入力を受け付ける歪み許容入力手段を備え、
前記同一平面取得手段は、前記歪み許容入力手段を介して入力された前記歪み許容データに基づいて同一平面にある特徴点の分類を行うことを特徴とする請求項１記載の歪み補正装置。
表示画像を表示する所定の表示条件に合致した領域を撮影画像に撮影された表示対象の表示領域内で検索する検索手段を備え、
前記変換行列算出手段は、前記表示画像を前記検索手段により検索された前記領域に合わせる変換行列を算出することを特徴とする請求項１または請求項２記載の歪み補正装置。