JP6394081B2 - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。

画像を投影する投影面の検知結果を用いて画像歪みを補正する技術が知られている。投影面の検知方法としては、例えば、投影面に投影した投影画像の撮影画像から、投影面の枠を示すスクリーン枠を検出する方法が開示されている（例えば、特許文献１参照）。

特許文献１には、測定用パターンにより形成される投写領域上の複数の測定点の三次元座標を測定し、測定点の三次元座標を用いて投写領域上の段差部を含む段差領域を撮影画像から検出することで、段差領域からスクリーン枠を検出することが開示されている。そして、特許文献１では、このスクリーン枠の形状に基づいて、投影対象の画像データの歪みを補正する。

しかしながら、従来では、環境条件の影響により投影面を精度よく検知出来ない場合があり、投影画像の歪みを精度よく補正することは困難であった。

本発明は、上記に鑑みてなされたものであって、投影画像の歪みを精度よく補正可能な補正情報を提供することができる、画像処理装置、画像処理システム、画像処理方法、及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の第１特徴点が配列された第１パターン画像および前記第１特徴点に対応する複数の第２特徴点を含む第２パターン画像を投影面に投影させる制御を行う投影制御部と、投影された前記第１パターン画像の第１撮影画像、及び平面状の投影面に投影された前記第２パターン画像の第２撮影画像を撮影部から取得する取得部と、前記第２撮影画像における前記第２特徴点を予め定めた方向に連結した第２連結成分と、前記第１撮影画像における該第２連結成分を構成する該第２特徴点に対応する位置の前記第１特徴点を連結した第１連結成分と、を抽出する抽出部と、前記第２連結成分に対する前記第１連結成分のずれ量を算出するずれ量算出部と、前記ずれ量に基づいて投影対象画像を補正する第１補正情報を算出する第１算出部と、を備えた画像処理装置である。

本発明によれば、投影画像の歪みを精度よく補正可能な補正情報を提供することができる、という効果を奏する。

図１は、本実施の形態の画像処理システムを示す模式図である。 図２は、第１パターン画像及び第２パターン画像の一例を示す図である。 図３は、第１パターン画像と第１撮影画像の一例を示す図である。 図４は、第１補正部を示す図である。 図５は、座標変換を示す模式図である。 図６は、抽出部を示す図である。 図７は、（ｕ，ｖ）座標系の説明図である。 図８は、座標変換の説明図である。 図９は、第２連結成分の生成結果の一例を示す図である。 図１０は、第１連結成分の生成結果の一例を示す図である。 図１１は、第２連結成分に対する第１連結成分のずれの説明図である。 図１２は、第１補正処理部による補正の説明図である。 図１３は、第２補正部を示す図である。 図１４は、投影領域の説明図である。 図１５は、投影領域の説明図である。 図１６は、画像処理の手順を示すフローチャートである。 図１７は、第１補正処理の手順を示すフローチャートである。 図１８は、連結成分抽出処理の手順を示すフローチャートである。 図１９は、隣接特徴点特定処理の手順を示すフローチャートである。 図２０は、隣接特徴点特定処理の手順を示すフローチャートである。 図２１は、特定された隣接特徴点の関係を示す図である。 図２２は、隣接特徴点のない特徴点の例を示す図である。 図２３は、第２補正処理の手順を示すフローチャートである。 図２４は、近似平面算出処理の手順を示すフローチャートである。 図２５は、回帰平面データの算出法の説明図である。 図２６は、正面画像生成の説明図である。 図２７は、包含領域算出の説明図である。 図２８は、正面画像と投影対象画像との関係の説明図である。 図２９は、第１パターン画像の他の例を示す図である。 図３０は、第３パターン画像の一例を示す模式図である。 図３１は、第２パターン画像の他の例を示す図である。 図３２は、第１パターン画像及び第２パターン画像の一例を示す図である。 図３３は、本変形例の説明図である。 図３４は、画像処理システムの他の構成例を示す図である。 図３５は、クラウドを備えた画像処理システムの一例を示す模式図である。 図３６は、コンピュータの構成を示すハードウェア構成図である。

図１は、本実施の形態の画像処理システム１０を示す模式図である。

画像処理システム１０は、投影装置１４と、撮影装置１６と、画像処理装置１８と、を含む。投影装置１４、撮影装置１６、及び画像処理装置１８は、ネットワーク等の通信回線を介して接続されている。

ネットワークは、有線通信網であっても無線通信網であってもよい。ネットワークは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用い、Ｅｔｈｅｒｎｅｔ（登録商標）やＴＣＰ／ＩＰなどの通信プロトコルを利用する。

投影装置１４は、投影対象の投影対象画像を投影面１２へ投影する装置である。投影面１２は、スクリーン、壁、ホワイトボード等であるが、これらに限られない。投影装置１４は、投影部１４Ａを備えている。投影部１４Ａは、投影対象画像を投影面１２へ投影する。本実施の形態では、投影部１４Ａは、画像処理装置１８によって制御される。

撮影装置１６は、投影面１２に投影された投影画像を撮影する。撮影装置１６は、撮影部１６Ａを備える。撮影部１６Ａは、投影面１２に投影された投影画像を撮影し、撮影画像を取得する。本実施の形態では、撮影部１６Ａは、画像処理装置１８によって制御される。

画像処理装置１８は、投影装置１４及び撮影装置１６を制御する。画像処理装置１８は、制御部２０及び記憶部２２を備える。

記憶部２２は、投影対象の投影対象画像や、投影対象画像の補正に用いる第１パターン画像及び第２パターン画像等の各種データを記憶する。また、記憶部２２は、制御部２０の制御によって作成された各種情報等を記憶する。

第１パターン画像は、複数の第１特徴点が配列された画像である。本実施の形態では、一例として、第１パターン画像は、複数の第１特徴点が格子状に配列された形態である場合を説明する。なお、第１特徴点の配列は、格子状に限定されない。第２パターン画像は、第１特徴点に対応する複数の第２特徴点を含む画像である。例えば、第２パターン画像は、第１パターン画像の一部の画像で構成する。なお、第２パターン画像は、複数の第２特徴点を含む画像であればよく、第１パターン画像の一部の画像である場合に限定されない。

本実施の形態では、第１特徴点及び第２特徴点を総称する場合には、単に「特徴点」と称して説明する。特徴点は、画像処理装置１８で抽出可能な領域であり、投影対象の投影対象画像の補正情報の算出に用いられる。

図２は、第１パターン画像６２Ａ及び第２パターン画像６０Ａの一例を示す図である。図２（Ａ）は、第１パターン画像６２Ａの一例を示す図である。本実施の形態では、第１パターン画像６２Ａは、正四角形の白色領域と正四角形の黒色領域とが交互に格子状に配列された画像である。本実施の形態では、第１パターン画像６２Ａにおける第１特徴点１００は、黒色領域を構成する正四角形の頂点と、白色領域を構成する正四角形の頂点と、が一致する各点である。

図２（Ｂ）は、第２パターン画像６０Ａの一例を示す図である。本実施の形態では、第２パターン画像６０Ａは、第１パターン画像６２Ａの中央に相当する領域を含み、且つ複数の第２特徴点２００を含む画像である。すなわち、第２パターン画像６０Ａと第１パターン画像６２Ａとを重ねると、第２パターン画像６０Ａにおける各第２特徴点２００の位置は、第１パターン画像６２Ａにおける第１特徴点１００の位置と一致する。

第２パターン画像６０Ａにおける第２特徴点２００についても、第１特徴点１００と同様に、黒色領域を構成する正四角形の頂点と、白色領域を構成する正四角形の頂点と、が一致する各点である。すなわち、本実施の形態では、第２パターン画像６０Ａは、第１パターン画像６２Ａの中央部分の領域を、複数の第１特徴点１００を含むように抽出した画像である。

また、本実施の形態では、第２パターン画像６０Ａは、複数の第２特徴点２００として、所定方向に隣接する３つの第２特徴点２００と、これらの３つの特徴点に該所定方向に直交する方向に隣接する３つの第２特徴点２００、の合計９つの第２特徴点２００を含む画像である場合を説明する。

なお、本実施の形態では、第２パターン画像６０Ａは、第１パターン画像６２Ａの中央部分に相当する画像であり且つ複数の第２特徴点２００を含む画像である場合を説明するが、第２パターン画像６０Ａは第１パターン画像６２Ａの一部の画像であり且つ複数の第２特徴点２００を含む画像であればよく、中央部分の画像に限られない。

ただし、精度よく後述する第１補正情報を算出する観点から、第２パターン画像６０Ａは、第１パターン画像６２Ａの中央部分の画像であることが好ましい。これは、投影対象画像を投影した投影画像の中心付近が、投影面１２上にのる可能性が最も高いためである。

また、本実施の形態では、第２パターン画像６０Ａは、複数の第２特徴点２００として、９つの第２特徴点２００を含む画像である場合を説明したが、第２パターン画像６０Ａは、少なくとも２以上の第２特徴点２００を含む画像であればよく、４以上の第２特徴点２００を含むことが好ましく、８以上の第２特徴点２００を含むことがより好ましい。第２パターン画像６０Ａが第２特徴点２００を多く含むほど、より精度よく第１補正情報を算出することができる。

図１に戻り、説明を続ける。制御部２０は、画像処理装置１８を制御する。制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。

制御部２０は、投影制御部２４、撮影制御部２６、取得部２８、第１補正部３０、及び第２補正部３２を備える。これらの投影制御部２４、撮影制御部２６、取得部２８、第１補正部３０及び第２補正部３２は、例えば、ＣＰＵ等の処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

投影制御部２４は、投影部１４Ａを制御する。本実施の形態では、投影制御部２４は、投影部１４Ａを制御することで、投影対象画像としての第１パターン画像６２Ａ及び第２パターン画像６０Ａを投影面１２に投影させる制御を行う。また、投影制御部２４は、投影対象画像として、各種の投影対象の投影対象画像を投影面１２へ投影させるように投影部１４Ａを制御する。

なお、本実施の形態では、第２パターン画像６０Ａを投影面１２へ投影させるときには、投影面１２は平面状の投影面であるものとする。平面状の投影面１２とは、投影された投影画像に歪みが生じない程度に平面状の投影面１２であることを示す。歪みは、投影面１２に投影された投影画像の、投影対象の投影対象画像（投影前の画像）に対する歪みを意味する。すなわち、第２パターン画像６０Ａを投影面１２へ投影した第２投影画像には、歪が生じていないものとする。言い換えると、第２投影画像における各第２特徴点２００の位置と、投影前の画像である第２パターン画像６０Ａにおける各第２特徴点２００の位置と、の間にズレが生じていないものとする。

一方、本実施の形態では、第１パターン画像６２Ａを投影面１２へ投影させるときには、投影面１２は各種の投影対象画像を投影するときの実際の投影条件となっているものとする。すなわち、第１パターン画像６２Ａを投影面１２へ投影した第１投影画像には、投影面１２に応じた歪みが生じていてもよいし、第１撮影画像における第１特徴点１００の位置と、投影前の画像である第１パターン画像６２Ａにおける各第１特徴点１００の位置と、の間にはズレが生じていてもよい。

撮影制御部２６は、撮影部１６Ａを制御する。本実施の形態では、撮影制御部２６は、投影面１２に投影された投影画像を撮影するように撮影部１６Ａを制御する。取得部２８は、撮影部１６Ａによる撮影によって得られた撮影画像を取得する。本実施の形態では、取得部２８は、投影面１２に投影された第１パターン画像６２Ａ（すなわち、第１投影画像）を撮影することによって得られた第１撮影画像、及び投影面１２に投影された第２パターン画像６０Ａ（すなわち、第２投影画像）を撮影することによって得られた第２撮影画像を取得する。

なお、第１パターン画像６２Ａ撮影時における、投影面１２と投影装置１４との相対位置を示す第１相対位置と、第２パターン画像６０Ａ撮影時における、投影面１２と投影装置１４との相対位置を示す第２相対位置と、は同じであることが好ましい。

図３は、第１パターン画像６２Ａと第１撮影画像６２Ｂの一例を示す図である。複数の第１特徴点１００が格子状に配列された第１パターン画像６２Ａが（図３（Ａ）参照）投影面１２に投影される。この第１パターン画像６２Ａが投影されることによって投影面１２に投影された第１投影画像が撮影部１６Ａによって撮影される。取得部２８は、撮影部１６Ａから、図３（Ｂ）に示す第１撮影画像６２Ｂを取得する。図３（Ｂ）に示すように、第１撮影画像６２Ｂは、投影面１２に応じて歪んだ形状となる。

図１に戻り、第１補正部３０は、投影対象画像を補正するための第１補正情報の算出処理を行う機能部である。図４は、第１補正部３０を示す図である。

第１補正部３０は、座標抽出部３３、変換部３８、抽出部４０、ずれ量算出部４２、ずれ判別部４４、第１算出部４６、及び第１補正処理部４８を含む。

座標抽出部３３は、撮影画像に含まれる特徴点の二次元の座標を抽出する。座標抽出部３３は、第１座標抽出部３４及び第２座標抽出部３６を含む。第１座標抽出部３４は、第１撮影画像６２Ｂから、第１撮影画像６２Ｂに含まれる各第１特徴点１００の二次元の座標（以下、第１座標と称する）を抽出する。詳細には、第１座標抽出部３４は、第１撮影画像６２Ｂの左上頂点の位置を位置情報の原点（０，０）として、第１撮影画像６２Ｂの各第１特徴点１００の第１座標を抽出する。

第２座標抽出部３６は、第２撮影画像から、第２撮影画像に含まれる各第２特徴点２００の二次元の座標（以下、第２座標と称する）を抽出する。詳細には、第２座標抽出部３６は、第２撮影画像６０Ｂの左上頂点の位置を原点（０，０）として、第２撮影画像６０Ｂにおける各第２特徴点２００の第２座標を抽出する。

変換部３８は、第２座標抽出部３６で抽出された第２撮影画像６０Ｂの各第２特徴点２００の第２座標を、第１撮影画像６２Ｂ上の第１座標に座標変換する。

本実施の形態では、変換部３８は、射影変換行列Ｈ_ｃｐを算出することで、変換処理を実行する。

第２撮影画像６０Ｂの各第２特徴点２００の第２座標（ｘ_ｃ，ｙ_ｃ）に対応する、第１撮影画像６２Ｂ上の位置を示す第１座標を（ｘ_ｐ，ｙ_ｐ）とする。すると、射影変換行列Ｈ_ｃｐには、下記式（１）が成り立つ。

ここで、式（１）の右辺と左辺とは、同次座標系で等しい（全成分の定数倍以外は等しい）ことを示す。また、射影変換行列Ｈ_ｃｐは下記式（２）で示される。

このため、式（１）は、下記式（３）で表すことができる。

上記式（１）〜式（３）により、第１撮影画像６２Ｂ上の第１座標（ｘ_ｐ，ｙ_ｐ）は、下記式（４）及び式（５）で示される。

なお、上記式（２）〜式（５）中、ｈ_１〜ｈ_８は、射影変換の未知係数である。

本実施の形態では、上述したように、第２パターン画像６０Ａは９つの第２特徴点２００を含むことから、変換部３８は、第２撮影画像６０Ｂの９つの第２特徴点２００毎に、第１撮影画像６２Ｂ上の第１座標（ｘ_ｐ，ｙ_ｐ）を算出することで、座標変換を行う。

図５は、変換部３８による座標変換を示す模式図である。

図５（Ａ）に示すように第２撮影画像６０Ｂにおける各第２特徴点２００（２００ａ〜２００ｉ）の第２座標が、図５（Ｂ）に示す第１撮影画像６２Ｂ上の第１座標に座標変換されることで、各第２特徴点２００の第１撮影画像６２Ｂ上の二次元の座標が得られる。

すなわち、変換部３８が、第２座標抽出部３６で抽出された第２撮影画像６０Ｂの各第２特徴点２００の位置座標を、第１撮影画像６２Ｂ上の位置座標に変換することで、歪みのない第２撮影画像６０Ｂの各第２特徴点２００の位置座標を、第１撮影画像６２Ｂ上の位置に反映させることができる。

図４に戻り、抽出部４０は、第２連結成分と、第１連結成分と、を抽出する。第２連結成分とは、変換部３８によって座標変換された後の、第２撮影画像６０Ｂにおける第２特徴点２００を予め定めた方向に連結した成分である。すなわち、第２連結成分は、変換部３８によって第１座標に座標変換された第２特徴点２００を予め定めた方向に連結した線状の画像によって示される。

第１連結成分は、第１撮影画像６２Ｂにおける、第２連結成分を構成する各第２特徴点２００に対応する位置の第１特徴点１００を連結した成分である。すなわち、第１連結成分は、第１特徴点１００を連結した線状の画像によって示される。

図６は、抽出部４０を示す図である。抽出部４０は、座標変換部４０Ａ、特定部４０Ｂ、及び連結成分生成部４０Ｃを含む。

座標変換部４０Ａは、第１撮影画像６２Ｂの各第１特徴点１００の第１座標、及び変換部３８で第１座標に座標変換された第２撮影画像６０Ｂの各第２特徴点２００の第１座標の各々を、（ｕ，ｖ）座標系に変換する。図７は、（ｕ，ｖ）座標系の説明図である。なお、第１座標は、図７中、ｘ軸とｙ軸によって示される座標系によって表される座標である。図７中では、ｘ軸における右方向がｘ軸における正方向、下方向がｙ軸における正方向である。以下では、各撮影画像における特徴点の総数をＣ、第ｉ番目の特徴点をＡ［ｉ］、その第１座標を（ｘ［ｉ］，ｙ［ｉ］）と示している。

（ｕ，ｖ）座標系は、第１座標の座標系（図７中、（ｘ，ｙ）座標系）を、原点（０，０）位置を固定して予め定めた角度（例えば４５°）傾けた座標系である。

座標変換部４０Ａは、第１撮影画像６２Ｂの各第１特徴点１００の第１座標、及び変換部３８で座標変換された第２撮影画像６０Ｂの各第２特徴点２００の第１座標の各々を、下記式（６）及び式（７）を用いて、（ｕ，ｖ）座標系に変換する。

式（６）及び式（７）中、ｉは１以上の整数である。また、上述したように、第ｉ番目の特徴点をＡ［ｉ］、その第１座標を（ｘ［ｉ］，ｙ［ｉ］）と示している。また、（ｕ，ｖ）座標系の座標は、（ｕ［ｉ］，ｖ［ｉ］）で示される。

図８は、（ｕ，ｖ）座標系への座標変換の説明図である。座標変換部４０Ａが、このような（ｕ，ｖ）座標系への座標変換を行う理由としては、歪みの生じる前の画像における特徴点の配列の連結規則を把握するためである。（ｕ，ｖ）座標系への座標変換によって、図８に示すように、第１特徴点１００のｖ座標に注目すると、ｖ座標において、ある第１特徴点１００ａよりも、ｖ座標の小さい第１特徴点１００ｂは、必ず第１特徴点１００ａよりも上側、または左側に位置することとなる。同様に、第２特徴点２００のｖ座標に注目すると、ｖ座標において、ある第２特徴点２００ａよりも、ｖ座標の小さい第２特徴点２００ｂは、必ず第２特徴点２００ａよりも上側、または左側に位置することとなる。

図６に戻り、特定部４０Ｂは、（ｕ，ｖ）座標系へ変換された第１特徴点１００について、隣接する第１特徴点１００を特定する。また、特定部４０Ｂは、（ｕ，ｖ）座標系へ変換された第２特徴点２００について、隣接する第２特徴点２００を特定する。

具体的には、特定部４０Ｂは、（ｕ，ｖ）座標系へ変換された第１特徴点１００、及び（ｕ，ｖ）座標系へ変換された第２特徴点２００の各々について、ｖ座標を基準に、値の小さいものから順に並び替えを行う。並び替えのなされた第１特徴点１００には、ｖ座標の値が小さいものから順にｉ（１＜＝ｉ＜＝Ｃの整数）が付与される。このＣは、第１撮影画像６２Ｂに含まれる第１特徴点１００の総数を示す。

同様に、並び替えのなされた第２特徴点２００には、ｖ座標の値が小さいものから順にｉ（１＜＝ｉ＜＝Ｃの整数）が付与される。このＣは、第２撮影画像６０Ｂに含まれる第２特徴点２００の総数を示す。

そして、特定部４０Ｂは、（ｕ，ｖ）座標系へ変換された後に上記並べ替えのなされた各第２特徴点２００を順に選択し、選択した第２特徴点２００に対して、上側及び左側の２方向に隣接する第２特徴点２００を特定する。なお、この特定方向は、最終的に全ての第２特徴点２００の位置が特定できればよく、少なくとも２方向であれば、例えば上と右、右と下、４方向全てを特定するようにしてもよい。また、上述の並び替えにおいては、特定する方向を上と左方向としたため、上側と左側に位置する特徴点を特定しやすいように、ｖ座標の大小で並べ替えることとしたが、並び替えに使用する座標は、特定する方向に応じて変更するのがよい。

また、特定部４０Ｂは、（ｕ，ｖ）座標系へ変換された後に上記並べ替えのなされた各第１特徴点１００についても同様に順に選択し、選択した第１特徴点１００に対して、上側及び左側の２方向に隣接する第１特徴点１００を特定する。

連結成分生成部４０Ｃは、第２連結成分及び第１連結成分を生成する。連結成分生成部４０Ｃは、第１特徴点１００や第２特徴点２００を連結するラベリング処理を実行することで、第２連結成分及び第１連結成分を生成する。

詳細には、連結成分生成部４０Ｃは、特定部４０Ｂで特定された隣接する第１特徴点１００を、予め定めた第１方向に連結していき、連結成分を抽出し、それぞれのラベリングを付与する。これによって、連結成分生成部４０Ｃは、複数の第１連結成分を生成する。また、連結成分生成部４０Ｃは、特定部４０Ｂで特定された隣接する第２特徴点２００を、該第１方向に連結していき、複数の連結成分を抽出し、それぞれのラベリングを付与する。これによって、連結成分生成部４０Ｃは、複数の第２連結成分を生成する。

一般にラベリングとは二値画像上の隣接する黒画素同士を連結していって黒画素連結成分を抽出する処理を指すが、ここでいうラベリングは連結対象が黒画素から特徴点に置き換わったものであり、具体的な処理手順については従来から広く利用されている公知のラベリング手法をそのまま用いることができる。

図９は、複数の第２連結成分Ｌ２の生成結果の一例を示す図である。図９に示すように、連結成分生成部４０Ｃは、第１座標に変換され更に（ｕ，ｖ）座標系へ変換された後に上記並べ替えのなされた第２特徴点２００を第１方向（図９中では、矢印Ｓ方向（左右方向））に連結することで、複数の第２連結成分Ｌ２（Ｌ２ａ〜Ｌ２ｃ）を生成する。そして、さらに、連結成分生成部４０Ｃは、複数の第２連結成分Ｌ２（Ｌ２ａ〜Ｌ２ｃ）の内、１つの第２連結成分Ｌ２ｂを選択する。

本実施の形態では、複数の第２連結成分Ｌ２（Ｌ２ａ〜Ｌ２ｃ）の内、画像中央に相当する領域に位置する第２特徴点２００を通る第２連結成分Ｌ２である第２連結成分Ｌ２ｂを選択する。

図１０は、複数の第１連結成分Ｌ１の生成結果の一例を示す図である。図１０に示すように、連結成分生成部４０Ｃは、（ｕ，ｖ）座標系へ変換された後に上記並べ替えのなされた第１特徴点１００について、第１方向（図１０中では、矢印Ｓ方向（左右方向））に連結することで、複数の第１連結成分Ｌ１（Ｌ１ａ〜Ｌ１ｊ）を生成する。そして、さらに、連結成分生成部４０Ｃは、複数の第１連結成分Ｌ１（Ｌ１ａ〜Ｌ１ｊ）の内、上記選択した第２連結成分Ｌ２ｂを構成する第２特徴点２００に対応する第１特徴点１００を含む１つの第１連結成分Ｌ１ｆを選択する。

図４に戻り、ずれ量算出部４２は、第２連結成分Ｌ２ｂに対する第１連結成分Ｌ１ｆのずれ量を算出する。図１１は、第２連結成分Ｌ２ｂに対して、第１連結成分Ｌ１ｆを構成する各第１特徴点１００がずれ量Ｈに相当する量ずれた状態を示している。なお、図１１に示すように、ずれ量Ｈは、第１特徴点１００の位置毎に異なる値となる場合がある。ずれ量の算出方法の詳細は後述する。

図４に戻り、ずれ判別部４４は、ずれ量算出部４２で算出されたずれ量に基づいて、ずれが生じているか否かを判別する。第１算出部４６は、ずれ判別部４４でずれが生じていると判別された場合に、ずれ量算出部４２で算出されたずれ量に基づいて、投影対象画像を補正するための第１補正情報を算出する。第１補正処理部４８は、算出された第１補正情報を用いて、投影対象画像を補正する。

図１２は、第１補正処理部４８による補正の説明図である。図１２に示すように、第１補正処理部４８は、ずれ量に応じて、投影対象画像における、各第１特徴点１００に対応する位置の画素の画素位置を、該ずれ量に応じたずれが相殺されるように補正する。

図１に戻り、第２補正部３２は、第１補正部３０で補正された投影対象画像を更に補正するための第２補正情報の算出処理を行う機能部である。

図１３は、第２補正部３２を示す図である。

第２補正部３２は、三次元座標算出部５０、投影領域算出部５２、第２算出部５４、及び第２補正処理部５６を含む。

三次元座標算出部５０は、第１パターン画像６２Ａと、第１撮影画像６２Ｂと、を用いて、第１パターン画像６２Ａを投影面１２に投影した第１投影画像における、第１特徴点１００の三次元座標を算出する。この三次元座標の算出は、公知の技術を用いて行う。例えば、この三次元座標の算出は、プロジェクタとカメラの一般的なステレオ測距法（参照論文：投影画像の幾何補正に関する実験的検討 東北大 高橋、青木ら）を用いて行う。

投影領域算出部５２は、投影対象画像を投影する投影領域を算出する。図１４及び図１５は、投影領域の説明図である。図１４及び図１５に示すように、投影面１２に対して投影対象画像を投影したときに、投影面１２内に投影された第１特徴点１００（図１４、図１５中の○）の群Ａ１については問題無く投影されるが、投影面１２から外れた位置に投影された第１特徴点１００（図１４、図１５中の×）の群Ａ２については、ふさわしくない位置に投影されていることとなる。

図１３に戻り、このため、投影領域算出部５２は、投影面１２に相当する三次元空間上の領域に第１特徴点１００が位置するように、投影領域を算出する。

投影領域算出部５２は、近似平面算出部５２Ａ、正面画像生成部５２Ｂ、及び投影領域生成部５３Ｃを含む。

近似平面算出部５２Ａは、投影面１２を含む平面に近似する近似平面を算出する。近似平面の算出方法の詳細は後述する。

正面画像生成部５２Ｂは、近似平面算出部５２Ａで算出された近似平面を、該近似平面に対して法線方向から撮影したときに得られる正面画像を生成する。

正面画像生成部５２Ｂは、三次元座標算出部５０で算出された各第１特徴点１００の三次元座標と、算出された近似平面と、を用いて、近似平面内に位置する第１特徴点１００を抽出する。そして、正面画像生成部５２Ｂは、近似平面内に位置する、三次元座標によって特定される第１特徴点１００による三次元点群を、透視投影変換行列Ｐを用いて二次元の平面に投影することで、正面画像を生成する。

透視投影変換行列Ｐは、下記式（８）によって示される。

式（８）中、Ａは内部パラメータを示し、Ｒは、外部パラメータである回転行列を示し、ｔは平行移動ベクトルを示す。

内部パラメータＡは、近似平面を近似平面の法線方向から撮影することで正面画像を得る仮想カメラを仮定し、この仮想カメラの光軸座標、撮像素子の行と列のスケール、焦点距離ｆなどを用いて定められる行列（３×３）である。回転行列Ｒは、画像処理システム１０に設けられた実際の撮影装置１６から、この仮想カメラまでの回転を示す行列（３×３）である。

平行移動ベクトルｔは、実際の撮影装置１６から仮想カメラまでの平行移動を示すベクトル（３×１）である。

投影領域生成部５３Ｃは、近似平面算出部５２Ａによって算出された近似平面と、正面画像生成部５２Ｂによって生成された正面画像と、を用いて、投影画像を投影する投影領域を生成する。

第２算出部５４は、投影された投影画像が投影領域に収まるように、投影対象画像を補正するための第２補正情報を算出する。第２補正処理部５６は、第２補正情報に基づいて、第１補正情報に基づいて補正された投影対象画像を補正する。

次に、本実施の形態の画像処理装置１８で実行する画像処理の手順を説明する。

図１６は、画像処理装置１８が実行する画像処理の手順を示すフローチャートである。

投影制御部２４が、記憶部２２に記憶されている第２パターン画像６０Ａを読取る（ステップＳ１０２）。次に、投影制御部２４が、ステップＳ１０２で読取られた第２パターン画像６０Ａを投影面１２に投影する投影指示を示す信号を投影部１４Ａへ出力する（ステップＳ１０４）。この投影指示を示す信号を受け付けた投影部１４Ａは、受け付けた投影指示に含まれる第２パターン画像６０Ａを投影面１２に投影する。

次に、撮影制御部２６が撮影指示を撮影部１６Ａへ出力する（ステップＳ１０６）。撮影指示を受け付けた撮影部１６Ａは、投影面１２に投影されている投影画像（ここでは第２投影画像）を撮影し、撮影によって得た第２撮影画像６０Ｂを制御部２０へ出力する。

次に取得部２８が、撮影部１６Ａから第２撮影画像６０Ｂを取得する（ステップＳ１０８）。取得部２８は、取得した第２撮影画像６０Ｂを、記憶部２２へ記憶する。

次に、投影制御部２４が、記憶部２２に記憶されている第１パターン画像６２Ａを読取る（ステップＳ１１０）。次に、投影制御部２４が、ステップＳ１１０で読取られた第１パターン画像６２Ａを投影面１２に投影する投影指示を示す信号を投影部１４Ａへ出力する（ステップＳ１１２）。この投影指示を示す信号を受け付けた投影部１４Ａは、受け付けた投影指示に含まれる第１パターン画像６２Ａを投影面１２に投影する。

次に、撮影制御部２６が撮影指示を撮影部１６Ａへ出力する（ステップＳ１１４）。撮影指示を受け付けた撮影部１６Ａは、投影面１２に投影されている投影画像（ここでは第１投影画像）を撮影し、撮影によって得た第１撮影画像６２Ｂを制御部２０へ出力する。

次に取得部２８が、撮影部１６Ａから第１撮影画像６２Ｂを取得する（ステップＳ１１６）。取得部２８は、取得した第１撮影画像６２Ｂを、記憶部２２へ記憶する。

次に、第１補正部３０が第１補正処理を実行する（ステップＳ１１８）。次に、第２補正部３２が第２補正処理を実行する（ステップＳ１２０）。次に、投影制御部２４が、ステップＳ１１８及びステップＳ１２０の処理によって補正された投影対象画像の投影指示を示す信号を投影部１４Ａへ出力する（ステップＳ１２２）。ステップＳ１２２の処理によって、この投影指示を示す信号を受け付けた投影部１４Ａは、受け付けた信号に含まれる補正後の投影対象画像を投影面１２へ投影する。これによって、投影面１２には、歪の抑制された投影対象画像が投影される。そして、本ルーチンを終了する。

次に、ステップＳ１１８の第１補正処理の手順を説明する。図１７は、第１補正部３０が実行する第１補正処理の手順を示すフローチャートである。

第１座標抽出部３４が、記憶部２２に記憶された第１撮影画像６２Ｂから、第１撮影画像６２Ｂに含まれる各第１特徴点１００の第１座標を抽出する（ステップＳ２０２）。

次に、第２座標抽出部３６が、記憶部２２に記憶されている第２撮影画像６０Ｂから、第２撮影画像６０Ｂに含まれる各第２特徴点２００の第２座標を抽出する（ステップＳ２０４）。

次に、変換部３８が、第２座標抽出部３６で抽出された第２撮影画像６０Ｂの各第２特徴点２００の第２座標を、第１撮影画像６２Ｂ上の第１座標に座標変換する変換処理を実行する（ステップＳ２０６）。

次に、抽出部４０が第２連結成分と第１連結成分を抽出する連結成分抽出処理を実行する（ステップＳ２０８）。連結成分抽出処理については詳細を後述する。

次に、ずれ量算出部４２が、第２連結成分Ｌ２ｂに対する第１連結成分Ｌ１ｆのずれ量を算出する（ステップＳ２１０）。ずれ量算出部４２は、第２連結成分Ｌ２ｂを構成する各第２特徴点２００に対する、各第２特徴点２００に対応する、第１連結成分Ｌ１ｆを構成する各第１特徴点１００のずれ量を、該第１連結成分Ｌ１ｆを構成する第１特徴点１００毎に算出することで、第２連結成分Ｌ２ｂに対する第１連結成分Ｌ１ｆのずれ量を算出する。このずれ量は、詳細には、第２連結成分Ｌ２ｂを構成する各第２特徴点２００と、各第２特徴点２００に対応する、第１連結成分Ｌ１ｆを構成する各第１特徴点１００と、の距離を算出することで得られる。

次に、ずれ判別部４４が、第２連結成分Ｌ２ｂに対して第１連結成分Ｌ１ｆにずれが有るか否かを判別する（ステップＳ２１２）。ステップＳ２１２では、ずれ判別部４４は、ステップＳ２１０で算出されたずれ量が「０」（ゼロ）であるか否かを判断することで、ステップＳ２１２の判別を行う。ずれ量が「０」である状態とは、第１連結成分Ｌ１ｆと、第２連結成分Ｌ２ｂと、が、長尺方向の一端側から他端側の全体に渡って完全に重なった状態を示す。ステップＳ２１２で否定判断すると（ステップＳ２１２：Ｎｏ）、本ルーチンを終了する。

ステップＳ２１２で肯定判断すると（ステップＳ２１２：Ｙｅｓ）、ステップＳ２１４へ進む。ステップＳ２１４では、第１算出部４６が、ステップＳ２１０で算出されたずれ量に基づいて、投影対象画像を補正するための第１補正情報を算出する（ステップＳ２１４）。第１算出部４６は、ステップＳ２１０で算出された、第２連結成分Ｌ２ｂを構成する第２特徴点２００毎のずれ量を相殺する補正値を、第１補正情報として算出する。具体的には、ずれ量算出部４２で算出された各第２特徴点２００のずれ量を用いて、各第２特徴点２００のずれ量を「０」とする方向（対応する第１特徴点１００の位置と一致する方向）に、各第２特徴点２００の位置座標の値を補正するための第１補正情報を算出する。

次に、第１補正処理部４８が、ステップＳ２１４で算出された第１補正情報を用いて、投影対象画像を補正する第１補正処理を実行する（ステップＳ２１６）。そして、本ルーチンを終了する。

ステップＳ２０２〜ステップＳ２１６の処理が実行されることによって、図１２に示す第１連結成分Ｌ１ｆを構成する第１特徴点１００が、第２連結成分Ｌ２ｂを構成する第２特徴点２００の位置に一致するように、投影対象画像における各第１特徴点１００に対応する位置が変更される。また、図１０及び図１２に示すように、投影対象画像における、第２連結成分Ｌ２ｂに直交する方向に配列されている他の各第１連結成分Ｌ１を構成する第１特徴点１００についても、同様にして、第１補正処理が実行される。

次に、ステップＳ２０８で実行する連結成分抽出処理を説明する。図１８は、抽出部４０が実行する連結成分抽出処理の手順を示すフローチャートである。

座標変換部４０Ａが、座標変換を行う（ステップＳ３０２）。ステップＳ３０２では、座標変換部４０Ａが、第１撮影画像６２Ｂの各第１特徴点１００の第１座標、及び変換部３８で座標変換された第２撮影画像６０Ｂの各第２特徴点２００の第１座標の各々を、（ｕ，ｖ）座標系に変換する。

次に、特定部４０Ｂが、ソート処理を実行する（ステップＳ３０４）。特定部４０Ｂは、（ｕ，ｖ）座標系へ変換された第１特徴点１００、及び（ｕ，ｖ）座標系へ変換された第２特徴点２００の各々について、ｖ座標を基準に、値の小さいものから順に並び替えを行う。

次に、特定部４０Ｂが、隣接特徴点特定処理を実行する（ステップＳ３０６）。ステップＳ３０６では、特定部４０Ｂは、（ｕ，ｖ）座標系へ変換された後に上記並べ替えのなされた各第２特徴点２００を順に選択し、選択した第２特徴点２００に対して、上側及び左側の２方向に隣接する第２特徴点２００を特定する。

次に、連結成分生成部４０Ｃが、ラベリング処理を実行する（ステップＳ３１０）。上述したように、ラベリング処理を実行することで、連結成分生成部４０Ｃは、第２連結成分及び第１連結成分を生成する。

そして、連結成分生成部４０Ｃは、複数の第２連結成分Ｌ２（Ｌ２ａ〜Ｌ２ｃ）の内、１つの第２連結成分Ｌ２ｂを選択すると共に、複数の第１連結成分Ｌ１（Ｌ１ａ〜Ｌ１ｊ）の内、上記選択した第２連結成分Ｌ２ｂを構成する第２特徴点２００に対応する第１特徴点１００を含む第１連結成分Ｌ１ｆを選択する（ステップＳ３１２）。そして、本ルーチンを終了する。

次に、特定部４０Ｂが実行する隣接特徴点特定処理の手順を説明する。図１９及び図２０は、特定部４０Ｂが実行する隣接特徴点特定処理の手順を示すフローチャートである。なお、特定部４０Ｂは、第１特徴点１００及び第２特徴点２００の双方の隣接点について、図１９及び図２０の処理を実行する。

図１９は、ある選択された特徴点の左側に隣接する特徴点を特定する処理の流れを示すフロー図である。図２０は、ある選択された特徴点の上側に隣接する特徴点を特定する処理の流れを示すフロー図である。

図１９に示されるように、まず特定部４０Ｂは、ｉ＝１番目の第１特徴点１００から処理を行うため、ｉ＝１とする（ステップＳ４０２）。ｉは並び替え後に第１特徴点１００に付与された番号である。次いで、特定部４０Ｂは、最も距離の近い特徴点の番号を示すＪｍｉnを０に、最小の特徴点間の距離を示す閾値であるＤＮｍｉｎを、予め暫定に設定した閾値であり、各特徴点間の距離の最大値として設定した値であるＴよりも１大きい値に、ｉ番目の特徴点と比較するｊ番目の特徴点を示す番号ｊをｉより１小さい値にそれぞれ設定する（ステップＳ４０４）。ｉよりも左側に存在する可能性のある第１特徴点１００のみを処理対象とすればよいため、ｊはｉよりも小さい値のみでよい。

次いで、特定部４０Ｂは、ｊが１以上であって、かつｖ[ｉ]−ｖ[ｊ]が閾値Ｔ以下であるか否かを判定する（ステップＳ４０６）。ｊが１より小さい場合は、すなわちｊが０となる場合は、ｉが１であるため、始点である場合や、選択した特徴点Ａ[ｉ]を、左側にある可能性のある全ての特徴点Ａ[ｊ]と比較し終わった場合である。また、ｖ[ｉ]−ｖ[ｊ]が閾値Ｔ以下であるかを判定することで、選択した特徴点Ａ[ｉ]との距離が予め定めた閾値であるＴよりも大きい特徴点Ａ[ｊ]は以降の処理の対象から除外することで、処理にかかる負荷を抑制している。

ｊが１以上であって、かつｖ[ｉ]−ｖ[ｊ]が閾値Ｔ以下であると判定された場合（ステップＳ４０６：Ｙｅｓ）、次いで特定部４０Ｂは、ｕ[ｉ]−ｕ[ｊ]が０より小さいか否かを判定する（ステップＳ４０８）。ｕ[ｉ]−ｕ[ｊ]は、ｊ番目の第１特徴点１００ａがｉ番目の第１特徴点１００ａよりも座標空間において上側に存在するか否かを判定するための値である。図１９の処理では、選択した第１特徴点１００の左側に隣接する特徴点を特定することから、ｕ[ｉ]−ｕ[ｊ]が０より小さい第１特徴点１００を検索する。ｕ[ｉ]−ｕ[ｊ]が０より小さいと判定された場合（ステップＳ４０８：Ｙｅｓ）、次いで、２つの特徴点の座標、Ａ［ｉ］とＡ［ｊ］との間のベクトルのノルムであるＤＮを以下の式（９）に沿って算出する（ステップＳ４１０）。

次いで、特定部４０Ｂは、ＤＮがＴ以下であって、かつＤＮがＤＮ＜ＤＮｍｉｎであるか否かを判定する（ステップＳ４１２）。ＤＮがＴ以下であるか否かを判定することにより、特徴点間の距離が予め定めた閾値であるＴより大きい場合は、以降の処理から除外することで、処理負担を抑制している。また、ＤＮをＤＮｍｉｎと比較することで、特徴点がこれまで比較した特徴点同士の間で最も距離が近いものであるか否かが判別される。ＤＮがＴ以下であって、かつＤＮ＜ＤＮｍｉｎであると判定された場合（ステップＳ４１２：Ｙｅｓ）、特定部４０Ｂは、ＤＮｍｉｎをＤＮの値に更新するとともに、Ｊｍｉｎにｊを代入する（ステップＳ４１４）。Ｊｍｉｎは、選択した特徴点と最も距離の近い第１特徴点１００の番号を示す値である。そして、特定部４０Ｂは、特徴点のＡ［ｉ］の左隣接特徴点番号をＪｍｉｎとし、ステップＳ４１８へと移行する（ステップＳ４１６）。

一方、ｊが１より小さいか、ｖ[ｉ]−ｖ[ｊ]が閾値Ｔより大きい場合（ステップＳ４０６：Ｎｏ）、ｕ[ｉ]−ｕ[ｊ]が０以上の場合（ステップＳ４０８：Ｎｏ）、ＤＮがＴより大きいか、ＤＮがＤＮｍｉｎ以上であると判定された場合（ステップＳ４１２：Ｎｏ）、次の特徴点と隣接関係にあるか否かの判定を行うべく、ｊを１減算する（ステップＳ４１８）。そして、ｊが１以上であるか否かが判定され（ステップＳ４２０）、ｊが１以上の場合は（ステップＳ４２０：Ｙｅｓ）、ステップＳ４０６へと戻り、ｊが１より小さい場合は（ステップＳ４２０：Ｎｏ）、ステップＳ４２２へと進む。

そして、ステップＳ４１６においてある選択された特徴点であるＡ[ｉ]についての左隣接特徴点が特定されると、特定部４０Ｂはｉを１加算し（ステップＳ４２２）、ｉが最大値であるＣに達したか否かを判定する（ステップＳ４２４）。ｉが最大値であるＣに達した場合（ステップＳ４２４：Ｙｅｓ）、処理は終了し、一方、ｉが最大値であるＣに達していないと判定された場合（ステップＳ４２４：Ｎｏ）、ステップＳ４０４から処理を繰り返す。

図２０の上隣接特徴点を特定する処理においては、ステップＳ５０８のみが異なり、ｕ[ｉ]−ｕ[ｊ]が０より大きいか否かが判定される（ステップＳ５０８）。ある第１特徴点１００のＡ[ｉ]よりもＡ[ｊ]が上側に存在する場合、ｕ[ｉ]−ｕ[ｊ]は０よりも大きくなる。したがって、上隣接特徴点を特定する場合、ステップＳ５０８の処理において、第１特徴点１００が絞り込まれる。以上の処理では探索をｊ＝ｉ−１から始めてｊ＝１に向かって進め、ｖ［ｉ］−ｖ［ｊ］＞Ｔとなった時点で、それよりも小さいｊでは必ずｖ［ｉ］−ｖ［ｊ］＞Ｔ、ひいてはＤＮ＞Ｔであることが確実となることから探索を終了しており、処理にかかる負担をさらに削減している。

この処理を行うことにより、左側の隣接特徴点と、上側の隣接特徴点に同じ特徴点が特定されてしまうといった問題を防ぐことができる。上述のような方法で特定されたある第１特徴点１００ａのＡ[ｉ]の上隣接特徴点番号と、左隣接特徴点番号は、図２１に示されるように、注目要素ごとに特定され、この対応関係は記憶部２２におけるバッファに記憶される。なお図２２に示されるように、グリッド配列の外周部に位置する特徴点群１００ｘや、撮影画像において特徴点にある欠損があり、左、又は上に欠損が存在する特徴点群１００ｙに対しては、対応する左（上）隣接特徴点番号に「隣接なし」を意味する０を設定しておく。

次に、第２補正部３２が実行する第２補正処理の手順を説明する。図２３は、第２補正部３２が実行する第２補正処理の手順を示すフローチャートである。

まず、三次元座標算出部５０が、第１パターン画像６２Ａと、第１撮影画像６２Ｂと、を用いて、第１パターン画像６２Ａを投影面１２に投影した第１投影画像における、第１特徴点１００の三次元座標を算出する（ステップＳ６００）。

次に、近似平面算出部５２Ａが、投影面１２を含む平面に近似する近似平面を算出する近似平面算出を実行する（ステップＳ６０２）。

図２４は、近似平面算出部５２Ａが実行する近似平面算出処理の手順を示すフローチャートである。

まず、近似平面算出部５２Ａは、三次元座標算出部５０で三次元座標を算出された第１特徴点１００（以下、三次元点群と称する場合がある）の距離データを算出する（ステップＳ７００）。距離データの算出は、各第１特徴点１００の三次元座標について、投影装置１４から投影面１２へ向かう方向の座標を読取ることによって算出できる。

次に、近似平面算出部５２Ａは、ステップＳ７００で算出された各第１特徴点１００の距離データから、投影面１２に対応する平面の情報として、回帰平面データを算出する（ステップＳ７０２）。回帰平面データを算出する方法について、図２５を用いて、具体的に説明する。

図２５（Ａ）は、回帰分析をした後の回帰平面Ｐ１を示す。図２５（Ｂ）は、後述のステップＳ７０８で推定した、回帰平面から最も離れた特徴点を除外した後の回帰平面Ｐ２を示す。

図２５（Ａ）において、三次元座標算出部５０によって、例えば、第１特徴点１００としてｎ個の特徴点（Ｘ_ＡＢｉ，Ｙ_ＡＢｉ，Ｚ_ＡＢｉ）（ｉ＝１〜ｎ）の三次元座標が算出されているとする（図中の○、△、及び×を参照）。

近似平面算出部５２Ａは、回帰分析によって、これらの第１特徴点１００から回帰平面を算出するため、回帰平面の方程式をｚ＝ａｘ＋ｂｙ＋ｃと定義する。このとき、回帰平面と三次元点群とは、下記式（１０）の関係が成り立つ。

ここで、上記式（１０）の各変数は、下記式（１１）である。

上記式（１１）において、ｅ_ｉは残差を示す。

次に、正規方程式は、式（１２）で示される。

よって、βは、下記式（１３）で示される。

以上より、近似平面算出部５２Ａは、最小二乗法などを用いて、残差ｅ_ｉの平方和が最小となる定数（パラメータ）ａ、ｂ、及び、ｃを算出することにより、回帰平面（図２５のＰ１及びＰ２）を求める。また、近似平面算出部５２Ａは、回帰平面データとして、回帰平面の方程式（ｚ＝ａｘ＋ｂｙ＋ｃ）の定数ａ、ｂ、及び、ｃを取得する。

図２４に戻り、回帰平面データの取得が完了すると、ステップＳ７０４に進む。ステップＳ７０４では、近似平面算出部５２Ａは、上記算出した回帰平面と三次元点群との距離Ｄ_ＡＢｉを算出し、回帰平面から最も離れた三次元点群の対応点Ｐ_ＭＡＸ（Ｘ_ＡＢＤ，Ｙ_ＡＢＤ，Ｚ_ＡＢＤ）とその距離Ｄ_ＭＡＸを抽出する（図２５（Ａ）のＰ_ＭＡＸ）。具体的には、特徴点（Ｘ_ＡＢｉ，Ｙ_ＡＢｉ，Ｚ_ＡＢｉ）から、平面（αｘ＋βｙ＋γｚ＋δ＝０）までの距離を、下記数（１４）により、算出する。

そして、近似平面算出部５２Ａは、回帰平面と三次元点群のすべての点との距離を算出し、その距離の絶対値が最大となる第１特徴点１００を選択する。これによって、近似平面算出部５２Ａは、算出した回帰平面から最も離れた特徴点Ｐ_ＭＡＸ（Ｘ_ＡＢＤ，Ｙ_ＡＢＤ，Ｚ_ＡＢＤ）を抽出する（ステップＳ７０４）。

次に、近似平面算出部５２Ａは、特徴点Ｐ_ＭＡＸ（Ｘ_ＡＢＤ，Ｙ_ＡＢＤ，Ｚ_ＡＢＤ）に関する距離Ｄ_ＭＡＸが、予め定めた閾値以下であるか否かを判断する（ステップＳ７０６）。ステップＳ７０６で否定判断すると（ステップＳ７０６：Ｎｏ）、ステップＳ７０８へ進む。

この閾値は、投影面１２と投影装置１４との距離に対応する値とする。この閾値は、予め測定して記憶部２２に記憶しておけばよい。また、この閾値は、画像処理システム１０における被写界深度に対応する値としてもよい。

ステップＳ７０８では、近似平面算出部５２Ａは、特徴点Ｐ_ＭＡＸ（Ｘ_ＡＢＤ，Ｙ_ＡＢＤ，Ｚ_ＡＢＤ）を、回帰平面内に位置する第１特徴点１００の群から除外し（ステップＳ７０８）、上記ステップＳ７０２へ戻る。

一方、ステップＳ７０６で肯定判断すると（ステップＳ７０６：Ｙｅｓ）、ステップＳ７１０へ進む。ステップＳ７１０では、近似平面算出部５２Ａは、ステップＳ７０２で算出した回帰平面を、投影面１２に対応する近似平面と推定し、本ルーチンを終了する。

ステップＳ７００〜ステップＳ７１０の処理によって、近似平面算出部５２Ａは、投影面１２に相当する近似平面を推定する。また、近似平面算出部５２Ａは、回帰平面からの距離が閾値を越える特徴点を除外することで近似平面を算出するので、画像処理システム１０と投影面１２との間に障害物があるときであっても、精度よく近似平面を算出することができる。

図２３に戻り、次に、正面画像生成部５２Ｂが、正面画像を生成する（ステップＳ６０４）。

正面画像は、近似平面算出部５２Ａが算出した近似平面を該近似平面の法線方向から撮影したと仮定したときの画像である。

図２６は、正面画像生成の説明図である。図２６では、近似平面における第１特徴点１００の群Ｐｇｒｐの中心（重心）位置Ｃｇからその平面の法線方向Ｎの延長線上に仮想カメラ（撮像手段を含むプロジェクタなど）１６Ａを配置したと仮定することを示す。

図２６に示すように、画像処理システム１０では、実際のカメラである撮影装置１６が、第１撮影画像や第２撮影画像等の撮影画像を得る。

正面画像生成部５２Ｂは、近似平面Ｐ２の法線方向Ｎの延長線上に設置された仮想カメラ１６Ａから近似平面Ｐ２を撮影したときに得られる正面画像を算出する。具体的には、正面画像生成部５２Ｂは、上述した透視投影変換行列Ｐを用いて、三次元点群Ｐｇｒｐを、仮想カメラ１６Ａから撮影された撮影画像に対応する平面である二次元の平面に投影することで、正面画像を算出する。

図２３に戻り、次に、投影領域生成部５３Ｃが、包含領域を算出する（ステップＳ６０６）。包含領域とは、三次元点群において、近似平面上に存在する第１特徴点１００（三次元点群）を包み込む領域である。

図２７は、包含領域算出の説明図である。図２７（Ａ）は、正面画像における三次元点群Ｐｇｒｐ（第１特徴点１００）の説明図である。図２７（Ｂ）は、包含領域及び後述する投影領域の説明図である。

図２７（Ａ）において、投影領域生成部５３Ｃは、正面画像において、各第１特徴点１００の三次元座標から算出された距離データに基づいて、近似平面上にある特徴点（図２７中の○、図２６の三次元点群Ｐｇｒｐ参照）を抽出する。次に、投影領域生成部５３Ｃは、図２７（Ｂ）において、抽出した特徴点（図２７中の○参照）について、抽出した該特徴点の全てを包み込む包含領域を算出する。該包含領域は、図２７（Ｂ）に示すように、該図中の○印を含む包含領域Ｃ１である。

図２３に戻り、投影領域生成部５３Ｃは、投影領域を算出する（ステップＳ６０８）。投影領域は、ステップＳ６０６で算出された包含領域Ｃ１に包含される第１特徴点１００（図２７中の○）をもっとも多く含む矩形の領域である（図２７中、投影領域Ｃ２参照）。この投影領域Ｃ２の形状及びアスペクト比は、例えば、投影対象画像のアスペクト比と同一とする。具体的には、１６００×１２００ピクセルの投影対象画像を投影する場合は、投影領域のアスペクト比を４：３とする。

次に、第２算出部５４が、上記ステップＳ６０８で算出された投影領域Ｃ２内に位置する第１特徴点１００（図２７（Ｂ）中、Ｍ_Ｖ１〜Ｍ_Ｖ４参照）を選択する（ステップＳ６１０）。例えば、第２算出部５４は、ステップＳ６０８で算出された投影領域Ｃ２内に位置する第１特徴点１００として、正面画像の４隅の点である４点を選択する。

次に、第２算出部５４は、ステップＳ６１０で選択された第１特徴点１００（図２７（Ｂ）中、Ｍ_Ｖ１〜Ｍ_Ｖ４参照）に対応する、第１補正部３０によって補正された投影対象画像における対応点を抽出する（ステップＳ６１２）。対応点の抽出は、上記距離データの算出と同様にすればよい。

次に、第２算出部５４は、射影変換行列Ｈｃｐを算出する（ステップＳ６１４）。第２算出部５４は、正面画像上の特徴点に対応する、投影対象画像上の４つの対応点を用いて、射影変換行列Ｈｃｐを算出する。

次に、第２算出部５４は、ステップＳ６０８で算出した投影領域Ｃ２の４隅に対応する、投影対象画像に関する４つの補正点を算出する（ステップＳ６１６）。

この補正点の算出方法を、図２８を用いて、具体的に説明する。図２８は、正面画像と投影対象画像との関係の説明図である。図２８（Ａ）は、正面画像上の投影領域Ｃ２の４隅の点の説明図である。図２８（Ｂ）は、投影対象画像上の４つの補正点の説明図である。

図２８（Ａ）に示すように、ステップＳ６１２の処理において、第２算出部５４は、ステップＳ６０８で算出した投影領域Ｃ２の４隅の点（図２８中、ＵＲｖ、ＵＬｖ、ＤＲｖ、及び、ＤＬｖ）を抽出する。次に、図２８（Ｂ）に示すように、第２算出部５４は、この４隅の点に対応する投影対象画像上の４つの補正点（図２８中、ＵＲｖａ、ＵＬｖａ、ＤＲｖａ、及び、ＤＬｖａ）を、射影変換行列Ｈｃｐを用いて算出する（ステップＳ６１４〜ステップＳ６１６）。

図２３に戻り、次に、第２補正処理部５６が、第２補正情報を算出する（ステップＳ６１８）。

第２補正処理部５６は、投影対象画像の４隅の点（図２８（Ｂ）のＵＲａ等）を、ステップＳ６１６で算出した４つの補正点（ＵＲｖａ等）に変形（補正）するための補正変換行列Ｈｐｐを算出する。補正変換行列Ｈｐｐの算出方法は、ステップＳ６１４と同様のため、説明を省略する。

この補正変換行列Ｈｐｐの算出を完了すると、この補正変換行列Ｈｐｐを、第２補正情報として記憶部２２に記憶する。次に、第２補正処理部５６が、この第２補正情報を用いて、第１補正部３０で補正された投影対象画像を更に補正する（ステップＳ６２０）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の画像処理システム１０によれば、投影制御部２４が、複数の第１特徴点１００が格子状に配列された第１パターン画像６２Ａ、及び第１パターン画像６２Ａの一部の画像であり且つ複数の第２特徴点２００を含む第２パターン画像６０Ａを投影面１２に投影させる制御を行う。取得部２８は、投影された第１パターン画像６２Ａの第１撮影画像６２Ｂ、及び平面状の投影面に投影された第２パターン画像６０Ａの第２撮影画像６０Ｂを撮影部１６Ａから取得する。抽出部４０は、第２撮影画像６０Ｂにおける第２特徴点２００を予め定めた方向に連結した第２連結成分Ｌ２と、第１撮影画像６２Ｂにおける該第２連結成分Ｌ２を構成する該第２特徴点２００に対応する位置の第１特徴点１００を連結した第１連結成分Ｌ１と、を抽出する。ずれ量算出部４２は、第２連結成分Ｌ２に対する第１連結成分Ｌ１のずれ量を算出する。第１算出部４６は、ずれ量に基づいて投影対象画像を補正する第１補正情報を算出する。

このように、本実施の形態の画像処理システム１０によれば、第１パターン画像６２Ａ及び第２パターン画像６０Ａを用いて、第１補正情報を算出する。

このため、本実施の形態の画像処理システム１０によれば、外光変化等の環境変化といった外乱の影響によって、算出される補正情報の精度が低下することが抑制される。従って、本実施の形態の画像処理システム１０によれば、投影画像の歪みを精度よく補正可能な補正情報を提供することができる。

また、第１補正に加えて、更に、第２補正を行うことで、更に精度の高い補正情報を提供することができる。

なお、本実施の形態では、第１パターン画像６２Ａ及び第２パターン画像６０Ａとして、図２に示すパターンを用いる場合を説明したが、これらのパターン画像は、特徴点が格子状に配列された画像であればよく、図２に示すパターンに限られない。

図２９は、第１パターン画像６２Ａの他の例を示す図である。図２９（Ａ）に示すように、第１パターン画像６２Ａは、黒色の背景画像に白色の格子模様を配置した画像であってもよい。また、図２９（Ｂ）に示すように、第１パターン画像６２Ａは、白色の背景画像に黒色の点状画像を格子状に配置した画像であってもよい。また、第２パターン画像６０Ａは、これらの第１パターン画像６２Ａの一部の画像であり、且つ複数の特徴点を含む画像であればよい。図２９（Ａ）に示す格子状のパターンを用いた場合、環境光等による外乱の無いことが想定できれば、このパターンから精度よく特徴点の位置座標を抽出することができ、結果的に精度の高い補正情報を提供できる。また、図２９（Ｂ）に示す点状画像の集合を用いた場合、各点状画像の重心を検知することで、環境光等による外乱の影響を受けにくく、正確な位置座標を抽出することができ、結果的に精度の高い補正情報を提供できる。

＜変形例１＞
なお、上記実施の形態では、画像処理装置１８は、２枚のパターン画像（第１パターン画像６２Ａ、第２パターン画像６０Ａ）の撮影画像（第１撮影画像６２Ｂ、第２撮影画像６０Ｂ）を用いる場合を説明した。しかし、画像処理装置１８は、１枚のパターン画像の撮影画像を用いて、第１補正情報を算出してもよい。

この場合、第３パターン画像を用いればよい。図３０は、第３パターン画像６３Ａの一例を示す模式図である。第３パターン画像６３Ａは、第１パターン画像６３Ａ_１上に、第２パターン画像６３Ａ_２を埋め込んだ画像である。

図３０に示す例では、第１パターン画像６３Ａ_１は、四角形の白色領域と四角形の黒色領域とが交互に格子状に配列された画像である。第１パターン画像６３Ａ_１における第１特徴点は、黒色領域を構成する正四角形の頂点と、白色領域を構成する正四角形の頂点と、が一致する各点である。

また、図３０に示す例では、第２パターン画像６３Ａ_２は、第１パターン画像６３Ａ_１の中央に配置され、白色の背景領域に、円状の黒色ドット（黒色の点状画像）を格子状に配置した構成である。第２パターン画像６３Ａ_２における第２特徴点は、円状の各黒色ドットである。

この場合、画像処理装置１８では、第３パターン画像６３Ａを、予め記憶部２２に記憶する。そして、投影制御部２４が、記憶部２２に記憶されている第３パターン画像６３Ａを読取り、投影面１２に投影するように、投影部１４Ａを制御する。そして、撮影制御部２６の制御によって、第３パターン画像６３Ａの第３撮影画像６３Ｂを撮影する。

次に第１補正部３０が第１補正処理を実行する。このとき、第１補正部３０は、第３撮影画像６３Ｂにおける、第２パターン画像６３Ａ_２に相当する領域を第２撮影画像６３Ｂ_２として抽出する。また、第１補正部３０は、第３撮影画像６３Ｂにおける、第１パターン画像６３Ａ_１に相当する領域を第１撮影画像６３Ｂ_１として抽出する。そして、第１補正部３０は、これらの第１撮影画像６３Ｂ_１及び第２撮影画像６３Ｂ_２を用いて、上記実施の形態と同様の処理を実行することで、第１補正処理を実行すればよい。また、第２補正部３２は、第１補正部３０で抽出された第１撮影画像６３Ｂ_１及び第２撮影画像６３Ｂ_２を用いて、実施の形態と同様の処理を実行すればよい。

このように、第１パターン画像６３Ａ_１上に、第２パターン画像６３Ａ_２を埋め込んだ第３パターン画像６３Ａを用いることで、１回の撮影によって、２つの撮影画像（第１撮影画像６３Ｂ_１及び第２撮影画像６３Ｂ_２）を得ることができる。このため、上記実施の形態の効果に加えて更に、処理の高速化、および、簡略化を図ることができる。

＜変形例２＞
上記実施の形態では、第２パターン画像６０Ａは、第１パターン画像６２Ａの中央に相当する領域の画像である場合を説明した（図２参照）。しかし、第２パターン画像６０Ａは、第１パターン画像６２Ａの中央に限定されず、第１パターン画像６２Ａ内の任意の領域の画像であってもよい。

図３１は、第２パターン画像６０Ａの他の例を示す図である。図３１（Ａ）は、第２パターン画像６０Ａが、図２（Ａ）に示す第１パターン画像６２Ａの左上に相当する領域の画像（第２パターン画像６４Ａ）である場合を示す図である。また、図３１（Ｂ）は、第２パターン画像６０Ａが、図２（Ａ）に示す第１パターン画像６２Ａの右下に相当する領域の画像（第２パターン画像６５Ａ）である場合を示す図である。なお、これらの第２パターン画像６４Ａ、６５Ａは、上記実施の形態で説明したように、複数の第２特徴点２００を含む。

ここで、投影装置１４と投影面１２との位置関係から、投影された投影画像の中心部が、投影面１２上にのらない場合もある。このような場合を想定すると、投影した投影画像の何れかの領域が投影面１２上にのるものとして（中心部に限定されないものとして）、処理を実行することが好ましい。このため、本変形例では、例えば、画像処理装置１８に、表示部と、操作部と、を備えた構成とする。表示部は、公知の表示装置である。操作部は、ユーザが各種指示を実行するときに操作する装置であり、キーボード、マウス、などである。

そして、画像処理装置１８は、表示部に、投影面１２にのる可能性の高い投影画像の領域の設定を促す情報を表示する。例えば、画像処理装置１８は、表示部に、図２（Ａ）に示す第１パターン画像６２Ａを表示し、第２パターン画像の領域指示を促す情報を表示する。ユーザは、操作部を操作しながら、第１パターン画像６２Ａにおける任意の領域を指定することで、第２パターン画像６０Ａを指定すればよい（例えば、図３１参照）。そして、画像処理装置１８では、上記実施の形態と同様の処理を実行すればよい。

このため、本変形例では、上記実施の形態の効果に加えて、投影面１２と画像処理システム１０との設置環境に応じた、第１補正情報の算出を実行することができる。

＜変形例３＞
上記実施の形態では、第１パターン画像および第２パターン画像は、複数の特徴点（第１特徴点、第２特徴点）が格子状に配列された形態である場合を説明した。しかし、上述したように、第１パターン画像および第２パターン画像は、複数の特徴点（第１特徴点、第２特徴点）が格子状に配列された形態に限定されない。

第１パターン画像６２Ａ及び第２パターン画像６０Ａは、特徴点（第１特徴点１００、第２特徴点２００）の配列を画像処理システム１０の記憶部２２に予め記憶し、各特徴点（第１特徴点１００、第２特徴点２００）の位置関係が明確であれば、格子状に配列した形態に限定されない。各特徴点の位置関係を明確にするには、例えば、各特徴点が重ならない、各特徴点間の距離を閾値以下とする、などの配列規則を予め設定し、この配列規則の範囲内で、各特徴点を配列すればよい。

図３２は、第１パターン画像及び第２パターン画像の一例を示す図である。図３２（Ａ）は、上記実施の形態で説明した、特徴点（第１特徴点１００、第２特徴点２００）が格子状に配列された第１パターン画像６２Ａ及び第２パターン画像６０Ａの模式図である。

図３２（Ｂ）は、特徴点（第１特徴点１００、第２特徴点２００）を、格子状に配列しない形態の一例を示す図である。図３２（Ｂ）に示すように、特徴点（第１特徴点１００、第２特徴点２００）を、格子状ではなく、且つ、上記配列規則を満たすように配列させた、第１パターン画像６６Ａ及び第２パターン画像６７Ａであってもよい。

＜変形例４＞
上記実施の形態では、第２補正部３２は、大きな平面を投影面１２として想定し、この投影面１２内に投影画像が投影されるように、投影対象画像を補正する場合を説明した。

しかし、第２補正部３２は、ユーザによって指定された指定領域（例えば、壁の凹んだ領域などの凹凸部）内に、投影画像が投影されるように、投影対象画像を補正してもよい。

図３３は、本変形例の説明図である。この場合、第２補正部３２は、撮影装置１６で撮影した撮影画像７０を、図示を省略する表示部に表示する。ユーザは、図示を省略する操作部を操作することで、表示された撮影画像７０における、補正したい領域を指定する。例えば、撮影画像７０における、矩形領域７０Ａが指定されたとする。この場合、第２補正部３２は、ユーザによって指定された、矩形領域７０Ａを投影面１２として、この投影面１２内に投影画像が投影されるように、投影対象画像を補正すればよい。

＜変形例５＞
上記実施の形態では、図１に示すように画像処理システム１０は、画像処理装置１８、投影装置１４、及び撮影装置１６を備えた構成である場合を説明したが、投影装置１４と、撮影装置１６と、画像処理装置１８と、を別体として設けた構成であってもよい。

図３４は、画像処理システム１０の他の構成例を示す図である。図３４に示すように、画像処理システム１０Ｂと、投影装置１４０と、撮影装置１６０と、をネットワーク等の通信回線Ｎを介して接続した構成であってもよい。なお、投影装置１４０は、投影部１４Ａを備え、撮影装置１６０は、撮影部１６Ａを備えた構成とすればよい。また、画像処理システム１０Ｂは、画像処理装置１８に相当する画像処理装置１８Ｂを備え、画像処理装置１８Ｂは、制御部２０に相当する制御部２０Ｂを備えた構成であればよい。制御部２０Ｂは、取得部２８に代えて取得部２８Ｂを備え、取得部２８Ｂは、通信回線Ｎを介して撮影装置１６０から撮影画像を取得すればよい。

＜変形例６＞
なお、上記実施の形態の画像処理システム１０で行っていた処理の一部を、画像処理システム１０とネットワーク等を接続されたクラウド上の一以上の装置で行ってもよい。

図３５は、クラウドを備えた画像処理システムの一例を示す模式図である。図３５に示すように、画像処理システム１０Ｄと、サーバ装置７０４と、がネットワークにより接続された構成であってもよい。

画像処理システム１０Ｄは、投影装置１４、撮影装置１６、画像処理装置１８Ｄを備える。画像処理装置１８Ｄは、制御部２０に代えて制御部２０Ｄを備える。制御部２０Ｄは、第１補正部３０及び第２補正部３２を備えない以外は、制御部２０と同じ構成である。

サーバ装置７０４は、クラウド上の装置であり、通信部７０４Ａ、第１補正部３０に相当する第１補正部７０４Ｂ、第２補正部３２に相当する第２補正部７０４Ｃ、記憶部７０６Ｃを備える。

そして、制御部２０Ｄは、第１撮影画像６２Ｂ及び第２撮影画像６０Ｂを、ネットワークＮを介してサーバ装置７０４へ送信する。サーバ装置７０４では、通信部７０４Ａを介してこれらの第１撮影画像６２Ｂ及び第２撮影画像６０Ｂを取得し、第１補正部７０４Ｂ及び第２補正部７０４Ｃによる補正処理を行った後に、第１補正情報及び第２補正情報、または補正後の投影対象画像を画像処理システム１０Ｄへ送信すればよい。

なお、上記実施の形態における、画像処理システム１０、１０Ｂ、１０Ｄは、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施の形態の画像処理システム１０、１０Ｂ、１０Ｄの各々で実行される、上記各処理、の各々を実行するためのプログラムは、ＮＶ−ＲＡＭやＲＯＭやその他の不揮発性記憶媒体に予め組み込まれて提供される。また、本実施の形態の画像処理システム１０、１０Ｂ、１０Ｄの各々で実行される、上記処理の各々を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録し提供することも可能である。

また、本実施の形態の画像処理システム１０、１０Ｂ、１０Ｄの各々で実行される、上記各処理、の各々を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供または配布するように構成してもよい。

また、本実施の形態の画像処理システム１０、１０Ｂ、１０Ｄの各々で実行される、上記各処理、の各々を実行するためのプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

また、本実施の形態の画像処理システム１０、１０Ｂ、１０Ｄの各々で実行される、上記各処理、の各々を実行するためのプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から該プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

また、本実施の形態の画像処理システム１０、１０Ｂ、１０Ｄの各々で実行される、上記各処理、の各々を実行するためのプログラムは、コンピュータ上のプログラムに実行させることもできる。図３６は一般的なコンピュータの構成を示すハードウェア構成図であり、ＣＰＵ２０１０、ハードディスク２０００、ディスプレイ２０３０、通信装置２０４０、ＣＤ−ＲＯＭドライブ２０５０、メモリ２０６０、及びキーボード／マウス２０７０を備えている。例えば、ＣＤ−ＲＯＭ等の記録媒体に記録された、上記処理を実行するためのプログラムを、ＣＤ−ＲＯＭドライブ２０５０を通じて読み込み、実行時にはメモリ２０６０上にロードされ、ＣＰＵ２０１０からの指令によってプログラムの処理ステップが順次実行されるようにしてもよい。処理に用いる各種画像は、あらかじめハードディスク２０００上に蓄えられるか、または実行時に撮影装置１６（図３６では省略）から取り込まれた後、メモリ２０６０上にロードされて参照される。

以上、発明を実施するための実施の形態について説明を行ったが、本発明は、上述した実施の形態に限定されるものではない。本発明の主旨を損なわない範囲で変更することが可能である。

１０ 画像処理システム
１４Ａ 投影部
１６Ａ 撮影部
１８ 画像処理装置
２４ 投影制御部
２６ 撮影制御部
２８ 取得部
３０ 第１補正部
３２ 第２補正部
３８ 変換部
４０ 抽出部
４０Ａ 座標変換部
４０Ｂ 特定部
４０Ｃ 連結成分生成部
４２ ずれ量算出部
４６ 第１算出部
４８ 第１補正処理部
５０ 三次元座標算出部
５２Ａ 近似平面算出部
５２Ｂ 正面画像生成部
５３Ｃ 投影領域生成部
５４ 第２算出部
５６ 第２補正処理部

特開２０１０−０４４２５５号公報

Claims (9)

1. 複数の第１特徴点が配列された第１パターン画像および前記第１特徴点に対応する複数の第２特徴点を含む第２パターン画像を投影面に投影させる制御を行う投影制御部と、
   投影された前記第１パターン画像の第１撮影画像、及び平面状の投影面に投影された前記第２パターン画像の第２撮影画像を撮影部から取得する取得部と、
   前記第２撮影画像における前記第２特徴点を予め定めた方向に連結した第２連結成分と、前記第１撮影画像における該第２連結成分を構成する該第２特徴点に対応する位置の前記第１特徴点を連結した第１連結成分と、を抽出する抽出部と、
   前記第２連結成分に対する前記第１連結成分のずれ量を算出するずれ量算出部と、
   前記ずれ量に基づいて投影対象画像を補正する第１補正情報を算出する第１算出部と、
   を備えた画像処理装置。
2. 前記第１パターン画像撮影時における前記投影面と投影装置との第１相対位置関係と、前記第２パターン画像撮影時における前記投影面と前記投影装置との第２相対位置関係と、は、同じである、請求項１に記載の画像処理装置。
3. 前記第２撮影画像上の前記第２特徴点の第２座標情報を、前記第１撮影画像上の第１座標情報に座標変換する変換部を備え、
   前記抽出部は、座標変換された前記第２撮影画像における前記第２特徴点を予め定めた方向に連結した前記第２連結成分と、前記第１連結成分と、を抽出する、
   請求項１または請求項２に記載の画像処理装置。
4. 前記抽出部は、
   座標変換された前記第２撮影画像における前記第２特徴点の各々に対して予め定めた第１方向に隣接する他の前記第２特徴点を特定すると共に、前記第１撮影画像における前記第１特徴点の各々に対して前記第１方向に隣接する他の前記第１特徴点を特定する特定部と、
   前記第２撮影画像における隣接する前記第２特徴点同士を連結した前記第２連結成分、及び前記第１撮影画像における隣接する前記第１特徴点同士を連結した前記第１連結成分を生成する連結成分生成部と、
   を含む請求項３に記載の画像処理装置。
5. 前記第１補正情報に基づいて前記投影対象画像を補正する第１補正処理部を更に備えた請求項１〜請求項４の何れか１項に記載の画像処理装置。
6. 前記第１パターン画像と前記第１撮影画像を用いて、前記第１パターン画像を前記投影面に投影した第１投影画像における前記第１特徴点の三次元座標を算出する三次元座標算出部と、
   前記第１特徴点の三次元座標から、平面状の投影対象面に近似する近似平面を算出する近似平面算出部と、
   前記近似平面に対して正対する方向から前記第１投影画像を撮影した正面画像を生成する正面画像生成部と、
   前記近似平面と前記正面画像とから、投影対象画像を投影する投影領域を生成する投影領域生成部と、
   投影された投影画像が前記投影領域に収まるように、投影対象画像を補正するための第２補正情報を算出する第２算出部と、
   前記第２補正情報に基づいて、前記第１補正情報に基づいて補正された前記投影対象画像を補正する第２補正処理部と、
   を備えた請求項５に記載の画像処理装置。
7. 請求項１〜請求項６の何れか１項に記載の画像処理装置と、
   前記第１パターン画像及び前記第２パターン画像を投影する投影部と、
   前記第１撮影画像及び前記第２撮影画像を撮影する撮影部と、
   を備えた画像処理システム。
8. 複数の第１特徴点が配列された第１パターン画像および前記第１特徴点に対応する複数の第２特徴点を含む第２パターン画像を投影面に投影させる制御を行うステップと、
   投影された前記第１パターン画像の第１撮影画像、及び平面状の投影面に投影された前記第２パターン画像の第２撮影画像を撮影部から取得するステップと、
   前記第２撮影画像における前記第２特徴点を予め定めた方向に連結した第２連結成分と、前記第１撮影画像における該第２連結成分を構成する該第２特徴点に対応する位置の前記第１特徴点を連結した第１連結成分と、を抽出するステップと、
   前記第２連結成分に対する前記第１連結成分のずれ量を算出するステップと、
   前記ずれ量に基づいて投影対象画像を補正する第１補正情報を算出するステップと、
   を含む画像処理方法。
9. コンピュータに、
   複数の第１特徴点が配列された第１パターン画像および前記第１特徴点に対応する複数の第２特徴点を含む第２パターン画像を投影面に投影させる制御を行うステップと、
   投影された前記第１パターン画像の第１撮影画像、及び平面状の投影面に投影された前記第２パターン画像の第２撮影画像を撮影部から取得するステップと、
   前記第２撮影画像における前記第２特徴点を予め定めた方向に連結した第２連結成分と、前記第１撮影画像における該第２連結成分を構成する該第２特徴点に対応する位置の前記第１特徴点を連結した第１連結成分と、を抽出するステップと、
   前記第２連結成分に対する前記第１連結成分のずれ量を算出するステップと、
   前記ずれ量に基づいて投影対象画像を補正する第１補正情報を算出するステップと、
   を実行させるためのプログラム。

Images