JP7299113B2 - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

近年、構造物の外壁などの面の撮影画像を利用して、構造物の損傷に関する点検が行われている。例えば、得られた撮影画像を画像処理することにより、ひびわれ等の損傷を検出する点検が行われる。ビルの外壁などの広い点検範囲が設定されている場合には、その点検範囲を分割して撮影し複数の撮影画像が取得される。得られた複数の撮影画像は、隣接する撮影画像を連結合成して一枚の大きな画像として利用される場合がある。

一方で、構造物の外壁を撮影する場合には、必ずしも正対して撮影するとは限らず、撮影画像に写った外壁に歪みが発生する場合がある。この歪みが発生した複数の撮影画像を、一枚の画像に連結合成すると合成された画像においても歪みが発生してしまう。

特許文献１に記載された技術では、正対させた画像を得ることを目的とした技術が記載されている。特許文献１に記載された技術では、マーカーレーザによりマーカｐ１～ｐ４を被写体の表面に投影し、投影されたマーカｐ１～ｐ４を含んで被写体の表面が撮影される。ここで、マーカーレーザは照射点（投影点）までの距離を計測する機能を有している。そして特許文献１に記載された技術では、マーカｐ１～ｐ４の距離とパン角度からなる３次元座標に関連する物理パラメータの計測値情報とカメラで撮影した撮影画像情報を処理して正対化された画像を得る。

特開２０１７－３４５７６号公報

しかしながら、特許文献１に記載された技術ではマーカーレーザを準備し、マーカーレーザにより被写体にマーカを投影しなければならない。また、そのマーカーレーザは、照射点までの距離を計測する機能を備えていなければならない。

本発明はこのような事情に鑑みてなされたもので、その目的は、簡便で正確に撮影画像を正対化させる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することである。

上記目的を達成するために、本発明の一の態様である画像処理装置は、構造物の面の撮影画像を取得する画像取得部と、撮影画像を画像処理することにより、面において、正対して撮影された場合に長方形となり且つ繰り返されるパターンを検出するパターン検出部と、パターンで構成される四角形を設定する四角形設定部と、四角形に基づいて、撮影画像を正対させる射影変換のパラメータを算出するパラメータ算出部と、パラメータに基づいて、撮影画像を正対化した正対画像を生成する正対画像生成部と、を備える。

本態様によれば、正対して撮影された場合に長方形となり且つ繰り返されるパターンが検出され、そのパターンで構成される四角形が設定され、設定された四角形に基づいて射影変換のパラメータが算出される。これにより、本態様は、簡便で正確に撮影画像を正対化させることができる。

好ましくは、パターンは、面を形作るタイルの外形である。

好ましくは、パターンは、面に付されるコンクリート型枠に関連する跡で構成される。

好ましくは、パターンは、面に取り付けられているライト又は飾りにより構成される。

好ましくは、パターンは、面の模様で構成されている。

好ましくは、四角形設定部は、撮影画像に対して５０％以上の面積を有する四角形を設定する。

好ましくは、パターン検出部は、パターンをエッジ検出又はハフ変換を行うことにより、パターンを検出する。

好ましくは、画像取得部は、面を分割して撮影した複数の撮影画像を取得し、正対画像生成部で生成される複数の正対画像を合成する画像合成部を備える。

好ましくは、画像合成部は、隣接する正対画像の重複領域におけるパターンマッチングにより、正対画像を合成する。

好ましくは、画像処理装置は、画像取得部が取得した撮影画像に対して、撮影画像を撮影したカメラのレンズに基づいて、歪み補正を行うレンズ歪み補正部を備える。

本発明の他の態様である画像処理システムは、上述の画像処理装置と画像処理装置へ入力される撮影画像を取得するカメラとで構成される。

本発明の他の態様である画像処理方法は、構造物の面の撮影画像を取得するステップと、撮影画像を画像処理することにより、面において、正対して撮影された場合に長方形となり且つ繰り返されるパターンを検出するステップと、パターンで構成される四角形を設定するステップと、四角形に基づいて、撮影画像を正対させる射影変換のパラメータを算出するステップと、パラメータに基づいて、撮影画像を正対化した正対画像を生成するステップと、を含む。

本発明の他の態様であるプログラムは、構造物の面の撮影画像を取得するステップと、撮影画像を画像処理することにより、面において、正対して撮影された場合に長方形となり且つ繰り返されるパターンを検出するステップと、パターンで構成される四角形を設定するステップと、四角形に基づいて、撮影画像を正対させる射影変換のパラメータを算出するステップと、パラメータに基づいて、撮影画像を正対化した正対画像を生成するステップと、を含む画像処理工程をコンピュータに実行させる。

本発明によれば、正対して撮影された場合に長方形となり且つ繰り返されるパターンが検出され、そのパターンで構成される四角形が設定され、設定された四角形に基づいて射影変換のパラメータが算出されるので、簡便で正確に撮影画像を正対化させることができる。

図１は、画像処理システムの適用例を概念的に示した図である。 図２は、連結合成画像を概念的に示す図である。 図３は、連結合成画像を概念的に示す図である。 図４は、図３で説明した連結合成画像の具体例を示す図である。 図５は、画像処理装置の機能構成例を示すブロック図である。 図６は、画像処理工程（画像処理方法）を示すフローチャートである。 図７は、パターンの一例を示す図である。 図８は、パターンの一例を示す図である。 図９は、四角形の設定に関して説明する図である。 図１０は、四角形の設定に関して説明する図である。 図１１は、射影行列の算出に関して説明する図である。 図１２は、撮影画像に射影行列を適用した場合を説明する図である。 図１３は、正対画像の連結合成を説明する図である。 図１４は、連結合成画像を示す図である。

以下、添付図面に従って本発明に係る画像処理装置、画像処理システム、画像処理方法及びプログラムの好ましい実施の形態について説明する。

図１は、本発明の画像処理システムの適用例を概念的に示した図である。

画像処理システム１０は、カメラ１と画像処理装置１１とから構成される。

カメラ１は、構造物の一例であるビル３の外壁（面）を撮影して撮影画像を取得する。カメラ１は、点検対象であるビル３の外壁を分割して撮影することにより、複数の撮影画像（画像群２）を取得する。カメラ１は、チルト方向Ｔに撮影方向を移動させながら、順番に隣接する複数の撮影画像を取得する。なお、複数の撮影画像は、連結合成されることを考慮して、隣接する撮影画像と重複領域を有するように撮影される。

画像処理装置１１はコンピュータにより構成される。画像処理装置１１には、カメラ１で取得された画像群２が入力される。画像処理装置１１には、モニタ９で構成される表示部とキーボード５及びマウス７で構成される入力部が接続されている。なお、図示されたコンピュータの形態は一例であり、コンピュータと同様の機能を有する装置は本発明の画像処理装置１１を備えることができる。例えば、画像処理装置１１はタブレット端末により構成される。

ここで、本発明が適用される構造物は上述した例のビル（ビルディング）に限定されない。例えば本発明が適用される構造物として、橋梁、橋脚、家屋、タワーなどが挙げられる。また、本発明が適用される構造物の面は外壁には限定されない。例えば本発明が適用される構造物の面として内壁、天井、床などが挙げられる。

図２は、カメラ１で分割して撮影された撮影画像の画像群２を、正対化せずに連結合成した連結合成画像ＰＢを概念的に示す図である。なお、連結合成画像ＰＢは、重複領域Ｗにより隣接する撮影画像と連結されている。

連結合成画像ＰＢは、撮影画像Ｐ１～Ｐ６が連結合成されている。カメラ１は、図１に示すカメラ１の位置から下方向にチルトさせ撮影方向を順次変えることにより、ビル３の外壁を撮影し撮影画像Ｐ１～Ｐ６を取得する。カメラ１は、ビル３の外壁に正対して撮影していないので、撮影画像Ｐ１～Ｐ６に写ったビル３の外壁は歪みを有する。また、撮影画像Ｐ１～Ｐ６の歪みを修正せずに連結合成すると、連結合成画像ＰＢのように、被写体であるビル３の外壁が大きく歪んでしまう。具体的には連結合成画像ＰＢは、撮影画像Ｐ６に写っているビル３の外壁ほど歪んでいる。

図３は、撮影画像Ｐ１～Ｐ６の各々を正対化して、連結合成した連結合成画像ＰＡを概念的に示す図である。図３に示す場合では、撮影画像Ｐ１～Ｐ６の各々は正対化され、撮影画像Ｐ１～Ｐ６の各々におけるビル３の外壁の歪みは抑制されている。また、撮影画像Ｐ１～Ｐ６を連結合成した連結合成画像ＰＡにおいても、ビル３の外壁の歪みは抑制されている。

図４は、図３で説明した連結合成画像ＰＡの具体例を示す図である。

図４に示すように、ビル３の外壁がタイルで構成されている場合には、撮影画像Ｐは被写体としてタイルの外壁を有する。撮影画像Ｐ１～Ｐ６においても同様に、被写体としてタイルの外壁を有する。撮影画像Ｐ１～Ｐ６は、正対化された正対画像であるので、歪みが抑制されている。また、撮影画像Ｐ１～Ｐ６から構成される連結合成画像ＰＡにおいても歪みが抑制されている。

本発明を適用することにより、簡便で正確に撮影画像を正対化させることができるので、上述した撮影画像Ｐ１～Ｐ６のように歪みを抑制した撮影画像を得ることができる。また、本発明を適用することにより、上述した連結合成画像ＰＡのように歪みを抑制した連結合成画像を得ることができる。

＜画像処理装置＞
次に、画像処理システム１０を構成する画像処理装置１１に関して説明する。

図５は、画像処理装置１１の機能構成例を示すブロック図である。図５に示す画像処理装置１１の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

画像処理装置１１は、画像取得部１３、パターン検出部１５、四角形設定部１７、パラメータ算出部１９、正対画像生成部２１、画像合成部２３、レンズ歪み補正部２９、表示制御部２５及び記憶部２７から構成される。記憶部２７には、プログラム及び画像処理装置１１の各種制御に係る情報等が記憶される。また、表示制御部２５は、モニタ９による表示を制御する。

＜画像処理工程＞
図６は、画像処理装置１１を使用して実行される画像処理工程（画像処理方法）を示すフローチャートである。先ず、画像処理工程の全体を説明し、その後に各工程について詳しく説明する。

画像取得部１３により複数の撮影画像（撮影画像群）が取得され、レンズ歪み補正部２９により複数の撮影画像の各々に対してレンズ歪み補正が実行される（ステップＳ１０）。次に、パターン検出部１５により、撮影画像に写っている繰り返されるパターンが検出される（ステップＳ１１）。その後、四角形設定部１７により、繰り返されるパターンで構成される四角形が設定される（ステップＳ１２）。そして、パラメータ算出部１９により、繰り返されるパターンで構成される四角形をもとにして、撮影画像を正対化できるような射影行列が算出される（ステップＳ１３）。その後、正対画像生成部２１により、射影行列を撮影画像に適用して撮影画像を正対化させる（ステップＳ１４）。その後、画像合成部２３により、正対化された撮影画像群（正対画像群）に対してブロックマッチング等の処理を用いて、連結合成する（ステップＳ１５）。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

次に、図６で説明した画像処理工程における各工程に関して説明する。

＜画像取得及びレンズ歪み補正の工程＞
画像取得及びレンズ歪み補正の工程（ステップＳ１０）に関して説明する。画像取得及びレンズ歪み補正の工程では、画像取得部１３によりカメラ１で撮影された複数の撮影画像（画像群２）が取得される。画像取得部１３は、有線又は無線によりカメラ１から複数の撮影画像を取得する。また、画像取得及びレンズ歪み補正の工程では、レンズ歪み補正部２９により取得した複数の撮影画像に対して、レンズの歪み補正が行われる。例えば、レンズ歪み補正部２９は、撮影画像のExif(Exchangeable image file format)でカメラ１で使用されているレンズの情報を取得し、レンズに基づいた補正値を取得する。そして、レンズ歪み補正部２９は、取得した補正値に基づいて、画像取得部１３で取得された複数の撮影画像に対して、レンズ歪みの補正を行う。このように、画像取得部１３で取得された複数の撮影画像に対して、レンズ歪み補正を実行することにより、撮影画像の歪みが抑制され、また正確に撮影画像の正対化を行うことができる。

＜パターンの検出工程＞
次に、パターンの検出工程（ステップＳ１１）に関して説明する。パターンの検出工程では、パターン検出部１５により、撮影画像に対して画像処理を行い、ビル３の外壁における繰り返されるパターンを検出する。また、検出されるパターンは、正対して撮影される場合には長方形の形状を有する。パターン検出部１５には、ユーザから正対して撮影される場合には長方形の形状を有するパターンに関する情報が入力されることにより、パターン検出部１５は、正対して撮影される場合には長方形の形状を有するパターンを検出することができる。また、パターン検出部１５は、検出した繰り返されるパターンに関して、画像処理又は機械学習が施された検出器により、正対して撮影される場合には長方形であることを推定してもよい。なお、パターン検出部１５は、例えばパターンをエッジ検出又はハフ変換を行うことにより、パターンを検出する。

図７は、ビル３の外壁がタイルで構成される場合に、パターン検出部１５により検出されるパターンの一例を示す図である。

図７（Ａ）では、カメラ１により取得されたビル３の外壁の撮影画像Ｐが示されている。撮影画像Ｐにはビル３の外壁を構成するタイルが写っている。図７（Ｂ）では、パターン検出部１５により、撮影画像Ｐにおいてタイルの外形５１のパターンが検出されることが示されている。なお、パターン検出部１５は、太線Ｅで示すように繰り返されるタイルの外形５１を検出する。ここでタイルの外形５１は、正対して撮影された場合に長方形となる。ユーザは、予めタイルの外形５１が正対して撮影された場合に長方形となることをパターン検出部１５に入力するか、又はパターン検出部１５は、画像処理によりタイルの外形５１は正対して撮影された場合に長方形となることを推定する。これにより、パターン検出部１５は、正対して撮影された場合に長方形となり且つ繰り返されるパターンを検出する。

図８は、ビル３の外壁がコンクリートで構成される場合に、パターン検出部１５により検出されるパターンの一例を示す図である。

図８（Ａ）では、カメラ１により取得されたビル３の外壁の撮影画像Ｑが示されている。撮影画像Ｑにはビル３の外壁を構成するコンクリートが写っている。図８（Ｂ）では、パターン検出部１５により、コンクリート型枠に関連する跡であるＰコン穴跡（セパコン穴跡）５３が検出されることが示されている。パターン検出部１５は、点Ｒ１～Ｒ１２のＰコン穴跡５３を検出する。

Ｐコン穴跡５３（点Ｒ１～Ｒ１２）は、正対して撮影された場合に長方形を形作る。すなわち、例えば、点Ｒ１、点Ｒ２、点Ｒ４及び点Ｒ５により長方形が形作られ、点Ｒ２、点Ｒ３、点Ｒ５及び点Ｒ６により長方形が形作られ、点Ｒ７、点Ｒ８、点Ｒ１０及び点Ｒ１１により長方形が形作られ、点Ｒ８、点Ｒ９、点Ｒ１１及び点Ｒ１２により長方形が形作られる。また例えば、点Ｒ１、点Ｒ３、点Ｒ４及び点Ｒ６により長方形が形作られ、点Ｒ７、点Ｒ９、点Ｒ１０及び点Ｒ１２により長方形が形作られる。したがって、図８に示す場合では、上述のＰコン穴跡５３で形作られる長方形がパターン検出部１５で検出されるパターンとなる。

ユーザは、予め点Ｒ１～点Ｒ１２のうちの４点で構成される四角形が正対して撮影された場合に長方形となることをパターン検出部１５に入力するか、又はパターン検出部１５は画像処理により、点Ｒ１～点Ｒ１２のうちの４点で構成される四角形が正対して撮影された場合に長方形となることを推定する。これにより、パターン検出部１５は、正対して撮影された場合に長方形となり且つ繰り返されるパターンを検出する。

なお、パターン検出部１５が検出するパターンは上述したタイルの外形５１及びＰコン穴跡５３だけには限定されない。例えば、パターン検出部１５は、構造物の面に取り付けられているライト又は飾りを検出してもよいし、構造物の面の模様を検出してもよい。

以上で説明したように、パターンの検出工程では、パターン検出部１５で繰り返される且つ正対して撮影された場合に長方形となるパターンが検出される。これにより、後で説明する四角形の設定工程において、精度よく正対化を行うことができる四角形を設定することができる。

＜四角形の設定工程＞
次に、四角形の設定工程（ステップＳ１２）に関して説明する。四角形の設定工程では、四角形設定部１７により、パターン検出部１５で検出されたパターンで構成される四角形が設定される。ここで、パターンで構成される四角形とは、複数のパターンで形作られる四角形のことである。パターン検出部１５で検出されるパターンは、正対して撮影された場合に長方形となることから、複数のパターンで形作られる四角形も、正対して撮影された場合には長方形となる。

四角形設定部１７で設定される四角形は、大きい面積を有することが好ましい。四角形設定部１７が設定する四角形の面積が大きいほど、パターンの検出の誤差や、撮影画像における不鮮明な箇所の影響を抑制して、撮影画像の正対化を行うことができる。例えば、四角形設定部１７は、１枚の撮影画像に対して５０％以上の面積を有する四角形を設定し、好ましくは６０％以上、さらに好ましくは７０％以上の面積を有する四角形を設定する。四角形設定部１７は、予め設定された条件により四角形を設定する。例えば、四角形設定部１７は、パターン検出部１５で検出されたパターンを最も含むように四角形を設定してもよいし、ユーザから設定された個数のパターンを含むように四角形を設定してもよい。また、複数の撮影画像を正対化した後に連結合成を行う場合には、正対化した撮影画像（正対画像）においてサイズを合わせるために、四角形設定部１７は、複数の撮影画像に対して同じ大きさの四角形を設定することが好ましい。

図９は、図７で検出されたタイルの外形５１をパターンとして、このパターンで構成される四角形の設定に関して説明する図である。

撮影画像Ｐにおいて、四角形設定部１７は、点Ｓ１～点Ｓ４で形作られる四角形を設定する。点Ｓ１～点Ｓ４で設定される四角形は、縦に１８個のタイル横に１５個のタイルで構成され、太線Ｅで示されるパターンが検出された領域において最もタイルを含むように設定されている。

図１０は、図８で検出されたＰコン穴跡５３で形作られるパターンとして、このパターンで構成される四角形の設定に関して説明する図である。撮影画像Ｑにおいて、四角形設定部１７は、点Ｓ５～点Ｓ８を設定することにより四角形を設定する。四角形（点Ｓ５～点Ｓ８）は、検出された点Ｒ１～Ｒ１２を全て含むように設定されている。

このように、パターン検出部１５で検出されたパターンで構成される四角形を設定することにより、適切な四角形を正確に設定することができる。すなわち、四角形設定部１７は、パターン検出部１５で検出されたパターンで構成された四角形を設定しているので、正対化のパラメータを算出するためには不適切な四角形を誤って設定することを抑制することができる。

＜パラメータの算出工程＞
次に、パラメータの算出工程（ステップＳ１３）に関して説明する。パラメータの算出工程では、パラメータ算出部１９により四角形に基づいて撮影画像を正対化させるための射影変換のパラメータを算出する。具体的にはパラメータ算出部１９は、設定された四角形に基づいて、撮影画像を正対化した正対画像を生成する射影行列を算出する。

図１１は、パラメータ算出部１９により行われる射影行列の算出に関して説明する図である。図１１（Ａ）では、図９で示した四角形設定部１７で設定された四角形の４点（Ｓ１～Ｓ４）に対して、（ｘ、ｙ）座標が与えられた例が示されている。

撮影画像Ｐの左上端を原点Ｏとした場合には、Ｓ１（１４５，４２１）、Ｓ２（５５，１４７２）、Ｓ３（１８７７，５２）及びＳ４（１９６８，１４６７）と与えられる。なお、Ｘ軸及びＹ軸は図中に示すように設定される。例えば、Ｓ１～Ｓ４における撮影画像ＰのＸ軸及びＹ軸方向の画素数を座標とする。

図１１（Ｂ）では、正対化した後の長方形モデルの一例が示されている。

長方形モデルＵは、Ｒ１（０，０）、Ｒ２（０，１５４８）、Ｒ３（２０６４，０）及びＲ４（２０６４，１５４８）の四点で構成される。そして、パラメータ算出部１９は、設定された四角形を長方形モデルＵに射影変換するような射影行列が算出される。具体的には、パラメータ算出部１９は、Ｓ１（１４５，４１）→Ｒ１（０，０）、Ｓ２（５５，１４７２）→Ｒ２（０，１５４８）、Ｓ３（１８７７，５２）→Ｒ３（２０６４，０）及びＳ４（１９６８，１４６７）→Ｒ４（２０６４，１５４８）に射影変換する射影行列を算出する。

例えばパラメータ算出部１９は、設定された四角形（Ｓ１～Ｓ４）を長方形モデルＵに射影変換する射影行列を算出するには、ｃｖ：：ｆｉｎｄＨｏｍｏｇｒａｐｈｙ関数（ｆｉｎｄＨｏｍｏｇｒａｐｈｙ関数）を使用して算出する。

パラメータ算出部１９は、ｃｖ：：ｆｉｎｄＨｏｍｏｇｒａｐｈｙ関数を使用して、設定された四角形（Ｓ１～Ｓ４）を長方形モデルＵに射影変換する以下に示す射影行列Ｈを算出する。

なお、図１１（Ｂ）で示した長方形モデルＵは一例であり、これに限定されるものではない。例えば、設定される四角形又は検出されるパターンの実寸値や実寸値に基づくアスペクト比がわかっている場合には、それらが反映された長方形モデルＵを使用してもよい。

なお、複数の撮影画像を正対化させる場合には、各撮影画像の大きさを合わせるために同じ長方形モデルＵを使用することが好ましい。すなわち、複数の撮影画像においては異なる座標値を有する四角形が設定されるが、同じ長方形モデルＵに射影変換する射影行列が算出されることにより、正対化された撮影画像の大きさが統一される。

以上で説明したように、パラメータの算出工程ではパラメータ算出部１９により、四角形設定部１７で設定された四角形の座標値と、設定された長方形モデルから射影行列が算出される。これにより、パラメータ算出部１９は、簡便で正確に撮影画像を正対化させるための射影行列を算出することができる。

＜正対画像の生成工程＞
次に、正対画像の生成工程（ステップＳ１４）に関して説明する。正対画像の生成工程では、正対画像生成部２１により、パラメータに基づいて撮影画像を正対化した正対画像が生成される。具体的には、正対画像生成部２１は、パラメータ算出部１９で算出した射影行列を使用して撮影画像を正対化させて正対画像を生成する。

図１２は、撮影画像Ｐに射影行列Ｈを適用した場合を説明する図である。図１２（Ａ）には撮影画像Ｐが示されており、図１２（Ｂ）には撮影画像Ｐを正対化した正対画像Ｖが示されている。

正対画像生成部２１は、撮影画像Ｐに射影行列Ｈを適用することにより、撮影画像Ｐから正対画像Ｖを生成する。正対画像ＶのＲ１～Ｒ４で形作られる四角形は長方形であり、正対画像Ｖに写っているビル３の外壁は歪みが抑制されている。

以上で説明したように、正対画像の生成工程では、正対画像生成部２１により撮影画像に対して射影行列を適用され、簡便に正確な正対画像Ｖが生成される。

＜正対画像の合成工程＞
次に、正対画像の合成工程（ステップＳ１５）に関して説明する。正対画像の合成工程では、画像合成部２３により複数の正対画像が合成される。画像合成部２３は、隣接する正対画像の重複領域におけるパターンマッチングにより、正対画像を連結合成する。

例えば、画像合成部２３は、パターンマッチングのうちのブロックマッチングを使用して、正対画像を連結合成する。ブロックマッチングでは、撮影画像において所定の大きさのブロックを設定し、そのブロックを他の撮影画像において走査させて相関値を算出する。そして、相関値が最も高い箇所がそのブロックと重なる場所であるとして、隣接する撮影画像を連結合成する。画像合成部２３は、正対化された撮影画像を連結合成するので、精度よく連結合成を行うことができる。

図１３は、連結合成画像に関して説明する図である。

図１３に示した場合では、画像合成部２３により、正対画像Ｖ１と正対画像Ｖ２とが連結合成されて、連結合成画像Ｖ１２が生成される。例えば、正対画像Ｖ１において設定されたブロックを、正対画像Ｖ２上で走査して相関値を算出し、最も相関値が高い位置を解として連結合成が行われ、連結合成画像Ｖ１２が生成される。なお、正対画像Ｖ１と正対画像Ｖ２とは、連結合成画像Ｖ１２の重複領域Ｗで重ねられている。

図１４は、５枚の正対画像により構成される連結合成画像を示す図である。

画像合成部２３は、ブロックマッチングにより、正対画像Ｖ１～Ｖ５を連結合成し、連結合成画像Ｖ１－５を生成することができる。連結合成画像Ｖ１－５では、被写体である構造物の面において歪みが抑制されている。

以上で説明したように、正対画像の合成工程では、正対画像生成部２１により、複数の正対画像の合成が行われる。これにより、歪みが抑制された連結合成画像を得ることができる。

上述したように本発明においては、撮影画像において繰り返されるパターンを検出し、そのパターンで構成される四角形が設置され、その四角形に基づいて射影行列が算出される。従って、簡便で正確に正対化した撮影画像（正対画像）を得ることができる。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ ：カメラ
２ ：画像群
３ ：ビル
５ ：キーボード
７ ：マウス
９ ：モニタ
１０ ：画像処理システム
１１ ：画像処理装置
１３ ：画像取得部
１５ ：パターン検出部
１７ ：四角形設定部
１９ ：パラメータ算出部
２１ ：正対画像生成部
２３ ：画像合成部
２５ ：表示制御部
２７ ：記憶部
２９ ：レンズ歪み補正部

Claims (10)

1. 構造物の面の撮影画像を取得する画像取得部と、
   前記撮影画像を画像処理することにより、前記面において、正対して撮影された場合に長方形となり且つ繰り返されるパターンを検出するパターン検出部と、
   前記パターンで構成される四角形を設定する四角形設定部と、
   前記四角形及び射影変換後の前記四角形のアスペクト比を有する長方形モデルに基づいて、前記撮影画像を正対させる前記射影変換のパラメータを算出するパラメータ算出部と、
   前記パラメータに基づいて、前記撮影画像を正対化した正対画像を生成する正対画像生成部と、
   を備える画像処理装置。
2. 前記パターンは、前記面を形作るタイルの外形、前記面に付されるコンクリート型枠に関連する跡、前記面に取り付けられているライト又は飾り、前記面の模様で構成されている請求項１に記載の画像処理装置。
3. 前記四角形設定部は、前記撮影画像に対して５０％以上の面積を有する前記四角形を設定する請求項１又は２に記載の画像処理装置。
4. 前記パターン検出部は、前記パターンをエッジ検出又はハフ変換を行うことにより、前記パターンを検出する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像取得部は、前記面を分割して撮影した複数の前記撮影画像を取得し、
   前記正対画像生成部で生成される複数の前記正対画像を合成する画像合成部を備える請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記画像合成部は、隣接する前記正対画像の重複領域におけるパターンマッチングにより、前記正対画像を合成する請求項５に記載の画像処理装置。
7. 前記画像取得部が取得した前記撮影画像に対して、前記撮影画像を撮影したカメラのレンズに基づいて、歪み補正を行うレンズ歪み補正部を備える請求項１から６のいずれか１項に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置と前記画像処理装置へ入力される前記撮影画像を取得するカメラとで構成される画像処理システム。
9. 構造物の面の撮影画像を取得するステップと、
   前記撮影画像を画像処理することにより、前記面において、正対して撮影された場合に長方形となり且つ繰り返されるパターンを検出するステップと、
   前記パターンで構成される四角形を設定するステップと、
   前記四角形及び射影変換後の前記四角形のアスペクト比を有する長方形モデルに基づいて、前記撮影画像を正対させる前記射影変換のパラメータを算出するステップと、
   前記パラメータに基づいて、前記撮影画像を正対化した正対画像を生成するステップと、
   を含む画像処理方法。
10. 構造物の面の撮影画像を取得するステップと、
    前記撮影画像を画像処理することにより、前記面において、正対して撮影された場合に長方形となり且つ繰り返されるパターンを検出するステップと、
    前記パターンで構成される四角形を設定するステップと、
    前記四角形及び射影変換後の前記四角形のアスペクト比を有する長方形モデルに基づいて、前記撮影画像を正対させる前記射影変換のパラメータを算出するステップと、
    前記パラメータに基づいて、前記撮影画像を正対化した正対画像を生成するステップと、
    を含む画像処理工程をコンピュータに実行させるプログラム。

Images