JP6712358B2 - 画像処理装置、カメラ装置、および画像処理方法 - Google Patents

Description

本発明は、画像処理装置、カメラ装置、および画像処理方法に関し、特に連続し互いに重なる領域を有する画像を合成して合成画像を生成する場合の画像処理装置、カメラ装置、および画像処理方法に関する。

従来より、連続して撮影された複数の撮影画像をパノラマ合成する場合の技術が提案されてきた。効率的にパノラマ画像合成するための一つの手法として、各撮影画像を取得した撮影位置をＧＰＳ（Global Positioning System）または測距計で計測しておく手法が用いられてきた。

例えば特許文献１には、ジャイロセンサ付きカメラによりパノラマ合成用の撮影画像を撮影する技術が記載されている。特許文献１には、第１の撮影場面から隣接する第２の撮影場面にカメラ移動させる場合に、カメラの移動をジャイロセンサで検出して、ユーザにインジケーターにより正しい第２の場面の撮影位置の指示を出すことを目的としたジャイロセンサ付きカメラが記載されている。

また、位置センサおよびジャイロセンサのセンサ類をカメラに備えることなく、パノラマ合成を効率的に行うことを目的とした手法も提案されている。

例えば特許文献２では、複数の撮影画像をパノラマ合成する技術が記載されている。特許文献２に記載されたパノラマ画像合成方法は、Ｎ枚目とＮ＋１枚目との画像の合成箇所について、空間周波数または特徴点の数により類似性を評価し、類似性が閾値より低いためＮ枚目の画像とＮ＋１枚目の画像との間の移動量が算出できないときは、Ｎ枚目の画像より前またはＮ＋１枚目の画像より後の連続する２枚の画像から算出した移動量を用いてパノラマ合成を行う。

特開平０６−１０５２１４号公報 特開２０１１−１８８０３５号公報

ここで、複数の撮影画像が互いに重複する場合において、各撮影画像がどのように重複領域を形成しているかの情報があると、複数の撮影画像で構成される画像群の重なりを空間的に算出することができる。

また、時系列順で互いに重複領域を有する撮影画像を合成する場合に、重複領域において対応点検出を行い、その対応点検出の結果に基づいて合成処理を行う。したがって、各撮影画像の空間的な配置が分かっていると、合成を行う場合に効率的な画像処理を行うことができる。すなわち、合成処理を行う場合に、各撮影画像の重複領域が分かっていれば、重複領域においてのみ対応点検出を行えばよく、処理時間の抑制および計算コストの抑制を行うことができる。

特許文献１および２には、撮影画像同士の重複領域を示す情報を記憶させることに関しては言及されていない。

本発明はこのような事情に鑑みてなされたもので、その目的は、撮影位置をセンサ類で測定する必要がなく、重複領域を示す位置情報に基づいて複数の撮影画像の空間的な配置を算出することにより、合成処理を行う場合の対応点検出に要する時間および計算コストを抑制し、複数の撮影画像を効率的に記憶することができる画像処理装置、カメラ装置、および画像処理方法を提供することである。

上記目的を達成するための本発明の一の態様である画像処理装置は、画像の合成に使用する時系列順の複数の撮影画像を順次入力する撮影画像入力部であって、複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する複数の撮影画像を入力する撮影画像入力部と、入力する第１画像と第２画像との重複領域を計測する重複領域計測部と、入力した複数の撮影画像を記憶部に記憶させ、かつ第２画像に関連付けて計測した重複領域を示す位置情報を記憶部に記憶させる記憶制御部と、記憶部に記憶された複数の撮影画像と位置情報に基づいて複数の撮影画像を空間配置する空間配置部と、空間配置された複数の撮影画像の重複領域を検出し、検出した重複領域の画像間の対応点を検出する対応点検出部と、検出した対応点に基づいて複数の撮影画像を合成して合成画像を生成する合成処理部と、を備える。

本態様によれば、重複領域計測部により、入力する第１画像と第２画像との重複領域が計測され、記憶制御部により、第２の画像に関連付けて重複領域を示す位置情報が記憶部に記憶される。これにより、撮影位置をセンサ類で測定することなく、撮影画像入力部に入力された複数の撮影画像の空間的な配置が算出される。そして、対応点検出部は、算出された複数の撮影画像の空間的な配置に基づいて、重複領域における画像間の対応点を検出する。したがって、本態様は、限られた領域のみの対応点検出処理が行われることになるので、対応点検出に要する時間および対応点検出に要する計算コストを抑制することができる。また本態様は、重複領域を示す位置情報も記憶部に記憶されることにより、撮影画像を効率的に記憶部に記憶させることができる。

本発明の他の態様である画像処理装置は、画像の合成に使用する時系列順の複数の撮影画像を順次入力する撮影画像入力部であって、複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する複数の撮影画像を入力する撮影画像入力部と、入力された複数の撮影画像から第１画像を切り出す第１画像切出部と、切り出された第１画像と入力された複数の撮影画像との重複領域を計測する重複領域計測部と、重複領域計測部の計測結果が既定値となった場合に、複数の撮影画像から第２画像を切り出す第２画像切出部と、入力した複数の撮影画像を記憶部に記憶させ、かつ第２画像に関連付けて計測した重複領域を示す位置情報を記憶部に記憶させる記憶制御部と、記憶部に記憶された複数の撮影画像と位置情報に基づいて複数の撮影画像を空間配置する空間配置部と、空間配置された複数の撮影画像の重複領域を検出し、検出した重複領域の画像間の対応点を検出する対応点検出部と、検出した対応点に基づいて複数の撮影画像を合成して合成画像を生成する合成処理部と、を備える。

本態様によれば、重複領域計測部により、切り出された第１画像と入力された複数の撮影画像との重複領域が計測され、記憶制御部により、第２画像に関連付けて重複領域を示す位置情報が記憶部に記憶される。これにより、撮影位置をセンサ類で測定することなく、撮影画像入力部に入力された複数の撮影画像の空間的な配置が算出される。そして、対応点検出部は、算出された複数の撮影画像の空間的な配置に基づいて、重複領域における画像間の対応点を検出する。したがって、本態様は、限られた領域のみの対応点検出処理が行われることになるので、対応点検出に要する時間および対応点検出に要する計算コストを抑制することができる。また本態様は、重複領域を示す位置情報も記憶部に記憶されることにより、撮影画像を効率的に記憶部に記憶させることができる。

本発明の他の態様である画像処理装置は、画像の合成に使用する時系列順の複数の撮影画像を順次入力する撮影画像入力部であって、複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する複数の撮影画像を入力する撮影画像入力部と、入力する第１画像と第２画像との重複領域を計測する重複領域計測部と、重複領域計測部の計測結果が既定値となった場合に、第１画像と第２画像とを抽出する画像抽出部と、抽出した第１画像と第２画像を記憶部に記憶させ、かつ第２画像に関連付けて計測した重複領域を示す位置情報を記憶部に記憶させる記憶制御部と、記憶部に記憶された複数の撮影画像と位置情報に基づいて複数の撮影画像を空間配置する空間配置部と、空間配置された複数の撮影画像の重複領域を検出し、検出した重複領域の画像間の対応点を検出する対応点検出部と、検出した対応点に基づいて複数の撮影画像を合成して合成画像を生成する合成処理部と、を備える。

本態様によれば、重複領域計測部により、入力する第１画像と第２画像との重複領域が計測され、記憶制御部により、第２画像に関連付けて計測した重複領域を示す位置情報が記憶部に記憶される。これにより、撮影位置をセンサ類で測定することなく、撮影画像入力部に入力された複数の撮影画像の空間的な配置が算出される。そして、対応点検出部は、算出された複数の撮影画像の空間的な配置に基づいて、重複領域における画像間の対応点を検出する。したがって、本態様は、限られた領域のみの対応点検出処理が行われることになるので、対応点検出に要する時間および対応点検出に要する計算コストを抑制することができる。また本態様は、重複領域を示す位置情報も記憶部に記憶されることにより、撮影画像を効率的に記憶部に記憶させることができる。

好ましくは、合成処理部は、合成することによりオルソ画像を生成する。

本態様によれば、合成処理部は、合成することによりオルソ画像を生成するので、オルソ画像の生成における重複領域の対応点を検出する時間および計算コストを抑制することができる。

好ましくは、記憶制御部は、第２画像に付属するＥＸＩＦタグに、位置情報を記録する。

本態様によれば、記憶制御部により、第２画像に付属するＥＸＩＦタグに位置情報が記録されるので、第２画像に関連付けて位置情報を効率的に記憶させることができる。

好ましくは、対応点検出部は、第１画像において第２画像以外の画像との重複領域も検出し、検出した重複領域の画像間の対応点を検出する。

本態様によれば、対応点検出部により、第１画像において第２画像以外の画像との重複領域も検出し、検出した重複領域の画像間の対応点が検出される。これにより本態様は、第１画像と第２画像との重複領域の対応点のみによる合成処理よりも、より多くの対応点により合成処理が行われるので、より精度の高い合成を行うことができる。

好ましくは、重複領域を示す位置情報は、第１画像の第１座標および第１画像に対応する第２画像の第２座標である。

本態様によれば、重複領域を示す位置情報は、第１画像の第１座標および第１画像に対応する第２画像の第２座標であるので、より正確な重複領域の位置情報を記憶部に記憶することができる。

好ましくは、重複領域を示す位置情報は、２組以下の第１座標および第２座標である。

本態様によれば、重複領域を示す位置情報は、２組以下の第１座標および第２座標であるので、位置情報の情報量は抑制されたものとなり、記憶部の記憶容量を効果的に使用することができる。

本発明の他の態様であるカメラ装置は、画像の合成に使用する時系列順の複数の撮影画像を順次取得する撮影画像取得部であって、複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する複数の撮影画像を取得する撮影画像取得部と、第１画像と撮影画像取得部で捉えられる動画との重複領域を計測する重複領域計測部と、重複領域計測部の計測結果が既定値となった場合に、撮影画像取得部に第２画像を取得させる撮影制御部と、取得した複数の撮影画像を記憶部に記憶させ、かつ第２画像に関連付けて計測した重複領域を示す位置情報を記憶部に記憶させる記憶制御部と、記憶部に記憶された複数の撮影画像と位置情報に基づいて複数の撮影画像を空間配置する空間配置部と、空間配置された複数の撮影画像の重複領域を検出し、検出した重複領域の画像間の対応点を検出する対応点検出部と、検出した対応点に基づいて複数の撮影画像を合成して合成画像を生成する合成処理部と、を備える。

本態様によれば、重複領域計測部により、第１画像と撮影画像取得部で捉えられる動画との重複領域が計測され、記憶制御部により、第２画像に関連付けて計測した重複領域を示す位置情報が記憶部に記憶される。これにより、撮影位置をセンサ類で測定することなく、撮影画像入力部に入力された複数の撮影画像の空間的な配置が算出される。そして、対応点検出部は、算出された複数の撮影画像の空間的な配置に基づいて、重複領域における画像間の対応点を検出する。したがって、本態様は、限られた領域のみの対応点検出処理が行われることになるので、対応点検出に要する時間および対応点検出に要する計算コストを抑制することができる。また本態様は、重複領域を示す位置情報も記憶部に記憶されることにより、撮影画像を効率的に記憶部に記憶させることができる。

本発明の他の態様である画像処理方法は、画像の合成に使用する時系列順の複数の撮影画像を順次入力するステップであって、複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する複数の撮影画像を入力するステップと、入力する第１画像と第２画像との重複領域を計測するステップと、入力した複数の撮影画像を記憶部に記憶させ、かつ第２画像に関連付けて計測した重複領域を示す位置情報を記憶部に記憶させるステップと、記憶部に記憶された複数の撮影画像と位置情報に基づいて複数の撮影画像を空間配置するステップと、空間配置された複数の撮影画像の重複領域を検出し、検出した重複領域の画像間の対応点を検出するステップと、検出した対応点に基づいて複数の撮影画像を合成して合成画像を生成するステップと、を含む。

本発明の他の態様である画像処理方法は、画像の合成に使用する時系列順の複数の撮影画像を順次入力するステップであって、複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する複数の撮影画像を入力するステップと、入力された複数の撮影画像から第１画像を切り出すステップと、切り出された第１画像と入力された複数の撮影画像との重複領域を計測するステップと、重複領域を計測するステップの計測結果が既定値となった場合に、複数の撮影画像から第２画像を切り出すステップと、入力した複数の撮影画像を記憶部に記憶させ、かつ第２画像に関連付けて計測した重複領域を示す位置情報を記憶部に記憶させるステップと、記憶部に記憶された複数の撮影画像と位置情報に基づいて複数の撮影画像を空間配置するステップと、空間配置された複数の撮影画像の重複領域を検出し、検出した重複領域の画像間の対応点を検出するステップと、検出した対応点に基づいて複数の撮影画像を合成して合成画像を生成するステップと、を含む。

本発明の他の態様である画像処理方法は、画像の合成に使用する時系列順の複数の撮影画像を順次入力するステップであって、複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する複数の撮影画像を入力するステップと、入力する第１画像と第２画像との重複領域を計測するステップと、重複領域を計測するステップの計測結果が既定値となった場合に、第１画像と第２画像とを抽出するステップと、抽出した第１画像と第２画像を記憶部に記憶させ、かつ第２画像に関連付けて計測した重複領域を示す位置情報を記憶部に記憶させるステップと、記憶部に記憶された複数の撮影画像と位置情報に基づいて複数の撮影画像を空間配置するステップと、空間配置された複数の撮影画像の重複領域を検出し、検出した重複領域の画像間の対応点を検出するステップと、検出した対応点に基づいて複数の撮影画像を合成して合成画像を生成するステップと、を含む。

本発明によれば、重複領域計測部により、入力する第１画像と第２画像との重複領域が計測され、記憶制御部により、第２の画像に関連付けて重複領域を示す位置情報が記憶部に記憶され、これにより、撮影位置をセンサ類で測定することなく、撮影画像入力部に入力された複数の撮影画像の空間的な配置が算出され、そして、対応点検出部は、算出された複数の撮影画像の空間的な配置に基づいて、重複領域における画像間の対応点を検出する。したがって、本態様は、限られた領域のみの対応点検出処理が行われることになるので、対応点検出に要する時間および対応点検出に要する計算コストを抑制することができ、重複領域を示す位置情報も記憶部に記憶されることにより、撮影画像を効率的に記憶部に記憶させることができる。

撮影対象物である構造物の一つである橋梁の構造を示す斜視図である。 撮影システムを示す概念図である。 ロボット装置の外観を示す斜視図である。 図３に示したロボット装置の要部断面図である。 カメラを示す図である。 ロボット装置の機能構成例を示すブロック図である。 コンピュータのシステム構成を示すブロック図である。 画像処理装置の機能構成例を示す図である。 撮影画像入力部に入力される画像を概念的に示す図である。 重複領域の計測に関して説明する図である。 記憶部のデータ構成例を示す。 ＥＸＩＦタグに、重複領域の位置情報が記憶されることを説明する図である。 画像が重複領域の位置情報に基づいて、空間配置された場合の概念図である。 空間配置後の画像の重なりを示した図である。 画像処理装置の動作および画像処理方法を示したフローチャートである。 画像処理装置の機能構成例を示す図である。 画像処理装置の動作および画像処理方法を示したフローチャートである。 画像処理装置の機能構成例を示す図である。 画像処理装置の動作および画像処理方法を示したフローチャートである。 画像処理装置の機能構成例を示す図である。

以下、添付図面にしたがって本発明にかかる画像処理装置、カメラ装置および画像処理方法の好ましい実施の形態について説明する。

図１は、撮影対象物である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。本発明で使用される撮影画像の撮影対象物は、特に限定されるものではないが、例えば、構造物の損傷の検出検査を行う場合に使用される撮影画像を合成する場合に本発明が適用される。具体的には格間単位で床版６の損傷検出検査を行う場合に、格間内の床版６を分割撮影し、その分割撮影された撮影画像を合成する場合に本発明が適用される。

図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。

主桁２は、橋台または橋脚の間に渡され、床版６上の車輌等の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４および横構５は、それぞれ風および地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。

図２は、撮影システムを示す概念図である。

撮影システム５００は、ロボット装置１００とコンピュータ３００とで構成されている。

ロボット装置１００は、撮像装置２００を備えおり、コンピュータ３００の制御により移動および撮像装置２００による撮影を行う。ロボット装置１００は、コンピュータ３００の制御により移動および撮影を行えるものであれば特に限定されるものではない。ロボット装置１００の他の例としては、走行型ロボット、小型のヘリコプター、マルチコプター、ドローンまたはUAV（Unmanned Aerial Vehicles、無人航空機）と呼ばれる装置があげられる。

コンピュータ３００およびロボット装置１００は相互に通信可能であり、コンピュータ３００は、ロボット装置１００の移動の制御および撮像装置２００での撮影制御を遠隔で行うことができる。

図３は、撮像装置２００の一実施形態であるカメラを含むロボット装置１００の外観を示す斜視図であり、橋梁１の主桁２間に設置されている状態に関して示している。また、図４は、図３に示したロボット装置１００の要部断面図である。

図３および図４に示すようにロボット装置１００は、撮像装置２００を備え、撮像装置２００の３次元空間内の位置（撮影位置）を制御するとともに、撮像装置２００による撮影方向を制御し、橋梁１の点検時に複数の部材から構成された橋梁１の任意の点検部材等を撮影するものである。

ロボット装置１００は、後に詳しく説明するが、主フレーム１０２と、垂直伸延アーム１０４と、垂直伸延アーム１０４の駆動部および各種の制御部等が配設された筐体１０６と、筐体１０６を主フレーム１０２の長手方向（主桁２の長手方向と直交する方向）（Ｘ方向）に移動させるＸ方向駆動部１０８（図６）と、ロボット装置１００全体を主桁２の長手方向（Ｙ方向）に移動させるＹ方向駆動部１１０（図６）と、垂直伸延アーム１０４を垂直方向（Ｚ方向）に伸縮させるＺ方向駆動部１１２（図６）とを備えている。

Ｘ方向駆動部１０８は、主フレーム１０２の長手方向（Ｘ方向）に配設されたボールネジ１０８Ａと、筐体１０６に配設されたボールナット１０８Ｂと、ボールネジ１０８Ａを回転させるモータ１０８Ｃとから構成され、モータ１０８Ｃによりボールネジ１０８Ａを正転または逆転させることにより、筐体１０６をＸ方向に移動させる。

Ｙ方向駆動部１１０は、主フレーム１０２の両端にそれぞれ配設されたタイヤ１１０Ａ、１１０Ｂと、タイヤ１１０Ａ、１１０Ｂ内に配設されたモータ（図示せず）とから構成され、タイヤ１１０Ａ、１１０Ｂをモータ駆動することによりロボット装置１００全体をＹ方向に移動させる。

なお、ロボット装置１００は、主フレーム１０２の両端のタイヤ１１０Ａ、１１０Ｂが、２箇所の主桁２の下フランジ上に載置され、かつ主桁２を挟む態様で設置される。これにより、ロボット装置１００は、主桁２の下フランジに懸垂して、主桁２に沿って移動（自走）することができる。また、主フレーム１０２は、図示しないが、主桁２の間隔に合わせて長さが調整可能に構成されている。

垂直伸延アーム１０４は、ロボット装置１００の筐体１０６に配設されており、筐体１０６とともにＸ方向およびＹ方向に移動する。また、垂直伸延アーム１０４は、筐体１０６内に設けられたＺ方向駆動部１１２（図６）によりＺ方向に伸縮する。

図５に示すように垂直伸延アーム１０４の先端には、カメラ設置部１０４Ａが設けられており、カメラ設置部１０４Ａには、パンチルト機構１２０によりパン方向およびチルト方向に回転可能なカメラ２０２が設置されている。

撮影される画像（撮影画像）を、点検調書に添付する「点検画像」として取得する。

また、カメラ２０２は、パンチルト駆動部２０６（図６）から駆動力が加えられるパンチルト機構１２０により垂直伸延アーム１０４と同軸のパン軸Ｐを中心に回転し、あるいは水平方向のチルト軸Ｔを中心に回転する。これにより、カメラ２０２は任意の姿勢にて撮影（任意の撮影方向の撮影）ができる。

図６は、ロボット装置１００の機能構成例を示すブロック図である。

図６に示すようにロボット装置１００は、ロボット装置１００側のロボット制御部１３０、Ｘ方向駆動部１０８、Ｙ方向駆動部１１０およびＺ方向駆動部１１２と、撮像装置２００側のカメラ２０２、撮影制御部２０４、パンチルト制御部２１０、およびパンチルト駆動部２０６と、ロボット側通信部２３０とから構成されている。

ロボット側通信部２３０は、コンピュータ３００との間で双方向の無線通信を行い、コンピュータ３００から送信されるロボット装置１００の移動を制御する移動指令、パンチルト機構１２０を制御するパンチルト指令、カメラ２０２を制御する撮影指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。なお、コンピュータ３００の詳細については後述する。

ロボット制御部１３０は、ロボット側通信部２３０から入力する移動指令に基づいてＸ方向駆動部１０８、Ｙ方向駆動部１１０、およびＺ方向駆動部１１２を制御し、ロボット装置１００のＸ方向およびＹ方向に移動させるとともに、垂直伸延アーム１０４をＺ方向に伸縮させる（図３参照）。

パンチルト制御部２１０は、ロボット側通信部２３０から入力するパンチルト指令に基づいてパンチルト駆動部２０６を介してパンチルト機構１２０をパン方向およびチルト方向に動作させ、カメラ２０２を所望の方向にパンチルトさせる（図５参照）。

撮影制御部２０４は、ロボット側通信部２３０から入力する撮影指令に基づいてカメラ２０２の撮像部２０２Ａにライブビュー画像、または点検画像の撮影を行わせる。本発明の撮影画像は、撮像部２０２Ａで取得された撮影画像またはライブビュー画像を含む動画が使用される。

橋梁１の点検時にカメラ２０２の撮像部２０２Ａより撮影された画像Ｋを示す画像データは、それぞれロボット側通信部２３０を介してコンピュータ３００に送信される。

コンピュータ３００は、図２に示すように、タブレット型のコンピュータで構成される。コンピュータ３００は、矩形の輪郭を有する平板状の筐体を備え、表示部３２６（図６）と入力部３２８（図６）とを兼ねたタッチパネルディスプレイ３０２、を備えている。

図７は、コンピュータ３００のシステム構成を示すブロック図である。

図７に示すように、コンピュータ３００は、コンピュータ３００の全体の動作を制御するＣＰＵ（Central Processing Unit）３１０を備え、このＣＰＵ３１０にシステムバス３１２を介して、メインメモリ３１４、不揮発性メモリ３１６、モバイル通信部３１８、無線ＬＡＮ通信部３２０、近距離無線通信部３２２、有線通信部３２４、表示部３２６、入力部３２８、キー入力部３３０、音声処理部３３２、画像処理部３３４等が接続されて構成される。

ＣＰＵ３１０は、不揮発性メモリ３１６に記憶された動作プログラム（ＯＳ（Operating System）、および、そのＯＳ上で動作するアプリケーションプログラム）、および、定型データ等を読み出し、メインメモリ３１４に展開して、当動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。

メインメモリ３１４は、たとえば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３１０のワークメモリとして機能する。

不揮発性メモリ３１６は、たとえば、フラッシュＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read Only Memory）で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ３１６は、コンピュータ３００の記憶部として機能し、各種データを記憶する。

モバイル通信部３１８は、ＩＭＴ−２０００規格（International Mobile Telecommunication-2000）に準拠した第３世代移動通信システム、および、ＩＭＴ−Ａｄｖａｎｃｅ規格（International Mobile Telecommunications-Advanced）に準拠した第４世代移動通信システムに基づき、アンテナ３１８Ａを介して、最寄りの図示しない基地局との間でデータの送受を実行する。

無線ＬＡＮ通信部３２０は、アンテナ３２０Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ通信規格（たとえば、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格）に従った無線ＬＡＮ通信を行う。

近距離無線通信部３２２は、アンテナ３２２Ａを介して、たとえばクラス２（半径約１０ｍ内）の範囲内にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器とデータの送受を実行する。

有線通信部３２４は、外部接続端子３０６を介してケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。たとえば、ＵＳＢ（Universal Serial Bus）通信を行う。

表示部３２６は、タッチパネルディスプレイ３０２のディスプレイ部分を構成するカラーＬＣＤ（liquid crystal display）パネルと、その駆動回路と、で構成され、各種画像を表示する。

入力部３２８は、タッチパネルディスプレイ３０２のタッチパネル部分を構成する。入力部３２８は、透明電極を用いてカラーＬＣＤパネルと一体的に構成される。

キー入力部３３０は、コンピュータ３００の筐体に備えられた複数の操作ボタンと、その駆動回路と、で構成される。

音声処理部３３２は、システムバス３１２を介して与えられるデジタル音声データをアナログ化してスピーカー３０４から出力する。

画像処理部３３４は、撮影レンズおよびイメージセンサーを備えた内蔵カメラ３０５から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。

＜第１の実施形態＞
図８は、第１の実施形態の画像処理装置４００の機能構成例を示す図である。なお、画像処理装置４００はコンピュータ３００に設けられる。

画像処理装置４００は、撮影画像入力部４０２、重複領域計測部４０４、記憶制御部４０６、記憶部４０８、空間配置部４１０、対応点検出部４１２、および合成処理部４１４により構成される。

撮影画像入力部４０２は、画像の合成に使用する時系列順の複数の撮影画像が順次入力され、複数の撮影画像のうちの時系列順の前後の前画像（第１画像）と後画像（第２画像）とは互いに重複領域を有する複数の撮影画像が入力される。すなわち、撮影画像入力部４０２には、合成画像を構成する複数の撮影画像であって、前画像と後画像が重複領域を有する撮影画像が入力される。

図９は、撮影画像入力部４０２に入力される撮影画像を概念的に示す図である。画像６０１から画像６０８までの８枚の撮影画像は、合成画像を構成し画像６０１から画像６０８まで時系列順に撮影されたものである。また、画像６０１から画像６０８は互いに重複領域を有し、前画像の一部分と後画像の一部分が重なる関係となっている。すなわち、画像６０１と画像６０２では、画像６０１が前画像、画像６０２が後画像であり、画像６０１と画像６０２とは重複領域を有し、画像６０２と画像６０３では、画像６０２が前画像、画像６０３が後画像であり、画像６０２と画像６０３とでは重複領域を有する関係となっている。画像６０４から画像６０８でも同様の関係となっている。なお、図中の点線の領域は重複領域であり、矢印は重なる関係を示している。

重複領域計測部４０４は、撮影画像入力部４０２に入力された前画像と後画像との重複領域を計測する。具体的には、重複領域計測部４０４は、後画像において前画像との重複する領域の面積または重複領域の長さ等の、重複領域の大きさを示す情報が計測される。また、重複領域計測部４０４は、重複領域の計測と共に、重複領域を示す位置情報も合わせて算出される。

図１０は、前画像Ｕと後画像Ｖとの重複領域の計測に関して説明する図である。

前画像Ｕと後画像Ｖとは重複領域を有し、前画像Ｕでは重複領域Ｐ１で後画像Ｖと重複し、後画像Ｖでは重複領域Ｐ２で前画像Ｕと重複している。また前画像Ｕおよび後画像Ｖでは、被写体Ｈ、被写体Ｉ、および被写体Ｊが共通の被写体として写っている。重複領域計測部４０４は、例えば前画像Ｕと後画像Ｖとの間で特徴点の座標のペアを検出して重複箇所とし、重複領域Ｐ１およびＰ２を計測する。具体的には、重複領域計測部４０４は、後画像において特徴点Ｏ５からＯ８が抽出され、特徴点Ｏ５からＯ８に対応する特徴点Ｏ１からＯ４をそれぞれ前画像から検出する。検出された重複箇所のうち、例えばテンプレートマッチングにより閾値以上の重複箇所を採用してもよい。重複領域計測部４０４は、このように検出された特徴点に基づいて、重複領域の大きさ（面積、長さ）を計測したり、または各画像における重複領域の位置を示す情報（座標）を計測したりする。

記憶制御部４０６は、入力された複数の撮影画像を記憶部４０８に記憶させ、かつ第２画像に関連付けて計測した重複領域を示す位置情報を記憶部４０８に記憶させる。具体的には、図９で示した画像６０１から画像６０８を記憶部４０８に記憶させ、かつ重複領域を示す位置情報を後画像に関連付けて記憶させる。

図１１は、記憶部４０８のデータ構成例を示す。なお、図１１では画像６０１、画像６０２、および画像６０３に関して説明されており、他の画像も同様に記憶される。

図１１の部分（Ａ）には撮影ファイル名の記憶データ構成例が記載されている。例えば、画像６０１は「ｆｉｌｅｎａｍｅ１」、画像６０２は「ｆｉｌｅｎａｍｅ２」、および画像６０３は「ｆｉｌｅｎａｍｅ３」の撮影ファイル名で記憶部４０８に保存される。

図１１の部分（Ｂ）には重複領域のある前画像インデックスの記憶データ構成例が記載されている。画像６０１は最前の画像であるので、重複領域のある前画像は存在せず「無し（ＮＵＬＬ）と記憶され、画像６０２は画像６０１と重複領域があるので画像６０１を示す「１」が記憶され、画像６０３は画像６０２と重複領域があるので画像６０２を示す「２」と記憶部４０８に記憶される。

図１１の部分（Ｃ）には前画像の画素の記憶データ構成例が記載されている。画像６０１は最前画像であるので、互いに重複領域を有する前画像の画素の情報は「無し（ＮＵＬＬ）」と記憶され、画像６０２は画像６０１と重複領域を有するので前画像（画像６０１）の画素の情報「（Ｘ１１，Ｙ１１），・・・・（Ｘ１ｎ，Ｙ１ｎ）」が記憶されている。また画像６０３は、画像６０２と重複領域を有するので前画像（画像６０２）の画素の情報「（Ｘ２１，Ｙ２１），・・・・（Ｘ２ｎ，Ｙ２ｎ）」として記憶されている。

図１１の部分（Ｄ）には対応する画素の記憶データの構成例が記載されている。画像６０１は最前画像であるので、対応する画素の情報は「無し（ＮＵＬＬ）」であり、画像６０２は、図１１の部分（Ｃ）で示した画素と対応する画素の情報「（Ｘ２１−Ｉ，Ｙ２１−Ｉ），・・・・（Ｘ２ｎ−Ｉ，Ｙ２ｎ−Ｉ）」が記憶され、画像６０３は対応する画素「（Ｘ３１−Ｉ，Ｙ３１−Ｉ），・・・・（Ｘ３ｎ−Ｉ，Ｙ３ｎ−Ｉ）」が記憶される。

図１１に示した例では重複領域を示す位置情報として、前画像の画素の情報（図１１の部分（Ｃ））と前画像の画素に対応する画素の情報（図１１の部分（Ｄ））が記憶されている。すなわち、重複領域を示す位置情報第１座標（図１１の部分（Ｃ））および前画像に対応する後画像の第２座標（図１１の部分（Ｄ））が記憶されている。なお、重複領域を示す位置情報は、２組以下の第１座標および第２座標であることが好ましい。すなわち、重複領域を示す位置情報は、概略情報としての役割があれば十分であり、ここで概略情報とは画像の重なりの大まかな情報であり、情報として容量が軽く算出が容易なものが好ましい。なお、上述した情報形態以外の情報形態でも、重複領域を示す位置情報として採用される。このように、後画像と後画像に関連づけて重複領域を示す位置情報を記憶部に記憶させることにより、画像群を構成する撮影画像が相互に関連づけられて、画像群のファイルの管理が効率化する。また、このように、後画像と後画像に関連づけて重複領域を示す位置情報を記憶部に記憶させることにより、撮影位置をＧＰＳや測距計で測距しておく必要がなくなる。

図１２は、後画像に付属するＥＸＩＦ（Exchangeable image file format）タグに、重複領域の位置情報を記憶する場合を説明する図である。

図１２に示すように、例えばＥＸＩＦタグの「ＥＸＩＦ ＩＦＤ」の「ＭａｋｅｒＮｏｔｅ」の箇所に重複領域の位置情報を記憶させる。すなわち、「ＭａｋｅｒＮｏｔｅ」の箇所に、重複領域のある前画像ファイル名を記憶させ、前画像の画素の座標、および対応する画素の座標を記憶させる。具体的には、ＥＸＩＦタグの「ＭａｋｅｒＮｏｔｅ」の箇所に、重複領域のある前画像ファイル名、前画像の画素（座標）、および対応する画素（座標）が記憶される。

空間配置部４１０は、記憶部４０８に記憶された複数の撮影画像と位置情報に基づいて複数の撮影画像を空間配置する。すなわち、空間配置部４１０は、撮影画像を概略情報である重複領域の位置情報に基づいて、空間配置していく。

図１３は、画像６０１から画像６０８が、重複領域の位置情報に基づいて、空間配置された場合の概念図である。

画像６０１から画像６０８の各画像は、重複領域４８０、重複領域４８２、重複領域４８４、重複領域４８６、重複領域４８８、重複領域４９０、および重複領域４９２で重複している。記憶部４０８には重複領域４８０、重複領域４８２、重複領域４８４、重複領域４８６、重複領域４８８、重複領域４９０、および重複領域４９２に関する位置情報が後画像となる画像と関連して記憶されている。空間配置部４１０は、記憶部４０８に記憶された各重複領域を示す位置情報に基づいて、各撮影画像を空間的に配置する。具体的には、空間配置部４１０は、画像６０２の重複領域４８０を示す位置情報に基づいて画像６０１と画像６０２とを空間的配置を行う。同様に空間配置部４１０は、画像６０２および画像６０３、画像６０３および画像６０４、画像６０４および画像６０５、画像６０５および画像６０６、画像６０６および画像６０７、および画像６０７および画像６０８に関して空間的配置を行う。空間配置部４１０は、順次各画像を空間的配置することにより、撮影画像入力部４０２に入力された撮影画像全体の空間的配置を算出することができる。

対応点検出部４１２は、空間配置された複数の撮影画像の重複領域を検出し、検出した重複領域の画像間の対応点を検出する。すなわち、対応点検出部４１２は、重複領域を示す位置情報により重複する領域または、重複領域を示す位置情報により重複する領域と空間配置した結果により新たに発生した重複領域とにおいて対応点検出を行う。ここで対応点検出の手法は公知の手法が採用される。例えば、対応点の検出の手法として、画像間の拡大縮小、回転および照明変化等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF(Speed-Upped Robust Feature)特徴量、およびAKAZE (Accelerated KAZE)特徴量を使用するものが知られている。

図１４は、空間配置後の画像６０１から画像６０８の重なりを示した図であり、重複領域の位置情報を使用して空間配置をしてその後に、新たに重複領域が発生することを示した図である。すなわち、対応点検出部４１２は、前画像と後画像との重複領域および前画像において後画像以外の画像との重複領域も検出し、検出した重複領域の画像間の対応点を検出する。

具体的には、対応点検出部４１２は、画像６０２において画像６０１との重複領域４８０および画像６０３との重複領域４８２に関して対応点検出を行うだけでなく、画像６０７との重複領域４９４、および画像６０８との重複領域４９５に関しても対応点検出を行う。これにより、画像６０１−画像６０２間、画像６０２−画像６０３間での対応点検出よりも、より数の多い対応点検出を行うことができる。

また、対応点検出部４１２は、画像６０１において画像６０２との重複領域４８０に関して対応点検出を行うだけでなく、画像６０８との重複領域４９６に関しても対応点検出を行う。これにより、画像６０１−画像６０２間での対応点検出よりも、より数の多い対応点検出を行うことができる。

合成処理部４１４は、検出した対応点に基づいて複数の撮影画像を合成して合成画像を生成する。合成処理部４１４は、複数の画像を合成することにより様々な合成画像を生成することができる。例えば、合成処理部４１４は、パノラマ合成画像およびオルソ画像を生成する。ここでオルソ画像とは、空中写真を位置ズレのない画像に変換し、正しい位置情報を付与した画像である。

図１５は、本実施形態の画像処理装置４００の動作および画像処理方法を示したフローチャートである。

先ず、撮影画像入力部４０２により、合成に使用する時系列順の複数の撮影画像が入力される（ステップＳ１０）。例えば、ロボット装置１００で撮影された画像群をコンピュータ３００のモバイル通信部３１８、無線ＬＡＮ通信部３２０、または近距離無線通信部３２２を介して、コンピュータ３００のＣＰＵ３１０で実現される撮影画像入力部４０２に入力される。

次に、重複領域計測部４０４により、各画像の重複領域が計測される（ステップＳ１１）。例えば、重複領域計測部４０４はコンピュータ３００のＣＰＵ３１０により実現される。その後、撮影画像入力部４０２で入力された撮影画像、および重複領域計測部４０４で計測された位置情報がコンピュータ３００のＣＰＵ３１０で実現される記憶制御部４０６により、コンピュータ３００のメインメモリ３１４で実現される記憶部４０８に記憶される（ステップＳ１２）。

次に、コンピュータ３００のＣＰＵ３１０で実現される空間配置部４１０により撮影画像を、概略情報である重複領域の位置情報に基づいて空間配置する（ステップＳ１３）。その後、コンピュータ３００のＣＰＵ３１０で実現される対応点検出部４１２により、重複領域における対応点を検出する（ステップＳ１４）。撮影画像を空間配置した後の重複領域は、前画像と後画像との関係の重複領域だけでなく、画像の前後関係にない画像との重複領域（例えば図１４に示した重複領域４９４〜重複領域４９６）においても対応点を検出することができる。

その後、コンピュータ３００のＣＰＵ３１０で実現される合成処理部４１４により、検出した対応点に基づいて合成画像を生成する（ステップＳ１５）。

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

＜第２の実施形態＞
次に第２の実施形態に関して説明する。本実施形態は、撮影画像入力部４０２に動画が入力される。

図１６は、第２の実施形態の画像処理装置４００の機能構成例を示す図である。なお、図８で既に説明を行った箇所は同じ符号を付し説明を省略する。

本実施形態の画像処理装置４００は、撮影画像入力部４０２、第１画像切出部４２１、重複領域計測部４０４、第２画像切出部４２３、記憶制御部４０６、記憶部４０８、空間配置部４１０、対応点検出部４１２、および合成処理部４１４により構成される。

撮影画像入力部４０２には、動画が入力される。すなわち、画像の合成に使用する時系列順の複数の撮影画像が順次入力され、入力された複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する複数の撮影画像で構成された動画が入力される。

第１画像切出部４２１は、撮影画像入力部４０２に入力された複数の撮影画像から第１画像を切り出す。すなわち、本実施形態では撮影画像入力部４０２に動画が入力され、入力された動画を構成する複数のフレーム画像のうちの一つが前画像として切り出される。

重複領域計測部４０４は、切り出された第１画像と入力された複数の撮影画像との重複領域を計測する。すなわち、重複領域計測部４０４は、切り出された前画像との重複領域を、入力された動画のフレーム画像について計測する。例えば、重複領域計測部４０４は、切り出された前画像より時系列順であとのフレーム画像について重複領域の計測を行ってもよい。

第２画像切出部４２３は、重複領域計測部４０４の計測結果が既定値となった場合に、複数の撮影画像から第２画像を切り出す。すなわち、第２画像切出部４２３は、重複領域計測部４０４により重複領域が計測されて、その結果が既定値となった場合に、そのフレーム画像を第２画像として切り出す。例えば重複領域計測部４０４は、重複領域の面積を計測し、計測する面積が既定値となったフレーム画像を第２画像として第２画像切出部４２３は切り出す。

記憶制御部４０６は、入力された動画および重複領域計測部４０４に計測された重複領域の位置情報を記憶部４０８に記憶する。または、記憶制御部４０６は前画像および後画像と重複領域の位置情報とを記憶部４０８に記憶させてもよい。

図１７は、本実施形態の画像処理装置４００の動作および画像処理方法を示したフローチャートである。

先ず、撮影画像入力部４０２により、合成に使用する時系列順の複数の撮影画像が入力される（ステップＳ２０）。例えば、ロボット装置１００で撮影された画像群（動画）をコンピュータ３００のモバイル通信部３１８、無線ＬＡＮ通信部３２０、または近距離無線通信部３２２を介して、コンピュータ３００のＣＰＵ３１０で実現される撮影画像入力部４０２に入力される。本実施形態の場合は、撮影画像入力部４０２に動画が入力される。

その後、第１画像切出部４２１により、動画を構成する複数のフレーム画像から前画像が切り出される（ステップＳ２１）。例えば、第１画像切出部４２１は、コンピュータ３００のＣＰＵ３１０により実現される。

次に、重複領域計測部４０４により、動画を構成する複数のフレーム画像と前画像との重複領域が計測される（ステップＳ２２）。例えば、重複領域計測部４０４はコンピュータ３００のＣＰＵ３１０により実現される。そして、第２画像切出部４２３は、重複領域計測部４０４の計測結果が閾値となった場合に、動画から後画像となるフレーム画像が切り出される（ステップＳ２３）。例えば、第２画像切出部４２３は、コンピュータ３００のＣＰＵ３１０で実現される。

その後、撮影画像入力部４０２で入力された動画、および重複領域計測部４０４で計測された位置情報がコンピュータ３００のＣＰＵ３１０で実現される記憶制御部４０６により、コンピュータ３００のメインメモリ３１４で実現される記憶部４０８に記憶される（ステップＳ２４）。

次に、コンピュータ３００のＣＰＵ３１０で実現される空間配置部４１０により撮影画像を、概略情報である重複領域の位置情報に基づいて空間配置する（ステップＳ２５）。その後、コンピュータ３００のＣＰＵ３１０で実現される対応点検出部４１２により、重複領域における対応点を検出する（ステップＳ２６）。撮影画像を空間配置した後の重複領域は、前画像と後画像との関係の重複領域だけでなく、画像の前後関係にない画像との重複領域（例えば図１４に示した重複領域４９４および４９６）においても対応点を検出することができる。

その後、コンピュータ３００のＣＰＵ３１０で実現される合成処理部４１４により、検出した対応点に基づいて合成画像を生成する（ステップＳ２７）。

＜第３の実施形態＞
次に第３の実施形態に関して説明する。本実施形態は、撮影画像入力部４０２に静止画の画像群が入力され、その画像群から前画像および後画像が抽出されて記憶部４０８に記憶される。

図１８は、第３の実施形態の画像処理装置４００の機能構成例を示す図である。なお、図８で既に説明を行った箇所は同じ符号を付し説明を省略する。

本実施形態の画像処理装置４００は、撮影画像入力部４０２、重複領域計測部４０４、画像抽出部４３１、記憶制御部４０６、記憶部４０８、空間配置部４１０、対応点検出部４１２、および合成処理部４１４により構成される。

撮影画像入力部４０２には、静止画の画像群が入力される。すなわち、画像の合成に使用する時系列順の複数の撮影画像を順次入力する撮影画像入力部４０２であって、複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する複数の撮影画像が入力される。

画像抽出部４３１は、重複領域計測部４０４の計測結果が既定値となった場合に、前画像と後画像とを抽出する。すなわち、画像抽出部４３１は、重複領域計測部４０４の計測結果が既定値となった場合に、撮影画像入力部４０２で入力された静止画の画像群から前画像および後画像を抽出する。例えば重複領域計測部４０４は、重複領域の面積を計測し、計測する面積が既定値となった場合に前画像および後画像を抽出する。

記憶制御部４０６は、抽出した前画像と後画像を記憶部４０８に記憶させ、かつ後画像に関連付けて計測した重複領域を示す位置情報を記憶部４０８に記憶させる。

図１９は、本実施形態の画像処理装置４００の動作および画像処理方法を示したフローチャートである。

先ず、撮影画像入力部４０２により、合成に使用する時系列順の複数の撮影画像（静止画の画像群）が入力される（ステップＳ３０）。例えば、ロボット装置１００で撮影された画像群をコンピュータ３００のモバイル通信部３１８、無線ＬＡＮ通信部３２０、または近距離無線通信部３２２を介して、コンピュータ３００のＣＰＵ３１０で実現される撮影画像入力部４０２に入力される。

次に、重複領域計測部４０４により、各画像の重複領域が計測される（ステップＳ３１）。例えば、重複領域計測部４０４はコンピュータ３００のＣＰＵ３１０により実現される。

そして、画像抽出部４３１により、重複領域計測部４０４の計測結果が既定値となった場合に、前画像と後画像とが抽出される（ステップＳ３２）。例えば、画像抽出部４３１はコンピュータ３００のＣＰＵ３１０により実現される。

その後、撮影画像入力部４０２で入力された撮影画像、および重複領域計測部４０４で計測された位置情報がコンピュータ３００のＣＰＵ３１０で実現される記憶制御部４０６により、コンピュータ３００のメインメモリ３１４で実現される記憶部４０８に記憶される（ステップＳ３３）。

次に、コンピュータ３００のＣＰＵ３１０で実現される空間配置部４１０により撮影画像を、概略情報である重複領域の位置情報に基づいて空間配置する（ステップＳ３４）。その後、コンピュータ３００のＣＰＵ３１０で実現される対応点検出部４１２により、重複領域における対応点を検出する（ステップＳ３５）。撮影画像を空間配置した後の重複領域は、前画像と後画像との関係の重複領域だけでなく、画像の前後関係にない画像との重複領域（例えば図１４に示した重複領域４９４および４９６）においても対応点を検出することができる。

その後、コンピュータ３００のＣＰＵ３１０で実現される合成処理部４１４により、検出した対応点に基づいて合成画像を生成する（ステップＳ３６）。

＜第４の実施形態＞
次に第４の実施形態に関して説明する。本実施形態は、第１画像および第２画像が撮影画像取得部４０１に自動で取得される。

図２０は、第２の実施形態の画像処理装置４００の機能構成例を示す図である。なお、図８で既に説明を行った箇所は同じ符号を付し説明を省略する。

カメラ装置４０３は、撮影画像取得部４０１、重複領域計測部４０４、撮影制御部４４１、記憶制御部４０６、記憶部４０８、空間配置部４１０、対応点検出部４１２、および合成処理部４１４を備える。例えばカメラ装置４０３は、ロボット装置１００に備えられている。例えば、撮影画像取得部４０１は、ロボット装置１００の撮像装置２００で実現され、重複領域計測部４０４、撮影制御部４４１、記憶制御部４０６、記憶部４０８、空間配置部４１０、対応点検出部４１２、および合成処理部４１４は例えばロボット装置１００の撮影制御部２０４により実現される。

撮影画像取得部４０１は、画像の合成に使用する時系列順の複数の撮影画像を順次取得する撮影画像取得部４０１であって、複数の撮影画像のうちの時系列順の前後の前画像と後画像とは互いに重複領域を有する複数の撮影画像を取得する。

重複領域計測部４０４は、前画像と撮影画像取得部４０１で捉えられる動画との重複領域を計測する。例えば重複領域計測部４０４は、取得された前画像とカメラで取得されるライブビュー画像との重複領域を計測する。

撮影制御部４４１は、重複領域計測部４０４の計測結果が既定値となった場合に、撮影画像取得部４０１に第２画像を取得させる。すなわち、撮影制御部４４１は、前画像とライブビュー画像との重複領域を計測しており、重複領域が既定値となった場合に後画像を自動で取得する。例えば重複領域計測部４０４は、重複領域の面積を計測し、計測する面積が既定値となった場合に撮影制御部４４１は撮影画像取得部４０１に第２画像を取得させる。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
１００ ロボット装置
１０２ 主フレーム
１０４ 垂直伸延アーム
１０４Ａ カメラ設置部
１０６ 筐体
１０８ Ｘ方向駆動部
１０８Ａ ボールネジ
１０８Ｂ ボールナット
１０８Ｃ モータ
１１０ Ｙ方向駆動部
１１０Ａ タイヤ
１１０Ｂ タイヤ
１１２ Ｚ方向駆動部
１２０ パンチルト機構
１３０ ロボット制御部
２００ 撮像装置
２０２ カメラ
２０２Ａ 撮像部
２０４ 撮影制御部
２０６ パンチルト駆動部
２１０ パンチルト制御部
２３０ ロボット側通信部
３００ コンピュータ
３０２ タッチパネルディスプレイ
３０４ スピーカー
３０５ 内蔵カメラ
３０６ 外部接続端子
３１０ ＣＰＵ
３１２ システムバス
３１４ メインメモリ
３１６ 不揮発性メモリ
３１８ モバイル通信部
３１８Ａ アンテナ
３２０ 無線ＬＡＮ通信部
３２０Ａ アンテナ
３２２ 近距離無線通信部
３２２Ａ アンテナ
３２４ 有線通信部
３２６ 表示部
３２８ 入力部
３３０ キー入力部
３３２ 音声処理部
３３４ 画像処理部
４００ 画像処理装置
４０１ 撮影画像取得部
４０２ 撮影画像入力部
４０３ カメラ装置
４０４ 重複領域計測部
４０６ 記憶制御部
４０８ 記憶部
４１０ 空間配置部
４１２ 対応点検出部
４１４ 合成処理部
４２１ 第１画像切出部
４２３ 第２画像切出部
４３１ 画像抽出部
４４１ 撮影制御部
５００ 撮影システム
Ｓ１０−Ｓ１５ 第１の実施形態の画像処理方法の工程
Ｓ２０−Ｓ２７ 第２の実施形態の画像処理方法の工程
Ｓ３０−Ｓ３６ 第３の実施形態の画像処理方法の工程

Claims (11)

1. 画像の合成に使用する時系列順の複数の撮影画像を順次入力する撮影画像入力部であって、前記複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する前記複数の撮影画像を入力する撮影画像入力部と、
   前記入力する前記第１画像と前記第２画像との前記重複領域を計測する重複領域計測部と、
   前記入力した前記複数の撮影画像を記憶部に記憶させ、かつ前記第２画像に関連付けて前記計測した前記重複領域を示す位置情報を記憶部に記憶させる記憶制御部と、
   前記記憶部に記憶された前記複数の撮影画像と前記位置情報に基づいて前記複数の撮影画像を空間配置する空間配置部と、
   前記空間配置された前記複数の撮影画像の前記重複領域を検出し、前記検出した前記重複領域の画像間の対応点を検出する対応点検出部と、
   前記検出した対応点に基づいて前記複数の撮影画像を合成して合成画像を生成する合成処理部と、
   を備え、
   前記重複領域を示す前記位置情報は、前記第１画像の第１座標および前記第１画像に対応する前記第２画像の第２座標である、
   画像処理装置。
2. 画像の合成に使用する時系列順の複数の撮影画像を順次入力する撮影画像入力部であって、前記複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する前記複数の撮影画像を入力する撮影画像入力部と、
   前記入力された前記複数の撮影画像から前記第１画像を切り出す第１画像切出部と、
   前記切り出された前記第１画像と前記入力された前記複数の撮影画像との前記重複領域を計測する重複領域計測部と、
   前記重複領域計測部の計測結果が既定値となった場合に、前記複数の撮影画像から前記第２画像を切り出す第２画像切出部と、
   前記入力した前記複数の撮影画像を記憶部に記憶させ、かつ前記第２画像に関連付けて前記計測した前記重複領域を示す位置情報を記憶部に記憶させる記憶制御部と、
   前記記憶部に記憶された前記複数の撮影画像と前記位置情報に基づいて前記複数の撮影画像を空間配置する空間配置部と、
   前記空間配置された前記複数の撮影画像の前記重複領域を検出し、前記検出した前記重複領域の画像間の対応点を検出する対応点検出部と、
   前記検出した対応点に基づいて前記複数の撮影画像を合成して合成画像を生成する合成処理部と、
   を備え、
   前記重複領域を示す前記位置情報は、前記第１画像の第１座標および前記第１画像に対応する前記第２画像の第２座標である、
   画像処理装置。
3. 画像の合成に使用する時系列順の複数の撮影画像を順次入力する撮影画像入力部であって、前記複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する前記複数の撮影画像を入力する撮影画像入力部と、
   前記入力する前記第１画像と前記第２画像との前記重複領域を計測する重複領域計測部と、
   前記重複領域計測部の計測結果が既定値となった場合に、前記第１画像と前記第２画像とを抽出する画像抽出部と、
   前記抽出した前記第１画像と前記第２画像を記憶部に記憶させ、かつ前記第２画像に関連付けて前記計測した前記重複領域を示す位置情報を記憶部に記憶させる記憶制御部と、
   前記記憶部に記憶された前記複数の撮影画像と前記位置情報に基づいて前記複数の撮影画像を空間配置する空間配置部と、
   前記空間配置された前記複数の撮影画像の前記重複領域を検出し、前記検出した前記重複領域の画像間の対応点を検出する対応点検出部と、
   前記検出した対応点に基づいて前記複数の撮影画像を合成して合成画像を生成する合成処理部と、
   を備え、
   前記重複領域を示す前記位置情報は、前記第１画像の第１座標および前記第１画像に対応する前記第２画像の第２座標である、
   画像処理装置。
4. 前記合成処理部は、合成することによりオルソ画像を生成する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記記憶制御部は、前記第２画像に付属するＥＸＩＦタグに、前記位置情報を記録する請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記対応点検出部は、前記第１画像において前記第２画像以外の画像との前記重複領域も検出し、前記検出した前記重複領域の画像間の対応点を検出する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記重複領域を示す前記位置情報は、２組以下の第１座標および第２座標である請求項１から６のいずれか１項に記載の画像処理装置。
8. 画像の合成に使用する時系列順の複数の撮影画像を順次取得する撮影画像取得部であって、前記複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する前記複数の撮影画像を取得する撮影画像取得部と、
   前記第１画像と前記撮影画像取得部で捉えられる動画との重複領域を計測する重複領域計測部と、
   前記重複領域計測部の計測結果が既定値となった場合に、前記撮影画像取得部に前記第２画像を取得させる撮影制御部と、
   前記取得した前記複数の撮影画像を記憶部に記憶させ、かつ前記第２画像に関連付けて前記計測した前記重複領域を示す位置情報を記憶部に記憶させる記憶制御部と、
   前記記憶部に記憶された前記複数の撮影画像と前記位置情報に基づいて前記複数の撮影画像を空間配置する空間配置部と、
   前記空間配置された前記複数の撮影画像の前記重複領域を検出し、前記検出した前記重複領域の画像間の対応点を検出する対応点検出部と、
   前記検出した対応点に基づいて前記複数の撮影画像を合成して合成画像を生成する合成処理部と、
   を備え、
   前記重複領域を示す前記位置情報は、前記第１画像の第１座標および前記第１画像に対応する前記第２画像の第２座標である、
   カメラ装置。
9. 画像の合成に使用する時系列順の複数の撮影画像を順次入力するステップであって、前記複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する前記複数の撮影画像を入力するステップと、
   前記入力する前記第１画像と前記第２画像との前記重複領域を計測するステップと、
   前記入力した前記複数の撮影画像を記憶部に記憶させ、かつ前記第２画像に関連付けて前記計測した前記重複領域を示す位置情報を記憶部に記憶させるステップと、
   前記記憶部に記憶された前記複数の撮影画像と前記位置情報に基づいて前記複数の撮影画像を空間配置するステップと、
   前記空間配置された前記複数の撮影画像の前記重複領域を検出し、前記検出した前記重複領域の画像間の対応点を検出するステップと、
   前記検出した対応点に基づいて前記複数の撮影画像を合成して合成画像を生成するステップと、
   を含み、
   前記重複領域を示す前記位置情報は、前記第１画像の第１座標および前記第１画像に対応する前記第２画像の第２座標である、
   画像処理方法。
10. 画像の合成に使用する時系列順の複数の撮影画像を順次入力するステップであって、前記複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する前記複数の撮影画像を入力するステップと、
    前記入力された前記複数の撮影画像から前記第１画像を切り出すステップと、
    前記切り出された前記第１画像と前記入力された前記複数の撮影画像との前記重複領域を計測するステップと、
    前記重複領域を計測するステップでの計測結果が既定値となった場合に、前記複数の撮影画像から前記第２画像を切り出すステップと、
    前記入力した前記複数の撮影画像を記憶部に記憶させ、かつ前記第２画像に関連付けて前記計測した前記重複領域を示す位置情報を記憶部に記憶させるステップと、
    前記記憶部に記憶された前記複数の撮影画像と前記位置情報に基づいて前記複数の撮影画像を空間配置するステップと、
    前記空間配置された前記複数の撮影画像の前記重複領域を検出し、前記検出した前記重複領域の画像間の対応点を検出するステップと、
    前記検出した対応点に基づいて前記複数の撮影画像を合成して合成画像を生成するステップと、
    を含み、
    前記重複領域を示す前記位置情報は、前記第１画像の第１座標および前記第１画像に対応する前記第２画像の第２座標である、
    画像処理方法。
11. 画像の合成に使用する時系列順の複数の撮影画像を順次入力するステップであって、前記複数の撮影画像のうちの時系列順の前後の第１画像と第２画像とは互いに重複領域を有する前記複数の撮影画像を入力するステップと、
    前記入力する前記第１画像と前記第２画像との前記重複領域を計測するステップと、
    前記重複領域を計測するステップの計測結果が既定値となった場合に、前記第１画像と前記第２画像とを抽出するステップと、
    前記抽出した前記第１画像と前記第２画像を記憶部に記憶させ、かつ前記第２画像に関連付けて前記計測した前記重複領域を示す位置情報を記憶部に記憶させるステップと、
    前記記憶部に記憶された前記複数の撮影画像と前記位置情報に基づいて前記複数の撮影画像を空間配置するステップと、
    前記空間配置された前記複数の撮影画像の前記重複領域を検出し、前記検出した前記重複領域の画像間の対応点を検出するステップと、
    前記検出した対応点に基づいて前記複数の撮影画像を合成して合成画像を生成するステップと、
    を含み、
    前記重複領域を示す前記位置情報は、前記第１画像の第１座標および前記第１画像に対応する前記第２画像の第２座標である、
    画像処理方法。

Images