近年、建造物の点検作業に撮影画像が利用されることが多くなった。点検作業において撮影画像が利用される場合には、各点検対象について撮影箇所や撮影条件を変更して複数回の撮影が行われる。すなわち、複数の点検対象の各点検対象毎に、撮影箇所および撮影条件を変更して、撮影画像が取得される。このように、複数の点検対象のうち点検対象毎に複数枚の撮影画像を取得すると、膨大な枚数の撮影画像で構成された撮影画像群が生成されることになる。
具体例として橋梁の床版の点検を行う場合には、格間ごとに床版を撮影していくが、格間の全体像を撮影し且つ格間の損傷箇所はズームアップして撮影するなどして、一つの格間(撮影対象)に対して複数の撮影画像が取得される。また、橋梁の点検では複数の格間に関して点検を行うので、点検者(ユーザ)は複数の撮影対象の多数の撮影画像で構成された撮影画像群を得ることになる。そして点検者は、撮影画像を点検に利用するためには、得られた撮影画像群を点検対象である格間の床版(撮影対象)毎にグルーピングする必要がある。
この撮影対象毎にグルーピングする作業は、従来より点検者が視覚で判断して手動で行われる場合が多かった。
しかしながら、点検者が手動でグルーピングを行う場合にはグルーピングに時間を要してしまい、点検対象が多数ある場合にはグルーピングの作業に膨大な時間を要してしまう場合があった。また点検者の手動でのグルーピングでは、人為的な誤りにより、正しいグルーピング結果を得ることができない場合がある。
ここで点検を行う場合に取得される撮影画像群を構成する各撮影画像は、上述したフォトブックおよびフォトアルバムのようにイベント毎に撮影時刻が大きく異なる場合が少なく、単純に撮影画像が有する撮影時刻の違いだけで、点検対象毎にグルーピングすることは難しい場合が多い。
また特許文献1には、撮影対象毎に、データベースに保存されている画像群を迅速に且つ正確にグルーピングすることには言及されていない。
本発明はこのような事情に鑑みてなされたもので、その目的は、複数の撮影対象を撮影し且つ各撮影対象に対して複数の撮影画像が存在する撮影画像群において、点検対象毎にグルーピングする作業を迅速に且つ正確に行うことができる画像処理装置、画像処理方法、およびプログラムを提供することである。
上記目的を達成するために、本発明の一の態様である画像処理装置は、複数の撮影対象の撮影画像を含む撮影画像群を、撮影対象ごとのグループにグルーピングする画像処理装置であって、撮影対象の各々について第1撮影された単数または複数の第1画像と、第1撮影とは異なる撮影条件で第2撮影された複数の第2画像とを含む撮影画像群が入力される画像入力部と、第1画像のうちのいずれかを撮影対象の全体像を表す親画像として受け付ける親画像受付部と、受け付けた親画像の画像特徴と第2画像の画像特徴とに基づいて、親画像の撮影対象の一部を撮影した第2画像を子画像として特定する子画像特定部と、撮影対象の各々について、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループを生成するグループ生成部と、を備える。
本態様によれば、撮影対象の各々について第1撮影された単数または複数の第1画像と、第1撮影とは異なる撮影条件で第2撮影された複数の第2画像とを含む撮影画像群を撮影対象ごとに、画像特徴の親子関係によりグループ分け(グルーピング)することができる。すなわち、親画像受付部により、撮影対象の全体像を表す親画像の指定が受け付けられ、子画像特定部により、その指定された親画像の画像特徴に基づいて同一の撮影対象の一部を撮影した子画像が特定され、同一の撮影対象を撮影した親画像および子画像、または同一の撮影対象を撮影した子画像で構成されるグループが生成される。これにより本態様は、親画像の画像特徴と子画像の画像特徴とに基づいて、撮影画像群を撮影対象毎にグルーピングするので、撮影画像群のグルーピングをより迅速に且つ正確に行うことができる。
好ましくは、親画像受付部は、撮影対象を分割撮影した複数の第1画像を親画像として受け付け、子画像特定部は、親画像として受け付けた複数の第1画像を合成処理して撮影対象の全体像を表す一枚の画像に合成し、一枚の画像の画像特徴と第2画像の画像特徴とに基づいて、子画像を特定する。
本態様によれば、親画像受付部により、撮影対象を分割撮影した複数の第1画像が親画像として受け付けられ、子画像特定部により、受け付けられた複数の親画像を撮影対象の全体像を表す一枚の画像に合成して、合成された一枚の画像の画像特徴に基づいて、子画像が特定される。これにより本態様は、撮影対象が大きく分割撮影された場合であっても、分割撮影された画像を合成して合成した画像の画像特徴に基づいて子画像が特定されるので、撮影画像群の正確なグルーピングを行うことができる。
好ましくは、子画像特定部は、第2画像と親画像との特徴点を抽出し、抽出した特徴点の対応関係に基づいて、子画像を特定する。
本態様によれば、子画像特定部により、第2画像と親画像との特徴点が抽出され、抽出された特徴点の対応関係に基づいて子画像が特定されるので、本態様は、正確に撮影画像群のグルーピングを行うことができる。
好ましくは、撮影画像群を構成する複数の撮影画像の各々は、撮影された時刻に関する情報を有し、子画像特定部は、一つのグループの親画像が撮影された時刻以降または時刻以前に撮影された第2画像を子画像の子候補画像とし、子候補画像から子画像を特定する。
本態様によれば、撮影画像群を構成する撮影画像の各々が撮影された時刻に関する情報を有する場合において、子画像特定部により、一つのグループの親画像が撮影された時刻以降または時刻以前に撮影された第2画像を子画像の子候補画像とし、子候補画像から子画像を特定する。これにより本態様は、子画像特定部による子画像の特定が、子候補画像のうちから行われるので、正確に且つ迅速に撮影画像群のグルーピングを行うことができる。
好ましくは、撮影画像群を構成する複数の撮影画像の各々は、撮影された時刻に関する情報を有し、子画像特定部は、第1グループの親画像が撮影された時刻と、第2グループの親画像が撮影された時刻との間に撮影された第2画像を第1グループの子画像の子候補画像とし、子候補画像から子画像を特定する。
本態様によれば、撮影画像群を構成する撮影画像の各々が撮影された時刻に関する情報を有する場合において、子画像特定部により、第1グループの親画像が撮影された時刻と、第2グループの親画像が撮影された時刻との間に撮影された第2画像を第1グループの子画像の子候補画像とし、子候補画像から子画像が特定される。これにより本態様は、子画像特定部による子画像の特定が、子候補画像のうちから行われるので、正確に且つ迅速に撮影画像群のグルーピングを行うことができる。
好ましくは、撮影画像群を構成する複数の撮影画像の各々は、撮影条件に関する情報を有し、親画像受付部は、撮影条件に基づいて撮影画像群の中から第1画像を抽出し、抽出された第1画像の中から、親画像を受け付ける。
本態様によれば、撮影画像群を構成する複数の撮影画像の各々が撮影条件に関する情報を有する場合において、親画像受付部により、撮影条件に基づいて撮影画像群の中から第1画像を抽出し、抽出された第1画像の中から、親画像を受け付ける。これにより本態様は、親画像として選択される候補である第1画像を抽出して、その抽出された第1画像の中から、親画像の選択が受け付けられるので、迅速に且つ正確な撮影画像群のグルーピングを行うことができる。
好ましくは、撮影画像群は、撮影画像の撮影対象が他の撮影対象に変わることを示す目印画像を含み、撮影画像群を構成する複数の撮影画像および目印画像の各々は、撮影された時刻に関する情報を有し、親画像受付部は、目印画像が撮影された直後または直前に撮影された第1画像を親画像として受け付ける。
本態様によれば、撮影画像群が撮影画像の撮影対象が他の撮影対象に変わることを示す目印画像を含み、且つ、撮影画像群を構成する複数の撮影画像および目印画像の各々は撮影された時刻に関する情報を有する場合に、親画像受付部により、目印画像が撮影された直後または直前に撮影された第1画像を親画像として受け付ける。これにより本態様は、目印画像の直前または直後の第1画像を、親画像として自動的に受け付けるので、迅速に且つ正確な撮影画像群のグルーピングを行うことができる。
好ましくは、画像処理装置は、グループ生成部で生成されたグループごとに親画像および子画像を表示部に表示させる表示制御部と、子画像の修正指示を受け付ける修正指示受付部と、を備え、グループ生成部は、修正指示に基づいてグループを再び生成する。
本態様によれば、表示制御部により、グループ生成部で生成されたグループごとに親画像および子画像を表示部に表示させ、修正指示受付部により、子画像の修正指示を受け付け、グループ生成部により、修正指示に基づいてグループが再び生成される。これにより本態様は、正確な撮影画像群のグルーピングを行うことができる。
好ましくは、画像処理装置は、グループを構成する複数の子画像を、画像合成の対象画像として特定する合成対象特定部を備える。
好ましくは、画像処理装置は、合成対象特定部で特定された画像合成の対象画像を画像合成する子画像合成部を備える。
本態様によれば、子画像合成部により、画像合成の対象画像を画像合成するので、グルーピングの結果が有効に利用される。
本発明の他の態様である画像処理方法は、複数の撮影対象の撮影画像を含む撮影画像群を、撮影対象ごとのグループにグルーピングする画像処理方法であって、撮影対象の各々について第1撮影された単数または複数の第1画像と、第1撮影とは異なる撮影条件で第2撮影された複数の第2画像とを含む撮影画像群が入力される画像入力ステップと、第1画像のうちのいずれかを撮影対象の全体像を表す親画像として受け付ける親画像受付ステップと、受け付けた親画像の画像特徴と第2画像の画像特徴とに基づいて、親画像の撮影対象の一部を撮影した第2画像を子画像として特定する子画像特定ステップと、撮影対象の各々について、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループを生成するグループ生成ステップと、を含む。
本発明の他の態様である画像処理方法をコンピュータに実行させるプログラムは、複数の撮影対象の撮影画像を含む撮影画像群を、撮影対象ごとのグループにグルーピングする画像処理方法をコンピュータに実行させるプログラムであって、撮影対象の各々について第1撮影された単数または複数の第1画像と、第1撮影とは異なる撮影条件で第2撮影された複数の第2画像とを含む撮影画像群が入力される画像入力ステップと、第1画像のうちのいずれかを撮影対象の全体像を表す親画像として受け付ける親画像受付ステップと、受け付けた親画像の画像特徴と第2画像の画像特徴とに基づいて、親画像の撮影対象の一部を撮影した第2画像を子画像として特定する子画像特定ステップと、撮影対象の各々について、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループを生成するグループ生成ステップと、を含む。
本発明によれば、親画像受付部により、撮影対象の全体像を表す親画像の指定が受け付けられ、子画像特定部により、その指定された親画像の画像特徴に基づいて同一の撮影対象の一部を撮影した子画像が特定され、同一の撮影対象を撮影した親画像および子画像、または同一の撮影対象を撮影した子画像で構成されるグループが生成されるので、撮影画像群のグルーピングをより迅速に且つ正確に行うことができる。
以下、添付図面にしたがって本発明の画像処理装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。
本発明では複数の撮影対象を撮影した撮影画像で構成された撮影画像群を撮影対象毎にグルーピングすることができる。ここで、撮影対象は特に限定されるものではないが、例えば構造物または建造物の定期点検を撮影画像を使用して行う場合の撮影対象があげられる。以下の説明では、具体例として橋梁1(図1)の点検を行う場合に、複数の格間(格間の床版6)を撮影した撮影画像で構成された撮影画像群U(図10)のグルーピングに関して説明する。
図1は、撮影対象(点検対象)である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。
図1に示す橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、鉄筋コンクリート製のものが一般的である。
主桁2は、橋台または橋脚の間に渡され、床版6上の車輌等の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支持するため、主桁2を連結する部材である。対傾構4および横構5は、それぞれ風および地震の横荷重に抵抗するため、主桁2を相互に連結する部材である。
橋梁1の点検を行う場合には、例えば格間ごとに撮影画像を取得して、ヒビ割れ等の損傷箇所があるか否かを点検する。ここで格間とは、床版6が対向する2つの主桁2および対向する2つの横桁3または対傾構4により区切られた空間のことである。
次に、本発明の画像処理装置を備えるコンピュータ300に関して説明する。
図2および図3はコンピュータ300の外観構成を示す斜視図であり、図2は正面斜視図、図3は背面斜視図である。
コンピュータ300は、図2および図3に示すように、タブレット型のコンピュータで構成される。コンピュータ300は、矩形の輪郭を有する平板状の筐体301を備え、その筐体301に表示部326と入力部328とを兼ねたタッチパネルディスプレイ302、操作ボタン303、スピーカー304、内蔵カメラ305、外部接続端子306等を備えて構成される。
図4は、コンピュータ300のシステム構成を示すブロック図である。
図4に示すように、コンピュータ300は、コンピュータ300の全体の動作を制御するCPU(Central Processing Unit)310を備え、このCPU310にシステムバス312を介して、メインメモリ314、不揮発性メモリ316、モバイル通信部318、無線LAN通信部320、近距離無線通信部322、有線通信部324、表示部326、入力部328、キー入力部330、音声処理部332、画像処理部334等が接続されて構成される。
CPU310は、不揮発性メモリ316に記憶された動作プログラム(OS(Operating System)、および、そのOS上で動作するアプリケーションプログラム)、および、定型データ等を読み出し、メインメモリ314に展開して、当動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。
メインメモリ314は、たとえば、RAM(Random Access Memory)で構成され、CPU310のワークメモリとして機能する。
不揮発性メモリ316は、たとえば、フラッシュEEPROM(EEPROM:Electrically Erasable Programmable Read Only Memory)で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ316は、コンピュータ300の記憶部として機能し、各種データを記憶する。
モバイル通信部318は、IMT−2000規格(International Mobile Telecommunication-2000)に準拠した第3世代移動通信システム、および、IMT−Advance規格(International Mobile Telecommunications-Advanced)に準拠した第4世代移動通信システムに基づき、アンテナ318Aを介して、最寄りの図示しない基地局との間でデータの送受を実行する。
無線LAN通信部320は、アンテナ320Aを介して、無線LANアクセスポイントや無線LAN通信が可能な外部機器との間で所定の無線LAN通信規格(たとえば、例えばIEEE802.11a/b/g/n規格)に従った無線LAN通信を行う。
近距離無線通信部322は、アンテナ322Aを介して、たとえばクラス2(半径約10m内)の範囲内にある他のBluetooth(登録商標)規格の機器とデータの送受を実行する。
有線通信部324は、外部接続端子306を介してケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。たとえば、USB通信を行う。
表示部326は、タッチパネルディスプレイ302のディスプレイ部分を構成するカラーLCD(liquid crystal display)パネルと、その駆動回路と、で構成され、各種画像を表示する。
入力部328は、タッチパネルディスプレイ302のタッチパネル部分を構成する。入力部328は、透明電極を用いてカラーLCDパネルと一体的に構成される。入力部328は、点検者のタッチ操作に対応した2次元の位置座標情報を生成して出力する。
キー入力部330は、コンピュータ300の筐体301に備えられた複数の操作ボタン303と、その駆動回路と、で構成される。
音声処理部332は、システムバス312を介して与えられるデジタル音声データをアナログ化してスピーカー304から出力する。
画像処理部334は、撮影レンズおよびイメージセンサーを備えた内蔵カメラ305から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。
<第1の実施形態>
次に、画像処理装置200が備える機能に関して説明する。
図5は、画像処理装置200が備える機能を示すブロック図である。なお、画像処理装置200はコンピュータ300に設けられており、画像処理装置200の各機能はコンピュータ300により実現されている。
画像処理装置200は、画像入力部201、親画像受付部203、子画像特定部205、およびグループ生成部207を備える。
画像入力部201には、撮影対象毎にグループ分け(グルーピング)される撮影画像群Uが入力される。ここで、撮影画像群Uは、複数の撮影対象について、撮影対象毎に複数の撮影画像を含む。具体的には、画像入力部201には、撮影対象の各々について広角撮影(第1撮影)された単数または複数の広角画像(第1画像)100(図6参照)と、望遠撮影(第2撮影)された複数の望遠画像(第2画像)110(図9参照)とを含む撮影画像群Uが入力される。ここで広角撮影と望遠撮影とは撮影条件のうちの焦点距離が異なり、広角画像100は焦点距離が短い条件で広角撮影が行われており、望遠画像110は焦点距離が長い条件で望遠撮影が行われている。
親画像受付部203は、広角画像100のうちのいずれかを撮影対象の全体像を表す親画像として受け付ける。すなわち、親画像受付部203は、点検者から撮影対象の全体像が写っている広角画像100について、親画像としての指定を受け付ける。例えば親画像受付部203は、表示部326に表示された撮影画像群Uまたは広角画像100が点検者により選択されることにより、広角画像100についての親画像として指定を受け付ける。
ここで、広角画像100に関して説明する。図6は、格間を広角撮影した画像(広角画像100)を概念的に示す図である。
橋梁1の点検を行う場合には、床版6を格間毎に点検が行われる場合が多い。この場合には、格間の全体像を広角撮影(第1撮影)により捉えた広角画像100が取得される。広角画像100は、横桁3と主桁2とで囲まれた範囲(格間)の床版6が撮影対象であり、格間の全体像が撮影されている。実際に橋梁1の点検を行う場合には、複数の格間についてそれぞれ広角画像100が取得される。
また親画像受付部203は、撮影対象を分割撮影した複数の広角画像100を親画像として受け付けてもよい。すなわち、撮影対象が大きく広角撮影した場合であっても撮影対象の全体像を一枚の撮影画像内に収めることができない場合には、分割撮影されることになるが、親画像受付部203は分割撮影された広角画像100を親画像として受け付けてよい。この場合には、子画像特定部205は、親画像として受け付けた複数の広角画像100を合成処理して撮影対象の全体像を表す一枚の画像に合成し、一枚の画像の画像特徴と望遠画像110の画像特徴とに基づいて、子画像を特定する。
図7は、撮影対象である格間を分割撮影した場合の広角画像100に関して説明する図である。
撮影対象である格間Hが大きい場合には、分割撮影をして分割広角画像101A、分割広角画像101B、および分割広角画像101Cが取得される。そして親画像受付部203は、親画像として分割広角画像101A、分割広角画像101B、および分割広角画像101Cの指定を受け付ける。この場合、子画像特定部205は、分割広角画像101A、分割広角画像101B、および分割広角画像101Cを合成したのちに合成画像(親画像)の画像特徴に基づいて子画像の特定を行う。
また、親画像受付部203は、画像入力部201に入力される撮影画像群Uを構成する複数の撮影画像の各々が撮影条件に関する情報を有する場合には、撮影条件に基づいて撮影画像群Uの中から広角画像100を抽出し、抽出された広角画像100の中から、親画像を受け付けてもよい。すなわち、撮影画像群Uを構成する撮影画像の各々が撮影条件(焦点距離)に関する情報を有し、その撮影条件から広角画像100を抽出し、抽出された広角画像100を表示部326に表示して点検者が親画像の選択をして、親画像受付部203は親画像の指定を受け付けてもよい。
また、親画像受付部203は、画像入力部201に入力される撮影画像群Uが撮影対象が変わることを示す目印画像112を含み、且つ、撮影画像群Uを構成する複数の撮影画像および目印画像112の各々が撮影された時刻に関する情報を有する場合には、親画像受付部203は、目印画像112が撮影された直後または直前に撮影された広角画像を親画像として受け付けてもよい。すなわち、親画像受付部203は、撮影画像群Uが目印画像112を含む場合には、目印画像112の直後または直前の広角画像100を親画像として自動的または手動により受け付けてもよい。具体的には図10で示された撮影画像群Uにおいて、目印画像112の直後の広角画像100を親画像として指定する。
ここで目印画像112に関して説明する。図8は、撮影画像群Uに含まれる目印画像112の一例を概念的に示す図である。目印画像112は、撮影対象が切り替わることを示すために撮影される画像である。すなわち、橋梁1の点検を行う場合には、多数の格間を撮影することになるが、目印画像112によって、前または後でどの格間を撮影しているのか分かるようにする。図8に示された目印画像112では、格間の番号を書いたプレートが撮影されている。
なお、目印画像112の他の例としては、橋梁1の名前または部材番号が書かれたプレートを撮影した画像、およびレンズカバーをしたまま撮影した真っ黒な画像があげられる。また目印画像112は、撮影画像群Uに含まれる場合もあるし、撮影画像群Uに含まれない場合もある。
図5に戻って、子画像特定部205は、受け付けた親画像の画像特徴と望遠画像110の画像特徴とに基づいて、親画像の撮影対象の一部を撮影した望遠画像110を子画像として特定する。すなわち、子画像特定部205は、点検者からの指定を受けた親画像の画像特徴と望遠画像110の画像特徴と相関関係(一致度)を算出し、子画像を特定する。具体的には子画像特定部205は、望遠画像110と親画像との特徴点を抽出し、抽出した親画像と望遠画像110の特徴点の一致度が所定の値(閾値)よりも高い望遠画像110を子画像として特定する。子画像特定部205が行う、親画像の画像特徴および望遠画像110の特徴点の抽出、および親画像の画像特徴および望遠画像110の特徴点の相関関係の算出は公知の画像処理技術が適用される。
なお画像間の拡大縮小、回転および照明変化等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、およびAKAZE (Accelerated KAZE)特徴量が知られている。
ここで望遠画像110に関して説明する。図9は、格間を望遠撮影した望遠画像110を概念的に示す図である。点検検査を行う場合には、格間を広角撮影しただけでは検出できないヒビ割れがある場合や、ヒビ割れをより詳細に分析したい場合に、望遠撮影を行って拡大した撮影対象の像を取得する。また、望遠画像110は、格間の全域にわたって取得されてもよいし、格間のある箇所のみ取得されてもよい。
また子画像特定部205は、撮影画像群Uを構成する複数の撮影画像の各々が撮影された時刻に関する情報を有する場合には、子画像特定部205は、一つのグループの親画像が撮影された時刻以降または時刻以前に撮影された望遠画像110を子画像の子候補画像とし、子候補画像から子画像を特定してもよい。具体的には図10で示された撮影画像群Uにおいて、P1またはP2で示した親画像が撮影された時刻以降または時刻以前に撮影された望遠画像を子候補画像として、子画像を特定してもよい。これにより、子画像特定部205は、撮影画像群Uの全ての撮影画像または全ての望遠画像110について特徴点を抽出して親画像との対応関係を調べる必要はなく、親画像が撮影された時刻以降または時刻以前に撮影された望遠画像110を子画像の子候補画像とし、その子候補画像のみに対して特徴点を抽出して対応関係を調べてもよい。
また子画像特定部205は、撮影画像群Uを構成する複数の撮影画像の各々が撮影された時刻に関する情報を有する場合には、子画像特定部205は、第1グループの親画像が撮影された時刻と、第2グループの親画像が撮影された時刻との間に撮影された望遠画像110を第1グループの子画像の子候補画像とし、子候補画像から子画像を特定する第1グループの子画像として特定してもよい。具体的には図10で示された撮影画像群Uにおいて、P1とP2で示された親画像の間に撮影された望遠画像110をP1の広角画像を親画像とするグループの子候補画像としてもよい。これにより、子画像特定部205は、撮影画像群Uの全ての撮影画像または全ての望遠画像110について特徴点を抽出して親画像との対応関係を調べる必要はなく、第1グループの親画像が撮影された時刻と、第2グループの親画像が撮影された時刻との間に撮影された望遠画像110を第1グループの子画像として特定してもよい。
グループ生成部207は、撮影対象の各々について、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループを生成する。グループ生成部207で生成されたグループは、撮影対象毎に親画像と子画像とで構成されるグループ、または撮影対象毎に子画像で構成されるグループである。具体的には、撮影対象が格間の床版6である場合には、格間毎に広角画像100および望遠画像110、または格間毎の望遠画像110のグループが生成される。
<撮影画像群のグルーピング>
次に、撮影画像群Uおよびグルーピング結果を具体例を使って説明する。
図10は、橋梁1の点検作業において撮影された撮影画像から構成される撮影画像群Uを示す図である。図10では、撮影画像群Uを構成する一部の複数の撮影画像を示している。撮影画像群Uは、撮影対象である格間の広角画像100、床版6の望遠画像110、および目印画像112で構成されている。なお、広角画像100、望遠画像110、および目印画像112は、撮影された順番に画像番号として「DSCF34○○」が付されており、撮影された順番に配列されている。また、撮影画像群Uを構成する複数の撮影画像の各々は、撮影された時刻に関する情報、および撮影条件(例えば焦点距離)の情報を有する。なお、図10中でP1で示されている広角画像100は、第1グループの親画像として指定され、P2で示されている広角画像100は第2グループの親画像として指定される。親画像の指定は、例えば撮影画像群Uまたは広角画像100のサムネイル表示を表示部326に表示させて、点検者がそのサムネイル表示を選択することで行われる。
図11から図14は、親画像受付部203で受け付けられた親画像、および子画像特定部205で特定された子画像に関して示す図である。図11および図12は第1グループ、図13および図14は第2グループの親画像および子画像が示されている。
図11は、第1グループの親画像として指定された広角画像100を示す図である。この場合、撮影対象を分割撮影した複数の広角画像を親画像として受け付ける。すなわち、親画像受付部203は、格間を4分割して撮影した広角画像100を第1グループの親画像として受け付ける。
図12は、撮影画像群Uにおいて、第1グループの子画像として特定された望遠画像110を示している。図11で指定された親画像の画像特徴と望遠画像110の各々の画像特徴とに基づいて、子画像特定部205により、撮影画像群Uから子画像が特定されている。
図13は、撮影画像群Uにおいて、第1グループの親画像として指定された広角画像100である。この場合、親画像受付部203は、格間を3分割して撮影した広角画像100を第2グループの親画像として受け付ける。
図14は、撮影画像群Uにおいて、第1グループの子画像として特定された望遠画像110を示している。図13で指定された親画像の画像特徴と望遠画像110の各々の画像特徴とに基づいて、撮影画像群Uから子画像が特定されている。
図15は、画像処理装置200の動作を示すフロー図である。
先ず画像入力部201に、撮影画像群Uが入力される(画像入力ステップ:ステップS10)。撮影画像群Uの入力は、コンピュータ300の有線通信部324、モバイル通信部318、無線LAN通信部320、または近距離無線通信部322を介して行われる。その後親画像受付部203において、広角画像100のうち第1グループの親画像の指定を受け付ける(親画像受付ステップ:ステップS12)。例えば点検者が、表示部326に表示された撮影画像群Uのサムネイル表示を選択することにより、親画像の指定が行われる。そして、子画像特定部205により、望遠画像110において子画像が特定される(子画像特定ステップ:ステップS14)。例えば子画像特定部205は、公知の画像処理技術により対応点検出を行い、親画像の画像特徴と撮影画像群Uに含まれる望遠画像110の画像特徴とのマッチングを算出し、マッチングが良いものを子画像として特定する。その後、グループ生成部207により、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループが生成される(グループ生成ステップ:ステップS16)。
上記実施形態において、各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU310、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPU310とFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータ300に代表されるように、1つ以上のCPU310とソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
<第2の実施形態>
次に、本発明の第2の実施形態に関して説明する。
図16は、本実施形態の画像処理装置200の機能を示すブロック図である。本実施形態の画像処理装置200は、画像入力部201、親画像受付部203、子画像特定部205、グループ生成部207、表示制御部209、および修正指示受付部211を備える。なお、図5で説明を行った箇所は、同じ符号を付し説明は省略する。
表示制御部209は、グループ生成部207で生成されたグループごとに親画像および子画像を表示部326に表示させる。表示制御部209が行うグループの表示形態は、特に限定されない。例えば表示制御部209は、グループごとに親画像および子画像のサムネイル画像を表示する。
修正指示受付部211は、子画像の修正指示を受け付ける。例えば、表示制御部209が表示部326に表示させる子画像のサムネイル画像を、点検者が選択することにより、修正指示受付部211は子画像の修正指示を受け付ける。
グループ生成部207は、修正指示受付部211が受け付けた修正指示に基づいてグループを再び生成する。具体的には、グループ生成部207は、修正指示受付部211が受け付けた修正指示に基づいて、グループから子画像を削除したり追加したりする。
図17および図18は、子画像の修正に関して説明する図である。図17は第1グループの子画像特定部205により特定された子画像のサムネイルがタッチパネルディスプレイ302に表示されており、図18は第2グループの子画像特定部205により特定された子画像のサムネイルがタッチパネルディスプレイ302に表示されている。点検者は、タッチパネルディスプレイ302のサムネイル画像を確認して、グループを構成する画像としては不適切と判断し選択して、グループから除外する。
図17に示した場合では、第1グループの子画像として、目印画像112Bは不適切ではない。すなわち点検者はタッチパネルディスプレイ302に表示された第1グループの子画像のサムネイル画像を確認して、目印画像112Bが混じっていることを認識し、目印画像112Bを選択して修正指示受付部211を介して第1グループの子画像の修正指示を行う。なお、目印画像112Bは、第1グループの親画像との相関関係(例えば、特徴点を抽出して対応点を検出を行った結果)が目印画像112Bは極端に低いので、この相関関係を点検者に報知することにより、点検者に不適切な画像を選択させてもよい。そして、修正指示受付部211は目印画像112Bが選択された指示を受け付け、グループ生成部207は目印画像112Bを除いた新たなグループを生成する。
図18に示した場合では、第2グループの子画像として、望遠画像110Mは不適切である。例えば望遠画像110Mは、撮影に失敗した画像であったり、余分な撮影をした画像である。したがって、点検者は、タッチパネルディスプレイ302に表示された第2グループの子画像のサムネイル画像を確認して、望遠画像110Mを選択する。なお、例えば望遠画像110Mの画質が良くない場合には、第2グループの親画像との相関関係は悪い結果となる。
<第3の実施形態>
次に、本発明の第3の実施形態に関して説明する。
図19は、本実施形態の画像処理装置200の機能を示すブロック図である。本実施形態の画像処理装置200は、画像入力部201、親画像受付部203、子画像特定部205、グループ生成部207、合成対象特定部213、および子画像合成部215を備える。
合成対象特定部213は、グループを構成する複数の子画像を、画像合成の対象画像として特定する。撮影画像群Uのグルーピング結果を画像合成することにより、有効なグルーピング結果の利用を行うことができる。例えば、橋梁1の点検をする場合においては、望遠画像110を合成することにより、点検報告書の掲載、および損傷箇所の位置の特定を効率的に行うことができる。
子画像合成部215は、合成対象特定部213で特定された画像合成の対象画像を画像合成する。すなわち、子画像合成部215は、合成対象特定部213で合成対象として特定された子画像について画像合成を行う。なお、子画像合成部215が行う画像合成は、公知の画像合成技術が適用される。
図20は、グルーピングされた複数の子画像の画像合成について説明する図である。
グループ生成部207で生成されたグループにおいて子画像として特定された望遠画像110が、合成対象特定部213により、合成対象として特定される。合成対象特定部213は、グルーピングされた望遠画像110について全てを合成対象としてもよいし、点検者から指定を受け付けた望遠画像110について合成対象としてもよい。その後、子画像合成部215は、合成対象として特定された子画像(望遠画像110)の合成を行う。図20に示された場合には、合成対象として特定された望遠画像110を合成することにより、撮影対象(格間の床版6)の全体像が写った合成画像115が得られる。なお、合成画像115としては、撮影対象の全体像が写ったものに限定されず、撮影対象の一部が写った合成画像115でもよい。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。