JPWO2018180550A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

本発明は、複数の平面から構成されている建造物を分割撮影した場合に、合成画像及び展開画像を容易に得ることができる画像処理装置及び画像処理方法を提供することを目的とする。本発明の一態様に係る画像処理装置は、複数の平面から構成されている建造物の異なる部分がそれぞれ撮影された複数の撮影画像を取得する画像取得部と、複数の撮影画像で共通する共通平面を特定する平面特定部と、複数の撮影画像のうち共通平面が含まれる画像を射影変換して、共通平面が正対した複数の変換画像を生成する画像変換部と、複数の変換画像を同一の平面に合成した平面合成画像を生成する合成画像生成部と、平面合成画像を複数結合して建造物の展開画像を生成する展開画像生成部と、を備える。

Description

本発明は画像処理装置及び画像処理方法に関し、特に被写体を分割撮影して得られた複数の画像を１つの画像に合成する画像処理装置及び画像処理方法に関する。

近年、撮像装置で取得した画像を用いた建造物の点検が行われている。点検の際は建造物の画像を取得するが、大型の建造物は１つの画像に収まらないため、複数の画像に分割して撮影されることが多い。分割して撮像された複数の画像は画像処理で一枚の画像に合成され、またこの際各画像の歪みが補正される。

例えば特許文献１では、分割撮影した複数の画像を入力し、各画像の歪みを補正した上で複数の画像を１つの画像に合成することが記載されている。また特許文献２では、煙突のような建造物の１つの面（東西南北の各面）を分割撮影した画像を合成し、そのような１つの面についての全体画像を結合して展開画像を生成することが記載されている。

特開２００４−２１５７８号公報 特開平０５−３２２７７８号公報

しかしながら上述の特許文献１は、具体的な実施形態は橋脚の1つの面（ほぼ平面）内に存在する複数の小領域（型枠線で規定される小領域）についての画像合成でしかない。また、明細書の段落［００１４］には「画像は対象とするコンクリート構造物のできるだけ広い範囲、できればコンクリート構造物全体を含んだ一枚の画像であることが望ましい。」、「欠陥が複数の画像に分割されていると欠陥の全容を把握することが困難であり」と記載されている。したがって、対象とする建造物が各方向について複数の平面から構成されている場合、あるいは対象建造物が複数画像に分割撮影されている場合については特許文献１の技術を適用することは困難である。

一方、特許文献２には建造物の１つの面を分割撮影した画像を合成することが記載されているが、対象とする建造物は煙突あるいは橋脚のような単純な形状である。したがって、特許文献１と同様に各方向について複数の平面から構成されている場合、あるいは対象建造物が複数画像に分割撮影されている場合については特許文献２の技術を適用することは困難である。

このように、従来の技術は複数の平面から構成されている建造物を分割撮影した場合に、合成画像及び展開画像を容易に得られるものではなかった。

本発明はこのような事情に鑑みてなされたもので、複数の平面から構成されている建造物を分割撮影した場合に、合成画像及び展開画像を容易に得ることができる画像処理装置及び画像処理方法を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、複数の平面から構成されている建造物の異なる部分がそれぞれ撮影された複数の撮影画像を取得する画像取得部と、複数の撮影画像で共通する共通平面を特定する平面特定部と、複数の撮影画像のうち共通平面が含まれる画像を射影変換して、共通平面が正対した複数の変換画像を生成する画像変換部と、複数の変換画像を同一の平面に合成した平面合成画像を生成する合成画像生成部と、平面合成画像を複数結合して建造物の展開画像を生成する展開画像生成部と、を備える。

第１の態様に係る画像処理装置では、複数の撮影画像で共通する共通平面を特定し、共通平面が正対した複数の変換画像を生成し、複数の変換画像を同一の平面に合成する。したがって、複数の平面から構成されている建造物を分割撮影した場合であっても、特定した共通平面に基づいて合成画像（平面合成画像）を容易に生成し、この平面合成画像に基づき建造物の展開画像を容易に生成することができる。

なお第１の態様では、画像取得部に撮像装置を備えて画像を取得してもよいし、既に記録された画像を記録媒体、ネットワーク等を経由して取得してもよい（その場合、画像取得のための撮影光学系等を設けなくてもよい）。また、第１の態様において「建造物の異なる部分がそれぞれ撮影された」とは、撮影された部分が完全に異なっていてもよいが、合成画像に抜けを生じさせないためには、画像の一部が重複していることが好ましい。

第２の態様に係る画像処理装置は第１の態様において、複数の撮影画像に含まれる第１の画像及び第２の画像において建造物の特徴点を指定する特徴点指定部を備え、画像変換部は、第１の画像において指定された第１の特徴点及び第２の画像において指定された第２の特徴点は共通平面に存在するものとして第１の画像及び第２の画像を射影変換して複数の変換画像を生成する。分割撮影した複数の画像はそれぞれ視点が異なり合成が難しい場合が多いが、特徴点を指定することにより画像正対の手がかりが得られ、射影変換を容易に行うことができる。なお、第２の態様において特徴点は画像処理装置が自動的に指定してもよいし、ユーザの指示入力に基づいて指定してもよい。

第３の態様に係る画像処理装置は第２の態様において、画像変換部は、第１の画像及び第２の画像を射影変換して第１の特徴点及び第２の特徴点にそれぞれ矩形を形成させることにより共通平面を正対させる。第３の態様では、例えば矩形を形成することが分かっている点、例えば格間、床版の四隅等を特徴点として指定し、指定した特徴点に矩形を形成させることにより共通平面を容易に正対させることができる。

第４の態様に係る画像処理装置は第２または第３の態様において、特徴点指定部は、表示画面を介したユーザ操作に基づいて第１の特徴点及び第２の特徴点を指定する。第４の態様によれば、ユーザは第１，第２の特徴点を容易に指定することができる。

第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、画像変換部は、共通平面が含まれる画像に、指定された縦寸法及び横寸法を有する矩形を形成させることにより共通平面を正対させる。第５の態様のように指定された縦寸法及び横寸法を有する矩形を形成させることで、画像の縦横比を維持することができる。なお、縦寸法及び横寸法は、設計データ、ＣＡＤ図面等に基づいて自動入力してもよいし、それらのデータに基づいてユーザが入力してもよい。

第６の態様に係る画像処理装置は第１の態様において、平面特定部は複数の撮影画像を結合して結合画像を生成する画像結合部を備え、画像変換部は、結合画像において指定された第３の特徴点が共通平面に存在するものとして複数の撮影画像を射影変換して複数の変換画像を生成する。第６の態様では、複数の撮影画像を結合して生成した結合画像において第３の特徴点を指定するので、結合前の複数の撮影画像に対してそれぞれ特徴点を指定する必要がなく、特徴点指定の手間を減らすことができる。

第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、画像取得部は複数の撮影画像として複数のステレオ画像を取得し、平面特定部は複数のステレオ画像に基づいて共通平面を特定する。第７の態様では、複数の撮影画像として複数のステレオ画像を取得するので、複数のステレオ画像に対しそれぞれ平面を特定することができ、特定した複数の平面から共通平面を容易に特定することができる。

第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、平面合成画像と展開画像とのうち少なくとも一方に建造物の損傷の計測結果をマッピングする損傷マッピング部を備える。第８の態様によれば、平面合成画像と展開画像とのうち少なくとも一方に損傷の計測結果をマッピングするので、建造物の損傷の状況を容易に把握することができる。

第９の態様に係る画像処理装置は第８の態様において、表示画面を介したユーザ操作に基づいて損傷の情報を入力する情報入力部を有する。第９の態様によれば、ユーザは損傷に関する所望の情報を入力することができる。

上述した目的を達成するため、第１０の態様に係る画像処理方法は複数の平面から構成されている建造物の異なる部分がそれぞれ撮影された複数の撮影画像を取得する画像取得工程と、複数の撮影画像で共通する共通平面を特定する平面特定工程と、複数の撮影画像のうち共通平面が含まれる画像を射影変換して、共通平面が正対した複数の変換画像を生成する画像変換工程と、複数の変換画像を同一の平面に合成した平面合成画像を生成する合成画像生成工程と、平面合成画像を複数結合して建造物の展開画像を生成する展開画像生成工程と、を備える。第１０の態様によれば、第１の態様と同様に、複数の平面から構成されている建造物を分割撮影した場合に、合成画像及び展開画像を容易に得ることができる

以上説明したように、本発明の画像処理装置及び画像処理方法によれば、複数の平面から構成されている建造物を分割撮影した場合に、合成画像及び展開画像を容易に得ることができる

図１は、下面側から見た橋梁の外観図である。 図２は、第１の実施形態に係る画像処理システムの構成を示すブロック図である。 図３は、処理部の機能構成を示す図である。 図４は、記憶部に記憶される情報を示す図である。 図５は、第１の実施形態（例１）に係る画像処理のフローチャートを示す図である。 図６は、建造物を分割撮影する様子を示す図である。 図７は、各画像で特徴点を指定する様子を示す図である。 図８は、各画像を射影変換して指定した特徴点に矩形を形成させるようにする様子を示す図である。 図９は、枠を指定する様子を示す図である。 図１０は、共通平面を合成及び抽出する様子を示す図である。 図１１は、合成画像を結合して展開画像を生成する様子を示す図である。 図１２は、床版の平面合成図に損傷の計測結果をマッピングした様子を示す図である。 図１３は、損傷情報の例を示す図である。 図１４は、橋梁の展開画像に計測結果をマッピングし、損傷情報を入力した様子を示す図である。 図１５は、第１の実施形態（例２）に係る画像処理のフローチャートを示す他の図である。 図１６は、自動合成画像に対して特徴点を指定する様子を示す図である。 図１７は、第２の実施形態に係る画像処理システムの構成を示す図である。 図１８は、第２の実施形態に係る画像処理のフローチャートを示す図である。

以下、添付図面を参照しつつ、本発明に係る画像処理装置及び画像処理方法の実施形態について、詳細に説明する。

＜第１の実施形態＞
＜橋梁の構造＞
図１は、建造物の一つである橋梁１を下から見た状態を示す斜視図である。図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５と、床版６と、による立体的構造を有し、これらの部材がボルト、リベット、溶接等により連結されて構成されている。主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。主桁２は、橋台または橋脚の間に渡されて床版６上の車輌等の荷重を支える部材であり、また床版６の面（水平面）と直交する面（鉛直方向の面）を有する。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４及び横構５は、それぞれ風及び地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。

＜画像の取得＞
橋梁１の平面合成画像及び／または展開画像を生成する場合、検査員はデジタルカメラ１００（図２参照）を用いて橋梁１を下方から撮影し、検査範囲について複数の撮影画像（橋梁１の異なる部分がそれぞれ撮影された複数の画像）を分割して取得する。撮影は、橋梁１の延伸方向及びその直交方向に適宜移動しながら行う。なお橋梁１の周辺状況により検査員の移動が困難な場合は、橋梁１に沿って移動可能な移動体にデジタルカメラ１００を設置して撮影を行ってもよい。このような移動体には、デジタルカメラ１００の昇降機構、回転機構（パン及び／またはチルトを行う機構）を設けてもよい。なお移動体の例としては車輌、ロボット、及び飛翔体（ドローン等）を挙げることができるが、これらに限定されるものではない。

＜画像処理システムの構成＞
図２は、第１の実施形態に係る画像処理システム１０（画像処理装置）の概略構成を示すブロック図である。画像処理システム１０は、デジタルカメラ１００（画像取得部）及びシステム本体２００を備える。デジタルカメラ１００は撮像光学系１１０により画像を取得すると共に、無線通信部１３０及びアンテナ１３１を介してシステム本体２００との通信を行う。システム本体２００は処理部２１０（画像処理装置、画像取得部、平面特定部、画像変換部、合成画像生成部、展開画像生成部、特徴点指定部、画像結合部、情報入力部）、記憶部２２０、表示部２３０、及び操作部２４０（特徴点指定部、情報入力部）を備え、互いに接続されて必要な情報が送受信される。また、システム本体２００はアンテナ２１２を介してデジタルカメラ１００との間で無線通信を行う。なお、デジタルカメラ１００はシステム本体２００と別々の筐体に組み込んでもよいし、一体化してもよい。なお、記録媒体、ネットワーク等を介して撮影画像を取得する場合は、画像処理システム１０にデジタルカメラ１００を設けなくてもよい。

システム本体２００の各部の機能（処理部２１０の機能については図３を参照）は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。また、これらのプロセッサを動作させるため、本発明に係る画像処理方法を画像処理装置に実行させるプログラムのコンピュータ読み取り可能なコードが、不図示のＲＯＭ（Read Only Memory）等の非一時的記録媒体に記録される。

処理部２１０は無線通信用のアンテナ２１２及び図示せぬ入出力インタフェース回路を含み、記憶部２２０はＨＤＤ（Hard Disk Drive）等の非一時的記録媒体を含んで構成される。また表示部２３０は液晶ディスプレイ等の表示装置を含み、操作部２４０はキーボード、マウス等の入力デバイスを含む。なおこれらは本発明に係る画像処理装置の構成の一例を示すものであり、他の構成を適宜採用し得る。

上述のようにデジタルカメラ１００を用いて撮影された画像は、無線通信により処理部２１０に入力されて後述する画像処理が行われる。デジタルカメラ１００は撮像光学系１１０を備え、撮像光学系１１０は図示せぬ撮影レンズ及び撮像素子を備える。撮像素子の例としてはＣＣＤ（Charge Coupled Device）型の撮像素子及びＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子を挙げることができる。撮像素子の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。

＜処理部の構成＞
図３は処理部２１０の機能構成を示す図である。処理部２１０は、画像取得部２１０Ａ、平面特定部２１０Ｂ、画像変換部２１０Ｃ、合成画像生成部２１０Ｄ、展開画像生成部２１０Ｅ、特徴点指定部２１０Ｆ、損傷計測部２１０Ｇ、損傷マッピング部２１０Ｈ、表示制御部２１０Ｉ、無線通信部２１０Ｊ、画像結合部２１０Ｋ、及び情報入力部２１０Ｌを備える。これら各部の機能（画像処理方法の各処理）は、上述したように、ＣＰＵ（Central Processing Unit）等の各種プロセッサ（電子回路）が、記憶部２２０に記憶された画像及び情報、ＲＯＭ（非一時的記録媒体）等に記憶された画像処理プログラムを実行することにより行われる。画像処理プログラムは、上述のようにコンピュータ読み取り可能なコードとして記憶される。なお、図３ではＣＰＵ，ＲＯＭ，ＲＡＭ等のデバイスの図示は省略する。

画像取得部２１０Ａは、デジタルカメラ１００（または記録媒体、ネットワーク等）から橋梁１の撮影画像（橋梁１の異なる部分がそれぞれ撮影された複数の画像）を取得する。デジタルカメラ１００及び画像取得部２１０Ａは、画像処理システム１０における画像取得部を構成する。平面特定部２１０Ｂは、複数の撮影画像で共通する平面（共通平面）を特定する。画像変換部２１０Ｃは、撮影画像のうち共通平面が含まれる画像を射影変換して、共通平面が正対した変換画像を生成する。合成画像生成部２１０Ｄは、変換画像を同一の平面に合成した平面合成画像を生成する。展開画像生成部２１０Ｅは、平面合成画像を複数結合して建造物の展開画像を生成する。特徴点指定部２１０Ｆは、撮影画像において建造物の特徴点を指定する。損傷計測部２１０Ｇは、撮影画像、平面合成画像、展開画像における損傷（ひび割れ、剥離、腐食等）を計測する。損傷マッピング部２１０Ｈは、損傷を示す情報を平面合成画像と展開画像とのうち少なくとも一方にマッピングする。表示制御部２１０Ｉは、撮影画像、平面合成画像、展開画像等の表示部２３０への表示制御を行う。無線通信部２１０Ｊは、アンテナ２１２を介してデジタルカメラ１００との間で画像、情報を送受信する。画像結合部２１０Ｋは、分割して撮影した画像を結合する。情報入力部２１０Ｌは、平面合成画像、展開画像等に損傷の情報を入力する。

＜記憶部の構成＞
記憶部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図４に示す画像及び情報が互いに関連づけて記憶される。撮影画像２２０Ａは、橋梁１（例えば床版６及び主桁２）をデジタルカメラ１００で撮像し画像取得部２１０Ａで取得した複数の撮影画像である。なお、デジタルカメラ１００及び画像取得部２１０Ａにより入力した画像でなく、ネットワーク、記録媒体経由で取得した画像を記憶してもよい。変換画像２２０Ｂは、共通平面が正対した変換画像である。平面合成画像２２０Ｃは、変換画像を同一の平面に合成した画像である。展開画像２２０Ｄは、平面合成画像を複数結合して生成した撮影範囲全体を示す画像である。損傷計測結果２２０Ｅは、撮影画像、平面合成画像、展開画像に対する損傷の計測結果を示す情報である。損傷情報２２０Ｆは、ユーザが損傷に対して入力した情報である。損傷マッピング画像２２０Ｇは、平面合成画像及び／または展開画像に損傷を示す情報をマッピングした画像である。

＜表示部及び操作部の構成＞
表示部２３０は液晶ディスプレイ等の表示装置（不図示）を備えており、入力した画像、記憶部２２０に記憶された画像及び情報、処理部２１０による処理の結果等を表示することができる。操作部２４０（特徴点指定部、情報入力部）はマウス等のポインティングデバイス及びキーボード等の入力デバイス（不図示）を含んでおり、ユーザは操作部２４０及び上述した表示装置の画面（表示画面）を介して、特徴点の指定、損傷情報の入力等の操作を行うことができる。

＜画像処理の手順（例１）＞
画像処理システム１０による画像処理（例１）について説明する。図５は（例１）に係る画像処理方法の各処理を示すフローチャートである。

＜画像取得＞
まず、デジタルカメラ１００により橋梁１（建造物）の異なる部分が分割して撮影された複数の撮影画像を取得する（ステップＳ１００；画像取得工程）。システム本体２００は、デジタルカメラ１００（無線通信部１３０、アンテナ１３１、アンテナ２１２）及び処理部２１０（無線通信部２１０Ｊ、画像取得部２１０Ａ）を介して、それら複数の撮影画像を取得する。例えば、図６のように視点ＶＰ１から撮影した画像ｉ１（第１の画像）と、視点ＶＰ２から撮影した画像ｉ２（第２の画像）を取得する。なお、図６は橋梁１が複数の平面（床版６及び左右の主桁２）から構成されている様子を簡略化して示している。これら複数の画像には橋梁１の異なる部分が撮影されているが、撮影範囲が完全に異なるのではなくある程度重複していてもよい。処理部２１０（表示制御部２１０Ｉ）は、取得した画像ｉ１，ｉ２を表示部２３０の表示装置に表示する。なお、以下では面ＰＡと面ＰＤ（主桁２の面）、面ＰＢと面ＰＥ（床版６の面）、及び面ＰＣと面ＰＦ（主桁２の面）がそれぞれ同一平面に存在するものとして説明する。

＜共通平面の特定＞
上述した画像ｉ１，ｉ２は撮影した視点が異なるため、本来は同一平面に属する面（例えば、面ＰＡと面ＰＤ）でも画像における向きが異なり、そのままでは同一平面への合成が困難である。そこで第１の実施形態では、以下のように各画像についてユーザが特徴点を指定し、指定された特徴点に基づいて共通平面を特定する（ステップＳ１１０；平面特定工程）。

＜特徴点の指定＞
表示部２３０の表示画面に表示された画像ｉ１，ｉ２（第１の画像、第２の画像）においてユーザが特徴点を指示（例えば、操作部２４０の図示せぬマウスでクリック）し、処理部２１０（特徴点指定部２１０Ｆ）が、指示された点を特徴点として指定する。例えば、図７の（ａ）部分に示すように、ユーザが画像ｉ１において面ＰＡの四隅（頂点）を特徴点ＣＰ１（第１の特徴点）として指定すると、処理部２１０（特徴点指定部２１０Ｆ、平面特定部２１０Ｂ）は「４個の特徴点ＣＰ１は同一平面に存在する」と判断する。また図７の（ｂ）部分に示すように、ユーザが画像ｉ２において面ＰＤの四隅（頂点）を特徴点ＣＰ２（第２の特徴点）として指定すると、処理部２１０（特徴点指定部２１０Ｆ、平面特定部２１０Ｂ）は「４個の特徴点ＣＰ２は同一平面に存在する」と判断する。さらに処理部２１０（平面特定部２１０Ｂ）は「特徴点ＣＰ１が存在する平面と、特徴点ＣＰ２が存在する平面とは共通の平面である」と判断して、共通平面を特定する。なお、上述のように特徴点を４点指定することで、後述する画像変換の際に矩形を特定することができる。

＜画像変換＞
ステップＳ１１０で共通平面が特定されたら、処理部２１０（画像変換部２１０Ｃ）は、画像ｉ１，画像ｉ２を射影変換して４個の特徴点ＣＰ１，ＣＰ２にそれぞれ矩形を形成させ、共通平面が正対した複数の変換画像を生成する（ステップＳ１２０；画像変換工程）。例えば図８の（ａ）部分に示すように、処理部２１０（画像変換部２１０Ｃ）が画像ｉ１（第１の画像）を射影変換して、特徴点ＣＰ１（第１の特徴点）が矩形を形成する変換画像ｉ１Ａを生成する。また処理部２１０（画像変換部２１０Ｃ）は、図８の（ｂ）部分に示すように画像ｉ２（第２の画像）を射影変換して、特徴点ＣＰ２（第２の特徴点）が矩形を形成する変換画像ｉ２Ａを生成する。

なお、図７及び図８では各面について４個の特徴点を指定する場合について説明したが、図９の（ａ）部分及び（ｂ）部分に示すように面ＰＡに四角形の枠ＦＬ１を設定し、また面ＰＤに四角形の枠ＦＬ２を設定して、射影変換により枠ＦＬ１，ＦＬ２に矩形を形成させてもよい。

また、画像変換においては指定された縦寸法及び横寸法を有する矩形を形成させることにより共通平面を正対させてもよく、このような変換を行うことにより画像の縦横比を維持することができる。この場合、縦寸法及び横寸法は設計データ、ＣＡＤ図面等に基づいて自動入力してもよいし、それらのデータに基づいてユーザが入力してもよい。

＜合成画像生成＞
処理部２１０（合成画像生成部２１０Ｄ）は、複数の変換画像ｉ１Ａ，ｉ２Ａを同一平面上の画像（１つの画像）に合成する（ステップＳ１３０：合成画像生成工程）。例えば、変換画像を移動、回転、拡大または縮小等して対応する特徴点を一致させることで同一平面上の画像に合成することができる。例えば図１０の（ａ）部分に示すように、変換画像ｉ１Ａ，ｉ２Ａの面ＰＡ，面ＰＤを同一の平面に合成した画像ｉ３を生成する。この際、変換画像ｉ１Ａ，ｉ２Ａの他の面（面ＰＢ、ＰＣ，ＰＥ，ＰＦ）は必ずしも同一の平面に存在しないので、処理部２１０（合成画像生成部２１０Ｄ）は、図１０の（ｂ）部分に示すように画像ｉ３のうち面ＰＡ，面ＰＤが属する領域を抽出して平面合成画像ｉ３Ａ（平面合成画像）を生成する（ステップＳ１３０：合成画像生成工程）。

＜他の面についての処理＞
ステップＳ１１０〜ステップＳ１３０の処理により面ＰＡ、面ＰＤについて平面合成画像ｉ３Ａが生成されるので、処理部２１０（平面特定部２１０Ｂ、画像変換部２１０Ｃ、合成画像生成部２１０Ｄ）はこれらの処理を他の面（面ＰＢ、ＰＣ，ＰＥ，ＰＦ）についても繰り返す（ステップＳ１４０；平面特定工程、画像変換工程、合成画像生成工程）。これにより、図１１の（ａ）部分に示すように、平面合成画像ｉ３Ａに加えて、平面合成画像ｉ３Ｂ（面ＰＢ及び面ＰＥから生成した平面合成画像）及び平面合成画像ｉ３Ｃ（面ＰＣ及び面ＰＦから生成した平面合成画像）を生成する。

＜展開画像生成＞
各平面について平面合成画像が生成されたら、処理部２１０（展開画像生成部２１０Ｅ）は図１１の（ｂ）部分に示すように平面合成画像ｉ３Ａ〜ｉ３Ｃを結合して展開画像ｉ４を生成する（ステップＳ１５０；展開画像生成工程）。この際、平面合成画像生成時と同様に、必要に応じて画像の移動、回転、拡大または縮小等を行うことができる。

以上説明したように、第１の実施形態に係る画像処理システム１０では、複数の撮影画像で共通する共通平面を特定し、共通平面が正対した複数の変換画像を生成し、複数の変換画像を同一の平面に合成する。したがって、向きが大きく異なる複数の平面（床版６及び左右の主桁２）から構成されている橋梁１（建造物）を分割撮影した場合であっても、特定した共通平面に基づいて合成画像（平面合成画像）を容易に生成し、この平面合成画像に基づき建造物の展開画像を容易に生成することができる。

＜損傷の計測＞
処理部２１０（損傷計測部２１０Ｇ）は、橋梁１の画像（撮影画像、平面合成画像、展開画像）に含まれる損傷を計測する。例えば、操作部２４０及び表示部２３０の表示装置（表示画面）を介した操作に基づいて代表点（始点及び終点、中心点、輪郭上の点等）の指定、領域設定（周囲を囲む等）、トレース（直線、曲線による）等を行って損傷の位置、形状等を特定する。特定した結果に基づいて代表点の距離、領域の面積、トレースした線分の長さ等を算出することにより、損傷を計測することができる。なお、損傷の計測はいずれの画像（撮影画像、平面合成画像、展開画像）に対して行ってもよいが、計測に際して、上述した平面合成画像及び展開画像の生成の際の画像処理の影響（損傷の拡大、縮小、変形等）を考慮することが好ましい。計測の内容は損傷の位置、長さ、幅、面積等、損傷の種類（ひび割れ、腐食、剥離等）及び検査目的に応じて設定することができる。計測結果は記憶部２２０に記憶され（図４の損傷計測結果２２０Ｅ）、表示制御部２１０Ｉの制御により表示部２３０に表示される。

＜計測結果のマッピング＞
処理部２１０（損傷マッピング部２１０Ｈ）は、損傷の計測結果を平面合成画像と展開画像とのうち少なくとも一方にマッピングする（ステップＳ１６０：損傷マッピング工程）。マッピングは、例えば計測結果と関連づけられた文字、図形、記号等を平面合成画像及び／または展開画像に表示することにより行うことができる。表示した文字、図形、記号等は操作部２４０を介した操作により選択することができ、処理部２１０（表示制御部２１０Ｉ）が選択に応じて表示部２３０に計測結果を表示させる。文字、図形、記号等は実際の損傷を簡略化あるいは強調したものでもよいし、損傷の種別、大きさ等に応じて異なる態様で表示してもよい。図１２は平面合成画像ｉ３Ｂ（床版６の部分の平面合成画像）に対し計測結果をマッピングした例を示す図であり、ひび割れの数、位置、長さを示す図形Ｍ２〜Ｍ４を表示している。図１２のように計測結果がマッピングされた画像は記憶部２２０に記憶され（図４の損傷マッピング画像２２０Ｇ）、表示制御部２１０Ｉの制御により表示部２３０に表示される。なお、図１２及び後述する図１４において、主桁２の長手方向が座標軸Ｇｘ、長手方向と直交する方向が座標軸Ｇｙ、座標軸Ｇｘ、Ｇｙと直交する方向が座標軸Ｇｚであり、座標軸（Ｇｘ、Ｇｙ、Ｇｚ）は右手系を成す。

＜損傷情報の入力＞
画像処理システム１０では、計測結果のマッピングに加えて、損傷情報を入力することができる。損傷情報の入力は、表示部２３０及び操作部２４０を介したユーザの指示に基づき、処理部２１０（情報入力部２１０Ｌ）が行う。図１２では、図形Ｍ２〜Ｍ４に対する引き出し線部分にひび割れの情報（部材名、損傷の種別、太さ及び長さ、画像番号）を入力した様子を示している。入力した損傷情報は、例えば図１３のような形式で記憶部２２０に記憶され（図４の損傷情報２２０Ｆ）、表示制御部２１０Ｉの制御により表示部２３０に表示される。なお、損傷情報として入力する情報の内容及び形式は国土交通省作成の「橋梁定期点検要領（平成２６年６月）」に従うことが好ましい。

上述した計測結果のマッピング及び損傷情報の入力は、図１２のような平面合成画像ではなく展開画像に対して行うこともできる。図１４は展開画像ｉ４に対し計測結果のマッピング及び損傷情報の入力を行った様子を示す図であり、ひび割れを示す図形Ｍ２〜Ｍ４及びその損傷情報に加えて、主桁２の部分に腐食を示す図形Ｍ１及びその損傷情報を表示している。

＜画像処理の手順（例２）＞
画像処理の手順の他の例について説明する。上述した画像処理の例１では特徴点を指定した各面を射影変換で正対させてから画像を合成（平面合成画像を生成）しているが、例２では平面合成画像の生成方法が第１の実施形態と異なり、画像合成してからユーザが特徴点を指定し、指定された特徴点が同一の平面に存在するものとして射影変換を行って平面を正対させる。

図１５は例２に係る画像処理の手順を示すフローチャートである。図１５に示す各ステップのうち例１（図５）と同じ処理には同一のステップ番号を付し、詳細な説明を省略する。また、例１に係る図面を適宜参照する。

例２では、分割撮影した複数の画像（例えば、図６に示す画像ｉ１，ｉ２）をステップＳ１００（画像取得工程）で入力すると、処理部２１０（画像結合部２１０Ｋ）は入力した画像ｉ１，ｉ２を移動、回転、拡大、縮小等により結合し、例えば図１６に示すように結合画像ｉ１２を生成する（ステップＳ１１２：結合画像生成工程）。この結合画像ｉ１２では面ＰＡ，ＰＤが正対しておらず、同一平面にもない（共通平面が正対していない）ので、６個の特徴点ＣＰ１２（第３の特徴点）を指定する（ステップＳ１１４：平面特定工程）。上述した例１では面ＰＡ，ＰＤに対しそれぞれ４個、合計で８個の特徴点（第１，第２の特徴点）を指定していたが、例２では画像結合後に６個の特徴点を指定するので、重複する特徴点（特徴点ＣＰ１２のうち、面ＰＡ，ＰＤで重複する２個の特徴点ＣＰ１２Ｘ）を設定する手間を省くことができる。

処理部２１０（画像変換部２１０Ｃ）は「特徴点ＣＰ１２が指定された面ＰＡ，ＰＤは同一平面に存在する」と判断し、結合画像ｉ１２を射影変換して、図１０の（ａ）部分に示す画像ｉ３のように面ＰＡ，ＰＤを正対させ、かつ同一平面に存在させる（ステップＳ１２２：画像変換工程）。また、処理部２１０（画像変換部２１０Ｃ）は図１０の（ｂ）部分に示すように画像ｉ３のうち面ＰＡ，面ＰＤが属する領域を抽出して平面合成画像ｉ３Ａ（平面合成画像）を生成する（ステップＳ１３２：合成画像生成工程）。

ステップＳ１３２までの処理で平面合成画像を生成したら、例１と同様に他の面についても処理を繰り返して複数の平面合成画像（図１１の（ａ）部分を参照）を生成し（ステップＳ１４０：合成画像生成工程）、これら平面合成画像を結合して展開画像（図１１の（ｂ）部分を参照）を生成する（ステップＳ１５０：展開画像生成工程）。損傷の計測結果のマッピング及び損傷情報の入力（ステップＳ１６０：損傷マッピング工程、損傷情報入力工程）についても例１と同様に行うことができる（図１２〜１４を参照）。

例２においても、上述した例１と同様に向きが大きく異なる複数の平面（床版６及び左右の主桁２）から構成されている建造物（橋梁１）を分割撮影した場合であっても、特定した共通平面に基づいて合成画像（平面合成画像）を容易に生成し、この平面合成画像に基づき建造物の展開画像を容易に生成することができる。

＜第２の実施形態＞
上述した第１の実施形態では、単一の撮像光学系１１０を用いて分割撮影した複数の画像を射影変換して平面を正対させているが、第２の実施形態ではステレオ光学系で取得したステレオ画像により平面の特定を行い、特定した平面を射影変換して正対させる。

図１７は第２の実施形態に係る画像処理システム２０を示すブロック図である。画像処理システム２０は、デジタルカメラ１００がそれぞれ異なる視点（左視点、右視点）で画像を取得する左画像用光学系１２０Ｌ及び右画像用光学系１２０Ｒにより構成されるステレオ光学系を備え、このステレオ光学系で取得したステレオ画像に基づいて平面を特定する点が第１の実施形態に係る画像処理システム１０（図２参照）と異なっている。なお、図１７に示す画像処理システム２０において図２と共通の構成には同一の参照符号を付し、詳細な説明を省略する。

図１８は画像処理システム２０における画像処理の手順を示すフローチャートである。図１８のフローチャートにおいて図５と同様の内容には同一の参照符号を付し、詳細な説明を省略する。

画像処理システム２０では、分割撮影した複数のステレオ画像（複数の撮影画像）を入力すると（ステップＳ１０２：画像取得工程）、入力したステレオ画像を用いて共通平面を特定する（ステップＳ１１６：平面特定工程）。共通平面の特定は、例えば入力した画像またはこれを縮小した画像のブロックマッチングにより得られた視差に基づいて幾何領域を抽出することにより行うことができ、抽出した幾何領域を表す平面方程式を用いてもよい。また、入力したステレオ画像において処理対象領域を自動的にまたは操作部２４０を介したユーザ操作により設定し、設定した処理対象領域において平面を特定してもよい。

共通平面が特定されたら、入力した複数の画像を射影変換して共通平面が正対した複数の変換画像を生成し（ステップＳ１２４：画像変換工程）、それら複数の変換画像を移動、回転等して同一平面の画像に合成した平面合成画像を生成する（ステップＳ１３４：合成画像生成工程）。平面合成画像を生成したら、第１の実施形態と同様に他の面についても処理を繰り返して複数の平面合成画像を生成し（ステップＳ１４０：合成画像生成工程、図１０，１１を参照）、これら平面合成画像を結合して展開画像を生成する（ステップＳ１５０：展開画像生成工程、図１１を参照）。損傷の計測結果のマッピング及び損傷情報の入力（ステップＳ１６０：損傷マッピング工程、損傷情報入力工程）についても第１の実施形態と同様に行うことができる（図１２〜１４を参照）。

上述した処理により、第２の実施形態においても、向きが大きく異なる複数の平面（床版６及び左右の主桁２）から構成されている建造物（橋梁１）を分割撮影した場合であっても、特定した共通平面に基づいて合成画像（平面合成画像）を容易に生成し、この平面合成画像に基づき建造物の展開画像を容易に生成することができる。なお、上述したステレオ光学系によりステレオ画像を取得するのではなく、既に取得されたステレオ画像を記録媒体、ネットワーク等を介して取得してもよい（この場合、画像処理システム２０にデジタルカメラ１００を設けなくてもよい）。

以上で本発明の実施形態及び例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。例えば、対象とする建造物は橋梁に限らずトンネル、ビル等でもよい。

１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
１０ 画像処理システム
２０ 画像処理システム
１００ デジタルカメラ
１１０ 撮像光学系
１２０Ｌ 左画像用光学系
１２０Ｒ 右画像用光学系
１３０ 無線通信部
１３１ アンテナ
２００ システム本体
２１０ 処理部
２１０Ａ 画像取得部
２１０Ｂ 平面特定部
２１０Ｃ 画像変換部
２１０Ｄ 合成画像生成部
２１０Ｅ 展開画像生成部
２１０Ｆ 特徴点指定部
２１０Ｇ 損傷計測部
２１０Ｈ 損傷マッピング部
２１０Ｉ 表示制御部
２１０Ｊ 無線通信部
２１０Ｋ 画像結合部
２１０Ｌ 情報入力部
２１２ アンテナ
２２０ 記憶部
２２０Ａ 撮影画像
２２０Ｂ 変換画像
２２０Ｃ 平面合成画像
２２０Ｄ 展開画像
２２０Ｅ 損傷計測結果
２２０Ｆ 損傷情報
２２０Ｇ 損傷マッピング画像
２３０ 表示部
２４０ 操作部
ＣＰ１ 特徴点
ＣＰ１２ 特徴点
ＣＰ１２Ｘ 特徴点
ＣＰ２ 特徴点
ＦＬ１ 枠
ＦＬ２ 枠
Ｇｘ 座標軸
Ｇｙ 座標軸
Ｇｚ 座標軸
Ｍ１ 図形
Ｍ２ 図形
Ｍ３ 図形
Ｍ４ 図形
ＰＡ 面
ＰＢ 面
ＰＣ 面
ＰＤ 面
ＰＥ 面
ＰＦ 面
Ｓ１００〜Ｓ１６０ 画像処理方法の各ステップ
ＶＰ１ 視点
ＶＰ２ 視点
ｉ１ 画像
ｉ１２ 結合画像
ｉ１Ａ 変換画像
ｉ２ 画像
ｉ２Ａ 変換画像
ｉ３ 画像
ｉ３Ａ 平面合成画像
ｉ３Ｂ 平面合成画像
ｉ３Ｃ 平面合成画像
ｉ４ 展開画像

Claims (10)

1. 複数の平面から構成される建造物の異なる部分がそれぞれ撮影された複数の撮影画像を取得する画像取得部と、
   前記複数の撮影画像で共通する共通平面を特定する平面特定部と、
   前記複数の撮影画像のうち前記共通平面が含まれる画像を射影変換して、前記共通平面が正対した複数の変換画像を生成する画像変換部と、
   前記複数の変換画像を同一の平面に合成した平面合成画像を生成する合成画像生成部と、
   前記平面合成画像を複数結合して前記建造物の展開画像を生成する展開画像生成部と、
   を備える画像処理装置。
2. 前記複数の撮影画像に含まれる第１の画像及び第２の画像において前記建造物の特徴点を指定する特徴点指定部を備え、
   前記画像変換部は、前記第１の画像において指定された第１の特徴点及び前記第２の画像において指定された第２の特徴点は前記共通平面に存在するものとして前記第１の画像及び前記第２の画像を射影変換して前記複数の変換画像を生成する請求項１に記載の画像処理装置。
3. 前記画像変換部は、前記第１の画像及び前記第２の画像を射影変換して前記第１の特徴点及び前記第２の特徴点にそれぞれ矩形を形成させることにより前記共通平面を正対させる請求項２に記載の画像処理装置。
4. 前記特徴点指定部は、表示画面を介したユーザ操作に基づいて前記第１の特徴点及び前記第２の特徴点を指定する請求項２または３に記載の画像処理装置。
5. 前記画像変換部は、前記共通平面が含まれる画像に、指定された縦寸法及び横寸法を有する矩形を形成させることにより前記共通平面を正対させる請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記平面特定部は、前記複数の撮影画像を結合して結合画像を生成する画像結合部を備え、
   前記画像変換部は、前記結合画像において指定された第３の特徴点が前記共通平面に存在するものとして前記複数の撮影画像を射影変換して前記複数の変換画像を生成する請求項１に記載の画像処理装置。
7. 前記画像取得部は前記複数の撮影画像として複数のステレオ画像を取得し、
   前記平面特定部は前記複数のステレオ画像に基づいて前記共通平面を特定する請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記平面合成画像と前記展開画像とのうち少なくとも一方に前記建造物の損傷の計測結果をマッピングする損傷マッピング部を備える請求項１から７のいずれか１項に記載の画像処理装置。
9. 表示画面を介したユーザ操作に基づいて前記損傷の情報を入力する情報入力部を有する請求項８に記載の画像処理装置。
10. 複数の平面から構成されている建造物の異なる部分がそれぞれ撮影された複数の撮影画像を取得する画像取得工程と、
    前記複数の撮影画像で共通する共通平面を特定する平面特定工程と、
    前記複数の撮影画像のうち前記共通平面が含まれる画像を射影変換して、前記共通平面が正対した複数の変換画像を生成する画像変換工程と、
    前記複数の変換画像を同一の平面に合成した平面合成画像を生成する合成画像生成工程と、
    前記平面合成画像を複数結合して前記建造物の展開画像を生成する展開画像生成工程と、
    を備える画像処理方法。

Images