JP7292979B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明の実施形態は画像処理装置及び画像処理方法に関する。

実物の状態を判断する際に、実物の代わりに画像に基づいて判断することがある。この一例として、インフラストラクチャ設備の保守のための点検がある。例えば、送電設備における鋼材の経年変化等を点検するための劣化診断装置がある。この装置は、鉄塔の鋼材を含むカラー画像から鋼材の劣化レベルを評価し、劣化レベルの評価時点及び劣化レベルの評価値に基づいて鋼材の劣化特性を導出し、劣化特性に基づいて鋼材の整備スケジュールを生成する画像処理装置である。

特開２０１６－２２３８１５号公報 特開２０１７－４０６４２号公報

電力中央研究所報告「塗装すべき経年鉄塔の選定に役立つ画像処理技術の開発 －空撮画像を使った簡易劣化判定のための支援ツールのプロトタイプの開発－」、電力中央研究所、研究報告：Ｃ１７０１３、２０１８年６月

画像における鋼材の大きさは、撮影距離やセンササイズ等のカメラの光学的なパラメータによって変化する。そのため、従来の劣化診断のための画像処理装置は、画像に写っている被写体の面積を算出できなかった。

本発明の目的は、画像に写っている被写体の面積を求めることができる画像処理装置及び画像処理方法を提供することである。

実施形態に係る画像処理装置は、取得手段と、奥行情報算出手段と、抽出手段と、劣化検出手段と、計算手段とを具備する。前記取得手段は、対象物と背景を含む第１画像と前記第１画像を撮影したカメラの光学的なパラメータを取得する。前記奥行情報算出手段は、前記第１画像から撮影画像及び前記第１画像の各画素の奥行情報を表す奥行画像を生成する。前記抽出手段は、前記奥行画像に基づいて前記撮影画像から前記対象物が写っている領域を抽出し、抽出した領域の画像である抽出画像を生成する。前記劣化検出手段は、前記抽出画像から前記抽出画像の各画素の劣化レベルを示す劣化画像を生成する。前記計算手段は、前記劣化レベルが第１レベルである領域の面積を前記奥行画像と前記劣化画像と前記光学的なパラメータとを用いて計算する。

第１実施形態に係る画像処理装置を含むシステム全体の構成の一例を示すブロック図である。 第１実施形態に係るシステムに含まれる撮影装置の撮像原理を示す図である。 第１実施形態に係る画像処理装置に含まれる劣化面積計算プログラムのモジュール構成の一例を示す図である。 撮影画像、奥行画像、抽出画像及び劣化画像の一例を示す図である。 劣化面積データの一例を示す図である。 カメラからの距離が異なる２つの点検対象を撮影した撮影画像の一例を示す図である。 図６の撮影画像に含まれる２つの点検対象毎の劣化面積データの一例を示す図である。 劣化面積計算プログラムの処理の流れの一例を示すフローチャートである。 領域抽出モジュールの構成の一例を示す図である。 領域抽出モジュールの処理の流れの一例を示すフローチャートである。 劣化検出モジュールの構成の一例を示す図である。 劣化検出モジュールの処理の流れの一例を示すフローチャートである。 劣化面積計算モジュールの構成の一例を示す図である。 画素サイズ計算の原理を説明する図である。 画素サイズ計算モジュールの処理の一例を示す図である。 画素面積計算モジュールの処理の一例を示す図である。 劣化面積計算モジュールの処理の流れの一例を示すフローチャートである。 第２実施形態に係る画像処理装置に含まれる劣化面積計算プログラムのモジュール構成の一例を示す図である。 第３実施形態に係る画像処理装置に含まれる劣化面積計算プログラムのモジュール構成の一例を示す図である。 第３実施形態に係る画像処理装置に入力される補修データの一例を示す図である。 第３実施形態に係る画像処理装置から出力される補修優先度データの一例を示す図である。 第３実施形態に係る劣化面積計算プログラムのモジュール構成の処理の流れの一例を示すフローチャートである。

以下、図面を参照して、実施形態を説明する。以下の説明は、実施形態の技術的思想を具体化するための装置や方法を例示するものであって、実施形態の技術的思想は、以下に説明する構成要素の構造、形状、配置、材質等に限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各要素のサイズ、厚み、平面寸法又は形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、互いの寸法の関係や比率が異なる要素が含まれることもある。複数の図面において、対応する要素には同じ参照数字を付して重複する説明を省略する場合もある。いくつかの要素に複数の呼称を付す場合があるが、これら呼称の例はあくまで例示であり、これらの要素に他の呼称を付すことを否定するものではない。また、複数の呼称が付されていない要素についても、他の呼称を付すことを否定するものではない。なお、以下の説明において、「接続」は直接接続のみならず、他の要素を介して接続されることも意味する。
［第１実施形態］
［システム構成］
実施形態は種々の対象物の面積を求める画像処理装置に適用されるが、第１実施形態としてインフラストラクチャ設備の点検のための画像処理装置を説明する。インフラストラクチャ設備の例は、建物、鉄塔、風車、橋梁、化学プラント、発電施設等を含む。実施形態は鉄塔を点検するための画像処理を説明する。

図１は第１実施形態の画像処理装置を含むシステム全体の構成の一例を示すブロック図である。システムは、インターネット等のネットワーク１０に接続される撮影装置１２、画像処理装置１４、ユーザ端末１６を備える。

撮影装置１２は、点検対象を撮影し、点検対象を含むカラー画像を出力する。実施形態では、点検対象の劣化部分の面積（物理的な実際の面積）を求めるために、画像情報に加えて点検対象までの奥行情報を必要とする。

撮影装置１２としてＲＧＢカラー画像と画素毎の奥行を示す奥行情報を同時に取得することができるステレオカメラを用いても良い。ステレオカメラでは、撮影されたステレオ画像に対して位置合わせ処理を行えば、予め定められたステレオカメラ間の距離から奥行を算出することができる。

また、撮影装置１２としてＲＧＢカラー画像を取得する単眼カメラを用い、奥行情報は他の装置により求めても良い。この一例として、カメラの近傍位置からレーザを点検対象に照射して奥行情報を求めることがある。この場合、カメラとレーザによる撮影位置が一致していないので、カメラにより得られたカラー画像とレーザにより得られた点検対象の点群データのいずれかをキャリブレーションによって補正する必要がある。キャリブレーションは、撮影座標のマッチング（撮影位置のずれ量を計算して、そのずれ量をカラー画像側、もしくは点群データ側に補正）により画像データと点群データの補正をすること、又はカラー画像と点群データとをマッチング（画像と点群そのものを位置合わせ）させて補正することを含む。また、他の例では、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）測距方式のセンサを用いて奥行情報を求めても良い。

さらに、別の例では、撮影装置１２として、特許文献２に記載のカラー開口撮像技術を利用するカメラを用いても良い。第１実施形態として、このようなカメラを用いる例を説明する。図２はカラー開口撮像技術を用いる撮影装置１２の撮像原理を示す。図２（ａ）は被写体が合焦位置より遠い（被写体までの距離ｄ＞合焦点までの距離ｄ_ｆ）場合、図２（ｂ）は被写体が合焦位置にある（ｄ＝ｄ_ｆ）場合、図２（ｃ）は被写体が合焦位置より近い（ｄ＜ｄ_ｆ）場合の光路を示す。

撮影装置１２は単眼レンズのカメラからなり、異なる波長域の透過特性を持つフィルタ４０がレンズ４２の開口に配置されている。ｐはレンズ４２からイメージセンサ４４の撮像面までの距離である。フィルタ４０は、円形であり、円の中心を通る直線で全体を分割する第１フィルタ領域４０ａおよび第２フィルタ領域４０ｂを含む。図２の例では、円形のフィルタ４０は水平線で上下に二分割される。第１フィルタ領域４０ａは、例えば赤と緑の光の波長域を透過するイエローフィルタからなり、第２フィルタ領域４０ｂは、例えば緑と青の光の波長域を透過するシアンフィルタからなる。

被写体が合焦位置にある場合、図２（ｂ）に示すように、フィルタ４０の中心を通過する光線と、フィルタ４０の縁を通過する光はイメージセンサ４４の撮像面で一点に集まる（ｂ＝０）。被写体が合焦位置ではない場合、第１フィルタ領域４０ａを通過した光はイエローのぼけとなり、第２フィルタ領域４０ｂを通過した光はシアンのぼけとなる。図２（ａ）、（ｃ）に示すように、イエローのぼけとシアンのぼけが現れる方向は被写体が合焦位置より遠い場合と近い場合で逆になる（ｂ＞０又はｂ＜０）。イエローのぼけとシアンのぼけの大きさは、レンズ４２と被写体との距離ｄに応じている。このため、イメージセンサ４４から出力される画像データ中のイエローのぼけとシアンのぼけに基づいて、図２（ａ）と図２（ｃ）の状態の識別が可能であり、ぼけの形状から被写体までの距離ｄに応じた奥行情報を求めることができる。

なお、フィルタ４０をレンズ開口に配置する代わりに、イメージセンサ４４に入射する光の光路上において、フィルタ４０とイメージセンサ４４との間にレンズ４２を配置しても良いし、レンズ４２とイメージセンサ４４との間にフィルタ４０を配置しても良い。さらに、レンズ４２が複数のレンズからなる場合には、フィルタ４０はいずれか２枚のレンズ４２の間に配置しても良い。また、イエローフィルタ又はシアンフィルタの代わりに赤と青の光の波長域を透過するマゼンタフィルタを用いても良い。また、フィルタ４０の領域分割数は２に限らず、３以上でも良い。分割領域の形状は円の中心を通る直線で全体を分割する構成に限らず、モザイク状に複数の領域が配置される構成でも良い。

図１の説明に戻り、撮影装置１２から出力された画像データはネットワーク１０を介して画像処理装置１４に入力される。画像処理装置１４は、一般的なパーソナルコンピュータと同様に、プロセッサ２２、主記憶装置２４、補助記憶装置２６、表示装置２８、入力装置３０、通信装置３２を備える。プロセッサ２２、主記憶装置２４、補助記憶装置２６、表示装置２８、入力装置３０、通信装置３２はバスライン３４に接続される。

プロセッサ２２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）からなり、画像処理装置１４の動作を制御する。補助記憶装置２６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びメモリカード等の不揮発性の記憶装置からなり、プロセッサ２２が実行するプログラムを格納する。主記憶装置２４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリからなる。ＲＡＭは、一般的には揮発性のＤＲＡＭ等で実現され、補助記憶装置２６から読み出されたプログラムを格納する。プロセッサ２２は、補助記憶装置２６から主記憶装置２４に読み出されたプログラムを実行する。

プログラムは、オペレーティングシステム（ＯＳ）２４ａ、劣化面積計算プログラム２４ｂ等を含む。プログラムは、ＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータ読み取り可能な記憶媒体に記録されたインストール可能な形式又は実行可能な形式のファイルとして、画像処理装置１４に提供しても良い。あるいは、プログラムを画像処理装置１４に予め組み込んだ形で提供しても良い。なお、プログラムを補助記憶装置２６に格納せずに、ネットワーク１０に接続されたコンピュータ、サーバ等にプログラムを格納し、ネットワーク１０経由でプログラムをダウンロードすることによりプログラムを画像処理装置１４に提供するように構成しても良い。さらに、ネットワーク１０に接続されたコンピュータ、サーバ等にプログラムを格納し、プログラムをダウンロードすることなくプログラムを実行するように構成しても良い。

表示装置２８は、例えばＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなり、画像や面積等の表示データを生成し、液晶表示装置等の表示部に表示データを送信する。表示部は画像処理装置１４の外部に設けられても良いし、画像処理装置１４内に設けられても良い。画像処理装置１４の外部に設けられる表示部はユーザ端末１６の表示部であっても良い。入力装置３０は、例えばキーボードやマウス等からなり、画像処理装置１４を操作するための入力インタフェースである。画像処理装置１４がスマートフォン及びタブレット型端末等のデバイスの場合、表示装置２８及び入力装置３０は、例えばタッチパネルからなる。通信装置３２は、他の装置と通信するためのインタフェースであり、ネットワーク１０に接続される。

ユーザ端末１６は、一般的なパーソナルコンピュータ、スマートフォン及びタブレット型端末等からなり、ＣＰＵがプログラムを実行することにより画像処理装置１４に対してデータの送信を要求し、送信されたデータをユーザに提示する。ユーザ端末１６は、画像処理装置１４に対してデータを要求するための入力部又は操作部と、画像処理装置１４から送信されたデータをユーザに提示する表示部を備える。

図１では、撮影装置１２とユーザ端末１６はそれぞれ１台のみ示されているが、多数の撮影装置１２とユーザ端末１６がネットワーク１０を介して画像処理装置１４に接続されても良い。あるいは、ネットワーク１０、撮影装置１２、ユーザ端末１６を設けることなく、画像処理装置１４が撮影装置１２を含み、画像処理装置１４がユーザにデータを提示する表示部を含み、画像処理装置１４単体で実施形態の機能を実現するように構成しても良い。
［劣化面積計算プログラム２４ｂの構成］
図３は第１実施形態のプロセッサ２２が実行する劣化面積計算プログラム２４ｂの構成の一例を示す。劣化面積計算プログラム２４ｂは、画像取得モジュール５２、奥行情報算出モジュール５４、領域抽出モジュール５６、劣化検出モジュール５８、劣化面積計算モジュール６０を含む。

撮影装置１２から送信された画像データであって点検対象の画像を含む画像データ６６が画像取得モジュール５２により劣化面積計算プログラム２４ｂに取り込まれる。画像データ６６のデータ形式は任意で良い。画像データ６６のデータフォーマットも任意で良い。画像データ６６のデータフォーマットは、ＢＭＰ、ＰＮＧ、ＪＰＧ等の一般的なデータフォーマットであっても良いし、カメラベンダが策定している独自フォーマットでも良い。画像データ６６はカラー画像に加えてカメラの光学的なパラメータ（焦点距離、カメラのセンササイズ、画像のサイズなど）も含む。いずれにしても、画像データ６６には、画像圧縮などによる圧縮歪みが無いことが望ましい。

奥行情報算出モジュール５４は、画像取得モジュール５２で取り込んだ画像データ６６からカラー画像（以下、撮影画像と称する）６８と奥行画像７０を求める。撮影装置１２はカラー開口撮像技術を用いているので、奥行情報算出モジュール５４は、図２に示すように、画像データ６６のぼけの形状に基づいて奥行を算出することができる。奥行画像７０は撮影画像６８の各画素の奥行情報から生成される。奥行情報算出モジュール５４は、撮影画像６８や奥行画像７０に対して、前処理を行う機能を有していても良い。

前処理は、幾何学的な変換や、撮影条件に依存する画像データの変動を補償する処理を含む。幾何学的な変換は、画像サイズの変更、トリミング、回転や平行移動等を含む。撮影条件に依存する画像データの変動を補償する処理は、明るさやコントラスト補正、ダイナミックレンジ変換、色相補正等を含む。なお、前処理は奥行情報算出モジュール５４に付随した機能として説明したが、画像取得モジュール５２や領域抽出モジュール５６等の他のモジュールでも同様の前処理を行っても良い。これらの前処理により、サイズや明るさ等画像データのバラツキを正規化し、入力データを標準化することができる。正規化処理を前処理段階で行わず、後段の処理で行う場合、正規化済みか否かに応じて後段の処理が変わるので、後段の処理部を正規化済みの場合と正規化が未実施の場合について二通り設ける必要がある。しかし、前処理段階で正規化処理を行うことにより、後段の処理部を共通化することが可能となる。

領域抽出モジュール５６は、撮影画像６８と奥行画像７０を受け取ると、撮影画像６８から点検対象が写っている領域を抽出し、抽出した領域の画像である抽出画像７４を生成する。点検対象が鉄塔の場合、領域抽出モジュール５６は、鉄塔のみが写っている画像を抽出する。背景に映り込む建物、風景などは領域抽出モジュール５６の抽出の対象外である。領域抽出モジュール５６における抽出画像７４の生成方法は後述する。

図４（ａ）、（ｂ）は、領域抽出モジュール５６に入力される撮影画像６８と奥行画像７０の一例を示す。この撮影画像６８は、送電線を架設する鉄塔の点検システムにおける例を示し、屋外で鉄塔を撮影した画像である。撮影装置１２が望遠レンズを備え、地上から遠方の鉄塔を撮影しても良いし、ドローン等の飛行体に撮影装置１２を搭載して近距離から鉄塔を撮影しても良い。図４（ａ）は、点検対象である鉄塔が手前に写っており、奥側に山が写っている撮影画像６８を示す。撮影画像６８はカラーで表現されることが多いが、奥行画像７０の表現方法は、カラーでも良いし、グレースケールでも良い。

奥行画像７０の画素値は画素の奥行に応じている。ここでは、画素の奥行が大きい（点検対象が遠い）程画素値が大きく、画素の奥行が小さい（点検対象が近い）程画素値が小さいとする。そのため、図４（ｂ）に示すように、無限遠の空は白く、背景となる山はグレー、最も近い距離にある鉄塔は濃いグレーで表現されている。しかし、この逆に、画素の奥行が大きい（遠い）程画素値が小さく、奥行が小さい（近い）程画素値が大きい奥行画像７０としてもよい。

図４（ｃ）は、領域抽出モジュール５６から出力される抽出画像７４の一例を示す。抽出画像７４は撮影画像６８内の点検対象である鉄塔のみが写っている画像である。点検対象は劣化することがあり、抽出画像７４に含まれる点検対象は劣化部分を含むことがある。図４（ｃ）では、劣化部分は便宜的に白抜きで示す。

劣化検出モジュール５８は、抽出画像７４に写っている点検対象の所定の領域を検出する。所定の領域は部分領域に限らず、点検対象の全領域でも良い。ここでは、所定の領域としては、劣化領域を説明する。劣化検出モジュール５８は、劣化項目毎の劣化レベルに関する色見本を利用して抽出画像７４に含まれる点検対象中の劣化部分の画像の劣化レベルを検出し、劣化部分毎の劣化レベルを示す劣化画像７６を作成する。劣化項目は、点検対象の製造・施工中の劣化項目と、施工後の劣化項目を含む。製造・施工中の劣化項目は、設計と実物の不一致が該当し、例えば、傾き、溶接漏れ、塗装漏れ、ボルトやナット漏れ等を含む。施工後の劣化項目は、経年劣化が該当し、例えば、錆、腐食、塗装浮き、凹凸、破損、変色、等を含む。

劣化項目、例えば錆は点検対象に施工した塗装の種類によって大よその色合いが決まっている。例えば非特許文献１では、鉄塔の錆色見本が４又は５段階で定義されている。錆の劣化を判定するために、劣化レベル毎の鉄塔の錆の色情報が収集され、色情報データベースが作成されている。色情報データベースと撮影画像が比較され、比較結果に基づいて劣化レベルが判定されている。

画像から劣化レベルを判定する手法として、色パターンなどを特徴量とする機械学習を用いるものや、収集した画像と劣化レベルのデータセットを用いる深層学習を用いるものなど種々提案されている。非特許文献１では、撮影画像をＨＳＶ色空間にマッピングし、予め定めた劣化レベルごとの色見本の取りうる範囲で閾値処理する手法を採用している。

実施形態の劣化検出モジュール５８は、劣化項目毎に劣化レベルを検出できれば良く、その具体的なアプローチについては任意の方法を用いることができる。劣化レベルを判定するもっとも簡単な手法は、抽出画像７４の各画素に対応する点検対象の単位部分が劣化しているかどうかを各画素の画素値に基づいて２値で判別する識別器を用いる手法である。実施形態はこの手法を利用可能である。

図４（ｄ）は、劣化検出モジュール５８から出力される劣化画像７６の一例を示す。劣化検出モジュール５８は、抽出画像７４に含まれる１つの劣化項目（例えば、錆）に関する劣化部分を抽出し、錆部分の画素値を劣化レベルに応じて識別処理し、識別結果を劣化レベルに応じて４段階に分類したセグメンテーション結果を劣化レベル毎に異なる色（例えば赤、青、黄、緑）で表現して劣化画像７６を生成する。例えば、レベル１の劣化は赤、レベル２の劣化は青、レベル３の劣化は黄、レベル４の劣化は緑で示す。レベル４は最も劣化していることを意味し、レベル１は最も劣化していないことを意味する。劣化検出モジュール５８は複数の劣化項目に関する複数の劣化画像７６を出力できる。図４（ｄ）は錆に関する劣化画像７６を示す。

図４（ｄ）の劣化画像７６の例では、判りやすくするため、抽出画像７４の上に劣化部分であるセグメンテーション結果を重畳して表現しているが、抽出画像７４を表示せずにセグメンテーション結果のみを表示しても良いし、抽出画像７４ではなく疎な点群表現の上にセグメンテーション結果を重畳して表示しても良い。

劣化面積計算モジュール６０は、画像データ６６に含まれるカメラの光学モデルに基づき決定される光学的なパラメータ（焦点距離、カメラのセンササイズ、画像のサイズなど）と奥行画像７０を用いて、劣化項目毎の劣化画像７６に含まれる劣化部分の面積を劣化レベル毎に求め、劣化項目毎の劣化面積データ７８を出力する。劣化レベルとは、前述した４段階で定義した錆のレベルであり、ここでは錆劣化レベルと表現する。劣化部分の面積の計算方法については後述する。

劣化面積計算モジュール６０は、画素毎に画素に対応する点検対象の単位部分の実際の物理的な面積（以下、画素面積と称する）を計算し、画素毎に画素面積を示す面積マップを作成する。画像内の画素は全てサイズが同じであるが、画素までの距離が異なる複数の画素の画素面積は異なる。劣化面積計算モジュール６０は、面積マップと劣化画像７６に基づいて劣化レベル毎の劣化部分内の画素面積を集計することによって、劣化レベル毎の劣化部分の面積を表す劣化面積データ７８を生成する。画素毎の画素面積が同一であると仮定できる場合は、画素面積に劣化部分の画素数を乗算するだけで、劣化面積を求めても良い。なお、面積マップを作成する際、全画素に対応する画素面積を計算すると説明したが、最終的に必要な面積は劣化画像７６内の劣化部分の面積であるので、劣化部分以外では、点検対象の画素面積の計算を省いても良い。

図５は、劣化面積計算モジュール６０から出力される劣化面積データ７８の一例を示す。劣化面積データ７８は、錆劣化レベル１～４毎の劣化画素数、劣化比率、劣化面積、及びトータルの劣化画素数、劣化面積を含む。劣化画素数は劣化画像７６から算出される。劣化比率は、全劣化画素における該当するレベルの劣化画素の比率である。劣化面積は劣化面積計算モジュール６０により計算される。劣化画像７６から算出される劣化画素数や劣化比率は、実際の点検対象上の物理的な劣化面積ではない。

図６は、撮影画像の他の例を示す。撮影画像６８Ａは、錆劣化レベルと物理的な面積は同じであるが、カメラからの距離が異なる２つの点検対象Ｏ_１、Ｏ_２を含む。ここでは、点検対象Ｏ_１は点検対象Ｏ_２より近い位置にあるとする。

図７（ａ）、（ｂ）は、それぞれ点検対象Ｏ_１、Ｏ_２の劣化面積データ７８_１、７８_２の例を示す。点検対象Ｏ_１の劣化面積データ７８_１の劣化画素数は点検対象Ｏ_２の劣化面積データ７８_２とは異なる。しかし、２つの点検対象の錆劣化レベルと劣化面積は同一のため、距離が異なっても２つの点検対象の劣化診断結果は同一となるべきである。劣化面積は実際の点検対象上の物理的なサイズから計算される物理量であるため、２つの点検対象の劣化面積は同一である。点検で重要となる点検対象の劣化レベルを判断する際に、物理的な面積を基準とすることは好ましいことである。実施形態のように、劣化面積計算モジュール６０により、点検対象までの距離等に依存せず、点検対象の実際の物理的な劣化面積を計算できる実施形態の画像処理装置１４は有用である。

図３の説明に戻り、領域抽出モジュール５６から出力される抽出画像７４、劣化検出モジュール５８から出力される劣化画像７６、劣化面積計算モジュール６０から出力される劣化面積データ７８はデータベース６４に格納される。データベース６４は主記憶装置２４により構成されても良い。主記憶装置２４がＤＲＡＭから構成される場合、主記憶装置２４の電源がオフされる前に、データベース６４内のデータは不揮発性の補助記憶装置２６にコピーされる。あるいは。データベース６４は画像処理装置１４とは別にネットワーク１０上に設けても良い。さらに、撮影画像６８、奥行画像７０もデータベース６４に格納されても良い。

データベース６４内のデータはユーザ端末１６からの要求に応じて読み出され、ユーザ端末１６に送信され、要求に応じた形態でユーザに提示される。例えば、ユーザ端末１６からＷｅｂ等を通して画像処理装置１４に対して劣化面積データ７８又は種々の画像７４、７６等の取得リクエストが送信されると、そのレスポンスとして、データベース６４から必要なデータがＷｅｂＡＰＩ等を介してユーザ端末１６に提供される。リクエストやレスポンスは、例えばウェブアプリケーションで一般的なＲｅｓｔ ＡＰＩ等で実装されても良い。

図１のシステムを点検システムに応用する場合、点検担当者が撮影装置１２を用いて点検対象を撮影し、画像データを画像処理装置１４にアップロードする。画像処理装置１４は劣化面積を計算し、劣化面積をデータベース６４に格納する。補修担当者がユーザ端末１６から劣化面積等のダウンロード要求を画像処理装置１４に送信し、ユーザ端末１６の表示部で劣化面積等を確認し、補修のスケジュールを作成しても良い。
［劣化面積計算プログラム２４ｂの処理の流れ］
図８は、劣化面積計算プログラム２４ｂの処理の一例を示すフローチャートである。

画像処理装置１４は、外部からの劣化診断リクエストが来るまで待機状態となっている。外部から劣化診断リクエストが来ると、画像処理装置１４は、劣化面積計算プログラム２４ｂを起動する。劣化面積計算プログラム２４ｂがスタートすると、ステップＳ１０２で、画像取得モジュール５２は、撮影装置１２からの画像データ６６を読み込む。撮影装置１２又は画像処理装置１４がネットワーク１０に常時接続されているとは限らない場合、ネットワーク１０は別途のストレージデバイスを備え、撮影装置１２から送信される画像データ６６がストレージデバイスに一旦格納され、画像処理装置１４が画像データの送信要求をストレージデバイスに送信しても良い。

画像取得モジュール５２が画像データ６６を読み込むと、ステップＳ１０４で、奥行情報算出モジュール５４は、画像データ６６を入力し、画像データ６６から撮影画像６８と奥行画像７０を算出する。

奥行情報算出モジュール５４が撮影画像６８と奥行画像７０を算出すると、ステップＳ１０６で、領域抽出モジュール５６は、撮影画像６８と奥行画像７０を入力し、撮影画像６８から点検対象を抽出し、抽出画像７４を出力する。領域抽出モジュール５６は抽出画像７４を劣化検出モジュール５８とデータベース６４に出力する。

領域抽出モジュール５６から抽出画像７４が出力されると、ステップＳ１０８で、劣化検出モジュール５８は、撮影画像６８と抽出画像７４を入力し、抽出画像７４から劣化部分を抽出し、劣化画像７６を出力する。劣化検出モジュール５８は、劣化画像７６を劣化面積計算モジュール６０とデータベース６４に出力する。

劣化検出モジュール５８から劣化画像７６が出力されると、ステップＳ１１０で、劣化面積計算モジュール６０は、劣化画像７６、奥行画像７０及び画像データ６６を入力し、画像データ６６に含まれるカメラの光学的なパラメータ（焦点距離、カメラのセンササイズ、画像のサイズなど）に基づいて奥行画像７０の画素面積を計算し、劣化画像７６の劣化レベルに応じた複数の劣化部分毎に画素面積を集計し劣化部分の面積を計算し、劣化面積データ７８を出力する。劣化面積計算モジュール６０は、劣化面積データ７８をデータベース６４に出力する。

上述したように、劣化面積計算プログラム２４ｂを実行することにより、劣化面積データ７８、劣化画像７６、抽出画像７４がデータベース６４に格納される。データベース６４に格納された劣化面積データ７８、劣化画像７６、抽出画像７４は、外部リクエストに応じてデータベース６４から読み出され、レスポンスを返却する際にリクエストに沿ったデータをリクエストに沿った形態で提供される。

次に、劣化面積計算プログラム２４ｂの各モジュールの詳細を説明する。
［領域抽出モジュール５６］
図９を参照して、領域抽出モジュール５６の具体的な処理の一例を説明する。図９は、領域抽出モジュール５６で行われる機械学習手法による推論処理の一例として、複数入力に対応するため２つのエンコーダを備える深層学習モデルの一例を示す。入力データは、撮影画像６８と奥行画像７０であり、出力データは、奥行画像７０の各画素が点検対象の被写体が写った領域内の画素である可能性を示す尤度画像７２である。深層学習モデルは、入力データと教示された尤度画像とを１セットとした複数の学習データセットを用いて予め学習されることにより構築されている。深層学習モデルは、セグメンテーションタスクで一般的に用いられるオートエンコーダ型の構造の例を示している。

図９の深層学習モデルは、エンコーダ部分とデコーダ部分とを含む。エンコーダ部分は、Ｃｏｎｖ（Ｃｏｎｖｏｌｕｔｉｏｎ）層＋ＢＮ（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層＋ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）層、Ｐｏｏｌｉｎｇ層及びＤｒｏｐｏｕｔ層などを含む。デコーダ部分は、Ｕｎｐｏｏｌｉｎｇ層、Ｃｏｎｖ＋ＢＮ＋ＲｅＬＵ層、Ｄｒｏｐｏｕｔ層及びＳｃｏｒｅ層などを含む。

上記ネットワーク構造を拡張したり、入力データの数に対しチャネル数を増やしたり、層構造をより深くしたり、Ｄｒｏｐｏｕｔ層を削除したり、同一構造を再帰的に繋げたりして、ネットワーク構造を変更してもよい。また、ネットワークのエンコーダに相当する部分を入力データの数分増加させ、各層の間に各エンコーダの特徴量を組み合わせる融合層を含めるようにしてもよい。さらに、オートエンコーダの構造は上記の構造に限らず、上記複数の入力データに加え、エンコーダ側の同一階層の出力をデコーダ側で再利用する結合層を持つネットワーク構造でもよい。このような高解像度特徴を維持するネットワーク構造はＵ－ｎｅｔ構造として知られている。このようなモデルに対して、目的とする点検対象のみを抽出するような深層学習を用いてネットワークを学習することで、画像から対象物を高精度に抽出することが可能となる。

一般的に、撮影画像６８は、画像の形状パターンや色空間の色信号パターンなどを特徴として点検対象が抽出されるように学習されるが、元々の画像中で点検対象と背景の色が似ている場合等に抽出精度が低下することがある。これに対して、奥行画像７０は、形状パターンや色信号パターンでは無く画像中に含まれる距離パターンを特徴としてから点検対象が抽出されるように学習される。このため、深層学習モデルは、これらの異なる画像を入力して、２つの画像を組み合わせて点検対象を抽出することにより、撮影画像６８だけでは難しい点検対象の高精度な抽出を可能としている。

深層学習モデルから出力される尤度画像７２は、閾値処理などにより二値化され、尤度が閾値よりも高い領域が撮影画像６８から切り出されて抽出画像７４が生成される。

なお、領域抽出モジュール５６は、モデルベースの推論に限らず、統計ベースの推論処理を採用しても良い。

図１０は、領域抽出モジュール５６の処理の流れの一例を示すフローチャートである。
奥行情報算出モジュール５４が撮影画像６８を出力し、領域抽出モジュール５６が抽出画像７４を出力すると、領域抽出モジュール５６は、ステップＳ１２２で、撮影画像６８と奥行画像７０を受け取る。ステップＳ１２４で、領域抽出モジュール５６は、撮影画像６８と奥行画像７０を入力とする深層学習モデルにより推論処理を行い、尤度画像７２を生成する。ステップＳ１２６で、領域抽出モジュール５６は、尤度画像７２を用いて撮影画像６８から抽出画像７４を生成する。ステップＳ１２８で、領域抽出モジュール５６は、抽出画像７４を劣化検出モジュール５８とデータベース６４に出力する。この後、領域抽出モジュール５６は、待ち状態となる。
［劣化検出モジュール５８］
図１１を参照して、劣化検出モジュール５８の具体的な処理の流れを説明する。図１１は、劣化検出モジュール５８で行われる画像処理手法の一例を示す。劣化検出モジュール５８は、色変換モジュール５８Ａと識別処理モジュール５８Ｂを備える。

色変換モジュール５８Ａは、抽出画像７４（ＲＧＢ空間系の信号）をＨＳＶ空間系の信号に変換する機能と、色を補正する機能を有する。一般的に、ＲＧＢ空間とＨＳＶ空間の信号は相互に変換可能である。色の補正は、点検対象毎の色見本を用いて行われる。例えば、点検対象の一部（先端部分や末端部分など）が選定されて、色見本と比較され、抽出画像７４を色見本に合わせるための色補正が行われる。点検対象が例えば鉄塔の場合、鉄塔の色見本と比較する一部としては、碍子などの色の影響を受けにくい鉄塔の特徴的な形状の部分を選定しても良い。画像同士の色合わせは従来から様々な手法が提案されており、どの手法を用いても良い。補正はＲＧＢ空間で行っても良いし、ＨＳＶ空間で行ってもい良い。一例として、ＲＧＢ空間における３つの色信号を関数フィッティングすることにより色補正を行っても良い。なお、色補正に際して、奥行情報算出モジュール５４で説明したような前処理を適用しても良い。

色変換モジュール５８Ａで変換及び色補正された抽出画像７４は識別処理モジュール５８Ｂに入力される。識別処理モジュール５８Ｂでは、予め定義された色相Ｈと彩度Ｓと錆劣化レベルの分類マップを用いて、抽出画像７４の各画素の色相Ｈと彩度Ｓが分類マップのどこに位置するかを識別処理する。識別処理は、多数の色見本が登録されている色データベースを元に錆劣化レベルを判定することにより行われる。劣化項目毎に画素毎の識別処理が行われた結果、劣化部分が劣化レベルに応じて異なる色で表現された劣化項目毎の劣化画像７６が生成される。劣化部分以外は透明と刺される。

ここでは、非常に簡単な識別処理を行う例を説明したが、抽出画像と教示済みの劣化画像のデータセットを複数用意し、深層学習を用いて深層学習モデルを学習してもよい。この際に利用するネットワークは、前述したようなオートエンコーダ型のネットワークを用いても良いし、よりシンプルな全結合ネットワークやＶＧＧ、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔなどを利用しても良い。最新の深いネットワーク構造を用いることで、モデルの表現力が挙がり、識別性能の向上が期待できる。

図１２は、劣化検出モジュール５８の処理の流れの一例を示すフローチャートである。領域抽出モジュール５６が抽出画像７４を出力すると、劣化検出モジュール５８は、ステップＳ１４２で抽出画像７４を受け取る。ステップＳ１４４で、色変換モジュール５８Ａは、抽出画像７４の色空間をＲＧＢ空間からＨＳＶ空間に変換するとともに、点検対象に応じた色補正を行う。ステップＳ１４６で、識別処理モジュール５８Ｂは、色相Ｈと彩度Ｖの空間上の分類マップを用いて抽出画像７４の識別処理を行い、劣化項目毎の劣化画像７６を生成する。ステップＳ１４８で、識別処理モジュール５８Ｂは、劣化画像７６を劣化面積計算モジュール６０とデータベース６４に出力する。この後、劣化検出モジュール５８は待ち状態となる。
［劣化面積計算モジュール６０］
図１３を参照して、劣化面積計算モジュール６０の具体的な処理の流れを説明する。図１３は、劣化面積計算モジュール６０で行われる面積計算手法の一例を示す。劣化面積計算モジュール６０は、画素サイズ計算モジュール６０Ａと画素面積計算モジュール６０Ｂを備える。

画素サイズ計算モジュール６０Ａは、画像データ６６に含まれるカメラの光学的なパラメータとしての焦点距離Ｆと、イメージセンサのセンササイズＳと、画像の横幅（Ｗｉｄｔｈ）及び高さ（Ｈｅｉｇｈｔ）を受け取ると共に、奥行画像７０を受け取り、奥行画像７０の画素毎に当該画素に対応する点検対象の単位部分の実際の物理的なサイズ（幅と高さ）（画素サイズとも称する）を計算し、幅と高さから画素面積を計算する機能を有する。図１４は、カメラのレンズと点検対象との距離（点検対象までの距離Ｔ）を用いて各画素に対応する点検対象の単位部分の実際の物理的なサイズと画素面積を計算する原理を示す。

画素サイズ計算モジュール６０Ａは画像データ６６からカメラの焦点距離Ｆと、イメージセンサのセンササイズＳと、画像の横幅（Ｗｉｄｔｈ）及び高さ（Ｈｅｉｇｈｔ）を受け取る。センササイズＳはｘ方向の成分Ｓｘ（幅）と、ｙ方向の成分Ｓｙ（高さ）からなる。図１４はｙ方向のサイズを示す。ｘ方向は図１４の紙面に直行する方向である。尚、センササイズＳは利用するカメラによって予め設定できるため、画像データ６６から受け取らず、劣化面積計算プログラム２４ｂ内部で定義する変数としても良い。視野Ｖは、撮影するレンズにより変化する。視野Ｖもｘ方向の成分Ｖｘと、ｙ方向の成分Ｖｙからなる。視野Ｖまでの距離はワーキングディスタンスＷＤと呼ばれる。ワーキングディスタンスＷＤと視野Ｖｘ、Ｖｙと焦点距離ＦとセンササイズＳｘ、Ｓｙの間には次の関係式が成り立つ。

ＷＤ：Ｖｘ＝Ｆ：Ｓｘ 式１
ＷＤ：Ｖｙ＝Ｆ：Ｓｙ 式２
同様に、点検対象までの距離Ｔと点検対象距離Ｔでの視野Ｏｘ、Ｏｙと焦点距離ＦとセンササイズＳｘ、Ｓｙの間にも同様に次の関係式が成り立つ。

Ｔ：Ｏｘ＝Ｆ：Ｓｘ 式３
Ｔ：Ｏｙ＝Ｆ：Ｓｙ 式４
カメラの焦点距離Ｆ、センササイズＳｘ、Ｓｙは既知であり、点検対象までの距離Ｔは奥行画像７０から算出できるため、点検対象距離Ｔでの視野Ｏｘ、Ｏｙは、次式で算出される。

Ｏｘ＝Ｔ×Ｓｘ／Ｆ 式５
Ｏｙ＝Ｔ×Ｓｙ／Ｆ 式６
点検対象距離Ｔでの視野Ｏｘが判れば、画像の横幅Ｗｉｄｔｈから画像の１画素に対応する点検対象の単位部分の実際の物理的な幅Ｄｘが次式で計算される。横幅Ｗｉｄｔｈはセンサのｘ方向の画素数である。

Ｄｘ＝Ｏｘ／Ｗｉｄｔｈ 式７
同様に、点検対象距離Ｔでの視野Ｏｙが判れば、画像の高さＨｅｉｇｈｔから画像の１画素に対応する点検対象の単位部分の実際の物理的な高さＤｙが次式で計算される。高さＨｅｉｇｈｔはセンサのｙ方向の画素数である。

Ｄｙ＝Ｏｙ／Ｈｅｉｇｈｔ 式８
式７、式８によって、１画素に対応する点検対象の単位部分の実際の物理的な幅、高さである画素サイズが算出される。

上記説明では、点検対象はその中心が視野Ｖの中心と一致する状態で撮影されると仮定した。点検対象の中心が視野Ｖの中心と一致しない場合、式７、式８で表される画素サイズは角度方向のずれを含む。しかし、このずれは、レンズの光学系に依存するので、レンズの光学系の諸数値に応じて補正することができる。

式７、式８によって点検対象の単位部分毎の幅、高さが算出されると、単位部分毎の実際の物理的な面積である画素面積は次式で算出される。

Ａｘｙ＝Ｄｘ×Ｄｙ 式９
点検対象の画像内の劣化部分に含まれる画素の画素面積を集計することにより、点検対象の劣化部分の実際の物理的な面積を計算することができる。

図１３の説明に戻ると、画素サイズ計算モジュール６０Ａは、画素毎の画素面積を式９によって計算して、図１５に示すように面積マップ８０を生成する。面積マップ８０は、画素Ｐ（ｘ、ｙ）毎の画素面積Ａ（ｘ，ｙ）を示すテーブルである。画素サイズ計算モジュール６０Ａは、画素Ｐ（０，０）に対して式１～式９を計算し、画素Ｐ（０，０）の画素面積Ａ（０，０）を計算する。次に、画素サイズ計算モジュール６０Ａは、隣の画素Ｐ（１，０）に対して式１～式９を計算し、画素面積Ａ（１，０）を計算する。以下同様に、画素サイズ計算モジュール６０Ａは残りの画素をスキャンして、各画素の画素面積Ａ（ｘ，ｙ）を計算する。画素サイズ計算モジュール６０Ａは、全ての画素面積を０－２５５で正規化して画像化し、面積マップ８０を生成する。例えば、画素Ｐ（ｘ１，ｙ１）は距離１００ｍ離れた山に対応し、画素Ｐ（ｘ２，ｙ２）は距離１０ｍ離れた点検対象の鉄塔に対応する場合、近距離の画素Ｐ（ｘ２，ｙ２）の画素面積Ａ（ｘ２，ｙ２）は遠距離の画素Ｐ（ｘ１，ｙ１）の画素面積Ａ（ｘ１，ｙ１）より小さい。距離Ｔが無限遠となる空等の領域に対応する画素面積は無限大である。無限大の画素面積は最大値２５５なので、面積マップ８０では距離Ｔが無限遠となる空等の領域は白画素として表される。

画素サイズ計算モジュール６０Ａから出力された面積マップ８０は画素面積計算モジュール６０Ｂに入力される。画素面積計算モジュール６０Ｂには劣化画像７６も入力される。画素面積計算モジュール６０Ｂは、劣化画像７６によって示される錆劣化レベルごとのラベルに従って、図１６に示すように、劣化レベル毎の劣化部分の面積を計算する。画素面積計算モジュール６０Ｂは、先ず劣化画像７６の画素Ｐ（０，０）に劣化レベル１～４の何れかが設定されているか否か判定し、劣化レベル１～４の何れかが設定されている場合、劣化画像７６内の当該劣化レベル（例えば、劣化レベル１）が設定されている全ての画素の画素数をカウントし、全画素数に対するカウント値の比率（劣化比率）を求めるとともに、該当する劣化レベルが設定されている画素の画素面積を集計して当該劣化レベルの劣化面積を求める。画素Ｐ（０，０）に劣化レベル１～４の何れも設定されていない場合、画素面積計算モジュール６０Ｂは何の処理もしない。次に、画素面積計算モジュール６０Ｂは、劣化画像７６の画素Ｐ（１，０）に対して、画素Ｐ（０．０）に対する処理と同じ処理を実行する。ただし、画素面積計算モジュール６０Ｂは画素に設定されている劣化レベルの劣化面積を集計済みの場合は、何の処理もしない。以下同様に、画素面積計算モジュール６０Ｂは、残りの画素をスキャンして劣化面積データ７８を計算する。

図１７は、劣化面積計算モジュール６０の処理の流れの一例を示すフローチャートである。奥行情報算出モジュール５４が撮影画像６８を出力し、劣化検出モジュール５８が劣化画像７６を出力すると、劣化面積計算モジュール６０は、ステップＳ１６２で、奥行画像７０、劣化画像７６、画像データ６６を受け取る。ステップＳ１６４で、画素サイズ計算モジュール６０Ａは、画像データ６６からカメラの焦点距離Ｆ、イメージセンサのセンササイズＳ、画像のサイズ等の光学的なパラメータを取得する。ステップＳ１６６で、画素サイズ計算モジュール６０Ａは、図１５に示すように、奥行画像７０をスキャンし、画素毎の画素面積を計算し、面積マップ８０を生成する。上述したように、最終的に必要な面積は劣化画像７６内の劣化部分の面積であるので、劣化部分以外では面積マップを作成しなくても良い。そのため、画素サイズ計算モジュール６０Ａは、劣化画像７６に基づいて点検対象が写っている領域のみ画素面積を計算しても良い。ステップＳ１６８で、画素面積計算モジュール６０Ｂは、図１６に示すように、面積マップ８０と劣化画像７６に基づいて、劣化レベル毎の劣化面積を計算し、劣化面積データ７８を生成する。ステップＳ１７０で、画素面積計算モジュール６０Ｂは、劣化面積データ７８をデータベース６４に出力する。この後、劣化面積計算モジュール６０は待ち状態となる。
［第１実施形態の纏め］
第１実施形態によれば、撮影装置１２から出力された画像データから撮影画像６８と奥行画像７０が生成される。撮影画像６８と奥行画像７０から推論処理により点検対象を含む抽出画像７４が生成される。抽出画像７４の各画素が劣化しているか否かが劣化レベル毎に識別され、劣化レベル毎の劣化部分が抽出画像７４から抽出され、劣化画像７６が生成される。一方、画像データを撮影したカメラの光学的なパラメータと奥行画像７０を用いて画素に対応する被写体の単位部分の面積である画素面積が画素毎に求められる。画素面積が点検対象の劣化レベル毎の劣化部分に関して集計され、劣化部分の劣化面積が得られる。劣化画像７６は劣化項目、例えば錆、腐食、塗装浮き、凹凸、破損、変色毎に生成されるので、劣化面積は劣化項目、劣化レベル毎に求められる。この劣化面積を含む劣化面積データ７８はデータベースに格納され、ユーザ端末１６からの要求に応じてユーザ端末１６に送信される。例えば、補修担当者が点検対象の補修計画を作成する際、補修担当者はデータベース６４に点検対象の劣化面積データ７８の送信を要求する。補修担当者は、劣化面積データ７８に基づいて点検対象の劣化具合を客観的に、かつ細分化して判断することができる。
［第２実施形態］
第１実施形態は、カラー開口技術に基づき被写体を撮影し、奥行情報が付加された画像データを出力する撮影装置１２を用いる例を説明した。そのため、劣化面積計算プログラム２４ｂの奥行情報算出モジュール５４が画像データから奥行情報を算出する。第２実施形態として、他の撮像装置を用いる例を説明する。

第２実施形態では、撮影装置としてＲＧＢカラー画像を取得する単眼カメラが用いられ、奥行情報は他の装置により求められる。奥行情報を求める一例は、カメラの近傍位置からレーザを点検対象に照射することにより、点検対象の点群データを取得し、データのいずれかをキャリブレーションによって補正して、奥行情報を取得する例がある。また、他の例は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）測距方式のセンサを用いて奥行情報を求める例もある。第２実施形態では、撮影装置側で画像データと奥行情報が得られ、画像データと奥行情報が画像処理装置に供給される。第２実施形態は、撮影装置１２と劣化面積計算プログラム２４ｂ以外は第１実施形態と同じである。

図１８は、第２実施形態の画像処理装置１４の劣化面積計算プログラム２４ｂ－１の構成の一例を示す。劣化面積計算プログラム２４ｂ－１は、第１実施形態と同じ領域抽出モジュール５６、劣化検出モジュール５８、劣化面積計算モジュール６０を備え、第１実施形態の画像取得モジュール５２と奥行情報算出モジュール５４の代わりに画像／奥行／データ取得モジュール５２－１を備える。

画像／奥行／データ取得モジュール５２－１は図示しない撮影装置から送信された画像データ及び撮影装置以外の測距装置から送信された奥行情報を取り込む。画像／奥行／データ取得モジュール５２－１は、取り込んだ画像データに含まれる撮影画像６８を領域抽出モジュール５６と劣化検出モジュール５８に供給し、取り込んだ奥行画像７０を領域抽出モジュール５６と劣化面積計算モジュール６０に供給し、取り込んだ画像データに含まれるカメラの光学的なパラメータ６６－１を劣化面積計算モジュール６０に供給する。第１実施形態と異なり、第２実施形態では、異なる装置からの出力に基づくため、撮影画像６８と奥行画像７０が異なる画角となることもある。その場合、領域抽出モジュール５６は、両画像の画角が等しくなるように、画角が小さい画像を拡大する。

他の構成は第１実施形態と同じである。
［第３実施形態］
第１、第２実施形態は、劣化面積データを算出し、補修担当者は劣化面積の大小に基づいて補修の是非を判断することができる。第３実施形態は、劣化面積データに加えて、補修優先度を算出する。

図１９は第１実施形態に補修優先度を計算する機能を付加した第３実施形態の劣化面積計算プログラム２４ｂ－２の構成の一例を示す。劣化面積計算プログラム２４ｂ－２は、第１実施形態の劣化面積計算プログラム２４ｂに加えて、補修優先度計算モジュール２０２を備える。

補修優先度計算モジュール２０２は、劣化面積計算モジュール６０から出力される劣化面積データ７８と補修データ２０４を入力する。補修データ２０４とは、例えば点検対象のラベルと点検／補修履歴を含む。点検対象のラベルとは、複数の点検対象を特定するためのインデックスや固有名称等である。点検／補修履歴とは、過去の点検／補修の回数、日時、箇所、劣化項目毎の劣化レベル等の情報を含む。

補修データ２０４の一例が図２０に示される。Ｎｏ．は点検対象を特定するためのインデックスを表しており、ラベルは点検対象の管理名称である。日時は過去の点検／補修日時を表している。箇所は補修箇所を示す。箇所の一例は、５段組鉄塔の２段目の部分がある。種類は過去に実施された作業が点検なのか補修なのか等の作業内容を表している。なお、図２０は最小限の情報からなる例を示したが、補修データ２０４はこれ以外の管理情報を含んでいても良い。例えば、補修データ２０４は図５に示すような劣化面積データ７８の情報を含んでも良い。これにより、過去の点検時の劣化面積等の情報を管理することができ、錆劣化面積の予測等の他のアプリケーションへの活用が可能となる。

補修優先度計算モジュール２０２は、補修データ２０４に含まれる点検対象のラベルに対して、劣化面積データ７８の劣化面積を入力し、補修履歴と劣化面積を対応づけた表としての補修優先度データ２０６を作成する。補修優先度データ２０６の一例が図２１に示される。ここでは、補修データ２０４に含まれるラベルの中で、実施日時が古く、劣化面積が大きいラベルに優先度を高く割り振る。この際、並び替えの順番として、主キーを日時とし副キーを劣化面積としても良いし、その逆に主キーを劣化面積とし副キーを日時としても良い。図２１は主キーを劣化面積とし副キーを日時とした場合の例を示す。優先度は値が小さい程優先される。図２１の場合、最も劣化面積が大きいラベル０００６の補修が最も優先されることを示す。補修優先度データ２０６が補修優先度計算モジュール２０２から出力され、データベース６４へ入力される。

図２２は、劣化面積計算プログラム２４ｂ－２の処理の一例を示すフローチャートである。

ステップＳ１０２からステップＳ１１０までは、図８に示す第１実施形態の劣化面積計算プログラム２４ｂのフローチャートと同じである。ステップＳ１１０で劣化面積計算モジュール６０が劣化面積データ７８を出力すると、ステップＳ１１２で、補修優先度計算モジュール２０２は劣化面積データ７８と補修データ２０４を入力し、補修優先度データ２０６を生成し、補修優先度データ２０６をデータベース６４に出力する。

第３実施形態によれば、補修担当者はデータベース６４から読み出した補修優先度データ２０６に基づいて優先的に補修することが好ましい点検対象を客観的に判断することができ、適切な補修計画を作成することができる。

なお、図示しないが、第２実施形態に補修優先度を計算する機能を付加した実施形態も実現可能である。
［変形例］
上述した実施形態では、単一のプロセッサ２２が劣化面積計算プログラム２４ｂ、２４ｂ－１、２４ｂ－２を実行することにより各機能が実現されているが、複数のプロセッサを設け、各プロセッサがプログラムのいくつかのモジュールを実行するように構成しても良い。さらに、プロセッサ２２が劣化面積計算プログラム２４ｂ、２４ｂ－１、２４ｂ－２を実行することにより劣化面積が計算されているが、劣化面積計算プログラム２４ｂ、２４ｂ－１、２４ｂ－２のモジュールの一部又は全部をＩＣ等のハードウェアにより実現しても良い。画像処理装置１４の動作形態は任意で良く、例えばネットワーク１０上のクラウドシステムとして動作させても良い。

実施形態では点検対象の劣化部分の面積が計算されているが、面積を計算する部分は劣化部分に限らず、点検対象全体でも良い。さらには、点検対象ではなく、画面内の特定の被写体の面積を計算するように構成しても良い。すなわち、実施形態の画像処理装置１４は保守点検システム以外の任意のシステムに適用可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…ネットワーク、１２…撮影装置、１４…画像処理装置、１６…ユーザ端末、２２プロセッサ、２４……主記憶装置、２６…補助記憶装置、２８…表示装置、３０…入力装置、３２…通信装置、５２…画像取得モジュール、５４…奥行情報算出モジュール、５６…領域抽出モジュール、５８…劣化検出モジュール、６０…劣化面積計算モジュール、６４…データベース。

Claims (15)

1. 対象物と背景を含む第１画像と前記第１画像を撮影したカメラの光学的なパラメータを取得する取得手段と、
   前記第１画像から撮影画像及び前記第１画像の各画素の奥行情報を表す奥行画像を生成する奥行情報算出手段と、
   前記奥行画像に基づいて前記撮影画像から前記対象物が写っている領域を抽出し、抽出した領域の画像である抽出画像を生成する抽出手段と、
   前記抽出画像から前記抽出画像の各画素の劣化レベルを示す劣化画像を生成する劣化検出手段と、
   前記劣化レベルが第１レベルである領域の面積を前記奥行画像と前記劣化画像と前記光学的なパラメータとを用いて計算する計算手段と、
   を具備する画像処理装置。
2. 前記抽出手段は、前記撮影画像の形状又は色のパターンに基づく第１特徴量と、前記奥行情報の奥行のパターンに基づく第２特徴量を用いて前記対象物が写っている領域を検出する請求項１記載の画像処理装置。
3. 前記劣化検出手段は、前記抽出画像と劣化見本画像との相関に基づいて前記劣化レベルを検出する請求項１記載の画像処理装置。
4. 前記劣化検出手段は、複数の劣化状態の複数の劣化領域を検出し、
   前記計算手段は、前記複数の劣化領域の複数の面積をそれぞれ計算する請求項１記載の画像処理装置。
5. 前記劣化検出手段は、前記撮影画像と前記複数の劣化状態に関する複数の劣化見本画像との相関に基づいて前記複数の劣化領域を検出する請求項４記載の画像処理装置。
6. 前記複数の劣化状態のそれぞれは、前記対象物の製造又は施工時の劣化状態と、前記対象物の製造又は施工後の劣化状態を含む請求項４記載の画像処理装置。
7. 前記複数の劣化状態のそれぞれは、錆、腐食、塗装ずれ、塗装浮き、凹凸、破損、変色、設計不一致、傾き、溶接漏れ、塗装漏れ、ボルトやナット漏れに関する劣化状態を含む請求項６記載の画像処理装置。
8. 前記複数の劣化領域の前記複数の面積と過去の補修情報に基づいて、前記複数の劣化領域の補修優先度を算出する補修優先度算出手段をさらに具備する請求項６記載の画像処理装置。
9. 前記補修優先度は、前記対象物の劣化状態が第１状態である領域の面積が大きい程高く、過去の補修時期が古い程高い請求項８記載の画像処理装置。
10. 前記計算手段は、前記光学的なパラメータと前記奥行情報を用いて前記第１画像の画素に対応する前記対象物の単位部分毎の面積を計算する請求項１記載の画像処理装置。
11. 前記計算手段は、前記対象物の画像の画素数と前記対象物の単位部分毎の面積を用いて前記対象物の面積を求める請求項１０記載の画像処理装置。
12. 前記光学的なパラメータは前記カメラの光学モデルに基づいている請求項１記載の画像処理装置。
13. 前記光学的なパラメータは前記カメラのセンササイズと焦点距離に関する請求項１２記載の画像処理装置。
14. 前記奥行情報は、前記第１画像に含まれる色毎の合焦状態からのボケに基づく請求項１記載の画像処理装置。
15. 対象物と背景を含む第１画像と前記第１画像を撮影したカメラの光学的なパラメータを取得することと、
    前記第１画像から撮影画像及び前記第１画像の各画素の奥行情報を表す奥行画像を生成することと、
    前記奥行画像に基づいて前記撮影画像から前記対象物が写っている領域を抽出し、抽出した領域の画像である抽出画像を生成することと、
    前記抽出画像から前記抽出画像の各画素の劣化レベルを示す劣化画像を生成することと、
    前記劣化レベルが第１レベルである領域の面積を前記奥行画像と前記劣化画像と前記光学的なパラメータとを用いて計算することと、
    を具備する画像処理方法。

Images