JP7270803B1 - 下水道管渠の劣化状態診断システム - Google Patents

Abstract

【課題】下水道管渠の劣化状態を画像を用いて診断する手法において、高精度と高効率を両立するための技術を提供する。【解決手段】劣化状態診断システムが、管渠に対する過去の検査情報を記憶する記憶手段と、対象管渠の管内を撮影した管内画像を含む測定情報を取得する測定情報取得手段と、前記対象管渠の検査情報から、前記対象管渠に対する過去の診断で検出された既知劣化の情報を取得する過去情報取得手段と、前記対象管渠の既知劣化の情報に基づいて、診断すべき劣化の種別および位置を特定し、前記対象管渠の測定情報に対して、前記特定した劣化の種別および位置に応じた診断処理を適用することによって、前記対象管渠の劣化の度合いを診断する第一の診断手段と、前記対象管渠の劣化の種別と劣化の度合いに基づいて、交換の要否および交換対象を決定する決定手段と、を有する。【選択図】図４

Description

本発明は、下水道管渠の劣化状態を画像から診断する技術に関する。

下水道管渠の劣化状態を定期的に診断し適正に維持管理することは、排水・処理機能の停止や道路陥没等の事故を未然に防止するうえで非常に重要である。従来、下水道管渠などの構造物の劣化を効率的かつ精度良く点検するための方法が多々提案されている。例えば、下水道管をはじめとする道管の劣化検出法として、超音波により水分量を検出する方法が知られている。また、構造物の表面を撮影した画像から金属腐食の状態を検出する方法は古くから行われており（特許文献１参照）、最近では、人工知能（ＡＩ）を利用して構造物の損傷の種類を特定する試みも行われている（特許文献２参照）。

特許第３１８１５４３号公報 特開２０２１－１４０４３５号公報

わが国の下水道管渠の総延長は約４９万ｋｍに達する。そのうち標準耐用年数（５０年）を経過した管渠は約２．５万ｋｍ（総延長の５％）にも及び、１０年後は８．２万ｋｍ（１７％）、２０年後は１９万ｋｍ（３９％）と今後は急速に増加する。そのため、膨大な量の下水道管渠の劣化診断をより迅速かつ効率的に行い、かつ、設備の交換等の要否を適切に判断できるような仕組みが求められている。

本発明者らは、特許文献１、２で提案されているような画像診断の利用を試みたが、その中で次のような課題を見出した。設備の交換等の要否判断を行うための基礎情報ないし根拠とするためには、劣化の状態（進行度合い）を高精度に診断する必要がある。高精度な画像診断は要素技術としては実現可能であるものの、しかしながら、下水道管渠を撮影した膨大な画像データの全体に対してそのような画像診断を適用すると、相当な処理時間を要してしまい、運用上問題となる。しかも、下水道管の劣化には、腐食の他、破損（クラック、欠落などを含む）、管の接合部に生じる継手のズレ、管の上下方向のたるみなど、複数の種類の劣化が想定される。これらの劣化種別について個別に高精度な画像診断を実施するとなれば、処理時間が何倍にも増加してしまう。

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、下水道管渠の劣化状態を、画像を用いて診断する手法において、高精度と高効率を両立するための技術を提供することにある。

本開示は、下水道管渠の劣化状態を、画像を用いて診断するシステムであって、管渠に対する過去の診断の結果の記録である検査情報を記憶する記憶手段と、診断の対象となる対象管渠の管内を撮影した管内画像を含む測定情報を取得する測定情報取得手段と、前記記憶手段に記憶されている前記対象管渠の検査情報から、前記対象管渠に対する過去の診断で検出された劣化である既知劣化の情報を取得する過去情報取得手段と、前記過去情報取得手段により取得した前記対象管渠の既知劣化の情報に基づいて、診断すべき劣化の種別および位置を特定し、前記測定情報取得手段により取得した前記対象管渠の測定情報の中から前記特定した劣化の位置を含む管内画像を選択し、劣化の種別ごとに用意された複数の診断処理の中から前記特定した劣化の種別に対応する診断処理を選択し、前記選択した管内画像に対して、前記選択した診断処理を適用することによって、前記対象管渠の劣化の度合いを診断する第一の診断手段と、前記対象管渠の劣化の種別と劣化の度合いに基づいて、交換の要否および交換対象を決定する決定手段と、を有する、ことを特徴とする下水道管渠の劣化状態診断システムを含む。

前記対象管渠の既知劣化の情報が存在しない場合に、前記対象管渠の測定情報に含まれる管内画像から、周囲と輝度が相違する領域を要診断領域として検出する簡易検出を行い、前記簡易検出によって要診断領域が検出された場合に前記要診断領域に対して劣化の度合いを診断する第二の診断手段を有してもよい。

前記簡易検出によって要診断領域が検出されなかった場合に、前記対象管渠の測定情報に含まれる管内画像の全体をスクリーニングして劣化を検出するスクリーニング手段を有してもよい。

前記対象管渠の既知劣化の情報と、前記第一の診断手段の診断結果とから、前記既知劣化の進行度を算出し、前記算出した進行度の情報で前記対象管渠の検査情報を更新する更新手段を有してもよい。

前記第一の診断手段、前記第二の診断手段、および、前記スクリーニング手段のうち少なくともいずれかは、学習済みモデルを利用して管内画像から劣化の判定を行うものであり、前記対象管渠の測定情報に含まれる管内画像を新たな教師データとして前記学習済みモデルのオンライン学習を行う学習手段を有してもよい。

前記対象管渠の過去の診断に用いられた管内画像と測定条件を合わせるために、前記対象管渠の測定情報に含まれる管内画像に対し、輝度、コントラスト、および色調のうち少なくともいずれかを補正する前処理を施す画像加工手段を有してもよい。

本開示は、下水道管渠の劣化状態を、画像を用いて診断する方法であって、コンピュータにより、診断の対象となる対象管渠の管内を撮影した管内画像を含む測定情報を取得する測定情報取得工程と、コンピュータにより、記憶装置に記憶されている前記対象管渠に対する過去の診断の結果の記録である検査情報から、前記対象管渠に対する過去の診断で検出された劣化である既知劣化の情報を取得する過去情報取得工程と、コンピュータにより、前記過去情報取得工程により取得した前記対象管渠の既知劣化の情報に基づいて、診断すべき劣化の種別および位置を特定し、前記測定情報取得工程により取得した前記対象管渠の測定情報の中から前記特定した劣化の位置を含む管内画像を選択し、劣化の種別ごとに用意された複数の診断処理の中から前記特定した劣化の種別に対応する診断処理を選択し、前記選択した管内画像に対して、前記選択した診断処理を適用することによって、前記対象管渠の劣化の度合いを診断する第一の診断工程と、コンピュータにより、前記対象管渠の劣化の種別と劣化の度合いに基づいて、交換の要否および交換対象を決定する決定工程と、を有する、ことを特徴とする下水道管渠の劣化状態診断方法を含む。

本開示は、下水道管渠の劣化状態の画像を用いた診断をコンピュータに実行させるため
のプログラムであって、診断の対象となる対象管渠の管内を撮影した管内画像を含む測定情報を取得する測定情報取得工程と、記憶装置に記憶されている前記対象管渠に対する過去の診断の結果の記録である検査情報から、前記対象管渠に対する過去の診断で検出された劣化である既知劣化の情報を取得する過去情報取得工程と、前記過去情報取得工程により取得した前記対象管渠の既知劣化の情報に基づいて、診断すべき劣化の種別および位置を特定し、前記測定情報取得工程により取得した前記対象管渠の測定情報の中から前記特定した劣化の位置を含む管内画像を選択し、劣化の種別ごとに用意された複数の診断処理の中から前記特定した劣化の種別に対応する診断処理を選択し、前記選択した管内画像に対して、前記選択した診断処理を適用することによって、前記対象管渠の劣化の度合いを診断する第一の診断工程と、前記対象管渠の劣化の種別と劣化の度合いに基づいて、交換の要否および交換対象を決定する決定工程と、をコンピュータに実行させるためのプログラムを含む。

本発明によれば、下水道管渠の劣化状態を、画像を用いて診断する手法において、高精度と高効率を両立することが可能である。

図１は、下水道管渠の劣化状態診断システムの全体構成を示す図である。 図２は、下水道管渠の劣化状態診断システムの機能構成を示す図である。 図３は、画像加工部の処理の一例を示す図である。 図４は、劣化状態診断システムによる画像診断の全体フローを示すフローチャートである。 図５は、個別診断処理のフローを示すフローチャートである。 図６は、簡易検出処理のフローを示すフローチャートである。 図７は、個別詳細診断処理のフローを示すフローチャートである。 図８は、全体詳細検出処理のフローを示すフローチャートである。 図９は、上下方向のたるみを説明するための図である。 図１０は、劣化状態診断システムの他の構成例を示す図である。

＜システム構成＞
図１は、下水道管渠の劣化状態診断システムの全体構成を示している。

下水道管渠１０は、下水を流すための設備であり、汚水を下水処理場へ送るための汚水管と雨水を海や河川へ送るための雨水管を含む。下水道管渠１０は、複数の管１１が連結（接合）された構造であり、所定の間隔で地上へのマンホール１２が設置されている。隣り合う２つのマンホール１２の間の管路（複数の管１１から構成される単位）はスパン１３と呼ばれる。管１１の材質（管種）は、鉄筋コンクリート管、陶管、硬質塩化ビニル管などがあり、管１１の内径（管径）は１００ｍｍ程度のものから１０００ｍｍを超えるものまで存在する。

本発明の実施形態に係る劣化状態診断システム１は、下水道管渠１０の劣化状態を、画像を用いて診断する機能を提供するコンピュータシステムである。例えば、超広角レンズ（魚眼レンズ）をもつカメラ１５を搭載したロボット１４を走行させながら、下水道管渠１０の内周面の動画像を撮影する。劣化状態診断システム１は、この動画像データをロボット１４からオフライン又はオンラインで取得し、動画像データを加工することによって、管渠の内周面（３６０度）を平面に展開したような画像（以下「管内画像」又は「展開画像」と称する。）を得る。この管渠の管内画像を解析することにより、劣化の有無や劣化の程度などを自動診断する。取得する動画像データは、ロボットの走行位置に合わせた複数の静止画像データで代替してもよい。

図２を参照して、劣化状態診断システムの機能構成について説明する。

劣化状態診断システム１は、主な機能として、データベース２０、測定情報取得部２１、過去情報取得部２２、第一の診断部２３、第二の診断部２４、スクリーニング部２５、決定部２６、ＤＢ更新部２７、画像加工部２８、学習部２９、を有する。本実施形態では、ユーザ端末２（エンドポイント側）に測定情報取得部２１、過去情報取得部２２、第一の診断部２３、第二の診断部２４、スクリーニング部２５、決定部２６、ＤＢ更新部２７、画像加工部２８、学習部２９が実装されており、ユーザ端末２が外部のデータベース２０とＬＡＮ又はインターネットを介して接続された構成である。

データベース２０は、劣化状態の診断に関わる情報を記憶し管理するための記憶手段である。データベース２０に格納される情報には、例えば、ロボット１４から取得した動画像データ、動画像の撮像条件（カメラ１５のスペックやパラメータ、照明条件など）、動画像データから加工した管内画像、管渠の情報（管やスパンを特定するＩＤ、管種、管径など）、過去の診断の結果の記録である検査情報などが含まれる。動画像データ、撮像条件、および管内画像をまとめて測定情報とも称する。測定情報（すなわち、測定（撮影）によって得られた１次情報）と検査情報（すなわち、画像診断によって得られた２次情報）は、管渠の情報に紐付けて、データベース２０で管理されるとよい。

測定情報取得部２１は、データベース２０から、診断の対象となる管渠（「対象管渠」と称する。）の管内を撮影した管内画像を含む測定情報を取得する測定情報取得手段である。

過去情報取得部２２は、データベース２０に記憶されている対象管渠の検査情報から、対象管渠に対する過去の診断で検出された劣化（「既知劣化」と称する。）の情報を取得する過去情報取得手段である。なお、データベース２０には全ての下水道管渠についての既知劣化の情報が蓄積されているとは限らない。画像診断が未だ実施されていない管渠や、過去に実施した画像診断において劣化が発見されなかった管渠など、データベース２０内に既知劣化の情報が存在しない場合もあり得る。

第一の診断部２３、第二の診断部２４、およびスクリーニング部２５は、対象管渠の管内画像から劣化の検出や劣化状態の診断（劣化の度合いや進行の計算含む）を行うための機能である。これら３つの機能２３～２５は、画像処理や画像認識などの技術を利用して自動で検出ないし診断を行うという点では共通しているが、以下のように特徴や利点が相違している。本実施形態の劣化状態診断システム１は、第一の診断部２３、第二の診断部２４、およびスクリーニング部２５を適宜組み合わせることによって、高精度な画像診断と処理の効率化を両立している。

・第一の診断部２３は、既知劣化の情報に基づいて診断すべき劣化の種別および位置を特定する。そして、特定した劣化の種別および位置に応じた診断処理を、対象管渠の測定情報に対し適用することによって、対象管渠の劣化の度合いを診断する。すなわち、過去の検査情報を参照して、診断すべき劣化の種別と位置を絞り込む（限定する）ことによって、無駄な処理（他の種別の劣化を検出ないし診断する処理、劣化の存在しない画像範囲に対する処理など）を可及的に排除し、対象管渠の画像診断に要する処理コストおよび処理時間を大幅に削減することが可能となる。これにより、高精度な画像診断を高速に実行することが可能となる。

・第二の診断部２４は、対象管渠の既知劣化の情報が存在しない場合に利用される。過去の検査情報による絞り込みができないため、第二の診断部２４は、まず、対象管渠の管内画像から、周囲と輝度が相違する領域を要診断領域として検出する簡易検出処理を実行する。そして、簡易検出処理によって検出された要診断領域に対して劣化の度合いを診断する処理を適用する。簡易検出処理は、周囲と輝度が相違する領域を抽出するだけの簡易な処理でよいので、劣化を検出したり劣化状態を診断したりする高度な処理に比べて、短時間での処理が可能である。したがって、簡易検出処理で大まかに要診断領域を絞り込み、その要診断領域に対してのみ時間のかかる画像診断を適用するようにしたことで、（第一の診断部２３よりは処理時間はかかるものの）高精度な画像診断を高速に実行することが可能となる。

・スクリーニング部２５は、第二の診断部２４の簡易検出処理によって要診断領域が検
出されなかった場合に利用される。簡易検出処理によって要診断領域が検出されなかったということは、対象管渠には劣化が含まれていないか、含まれていたとしても軽微な劣化であると考えられる。このような場合は、対象管渠の管内画像の全体をくまなくサーチし、劣化やその予兆を検出する。スクリーニング部２５の処理は、第一の診断部２３および第二の診断部２４の処理に比べて時間を要するが、未知の劣化をいち早く検出するためには有効である。

決定部２６は、第一の診断部２３、第二の診断部２４、スクリーニング部２５などでの診断結果に基づいて、設備の交換の要否および（交換が必要な場合は）交換対象を決定する決定手段である。ＤＢ更新部２７は、データベース２０の情報を更新する更新手段である。

画像加工部２８は、画像に対する加工処理や前処理を行う機能である。

学習部２９は、測定情報に含まれる管内画像を新たな教師データとして用い、第一の診断部２３、第二の診断部２４、およびスクリーニング部２５で利用される学習済みモデルのオンライン学習（追加学習）を行う学習手段である。

ユーザ端末２は、例えば、プロセッサ（ＣＰＵ、ＧＰＵなど）、メモリ（主記憶装置）、ストレージ（補助記憶装置）、通信モジュール、表示装置、入力装置などのハードウェア資源を具備する汎用コンピュータにより構成することができる。汎用コンピュータとしては、例えば、パーソナルコンピュータ、サーバーコンピュータ、タブレット端末、スマートフォンなどを例示できる。汎用コンピュータを利用する場合、図２に示す機能は、ストレージに格納されているプログラムをメモリに展開し、プロセッサが当該プログラムを実行することによって、ソフトウェア的に実現される。ただし、この構成に限られず、図２に示す機能のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣのような回路に置き換えてもよいし、クラウドコンピューティングや分散コンピューティングの技術を利用することで他のコンピュータにより実行してもよい。

＜画像の加工および前処理＞
図３を参照して、画像加工部２８による管内画像（展開画像）の加工処理、および、画像の前処理の一例を説明する。

図３の符号３０は、管渠１０内の動画像の１フレームを示している。この動画像３０は、例えば、管渠１０の中心軸とカメラ１５の光軸を平行に保ちつつ、カメラ１５を一定速度で移動させながら撮影したものであり、画像の中心を取り囲むように管渠１０の内周面が写っている。画像加工部２８は、動画像３０の各フレームから所定幅のドーナツ状の領域３１を切り出し、アフィン変換によってドーナツ状の領域３１を帯状の画像３２に変換した後、互いにつなぎ合わせることにより、管渠１０の内周面（３６０度）を平面に展開したような管内画像３３（展開画像）を生成する。この管内画像３３は、横軸が管渠内の軸方向位置を示し、縦軸が円周位置（角度）を示している。管渠内の軸方向位置は、動画像のフレーム時刻とロボット１４の位置情報などから計算することができる。また、円周位置は、管渠の鉛直下方向を０度、鉛直上方向を１８０度とする角度で表される。図３の管内画像３３は、１８０度の位置で展開した画像の例であり、管内画像３３の縦方向中央に下水３４が写り、その上下に右側の内周面３５と左側の内周面３６が写っている。

画像加工部２８は、新たに取得した測定情報から管内画像を生成したときに、この管内画像に対し、輝度、コントラスト、および色調のうち少なくともいずれかを補正する前処理を施してもよい。このような前処理は、過去の診断に用いられた管内画像と測定条件を合わせるために行われる。例えば、撮影時の照明の明るさや、撮影条件（絞り、ＩＳＯ感
度、フレームレート、フィルタなど）および撮像するカメラ仕様に依存して、画像の輝度、コントラスト、色調などに違いが生じる。画像ごとにそのようなばらつきがあると、後段の劣化検出や劣化状態の診断などの結果が安定せず、精度が低下する可能性がある。そこで、画像加工部２８は、測定条件の違いに依存する画像の輝度、コントラスト、色調などのばらつきを低減するように、前処理を施すのである。照明の明るさや撮影条件などが動画像の付加情報として与えられている場合には、画像加工部２８は、その情報を利用して画像の前処理を実施してもよい。そのような付加情報が与えられていない場合には、画像加工部２８は、例えばヒストグラム均等化などの前処理によって、画像の輝度、コントラスト、色調などを調整してもよい。

＜画像診断のフロー＞
図４を参照して、劣化状態診断システム１による画像診断の全体フローを説明する。なお、カメラ１５からの動画像データの取り込み、並びに、画像加工部２８による管内画像の生成および前処理はすでに実行され、対象管渠の測定情報はデータベース２０内に登録済みであるものとする。

まずステップＳ４００において、測定情報取得部２１が、データベース２０から対象管渠の測定情報を読み込む。この測定情報には、管内画像、管渠の情報などが含まれる。

ステップＳ４０１において、過去情報取得部２２が、データベース２０内に対象管渠の過去の検査情報が存在するか否かを確認する。対象管渠の検査情報が存在する場合には、過去情報取得部２２は、データベース２０に登録されている対象管渠の検査情報から、対象管渠に対する過去の診断で検出された既知劣化の情報を取得する（ステップＳ４０２）。そして、第一の診断部２３が、既知劣化の情報に基づいて、診断すべき劣化の種別および位置（対象管渠内の位置）を特定し（ステップＳ４０３）、ステップＳ４０４の個別診断処理を実行する。個別診断処理の内容については後ほど図５を参照して詳述する。

次に、決定部２６は、個別診断処理の診断結果（劣化の種別と劣化の度合い）に基づいて、対象管渠の設備の交換要否を判断する（ステップＳ４０５）。このとき、劣化の種別と劣化の度合いに基づいて交換の要否が決定され、また、劣化の種別に基づいて交換単位（管交換かスパン交換か）も決定される。

本実施形態では、劣化の種別として、「破損」、「腐食」、「継手ズレ」、「たるみ」の４種類の劣化を診断する。「破損」には欠落とクラックが含まれる。欠落とは、管の一部が割れ落ちて穴が開いた状態である。欠落箇所から地下水や土砂が流入すると、地山に空隙ができ地面の陥没などの事象につながるおそれがある。したがって、欠落箇所（穴）の大きさが所定の閾値を超えた場合には「交換が必要」と判断するとよい。クラックとは、管に入ったひび割れである。クラック幅と長さが大きくなると管渠の耐荷能力が不足し、管の変形や欠落につながる。したがって、クラック幅やクラック長さが所定の閾値を超えた場合には「交換が必要」と判断するとよい。破損（欠落、クラック）の場合の交換単位は「管」である。「腐食」は鉄筋コンクリート管にみられる劣化であり、腐食を放置すると管の変形や破損につながる。例えば、鉄筋や骨材の露出箇所の面積やその割合が所定の閾値を超えた場合には「交換が必要」と判断するとよい。腐食の場合の交換単位は「スパン」である。「継手ズレ」とは管同士を接続する継手が外れかけた状態又は脱却した状態である。継手ズレが生じるとその隙間から地下水や土砂の流入を招き、破損と同様の事故を招きかねない。したがって、ズレ量が所定の閾値を超えた場合には「交換が必要」と判断するとよい。継手ズレの場合の交換単位は「管」である。「たるみ」とは、管の一部が沈下し管路に不陸が生じている状態である。たるみを放置すると管の変形や破損につながる。したがって、たるみ量が所定の閾値を超えた場合には「交換が必要」と判断するとよい。たるみの場合の交換単位は「スパン」である。

決定部２６によりスパン交換が必要と判断された場合（ステップＳ４０５のＹ⇒ステップＳ４０６のＹ）、ＤＢ更新部２７は、スパン交換に必要な情報（例えば、スパンを特定するＩＤ、劣化の種別・位置・度合い、交換が必要と判断した根拠など）を生成し、データベース２０に格納する。他方、決定部２６により管交換が必要と判断された場合（ステップＳ４０５のＹ⇒ステップＳ４０６のＮ）、ＤＢ更新部２７は、管交換に必要な情報（例えば、管を特定するＩＤ、劣化の種別・位置・度合い、交換が必要と判断した根拠など）を生成し、データベース２０に格納する。なお、これらの情報を表示装置に表示や、ユーザの端末に通知するなどしてもよい。

個別診断処理の結果、対象管渠の交換は必要なしと判断された場合は（ステップＳ４０５のＮ）、ＤＢ更新部２７は、対象管渠の既知劣化の情報（すなわち前回の診断結果）と、ステップＳ４０４の個別診断処理の診断結果（すなわち今回の診断結果）とから、対象管渠における既知劣化の進行度を算出する（ステップＳ４３０）。例えば、クラックのような劣化の場合は、クラックの長さや幅の前回からの増加分を進行度として計算すればよいし、腐食のような劣化の場合は、腐食部分の面積の増加分や輝度・色調の変化分などを進行度として計算すればよい。ＤＢ更新部２７は、計算した進行度が所定の閾値を超えていた場合に「劣化が進行している」と判定し（ステップＳ４３１のＹ）、過去から現在までの劣化の進行度を基に、劣化が今後どのように進行していくかを予測する（ステップＳ４３２）。ＤＢ更新部２７は、ステップＳ４３０で計算された既知劣化の進行度、および、ステップＳ４３２で推定された既知劣化の進行予測などの情報で、データベース２０内の対象管渠の検査情報を更新する（ステップＳ４３３）。以上が、データベース２０に対象管渠の過去の検査情報（既知劣化の情報）が存在する場合の第一の診断処理の流れである。

次に、データベース２０に対象管渠の過去の検査情報（既知劣化の情報）が存在しない場合に実行される、第二の診断処理とスクリーニング処理の流れを説明する。データベース２０に対象管渠の過去の検査情報が存在しない場合（ステップＳ４０１のＮ）、第二の診断部２４が、簡易検出処理を行って、対象管渠の管内画像のなかから要診断領域を検出する（ステップＳ４１０）。簡易検出処理の内容については後ほど図６を参照して詳述する。簡易検出処理において要診断領域が検出された場合は（ステップＳ４１１のＹ）、第二の診断部２４が、要診断領域に対して個別詳細診断処理を実行する（ステップＳ４１２）。個別詳細診断処理の内容については後ほど図７を参照して詳述する。簡易検出処理において要診断領域が検出されなかった場合は（ステップＳ４１１のＮ）、スクリーニング部２５が、対象管渠の管内画像の全体をスクリーニングする全体詳細検出処理を実行する（ステップＳ４２０）。全体詳細検出処理の内容については後ほど図８を参照して詳述する。

決定部２６は、個別詳細診断処理（ステップＳ４１２）又は全体詳細検出処理（ステップＳ４２０）の診断結果に基づいて、対象管渠の設備の交換要否を判断する（ステップＳ４１３）。交換が必要と判断した場合は、ステップＳ４０６に処理を進める。他方、対象管渠の交換は必要なしと判断された場合は（ステップＳ４１３のＮ）、ＤＢ更新部２７は、今回の診断結果を、対象管渠の検査情報としてデータベース２０に新規登録する（ステップＳ４１４）。

＜個別診断処理のフロー＞
図５を参照して、第一の診断部２３による個別診断処理のフローの詳細を説明する。

第一の診断部２３は、対象管渠の検査情報から管径情報を取得し（ステップＳ５００）、管径から管の内周面の円周長さを計算する（ステップＳ５０１）。そして、第一の診断
部２３は、円周長さ［ｍｍ］と管内画像の縦方向のピクセル数に基づいて、管内画像の１ピクセルを現実の寸法［ｍｍ］に換算する（ステップＳ５０２）。

第一の診断部２３は、対象管渠の１スパン分の管内画像を取得する（ステップＳ５０３）。このとき、図４のステップＳ４０３で特定した既知劣化の位置に基づいて、既知劣化が存在しているスパンの画像を選択するとよい。これにより、既知劣化を含まない管内画像に対する処理がスキップされるため、第一の診断処理の処理時間を短縮することができる。

図４のステップＳ４０３で特定した既知劣化の種別が「破損」である場合には、第一の診断部２３は、管内画像から管の継手部分を検出し（ステップＳ５０５）、１スパン分の管内画像を継手部分で切断することによって、管単位の画像に分割する（ステップＳ５０６）。例えば、継手部分では、管の内周面が不連続となるため、管内画像の縦方向（円周方向）に帯状に不連続領域が現れる。ステップＳ５０５では、例えば、画像の色や輝度などの特徴量に基づいてこのような不連続領域を検出してもよいし、微分フィルタやラプラシアンフィルタなどにより縦方向に延びるエッジを検出してもよい。続いて、第一の診断部２３は、管単位の画像のそれぞれに対し、ＡＩ（学習済みモデル）による画像判定を適用し（ステップＳ５０７）、破損の領域範囲を検出する（ステップＳ５０８）。ステップＳ５０７で利用される学習済みモデルは、破損が発生した画像を教師データとして用いて機械学習されたモデルである。このときも、図４のステップＳ４０３で特定した既知劣化の位置に基づいて、破損領域のサーチ範囲、すなわち、学習済みモデルに入力する画像の範囲を絞り込んでもよい。ＡＩによる画像判定のような高精度な画像診断は一般的な画像処理に比べて処理時間が長大となる傾向があるが、本実施形態のように既知劣化の位置に基づいてサーチ範囲を限定することによって、処理時間の大幅な短縮が期待できる。最後に、第一の診断部２３は、検出された破損の領域範囲の画像を基に、破損の程度を算出する（ステップＳ５０９）。

図４のステップＳ４０３で特定した既知劣化の種別が「腐食」である場合には、第一の診断部２３は、管内画像から管の継手部分を検出し（ステップＳ５１１）、１スパン分の管内画像を継手部分で切断することによって、管単位の画像に分割する（ステップＳ５１２）。ここまでの処理はステップＳ５０５～Ｓ５０６と同じでよい。続いて、第一の診断部２３は、管単位の画像のそれぞれに対し、ＡＩ（学習済みモデル）による画像判定を適用し（ステップＳ５１３）、腐食の領域範囲を検出する（ステップＳ５１４）。ステップＳ５１３で利用される学習済みモデルは、腐食が発生した画像を教師データとして用いて機械学習されたモデルである。このときも、図４のステップＳ４０３で特定した既知劣化の位置に基づいて、腐食領域のサーチ範囲、すなわち、学習済みモデルに入力する画像の範囲を絞り込んでもよい。これにより処理時間の大幅な短縮が期待できる。最後に、第一の診断部２３は、検出された腐食の領域範囲の画像を基に、腐食の程度を算出する（ステップＳ５１５）。

図４のステップＳ４０３で特定した既知劣化の種別が「継手ズレ」である場合には、第一の診断部２３は、既知劣化の情報に基づいて管内画像の継手ズレの位置を特定し、継手部分の画像を二値化する（ステップＳ５２１）。前述のとおり、継手部分には画像の縦方向に帯状の不連続領域が現れるが、この不連続領域が、継手が正常な場合には一定幅の細長い帯となるのに対し、継手ズレが発生している箇所では帯の幅が正常時よりも拡がり、帯の幅が不均一になる。第一の診断部２３は、二値化した画像から継手部分の帯を検出し、その帯の幅を継手ズレ量として算出する（ステップＳ５２２）。

図４のステップＳ４０３で特定した既知劣化の種別が「たるみ」である場合には、第一の診断部２３は、１スパン分の画像から管底部分の滞水状況を探索する（ステップＳ５３
１）。「たるみ」とは、図９に示すように、管の一部が沈下し管路に不陸が生じている状態である。たるみが発生すると、管路が折れ曲がった部分の管底に滞水が生じる。たるみの無いまっすぐな管路の場合は、管底の水は一定幅の帯状領域となるのに対し、たるみにより発生する滞水の領域は、管の沈下量が最大となる箇所で最も幅広となり、その箇所から離れるにしたがって幅が狭くなるような、略ひし形の形状を呈する。第一の診断部２３は、ステップＳ５３１で検出した滞水領域の形状を計測し（ステップＳ５３２）、滞水領域の最大幅および長さと管径に基づいて幾何学的にたるみ量（管の最大の沈下量）を計算する（ステップＳ５３３）。

図４のステップＳ４０３で特定した既知劣化の種別が、破損、腐食、継手ズレ、たるみのいずれでも無い場合は、新規の劣化種類であると認定する（ステップＳ５４０）。

以上のとおり、既知劣化の種別に応じた画像診断を実行したら、第一の診断部２３は、続くスパン画像が存在するか確認し、未処理のスパン画像が残っている場合には（ステップＳ５５０のＹ）、ステップＳ５０３に戻る。

＜簡易検出処理のフロー＞
図６を参照して、第二の診断部２４による簡易検出処理のフローの詳細を説明する。

第二の診断部２４は、対象管渠の検査情報から管径情報を取得し（ステップＳ６００）、管径から管の内周面の円周長さを計算する（ステップＳ６０１）。そして、第二の診断部２４は、円周長さ［ｍｍ］と管内画像の縦方向のピクセル数に基づいて、管内画像の１ピクセルを現実の寸法［ｍｍ］に換算する（ステップＳ６０２）。

第二の診断部２４は、対象管渠の１スパン分の管内画像を取得すると（ステップＳ６０３）、管内画像から管の継手部分を検出し（ステップＳ６０４）、１スパン分の管内画像を継手部分で切断することによって、管単位の画像に分割する（ステップＳ６０５）。ステップＳ６０４およびＳ６０５の処理は、図５のステップＳ５０５およびＳ５０６の処理と同じでよい。

続いて、第二の診断部２４は、管単位の画像のそれぞれから、周囲に対して輝度変化の大きい領域を抽出する（ステップＳ６０６）。一般的に劣化が発生している箇所は、周囲に比べて輝度が低下する傾向にある。したがって、例えば、画像の平均輝度などに応じて動的に決定した閾値を用いて画像を二値化した後、膨張・収縮処理などでノイズを除去することで、画像を明部領域（白画素領域）と暗部領域（黒画素領域）に切り分け、暗部領域を抽出するなどすればよい。そして、第二の診断部２４は、ステップＳ６０６で抽出した領域のサイズ（面積、長さなど）を所定の閾値と比較し、領域のサイズが閾値を超えている場合に、当該領域を「要診断領域」に認定する（ステップＳ６０７）。要診断領域とは、対処が必要な程度の劣化が生じている可能性があり、高精度な画像診断が必要と認められた領域である。

要診断領域と認定された場合（ステップＳ６０７のＹ）は、第二の診断部２４は、要診断領域の色特徴量に基づいて、要診断領域に生じている劣化の種別を仮判断する。本実施形態では、要診断領域が無彩色である場合には（ステップＳ６０８のＹ）、「破損」と仮設定し（ステップＳ６０９）、要診断領域が有彩色である場合には（ステップＳ６０８のＮ）、「腐食」と仮設定する（ステップＳ６１０）。ここで仮設定した劣化種別は、後段の個別詳細診断処理で利用される。なお、仮判断の根拠は以下の通りである。「破損」は欠落やクラックが対象となり、欠落は他の部位と比べて汚水にさらされている時間が短いことから比較的汚れが付着していない白色度が高い無彩色となり、クラックには撮像の際の照明光があたりにくいことから白色度が低い無彩色となる傾向がある。また、腐食は基
本的には金属の酸化によるため、金属部材の酸化による錆の色が検出されるため有彩色となる傾向がある。

＜個別詳細診断処理のフロー＞
図７を参照して、第二の診断部２４による個別詳細診断処理のフローの詳細を説明する。

第二の診断部２４は、図６の簡易検出処理で検出された要診断領域の画像データを取得する（ステップＳ７００）。そして、第二の診断部２４は、要診断領域に対し、図６の簡易検出処理で仮設定した劣化種別に応じた画像診断を適用する。具体的には、仮設定した劣化種別が「破損」である場合（ステップＳ７０１のＹ）、第二の診断部２４は、ＡＩ（学習済みモデル）による画像判定を適用し（ステップＳ７０２）、破損の領域範囲を検出し（ステップＳ７０３）、破損の程度を算出する（ステップＳ７０４）。なお、ステップＳ７０２～Ｓ７０４の処理は、図５のステップＳ５０７～Ｓ５０９の処理と同じでよく、用いる学習済みモデルも同じでよい。仮設定した劣化種別が「腐食」である場合（ステップＳ７０１のＮ）、第二の診断部２４は、ＡＩ（学習済みモデル）による画像判定を適用し（ステップＳ７０６）、腐食の領域範囲を検出し（ステップＳ７０７）、腐食の程度を算出する（ステップＳ７０８）。なお、ステップＳ７０６～Ｓ７０８の処理は、図５のステップＳ５１３～Ｓ５１５の処理と同じでよく、用いる学習済みモデルも同じでよい。

要診断領域に対する画像診断の結果は、ＤＢ更新部２７によって、対象管渠の検査情報としてデータベース２０に格納される（ステップＳ７０５）。その後、第二の診断部２４は、他の要診断領域が存在するか確認し、未処理の要診断領域が残っている場合には（ステップＳ７０９のＹ）、ステップＳ７００に戻る。

＜全体詳細検出処理のフロー＞
図８を参照して、スクリーニング部２５による個別詳細診断処理のフローの詳細を説明する。

スクリーニング部２５は、対象管渠の検査情報から管径情報を取得し（ステップＳ８００）、管径から管の内周面の円周長さを計算する（ステップＳ８０１）。そして、スクリーニング部２５は、円周長さ［ｍｍ］と管内画像の縦方向のピクセル数に基づいて、管内画像の１ピクセルを現実の寸法［ｍｍ］に換算する（ステップＳ８０２）。スクリーニング部２５は、対象管渠の１スパン分の管内画像を取得すると（ステップＳ８０３）、管内画像から管の継手部分を検出し（ステップＳ８０４）、１スパン分の管内画像を継手部分で切断することによって、管単位の画像に分割する（ステップＳ８０５）。ステップＳ８００～Ｓ８０５の処理は、図５のステップＳ５００～Ｓ５０３、Ｓ５０５、Ｓ５０６の処理と同じでよい。

続いて、スクリーニング部２５は、管単位の画像のそれぞれに対し、ＡＩ（学習済みモデル）による画像判定を適用する（ステップＳ８０６）。ステップＳ８０６で利用される学習済みモデルは、破損が発生した画像と腐食が発生した画像を教師データとして用いて機械学習され、推論結果として、劣化の種別とその領域を出力するように設計されたモデルである。

ステップＳ８０６において検出された劣化が「破損」であった場合（ステップＳ８０７のＹ⇒ステップＳ８０８のＹ）、スクリーニング部２５は、破損の領域範囲を検出し（ステップＳ８０９）、破損の程度を算出する（ステップＳ８１０）。他方、ステップＳ８０６において検出された劣化が「腐食」であった場合（ステップＳ８０７のＹ⇒ステップＳ８０８のＮ）、スクリーニング部２５は、腐食の領域範囲を検出し（ステップＳ８１１）
、腐食の程度を算出する（ステップＳ８１２）。なお、ステップＳ８０９～Ｓ８１２の処理は、図５のステップＳ５０８～Ｓ５０９、Ｓ５１４～Ｓ５１５と同じでよい。画像診断の結果は、ＤＢ更新部２７によって、対象管渠の検査情報としてデータベース２０に格納される（ステップＳ８１３）。

続いて、スクリーニング部２５は、継手部分の画像を二値化し（ステップＳ８１４）、その二値画像から継手ズレ量を算出する（ステップＳ８１５）。なお、ステップＳ８１４～Ｓ８１５の処理は、図５のステップＳ５２１～Ｓ５２２と同じでよい。画像診断の結果は、ＤＢ更新部２７によって、対象管渠の検査情報としてデータベース２０に格納される（ステップＳ８１６）。

続いて、スクリーニング部２５は、管底部分の滞水状況を探索し（ステップＳ８１７）、滞水部分の形状を計測し（ステップＳ８１８）、たるみ量を算出する（ステップＳ８１９）。なお、ステップＳ８１７～Ｓ８１９の処理は、図５のステップＳ５３１～Ｓ５３３と同じでよい。画像診断の結果は、ＤＢ更新部２７によって、対象管渠の検査情報としてデータベース２０に格納される（ステップＳ８２０）。

以上のとおり、画像診断を実行したら、スクリーニング部２５は、続くスパン画像が存在するか確認し、未処理のスパン画像が残っている場合には（ステップＳ８２１のＹ）、ステップＳ８０３に戻る。

＜その他の構成例＞
上述した実施形態は本発明の構成の一具体例を示すものにすぎない。本発明の構成は上記実施形態のものに限定されず、特許請求の範囲に記載された技術的思想の範囲内で適宜変形することができる。

例えば、ステップＳ５０７の処理の後に、学習部２９が、対象管渠の管内画像を新たな教師データとして、ステップＳ５０７で用いる学習済みモデルのオンライン学習（追加学習）を行ってもよい。「破損」が発生している画像による追加学習を実施することにより、ステップＳ５０７の画像診断の精度をより向上することができる。同様に、ステップＳ５１３、ステップＳ７０２、ステップＳ７０６、ステップＳ８０６の処理の後に、学習部２９が対象管渠の管内画像を用いたオンライン学習を実施することも好ましい。

また、上記実施形態では、図２に示すように、ユーザ端末２が外部データベース２０からネットワークを介して過去の検査情報や測定情報を取得する構成としたが、劣化状態診断システム１の構成はこれに限られない。例えば、図１０に示すように、サーバ側にデータベース２０と画像診断に関わる機能２１～２９を実装し、ユーザ端末２は、サーバ側で演算された結果を取得ないし表示する構成でもよい。

１：劣化状態診断システム
２：ユーザ端末
１０：下水道管渠
１１：管
１２：マンホール
１３：スパン
１４：ロボット
１５：カメラ
３０：動画像
３１：動画像のフレームから切り出したドーナツ状の領域
３２：帯状の画像
３３：管内画像（展開画像）
３４：下水
３５，３６：内周面

Claims (8)

1. 下水道管渠の劣化状態を画像を用いて診断するシステムであって、
   管渠に対する過去の診断の結果の記録である検査情報を記憶する記憶手段と、
   診断の対象となる対象管渠の管内を撮影した管内画像を含む測定情報を取得する測定情報取得手段と、
   前記記憶手段に記憶されている前記対象管渠の検査情報から、前記対象管渠に対する過去の診断で検出された劣化である既知劣化の情報を取得する過去情報取得手段と、
   前記過去情報取得手段により取得した前記対象管渠の既知劣化の情報に基づいて、診断すべき劣化の種別および位置を特定し、前記測定情報取得手段により取得した前記対象管渠の測定情報に含まれる前記対象管渠の管内画像の全体の中から前記特定した劣化の位置を含む一部の管内画像を選択し、劣化の種別ごとに用意された複数の診断処理の中から前記特定した劣化の種別に対応する診断処理を選択し、前記選択した一部の管内画像に対して、前記選択した診断処理を適用することによって、前記対象管渠の劣化の度合いを診断する第一の診断手段と、
   前記対象管渠の劣化の種別と劣化の度合いに基づいて、交換の要否および交換対象を決定する決定手段と、を有する、
   ことを特徴とする下水道管渠の劣化状態診断システム。
2. 前記対象管渠の既知劣化の情報が存在しない場合に、前記対象管渠の測定情報に含まれる管内画像から、周囲と輝度が相違する領域を要診断領域として検出する簡易検出を行い、前記簡易検出によって要診断領域が検出された場合に前記要診断領域に対して劣化の度合いを診断する第二の診断手段を有する、
   ことを特徴とする請求項１に記載の下水道管渠の劣化状態診断システム。
3. 前記簡易検出によって要診断領域が検出されなかった場合に、前記対象管渠の測定情報に含まれる管内画像の全体をスクリーニングして劣化を検出するスクリーニング手段を有
   する、
   ことを特徴とする請求項２に記載の下水道管渠の劣化状態診断システム。
4. 前記対象管渠の既知劣化の情報と、前記第一の診断手段の診断結果とから、前記既知劣化の進行度を算出し、前記算出した進行度の情報で前記対象管渠の検査情報を更新する更新手段を有する、
   ことを特徴とする請求項１～３のいずれか１項に記載の下水道管渠の劣化状態診断システム。
5. 前記第一の診断手段、前記第二の診断手段、および、前記スクリーニング手段のうち少なくともいずれかは、学習済みモデルを利用して管内画像から劣化の判定を行うものであり、
   前記対象管渠の測定情報に含まれる管内画像を新たな教師データとして前記学習済みモデルのオンライン学習を行う学習手段を有する、
   ことを特徴とする請求項３に記載の下水道管渠の劣化状態診断システム。
6. 前記対象管渠の過去の診断に用いられた管内画像と測定条件を合わせるために、前記対象管渠の測定情報に含まれる管内画像に対し、輝度、コントラスト、および色調のうち少なくともいずれかを補正する前処理を施す画像加工手段を有する、
   ことを特徴とする請求項１に記載の下水道管渠の劣化状態診断システム。
7. 下水道管渠の劣化状態を画像を用いて診断する方法であって、
   コンピュータにより、診断の対象となる対象管渠の管内を撮影した管内画像を含む測定情報を取得する測定情報取得工程と、
   コンピュータにより、記憶装置に記憶されている前記対象管渠に対する過去の診断の結果の記録である検査情報から、前記対象管渠に対する過去の診断で検出された劣化である既知劣化の情報を取得する過去情報取得工程と、
   コンピュータにより、前記過去情報取得工程により取得した前記対象管渠の既知劣化の情報に基づいて、診断すべき劣化の種別および位置を特定し、前記測定情報取得工程により取得した前記対象管渠の測定情報に含まれる前記対象管渠の管内画像の全体の中から前記特定した劣化の位置を含む一部の管内画像を選択し、劣化の種別ごとに用意された複数の診断処理の中から前記特定した劣化の種別に対応する診断処理を選択し、前記選択した一部の管内画像に対して、前記選択した診断処理を適用することによって、前記対象管渠の劣化の度合いを診断する第一の診断工程と、
   コンピュータにより、前記対象管渠の劣化の種別と劣化の度合いに基づいて、交換の要否および交換対象を決定する決定工程と、を有する、
   ことを特徴とする下水道管渠の劣化状態診断方法。
8. 下水道管渠の劣化状態の画像を用いた診断をコンピュータに実行させるためのプログラムであって、
   診断の対象となる対象管渠の管内を撮影した管内画像を含む測定情報を取得する測定情報取得工程と、
   記憶装置に記憶されている前記対象管渠に対する過去の診断の結果の記録である検査情報から、前記対象管渠に対する過去の診断で検出された劣化である既知劣化の情報を取得する過去情報取得工程と、
   前記過去情報取得工程により取得した前記対象管渠の既知劣化の情報に基づいて、診断すべき劣化の種別および位置を特定し、前記測定情報取得工程により取得した前記対象管渠の測定情報に含まれる前記対象管渠の管内画像の全体の中から前記特定した劣化の位置を含む一部の管内画像を選択し、劣化の種別ごとに用意された複数の診断処理の中から前記特定した劣化の種別に対応する診断処理を選択し、前記選択した一部の管内画像に対し
   て、前記選択した診断処理を適用することによって、前記対象管渠の劣化の度合いを診断する第一の診断工程と、
   前記対象管渠の劣化の種別と劣化の度合いに基づいて、交換の要否および交換対象を決定する決定工程と、
   をコンピュータに実行させるためのプログラム。

Images