JP7451280B2

JP7451280B2 - 構造物判定システム

Info

Publication number: JP7451280B2
Application number: JP2020076594A
Authority: JP
Inventors: 優馬實成; 隆仁齊藤; 基成小林; 大造池田
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2020-04-23
Filing date: 2020-04-23
Publication date: 2024-03-18
Anticipated expiration: 2040-04-23
Also published as: JP2021173595A

Description

本発明は、構造物の状態を判定する構造物判定システムに関する。

従来から、橋梁の連続画像を解析することにより、橋梁の振動を特定して、橋梁の劣化の進行を把握することが提案されている（例えば、特許文献１参照）。

特開２０１７－２０７３３９号公報

しかしながら、単に連続画像から得られる振動の情報を用いるだけでは、必ずしも適切な橋梁の劣化等の構造物の状態を判定することはできない。

本発明は、上記に鑑みてなされたものであり、適切に橋梁等の構造物の状態を判定することができる構造物判定システムを提供することを目的とする。

上記の目的を達成するために、本発明に係る構造物判定システムは、構造物の状態を判定する構造物判定システムであって、構造物の時系列の変位を示す情報を取得する変位取得部と、変位取得部によって取得された情報から、当該情報に基づいて構造物の状態の判定に用いる予め設定した時間長の情報の範囲を設定して、設定した範囲の情報を抽出する抽出部と、抽出部によって抽出された情報に基づいて構造物の状態を判定する判定部と、を備える。

本発明に係る構造物判定システムでは、構造物の時系列の変位を示す情報から、当該情報に基づいて構造物の状態の判定に用いる予め設定した時間長の情報が抽出されて、抽出された情報に基づいて構造物の状態が判定される。従って、本発明に係る構造物判定システムによれば、構造物の状態の判定に適切な情報に基づいて判定を行うことができ、その結果、適切に構造物の状態を判定することができる。

本発明によれば、適切に橋梁等の構造物の状態を判定することができる。

本発明の実施形態に係る構造物判定システムの構成を示す図である。構造物の時系列の変位量を示すグラフである。構造物の判定に用いられるオートエンコーダを模式的に示す図である。オートエンコーダによって生成される圧縮後の情報を模式的に示す図である。圧縮後の情報を用いた判定を説明するための図である。本発明の実施形態に係る構造物判定システムで実行される処理を示すフローチャートである。本発明の実施形態に係る構造物判定システムのハードウェア構成を示す図である。

以下、図面と共に本発明に係る構造物判定システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る構造物判定システム１０を示す。構造物判定システム１０は、構造物の状態を判定（推定、検知、評価）するシステム（装置）である。判定対象となる構造物は、例えば、図１に示すような橋梁３０である。但し、判定対象となる構造物は、橋梁３０に限られず、建築物等の任意の構造物であってもよい。判定される構造物の状態は、例えば、構造物に異常が生じているか否か（例えば、劣化が生じているか否か）である。また、構造物判定システム１０は、構造物に異常が生じていると判定した場合、異常が生じている箇所（例えば、劣化箇所）を判定（推定、検知、評価）してもよい。構造物判定システム１０による判定の結果は、例えば、構造物の補強又は改修等の判断に用いられる。以下の説明では、判定対象の構造物を橋梁３０として説明する。

構造物判定システム１０は、例えば、サーバ装置、即ち、コンピュータによって実現される。また、構造物判定システム１０は、複数のサーバ装置、即ち、コンピュータシステムによって実現されてもよい。構造物判定システム１０は、通信機能を有しており、他の装置との間で情報の送受信を行うことができる。

構造物判定システム１０は、カメラ２０で撮像（撮影）された動画像を用いて橋梁３０の状態を判定する。カメラ２０は、判定対象の橋梁３０を撮像して、橋梁３０の動画像を取得する撮像装置である。カメラ２０は、橋梁３０を撮像できる位置（例えば、橋梁３０から数ｍ～数十ｍ離れた地点）に予め固定的に設置される。カメラ２０としては、橋梁３０の状態の判定に用いることが可能な程度の解像度で撮像を行うことが可能な周知のカメラを用いることができる。構造物判定システム１０とカメラ２０とは、有線若しくは無線、又はそれら両方の通信網を介して互いに情報の送受信を行うことができる。カメラ２０は、予め設定されたフレームレート（ｆｐｓ）で橋梁３０を撮像して、撮像した動画像を構造物判定システム１０に送信する。フレームレートは、例えば、１００ｆｐｓである。あるいは、フレームレートは、１００ｆｐｓ以外、例えば、３０ｆｐｓであってもよい。なお、カメラ２０は、構造物判定システムの構成要素であってもよい。即ち、この場合、本発明に係る構造物判定システムは、図１に示す構造物判定システム１０とカメラ２０とを含んで構成される。また、構造物判定システム１０とカメラ２０とは一体の装置（例えば、スマートフォン）であってもよい。

図１に示すように構造物判定システム１０は、機能的には、変位取得部１１と、抽出部１２と、判定部１３とを備えて構成される。

変位取得部１１は、判定対象の構造物である橋梁３０の時系列の変位を示す情報を取得する機能部である。変位取得部１１は、判定対象の構造物である橋梁３０の複数の箇所についての時系列の変位を示す情報を取得してもよい。変位取得部１１は、判定対象の構造物である橋梁３０を撮像した動画像を取得し、取得した動画像に基づいて当該構造物の時系列の変位を算出してもよい。

構造物判定システム１０による橋梁３０の状態の判定は、橋梁３０に生じる変位（変動）に基づいて行われる。例えば、橋梁３０の上を自動車等の車両４０が通過すると、当該車両４０の通過に応じて橋梁３０が振動して橋梁３０に変位が生じる。当該振動による橋梁３０の変位に基づいて、橋梁３０の状態の判定が行われる。橋梁３０に異常が生じた場合、異常が生じた箇所の変位に変化が起きると想定される。本実施形態では、この変化が検知されて橋梁３０の状態が判定される。橋梁３０の振動による変位は、微小な変化（大型特殊車を走行させて３ｍｍ程度）であり、人の目では検知が困難である。なお、橋梁３０に変位を生じさせる要因は、必ずしも車両４０の通過である必要はない。判定対象の構造物が橋梁３０以外のものである場合、何らかの要因で生じる構造物の変位に基づいて判定が行われればよい。

変位取得部１１は、例えば、以下のように変位を示す情報を取得する。変位取得部１１は、カメラ２０から送信される、橋梁３０を撮像した動画像を受信して取得する。変位取得部１１は、受信した動画像のうち、特定の時間帯の部分のみを用いて変位を示す情報を取得してもよい。当該時間帯は、例えば、橋梁３０の上を１台の車両４０が通過して橋梁３０に振動が生じる時間帯、即ち、橋梁３０における車両４０の片道走行時である。１つの時間帯が、橋梁３０の変位に係る１つのタイミングに対応する。なお、橋梁３０の上を複数の車両４０が同時に通過する時間帯は、橋梁３０の振動が複数の車両４０の通過に応じた複雑なものとなるため、変位を示す情報の取得に用いなくてもよい。当該時間帯は、構造物判定システム１０の管理者等によって指定されてもよいし、物体認識等の従来技術に基づいて構造物判定システム１０によって（自動的に）特定されてもよい。

変位取得部１１は、受信した動画像から、橋梁３０の複数の箇所についての変位を示す値を算出する。変位を算出する橋梁３０の箇所（位置、計測点）は、ＲＯＩ（Region of Interest）として予め固定的に設定されている。変位を算出する箇所は、例えば、図１に示すように橋梁３０の橋桁の長手方向に所定の間隔（例えば、等間隔）を空けた、当該橋桁の複数の箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５（より具体的には、橋桁の下端の箇所）である。なお、変位を算出する箇所は、必ずしも上記のように設定される必要はなく、構造物に応じて構造物の状態を適切に判定できるように任意の数で任意の箇所に設定されればよい。

カメラ２０は、固定的に設定されているため、変位を算出する橋梁３０の箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５は、動画像において当該箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５に応じた概ね特定の位置に写る。変位取得部１１は、動画像を構成する各フレーム（画像）の変位を検出する橋梁３０の複数の箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５について、変位の検出の基準となるフレームからの画像の位置ずれを、変位を示す情報（変位を示す値）である変位量（移動量）として算出する。変位の検出の基準となるフレームは、例えば、車両４０が通行していない時間帯のフレームである。変位量は、状態の判定に用いる特定の方向のみの変位量、例えば、図１に示す橋梁３０の例であれば、水平面に対する垂直（鉛直）方向のみの変位量としてもよい。

変位量の算出は、従来の技術（例えば、ブロック・マッチング法又はデジタル画像相関法）によってサブピクセル単位で行うことができる。動画像を構成する各フレームについて変位量を算出すると、各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５について、例えば、図２のグラフに示すような時系列の変位量が得られる。

なお、変位取得部１１は、各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５について、各フレームに対応する時刻毎に時系列の変位量の移動平均を算出して、時系列の移動平均の値を橋梁３０の時系列の変位を示す情報としてもよい。即ち、時系列の変位量にローパスフィルタを適用して、ローパスフィルタ適用後の時系列の変位量を、状態の判定に用いる変位量としてもよい。ローパスフィルタを適用することで、各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５の変位量を静的な変位量とすることができる。

変位取得部１１は、車両４０の通過毎に各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５について状態の判定に用いる時系列の変位量を算出してもよい。即ち、変位取得部１１は、複数のタイミングの時間帯毎に各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５について時系列の変位量を算出してもよい。例えば、橋梁３０の状態を判定する短い時期（例えば、１日）における、複数のタイミングの変位量を算出してもよい。複数のタイミングの変位量を用いることで、より精度よく判定することができる。変位取得部１１は、算出した各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５についての時系列の変位量を、橋梁３０の時系列の変位を示す情報として抽出部１２に出力する。

抽出部１２は、変位取得部１１によって取得された情報から、当該情報に基づいて、判定対象の構造物である橋梁３０の状態の判定に用いる予め設定した時間長の情報を抽出する機能部である。抽出部１２は、変位が極大かつ所定の閾値を超える時刻を基準として、橋梁３０の状態の判定に用いる予め設定した時間長の情報を抽出してもよい。

構造物判定システム１０では、予め設定した一定数の連続するフレームの変位量、即ち、固定長の変位量が、橋梁３０の状態の判定に用いられる。抽出部１２は、変位取得部１１から各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５についての時系列の変位量を入力して、箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎に時系列の変位量から、判定に用いる固定長の連続する変位量を抽出する。

抽出部１２は、変位取得部１１から入力した時系列の変位量のうち、変位量が極大かつ所定の閾値を超えるピーク値（例えば、図２の変位量ｍ）を検出する。極大になる変位量は、例えば、微分して０となり、かつ前後の変位量よりも大きい変位量である。閾値は、例えば、時系列の変位量の第三四分位数とされる。但し、それ以外の閾値が設定されてもよい。図２に示すように、抽出部１２は、検出したピーク値ｍのフレーム（時刻）を中心として前後Ｎフレーム分の範囲ｒの変位量を、判定に用いる固定長の連続する変位量として抽出する。Ｎは、例えば、１０００程度である。Ｎが１０００程度、フレームレートが１００ｆｐｓである場合、２０秒程度分の時系列の変位量が抽出される。なお、Ｎは、必ずしも上記のように設定される必要はなく、フレームレート及び判別の精度等に応じて設定されればよい。

上記のピーク値となる変位量ｍは、通常、箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５に最も大きい荷重（負荷）がかかる、即ち、当該箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５の真上に車両４０が位置する際の変位量である。この場合、ピーク値となる変位量ｍが算出（計測）される時刻は、車両４０の移動に応じて箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎に少しずつ異なる。そのため、抽出される固定長の変位量の範囲の時刻は、箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎に少しずつ異なる。図３に示すように、抽出部１２は、このように動画像に係る１つの時間帯について箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎に固定長の変位量を抽出する。

変位取得部１１が車両４０の通過毎に時系列の変位量を算出する場合、抽出部１２は、車両４０の通過毎に各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎に固定長の変位量を抽出してもよい。即ち、抽出部１２は、複数のタイミングの時間帯毎に各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５について固定長の変位量を抽出してもよい。例えば、上述したように橋梁３０の状態を判定する短い時期（例えば、１日）における、複数のタイミングの固定長の変位量を抽出してもよい。複数のタイミングの変位量を用いることで、より精度よく判定することができる。抽出部１２は、箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎に抽出した固定長の変位量を判定部１３に出力する。

変位取得部１１及び抽出部１２は、判定の基準とする固定長の変位量を、橋梁３０の状態の判定を行うときまでに予め算出（抽出）してもよい。判定の基準用の固定長の変位量は、例えば、橋梁３０が劣化しておらず正常（健全）である状態（例えば、橋梁３０が完成した直後、又は物理的な橋梁３０の検査で橋梁３０が正常と判定された時）での固定長の変位量である。橋梁３０が正常である状態での固定長の変位量も、上記と同様に算出（抽出）される。即ち、その状態でカメラ２０によって橋梁３０の撮像を行い、撮像によって得られた動画像から各箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５の固定長の変位量を算出（抽出）する。

この際（基準時）の橋梁３０及び箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５と判定時の橋梁３０及び箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５とは同じとする。但し、基準時の橋梁３０及び箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５と判定時の橋梁３０及び箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５とは異なっていてもよい。また、基準時についても、複数のタイミングの固定長の変位量を算出してもよい。抽出部１２は、抽出した、判定の基準用の固定長の変位量を示す情報も判定部１３に出力する。なお、判定の基準用の固定長の変位量に係る橋梁３０の状態は、正常である状態以外でもよい。

判定部１３は、抽出部１２によって抽出された情報に基づいて判定対象の構造物である橋梁３０の状態を判定する機能部である。判定部１３は、抽出部１２によって抽出された情報をオートエンコーダによって圧縮して、圧縮した情報に基づいて橋梁３０の状態を判定してもよい。即ち、判定部１３は、ＡＩ（人工知能）によって橋梁３０の状態を判定してもよい。判定部１３は、橋梁３０の所定の状態における当該橋梁３０の時系列の変位を示す情報に基づいて予め設定された基準を用いて、橋梁３０の状態を判定してもよい。判定部１３は、抽出部１２から判定に用いる情報を入力して、入力した情報を用いて以下のように橋梁３０の状態を判定する。

判定部１３は、例えば、抽出部１２によって抽出された１つのタイミングに係る固定長の変位量を示す情報に基づいて判定する。図３に示すように橋梁３０の５つの箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５それぞれにおいて固定長の変位量を示す情報が抽出されている場合には、５つの固定長の変位量を示す情報に基づいて判定が行われる。

判定部１３は、これらの情報を圧縮して、圧縮した情報に基づいて橋梁３０の状態を判定する。図３に示すように、情報の圧縮には、オートエンコーダ１００による次元圧縮技術を用いる。オートエンコーダ１００は、固定長の変位量を入力して、同一の固定長の変位量を出力するように学習されるニューラルネットワークである。オートエンコーダ１００には、二次元畳み込み層が含まれていてもよい。オートエンコーダ１００は、入力層１１０、中間層１２０及び出力層１３０を含む。入力層１１０には、固定長の変位量を入力するニューロンが設けられている。例えば、入力層には、変位量が算出される箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５の数（図３に示す例では５（ＣＨ））×箇所あたりの変位量の数（時間長、フレームの数）の行列（箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎の固定長の変位量のベクトルをまとめた行列）が入力され、当該ベクトルの要素に対応する数のニューロンが設けられる。出力層１３０は、固定長の変位量を出力するニューロンが設けられている。出力層１３０にも、入力層１１０と同様に当該ベクトルの要素に対応する数のニューロンが設けられる。

中間層１２０には、圧縮した情報を取得するための層１２０ａが含まれる。当該層１２０ａには、入力層１１０及び出力層１３０の数よりも少ないニューロンが設けられている。例えば、当該層１２０ａのニューロンの数は、２、３、８又は３２としてもよい。層１２０ａの値を固定長の変位量を圧縮した情報とする。圧縮した情報は、層１２０ａに含まれるニューロンの数の要素からなるベクトルとなる。なお、中間層１２０には、複数の層が含まれていてもよい。即ち、オートエンコーダ１００は、深層学習によって得られたものであってもよい。また、情報の圧縮に用いる、オートエンコーダ１００としては、上述したものに代えて変分オートエンコーダ（ＶＡＥ：Variational Autoencoder）を用いてもよい。

判定部１３は、抽出部１２から入力した、判定の基準用の固定長の変位量を示す情報を用いて機械学習を行ってオートエンコーダ１００を生成する。なお、機械学習に用いる固定長の変位量は、抽出部１２から入力した全てのタイミングに係る情報ではなく、一部のタイミング（例えば、全てのタイミングの半分）に係る情報とする。判定部１３は、生成したオートエンコーダ１００を記憶する。

なお、オートエンコーダ１００の生成に用いる判定の基準用の固定長の変位量は、様々な条件で撮像された動画像に係るものが用いられてもよい。例えば、橋梁３０及び撮像条件の少なくとも何れかが異なる判定の基準用の固定長の変位量を用いてもよい。撮像条件は、例えば、季節、天気及び気温である。この場合、カメラ２０による撮像も条件毎に行われる。このように様々な条件での情報を用いることで、任意の橋梁３０に対して、あるいは任意の季節、天気及び気温等の撮像条件に対して頑健な橋梁３０の状態の判定が可能になる。

判定部１３は、生成したオートエンコーダ１００を用いて、判定の基準用の圧縮後の情報を生成する。判定部１３は、抽出部１２から入力した、判定の基準用の固定長の変位量を示す情報のうち、オートエンコーダ１００の生成に用いなかった情報を用いて判定の基準用の圧縮後の情報を生成する。図４に示すように、判定部１３は、判定の基準用の固定長の変位量を示す情報をオートエンコーダ１００に入力して、オートエンコーダ１００に従った演算を行って、圧縮した情報を取得するための層１２０ａの値を抽出して、判定の基準用の圧縮後の情報とする。図４に示すように圧縮後の情報ＲＣは、圧縮した情報を取得するための層１２０ａに含まれるニューロンの数次元の座標（ベクトル）となる。即ち、圧縮後の情報ＲＣは、層１２０ａに含まれるニューロンの数次元の座標への固定長の変位量の写像である。オートエンコーダ１００に入力される情報が互いに似ているものは、近い座標に写像される。圧縮後の情報の生成に用いる、判定の基準用の固定長の変位量を示す情報が複数ある場合には、図５に示すように、当該固定長の変位量を示す情報毎に圧縮後の情報ＲＣを生成する。なお、判定部１３は、橋梁３０の状態の判定を行うときまでに予め判定の基準用の圧縮後の情報ＲＣを生成しておく。

なお、圧縮した情報を取得するための層１２０ａのニューロンの数が異なる複数のオートエンコーダ１００（例えば、当該数が２、３、８及び３２のオートエンコーダ１００）を生成して、そのうちの１つを判定に用いるオートエンコーダ１００としてもよい。例えば、複数の圧縮後の情報ＲＣであるベクトルのばらつきが小さくなるオートエンコーダ１００を判定に用いるオートエンコーダ１００としてもよい。ベクトルのばらつきは、従来の統計的な手法で算出されるものであればよい。橋梁３０が正常である状態に対応する写像は、互いに近い座標であることが望ましいためである。

また、判定部１３は、生成したオートエンコーダ１００、及び抽出部１２から入力した、判定時の固定長の変位量を示す情報を用いて、判定時の圧縮後の情報を生成する。判定の基準用の圧縮後の情報ＲＣと同様に、図４に示すように、判定部１３は、判定時の固定長の変位量を示す情報をオートエンコーダ１００に入力して、オートエンコーダ１００に従った演算を行って、圧縮した情報を取得するための層１２０ａの値を抽出して、判定時の圧縮後の情報ＤＣとする。図４に示すように判定時の圧縮後の情報ＤＣも、圧縮した情報を取得するための層１２０ａに含まれるニューロンの数次元の座標（ベクトル）となる。図５に示すように、判定時の圧縮後の情報ＤＣと、判定の基準用の圧縮後の情報ＲＣとは、同一の座標軸上の点として表される。

判定部１３は、これらの圧縮後の情報ＲＣ，ＤＣを用いて判定を行う。基準時の橋梁３０の状態と判定時の橋梁３０の状態とが同様であれば、即ち、判定時の橋梁３０が正常であれば、判定の基準用の圧縮後の情報ＲＣと判定時の圧縮後の情報ＤＣとは、座標軸上の近い座標に位置する。一方で、基準時の橋梁３０の状態と判定時の橋梁３０の状態とが異なっていれば、即ち、判定時の橋梁３０に異常が生じていれば、判定の基準用の圧縮後の情報ＲＣと判定時の圧縮後の情報ＤＣとは、座標軸上の遠い座標に位置する。

判定部１３は、判定の基準用の圧縮後の情報ＲＣと判定時の圧縮後の情報ＤＣとを比較して橋梁３０の状態を判定する。例えば、判定部１３は、複数の基準用の圧縮後の情報ＲＣの平均を算出して、算出した平均と判定時の圧縮後の情報ＤＣとの座標軸上の距離を算出する。当該距離は、基準時と判定時との橋梁３０の振動パターンの類似度に対応する。当該距離が小さい程類似度が大きく、当該距離が大きい程類似度が小さい。判定部１３は、算出した距離と予め設定されて記憶した閾値とを比較する。算出した距離が閾値以上であれば、判定部１３は、橋梁３０に異常が生じていると判定する。算出した距離が閾値未満であれば、判定部１３は、橋梁３０は正常である、即ち、橋梁３０に異常が生じてないと判定する。即ち、判定時の写像後の座標が、基準となる写像後の座標のクラスタから外れたものが異常と判定され、外れていないものが異常でないと判定される。

また、複数のタイミング（例えば、橋梁３０の状態を判定する１日における複数のタイミング）における判定時の圧縮後の情報ＤＣを算出した場合には、判定部１３は、それぞれの圧縮後の情報ＤＣに対する上記の判定から、総合的な判定を行ってもよい。例えば、判定部１３は、各圧縮後の情報ＤＣに対する判定のうち、一定割合以上又は一定数以上の圧縮後の情報ＤＣについて橋梁３０に異常が生じていると判定した場合、総合的な判断結果として橋梁３０に異常が生じていると判定してもよい。

また、橋梁３０に異常が生じていると判定した場合、判定部１３は、判定した橋梁３０の状態に対応する箇所、即ち、橋梁３０の異常が生じている箇所（例えば、劣化している箇所）を判定してもよい。例えば、判定部１３は、箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎の固定長の変位量を用いて上記と同様に箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎の状態を判定してもよい。また、箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５毎の固定長の変位量を用いて、あるいは、それ以外の情報を用いて、上記以外の方法で橋梁３０の状態に対応する箇所を判定してもよい。

判定部１３は、判定結果を示す情報を出力する。判定結果には、橋梁３０が劣化しているか否かが含まれる。また、橋梁３０の劣化している箇所を判定する場合には、判定結果には、橋梁３０が劣化している場合には劣化している箇所が含まれる。判定部１３は、例えば、構造物判定システム１０に接続された端末に当該情報を送信して表示させる。判定部１３による出力は、例えば、ユーザにより参照され、上述したように、構造物の補強又は改修等の判断に用いられる。なお、判定部１３による出力は、上記以外の装置に対して、また、上記以外の形態で行われてもよい。以上が、本実施形態に係る構造物判定システム１０の構成である。

引き続いて、図６のフローチャートを用いて、本実施形態に係る構造物判定システム１０で実行される処理（構造物判定システム１０が行う動作方法）を説明する。まず、カメラ２０によって撮像された動画像がカメラ２０から構造物判定システム１０に送信されて、変位取得部１１によって受信されて取得される（Ｓ０１）。取得される動画像は、基準となるタイミングである正常時でのものと、判定時でのものとを含む。即ち、正常時での撮像と判定時での撮像とは、異なるタイミングで行われる。続いて、変位取得部１１によって、動画像に基づいて橋梁３０の時系列の変位量が算出される（Ｓ０２）。続いて、抽出部１２によって、時系列の変位量を示す情報から、当該情報に基づいて、橋梁３０の状態の判定に用いる固定長の変位量が抽出される（Ｓ０３）。ここで抽出される固定長の変位量は、正常時のものと、判定時のものとを含む。正常時の固定長の変位量の抽出と、判定時の固定長の変位量の抽出とは異なるタイミングで行われてもよい。また、正常時の固定長の変位量の抽出は毎回行われる必要はなく、判定の前までに１度行われればよい。

続いて、判定部１３によって、これらの固定長の変位量に基づいて橋梁３０の状態が判定される（Ｓ０４）。橋梁の状態の判定は、上述したように判定の基準用の固定長の変位量に基づいてオートエンコーダ１００が生成されて、オートエンコーダ１００によって生成される、判定の基準用の圧縮後の情報ＲＣと判定時の圧縮後の情報ＤＣとが比較されて行われる。なお、オートエンコーダ１００の生成、及びオートエンコーダ１００を用いた判定の基準用の圧縮後の情報ＲＣの生成は、毎回行われる必要はなく、判定の前までに１度行われればよい。続いて、判定部１３によって、橋梁３０の状態の判定結果を示す情報が出力される（Ｓ０５）。以上が、本実施形態に係る構造物判定システム１０で実行される処理である。

上述したように本実施形態では、判定対象の構造物である橋梁３０の時系列の変位量を示す情報から、当該情報に基づいて、判定に用いる固定長の変位量を示す情報が抽出されて、抽出された情報に基づいて橋梁３０の状態が判定される。従って、本実施形態によれば、橋梁３０の状態の判定に適切な情報に基づいて判定を行うことができ、その結果、適切に橋梁３０の状態を判定することができる。

具体的には、上記のように判定に用いる情報を固定長の変位量とすることで、判定に用いる情報をまとめて一度にオートエンコーダ１００へ入力することができ、判定に用いる情報を適切に考慮した判定を行うことができる。例えば、時系列の変位量を順次、判定用のモデルに入力するような判定方法と比べて、より適切に判定することができる。また、判定に用いる情報をまとめた入力とすることで（例えば、上述したように箇所ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５の固定長の変位量のベクトルをまとめた１つの行列を入力とすることで）、機械学習の学習時間削減及び学習収束の可能性を向上させることができる。なお、単純に固定長の変位量を得るためには、例えば、変位量に基づいて判定に用いる時間長を抽出するのではなく、変位量を算出するための動画像の時間長を一定の長さにすることも考えられる。しかしながら、この場合、時系列の変位量に判定に相応しくないものが含まれる可能性があり、適切な判定を行えないおそれがある。

また、本実施形態のように変位量が極大かつ所定の閾値を超える時刻を基準として固定長の変位量を示す情報を抽出してもよい。このように抽出することで、例えば、上述したような車両４０の通過による変位を用いる場合に、判定に用いる固定長の変位量を適切なものとすることができる。但し、固定長の変位量の抽出は、上記のように行われる必要はなく、判定対象とする構造物及び変位に応じて任意の方法で行われてもよい。

また、本実施形態のように構造物の複数の箇所についての時系列の変位量を用いて判定を行ってもよい。この構成によれば、より正確な判定を行うことができる。但し、必ずしも複数の箇所の変位量を用いる必要はなく、１箇所の変位量を用いて判定を行ってもよい。

また、本実施形態のようにオートエンコーダ１００によって圧縮した情報を用いて判定を行ってもよい。この構成によれば、例えば、５×２０００程度の多量の時系列の変位量の情報を数～数十次元のベクトルにして判定することができる。そのため、判定処理による構造物判定システム１０の処理負荷が過剰になることなく、あるいは高速に判定を行うことができる。但し、固定長の変位量を用いた判定は、上記のように情報を圧縮して行う方法以外の任意の方法によって行われてもよい。

また、本実施形態のように構造物の判定は、例えば、正常時等の構造物の所定の状態における当該構造物の時系列の変位を示す情報に基づいて予め設定された基準が用いられて行われてもよい。この構成によれば、正常時等の構造物の所定の状態を基準とした適切な判定を行うことができる。但し、必ずしも所定の状態を基準とする必要はない。

また、本実施形態のように構造物の動画像に基づいて構造物の時系列の変位量を算出して構造物の時系列の変位を示す情報を取得してもよい。この構成によれば、容易かつ確実に時系列の変位を示す情報を取得することができ、容易かつ確実に構造物の状態を判定することができる。但し、変位量は動画像に基づいて算出される必要はない。例えば、構造物の複数の箇所に変位量を検出するセンサ（例えば、変位センサ又はひずみゲージ）を設けておき、センサによって検出された変位量を用いてもよい。あるいは、構造物判定システム１０は、構造物判定システム１０以外の装置によって算出された構造物の時系列の変位量を構造物の時系列の変位を示す情報として取得してもよい。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態における構造物判定システム１０は、本開示の情報処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係る構造物判定システム１０のハードウェア構成の一例を示す図である。上述の構造物判定システム１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。構造物判定システム１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

構造物判定システム１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の構造物判定システム１０における各機能は、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、構造物判定システム１０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。構造物判定システム１０が備える記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、構造物判定システム１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１０…構造物判定システム、１１…変位取得部、１２…抽出部、１３…判定部、２０…カメラ、３０…橋梁、４０…車両、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims

構造物の状態を判定する構造物判定システムであって、
前記構造物の時系列の変位を示す情報を取得する変位取得部と、
前記変位取得部によって取得された情報から、当該情報に基づいて前記構造物の状態の判定に用いる予め設定した時間長の情報の範囲を設定して、設定した範囲の情報を抽出する抽出部と、
前記抽出部によって抽出された情報に基づいて前記構造物の状態を判定する判定部と、
を備える構造物判定システム。
前記抽出部は、変位が極大かつ所定の閾値を超える時刻を基準として前記構造物の状態の判定に用いる予め設定した時間長の情報を抽出する請求項１に記載の構造物判定システム。
前記変位取得部は、前記構造物の複数の箇所についての時系列の変位を示す情報を取得する請求項１又は２に記載の構造物判定システム。
前記判定部は、前記抽出部によって抽出された情報をオートエンコーダによって圧縮して、圧縮した情報に基づいて前記構造物の状態を判定する請求項１～３の何れか一項に記載の構造物判定システム。
前記判定部は、構造物の所定の状態における当該構造物の時系列の変位を示す情報に基づいて予め設定された基準を用いて、前記構造物の状態を判定する請求項１～４の何れか一項に記載の構造物判定システム。
前記変位取得部は、前記構造物を撮像した動画像を取得し、取得した動画像に基づいて当該構造物の時系列の変位を算出する請求項１～５の何れか一項に記載の構造物判定システム。