以下に、実施の形態にかかる構造物情報提供システム、構造物情報提供方法、および構造物情報提供装置を図面に基づいて詳細に説明する。
実施の形態1.
図1は、実施の形態1にかかる構造物情報提供システムの構成の一例を示す図である。図1に示すように、構造物情報提供システム100は、構造物情報提供装置1と、端末装置2と、走行型計測装置3とを備える。構造物情報提供装置1、端末装置2、および走行型計測装置3は、ネットワーク4を介して互いに通信可能に接続される。ネットワーク4は、例えば、インターネットなどのWAN(Wide Area Network)である。
構造物情報提供装置1は、端末装置2からの要求に応じて、構造物に生じた異常箇所の情報を端末装置2に提供する。構造物は、例えば、トンネル、道路、または橋梁などであるが、これらに限定されない。構造物に生じる異常は、例えば、ひび割れ、凹み、または剥離などであるが、これらに限定されない。
走行型計測装置3は、不図示のレーザスキャナ装置を有しており、走行しながらレーザスキャナ装置によって得られるデータから構造物の表面を3次元点群で表す3次元点群データを生成する。走行型計測装置3は、生成した3次元点群データを含む計測情報をネットワーク4経由で構造物情報提供装置1へ送信し、構造物情報提供装置1は、走行型計測装置3から送信される計測情報をネットワーク4経由で受信し、受信した3次元点群データを用いて端末装置2へ構造物に生じた異常箇所の情報を提供する。
構造物がトンネルである場合、走行型計測装置3は、レーザスキャナ装置によって得られるデータからトンネルの内壁面の3次元点群データを生成する。走行型計測装置3は、MMS(Mobile Mapping System)とも呼ばれる。3次元点群データには、複数の3次元点の計測データが含まれており、各3次元点の計測データには、3次元直交座標系における3次元点の座標を示すデータが含まれる。
図2は、実施の形態1にかかる走行型計測装置による構造物の計測の様子を示す図である。図2に示す例では、走行型計測装置3は、構造物として道路およびトンネルの内壁を計測し、道路およびトンネルの内壁を含む領域を3次元点群で示す3次元点群データを生成する。なお、図2に示す例では、道路およびトンネルの内壁の各々にひび割れが生じている。
構造物情報提供装置1は、走行型計測装置3で生成された3次元点群データに基づいて、構造物の異常箇所を検出すると共に、構造物の2次元画像を生成する。そして、構造物情報提供装置1は、生成した2次元画像上に異常箇所を示す情報を重畳した構造物画像を生成し、端末装置2は、構造物情報提供装置1によって生成された構造物画像を地図上に重畳した表示画像を不図示の表示部に表示する。
図3は、実施の形態1にかかる端末装置の表示部に表示される画像の一例を示す図である。図3に示すように、端末装置2の表示部に表示される表示画像90は、地図91上に構造物画像92が重畳された画像である。構造物画像92は、3次元点群データから検出された異常箇所を示すマークである異常箇所マーク94が、3次元点群データから生成された2次元画像93に重畳された画像である。
構造物情報提供システム100は、異常箇所マーク94によって、構造物に発生している異常箇所の位置を地図91上に示すことができる。また、端末装置2での表示対象は、3次元点群データではなく、2次元画像であることから、端末装置2での処理負荷が高くなることを抑えることができる。また、構造物情報提供システム100では、端末装置2として3次元点群データを表示することができるスペックの高い端末装置を用いなくてもよいという利点もある。以下、構造物情報提供システム100を構成する構造物情報提供装置1および端末装置2の構成および処理について具体的に説明する。
図4は、実施の形態1にかかる構造物情報提供装置の構成の一例を示す図である。図4に示すように、構造物情報提供装置1は、通信部10と、記憶部11と、処理部12とを備える。通信部10は、ネットワーク4に通信可能に接続され、ネットワーク4を介して端末装置2との間で情報の送受信を行う。
記憶部11は、地図情報記憶部20と、構造物情報記憶部21と、3次元点群データ記憶部22と、異常情報記憶部23とを備える。構造物情報記憶部21、3次元点群データ記憶部22、および異常情報記憶部23は、DB(Data Base)として機能する。地図情報記憶部20は、地図情報を記憶する。
構造物情報記憶部21は、複数の構造物の各々の情報である構造物情報を記憶する。構造物情報には、構造物情報テーブルと、構造物画像テーブルとが含まれる。図5は、実施の形態1にかかる構造物情報記憶部に記憶される構造物情報テーブルの一例を示す図である。
図5に示すように、構造物情報記憶部21に記憶される構造物情報テーブルは、「構造物ID(Identifier)」、「構造物名」、「緯度」、「経度」、「第1指定座標」、「第2指定座標」、および「点検日」などの情報を含み、これらの情報が互いに関連付けられている。
「構造物ID」は、各構造物に固有の識別情報である。「構造物名」は、構造物の名称を示す情報である。「緯度」は、構造物の緯度を示す情報である。「経度」は、構造物の経度を示す情報である。「第1指定座標」は、構造物の一端の緯度および経度を示す情報である。例えば、構造物がトンネルである場合、トンネルの一端は、トンネルの入口である。
「第2指定座標」は、構造物の他端の緯度および経度を示す情報である。例えば、構造物がトンネルである場合、トンネルの他端は、トンネルの出口である。「第1指定座標」および「第2指定座標」は、構造物情報テーブルが生成される際に手動で設定されるが、自動で設定されてもよい。「点検日」は、構造物が点検された日を示す情報である。緯度および経度は、グローバル座標系の座標であり、以下において、緯度および経度で示される位置を座標と記載する場合がある。
図5に示す構造物情報テーブルには、例えば、「S001」、「AAAトンネル」、「Xa」、「Ya」、「X1,Y1」、「X2,Y2」、および「2020/5/23」などを含む構造物情報、および、「S002」、「DDD道路」、「Xb」、「Yb」、「X3,Y3」、「X4,Y4」、および「2020/4/12」などを含む構造物情報が含まれる。
図6は、実施の形態1にかかる構造物情報記憶部に記憶される構造物画像テーブルの一例を示す図である。図6に示すように、構造物情報記憶部21に記憶される構造物画像テーブルは、「構造物ID」、「構造物画像」、「第1指定座標」、「第2指定座標」、および「回転角」などの情報を含み、これらの情報が互いに関連付けられている。
「構造物ID」は、図5に示す「構造物ID」と同じである。「構造物画像」は、3次元点群データに基づいて処理部12によって生成される構造物画像92のファイルである。構造物画像92は、構造物の2次元画像93上に異常箇所を示す情報が重畳された画像である。構造物の2次元画像93は、3次元点群データで示される3次元点群を真上から見下ろして得られる2次元画像である。なお、構造物の2次元画像93は、例えば、トンネルの内壁を展開した展開画像を反転した画像であってもよい。トンネルの内壁を展開した展開画像を反転した画像は、見下げ図とも呼ばれる。
構造物画像92のファイルは、ビットマップ画像またはビットマップ画像の圧縮ファイルである。圧縮ファイルは、例えば、PNG(Portable Network Graphics)形式のファイル、GIF(Graphics Interchange Format)形式のファイル、またはJPEG(Joint Photographic Experts Group)形式のファイルである。図8に示す例では、構造物画像92のファイルは、PNGファイルである。
「構造物画像」は、構造物画像92のファイルの格納位置を示すURL(Uniform Resource Locator)であってもよい。構造物画像92のファイルの格納位置は、構造物情報提供装置1であるが、構造物情報提供装置1以外のサーバであってもよい。
「第1指定座標」は、構造物画像92における構造物の一端の緯度および経度を示す情報である。「第2指定座標」は、構造物画像92における構造物の他端の緯度および経度を示す情報である。「第1指定座標」および「第2指定座標」は、構造物画像92が生成される毎に手動で設定されるが、自動で設定されてもよい。「回転角」は、地図91上に構造物画像92が重畳される際の構造物画像92の回転角であり、後述するように処理部12によって算出される。
図6に示す構造物画像テーブルには、例えば、「S001」、「Id1_xx.png」、「X11,Y11」、「X12,Y12」および「30deg」などを含む情報、および、「S002」、「Id2_xx.png」、「X13,Y13」、「X14,Y14」および「56deg」を含む情報などが含まれる。構造物画像テーブルは、点検または改修のたびに新しい情報に上書きされるが、過去の情報を履歴情報として含んでいてもよい。
3次元点群データ記憶部22は、複数の構造物の各々の3次元点群データを記憶する。図7は、実施の形態1にかかる3次元点群データ記憶部に記憶される3次元点群データテーブルの一例を示す図である。図7に示すように、3次元点群データ記憶部22に記憶される3次元点群データテーブルは、「構造物ID」、「3次元点群」、および「計測日」などの情報を含み、これらの情報が互いに関連付けられている。
「構造物ID」は、図5に示す「構造物ID」と同じである。「3次元点群」は、3次元点群データであり、複数の3次元点の座標を含む。3次元点群データは、構造物を3次元点群で表す情報である。各3次元点の座標は、3次元直交座標系の座標である。「計測日」は、走行型計測装置3によって3次元点群データが生成された日である。
図7に示す3次元点群データテーブルには、例えば、「S001」、「X00001,Y00001,Z00001」、「X00002,Y00002,Z00002」、および「2020/5/23」などを含む情報、および、「S002」、「X10001,Y10001,Z10001」、「X10002,Y10002,Z10002」、および「2020/4/12」などを含む情報などが含まれる。
「X00001,Y00001,Z00001」および「X00002,Y00002,Z00002」などは、構造物IDが「S001」の構造物の3次元点群を構成する3次元点の座標である。同様に、「X10001,Y10001,Z10001」および「X10002,Y10002,Z10002」などは、構造物IDが「S002」の構造物の3次元点群を構成する3次元点の座標である。3次元点群データテーブルは、点検または改修のたびに新しい情報に上書きされるが、過去の情報を履歴情報として含んでいてもよい。
異常情報記憶部23は、処理部12で検出された各構造物の異常箇所の情報を含む異常箇所画像テーブルなどを記憶する。図8は、実施の形態1にかかる異常情報記憶部に記憶される異常箇所画像テーブルの一例を示す図である。
図8に示すように、異常情報記憶部23に記憶される異常箇所画像テーブルは、「構造物ID」、「緯度」、「経度」、「高さ」、「異常箇所画像」、および「点検日」などの情報を含み、これらの情報が互いに関連付けられている。
「構造物ID」は、図6に示す「構造物ID」と同じである。「緯度」は、異常箇所の緯度を示す情報である。「経度」は、異常箇所の経度を示す情報である。「高さ」は、異常箇所の高度を示す情報である。
「異常箇所画像」は、異常箇所の2次元画像である。「異常箇所画像」は、図6に示す「構造物画像」と同様に、構造物の2次元画像とビットマップ画像またはビットマップ画像の圧縮ファイルである。また、「異常箇所画像」は、図6に示す「構造物画像」と同様に、構造物の2次元画像の格納位置を示すURLであってもよい。「点検日」は、構造物が点検された日のうち構造物情報提供装置1の処理部12によって異常箇所が検出された日である。
図8に示す異常箇所画像テーブルには、例えば、「S001」、「X11」、「Y11」、「Z11」、「Id1_yyyymmdd_1.png」および「2020/5/23」などを含む情報、および、「S001」、「X12」、「Y12」、「Z12」、「Id1_yyyymmdd_2.png」および「2020/5/23」などを含む情報などが含まれる。
次に、図4に示す構造物情報提供装置1の処理部12について説明する。処理部12は、3次元点群データ取得部30と、2次元画像生成部31と、異常解析部32と、構造物画像生成部33と、情報送信処理部34と、異常箇所検索部35とを備える。
3次元点群データ取得部30は、走行型計測装置3から送信されネットワーク4を介して通信部10で受信された計測情報を構造物情報記憶部21に記憶された構造物情報テーブルに追加する。走行型計測装置3からの計測情報には、構造物の3次元点群データ、計測日、および構造物IDなどの情報が含まれる。
また、3次元点群データ取得部30は、計測情報に含まれる3次元点群データを構造物情報記憶部21から取得し、取得した3次元点群データを2次元画像生成部31および異常解析部32へ受け渡す。なお、3次元点群データ取得部30は、走行型計測装置3からの計測情報を取得した際に、取得した計測情報に含まれる3次元点群データを2次元画像生成部31および異常解析部32へ受け渡すこともできる。
2次元画像生成部31は、3次元点群データ取得部30によって取得された3次元点群データに基づいて、構造物の2次元画像を生成する。構造物の2次元画像は、3次元点群データで示される3次元点群を真上から見下ろして得られる2次元画像であり、例えば、3次元点群を水平面に投影することによって得られる2次元画像である。この場合、構造物の2次元画像は、構造物の3次元点群が水平面に2次元点群として投影された画像である。
2次元画像生成部31は、例えば、構造物情報記憶部21に記憶された構造物画像テーブルから構造物の2次元画像、第1指定座標、および第2指定座標を取得する。そして、2次元画像生成部31は、第1指定座標と第2指定座標との平均座標を画像中央座標として算出する。2次元画像生成部31は、画像中央座標を中心として水平面に投影された3次元点群の画像がすべて収まるように2次元画像の縦横のサイズを決定する。なお、2次元画像生成部31によって生成される2次元画像は、各3次元点が予め設定された大きさ且つ色で表されており、3次元点以外の部分は透明である。
なお、2次元画像生成部31は、3次元点群データ取得部30によって取得された3次元点群データであって異常解析部32によって異常箇所の3次元点群に着色処理が行われた3次元点群データに基づいて、構造物の2次元画像を生成することもできる。これにより、構造物の2次元画像は、構造物の2次元点群のうち異常箇所の2次元点群が着色された状態になるため、端末装置2の利用者は、異常箇所を容易に把握することができる。
異常解析部32は、3次元点群データ取得部30によって取得された3次元点群データに基づいて、構造物の異常を解析する。異常解析部32は、構造物の異常箇所を検出する異常箇所検出部41と、構造物の異常箇所の画像である異常箇所画像を生成する異常箇所画像生成部42とを備える。
異常箇所検出部41は、3次元点群データ取得部30によって取得された3次元点群データに基づいて、構造物の異常箇所を検出する。例えば、異常箇所検出部41は、3次元点群データがトンネルの内壁の3次元点群データである場合、ひび割れがある箇所または剥離がある箇所などをトンネルの内壁の異常箇所として検出する。また、異常箇所検出部41は、3次元点群データが道路の3次元点群データである場合、ひび割れがある箇所または陥没がある箇所などを道路の異常箇所として検出する。
異常箇所検出部41は、例えば、ひび割れ、剥離、または陥没などの異常の形状パターンを用いたパターンマッチング処理によって、構造物の異常箇所を検出することができる。また、異常箇所検出部41は、ひび割れ、剥離、または陥没などの異常種別毎に機械学習により生成した学習モデルを用いて、構造物の異常箇所を検出することができる。この場合、異常箇所検出部41は、異常種別毎の学習モデルに3次元点群データを入力し、異常種別毎の学習モデルから出力される異常箇所を示す情報に基づいて、構造物の異常箇所を検出する。
また、異常箇所検出部41は、例えば、同一構造物の3次元点群データであって計測日が異なる複数の3次元点群データを比較し、複数の3次元点群データ間の差分から構造物の異常箇所を検出することもできる。
異常箇所検出部41は、3次元点群データで示される3次元点群のうち構造物の異常箇所の3次元点群に含まれる複数の3次元点の平均座標を算出し、かかる平均座標を異常箇所の緯度、経度、および高さとして判定する。異常箇所検出部41は、判定した異常箇所の緯度、経度、および高さを異常情報記憶部23に記憶された異常箇所画像テーブルに追加する。
なお、3次元点群データで示される3次元点群のうち構造物の異常箇所の3次元点群は、構造物情報提供装置1に設けられた不図示の操作部への利用者の操作に基づいて、赤または黄色などの目立つ色に着色処理が施されてもよい。この場合、異常箇所検出部41は、着色処理が施された3次元点群に含まれる複数の3次元点の平均座標を異常箇所の緯度、経度、および高さとして算出する。着色処理は、異常箇所検出部41によって行うこともでき、以下において、異常箇所検出部41が着色処理を行うものとして説明する。
異常箇所画像生成部42は、3次元点群データ取得部30によって取得された3次元点群データに基づいて、構造物の異常箇所の2次元画像である異常箇所画像を生成する。異常箇所画像生成部42は、異常箇所を見やすい角度を判定する。
例えば、異常箇所画像生成部42は、構造物がトンネルである場合、3次元点群データで示される3次元点群のうち異常箇所がある領域の中心領域に対して直交する角度を、異常箇所を見やすい角度として判定する。構造物がトンネルである場合、異常箇所を見やすい角度は、例えば、トンネルの内部からトンネルの内壁を見た角度である。
そして、異常箇所画像生成部42は、判定した角度から3次元点群を見て得られる2次元画像を構造物の2次元画像として生成する。例えば、異常箇所画像生成部42は、判定した角度と直交する平面に3次元点群を投影することによって、異常箇所画像を生成する。
また、異常箇所画像生成部42は、見やすい角度から異常箇所の2次元画像を生成することに代えて、構造物の展開画像から異常箇所の2次元画像を抽出し、構造物の展開画像における異常箇所の位置に基づいて、抽出した2次元画像の回転処理、反転処理、および未処理のいずれかを行うことで異常箇所画像を生成することもできる。
例えば、異常箇所画像生成部42は、構造物がトンネルである場合、トンネルの内壁の3次元点群を平面上に展開して構造物の展開画像を生成する。異常箇所画像生成部42は、展開画像の中から異常箇所検出部41で検出された構造物の異常箇所の画像を抽出する。そして、異常箇所画像生成部42は、トンネルの内壁の周方向の複数の領域のうちいずれの領域に異常箇所が存在するかによって、異常箇所の画像をそのまま異常箇所画像としたり、異常箇所の画像を回転させて異常箇所画像としたり、異常箇所の画像を反転させて異常箇所画像としたりする。
また、構造物が道路である場合、異常箇所画像生成部42は、道路の3次元点群を水平面に投影することで、構造物の2次元画像を生成する。かかる2次元画像は、水平面に投影された3次元点群の画像である。異常箇所画像生成部42は、生成した構造物の2次元画像の中から異常箇所検出部41で検出された構造物の異常箇所の画像を異常箇所画像として抽出する。
構造物画像生成部33は、異常情報記憶部23に記憶された異常箇所画像テーブルに含まれる異常箇所の緯度および経度に基づいて、2次元画像生成部31によって生成された2次元画像上に異常箇所を示す情報を重畳した構造物画像92を生成する。構造物画像生成部33は、生成した構造物画像92を構造物情報記憶部21に記憶された構造物画像テーブルに追加する。
また、構造物画像生成部33は、上述した回転角を算出し、算出した回転角を構造物情報記憶部21に記憶された構造物画像テーブルに追加する。ここで、構造物画像生成部33による回転角の算出方法について説明する。図9は、実施の形態1にかかる構造物情報提供装置の構造物画像生成部による回転角の算出方法の一例を示す図である。
構造物画像生成部33は、構造物情報記憶部21に記憶された構造物情報テーブルから構造物の第1指定座標および第2指定座標を取得し、取得した構造物の第1指定座標および第2指定座標に基づいて、地図91上の構造物のベクトルを算出する。構造物画像生成部33は、構造物の第1指定座標と構造物の第2指定座標とを結ぶ直線の長さを長さとし、構造物の第1指定座標から構造物の第2指定座標へ向かう方向を向きとするベクトルを地図91上の構造物のベクトルとして算出する。
また、構造物画像生成部33は、構造物情報記憶部21に記憶された構造物画像テーブルから構造物画像92の第1指定座標および第2指定座標を取得し、取得した構造物画像92の第1指定座標および第2指定座標に基づいて、構造物画像92上の構造物のベクトルを算出する。構造物画像生成部33は、構造物画像92の第1指定座標と2次元画像の第2指定座標とを結ぶ直線の長さを長さとし、2次元画像の第1指定座標から2次元画像の第2指定座標へ向かう方向を向きとするベクトルを構造物画像92上の構造物のベクトルとして算出する。
構造物画像生成部33は、図9に示すように、地図91上の構造物のベクトルと構造物画像92上の構造物のベクトルとの角度差を回転角として算出する。構造物画像生成部33は、例えば、地図91上の構造物のベクトルと構造物画像92上の構造物のベクトルとの内積によって角度差を算出する。構造物画像生成部33は、算出した回転角を構造物情報記憶部21に記憶された構造物画像テーブルに追加する。なお、図9に示す指定座標中央は、後述するように、構造物画像92を地図91上に重畳する際に用いられる。
図4に示す情報送信処理部34は、端末装置2からの要求に応じた情報を記憶部11から取得し、取得した情報を端末装置2へ通信部10に送信させる。例えば、情報送信処理部34は、端末装置2からの要求がサービス提供開始要求である場合、地図情報記憶部20から地図情報を取得し、構造物情報記憶部21から各構造物の座標を取得し、異常情報記憶部23から各構造物の異常箇所の情報を取得する。
情報送信処理部34は、各構造物の異常箇所の数に基づいて、各構造物の注意レベルを判定する。注意レベルは、異常箇所の数が多くなればなるほど高くなる。情報送信処理部34は、地図情報、各構造物の緯度、経度、第1指定座標、および第2指定座標、各構造物の異常箇所の緯度、経度、および各構造物の注意レベルを含む初期情報を端末装置2へ通信部10に送信させる。
また、情報送信処理部34は、端末装置2からの要求が構造物画像送信要求である場合、構造物情報記憶部21から構造物画像92、第1指定座標、第2指定座標、および回転角を取得し、取得した情報を含む構造物画像表示用情報を端末装置2へ通信部10に送信させる。
異常箇所検索部35は、通信部10を介して端末装置2からの指定座標を取得した場合、指定座標で特定される地図91上の指定座標を含む予め設定された範囲内で、構造物の異常箇所を検索する。具体的には、異常箇所検索部35は、異常情報記憶部23に記憶された異常箇所画像テーブルに含まれる複数の異常箇所の座標のうち、選択された地図91上の指定座標を含む予め設定された範囲内に含まれる1以上の座標があるか否かを判定する。
異常箇所検索部35は、選択された地図91上の位置を含む予め設定された範囲内に異常箇所の1以上の座標が含まれると判定した場合、かかる1以上の座標の異常箇所の異常箇所画像を、異常情報記憶部23に記憶された異常箇所画像テーブルから取得する。情報送信処理部34は、異常箇所検索部35によって取得された1以上の異常箇所の異常箇所画像を端末装置2へ通信部10に送信させる。
次に、端末装置2の構成および動作について説明する。図10は、実施の形態1にかかる端末装置の構成の一例を示す図である。端末装置2は、例えば、スマートフォン、タブレット、またはノート型パーソナルコンピュータなどのモバイル機器またはデスクトップ型コンピュータなどである。
図10に示すように、端末装置2は、通信部50と、操作部51と、表示部52と、記憶部53と、処理部54とを備える。通信部50は、ネットワーク4と通信可能に接続され、構造物情報提供装置1との間でネットワーク4を介して通信を行う。
操作部51は、例えば、キーボード、マウス、キーパッド、またはタッチパネルなどを含み、端末装置2の利用者によって操作される。表示部52は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイである。記憶部53は、構造物情報提供装置1から送信され通信部50で受信された情報を記憶する。
処理部54は、操作受付部61と、情報取得部62と、表示処理部63と、拡大率判定部64と、選択受付部65とを備える。操作受付部61は、利用者の操作部51への操作に応じた要求操作を受け付ける。要求操作の種別には、例えば、サービス開始操作、拡大操作、および縮小操作などがある。以下において、拡大操作および縮小操作をまとめて拡縮操作と記載する場合がある。
サービス開始操作は、構造物情報提供装置1の情報提供サービスの利用の開始を要求する操作である。拡大操作は、表示部52に表示された地図91の拡大を要求する操作である。縮小操作は、表示部52に表示された地図91の縮小を要求する操作である。
情報取得部62は、操作受付部61によって受け付けられた要求操作の種別に応じた情報を構造物情報提供装置1から取得するための要求を通信部50に送信させ、かかる要求に応じて構造物情報提供装置1から送信され通信部50で受信される情報を取得する。情報取得部62は、取得した情報を記憶部53に記憶させる。
例えば、情報取得部62は、操作受付部61によってサービス開始操作が受け付けられた場合、構造物情報提供装置1にサービス提供開始要求を通信部50に送信させ、構造物情報提供装置1から送信され通信部50で受信される初期情報を取得し、取得した初期情報を記憶部53に記憶させる。
表示処理部63は、操作受付部61によって受け付けられた要求操作に応じた情報を記憶部11から取得し、取得した情報に基づいた表示画像90を表示部52に表示させる。例えば、操作受付部61によってサービス開始操作が受け付けられた場合、表示処理部63は、情報取得部62によって取得され記憶部53に記憶された初期情報に基づいて、地図91上に各構造物の位置を示すアイコンを配置した表示画像90を表示部52に表示させる。表示処理部63は、初期情報に含まれる構造物の注意レベルに応じた色のアイコンを構造物の位置を示すアイコンとして地図91上に配置する。
図11は、実施の形態1にかかる端末装置に表示される表示画像の一例を示す図である。図11に示す表示画像90では、地図91上に構造物の位置を示すアイコン951,952,953が配置されている。これにより、端末装置2のユーザは、地図91上における各構造物の位置を把握することができ、また、各構造物の注意レベルを把握することができる。以下、アイコン951,952,953の各々を個別に区別せずに示す場合、アイコン95と記載する場合がある。
表示処理部63は、図11に示す表示画像90が表示部52に表示されている状態で、操作受付部61によって拡大操作が受け付けられた場合、表示画像90を拡大して表示部52に表示する。図12は、実施の形態1にかかる端末装置に表示される表示画像であって拡大された表示画像の一例を示す図である。図12に示す表示画像90では、AAAトンネルを含む領域が拡大されている。
拡大率判定部64は、操作受付部61によって拡大操作が受け付けられた場合、拡大操作による地図91の拡大率が閾値以上であるか否かを判定する。情報取得部62は、図11に示す表示画像90が表示部52に表示されている状態で、拡大率判定部64によって拡大操作による地図91の拡大率が閾値以上であると判定された場合、AAAトンネルの構造物画像92の送信を要求する構造物画像送信要求を通信部50に送信させる。
情報取得部62は、構造物画像送信要求に応じて構造物情報提供装置1から送信され通信部50で受信されるAAAトンネルの構造物画像表示用情報を取得し、取得したAAAトンネルの構造物画像表示用情報を記憶部53に記憶させる。表示処理部63は、AAAトンネルの構造物画像92を記憶部11から取得し、取得したAAAトンネルの構造物画像表示用情報に基づいて、AAAトンネルの構造物画像92を地図91上に重畳した表示画像90を表示部52に表示させる。
具体的には、表示処理部63は、構造物画像表示用情報に含まれる第1指定座標と第2指定座標との平均座標をAAAトンネルの構造物画像92の指定座標中央として算出する。また、表示処理部63は、初期情報に含まれるAAAトンネルの第1指定座標と第2指定座標との平均座標を地図91上のAAAトンネルの指定座標中央として算出する。
そして、表示処理部63は、構造物画像表示用情報に含まれるAAAトンネルの構造物画像92を、指定座標中央を回転中心として、構造物画像表示用情報に含まれる回転角だけ回転させる。表示処理部63は、回転させたAAAトンネルの構造物画像92の指定座標中央が地図91上のAAAトンネルの指定座標中央と一致するように、回転させたAAAトンネルの構造物画像92を地図91上に重畳した表示画像90を表示部52に表示させる。なお、表示処理部63は、例えば、表示画像90の中央に指定座標中央が位置するように表示画像90を表示部52に表示させる。
図13は、実施の形態1にかかる端末装置の表示部に表示される表示画像であって地図上に構造物画像が重畳された表示画像の一例を示す図である。図13に示す表示画像90では、地図91上に構造物画像92が重畳された画像である。
図13に示す構造物画像92は、AAAトンネルの3次元点群データから検出された異常箇所を示すマークである異常箇所マーク94が、AAAトンネルの3次元点群データから生成された2次元画像93に重畳された画像である。かかる表示画像90によって、端末装置2の利用者は、構造物に発生している異常箇所の具体的な位置を把握することができる。
選択受付部65は、表示部52に表示された地図91の位置を選択する操作である位置選択操作を受け付ける。例えば、選択受付部65は、図13に示す表示画像90が表示部52に表示されている状態で、操作部51に含まれるマウスによって地図91上の位置がクリックされた場合、クリックされた地図91上の位置を選択座標として受け付ける。
情報取得部62は、選択受付部65によって受け付けられた選択座標を含む選択座標を通信部50に送信させ、構造物情報提供装置1から送信され通信部50で受信される1以上の異常箇所の異常箇所画像を取得し、取得した1以上の異常箇所の異常箇所画像を記憶部53に記憶させる。表示処理部63は、1以上の異常箇所の異常箇所画像を記憶部53から取得し、取得した1以上の異常箇所の異常箇所画像をさらに含む表示画像90を表示部52に表示させる。
図14は、実施の形態1にかかる端末装置の表示部に表示される表示画像であって1以上の異常箇所の異常箇所画像をさらに含む表示画像の一例を示す図である。図14に示す表示画像90では、地図91上に構造物画像92が重畳された画像と、3つの異常箇所の異常箇所画像96とが含まれる。これにより、端末装置2の利用者は、構造物に発生している異常箇所の具体的な画像を把握することができる。なお、3つの異常箇所の異常箇所画像96は、表示画像90における上方から下方に向けて、例えば、異常箇所の高さが低い順または高い順に並べて配置される。
つづいて、フローチャートを用いて構造物情報提供装置1の処理部12による処理を説明する。図15は、実施の形態1にかかる構造物情報提供装置の処理部による処理の一例を示すフローチャートである。
図15に示すように、構造物情報提供装置1の処理部12は、走行型計測装置3から3次元点群データを取得したか否かを判定する(ステップS10)。処理部12は、3次元点群データを取得したと判定した場合(ステップS10:Yes)、3次元点群データを記憶部11に記憶させる(ステップS11)。
次に、処理部12は、異常解析処理を実行する(ステップS12)。ステップS12の処理は、図16に示すステップS20~S29の処理であり、後で詳述する。また、処理部12は、構造物画像生成処理を実行する(ステップS13)。ステップS13の処理は、図17に示すステップS30~S36の処理であり、後で詳述する。
処理部12は、ステップS13の処理が終了した場合、または3次元点群データを取得していないと判定した場合(ステップS10:No)、端末装置2からの要求が通信部10で受信されたか否かを判定する(ステップS14)。処理部12は、端末装置2からの要求が受信されたと判定した場合(ステップS14:Yes)、要求に応じた情報を端末装置2へ通信部10に送信させる(ステップS15)。
処理部12は、ステップS15の処理が終了した場合、または、端末装置2からの要求が受信されていないと判定した場合(ステップS14:No)、端末装置2からの選択座標が通信部10で受信されたか否かを判定する(ステップS16)。
処理部12は、端末装置2からの選択座標が受信されたと判定した場合(ステップS16:Yes)、選択座標から予め設定された範囲内で異常箇所の座標を検索する(ステップS17)。処理部12は、選択座標から予め設定された範囲内で異常箇所の座標があるか否かを判定する(ステップS18)。
処理部12は、異常箇所の座標があると判定した場合(ステップS18:Yes)、異常箇所の座標に対応する異常箇所画像96を通信部10に送信させる(ステップS19)。処理部12は、ステップS19の処理が終了した場合、端末装置2からの選択座標が受信されていないと判定した場合(ステップS16:No)、または異常箇所の座標がないと判定した場合(ステップS18:No)、図15に示す処理を終了する。
図16は、実施の形態1にかかる構造物情報提供装置の処理部による異常解析処理の一例を示すフローチャートである。図16に示すように、処理部12は、3次元点群データを記憶部11から取得する(ステップS20)。
次に、処理部12は、記憶部11から取得した3次元点群データに基づいて、構造物の異常箇所を検出する処理を実行する(ステップS21)。処理部12は、構造物に異常箇所があるか否かを判定する(ステップS22)。
処理部12は、構造物に異常箇所があると判定した場合(ステップS22:Yes)、異常箇所の1つを選択する(ステップS23)。そして、処理部12は、異常箇所の3次元点群を着色する(ステップS24)。そして、処理部12は、異常箇所が見やすい角度を判定する(ステップS25)。処理部12は、異常箇所が見やすい角度から見た3次元点群を2次元画像化して異常箇所画像96を生成する(ステップS26)。
次に、処理部12は、色づけした点群に含まれる複数の3次元点の平均座標を異常箇所の座標として決定する(ステップS27)。そして、処理部12は、異常箇所の座標と異常箇所画像96とを互いに対応付けて記憶部11に記憶させる(ステップS28)。
次に、処理部12は、未処理の異常箇所があるか否かを判定する(ステップS29)。処理部12は、未処理の異常箇所があると判定した場合(ステップS29:Yes)、処理をステップS23へ移行する。処理部12は、未処理の異常箇所がないと判定した場合(ステップS29:No)、または異常箇所がないと判定した場合(ステップS22:No)、図16に示す処理を終了する。
図17は、実施の形態1にかかる構造物情報提供装置の処理部による構造物画像生成処理の一例を示すフローチャートである。図17に示すように、処理部12は、3次元点群データを記憶部11から取得する(ステップS30)。そして、処理部12は、3次元点群を真上から見下ろした水平面の2次元画像を生成する(ステップS31)。
次に、処理部12は、構造物に異常箇所があるか否かを判定する(ステップS32)。処理部12は、構造物に異常箇所があると判定した場合(ステップS32:Yes)、異常箇所画像テーブルから異常箇所の座標を取得する(ステップS33)。
処理部12は、異常箇所の座標に基づいて、2次元画像に異常箇所を示す情報を重畳した構造物画像92を生成する(ステップS34)。処理部12は、ステップS34の処理を終了した場合、または構造物に異常箇所がないと判定した場合(ステップS32:No)、構造物画像92と回転角とを算出する(ステップS35)。
次に、処理部12は、構造物画像92および回転角を構造物画像テーブルに追加する(ステップS36)。なお、処理部12は、ステップS34で構造物画像92を生成していない場合、ステップS31で生成した2次元画像を構造物画像92としてを構造物画像テーブルに追加する。処理部12は、ステップS36の処理が終了した場合、図17に示す処理を終了する。
つづいて、フローチャートを用いて端末装置2の処理部54による処理を説明する。図18は、実施の形態1にかかる端末装置の処理部による処理の一例を示すフローチャートである。
図18に示すように、端末装置2の処理部54は、構造物情報提供装置1から初期情報を取得する(ステップS40)。そして、処理部54は、初期情報に基づいて、地図91上に構造物のアイコン95が配置された画像を表示部52に表示する(ステップS41)。
次に、処理部54は、利用者からの拡縮操作があるか否かを判定する(ステップS42)。処理部54は、拡縮操作があると判定した場合(ステップS42:Yes)、拡大率が閾値以上であるか否かを判定する(ステップS43)。処理部54は、拡大率が閾値以上であると判定した場合(ステップS43:Yes)、構造物画像92を地図91上の構造物の位置に重畳した画像を表示部52に表示する(ステップS44)。
また、処理部54は、拡大率が閾値以上ではないと判定した場合(ステップS43:No)、地図91上に構造物のアイコン95が配置された画像であって拡大率に応じた画像を表示部52に表示する(ステップS45)。
処理部54は、ステップS44の処理が終了した場合、ステップS45の処理が終了した場合、または拡縮操作がないと判定した場合(ステップS42:No)、選択操作があるか否かを判定する(ステップS46)。処理部54は、選択操作があると判定した場合(ステップS46:Yes)、選択座標を構造物情報提供装置1へ送信する(ステップS47)。
処理部54は、構造物情報提供装置1から異常箇所画像96を取得したか否かを判定する(ステップS48)。処理部54は、異常箇所画像96を取得したと判定した場合(ステップS48:Yes)、異常箇所画像96を表示部52に表示する(ステップS49)。
処理部54は、ステップS49の処理が終了した場合、選択操作がないと判定した場合(ステップS46:No)、異常箇所画像96を取得していないと判定した場合(ステップS48:No)、終了操作があるか否かを判定する(ステップS50)。
処理部54は、終了操作がないと判定した場合(ステップS50:No)、処理をステップS44に移行し、終了操作があると判定した場合(ステップS50:Yes)、図18の処理を終了する。
図19は、実施の形態1にかかる構造物情報提供装置のハードウェア構成の一例を示す図である。図19に示すように、構造物情報提供装置1は、プロセッサ101と、メモリ102と、通信装置103とを備えるコンピュータを含む。
プロセッサ101、メモリ102、および通信装置103は、例えば、バス104によって互いに情報の送受信が可能である。記憶部11は、メモリ102によって実現される。通信部10は、通信装置103で実現される。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、処理部12の機能を実行する。プロセッサ101は、例えば、処理回路の一例であり、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、およびシステムLSI(Large Scale Integration)のうち一つ以上を含む。
メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、およびEEPROM(登録商標)(Electrically Erasable Programmable Read Only Memory)のうち一つ以上を含む。また、メモリ102は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびDVD(Digital Versatile Disc)のうち一つ以上を含む。なお、構造物情報提供装置1は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field Programmable Gate Array)などの集積回路を含んでいてもよい。
図20は、実施の形態1にかかる端末装置のハードウェア構成の一例を示す図である。図20に示すように、端末装置2は、プロセッサ201と、メモリ202と、通信装置203と、入力装置204と、表示装置205とを備えるコンピュータを含む。
プロセッサ201、メモリ202、通信装置203、入力装置204、および表示装置205は、例えば、バス206によって互いに情報の送受信が可能である。通信部50は、通信装置203で実現される。操作部51は、入力装置204で実現される。表示部52は、表示装置205で実現される。記憶部53は、メモリ202によって実現される。プロセッサ201は、メモリ202に記憶されたプログラムを読み出して実行することによって、処理部54の機能を実行する。プロセッサ201は、例えば、処理回路の一例であり、CPU、DSP、およびシステムLSIのうち一つ以上を含む。
メモリ202は、RAM、ROM、フラッシュメモリ、EPROM、およびEEPROMのうち一つ以上を含む。また、メモリ202は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびDVDのうち一つ以上を含む。なお、端末装置2は、ASICおよびFPGAなどの集積回路を含んでいてもよい。
以上のように、実施の形態1にかかる構造物情報提供システム100は、3次元点群データ取得部30と、2次元画像生成部31と、構造物画像生成部33と、表示処理部63とを備える。3次元点群データ取得部30は、構造物を3次元点群で表す3次元点群データを取得する。2次元画像生成部31は、3次元点群データ取得部30によって取得された3次元点群データに基づいて、構造物の2次元画像を生成する。構造物画像生成部33は、2次元画像生成部31によって生成された2次元画像上に構造物の異常箇所を示す情報を重畳した構造物画像92を生成する。表示処理部63は、構造物画像92を地図91上に重畳した表示画像90を表示部52に表示させる。これにより、構造物情報提供システム100は、構造物に発生している異常箇所の具体的な位置を地図91上に表示することができる。また、端末装置2での表示対象は、3次元点群データではなく、2次元画像であることから、端末装置2での処理負荷が高くなることを抑えることができる。また、構造物情報提供システム100では、端末装置2として3次元点群データを表示することができるスペックの高い端末装置を用いなくてもよいという利点もある。
また、構造物情報提供システム100は、操作受付部61と、拡大率判定部64とを備える。操作受付部61は、地図91の拡大操作を受け付ける。拡大率判定部64は、操作受付部61によって受け付けた拡大操作による地図91の拡大率が閾値以上であるか否かを判定する。表示処理部63は、拡大率判定部64によって地図91の拡大率が閾値以上であると判定された場合に、構造物画像92を地図91上に重畳した表示画像90を表示部52に表示させる。これにより、構造物情報提供システム100は、端末装置2の利用者が地図91上で確認したい構造物の位置を確認した後、拡大操作を行うことで、構造物に発生している異常箇所の具体的な位置を地図91上に表示することができる。
また、構造物画像生成部33は、構造物の地図91上の複数の座標と2次元画像に設定された複数の座標とに基づく回転角を算出する。表示処理部63は、地図91に対して回転角だけ回転させた状態の構造物画像92を地図91上に重畳させる。これにより、構造物情報提供システム100は、構造物画像92を地図91における構造物の位置に適切に重畳させることができる。
また、構造物情報提供システム100は、異常箇所画像生成部42と、選択受付部65と、異常箇所検索部35とを備える。異常箇所画像生成部42は、3次元点群データ取得部30によって取得された3次元点群データに基づいて、構造物の異常箇所の2次元画像である異常箇所画像96を生成する。選択受付部65は、表示部52に表示された地図91上の位置の指定を受け付ける。異常箇所検索部35は、選択受付部65で選択された位置を含む領域内で構造物の異常箇所を検索する。表示処理部63は、異常箇所検索部35によって領域内で検索された構造物の異常箇所がある場合、異常箇所画像生成部42によって生成された端末装置2の異常箇所画像を表示部52に表示させる。これにより、構造物情報提供システム100は、利用者によって選択された位置を含む領域内の異常箇所の画像を利用者に容易に把握させることができる。
また、構造物情報提供システム100は、異常箇所検出部41を備える。異常箇所検出部41は、3次元点群データ取得部30によって取得された3次元点群データに基づいて、構造物の異常箇所を検出する。これにより、構造物情報提供システム100は、自動的に構造物の異常箇所を検出することができる。
また、2次元画像生成部31は、3次元点群データ取得部30によって取得された3次元点群データに基づいて、構造物の3次元点群を水平面に投影して得られる画像を2次元画像として生成する。これにより、構造物情報提供システム100では、端末装置2の利用者は、構造物の3次元点群を真上から見下ろして得られる構造物の2次元画像を容易に把握することができる。
また、2次元画像生成部31は、3次元点群データ取得部30によって取得された3次元点群データに基づいて、構造物の展開画像を2次元画像として生成する。構造物情報提供システム100では、端末装置2の利用者は、例えば、構造物がトンネルである場合であっても、異常箇所の周方向の位置を容易に把握することができる。
実施の形態2.
実施の形態2にかかる構造物情報提供システムは、地図情報、構造物画像、および異常箇所画像などを事前に端末装置が構造物情報提供装置から取得して記憶する点で、実施の形態1にかかる構造物情報提供システムと異なる。以下においては、実施の形態1と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態1にかかる構造物情報提供システム100と異なる点を中心に説明する。
図21は、実施の形態2にかかる構造物情報提供システムの構成の一例を示す図である。図21に示すように、構造物情報提供システム100Aは、構造物情報提供装置1および端末装置2に代えて、構造物情報提供装置1Aおよび端末装置2Aを備える点で、構造物情報提供システム100と異なる。
図22は、実施の形態2にかかる構造物情報提供装置の構成の一例を示す図である。図22に示すように、構造物情報提供装置1Aは、処理部12に代えて、処理部12Aを備える点で、構造物情報提供装置1と異なる。処理部12Aは、情報送信処理部34に代えて、情報送信処理部34Aを備える点、および異常箇所検索部35を備えない点で、処理部12と異なる。
情報送信処理部34Aは、端末装置2Aからの要求がサービス提供開始要求である場合、地図情報記憶部20から地図情報を取得し、構造物情報記憶部21から構造物情報テーブルおよび構造物画像テーブルを取得し、異常情報記憶部23から異常箇所画像テーブルを取得する。情報送信処理部34Aは、地図情報、構造物情報テーブル、構造物画像テーブル、および異常箇所画像テーブルを含む全体情報を端末装置2Aへ通信部10に送信させる。
図23は、実施の形態2にかかる端末装置の構成の一例を示す図である。図23に示すように、端末装置2Aは、記憶部53および処理部54に代えて、記憶部53Aおよび処理部54Aを備える点で、端末装置2と異なる。
記憶部53Aは、地図情報記憶部71と、構造物情報記憶部72と、異常情報記憶部73とを備える。地図情報記憶部71、構造物情報記憶部72、および異常情報記憶部73は、例えば、ウェブブラウザに搭載されているDB機能であるindexedDBとしての機能を有するが、通常のDBの機能を有してもよい。
地図情報記憶部71は、地図情報記憶部20と同様の情報を記憶する。構造物情報記憶部72は、構造物情報記憶部21と同様の情報を記憶する。異常情報記憶部73は、異常情報記憶部23と同様の情報を記憶する。
処理部54Aは、情報取得部62および表示処理部63に代えて、情報取得部62A、表示処理部63A、および異常箇所検索部66を備える点で、処理部54と異なる。情報取得部62Aは、構造物情報提供装置1Aから送信され通信部50で受信される全体情報を取得し、取得した全体情報を記憶部53Aに記憶させる。
表示処理部63Aは、操作受付部61によって受け付けられた要求操作に応じた情報を記憶部53Aから取得し、取得した情報に基づいた表示画像90を表示部52に表示させる。例えば、操作受付部61によってサービス開始操作が受け付けられた場合、記憶部53Aに記憶された情報に基づいて、地図91上に各構造物の位置を示すアイコン95を配置した表示画像90を表示部52に表示させる。なお、表示処理部63Aは、情報送信処理部34と同様に、構造物の異常箇所の数に基づいて、構造物の注意レベルを判定し、構造物の位置を示すアイコン95を注意レベルに応じたアイコンにする。
異常箇所検索部66は、選択受付部65によって受け付けられた選択座標で特定される地図91上の選択座標を含む予め設定された範囲内で、構造物の異常箇所を検索する。具体的には、異常箇所検索部66は、異常情報記憶部73に記憶された異常箇所画像テーブルに含まれる複数の異常箇所の座標のうち、選択された地図91上の選択座標を含む予め設定された範囲内に含まれる1以上の座標があるか否かを判定する。
異常箇所検索部66は、選択された地図91上の位置を含む予め設定された範囲内に異常箇所の1以上の座標が含まれると判定した場合、かかる1以上の座標の異常箇所の異常箇所画像96を、異常箇所検索部66に記憶された異常箇所画像テーブルから取得する。表示処理部63Aは、取得した1以上の異常箇所の異常箇所画像96をさらに含む表示画像90を表示部52に表示させる。
つづいて、フローチャートを用いて構造物情報提供装置1Aの処理部12Aによる処理を説明する。図24は、実施の形態2にかかる構造物情報提供装置の処理部による処理の一例を示すフローチャートである。図24に示すように、処理部12Aによる処理は、図15に示すステップS16~S19の処理がない点で、処理部12による処理と異なる。なお、図24に示すステップS60~S65の処理は、図15に示すステップS10~S15の処理と同じであるため、説明を省略する。
つづいて、フローチャートを用いて端末装置2Aの処理部54Aによる処理を説明する。図25は、実施の形態2にかかる端末装置の処理部による処理の一例を示すフローチャートである。なお、図25に示すステップS72~S76,S80の処理は、図18に示すステップS42~S46,S50の処理と同じであるため、説明を省略する。
図25に示すように、端末装置2Aの処理部54Aは、構造物情報提供装置1Aから全体情報を取得し、取得した全体情報を記憶部53Aに記憶する(ステップS70)。そして、処理部54Aは、記憶部53Aに記憶された情報に基づいて、地図91上に構造物のアイコン95が配置された画像を表示部52に表示する(ステップS71)。
また、処理部54Aは、選択操作があると判定した場合(ステップS76:Yes)、選択座標から予め設定された範囲内で異常箇所の座標を検索する(ステップS77)。処理部54Aは、選択座標から予め設定された範囲内で異常箇所の座標があるか否かを判定する(ステップS78)。処理部54Aは、異常箇所の座標があると判定した場合(ステップS78:Yes)、異常箇所の座標に対応する異常箇所画像96を記憶部53Aから取得し、取得した異常箇所画像96を表示部52に表示させる(ステップS79)。
構造物情報提供装置1Aのハードウェア構成例は、図19に示す構造物情報提供装置1のハードウェア構成と同じである。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、処理部12Aの機能を実行することができる。また、端末装置2Aのハードウェア構成例は、図20に示す端末装置2のハードウェア構成と同じである。プロセッサ201は、メモリ202に記憶されたプログラムを読み出して実行することによって、処理部54Aの機能を実行することができる。
以上のように、実施の形態2にかかる構造物情報提供システム100Aでは、構造物情報提供装置1Aと端末装置2Aとの通信が途中で切断された場合であっても、端末装置2Aの利用者は、構造物の情報を把握することができる。
以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。