JP7000513B1 - 構造物管理業務支援システム - Google Patents

Abstract

【課題】紙の帳票を意識することなく直感的な操作が可能な構造物管理業務支援システムを提供する。【解決手段】構造物管理業務支援システム１は、構造物の管理業務において、作業者が使用する作業者装置１０と、前記構造物の図面を表示する補助装置２０と、含み。前記作業者装置１０は、前記作業者の注視点を出力し、前記補助装置２０は、前記注視点を前記図面上の座標に変換し、前記座標に、前記管理業務で収集された情報を関連づける。【選択図】図１Ａ

Description

本発明は、構造物管理業務支援システム、作業者装置、補助装置、構造物の管理方法及びプログラムに関する。

従来、構造物（例えばトンネルや橋梁等）の管理業務（例えば計測や検査等を伴う維持管理や施工管理等の業務をいう）を行う作業者は、管理業務で収集した情報（例えば構造物の観察結果、計測結果及び検査結果等をいう）を、紙の帳票（野帳）や紙の図面に書き込むことよって記録していた。

近年、管理業務における記録作業を電子化するための情報処理システムが幾らか提案されている。例えば、特許文献１乃至４には、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット端末に表示されたダイアログや図面内に点検結果を入力することができるシステムが開示されている。特許文献５には、点検者が装着するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に、視界内の設備に関連する情報をＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）で表示することができるシステムが開示されている。

特開２０１９－２１１４１０号公報 特開２０１８－１１６５９２号公報 特開２０１８－００９３１４号公報 特開２０１７－２２７５９５号公報 特開２０１５－２１２６３９号公報

しかしながら、従来技術はいずれも紙の帳票を単に電子化したものや、作業者に業務の参考となる情報を閲覧させるものにとどまり、作業者が紙の図面や帳票等を意識することなく直感的に管理業務を行うためのインタフェースは提供されていない。

一実施の形態によれば、構造物管理業務支援システムは、構造物の管理業務において、作業者が使用する作業者装置と、前記構造物の図面を表示する補助装置と、含み、前記作業者装置は、仮想推定面を作成し、前記仮想推定面と前記作業者の視線との交点を、前記構造物上の注視点として出力し、前記補助装置は、前記注視点を含む現実空間と、前記構造物の図面と、の対応関係を示す変換式に基づいて、前記注視点を前記図面上の座標に変換し、前記図面上の座標又は前記図面上の座標からリンクされた位置において、前記管理業務において取得されたファイル又はオブジェクトを表示する。
一実施の形態によれば、構造物管理業務支援システムにおいて、前記仮想推定面は、前記作業者装置がスキャンできない領域に作成可能である。
一実施の形態によれば、構造物の管理方法は、構造物の管理業務において作業者が使用する作業者装置が、仮想推定面を作成するステップと、前記仮想推定面と前記作業者の視線との交点を、前記構造物上の注視点として出力するステップと、前記構造物の図面を表示する補助装置が、前記注視点を含む現実空間と、前記構造物の図面と、の対応関係を示す変換式に基づいて、前記注視点を前記図面上の座標に変換するステップと、前記図面上の座標又は前記図面上の座標からリンクされた位置において、前記管理業務において取得されたファイル又はオブジェクトを表示するステップと、を含む。
一実施の形態によれば、プログラムは、上記方法をコンピュータに実行させる。

本発明により、紙の図面や帳票等を意識することなく直感的な操作が可能な構造物管理業務支援システム、作業者装置、補助装置、構造物の管理方法及びプログラムを提供することができる。

構造物管理業務支援システム１のハードウェア構成を示す図である。 作業者端末１０の外観の一例を示す図である。 構造物管理業務支援システム１の機能構成を示す図である。 位置合わせ処理の一態様を示す図である。 位置合わせ処理の一態様を示す図である。 現在位置及び注視点表示処理の一態様を示す図である。 朱書きオブジェクト表示処理の一態様を示す図である。 朱書きオブジェクト表示処理の一態様を示す図である。 各種データ表示処理の一態様を示す図である。 各種データ表示処理の一態様を示す図である。 計測結果表示処理の一態様を示す図である。

図１Ａは、本発明の実施の形態にかかる構造物管理業務支援システム１（以下、単にシステム１という）のハードウェア構成を示す図である。

システム１は、作業者端末１０、補助端末２０を含む。作業者端末１０は、典型的にはＨＭＤである。補助端末２０は、典型的にはタブレットコンピュータである。

作業者端末１０は、典型的にはカメラ、デプスセンサ、ジャイロ、透過型ディスプレイ、マイク、位置測定器、処理ユニット及び通信ユニット等を有するＨＭＤであり、例えばＨｏｌｏｌｅｎｓ（登録商標）等が含まれる。図１Ｂは、作業者端末１０の外観の一例を示す図である。

透過型ディスプレイは、ディスプレイの向こう側の現実空間を視認できるほど透過率の高いディスプレイであり、ディスプレイに映し出されるコンテンツを現実空間に重畳させてユーザに視認させることができる。

位置測定器は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの衛星測位システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等により、作業者端末１０の現在位置の座標を出力する。

通信ユニットは、補助端末２０との通信を実行する。例えばカメラにより撮影された画像データ、マイクにより録音された音声データ、ジェスチャの検出結果等は、通信ユニットを介して補助端末２０に送信可能である。

処理ユニットは、少なくともプロセッサとメモリとを含む。プロセッサがメモリに格納されたプログラムを実行することにより、ＨＭＤとしての基本機能や、後述の本願独自の機能が実現される。

作業者端末１０の基本機能のひとつにジェスチャの認識がある。カメラの視界内で作業者がジェスチャを行うと、処理ユニットがこれを認識する。例えば、指先の座標の取得、エアタップ（後述）等の特定の意味を持つジェスチャの検出等が可能である。

作業者端末１０の他の基本機能として、現実空間に存在するオブジェクト（構造物）のスキャン及びマッピングがある。処理ユニットは、カメラが出力する画像データ、デプスセンサが出力する深度スキャンデータ等に基づいて、構造物の表面形状を認識する（マッピング）。マッピングの成果として、作業者端末１０は３次元メッシュデータを生成する。３次元メッシュデータは、構造物の表面形状を構成する多数の小さな平面（メッシュ）からなる。

補助端末２０は、典型的にはカメラ、タッチパネルディスプレイ、マイク、処理ユニット及び通信ユニット等を有するタブレット型端末である。

タッチパネルディスプレイは、タッチ入力機能を備えたディスプレイであり、各種情報の表示、テキスト等の入力を行うことができる。

処理ユニットは、少なくともプロセッサとメモリとを含む。プロセッサがメモリに格納されたプログラムを実行することにより、タブレット型端末としての基本機能や、後述の本願独自の機能が実現される。

図１を用いて、システム１の概要について説明する。作業者端末１０は、作業者の注視点（視線の先にあたる座標）や、作業者が行う各種指示（例えばジェスチャや発話音声等）を認識する機能を有する。作業者端末１０と補助端末２０とは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信プロトコルによって相互に通信を行う。補助端末２０は、作業者端末１０で認識された注視点や各種指示を受信し、予め記憶している構造物の図面と対応づける機能を有する。これらの機能が組み合わされることにより、作業者が構造物のある箇所を目視しながら行う各種指示が、図面上の対応箇所にリアルタイムにマッピングされる。

管理対象の構造物は、例えば橋梁、トンネル、タンク、道路、建築設備等であるが、これらに限定されない。補助端末２０が表示する図面は、例えば構造物の２次元展開図であるが、これに限定されず任意の２次元図面であって良い。

図２は、システム１の機能構成を具体的に示した図である。

作業者端末１０は、透過型ディスプレイに各種情報を表示する表示部１０１、作業者による各種指示（例えばジェスチャや音声等）を認識して受け付ける入力部１０３、補助端末２０との通信を行う通信部１０５、各種情報を記憶する記憶部１０７を有する。

補助端末２０は、ディスプレイに各種情報を表示する表示部２０１、作業者又は補助者による各種入力（例えば文字入力や選択動作等）を受け付ける入力部２０３、作業者端末１０との通信を行う通信部２０５、各種情報を記憶する記憶部２０７を有する。
以下、様々な場面においてこれらの処理部がどのように機能するかを説明する。

（初期動作）
構造物の管理業務を開始するに際し、システム１が最初に実施する処理について説明する。

Ｓ１０１：図面の読み込み
補助端末２０の表示部２０１は、記憶部２０７に予め記憶されている図面を読み出し、ディスプレイに表示する。

図面は、例えばベクターデータやＣＡＤデータである。画像データ（ＰＮＧ等）の他、任意のデータ形式であっても良い。

Ｓ１０２：位置合わせ
補助端末２０の入力部２０３は、３つの位置合わせ基準点を図面内で指定する操作を受け付ける。例えば図３のように、作業者がタッチパネルディスプレイ上で任意の３点をタップすることにより、位置合わせ基準点を指定する。３つの位置合わせ基準点を、入力された順番にＡ１，Ａ２，Ａ３と呼ぶ。

作業者端末１０の入力部１０３は、３つの位置合わせ基準点を現実空間内で指定する操作を受け付ける。例えば図４のように、作業者が作業者端末１０を頭部に装着した状態で現実空間内の任意の点を注視し、その状態でエアタップすることにより、位置合わせ基準点を指定する。エアタップは、視界内で指先を離した状態から触れ合わせ、またすばやく離す動作である。入力部１０３は、エアタップを認識し、その時の注視点を位置合わせ基準点として入力する。３つの位置合わせ基準点を、入力された順番にＢ１，Ｂ２，Ｂ３と呼ぶ。

作業者端末１０の通信部１０５は、入力部１０３が取得した３つの位置合わせ基準点を、補助端末２０の通信部２０５に送信する。

補助端末２０の表示部２０１は、現実空間内における３つの位置合わせ基準点（作業者端末１０が取得したもの）と、図面内における３つの位置合わせ基準点（補助端末２０が取得したもの）とを対応づける。すなわち、Ａ１にＢ１、Ａ２にＢ２、Ａ３にＢ３をそれぞれ対応させる。この対応関係に基づき、現実空間の任意の点を図面上の点に変換するための変換式が得られる。この変換式により、現実空間と図面とをマッピングできる。

Ｓ１０３：作業者の現在位置と注視点を図面上に表示
作業者端末１０の入力部１０３は、作業者端末１０の現在位置と作業者の注視点とを断続的に取得し、通信部１０５を介して補助端末２０の通信部２０５に送信する。

補助端末２０の表示部２０１は、受信した現在位置と注視点とを図面上の点に変換し、ディスプレイに表示する。例えば図５のように、現時点における作業者端末の位置、作業者の注視点を示すマークを、図面上にリアルタイムに表示する。

（注視点の推定機能について）
初期動作で言及した注視点について、さらに具体的に説明する。
作業者端末１０の入力部１０３は注視点の推定機能を備える。注視点とは、作業者が注視している点、すなわち作業者がいま構造物のどこを見ているかを示す座標である。作業者端末１０は、作業者の頭部に装着された状態における地面からの高さ（例えば１５００ｍｍ）と、作業者端末１０の傾き（見下ろし角度）と、に基づいて作業者の視線方向を推定する。すなわち、床上１５００ｍｍの現在位置から、作業者の頭部正面の方向（傾きにより求められる）に向かう仮想的な視線ベクトルを設定する。視線ベクトルを延長すると、予め作業者端末１０が現実世界をスキャンして生成したメッシュ面と交わる。その交点を注視点とする。

なお、上述の方式では、作業者端末１０は、現実世界のオブジェクト（例えば構造物の壁面等）表面をスキャンして認識（メッシュ化）した上で、そのメッシュ上に注視点を設定する。そのため、作業者端末１０のスキャン性能を超える位置に注視点を設定することはできない。作業者端末１０がスキャン可能な距離が３ｍ程度であるとすると、作業者から３ｍを超える位置にある高架橋の橋脚面、橋梁の床版の下面、トンネルの内壁等に注視点を設定することは難しい。上述の方式で、このような位置に注視点を設定するためには、高所作業車等を使用してこれらのオブジェクトをスキャンし、予めメッシュ化しておく必要がある。

このような問題を解決するため、作業者端末１０は、仮想推定面と視線ベクトルとの交点を注視点として推定する機能を備える。仮想推定面とは、スキャン性能を超える領域に存在するはずの平面を、入力部１０３が推定して生成するものである。例えば、橋脚面の上端がスキャン性能を超える位置にある場合、入力部１０３は、橋脚面を所定の高さまで延長した仮想の鉛直面を仮想推定面として生成する。入力部１０３は、生成した仮想推定面と視線ベクトルとの交点を導き出すことにより、高所にある橋脚面等にも注視点を設定することが可能となる。

仮想推定面は鉛直面に限定されない。例えば、橋脚の下床版面（天井面のこと）等がスキャン性能を超える位置にある場合、入力部１０３は、略水平な仮想推定面を生成する。具体的には、作業者による地表付近の３点の指定と、高さ方向のオフセットの入力とを受け付ける。３点の座標は、上述の位置合わせ基準点と同様の手法で指定できる。オフセットは、例えば補助端末２０の入力部２０３から数値入力できる。入力部１０３は、３点の座標により規定される平面を、オフセットの高さに配置することで仮想推定面を生成する。又は、入力部１０３は、既存の鉛直面（構造物のスキャンにより生成されたメッシュでも、仮想推定面でも良い）の指定と、高さ方向のオフセットの入力とを受け付けても良い。入力部１０３は、指定された鉛直面に直行する平面を、オフセットの高さに配置することで仮想推定面を生成する。入力部１０３は、生成した仮想推定面と視線ベクトルとの交点を導き出すことにより、高所にある橋脚の下床版面等にも注視点を設定することが可能となる。

（変状の記録）
構造物に変状（例えばひび割れ等）が発見された際に、システム１が変状に関する情報を記録する処理について説明する。

Ｓ２０１：朱書き操作
作業者端末１０の入力部１０３は、作業者によるジェスチャを認識して、構造物表面に対する朱書き操作を受け付ける。朱書き操作には、例えばひび割れを指先でなぞりとってその形状を描く操作、変状の発生範囲を示す閉図形（矩形、多角形、円等）を描く操作等がある。朱書きは、構造物表面に触れることなく幾らか離れた位置から行うことができる。

入力部１０３は、作業者の指先を検出し、その座標を特定する。作業者端末１０のカメラ位置を視点として、指先座標を構造物表面に投影した投影点の座標を描画座標とする。

入力部１０３は、所定の時間毎に描画座標を取得しつづけることにより、時間的な連続性を有する複数の描画座標からなるデータセットを取得する。このデータセットを軌跡と称する。作業者が指先で構造物表面を指し示しつつ、その指先で空中を動かして構造物表面をなぞるような動作をすると、指先の投影点の軌跡が取得される。軌跡は、例えば複数の線分からなる折れ線（ポリライン）や閉図形として出力されうる。入力部１０３が出力するこの図形を朱書きオブジェクトと称する。

作業者端末１０の入力部１０３は、朱書き操作が行われた時の注視点を取得する。入力部１０３は、注視点と朱書きオブジェクトとを、通信部１０５を介して補助端末２０の通信部２０５に送信する。

Ｓ２０２：朱書きオブジェクトを図面上に表示
補助端末２０の表示部２０１は、受信した注視点を図面上の点に変換し、注視点と朱書きオブジェクトとを関連づけてディスプレイに表示する。例えば図６のように、注視点の位置に朱書きオブジェクトを直接表示する。又は、注視点の位置を示すマークを図面上に表示し、マークと朱書きオブジェクトをリンクづけして、別画面で朱書きオブジェクトを表示できるようにしても良い。

また、朱書きオブジェクトに関するさらに詳しい情報を表示しても良い。例えば図７では、表示部２０１が朱書きオブジェクトの長さ（ポリラインの場合）や面積（閉図形の場合）を計算し、別画面に表示している。

（写真、音声又はテキスト等の記録）
Ｓ３０１：写真、音声又はテキスト等の入力
作業者端末１０の入力部１０３は、作業者端末１０が備えるカメラを使用して写真を撮影する。又は、マイクを使用して音声（作業者の発話内容等）を録音する。作業者端末１０の入力部１０３は、撮影又は録音が行われた時の注視点を取得する。入力部１０３は、注視点と、写真又は音声とを通信部１０５を介して補助端末２０の通信部２０５に送信する。

あるいは、補助端末２０の入力部２０３が、テキストの入力を受け付けても良い。入力しうるデータはテキストに限定されない。例えば写真、音声又は任意のファイル等の入力を受け付けても良い。作業者端末１０の入力部１０３は、その際に注視点を取得し、通信部１０５を介して補助端末２０の通信部２０５に送信する。

Ｓ３０２：写真、音声、テキスト等を図面上に表示
補助端末２０の表示部２０１は、受信した注視点を図面上の点に変換し、注視点と、写真、音声又はテキスト等と、を関連づけてディスプレイに表示する。例えば図８及び図９のように、注視点を示すマーク（Ｃ１、Ｃ２、Ｃ３、Ｃ４）を図面上に表示し、マークと、写真、音声又はテキスト等と、をリンクづけして、別画面で写真、音声又はテキスト等を表示できるようにしても良い。

（ピッチ等の計測）
構造物の一定区間内に適切な数量の鉄筋が入っているかを検査する場面における支援機能について説明する。

Ｓ４０１：ピッチの計測
作業者は、作業者端末１０の視界内で、指先（例えば人差し指と親指）を使用して鉄筋のピッチを計測するジェスチャをする。すなわち、鉄筋のピッチに相当する距離だけ両指の間隔を広げる操作を行う。計測ジェスチャは、構造物表面に触れることなく幾らか離れた位置から行うことができる。

作業者端末１０の入力部１０３は、視界内にある作業者の指先（例えば人差し指と親指）を認識し、両指の間に形成される隙間の幅を計測する。入力部１０３は、作業者の両指先の構造物表面への投影座標（描画座標）を求め、２点の距離を実寸で計算し、計測結果として出力する。

作業者端末１０の入力部１０３は、計測ジェスチャが行われた時の注視点を取得する。入力部１０３は、注視点と計測結果とを、通信部１０５を介して補助端末２０の通信部２０５に送信する。

Ｓ４０２：計測結果を記録、表示
補助端末２０の表示部２０１は、受信した注視点を図面上の点に変換し、注視点と計測結果とを関連づけてディスプレイに表示する。例えば図１０のように、図面上での注視点の座標と、計測結果と、を対応づけた表を作成する。予め用意された帳票内に計測結果を表示しても良い。

表示部２０１は、計測結果を表示することに加えて、又はその代わりに、計測結果の評価を表示しても良い。例えばピッチの設計値が１２５ｍｍであれば、計測結果が１２５ｍｍ±許容誤差の範囲内にある場合は「○」「正常」、範囲外にある場合は「×」「異常」等の評価を、表や帳票に表示する。

本実施の形態によれば、システム１は、現実の構造物に対する計測や検査の結果を、それが実施された位置ともに取得し、図面上や帳票内に自動的に記録することができる。作業者が現実の構造物に発生している変状を自然な操作で描き取ったり、写真撮影したりすると、その情報は図面内の相当する位置に自動的に反映される。作業者が構造物の配筋ピッチを自然な操作で計測すると、計測結果が自動的に評価され帳票の適切な位置に記入される。このように、作業者は紙の図面や帳票を全く意識することなく管理業務に専念することができる。作業者は現場で簡単な操作を行うだけで良いので、作業員の教育や習熟コストを抑制することができる。また、報告書類の作成にかかる工数を大幅に削減することができる。

また、システム１によれば、ＨＭＤの空間スキャン能力の限界に影響されずに、遠い位置にも朱書き等を行うことができる。これにより、この機能がなければ事前準備等に要したであろう多大な工数を抑えることができる。また、作業者はハードウェアの限界を気にすることなく容易に管理業務を遂行することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

例えば、作業者端末１０と補助端末２０とはそれぞれ別の作業者により操作されても良い。構造物の検査、計測等の作業を行う作業者１が作業者端末１０を操作し、図面や帳票を閲覧しながら補助的作業を担当する作業者２が補助端末２０を操作する。作業者２は、補助端末２を使用して、作業者１の現在位置や注視点をリアルタイムに把握しながら、作業者１を補助することができる。

上述の実施の形態では、作業者端末１０及び補助端末２０として、ＨＭＤ及びタブレット端末を例示したが、本発明はこれに限定されない。作業者端末１０及び補助端末２０の機能を実現可能なものであれば、いかなる装置及びシステムを採用しても良い。これには、例えばＰＣや各種モバイル端末、ウェアラブル端末等の情報処理装置やその周辺機器等が含まれうる。

また、他の実施の形態として、作業者端末１０の役割を、補助端末２０に持たせることも可能である。換言すれば、補助端末２０が、表示部１０１、入力部１０３、記憶部１０７を有しても良い。この場合、補助端末２０には、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）性能を有したハードウェアを利用することが好ましい。現実空間との位置合わせは、例えばＱＲコード（登録商標）等を用いたマーカーを現実空間の所定の位置に３か所配置し（位置合わせ基準点Ｂ１，Ｂ２，Ｂ３に相当）、それらを補助端末２０のカメラ機能により認識させる。そして、Ｂ１，Ｂ２，Ｂ３が、補助端末２０に表示された図面内の位置合わせ基準点Ａ１，Ａ２，Ａ３のどれに対応するかを画面上で作業者に決定させる。これにより、位置合わせが完了する。あとは、補助端末２０を持ちながら移動すると、ＳＬＡＭ機能により図面内の作業者の位置及び注視点位置を再現することが可能となる為、ＨＭＤ等（作業者端末１０）を用いた実施形態と同様のことを行うことができる。

また本発明を構成する各処理手段は、ハードウェアにより構成されるものであってもよく、任意の処理をＣＰＵにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。

１ 構造物管理業務支援システム
１０ 作業者端末
１０１ 表示部
１０３ 入力部
１０５ 通信部
１０７ 記憶部
２０ 補助端末
２０１ 表示部
２０３ 入力部
２０５ 通信部
２０７ 記憶部

Claims (4)

1. 構造物の管理業務において、作業者が使用する作業者装置と、
   前記構造物の図面を表示する補助装置と、含み、
   前記作業者装置は、仮想推定面を作成し、前記仮想推定面と前記作業者の視線との交点を、前記構造物上の注視点として出力し、
   前記補助装置は、前記注視点を含む現実空間と、前記構造物の図面と、の対応関係を示す変換式に基づいて、前記注視点を前記図面上の座標に変換し、前記図面上の座標又は前記図面上の座標からリンクされた位置において、前記管理業務において取得されたファイル又はオブジェクトを表示する
   構造物管理業務支援システム。
2. 前記仮想推定面は、前記作業者装置がスキャンできない領域に作成可能である
   請求項１記載の構造物管理業務支援システム。
3. 構造物の管理業務において作業者が使用する作業者装置が、
   仮想推定面を作成するステップと、
   前記仮想推定面と前記作業者の視線との交点を、前記構造物上の注視点として出力するステップと、
   前記構造物の図面を表示する補助装置が、
   前記注視点を含む現実空間と、前記構造物の図面と、の対応関係を示す変換式に基づいて、前記注視点を前記図面上の座標に変換するステップと、
   前記図面上の座標又は前記図面上の座標からリンクされた位置において、前記管理業務において取得されたファイル又はオブジェクトを表示するステップと、を含む
   構造物の管理方法。
4. 請求項３記載の方法をコンピュータに実行させるためのプログラム。

Images