JP7337654B2 - 保全活動サポートシステムおよび保全活動サポート方法 - Google Patents

Description

特許法第３０条第２項適用 令和３０年７月１０日に日本保全学会第１５回学術講演会で発表

本発明の実施形態は、保全活動サポートシステムおよび保全活動サポート方法に関する。

従来の保全活動では、作業者が点検対象を目視で確認し、現場で点検結果を手書きで記録シートに記載し、さらに作業者が事務所に戻ってきた後に、記録をパソコンで入力するようにしている。このような従来の方法では、作業者の負荷が高く入力ミスなどのヒューマンエラーが発生する懸念がある。そこで、負荷を下げる対策として、ＲＦＩＤ（Radio Frequency Identification）タグを用いる技術が知られている。この技術では、点検対象となる複数の機器にそれぞれ取り付けられたＲＦＩＤタグと、ＲＦＩＤタグとの間でデータを非接触方式で送受信可能な携帯情報端末と、携帯情報端末の点検データを蓄積可能な管理用ＰＣとを備える装置を用いて巡視点検を行うようにしている。なお、点検者は、目視で読み取った機器の点検値を携帯情報端末に書き込む際に、その機器の特定情報と照合して最新の点検値をＲＦＩＤタグにも書き込むようにしている。

特開２０１０－６１２６２号公報

前述の技術を機器の点検または保守などの保全活動に用いたいという要望がある。しかしながら、前述の技術では、ＲＦＩＤタグを用いることによって、点検対象と点検値を書き込む記入欄との対応関係の誤りを防止できるものの、点検すべき点検対象とは異なる機器を点検してしまう可能性、点検値の読み間違い、または記入値の書き間違いなどのヒューマンエラーを起こす可能性がある。さらに、検出器にタグを接触させる必要があり、点検対象の認識に時間がかかってしまうという課題がある。

本発明の実施形態は、このような事情を考慮してなされたもので、ヒューマンエラーを低減させるとともに作業の効率化を図れる保全活動サポート技術を提供することを目的とする。

本発明の実施形態に係る保全活動サポートシステムは、保全活動をサポートするサポート情報と前記保全活動のエリアに関する位置情報とが登録されたデータベースと、前記保全活動を行う作業者が所持する端末に搭載されたカメラにより撮影された撮影画像を取得する撮影画像取得部と、前記撮影画像に写る前記保全活動の対象となる対象部分に対応する前記位置情報を前記データベースから取得する対象位置取得部と、前記端末に搭載されたデバイスであり、加速度センサおよび角速度センサを含み、さらに深度センサまたは前記カメラの少なくとも一方を含む前記デバイスにより得られた情報に基づいて前記端末の位置および姿勢を推定するとともに前記端末の周辺環境に関する物体の３次元形状情報を含む環境地図の作成を行う位置姿勢推定部と、前記端末の位置および姿勢と前記対象部分に対応する前記位置情報と前記環境地図とに基づいて、前記撮影画像に写る前記保全活動の対象となる前記対象部分を認識する対象認識部と、前記作業者が視認する前記対象部分の像の少なくとも一部に前記データベースから取得した前記対象部分に対応する前記サポート情報を重ねて表示する重畳表示部と、前記作業者が前記保全活動のエリアで撮影を行うことを制限する写真記録限定部と、を備え、前記写真記録限定部は、前記カメラにより撮影された前記撮影画像を取得したときに、前記撮影画像に写る前記対象部分が、前記サポート情報に関連しているか否かを判定し、前記撮影画像に写る前記対象部分が、前記サポート情報に関連している場合に、写真撮影ボタンを前記端末に表示し、前記作業者により前記写真撮影ボタンが操作されたときに前記撮影画像を記憶し、前記撮影画像に写る前記対象部分が、前記サポート情報に関連していない場合に、前記写真撮影ボタンを前記端末に表示しない、処理を実行するように構成されている。

本発明の実施形態により、ヒューマンエラーを低減させるとともに作業の効率化を図れる保全活動サポート技術が提供される。

第１実施形態の保全活動サポートシステムを示すシステム構成図。 保全活動サポートシステムを示すブロック図。 保全活動サポートシステムが用いられる作業現場を示す平面図。 （Ａ）は基準位置管理テーブル、（Ｂ）は対象機器管理テーブルを示す説明図。 携帯端末に表示されるナビゲーション画面を示す画像図。 携帯端末に表示される計器読取支援画面を示す画像図。 携帯端末に表示されるアイソレーション支援画面を示す画像図。 携帯端末に表示されるバルブラインナップ支援画面を示す画像図。 携帯端末に表示されるセンサ取り付け支援画面を示す画像図。 携帯端末に表示される保全対象確認支援画面を示す画像図。 携帯端末に表示されるＡＲタグ貼付画面を示す画像図。 携帯端末に表示される報告書自動生成画面を示す画像図。 管理コンピュータが実行する事前情報登録処理を示すフローチャート。 携帯端末が実行する端末制御処理を示すフローチャート。 携帯端末が実行するデータベースアクセス処理を示すフローチャート。 携帯端末が実行するマーカ認識処理を示すフローチャート。 携帯端末が実行する自己位置推定処理を示すフローチャート。 携帯端末が実行する対象認識処理を示すフローチャート。 携帯端末が実行する保全サポート処理を示すフローチャート。 第２実施形態の保全活動サポートシステムを示すブロック図。 携帯端末が実行する自己位置推定処理を示すフローチャート。 管理コンピュータが実行する端末位置推定処理を示すフローチャート。

（第１実施形態）
以下、図面を参照しながら、保全活動サポートシステムおよび保全活動サポート方法の実施形態について詳細に説明する。まず、第１実施形態の保全活動サポートシステムおよび保全活動サポート方法について図１から図１９を用いて説明する。図１の符号１は、本実施形態の保全活動サポートシステムである。

従来、原子力発電所、火力発電所、化学プラント、または工場では、安定的な運転のため定期的な点検または保守が行われる。点検または保守の作業では、作業の効率化、情報管理の強化、ヒューマンエラーの低減による工事の品質向上が必要とされる。従来の点検作業では、作業者が点検対象を目視で確認し、現場で点検結果を手書きで記録シートに記載している。さらに、作業者が事務所に戻ってきた後に、記録をパソコンで入力する作業をしている。このような従来の方法では、記録シートへの記載ミスまたはパソコンへの入力ミスなどのヒューマンエラーが発生してしまう。さらに、作業現場と事務所で二重に入力作業が発生してしまうため作業者の負荷が高い。また、どのような作業をしていたか、報告書の記載を見るしかない。また、技術若年者による見落とし、操作ミスなどの技量による作業のばらつきが発生してしまう可能性がある。さらに、検出器にタグを接触させる必要があり、点検対象の認識に時間がかかってしまう。本実施形態の保全活動サポートシステム１は、このような課題を解決することができる。

本実施形態の保全活動サポートシステム１では、点検に伴うヒューマンエラーを低減させるために、点検対象を自動認識し、端末画面上に点検に必要な情報を現場の映像に重畳表示させる。また、この重畳表示は、位置情報またはマーカ情報をキーとしてシステム側（データベース）と相互連携をすることにより実現される。また、データベースから端末への表示内容の制御、または、効率的なデータ収集を支援し、記録をデータベース側に登録して情報を一元管理する。

図１に示すように、本実施形態の保全活動サポートシステム１は、作業現場にて保全活動を行う作業者Ｗが所持する携帯端末２と、作業を管理する管理者Ｍが扱う管理コンピュータ３とを備える。

本実施形態の携帯端末２は、スマートフォン２Ａで構成される。また、携帯端末２は、作業者Ｗに装着されて光学透過が可能な透過型ヘッドマウントディスプレイ４を備えるウェアラブルコンピュータ２Ｂ（スマートグラス）で構成されても良い。なお、携帯端末２は、タブレット型ＰＣまたはノートＰＣで構成されても良い。その他、撮影機能、通話機能、通信機能を持つ機器で構成されるものであり、それぞれの機能を持つ複数の機器で構成されるものでも良い。以下の説明では、スマートフォン２Ａで構成される携帯端末２を例示する。

管理コンピュータ３は、管理者Ｍが扱うコンピュータ本体５と、管理者Ｍが視認を行うディスプレイ６と、携帯端末２と無線通信を行う無線通信装置７を備える。なお、本実施形態の管理コンピュータ３は、例えば、デスクトップＰＣでも良いし、ノートＰＣでも良い。

保全活動サポートシステム１は、原子力発電所、火力発電所、化学プラント、または工場などの作業現場において、作業者Ｗの保全活動をサポートするシステムである。作業現場には、点検または検査などの保全活動の対象となる対象部分としての多数の対象機器８（図３参照）が配置されている。

作業者Ｗは、保全活動を行う際に携帯端末２を用いる。この携帯端末２を介して対象機器８（図３参照）に関するサポート情報を得ることができる。本実施形態では、現実の世界の物事に対して仮想の情報を付加するＡＲ（Augmented Reality：拡張現実）技術を用いてサポート情報を作業者Ｗに提供する。なお、ＭＲ（Mixed Reality：複合現実）技術を用いても良い。

サポート情報を提供するときには、携帯端末２で撮影した画像を表示しながら、サポート情報を含むＡＲ画像表示を行う。なお、ＡＲ画像表示とは、例えば、対象機器８の点検個所を指定するサポート画像９（図７および図８参照）、対象機器８の点検状態を示すサポート画像９（図９および図１０参照）の表示を示す。つまり、携帯端末２で撮影した対象機器８の画像にサポート画像９を重ねて表示する。

ＡＲ技術とは、現実環境が映された画像における所定の物体の位置などに対応して、３Ｄモデル、テキストなどの所定のコンテンツ（サポート情報）を表示させる技術である。このＡＲ技術において、端末が備えるカメラにより撮影された画像に基づいてコンテンツの提供を行うものはビジョンベースＡＲ（画像認識型ＡＲ）と呼ばれる。また、加速度センサ、角速度センサ、ＧＮＳＳ（Global Navigation Satellite System）などの端末の位置情報および姿勢情報に基づいてコンテンツの提供を行うものはロケーションＡＲと呼ばれる。

なお、携帯端末２の自位置および自姿勢の変位の算出に用いる位置推定技術には、ＳＬＡＭ（Simultaneous Localization and Mapping）技術、またはＳｆＭ（Structure from Motion）技術などの公知の技術を用いることができる。特に、本実施形態では、ＶＳＬＡＭ（Visual SLAM）技術を用いて、携帯端末２で撮影された画像に基づいて、その位置および姿勢の変位を算出する。

本実施形態の保全活動サポートシステム１は、ＡＲ技術（拡張現実技術）およびＶＳＬＡＭ技術（位置推定技術）を活用して、作業現場での点検または記録などの保全活動の効率化（負荷軽減）と、ヒューマンエラーの発生を機械化により低減させる。

図３に示すように、作業者Ｗが保全活動を行う作業現場（エリア）として所定の建物１０を例示する。例えば、原子力プラントにおける所定の区画に設けられた建物１０が作業現場となっている。この作業現場は、壁１１で囲まれた複数の部屋１２がある。それぞれの部屋１２に保全活動の対象となる対象部分としての対象機器８が配置される。これらの対象機器８は、計器でも良いし、操作スイッチでも良いし、バルブでも良いし、配管でも良いし、装置でも良いし、センサでも良い。

なお、本実施形態では、対象部分として対象機器８を例示しているが、対象部分は建物１０の所定の部分、例えば、窓、扉、壁、天井、床、通路、壁の開口部、室内空間の一部の範囲であっても良い。また、巨大な１つの装置の一部が対象部分であっても良い。さらに、１つの装置の複数箇所が対象部分であっても良い。

建物１０の出入口１３は、携帯端末２の位置を推定する基準となる基準位置として設定される。この建物１０の出入口１３には、基準マーカ１５が配置される。また、それぞれの部屋１２の出入口１４も、携帯端末２の位置を推定する基準となる基準位置として設定される。これらの部屋１２の出入口１４にも、基準マーカ１５が配置される。なお、基準マーカ１５は、出入口１３，１４の近傍の壁面に設けられても良いし、出入口１３，１４の扉面に設けられても良い。

作業者Ｗは、保全活動を開始するときに、まず、建物１０の出入口１３で基準マーカ１５を撮影する。ここで、携帯端末２は、基準マーカ１５が写った撮影画像に基づいて、自位置および自姿勢を推定する。なお、建物１０の出入口１３で基準マーカ１５の撮影を開始し、移動中も撮影を継続することで、基準位置から携帯端末２が移動した移動経路１７を推定できる。

また、それぞれの部屋１２に配置された対象機器８またはその近接位置には、対象マーカ１６が配置される。なお、対象機器８の近接位置とは、携帯端末２により対象機器８を撮影したときに対象機器８と同時に写る範囲内にある位置のことを示す。この対象マーカ１６は、ＡＲマーカとして機能する。つまり、サポート画像９は、対象マーカ１６と相対位置関係に基づいて指定された座標に表示される。

なお、マーカ１５，１６は、画像認識が可能な図形である。例えば、マトリックス型二次元コード、所謂ＱＲコード（登録商標）をマーカ１５，１６として用いる。また、マーカ１５，１６には、対応するマーカ１５，１６を個々に識別可能なマーカＩＤを示す情報が含まれる。このようにすれば、複数のマーカ１５，１６をそれぞれ識別することができる。管理コンピュータ３の管理データベース２０には、それぞれのマーカＩＤに対応して対象機器８に関する情報が登録される。

マーカ１５，１６を設ける態様としては、例えば、マーカ１５，１６が印刷されたパネルを作成し、このパネルを、作業開始前に作業現場の壁面または対象機器８の近傍に配置しておく。なお、壁面または対象機器８にマーカ１５，１６を直接印刷しても良い。

本実施形態の携帯端末２は、対象マーカ１６に基づいて対象機器８を認識することができる。また、携帯端末２は、作業前に予め撮影された対象機器８の外観を写した外観画像に基づいて対象機器８を認識することができる。さらに、作業前に予め取得された対象機器８の３次元形状情報に基づいて対象機器８を認識することができる。なお、対象機器８の外観画像および３次元形状情報は、管理データベース２０に予め登録されている。

なお、携帯端末２は、外観画像に基づく対象機器８の認識結果よりも、３次元形状情報に基づく対象機器８の認識結果を優先する制御を行う。また、３次元形状情報に基づく対象機器８の認識結果よりも、対象マーカ１６に基づく対象機器８の認識結果を優先する制御を行う。

次に、保全活動サポートシステム１のシステム構成を図２に示すブロック図を参照して説明する。

管理コンピュータ３は、管理通信部１８と管理制御部１９と管理データベース２０とを備える。この管理コンピュータ３は、作業現場から離れた遠隔地にある管理センタに設けられても良いし、作業現場の近傍に設けられても良い。

管理通信部１８は、通信回線を介して携帯端末２と通信を行う。この管理通信部１８は、無線通信装置７に搭載されている。また、管理通信部１８は、所定のネットワーク機器、例えば、無線ＬＡＮアクセスポイントまたはアンテナに搭載されても良い。なお、管理通信部１８は、ＷＡＮ（Wide Area Network）、インターネット回線、または携帯通信網を介して携帯端末２と通信を行っても良い。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルにより携帯端末２と接続して通信を行っても良い。

管理制御部１９は、管理コンピュータ３を統括して制御する。管理制御部１９において、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで所定の機能が実現される。

管理データベース２０は、サポート情報および対象機器８の点検情報などの保全活動に必要な情報が登録される。例えば、対象機器８の点検に必要なサポート情報および対象機器８の状態を示す状態情報が登録される。この状態情報には、点検計画または前回の点検記録の情報が含まれても良いし、最新の状態を示す時刻情報が含まれても良いし、点検履歴が含まれても良い。

また、管理データベース２０には、保全活動のエリアに関する位置情報が登録されている。例えば、基準位置の位置情報および対象機器８の位置情報が登録される。この管理データベース２０は、管理コンピュータ３のＨＤＤなどの記憶部に設けられる。

本実施形態の保全活動サポートシステム１では、作業現場に設置されたマーカ１５，１６と管理データベース２０とを連携させることで、様々な保全活動のサポートが行える。

例えば、管理データベース２０には、建物１０または対象機器８の３次元ＣＡＤデータ、配管結線図、機器配置図、機器情報、点検履歴、点検に必要な所定の映像をなどのサポート情報が登録される。

また、作業現場において携帯端末２と管理コンピュータ３とがオンライン接続できる場合は、携帯端末２と管理データベース２０とをリアルタイムで連携させることができる。一方、作業現場において携帯端末２と管理コンピュータ３とがオンライン接続できない場合は、予めオンライン接続される環境にて管理コンピュータ３から各種データを携帯端末２にダウンロードしておく。そして、オフライン状態で携帯端末２を使用する。作業現場でデータを収集した後、再びオンライン接続される環境になったら、携帯端末２から管理データベース２０にデータをアップロードする。

携帯端末２は、デバイスとしてのステレオカメラ２１と加速度センサ２２と角速度センサ２３と３次元測定センサ２４とディスプレイ２５と操作入力部２６と記憶部２７と計時部２８と端末通信部２９と端末制御部３０とを備える。

ステレオカメラ２１は、このステレオカメラ２１は、携帯端末２に搭載され、携帯端末２の周辺の物体を可視光により撮影する。このステレオカメラ２１は、筐体の背面側に設けられるレンズ付きの２つの画像素子を備えている。ステレオカメラ２１は、物体を複数の異なる方向から同時に撮影することにより、その物体までの奥行き方向の情報が取得可能となっている。

また、ステレオカメラ２１のそれぞれの画像素子により取得される画像は２次元画像であるが、これら２つの２次元画像に写る像の差異に基づいて、立体的な空間把握が可能な立体写真の生成が可能になっている。なお、ステレオカメラ２１で撮影された撮影画像は、端末制御部３０に入力される。

加速度センサ２２は、携帯端末２に搭載され、この携帯端末２が移動したときに生じる加速度を検出する。また、この加速度センサ２２により重力加速度の検出も行える。なお、この加速度センサ２２で検出された加速度の値を示す加速度情報は、端末制御部３０に入力される。

角速度センサ２３（ジャイロセンサ）は、携帯端末２に搭載され、この携帯端末２の筐体の姿勢が変化したときに生じる角速度を検出する。この携帯端末２の筐体の姿勢によりステレオカメラ２１の撮影方向を把握することができる。なお、この角速度センサ２３で検出された角速度の値を示す角速度情報は、端末制御部３０に入力される。

なお、慣性センサ（３軸加速度センサと３軸角速度センサ）と３軸地磁気センサを組み合わせた９軸センサであるモーションセンサを携帯端末２に搭載しても良い。

３次元測定センサ２４は、携帯端末２の周辺の物体の３次元形状を測定する。３次元測定センサ２４としては、例えば、深度センサが用いられる。なお、３次元測定センサ２４として赤外線センサまたはＬｉＤＡＲなどのレーザセンサを用いても良い。

３次元測定センサ２４は、携帯端末２の筐体の背面側に設けられる。この３次元測定センサ２４は、例えば、物体にレーザを投光してその反射光を受光素子により受光することで、携帯端末２から物体までの距離を測定することができる。本実施形態では、３次元測定センサ２４は、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Time of Flight）方式を用いて、携帯端末２から周辺の物体までの距離を測定して３次元点群化する。なお、ステレオカメラ２１による撮像方向と３次元測定センサ２４による測定方向は一致している。

ディスプレイ２５は、ステレオカメラ２１で撮影された撮影画像を表示する。なお、レンズ付きの２つの画像素子のうち、いずれか一方の画像素子で撮影した撮影画像を表示すれば良い。

操作入力部２６は、作業者Ｗにより操作され、所定の情報の入力操作が行えるようにしたデバイスである。本実施形態では、操作入力部２６がディスプレイ２５と一体的に設けられるタッチパネルで構成される。なお、携帯端末２としてウェアラブルコンピュータ２Ｂを用いる場合は、操作入力部２６が作業者Ｗの手元に配置され、入力操作が適宜可能となっている。

記憶部２７は、所定のデータまたはステレオカメラ２１で撮影した撮影画像を記憶する。なお、記憶部２７に記憶される画像は、動画像であっても良いし、静止画像であっても良い。さらに、オフラインで携帯端末２を使用する場合には、予め管理コンピュータ３からダウンロードされた各種データが記憶部２７に記憶される。なお、管理データベース２０に登録された一部のデータを記憶部２７に記憶させても良いし、全てのデータを記憶部２７に記憶させても良い。

計時部２８（ＲＴＣ：Real-Time Clock）は、時間の経過を計時する。例えば、現在時刻を示す時刻情報と、日付と曜日とを示すカレンダ情報とを出力する。また、計時部２８は、所定の開始時刻から所定の終了時刻までの時間を積算するタイマ機能を備えても良い。

端末通信部２９は、通信回線を介して管理コンピュータ３と通信を行う。本実施形態の端末通信部２９には、ネットワーク機器、例えば、無線ＬＡＮのアンテナが含まれる。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルを用いて通信を行う場合もある。この端末通信部２９を介して携帯端末２は、管理コンピュータ３の管理データベース２０にアクセスする。

端末制御部３０は、携帯端末２を統括して制御する。この端末制御部３０は、撮影画像取得部３１と加速度情報取得部３２と角速度情報取得部３３と重畳表示部３４と表示内容制御部３５と情報貼付部３６と結果記録部３７と報告書作成部３８とデータベース登録部３９と位置姿勢推定部４０と３次元形状測定部４１と対象認識部４２と写真記録限定部４３と対象情報取得部４４とマーカ情報取得部４５と外観画像取得部４６と形状情報取得部４７とサポート情報取得部４８とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

撮影画像取得部３１は、ステレオカメラ２１により撮影された撮影画像を取得する制御を行う。なお、撮影画像取得部３１で取得される撮影画像は、動画像であっても良いし、静止画像であっても良い。

加速度情報取得部３２は、加速度センサ２２で検出された加速度の値を示す加速度情報を取得する制御を行う。

角速度情報取得部３３は、角速度センサ２３で検出された角速度の値を示す角速度情報を取得する制御を行う。

重畳表示部３４は、携帯端末２を介して作業者Ｗが視認する対象部分である対象機器８の像に管理データベース２０から取得した対象機器８に対応するサポート画像９（図６参照）を重ねて表示する制御を行う。また、オフラインで携帯端末２を使用する場合には、予め記憶部２７に記憶された対象機器８に対応するサポート情報を用いる。

また、重畳表示部３４は、例えば、対象機器８の位置を示すサポート情報を表示する。このようにすれば、作業者Ｗが対象機器を識別することができる。また、重畳表示部３４は、例えば、対象機器８の状態を示すサポート情報を表示する。このようにすれば、作業者Ｗが対象機器８の状態を把握することができる。また、重畳表示部３４は、例えば、対象機器８の保全活動の結果を示すサポート情報を表示する。このようにすれば、作業者Ｗが対象機器８の保全活動の結果を把握することができる。

なお、「作業者が視認する対象部分の像」とは、ディスプレイ２５に表示される対象機器８の「画像」であっても良いし、透過型ヘッドマウントディスプレイ４を介して直接に視認される対象機器８の「実物の像」であっても良い。また、ディスプレイ２５は、反射型ヘッドマウントディスプレイでも良い。

表示内容制御部３５は、作業者Ｗの所属または計画内容に応じてサポート画像９の表示内容を変更する制御を行う。また、表示内容制御部３５は、サポート画像９の表示が許可された作業者Ｗであるか否かの判定を行う。つまり、サポート画像９の表示内容を変更する処理には、サポート画像９を表示すること、または、サポート画像９を表示しないことを決定する処理を含む。

情報貼付部３６は、携帯端末２で撮影した対象機器８の画像に所定の情報を記載したＡＲタグ４９（図１１参照）の画像を重ねて表示する制御を行う。このＡＲタグ４９は、仮想の附箋であり、作業者Ｗが所定の情報を記載して対象機器８に仮想的に貼り付けることができる。そして、次に他の作業者Ｗが保全作業を行うときに、このＡＲタグ４９に記載された情報を参照することができる。

結果記録部３７は、ステレオカメラ２１で撮影した対象機器８の撮影画像に基づいて、対象機器８の状態を示す情報を自動的に読み取る制御を行う。例えば、対象機器８が計器である場合に、この計器の画像に基づいて計器が表示している値を記録する（図６参照）。つまり、結果記録部３７は、対象機器８の位置と時刻情報ともに確認結果を記録する制御を行う。

報告書作成部３８は、記録された点検内容と位置情報とに基づいて、保全活動の終了後に報告書を自動作成する制御を行う（図１２参照）。

データベース登録部３９は、管理コンピュータ３の管理データベース２０に、携帯端末２で取得した所定の情報を登録する制御を行う。

なお、オフラインで携帯端末２を使用する場合にデータベース登録部３９は、携帯端末２で取得した所定の情報を記憶部２７に記憶する制御を行う。そして、管理コンピュータ３とオンライン接続されたときに、記憶部２７に記憶された所定の情報を管理データベース２０に登録する制御を行う。

位置姿勢推定部４０は、撮影画像と加速度情報と角速度情報とに基づいて携帯端末２の位置および姿勢を推定する制御を行う。この位置姿勢推定部４０は、携帯端末２の位置および姿勢の推定と同時に携帯端末２の周辺環境の情報を含む環境地図の作成を行う。つまり、位置姿勢推定部４０では、ＶＳＬＡＭ技術を用いている。なお、携帯端末２で作成された環境地図を管理コンピュータ３に送信しても良い。そして、管理コンピュータ３は、管理データベース２０に環境地図を記憶しても良い。

ＶＳＬＡＭ技術では、携帯端末２のステレオカメラ２１および３次元測定センサ２４で取得した情報を用いて、携帯端末２の周辺の物体の特徴点を抽出することができる。この特徴点の集合させたものを３次元特徴点群データと称する。そして、ステレオカメラ２１で撮影した撮影画像（動画像）を解析し、物体の特徴点（例えば、箱状の物体の辺または角の部分）をリアルタイムに追跡する。この３次元特徴点群データに基づいて、携帯端末２の位置および姿勢の３次元情報を推定することができる。さらに、この３次元特徴点群データに基づいて、環境地図を作成することができる。

また、携帯端末２の周辺の物体の３次元特徴点群データを所定の時間毎に検出し、時系列において前後する３次元特徴点群データ間の変位に基づいて、携帯端末２の位置および姿勢の変位を算出することができる。また、時系列に得られる一連の自位置および自姿勢から、現在位置および現在姿勢に先立つ携帯端末２の移動経路１７が得られる。

つまり、位置姿勢推定部４０は、基準位置から携帯端末２が移動するときに連続的に撮影された撮影画像に基づいて、携帯端末２の位置および姿勢を推定する制御を行う。このようにすれば、基準位置から携帯端末２が移動した経路１７（図３参照）を撮影画像により推定できるので、携帯端末２の位置および姿勢の推定精度を向上させることができる。

なお、本実施形態では、ステレオカメラ２１および３次元測定センサ２４で取得した情報に基づいて、携帯端末２の位置および姿勢を推定するＶＳＬＡＭ技術を例示しているが、その他の態様であっても良い。例えば、ＲＧＢカメラ、魚眼カメラ、ジャイロセンサ、赤外線センサで取得した情報に基づいて、携帯端末２の位置および姿勢を推定するＶＳＬＡＭ技術を用いても良い。このＶＳＬＡＭ技術は、屋内での位置計測が可能であり、ビーコンまたは歩行者自律航法（ＰＤＲ:Pedestrian Dead Reckoning）などの屋内で使用可能な位置情報計測技術の中で、最も精度よく３次元座標を算出することができる。

なお、携帯端末２の位置および姿勢は、それぞれ算出または更新された時点の時刻と対応付けて記録される。

３次元形状測定部４１は、ステレオカメラ２１の撮影画像に基づいて携帯端末２の周辺の物体の３次元形状を測定する制御を行う。また、３次元測定センサ２４の測定に基づいて携帯端末２の周辺の物体の３次元形状を取得しても良い。

対象認識部４２は、撮影画像に写る保全活動の対象となる対象部分としての対象機器８を認識する制御を行う。この対象認識部４２は、例えば、携帯端末２の位置および姿勢（撮影方向）と対象機器８に対応する位置とに基づいて、撮影画像に写る物体のうち、いずれの物体が対象機器８であるかを認識する制御を行う。

また、対象認識部４２は、環境地図に基づいて対象機器８を認識する制御を行う。このようにすれば、携帯端末２の位置および姿勢の推定精度と対象機器８の認識精度とを向上させることができる。本実施形態では、衛星測位システムが使用できない屋内であっても、携帯端末２の位置を特定することができる。なお、本実施形態で用いられる環境地図は、作業前に予め作成されたものでも良いし、作業中に携帯端末２で作成されたものでも良いし、作業前に予め作成されたものを作業中に携帯端末２で更新したものでも良い。

また、対象認識部４２は、対象マーカ１６に対応する位置情報に基づいて対象機器８を認識する制御を行う。このようにすれば、対象マーカ１６に基づいて対象機器８を認識することができるので、対象機器８の認識精度を向上させることができる。

また、対象認識部４２は、対象マーカ１６が写る撮影画像に基づいて対象機器８を認識する制御を行う。このようにすれば、対象マーカ１６により対象機器８を認識できるので、対象機器８の認識精度を向上させることができる。

また、対象認識部４２は、予め撮影された外観画像に基づいて対象機器８を認識する制御を行う。この制御には、ステレオカメラ２１で撮影された撮影画像に写る物体が対象機器８であるか否かを識別する制御が含まれる。このようにすれば、物体の外観に基づいて対象機器８を認識できるので、対象機器８の認識精度を向上させることができる。なお、対象機器８に関する物体に対象マーカ１６を設ける必要がないので、対象マーカ１６を設ける手間を省略することができる。つまり、対象機器８の外観自体を対象マーカ１６の替りとして用いることができる。

また、対象認識部４２は、３次元形状情報に基づいて対象機器８を認識する制御を行う。この制御には、携帯端末２の周辺の物体が対象機器であるか否かを識別する制御が含まれる。このようにすれば、物体の３次元形状に基づいて対象機器８を認識させるので、対象機器８の認識精度を向上させることができる。なお、対象機器８に関する物体に対象マーカ１６を設ける必要がないので、対象マーカ１６を設ける手間を省略することができる。つまり、対象機器８の３次元形状自体を対象マーカ１６の替りとして用いることができる。また、３次元形状情報は、ステレオカメラ２１で撮影された撮影画像に基づいて取得されても良いし、３次元測定センサ２４に基づいて取得されても良い。

写真記録限定部４３は、作業現場において対象機器８の画像記録機能（写真撮影機能）を限定する制御を行う。なお、画像記録機能とは、携帯端末２のステレオカメラ２１を用いて撮影した画像を記憶部２７に記憶させる機能をいう。つまり、写真記録限定部４３は、作業者Ｗが作業現場で写真撮影を行うことを一定の条件下で制限する制御を行う。

例えば、通常時に、携帯端末２のステレオカメラ２１で撮影をした場合には、その撮影画像はディスプレイ２５に表示され、記憶部２７に記憶されることがない。なお、撮影画像は動画像を例示する。ここで、作業者Ｗがディスプレイ２５に表示された写真撮影ボタン５０（図６から図１１参照）をタッチ操作すると、そのときに撮影されていた撮影画像が記憶部２７に記憶される。なお、この画像は静止画像を例示する。本実施形態では、写真撮影ボタン５０の表示の有無により、画像記録機能の可否の切り換えを行う。なお、写真撮影ボタン５０により記録可能となる画像は、静止画像のみならず、ビデオ映像（動画像）であっても良い。

対象情報取得部４４（対象位置取得部）は、撮影画像に写る対象機器８に対応する位置情報を管理コンピュータ３の管理データベース２０から取得する制御を行う。なお、オフラインで携帯端末２を使用する場合には、予め管理コンピュータ３からダウンロードされた対象機器８に対応する位置情報を用いる。また、対象情報取得部４４は、位置情報以外の情報をダウンロードしても良い。このダウンロードされる情報には、外観画像と３次元形状情報とサポート情報と状態情報とが含まれる。さらに、予め作成された環境地図が管理コンピュータ３に記憶されている場合には、その環境地図をダウンロードしても良い。なお、ダウンロードされた情報は、記憶部２７に記憶される。オンライン状態で携帯端末２を使用する場合には、管理コンピュータ３からダウンロードした情報を用いても良いし、予め記憶部２７に記憶された情報を用いても良い。オフライン状態で携帯端末２を使用する場合には、記憶部２７に記憶された情報を用いる。

マーカ情報取得部４５（マーカ位置取得部）は、撮影画像に写るマーカ１５，１６に対応する位置情報を管理コンピュータ３の管理データベース２０から取得する制御を行う。なお、オフラインで携帯端末２を使用する場合には、予め管理コンピュータ３からダウンロードされたマーカ１５，１６に対応する位置情報を用いる。なお、マーカ情報取得部４５は、マーカ１５，１６の図形に含まれるマーカＩＤを読み取る制御を行う。

外観画像取得部４６は、対象認識部４２にて対象機器８を認識するために必要な情報であって、この対象機器８の外観画像を管理コンピュータ３の管理データベース２０から取得する制御を行う。なお、オフラインで携帯端末２を使用する場合には、予め管理コンピュータ３からダウンロードされた対象機器８の外観画像を用いる。

形状情報取得部４７は、対象認識部４２にて対象機器８を認識するために必要な情報であって、この対象機器８の３次元形状情報を管理コンピュータ３の管理データベース２０から取得する制御を行う。なお、オフラインで携帯端末２を使用する場合には、予め管理コンピュータ３からダウンロードされた対象機器８の３次元形状情報を用いる。

サポート情報取得部４８は、対象認識部４２にて認識された対象機器８のサポート情報を管理コンピュータ３の管理データベース２０から取得する制御を行う。なお、オフラインで携帯端末２を使用する場合には、予め管理コンピュータ３からダウンロードされた対象機器８のサポート情報を用いる。

図４（Ａ）に示すように、管理コンピュータ３の管理データベース２０は、基準位置管理テーブルを含む。この基準位置管理テーブルには、基準位置ＩＤに対応付けて、３Ｄ位置情報とマーカＩＤと対象機器ＩＤとが登録されている。

基準位置ＩＤは、複数の基準位置を個々に識別可能な識別情報である。なお、１つの基準位置に対して１つの基準位置ＩＤが付与される。

基準位置管理テーブルに登録される３Ｄ位置情報は、基準位置が設けられた位置を指定する３次元座標の情報である。なお、座標の情報には、水平方向（Ｘ軸，Ｙ軸）と垂直方向（Ｚ軸）の位置を指定する情報を含む。また、この３Ｄ位置情報には、基準位置の姿勢または向きに関する情報が含まれる。

本実施形態では、建物１０の出入口１３に設けられた１つの基準マーカ１５を原点（起点）として座標を設定する。なお、座標は、基準マーカ１５を原点としなくても良く、建物１０の所定の位置を座標の原点としても良い。また、３Ｄ位置情報は、建物１０の設計段階で作成された３次元ＣＡＤに基づいて構成されても良い。

基準位置管理テーブルに登録されるマーカＩＤは、複数の基準マーカ１５を個々に識別可能な識別情報である。なお、１つの基準マーカ１５に対して１つのマーカＩＤが付与される。さらに、基準位置管理テーブルでは、１つの基準位置に対して１つのマーカＩＤが付与される。

対象機器ＩＤは、複数の対象機器８を個々に識別可能な識別情報である。なお、１つの対象機器８に対して１つの対象機器ＩＤが付与される。

基準位置管理テーブルでは、１つの基準位置ＩＤに対応して複数の対象機器ＩＤが登録されても良い。例えば、建物１０の出入口１３の基準マーカ１５のマーカＩＤに対応付けて、その建物１０の内部に配置された全ての対象機器８の対象機器ＩＤが登録される。また、部屋１２の出入口１４の基準マーカ１５のマーカＩＤに対応付けて、その部屋１２の内部に配置された全ての対象機器８の対象機器ＩＤが登録される。

図４（Ｂ）に示すように、管理コンピュータ３の管理データベース２０は、対象機器管理テーブルを含む。この対象機器管理テーブルには、対象機器ＩＤに対応付けて、３Ｄ位置情報とマーカＩＤと外観画像ＩＤと３Ｄ形状ＩＤとサポート情報ＩＤと状態情報ＩＤと端末ＩＤとユーザＩＤとが登録されている。

対象機器管理テーブルに登録される３Ｄ位置情報は、対象機器８の位置を指定する座標を示す位置情報である。なお、３Ｄ位置情報は、水平方向（Ｘ軸，Ｙ軸）と垂直方向（Ｚ軸）の位置を指定する情報を含む。また、この３Ｄ位置情報には、対象機器８の姿勢または向きに関する情報が含まれる。

対象機器管理テーブルに登録されるマーカＩＤは、複数の対象マーカ１６を個々に識別可能な識別情報である。なお、１つの対象マーカ１６に対して１つのマーカＩＤが付与される。さらに、対象機器管理テーブルでは、１つの対象機器８に対して１つのマーカＩＤが付与されても良いし、複数の対象機器８に対して１つのマーカＩＤが付与されても良い。

なお、対象機器８に対しては、マーカＩＤが付与されなくても良い。つまり、対象機器８またはその近接位置に対象マーカ１６が配置されなくても良い。この場合には、外観画像または３次元形状情報に基づいて対象機器８の認識が成される。

外観画像ＩＤは、管理データベース２０に予め登録された複数の対象機器８の外観画像を個々に識別可能な識別情報である。なお、１つの対象機器ＩＤに対応付けて複数の外観画像ＩＤが登録されても良い。つまり、１つの対象機器８に対して異なる方向から撮影された複数の外観画像が管理データベース２０に予め登録されても良い。

なお、対象機器８に、外観画像ＩＤが付与されなくても良い。つまり、対象機器８の外観画像が管理データベース２０に登録されていなくても良い。この場合には、対象マーカまたは３次元形状情報に基づいて対象機器８の認識が成される。

３Ｄ形状ＩＤは、管理データベース２０に予め登録された複数の対象機器８の３次元形状情報を個々に識別可能な識別情報である。

なお、対象機器８に、３Ｄ形状ＩＤが付与されなくても良い。つまり、対象機器８の３次元形状情報が管理データベース２０に登録されていなくても良い。この場合には、対象マーカまたは外観画像に基づいて対象機器８の認識が成される。

サポート情報ＩＤは、管理データベース２０に予め登録された複数の対象機器８に対応するサポート情報を個々に識別可能な識別情報である。

状態情報ＩＤは、管理データベース２０に登録された複数の対象機器８に対応する状態情報を個々に識別可能な識別情報である。

端末ＩＤは、複数の携帯端末２を個々に識別可能な識別情報である。対象機器管理テーブルには、対象機器ＩＤに対応付けて、対応する対象機器８のサポート情報の提供が許可されている携帯端末２の端末ＩＤが登録される。

ユーザＩＤは、複数の作業者Ｗを個々に識別可能な識別情報である。対象機器管理テーブルには、対象機器ＩＤに対応付けて、対応する対象機器８のサポート情報の提供が許可されている作業者ＷのユーザＩＤが登録される。なお、ユーザＩＤは、携帯端末２にログインするときに使用するものであっても良いし、それぞれの作業者Ｗが所持するＩＤカードに登録されるものであっても良い。

このように、管理データベース２０には、対象機器８に対応付けて保全活動のエリアである作業現場の建物１０に予め設けられたマーカ１５，１６に関する位置情報が登録される。さらに、対象機器８の位置情報も登録される。このようにすれば、管理データベース２０を用いてサポート情報と対象機器に対応する位置情報とを一元的に管理できるので、保全活動の効率を向上させることができる。なお、基準位置ＩＤ、対象機器ＩＤ、または３次元位置情報に基づいて、管理データベース２０に登録された各種データを検索することができる。

図５に示すように、携帯端末２は、作業現場である保全エリアのナビゲーション機能を有する。作業者Ｗは、建物１０の出入口１３の基準マーカ１５を携帯端末２で読み取る。ここで、位置姿勢推定部４０は、この基準マーカ１５に基づいて携帯端末２の位置、つまり、作業者Ｗの位置を把握する。そして、携帯端末２のディスプレイ２５には、点検内容および点検場所を確認するためのナビゲーション画面が表示される。

ナビゲーション画面には、建物１０の見取図５１と、作業者Ｗの現在位置を示すマーク画像５２と、点検対象となる対象機器８がある点検箇所を示すマーク画像５３と、点検計画を表示するための選択入力部５４と、点検に関する処理を開始するための選択入力部５５とが表示される。さらに、点検箇所を示すマーク画像５３をタッチ操作すると、点検内容を示す項目５６が表示される。このナビゲーション画面によって作業者Ｗを点検箇所へ誘導する。このナビゲーション機能を用いることで、点検場所を確認できるとともに、後戻り作業を防止することができる。

図６に示すように、携帯端末２は、対象機器８としてのアナログ計器８Ａの数値を読み取る計器読取支援機能を有する。例えば、所定の１つの装置５７に圧力計などで構成される複数のアナログ計器８Ａが設けられている。なお、携帯端末２は、ステレオカメラ２１で装置５７を継続的に撮影し、その撮影画像をリアルタイムでディスプレイ２５に表示する。

対象認識部４２は、携帯端末２の位置および姿勢と対象機器８の位置情報とに基づいて、撮影画像に写る対象機器８（アナログ計器８Ａ）を認識する。なお、対象認識部４２は、対象マーカ１６が無くても、対象機器８の外観画像または３次元形状に基づいて対象機器８を認識することができる。

携帯端末２は、対象機器８が点検対象であることを示すサポート画像９の表示を行う。例えば、それぞれの対象機器８を枠で囲む表示を行うとともに、それぞれの対象機器８に番号を付けて可視化したサポート画像９の表示を行う。作業者Ｗは、サポート画像９により対象機器８を認識することができる。いずれの対象機器８が点検の対象であるかは、管理者Ｍが予め管理データベース２０に登録しておく。

また、結果記録部３７は、画像認識技術を用いて撮影画像から対象機器８としてのアナログ計器８Ａの数値を読み取る。そして、記録用リスト５８に読み取った数値を記録する。作業者Ｗは、目視でもアナログ計器８Ａの数値を読み取り、記録用リスト５８の記録が正しい場合にチェックボックス５９にチェックを入れるようにする。

さらに、結果記録部３７は、アナログ計器８Ａの数値を読み取ったときの携帯端末２の位置情報および時刻情報とともに、その確認結果を記憶部２７に記憶させる。なお、携帯端末２が管理コンピュータ３に接続中である場合には、その確認結果を管理データベース２０に登録させる。

本実施形態では、対象機器８としてのアナログ計器８Ａの数値の計器読取支援機能を用いることで、対象機器８に関する記録を確実かつ効率的に実行できるようになり、数値の読み取りまたは入力ミスなどのヒューマンエラーを防止できる。

図７に示すように、携帯端末２は、アイソレーション支援機能を有する。なお、発電所などのプラントは、配電システム、運転機器、監視機器などの複数の要素を用いて構築される。このようなプラントにおいて、機器またはシステムなどの工事、保守点検、修理などを行う際に、作業者の安全確保、他の機器または他のシステムに与える影響を最小限に抑える必要がある。そのため、作業の対象となる機器またはシステムを、他の機器または他のシステムから電気的に隔離して停止（停電）させる。このような作業をアイソレーションと称する。

例えば、１つの配電装置６０に対象機器８としての複数のスイッチ８Ｂが設けられている。なお、携帯端末２は、ステレオカメラ２１で配電装置６０を撮影し、その撮影画像をリアルタイムでディスプレイ２５に表示する。

対象認識部４２は、携帯端末２の位置および姿勢と対象機器８の位置情報とに基づいて、撮影画像に写るそれぞれのスイッチ８Ｂを認識する。なお、撮影画像に写る対象マーカ１６に基づいてそれぞれのスイッチ８Ｂを認識しても良い。そして、携帯端末２は、アイソレーション作業により操作が必要なスイッチ８Ｂにサポート画像９を重ねて表示する。例えば、スイッチ８Ｂを枠で囲む表示を行う。

また、作業者Ｗがスイッチ８ＢのＯＮまたはＯＦＦの操作をした場合には、結果記録部３７によりその結果が記録される。また、チェックリスト６１を表示して、作業者Ｗが作業を行ったスイッチ８Ｂに対応するチェックボックス６２にチェックを入れるようにする。

さらに、結果記録部３７は、携帯端末２の位置情報および時刻情報とともに、そのアイソレーションの作業結果を記憶部２７に記憶する。なお、携帯端末２が管理コンピュータ３に接続中である場合には、その作業結果を管理データベース２０に登録する。本実施形態では、アイソレーション支援機能により、スイッチ操作ミスの防止と作業効率化が可能となる。

また、携帯端末２は、対象認識部４２が対象機器８を認識しているときに、写真撮影ボタン５０（静止画記録ボタン）を表示する。本実施形態では、対象認識部４２が対象機器８を認識しているときのみ、つまり、ディスプレイ２５に対象機器８が写っているときのみ、対象機器８の画像記録機能（写真撮影機能）が有効になる。なお、ディスプレイ２５に対象マーカ１６が写っているときのみ、対象機器８の画像記録機能が有効になる態様であっても良い。

図８に示すように、携帯端末２は、バルブラインナップ支援機能を有する。例えば、配管６３に対象機器８としての複数のバルブ８Ｃが設けられている。なお、携帯端末２は、ステレオカメラ２１で配管６３を継続的に撮影し、その撮影画像をリアルタイムでディスプレイ２５に表示する。

対象認識部４２は、携帯端末２の位置および姿勢と対象機器８の位置情報とに基づいて、撮影画像に写るそれぞれのバルブ８Ｃを認識する。なお、撮影画像に写る対象マーカ１６に基づいてそれぞれのバルブ８Ｃを認識しても良い。そして、携帯端末２は、開閉確認が必要なバルブ８Ｃにサポート画像９を重ねて表示する。例えば、バルブ８Ｃを枠で囲む表示を行う。

結果記録部３７は、撮影画像に基づいてそれぞれのバルブ８Ｃの開閉状態を認識し、その状態が記録される。さらに、結果記録部３７は、携帯端末２の位置情報および時刻情報とともに、それぞれのバルブ８Ｃの開閉状態を記憶部２７に記憶する。なお、管理コンピュータ３に接続中である場合には、それぞれのバルブ８Ｃの開閉状態を管理データベース２０に登録する。本実施形態では、バルブラインナップ支援機能により、確認ミスの防止と、確認作業時間の短縮ができる。

図９に示すように、携帯端末２は、センサ取り付け支援機能を有する。例えば、ポンプなどの駆動装置６４の定期点検時には、振動検出用の振動センサを所定の位置に取り付けて、振動の計測が行われる。このとき、振動センサの取り付け位置の確認を支援する。なお、携帯端末２は、ステレオカメラ２１で駆動装置６４を撮影し、その撮影画像をリアルタイムでディスプレイ２５に表示する。

対象認識部４２は、携帯端末２の位置および姿勢と対象機器８の位置情報とに基づいて、撮影画像に写る駆動装置６４を認識する。なお、撮影画像に写る対象マーカ１６に基づいて駆動装置６４を認識しても良い。なお、駆動装置６４は、対象機器８としての複数個の部品８Ｄで構成されており、それぞれの部品８Ｄで振動数が異なる。

対象認識部４２は、携帯端末２の位置および姿勢と対象機器８の位置情報とに基づいて、撮影画像に写るそれぞれの部品８Ｄを認識する。なお、撮影画像に写る対象マーカ１６に基づいてそれぞれの部品８Ｄを認識しても良い。

携帯端末２は、それぞれの部品８Ｄを示すサポート画像９の表示を行う。例えば、それぞれの部品８Ｄに番号を付けて位置を示す表示を行う。そして、前回の定期点検時に振動センサを取り付けた部品８Ｄのサポート画像９の態様は、他のサポート画像９とは異なる態様にされる。例えば、サポート画像９を色分けして示す。作業者Ｗは、前回の定期点検時に振動センサを取り付けた部品８Ｄに振動センサを取り付けるようにする。このようにすれば、計測者または計測時期の違いによる計測のばらつきを防ぐことができる。本実施形態では、センサ取り付け支援機能により、センサの適切な取り付け位置の可視化することができる。

図１０に示すように、携帯端末２は、保全対象確認支援機能を有する。この機能では、流量計または計器などの定期的な点検対象計器の確認作業を支援する。例えば、配管６５に対象機器８としての複数の計器８Ｅが設けられている。なお、携帯端末２は、ステレオカメラ２１で配管６５を撮影し、その撮影画像をリアルタイムでディスプレイ２５に表示する。

対象認識部４２は、携帯端末２の位置および姿勢と対象機器８の位置情報とに基づいて、撮影画像に写るそれぞれの計器８Ｅを認識する。なお、撮影画像に写る対象マーカ１６に基づいてそれぞれの計器８Ｅを認識しても良い。そして、携帯端末２は、開閉確認が必要な計器８Ｅにサポート画像９を重ねて表示する。例えば、管理データベース２０に保存された計画に従って、校正時期を色分けして可視化する。

本実施形態では、保全対象確認支援機能により、確認ミスの防止、確実な計器校正の実施と記録が可能となる。また、計器校正などの保全計画について、作業現場で実物の計器８Ｅと合わせて直感的に作業内容を把握することができる。

図１１に示すように、携帯端末２は、ＡＲタグ貼付機能を有する。この機能により仮想の附箋の表示形態を成すＡＲタグ４９を、対象機器８の画像に重ねて表示させることができる。例えば、対象機器８としての複数の計器８Ｅに、恰も附箋が貼り付けられているように表示される。

情報貼付部３６は、ディスプレイ２５に表示中の計器８Ｅの画像にＡＲタグ４９の画像を重ねて表示する。作業者Ｗは、ディスプレイ２５に表示中の計器８Ｅの部分をタッチ操作すると、文字入力画面に切り換わる。そして、点検作業または現場作業で、作業者Ｗが気付いた点または注意事項を記録する。この記録はテキストデータとしてＡＲタグ４９に書き込まれる。なお、テキストデータの入力は、音声によるテキスト変換で入力しても良い。

また、情報貼付部３６は、ＡＲタグ４９に書き込まれたデータを携帯端末２の位置情報および時刻情報とともに記憶部２７に記憶する。なお、管理コンピュータ３に接続中である場合には、ＡＲタグ４９に書き込まれたデータを管理データベース２０に登録する。このＡＲタグ４９に書き込まれたデータは、サポート情報の一部として登録される。

本実施形態では、ＡＲタグ貼付機能により、点検箇所の確実な記録と、確実な是正処理の管理が可能となる。さらに、管理データベース２０では、ＡＲタグ４９に書き込まれたデータを一覧で管理する。また、携帯端末２のディスプレイ２５に表示されるナビゲーション画面（図５参照）の地図上にＡＲタグ４９の位置を表示させ、他の作業者ＷがＡＲタグ４９に書き込まれたデータを簡易に確認できるようにしても良い。

図１２に示すように、携帯端末２は、報告書自動生成機能を有する。この機能により、記録された点検内容と位置情報とに基づいて、保全活動の終了後に報告書を自動的に作成することができる。

作業者Ｗが点検に関する処理を終了するための選択入力部６６をタッチ操作すると、点検結果リスト６８が表示される。なお、対象機器８の写真撮影を行った場合には、点検結果に対象機器８の画像が含まれる。作業者Ｗが点検結果を確認したことを示すための「ＯＫ」の選択入力部６７をタッチ操作すると、報告書作成部３８が報告書を自動的に作成する。

また、報告書作成部３８は、作成した報告書のデータを携帯端末２の位置情報および時刻情報とともに記憶部２７に記憶する。なお、携帯端末２が管理コンピュータ３に接続中である場合には、報告書のデータを管理データベース２０に登録する。本実施形態では、報告書自動生成機能により、事務所での点検記録の再入力、報告書作成の手間を省くことができ、作業者Ｗの負荷低減が可能となる。

なお、携帯端末２と管理コンピュータ３とが常時接続可能な環境である場合には、管理コンピュータ３にて報告書を自動的に作成しても良い。

本実施形態のシステムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の保全活動サポート方法は、プログラムをコンピュータに実行させることで実現される。

次に、管理コンピュータ３が実行する事前情報登録処理について図１３のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。この処理は、管理データベース２０に対するデータの登録を開始する旨の操作があった場合に実行される処理である。

図１３に示すように、まず、ステップＳ１１において、管理制御部１９は、管理データベース２０に登録するデータの入力を受け付ける。なお、データの入力操作は、管理コンピュータ３がマウスまたはキーボードなどの入力装置を用いて行われても良いし、ネットワークを介して接続された他のコンピュータから入力操作が行われても良い。

次のステップＳ１２において、管理制御部１９は、入力を受け付けたデータに含まれる対象機器ＩＤを対象機器管理テーブル（図４（Ｂ）参照）に登録する。

次のステップＳ１３において、管理制御部１９は、入力を受け付けたデータに含まれる対象機器８の３Ｄ位置情報を対象機器管理テーブル（図４（Ｂ）参照）に登録する。

次のステップＳ１４において、管理制御部１９は、入力を受け付けたデータに含まれる対象機器８のサポートＩＤを対象機器管理テーブル（図４（Ｂ）参照）に登録するとともに、このサポートＩＤに対応するサポート情報を管理データベース２０に登録する。

次のステップＳ１５において、管理制御部１９は、入力を受け付けたデータに含まれる対象機器８に関連する情報を対象機器管理テーブル（図４（Ｂ）参照）に登録する。例えば、マーカＩＤと外観画像ＩＤと３Ｄ形状ＩＤと状態情報ＩＤと端末ＩＤとユーザＩＤとを対象機器管理テーブルに登録する。

なお、詳しい説明を省略するが、この事前情報登録処理において、基準位置管理テーブル（図４（Ａ）参照）に、基準位置ＩＤと３Ｄ位置情報とマーカＩＤと対象機器ＩＤとを登録する処理を実行しても良い。

次に、携帯端末２が実行する端末制御処理について図１４のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。この処理は、一定時間毎に繰り返される処理である。他の処理を実行中に、この処理を割り込ませて実行しても良い。

図１４に示すように、まず、ステップＳ２１において、端末制御部３０は、メイン制御処理を実行する。このメイン制御処理では、携帯端末２に搭載されるディスプレイ２５などの各種デバイスを制御する処理が行われる。

次のステップＳ２２において、端末制御部３０は、操作受付処理を実行する。この操作受付処理では、操作入力部２６により所定の入力操作を受け付ける処理が行われる。

次のステップＳ２３において、端末制御部３０は、データベースアクセス処理を実行する。このデータベースアクセス処理では、管理コンピュータ３の管理データベース２０にアクセスし、各種データのダウンロード処理またはアップロード処理が行われる。

次のステップＳ２４において、端末制御部３０は、マーカ認識処理を実行する。このマーカ認識処理では、ステレオカメラ２１で撮影された撮影画像に基づいて、マーカ１５，１６を認識する処理が行われる。

次のステップＳ２５において、端末制御部３０は、自己位置推定処理を実行する。この自己位置推定処理では、撮影画像と加速度情報と角速度情報とに基づいて携帯端末２の位置および姿勢を推定する処理が行われる。

次のステップＳ２６において、端末制御部３０は、ナビゲーション表示処理を実行する。このナビゲーション表示処理では、ディスプレイ２５にナビゲーション画面（図５参照）を表示させてナビゲーション機能を実現する処理が行われる。

次のステップＳ２７において、端末制御部３０は、対象認識処理を実行する。この対象認識処理では、撮影画像に写る保全活動の対象となる対象部分としての対象機器８を認識する処理が行われる。

次のステップＳ２８において、端末制御部３０は、保全サポート処理を実行する。この保全サポート処理では、ディスプレイ２５にサポート情報を含むサポート画像９を表示する処理が行われる。

次のステップＳ２９において、端末制御部３０は、報告書作成処理を実行する。この報告書作成処理では、報告書作成部３８により報告書を自動作成する処理が行われる。

次に、携帯端末２が実行するデータベースアクセス処理について図１５のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。

図１５に示すように、まず、ステップＳ３１において、端末制御部３０は、携帯端末２が管理コンピュータ３とオンライン接続中であり、管理データベース２０にアクセス中であるか否かを判定する。ここで、管理データベース２０にアクセス中でない場合（ステップＳ３１がＮＯ）は、処理を終了する。一方、管理データベース２０にアクセス中である場合（ステップＳ３１がＹＥＳ）は、ステップＳ３２に進む。

次のステップＳ３２において、端末制御部３０は、作業者Ｗにより携帯端末２が操作されて作業開始の入力操作を受け付けたか否かを判定する。ここで、作業開始の入力操作を受け付けていない場合（ステップＳ３２がＮＯ）は、後述のステップＳ３５に進む。一方、作業開始の入力操作を受け付けた場合（ステップＳ３２がＹＥＳ）は、ステップＳ３３に進む。

次のステップＳ３３において、端末制御部３０は、作業現場で携帯端末２が管理コンピュータ３と接続していない状態、つまり、オフラインで作業する予定であるか否かを判定する。ここで、オフラインで作業する予定でない場合（ステップＳ３３がＮＯ）は、後述のステップＳ３５に進む。一方、オフラインで作業する予定である場合（ステップＳ３３がＹＥＳ）は、ステップＳ３４に進む。

次のステップＳ３４において、端末制御部３０（対象情報取得部４４）は、データのダウンロード処理を実行する。このデータのダウンロード処理では、管理データベース２０に登録された各種データをダウンロードし、記憶部２７に記憶させる処理を行う。このダウンロードされるデータには、外観画像と３次元形状情報とサポート情報と状態情報とが含まれる。さらに、基準位置管理テーブル（図４（Ａ））と対象機器管理テーブル（図４（Ｂ））とがダウンロードされる。

次のステップＳ３５において、端末制御部３０は、作業者Ｗにより携帯端末２が操作されて作業終了の入力操作を受け付けたか否かを判定する。ここで、作業終了の入力操作を受け付けていない場合（ステップＳ３５がＮＯ）は、処理を終了する。一方、作業終了の入力操作を受け付けた場合（ステップＳ３５がＹＥＳ）は、ステップＳ３６に進む。

次のステップＳ３６において、端末制御部３０は、オフライン状態で作業したときのデータが記憶部２７に記憶されているか否かを判定する。ここで、オフライン状態で作業したときのデータがない場合（ステップＳ３６がＮＯ）は、処理を終了する。一方、オフライン状態で作業したときのデータがある場合（ステップＳ３６がＹＥＳ）は、ステップＳ３７に進む。

次のステップＳ３７において、データベース登録部３９は、データのアップロード処理を実行する。このデータのアップロード処理では、記憶部２７に記憶されたオフライン状態で作業したときのデータを管理コンピュータ３にアップロードし、管理データベース２０に登録する処理を行う。このアップロードされるデータに対象機器８の状態情報が含まれる。そして、処理を終了する。

次に、携帯端末２が実行するマーカ認識処理について図１６のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。

図１６に示すように、まず、ステップＳ４１において、撮影画像取得部３１は、ステレオカメラ２１により撮影された撮影画像を取得する。

次のステップＳ４２において、端末制御部３０は、取得した撮影画像にマーカ１５，１６が写っているか否かを判定する。ここで、撮影画像にマーカ１５，１６が写っていない場合（ステップＳ４２がＮＯ）は、処理を終了する。一方、撮影画像にマーカ１５，１６が写っている場合（ステップＳ４２がＹＥＳ）は、ステップＳ４３に進む。

次のステップＳ４３において、マーカ情報取得部４５は、マーカ１５，１６の図形に含まれるマーカＩＤを読み取る。

次のステップＳ４４において、端末制御部３０は、撮影画像に写っているものが基準位置に対応する基準マーカ１５であるか否かを判定する。ここで、基準マーカ１５でない場合（ステップＳ４４がＮＯ）は、後述のステップＳ４６に進む。一方、基準マーカ１５である場合（ステップＳ４４がＹＥＳ）は、ステップＳ４５に進む。

次のステップＳ４５において、マーカ位置取得部としてのマーカ情報取得部４５は、読み取ったマーカＩＤに対応する基準位置ＩＤの３Ｄ位置情報を管理データベース２０または記憶部２７から取得する。そして、処理を終了する。

ステップＳ４４がＮＯの場合に進むステップＳ４６において、端末制御部３０は、撮影画像に写っているものが対象機器８に対応する対象マーカ１６であるか否かを判定する。ここで、対象マーカ１６でない場合（ステップＳ４６がＮＯ）は、処理を終了する。一方、対象マーカ１６である場合（ステップＳ４６がＹＥＳ）は、ステップＳ４７に進む。

次のステップＳ４７において、マーカ情報取得部４５は、読み取ったマーカＩＤに対応する対象機器ＩＤの３Ｄ位置情報を管理データベース２０または記憶部２７から取得する。そして、処理を終了する。

次に、携帯端末２が実行する自己位置推定処理について図１７のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。

図１７に示すように、まず、ステップＳ５１において、位置姿勢推定部４０は、座標の原点となる基準位置の設定に基づく座標の確認処理を行う。例えば、建物１０の出入口１３に設けられた１つの基準マーカ１５を原点として基準位置を設定する。なお、基準マーカ１５の撮影画像が取得されるまでの間、ディスプレイ２５に基準マーカ１５の撮影を促す旨の表示を行っても良い。

次のステップＳ５２において、撮影画像取得部３１は、ステレオカメラ２１により撮影された撮影画像を取得する。

次のステップＳ５３において、加速度情報取得部３２は、加速度センサ２２で検出された加速度の値を示す加速度情報を取得する。

次のステップＳ５４において、角速度情報取得部３３は、角速度センサ２３で検出された角速度の値を示す角速度情報を取得する。

次のステップＳ５５において、３次元形状測定部４１は、ステレオカメラ２１の撮影画像に基づいて携帯端末２の周辺の物体の３次元形状を測定する。また、３次元測定センサ２４の測定に基づいて携帯端末２の周辺の物体の３次元形状を取得しても良い。

次のステップＳ５６において、位置姿勢推定部４０は、携帯端末２の周辺環境の情報を含む環境地図を作成する。なお、予め作成された環境地図がある場合には、その環境地図を更新する。

次のステップＳ５７において、位置姿勢推定部４０は、基準位置から携帯端末２が移動するときに連続的に撮影された撮影画像に基づいて、携帯端末２の位置および姿勢を推定する。この移動中の携帯端末２の位置および姿勢を時刻情報とともに記録することで、携帯端末２の移動経路１７（図３参照）が記録される。

次のステップＳ５８において、位置姿勢推定部４０は、携帯端末２の現在の位置および姿勢を推定する。そして、処理を終了する。

次に、携帯端末２が実行する対象認識処理について図１８のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。

図１８に示すように、まず、ステップＳ６１において、撮影画像取得部３１は、ステレオカメラ２１により撮影された撮影画像を取得する。

次のステップＳ６２において、外観画像取得部４６は、保全活動の対象となる対象機器８の外観画像を管理データベース２０または記憶部２７から取得する。

次のステップＳ６３において、対象認識部４２は、外観画像に基づく対象機器８の認識処理を実行する。この認識処理では、作業前に予め撮影された対象機器８の外観を写した外観画像に基づいて対象機器８が認識される。

次のステップＳ６４において、３次元形状測定部４１は、ステレオカメラ２１の撮影画像に基づいて携帯端末２の周辺の物体の３次元形状を測定する。また、３次元測定センサ２４の測定に基づいて携帯端末２の周辺の物体の３次元形状を取得しても良い。

次のステップＳ６５において、形状情報取得部４７は、保全活動の対象となる対象機器８の３次元形状情報を管理データベース２０または記憶部２７から取得する。

次のステップＳ６６において、対象認識部４２は、３次元形状情報に基づく対象機器８の認識処理を実行する。この認識処理では、作業前に予め取得された対象機器８の３次元形状情報に基づいて対象機器８が認識される。

次のステップＳ６７において、端末制御部３０は、撮影画像に対象マーカ１６が写っており、そのマーカＩＤが読み取られているか否かを判定する。ここで、マーカＩＤが読み取られていない場合（ステップＳ６７がＮＯ）は、後述のステップＳ６９に進む。一方、マーカＩＤが読み取られている場合（ステップＳ６７がＹＥＳ）は、ステップＳ６８に進む。

次のステップＳ６８において、対象認識部４２は、対象マーカ１６に基づく対象機器８の認識処理を実行する。この認識処理では、対象マーカ１６に基づいて対象機器８が認識される。

次のステップＳ６９において、対象位置取得部としての対象情報取得部４４は、保全活動の対象となる対象機器８の３Ｄ位置情報を管理データベース２０または記憶部２７から取得する。

次のステップＳ７０において、対象認識部４２は、携帯端末２の位置および姿勢に基づく対象機器８の認識処理を実行する。この認識処理では、携帯端末２の位置および姿勢に基づいて対象機器８が認識される。

なお、対象認識処理では、複数の認識処理が実行されるが、先の認識処理で既に対象機器８が認識されている場合は、後の認識処理を省略しても良い。また、先の認識処理で既に対象機器８が認識されており、その認識結果と後の認識結果が異なる場合は、いずれかの１つの認識結果を優先して処理を継続する。

次のステップＳ７１において、前述の認識処理で対象機器８が認識されたか否かを判定する。ここで、対象機器８が認識されていない場合（ステップＳ７１がＮＯ）は、処理を終了する。一方、対象機器８が認識された場合（ステップＳ７１がＹＥＳ）は、ステップＳ７２に進む。

次のステップＳ７２において、端末制御部３０は、認識された対象機器８をサポート情報の提供の対象として設定する。そして、処理を終了する。

次に、携帯端末２が実行する保全サポート処理について図１９のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。

図１９に示すように、まず、ステップＳ８１において、撮影画像取得部３１は、ステレオカメラ２１により撮影された撮影画像を取得する。

次のステップＳ８２において、端末制御部３０は、サポート情報の提供の対象として設定された対象機器８があるか否かを判定する。ここで、サポート情報の提供の対象として設定された対象機器８がない場合（ステップＳ８２がＮＯ）は、後述のステップＳ９３に進む。一方、サポート情報の提供の対象として設定された対象機器８がある場合（ステップＳ８２がＹＥＳ）は、ステップＳ８３に進む。

次のステップＳ８３において、写真記録限定部４３は、写真撮影ボタン５０（図６から図１１参照）をディスプレイ２５に表示する。つまり、写真撮影ボタン５０がディスプレイ２５に表示されていないときには、その表示を開始するとともに、写真撮影ボタン５０のタッチ操作の受け付けも開始する。

次のステップＳ８４において、端末制御部３０は、写真撮影ボタン５０がタッチ操作されたか否かを判定する。ここで、写真撮影ボタン５０がタッチ操作されていない場合（ステップＳ８４がＮＯ）は、処理を終了する。一方、写真撮影ボタン５０がタッチ操作された場合（ステップＳ８４がＹＥＳ）は、ステップＳ８５に進む。

次のステップＳ８５において、端末制御部３０は、写真記録処理を実行する。この写真記録処理では、写真撮影ボタン５０がタッチ操作されたときにステレオカメラ２１で撮影されていた撮影画像を記憶部２７に記憶する処理が行われる。

次のステップＳ８６において、サポート情報取得部４８は、認識された対象機器８のサポート情報を管理データベース２０または記憶部２７から取得する。

次のステップＳ８７において、表示内容制御部３５は、対象機器管理テーブル（図４（Ｂ））を参照し、サポート画像９の提供対象として設定された対象機器８の対象機器ＩＤに対応付けて、携帯端末２の端末ＩＤまたは作業者ＷのユーザＩＤが登録されているか否かの判定を行う。つまり、サポート画像９の表示が許可されているか否かの判定を行う。ここで、サポート画像９の表示が許可されていない場合（ステップＳ８７がＮＯ）は、処理を終了する。一方、サポート画像９の表示が許可されている場合（ステップＳ８７がＹＥＳ）は、ステップＳ８８に進む。

次のステップＳ８８において、重畳表示部３４は、重畳表示処理を実行する。この重畳表示処理では、ディスプレイ２５に写る対象機器８にサポート画像９を重ねて表示する処理が行われる。

次のステップＳ８９において、結果記録部３７は、計器読取処理を実行する。この計器読取処理では、例えば、ステレオカメラ２１で撮影したアナログ計器８Ａ（図６参照）の数値を自動的に読み取る処理が行われる。

次のステップＳ９０において、結果記録部３７は、結果記録処理を実行する。この結果記録処理では、例えば、読み取られたアナログ計器８Ａの数値を記憶部２７に記憶させる処理が行われる。また、管理コンピュータ３に接続中である場合には、読み取られたアナログ計器８Ａの数値を管理データベース２０に登録させる処理が行われる。

次のステップＳ９１において、情報貼付部３６は、ディスプレイ２５に表示中の対象機器８の部分がタッチ操作されたか否か、つまり、ＡＲタグ４９（図１１参照）の貼付操作の入力があるか否かを判定する。ここで、ＡＲタグ４９の貼付操作の入力がない場合（ステップＳ９１がＮＯ）は、処理を終了する。一方、ＡＲタグ４９の貼付操作の入力がある場合（ステップＳ９１がＹＥＳ）は、ステップＳ９２に進む。

次のステップＳ９２において、情報貼付部３６は、情報貼付処理を実行する。この情報貼付処理では、文字入力画面を表示し、テキストデータの入力を受け付ける。そして、このとき入力されたテキストデータがＡＲタグ４９に書き込まれる。このＡＲタグ４９に書き込まれたデータは、サポート情報の一部として登録される。つまり、前述の重畳表示処理にて、ディスプレイ２５に表示中の対象機器８の画像にＡＲタグ４９の画像を重ねて表示する処理が実行される。そして、処理を終了する。

前述のステップＳ８２がＮＯの場合に進むステップＳ９３において、写真記録限定部４３は、写真撮影ボタン５０（図６から図１１参照）を非表示にする。つまり、写真撮影ボタン５０がディスプレイ２５に表示中であるときには、その表示を終了するとともに、写真撮影ボタン５０のタッチ操作の受け付けも終了する。そして、処理を終了する。

（第２実施形態）
次に、第２実施形態の保全活動サポートシステム１Ａおよび保全活動サポート方法について図２０から図２２を用いて説明する。なお、前述した実施形態に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。

前述の第１実施形態では、携帯端末２にて環境地図の作成が行われるが、第２実施形態では、管理コンピュータ３にて環境地図の作成が行われる点が異なる。第２実施形態では、端末制御部３０Ａに位置姿勢推定部４０（図２参照）が設けられておらず、その替りに管理制御部１９Ａに位置姿勢推定部６９（図２０参照）が設けられている。

なお、第２実施形態では、作業現場において携帯端末２と管理コンピュータ３とが常時オンライン接続可能な環境で使用される態様を例示する。

図２０に示すように、管理コンピュータ３の管理制御部１９Ａは、携帯端末２に搭載されたデバイスにより得られた情報に基づいて携帯端末２の位置および姿勢を推定する位置姿勢推定部６９を備える。ここで、携帯端末２に搭載されたデバイスとは、ステレオカメラ２１と加速度センサ２２と角速度センサ２３と３次元測定センサ２４とを含む。

管理コンピュータ３は、管理通信部１８により携帯端末２と通信を行い、携帯端末２にて取得された撮影画像と加速度情報と角速度情報と３次元特徴点群データとを受信する。なお、携帯端末２が基準マーカ１５に基づいて設定した基準位置を示す情報を受信しても良い。

位置姿勢推定部６９は、携帯端末２から取得した撮影画像と加速度情報と角速度情報と３次元特徴点群データとに基づいて携帯端末２の位置および姿勢を推定する。さらに、この位置姿勢推定部６９は、携帯端末２の位置および姿勢の推定と同時に携帯端末２の周辺環境の情報を含む環境地図の作成を行う。つまり、位置姿勢推定部６９では、ＶＳＬＡＭ技術を用いている。なお、位置姿勢推定部６９にて作成された環境地図は、管理データベース２０に登録される。

携帯端末２では、ステレオカメラ２１および３次元測定センサ２４で取得した情報を用いて、携帯端末２の周辺の物体の特徴点を抽出することができる。この特徴点の集合させた３次元特徴点群データが、管理コンピュータ３に送信される。管理コンピュータ３は、ステレオカメラ２１で撮影した撮影画像（動画像）を解析し、物体の特徴点をリアルタイムに追跡する。この３次元特徴点群データに基づいて、携帯端末２の位置および姿勢の３次元情報を推定することができる。さらに、この３次元特徴点群データに基づいて、環境地図を作成することができる。また、時系列に得られる一連の携帯端末２の位置および姿勢から、携帯端末２の現在位置および現在姿勢に先立つ携帯端末２の移動経路１７（図３参照）が得られる。

次に、携帯端末２が実行する自己位置推定処理について図２１を用いて説明する。なお、図２０に示すブロック図を適宜参照する。

図２１に示すように、まず、ステップＳ５１Ａにおいて、端末制御部３０Ａは、基準位置を取得する。例えば、建物１０の出入口１３に設けられた１つの基準マーカ１５を原点として基準位置を取得する。

次のステップＳ５２において、撮影画像取得部３１は、ステレオカメラ２１により撮影された撮影画像を取得する。

次のステップＳ５３において、加速度情報取得部３２は、加速度センサ２２で検出された加速度の値を示す加速度情報を取得する。

次のステップＳ５４において、角速度情報取得部３３は、角速度センサ２３で検出された角速度の値を示す角速度情報を取得する。

次のステップＳ５５において、３次元形状測定部４１は、ステレオカメラ２１の撮影画像に基づいて携帯端末２の周辺の物体の３次元形状を測定する。また、３次元測定センサ２４の測定に基づいて携帯端末２の周辺の物体の３次元形状を取得しても良い。

次のステップＳ５６Ａにおいて、端末制御部３０Ａは、携帯端末２のデバイスで取得したデータを管理コンピュータ３に送信する。この取得したデータには、基準位置と撮影画像と加速度情報と角速度情報と携帯端末２の周辺の物体の３次元形状とが含まれる。そして、管理コンピュータ３が実行する後述の端末位置推定処理にて携帯端末２の位置および姿勢が推定される。

次のステップＳ５７Ａにおいて、端末制御部３０Ａは、管理コンピュータ３から携帯端末２の位置および姿勢を示すデータを受信する。そして、処理を終了する。

次に、管理コンピュータ３が実行する端末位置推定処理について図２２のフローチャートを用いて説明する。なお、図２０に示すブロック図を適宜参照する。この処理は、管理データベース２０に対して携帯端末２からアクセスがあった場合に実行される処理である。

図２２に示すように、まず、ステップＳ１０１において、管理制御部１９Ａは、携帯端末２からデータを受信する。このデータには、携帯端末２のデバイスで取得された基準位置と撮影画像と加速度情報と角速度情報と携帯端末２の周辺の物体の３次元形状とが含まれる。ここで、位置姿勢推定部６９は、携帯端末２の座標の原点となる基準位置の設定に基づく座標の確認処理を行う。

次のステップＳ１０２において、位置姿勢推定部６９は、携帯端末２の周辺環境の情報を含む環境地図を作成する。この作成された環境地図は、管理データベース２０に登録される。なお、予め作成された環境地図がある場合には、その環境地図を更新する。

次のステップＳ１０３において、位置姿勢推定部６９は、基準位置から携帯端末２が移動するときに連続的に撮影された撮影画像に基づいて、携帯端末２の位置および姿勢を推定する。この移動中の携帯端末２の位置および姿勢を時刻情報とともに記録することで、携帯端末２の移動経路１７（図３参照）が記録される。

次のステップＳ１０４において、位置姿勢推定部６９は、携帯端末２の現在の位置および姿勢を示すデータを携帯端末２に送信する。そして、処理を終了する。

第２実施形態では、携帯端末２の位置および姿勢を推定する処理と、環境地図を作成する処理とが管理コンピュータ３で実行されるため、携帯端末２の処理負荷を低減させることができる。また、携帯端末２に環境地図が記憶されないため、万が一、携帯端末２が外部に持ち出されたとしても、環境地図などの作業現場の状況が分かる機密情報が外部に漏洩されずに済むようになる。

本実施形態に係る保全活動サポートシステムおよび保全活動サポート方法を第１実施形態から第２実施形態に基づいて説明したが、いずれか１の実施形態において適用された構成を他の実施形態に適用しても良いし、各実施形態において適用された構成を組み合わせても良い。

例えば、作業現場において携帯端末２と管理コンピュータ３とが常時オンライン接続可能な環境で使用する場合には、第２実施形態を用いるようにし、オンライン接続ができなくなる可能性がある場合には、第１実施形態を用いるように、実施形態を切り換えられるようにしても良い。

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

なお、携帯端末２が魚眼レンズ付カメラを備えても良い。例えば、２つの魚眼レンズ付カメラを用いて作業者Ｗの上下左右全方位の３６０度パノラマ画像である全天球画像の同時撮影を行っても良い。そして、全天球画像に写る対象機器８を認識する処理を行っても良い。

なお、携帯端末２または管理コンピュータ３には、機械学習を行う人工知能（ＡＩ：Artificial Intelligence）を備えるコンピュータが含まれても良い。例えば、対象認識部４２が人工知能を備えても良い。また、携帯端末２または管理コンピュータ３には、深層学習に基づいて、複数のパターンから特定のパターンを抽出する深層学習部が含まれても良い。そして、撮影画像に写った対象機器８に関する外観画像または３次元形状を人工知能に機械学習させるようにし、この機械学習に基づいて、撮影画像に写った対象機器８を認識させるようにしても良い。

本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。

本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。

例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、ユニット数、学習率、学習回数、活性化関数を設定することができる。

なお、保全活動サポートシステムでは、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。

例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に特徴マップにおいて着目する領域に含まれる画素の最大値を得ることで、特徴量の位置の多少のずれも吸収することができる。

畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。

なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。

なお、本実施形態に適用可能な透過型ヘッドマウントディスプレイ４は、透過型スクリーン（例えば、ハーフミラー）と、この透過型スクリーンに画像を投影する投影機器（例えば、プロジェクタ）とを備える。作業者Ｗは、透過型ヘッドマウントディスプレイ４を通して外部の風景を視認しつつ、表示される画像を視認することができる。透過型ヘッドマウントディスプレイ４に表示される画像は、背景が見える所定の透過率を有する態様で表示される。また、背景が見えなくなる非透過の態様で表示しても良い。

なお、本実施形態のウェアラブルコンピュータ２Ｂが備えるヘッドマウントディスプレイ４は、人間の網膜に直接映像を投影する網膜投影型ヘッドマウントディスプレイであっても良い。このようにすれば、作業者の視力に左右されずにクリアなサポート画像９を見ることができる。また、サポート画像９が表示される範囲、つまり、視野角を大きくすることができる。また、ヘッドマウントディスプレイの省電力化、小型化、または軽量化を図ることができる。

なお、本実施形態の携帯端末２は、周辺の物体に映像を投影（表示）するプロジェクタを備えても良い。そして、プロジェクションマッピング技術を用いて携帯端末２が周辺の物体にサポート画像９の映像を投影するようにしても良い。このようにすれば、携帯端末２を所持する作業者以外の周辺の作業者に対してもサポート情報を提供することができる。

なお、本実施形態の携帯端末２は、作業者が持運びできる大きさおよび重さであれば良い。例えば、作業現場において、三脚などの固定器具を用いて携帯端末２を固定的に設置して使用しても良い。

なお、本実施形態の携帯端末２の位置を特定するために、衛星測位システムを補助的に用いても良い。

なお、本実施形態の携帯端末２に搭載されたデバイスとして、レンズ付きの２つの画像素子を備えるステレオカメラ２１を例示しているが、その他の態様であっても良い。例えば、レンズ付きの１つの画像素子を備える通常のカメラを携帯端末２に搭載しても良い。この通常のカメラを携帯端末２に搭載してＶＳＬＡＭ技術を用いる場合には、通常のカメラおよび３次元測定センサ２４で取得した情報を用いて、携帯端末２の周辺の物体の特徴点を抽出し、携帯端末２の位置および姿勢を推定する。

なお、本実施形態では、携帯端末２のステレオカメラ２１および３次元測定センサ２４で取得した情報を用いて、携帯端末２の周辺の物体の特徴点を抽出しているが、その他の態様であっても良い。例えば、ステレオカメラ２１のみで取得した情報を用いて、携帯端末２の周辺の物体の特徴点を抽出しても良い。ステレオカメラ２１は、物体を複数の異なる方向から同時に撮影することにより、その物体までの奥行き方向の情報が取得可能となっている。そのため、３次元測定センサ２４を用いなくても、携帯端末２の周辺の物体の特徴点を抽出することができる。そして、携帯端末２の位置および姿勢を推定することができる。

以上説明した実施形態によれば、端末に搭載されたデバイスにより得られた情報に基づいて端末の位置および姿勢を推定する位置姿勢推定部を備えることにより、ヒューマンエラーを低減させるとともに作業の効率化を図れる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１（１Ａ）…保全活動サポートシステム、２…携帯端末、２Ａ…スマートフォン、２Ｂ…ウェアラブルコンピュータ、３…管理コンピュータ、４…ヘッドマウントディスプレイ、５…コンピュータ本体、６…ディスプレイ、７…無線通信装置、８…対象機器、８Ａ…アナログ計器、８Ｂ…スイッチ、８Ｃ…バルブ、８Ｄ…部品、８Ｅ…計器、９…サポート画像、１０…建物、１１…壁、１２…部屋、１３…建物の出入口、１４…部屋の出入口、１５…基準マーカ、１６…対象マーカ、１７…移動経路、１８…管理通信部、１９（１９Ａ）…管理制御部、２０…管理データベース、２１…ステレオカメラ、２２…加速度センサ、２３…角速度センサ、２４…３次元測定センサ、２５…ディスプレイ、２６…操作入力部、２７…記憶部、２８…計時部、２９…端末通信部、３０（３０Ａ）…端末制御部、３１…撮影画像取得部、３２…加速度情報取得部、３３…角速度情報取得部、３４…重畳表示部、３５…表示内容制御部、３６…情報貼付部、３７…結果記録部、３８…報告書作成部、３９…データベース登録部、４０…位置姿勢推定部、４１…３次元形状測定部、４２…対象認識部、４３…写真記録限定部、４４…対象情報取得部、４５…マーカ情報取得部、４６…外観画像取得部、４７…形状情報取得部、４８…サポート情報取得部、４９…ＡＲタグ、５０…写真撮影ボタン、５１…見取図、５２，５３…マーク画像、５４，５５…選択入力部、５６…項目、５７…装置、５８…記録用リスト、５９…チェックボックス、６０…配電装置、６１…チェックリスト、６２…チェックボックス、６３…配管、６４…駆動装置、６５…配管、６６，６７…選択入力部、６８…点検結果リスト、６９…位置姿勢推定部、Ｍ…管理者、Ｗ…作業者。

Claims (13)

1. 保全活動をサポートするサポート情報と前記保全活動のエリアに関する位置情報とが登録されたデータベースと、
   前記保全活動を行う作業者が所持する端末に搭載されたカメラにより撮影された撮影画像を取得する撮影画像取得部と、
   前記撮影画像に写る前記保全活動の対象となる対象部分に対応する前記位置情報を前記データベースから取得する対象位置取得部と、
   前記端末に搭載されたデバイスであり、加速度センサおよび角速度センサを含み、さらに深度センサまたは前記カメラの少なくとも一方を含む前記デバイスにより得られた情報に基づいて前記端末の位置および姿勢を推定するとともに前記端末の周辺環境に関する物体の３次元形状情報を含む環境地図の作成を行う位置姿勢推定部と、
   前記端末の位置および姿勢と前記対象部分に対応する前記位置情報と前記環境地図とに基づいて、前記撮影画像に写る前記保全活動の対象となる前記対象部分を認識する対象認識部と、
   前記作業者が視認する前記対象部分の像の少なくとも一部に前記データベースから取得した前記対象部分に対応する前記サポート情報を重ねて表示する重畳表示部と、
   前記作業者が前記保全活動のエリアで撮影を行うことを制限する写真記録限定部と、
   を備え、
   前記写真記録限定部は、
   前記カメラにより撮影された前記撮影画像を取得したときに、前記撮影画像に写る前記対象部分が、前記サポート情報に関連しているか否かを判定し、
   前記撮影画像に写る前記対象部分が、前記サポート情報に関連している場合に、写真撮影ボタンを前記端末に表示し、前記作業者により前記写真撮影ボタンが操作されたときに前記撮影画像を記憶し、
   前記撮影画像に写る前記対象部分が、前記サポート情報に関連していない場合に、前記写真撮影ボタンを前記端末に表示しない、
   処理を実行するように構成されている、
   保全活動サポートシステム。
2. 前記データベースには、前記対象部分に対応付けて前記保全活動のエリアに予め設けられたマーカに関する前記位置情報が登録されており、
   前記撮影画像に写る前記マーカに対応する前記位置情報を前記データベースから取得するマーカ位置取得部を備え、
   前記対象認識部は、前記マーカに対応する前記位置情報に基づいて前記対象部分を認識する、
   請求項１に記載の保全活動サポートシステム。
3. 前記マーカは、複数の前記マーカを個々に識別可能な識別情報を含む、
   請求項２に記載の保全活動サポートシステム。
4. 前記マーカは、前記対象部分または前記対象部分の近接位置に設けられており、
   前記対象認識部は、前記マーカが写る前記撮影画像に基づいて前記対象部分を認識する、
   請求項２または請求項３に記載の保全活動サポートシステム。
5. 前記マーカは、前記保全活動のエリアの基準位置に設けられており、
   前記位置姿勢推定部は、前記基準位置から前記端末が移動するときに連続的に撮影された前記撮影画像に基づいて前記端末の位置および姿勢を推定する、
   請求項２または請求項３に記載の保全活動サポートシステム。
6. 前記データベースには、予め撮影された前記対象部分に関する物体の外観を写した外観画像が登録されており、
   前記外観画像を前記データベースから取得する外観画像取得部を備え、
   前記対象認識部は、前記外観画像に基づいて前記対象部分を認識する、
   請求項１に記載の保全活動サポートシステム。
7. 前記データベースには、予め取得された前記対象部分に関する物体の前記３次元形状情報が登録されており、
   前記３次元形状情報を前記データベースから取得する形状情報取得部と、
   前記撮影画像に基づいて前記端末の周辺の物体の３次元形状を測定する３次元形状測定部と、
   を備え、
   前記対象認識部は、前記３次元形状情報に基づいて前記対象部分を認識する、
   請求項１に記載の保全活動サポートシステム。
8. 前記重畳表示部は、前記対象部分の位置を示す前記サポート情報を表示する、
   請求項１から請求項７のいずれか１項に記載の保全活動サポートシステム。
9. 前記重畳表示部は、前記対象部分の状態を示す前記サポート情報を表示する、
   請求項１から請求項８のいずれか１項に記載の保全活動サポートシステム。
10. 前記重畳表示部は、前記対象部分の前記保全活動の結果を示す前記サポート情報を表示する、
    請求項１から請求項９のいずれか１項に記載の保全活動サポートシステム。
11. 保全活動を行う作業者が所持する端末は、
    前記保全活動をサポートするサポート情報と前記保全活動のエリアに関する位置情報とが登録されたデータベースを有する管理コンピュータと通信を行う端末通信部と、
    加速度センサおよび角速度センサを含み、さらに深度センサまたはカメラの少なくとも一方を含むデバイスと、
    前記カメラにより撮影された撮影画像を取得する撮影画像取得部と、
    前記撮影画像に写る前記保全活動の対象となる対象部分に対応する前記位置情報を前記データベースから取得する対象位置取得部と、
    前記デバイスにより得られた情報に基づいて前記端末の位置および姿勢を推定するとともに前記端末の周辺環境に関する物体の３次元形状情報を含む環境地図の作成を行う位置姿勢推定部と、
    前記端末の位置および姿勢と前記対象部分に対応する前記位置情報と前記環境地図とに基づいて、前記撮影画像に写る前記保全活動の対象となる前記対象部分を認識する対象認識部と、
    前記作業者が視認する前記対象部分の像の少なくとも一部に前記データベースから取得した前記対象部分に対応する前記サポート情報を重ねて表示する重畳表示部と、
    前記作業者が前記保全活動のエリアで撮影を行うことを制限する写真記録限定部と、
    を備え、
    前記写真記録限定部は、
    前記カメラにより撮影された前記撮影画像を取得したときに、前記撮影画像に写る前記対象部分が、前記サポート情報に関連しているか否かを判定し、
    前記撮影画像に写る前記対象部分が、前記サポート情報に関連している場合に、写真撮影ボタンを前記端末に表示し、前記作業者により前記写真撮影ボタンが操作されたときに前記撮影画像を記憶し、
    前記撮影画像に写る前記対象部分が、前記サポート情報に関連していない場合に、前記写真撮影ボタンを前記端末に表示しない、
    処理を実行するように構成されている、
    保全活動サポートシステム。
12. 保全活動を行う作業者が所持する端末を管理する管理コンピュータは、
    前記端末と通信を行う管理通信部と、
    前記保全活動をサポートするサポート情報と前記保全活動のエリアに関する位置情報とが登録されたデータベースと、
    前記端末に搭載されたデバイスであり、加速度センサおよび角速度センサを含み、さらに深度センサまたはカメラの少なくとも一方を含む前記デバイスにより得られた情報に基づいて前記端末の位置および姿勢を推定するとともに前記端末の周辺環境に関する物体の３次元形状情報を含む環境地図の作成を行う位置姿勢推定部と、
    を備え、
    前記端末は、
    前記カメラにより撮影された撮影画像を取得し、
    前記撮影画像に写る前記保全活動の対象となる対象部分に対応する前記位置情報を前記データベースから取得し、
    前記端末の位置および姿勢と前記対象部分に対応する前記位置情報と前記環境地図とに基づいて、前記撮影画像に写る前記保全活動の対象となる前記対象部分を認識し、
    前記作業者が視認する前記対象部分の像の少なくとも一部に前記データベースから取得した前記対象部分に対応する前記サポート情報を重ねて表示し、
    前記作業者が前記保全活動のエリアで撮影を行うことを制限する、
    処理を実行するように構成されており、
    前記制限する処理は、
    前記カメラにより撮影された前記撮影画像を取得したときに、前記撮影画像に写る前記対象部分が、前記サポート情報に関連しているか否かを判定し、
    前記撮影画像に写る前記対象部分が、前記サポート情報に関連している場合に、写真撮影ボタンを前記端末に表示し、前記作業者により前記写真撮影ボタンが操作されたときに前記撮影画像を記憶し、
    前記撮影画像に写る前記対象部分が、前記サポート情報に関連していない場合に、前記写真撮影ボタンを前記端末に表示しない、
    処理である、
    保全活動サポートシステム。
13. コンピュータが以下のステップを実行する方法であって、
    保全活動をサポートするサポート情報と前記保全活動のエリアに関する位置情報とをデータベースに登録するステップと、
    前記保全活動を行う作業者が所持する端末に搭載されたカメラにより撮影された撮影画像を取得するステップと、
    前記撮影画像に写る前記保全活動の対象となる対象部分に対応する前記位置情報を前記データベースから取得するステップと、
    前記端末に搭載されたデバイスであり、加速度センサおよび角速度センサを含み、さらに深度センサまたは前記カメラの少なくとも一方を含む前記デバイスにより得られた情報に基づいて前記端末の位置および姿勢を推定するとともに前記端末の周辺環境に関する物体の３次元形状情報を含む環境地図の作成を行うステップと、
    前記端末の位置および姿勢と前記対象部分に対応する前記位置情報と前記環境地図とに基づいて、前記撮影画像に写る前記保全活動の対象となる前記対象部分を認識するステップと、
    前記作業者が視認する前記対象部分の像の少なくとも一部に前記データベースから取得した前記対象部分に対応する前記サポート情報を重ねて表示するステップと、
    前記作業者が前記保全活動のエリアで撮影を行うことを制限するステップと、
    を含み、
    前記制限するステップは、
    前記カメラにより撮影された前記撮影画像を取得したときに、前記撮影画像に写る前記対象部分が、前記サポート情報に関連しているか否かを判定し、
    前記撮影画像に写る前記対象部分が、前記サポート情報に関連している場合に、写真撮影ボタンを前記端末に表示し、前記作業者により前記写真撮影ボタンが操作されたときに前記撮影画像を記憶し、
    前記撮影画像に写る前記対象部分が、前記サポート情報に関連していない場合に、前記写真撮影ボタンを前記端末に表示しない、
    ことを含む、
    保全活動サポート方法。

Images