JP7310902B2 - 保守システム、サーバ、保守方法、及び、プログラム - Google Patents

Description

本発明は、作業現場内の設備を保守するための保守システム、サーバ、保守方法、及び、プログラムに関する。

従来、作業現場内の設備の保守などを行うシステムにおいて、設備の保守を担当する作業者に小型カメラを備えたヘッドマウントディスプレイを装着させ、小型カメラにより撮影中の画像に含まれる設備等の像に、その設備に関する情報（例えば、設備の保守に用いる情報。「設備情報」と呼ぶ）を重畳して表示する拡張現実画像を生成する技術が知られている（例えば、特許文献１を参照）。
この拡張現実画像をヘッドマウントディスプレイに表示することにより、作業者は、自身の視野内にある設備の情報を容易に参照できる。

特許第５０５５５１６号

作業現場内の設備を保守するに際して、作業者は、例えば、作業現場のレイアウトを事前に確認したい場合、作業現場に含まれる設備についてどのような設備情報が存在するかを事前に確認したい場合がある。この要望に対応するために、作業現場をモデルとして表し、そのモデルにおいて、作業現場内の設備を表すオブジェクトに、当該設備についての情報が存在することを示すアイコンを付して表示する画像（人工現実画像）を生成し、作業者に提供することが考えられる。

しかしながら、人工現実画像は作業現場をモデルとして表すものであるので、人工現実画像と作業者が実際に見ている作業現場の様子が必ずしも一致しない場合がある。そのような場合、作業者は、人工現実画像を用いて確認した設備と設備情報との関連付けに基づいても、作業現場内で実際に見ている設備にどの設備情報が関連付けられているかを明確に判断することができなくなる。

本発明の目的は、作業現場内の設備を保守する場合において、作業現場のモデルを用いて確認した設備と当該設備に関する設備情報との関連付けを、作業現場内で実際に見ている設備に対して適切に反映することにある。

以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。
本発明の一見地に係る保守システムは、作業現場内の設備を保守するための保守システムであって、サーバと、撮像装置と、表示端末と、を備える。撮像装置は、サーバと通信可能に接続される。表示端末は、サーバと通信可能に接続される。
サーバは、記憶部と、第１合成画像生成部と、対応関係解析部と、第２合成画像生成部と、送信部と、を有する。
記憶部は、設備情報と、モデル画像と、関連付け情報と、を記憶する。設備情報は、設備に関する情報である。モデル画像は、作業現場をモデルとして表す画像である。関連付け情報は、オブジェクトと設備情報とを関連付ける情報である。オブジェクトは、モデル画像において設備を表す。

第１合成画像生成部は、関連付け情報に基づいて、設備情報が関連付けられていることを示すアイコンを設備情報が関連付けられたモデル画像の対応するオブジェクトに付して第１合成画像を生成する。
対応関係解析部は、撮像装置により作業現場を実際に撮影した撮影画像とモデル画像との対応関係を解析する。
第２合成画像生成部は、対応関係解析部により解析された対応関係と関連付け情報とに基づいて、撮影画像の設備表示部分に設備情報が関連づけられていることを示すアイコンを付して第２合成画像を生成する。設備表示部分は、撮影画像内において設備を表示する部分である。
送信部は、第１合成画像及び／又は第２合成画像を表示端末に送信する。
表示端末は、送信部から受信した第１合成画像及び／又は第２合成画像を表示する。

上記の保守システムにおいては、対応関係解析部が、実際の作業現場を撮像装置により撮影した撮影画像と、作業現場の設備をオブジェクトで表現して作業現場をモデル化したモデル画像と、の対応関係を解析する。また、第２合成画像生成部が、撮影画像とモデル画像の対応関係の解析結果と関連付け情報とに基づいて、撮影画像において作業現場の実際の設備を表す設備表示部分に、設備情報が関連づけられていることを示すアイコンを付して第２合成画像を生成している。
上記の保守システムが、モデル画像を用いて生成した第１合成画像における設備と設備情報との関連付けを、作業現場内で実際に見ている撮影画像に含まれる設備表示部分に対して適切に反映して第２合成画像を生成しているので、作業現場の作業者は、作業現場内で実際に見ている設備にどの設備情報が関連付けられているかを明確に判断できる。

表示端末は、第１操作部と、第１通知部を有してもよい。第１操作部は、第１合成画像又は第２合成画像に表示されたアイコンに対する操作を受け付ける。第１通知部は、第１操作部によるアイコンに対する操作をサーバに通知する。
また、第１通知部からアイコンに対する操作がサーバに通知された場合、サーバの送信部は、操作が行われたアイコンが付されたオブジェクト又は設備表示部分に関連付けられた設備情報を、表示端末に送信してもよい。さらに、表示端末は、サーバの送信部から受信した設備情報を表示してもよい。
これにより、作業現場の各設備に関連付けられた設備情報を容易に参照できる。

表示端末は、第２操作部と、第２通知部と、を有してもよい。第２操作部は、第１合成画像を表示する第１状態、又は、第２合成画像を表示する第２状態のいずれかを選択する操作を受け付ける。第２通知部は、第２操作部による表示状態の選択結果をサーバに通知する。
また、サーバの送信部は、第２通知部から選択結果として第１状態がサーバに通知された場合、第１合成画像を表示端末に送信する。一方、第２通知部から選択結果として第２状態がサーバに通知された場合、送信部は、第２合成画像を表示端末に送信する。
これにより、表示端末は、第２操作部による操作に従って、第１合成画像と第２合成画像とを適切に切り替えて表示できる。

表示端末は、第３操作部と、第３通知部と、を有してもよい。第３操作部は、第２合成画像を表示中に、当該第２合成画像における設備表示部分と設備情報との関連付けを更新する操作を受け付ける。第３通知部は、第３操作部による、第２合成画像における設備表示部分と設備情報との関連付けの更新をサーバに通知する。
この場合、サーバの第２合成画像生成部は、第３通知部から受信した設備表示部分と設備情報との関連付けの更新内容に基づいて、表示中の第２合成画像における設備表示部分と設備情報との関連付けを更新した新たな第２合成画像を生成する。
これにより、表示中の第２合成画像において、設備表示部分と設備情報との関連付けを適宜変更できる。

サーバの第１合成画像生成部は、新たな第２合成画像に基づいて、既存の第１合成画像を更新してもよい。
これにより、新たな第２合成画像に対応するように、既存の第１合成画像におけるオブジェクトと設備情報との関連付けを変更できる。

関連付け情報は、モデル画像内の少なくとも１つのオブジェクトを基準としたオブジェクトの相対位置と設備情報とを関連付けてもよい。
これにより、対応関係の算出に要するサーバの負荷を軽減できる。

モデル画像は、複数の部分モデル画像により構成されてもよい。複数の部分モデル画像のそれぞれは、作業現場の異なる部分を表す画像である。この場合、関連付け情報は、複数の部分モデル画像のそれぞれについて作成される。
これにより、作業現場の全体を表すモデル画像を、容易に生成できる。

設備情報は、稼働情報を含んでもよい。稼働情報は、設備の稼働に関する情報である。これにより、第１合成画像及び／又は第２合成画像により、設備の稼働に関する情報（稼働情報）を容易に参照できる。

作業現場は、自動倉庫システムであってもよい。自動倉庫システムは、搬送装置を設備として含む。この場合、稼働情報は、搬送装置とその周囲の環境に関する環境データと、搬送装置にて発生した振動に関する振動データと、搬送装置にて発生したエラーに関するエラー発生情報と、を含んでもよい。
これにより、自動倉庫に備わる搬送装置について存在する情報を容易に参照できる。

設備情報は、保守情報を含んでもよい。保守情報は、設備を保守するための情報である。これにより、第１合成画像及び／又は第２合成画像により、設備を保守するための情報（保守情報）を容易に参照できる。

保守情報は、設備の部品のリストであるパーツリストと、設備のマニュアルと、設備の点検履歴と、を含んでもよい。これにより、第１合成画像及び／又は第２合成画像により、設備を保守するために用いるパーツリスト、マニュアル、点検履歴を容易に参照できる。

サーバは、複数の作業現場から、当該複数の作業現場に含まれる設備の設備情報を収集してもよい。これにより、サーバは、設備情報のクラウドとして機能できる。

本発明の他の見地に係るサーバは、作業現場内の設備を保守するためのサーバである。サーバは、記憶部と、第１合成画像生成部と、対応関係解析部と、第２合成画像生成部と、送信部と、を備える。
記憶部は、設備情報と、モデル画像と、関連付け情報と、を記憶する。設備情報は、設備に関する情報である。モデル画像は、作業現場をモデルとして表す画像である。関連付け情報は、オブジェクトと設備情報とを関連付ける情報である。オブジェクトは、モデル画像において設備を表す。

第１合成画像生成部は、関連付け情報に基づいて、設備情報が関連付けられていることを示すアイコンを設備情報が関連付けられたモデル画像の対応するオブジェクトに付して第１合成画像を生成する。
対応関係解析部は、撮像装置により作業現場を実際に撮影した撮影画像とモデル画像との対応関係を解析する。
第２合成画像生成部は、対応関係解析部により解析された対応関係と関連付け情報とに基づいて、撮影画像の設備表示部分に設備情報が関連づけられていることを示すアイコンを付して第２合成画像を生成する。設備表示部分は、撮影画像内において設備を表示する部分である。送信部は、第１合成画像及び／又は第２合成画像を表示端末に送信する。

上記のサーバにおいては、対応関係解析部が、実際の作業現場を撮像装置により撮影した撮影画像と、作業現場の設備をオブジェクトで表現して作業現場をモデル化したモデル画像と、の対応関係を解析する。また、第２合成画像生成部が、撮影画像とモデル画像の対応関係の解析結果と関連付け情報とに基づいて、撮影画像において作業現場の実際の設備を表す設備表示部分に、設備情報が関連づけられていることを示すアイコンを付して第２合成画像を生成している。
上記のサーバが、モデル画像を用いて生成した第１合成画像における設備と設備情報との関連付けを、作業現場内で実際に見ている撮影画像に含まれる設備表示部分に対して適切に反映して第２合成画像を生成しているので、作業現場の作業者は、作業現場内で実際に見ている設備にどの設備情報が関連付けられているかを明確に判断できる。

本発明のさらに他の見地に係る保守方法は、作業現場内の設備を保守するための保守システムにおいて実行される方法である。保守方法は、以下のステップを備える。
◎設備情報と、モデル画像と、関連付け情報と、を記憶するステップ。設備情報は、設備に関する情報である。モデル画像は、作業現場をモデルとして表す画像である。関連付け情報は、オブジェクトと設備情報とを関連付ける。オブジェクトは、モデル画像において設備を表す。
◎関連付け情報に基づいて、設備情報が関連付けられていることを示すアイコンを設備情報が関連付けられたモデル画像の対応するオブジェクトに付して第１合成画像を生成するステップ。
◎撮影画像とモデル画像との対応関係を解析するステップ。撮影画像は、作業現場を実際に撮影した画像である。
◎解析された対応関係と関連付け情報とに基づいて、撮影画像内の設備表示部分に設備情報が関連づけられていることを示すアイコンを付して第２合成画像を生成するステップ。
◎第１合成画像及び／又は第２合成画像を表示するステップ。

上記の保守方法においては、実際の作業現場を撮像装置により撮影した撮影画像と、作業現場の設備をオブジェクトで表現して作業現場をモデル化したモデル画像と、の対応関係が解析される。また、撮影画像とモデル画像の対応関係の解析結果と関連付け情報とに基づいて、撮影画像において作業現場の実際の設備を表す設備表示部分に、設備情報が関連づけられていることを示すアイコンを付して第２合成画像を生成している。
上記の保守方法が、モデル画像を用いて生成した第１合成画像における設備と設備情報との関連付けを、作業現場内で実際に見ている撮影画像に含まれる設備表示部分に対して適切に反映して第２合成画像を生成しているので、作業現場の作業者は、作業現場内で実際に見ている設備にどの設備情報が関連付けられているかを明確に判断できる。

作業現場をモデルとして表すモデル画像を用いて生成した第１合成画像における設備と設備情報との関連付けを、作業現場内で実際に見ている撮影画像に対して適切に反映した第２合成画像を生成できる。

保守システムの全体構成を示す図。 自動倉庫システムの構成を示す図。 管理システムの具体的構成を示す図。 作業者端末のハードウェア構成を示す図。 作業者端末の機能ブロック構成を示す図。 保守拠点の構成を示す図。 保守サーバのハードウェア構成を示す図。 保守サーバの機能ブロック構成を示す図。 保守サーバの概略動作を示すフローチャート。 保守サーバにおける初期設定動作を示すフローチャート。 第１合成画像の生成と出力の具体的な動作を示すフローチャート。 第１合成画像の一例を示す図。 合成画像の表示画面の一例を示す図。 第２合成画像の生成と出力の具体的な動作を示すフローチャート。 撮影画像の一例を示す図。 第２合成画像の一例を示す図。 第２合成画像の更新動作を示すフローチャート。 新たな第２合成画像の一例を示す図。

１．第１実施形態
（１）保守システムの概略
最初に、保守システム１００の概略を説明する。保守システム１００は、作業現場内に存在する設備を保守する際に用いられるシステムである。具体的には、保守システム１００は、設備を保守する際などに使用される、設備に関する情報（設備情報と呼ぶ）の収集とユーザ（例えば、作業者）への当該設備情報の提供を行う。
保守システム１００にて保守できる作業現場としては、例えば、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎａｌ Ｐｅｒｉｐｈｅｒａｌ）を設備として備える事務所がある。その他、作業現場としては、工作機械を設備として有する工場、紡績機械（ワインダー）を設備として有する紡績工場、搬送装置などの物流機器を設備として有する物流センター、などの産業機械を設備として有する現場がある。

（２）保守システムの全体構成
次に、図１を用いて、第１実施形態に係る保守システム１００の全体構成を具体的に説明する。図１は、保守システムの全体構成を示す図である。
第１実施形態に係る保守システム１００は、作業現場の一例としての自動倉庫システム１と、保守拠点２と、保守サーバ３と、を備える。自動倉庫システム１は、例えば、物流センターなどに配置され、荷物の入出庫を行うためのシステムである。自動倉庫システム１は、荷物の入出庫を行うための自動倉庫１１（図２）を有する。

保守拠点２は、例えば、自動倉庫システム１内の自動倉庫１１の保守等を行う保守員が駐在する拠点であって、自動倉庫システム１の保守を行うための端末（保守端末２１ａ、２１ｂ）を備える。

保守サーバ３は、上記の自動倉庫システム１及び保守拠点２（のゲートウェイ装置）と、ネットワークＮＷ（例えば、ＷＡＮなど）を介して接続されている。保守サーバ３は、自動倉庫システム１にて収集された自動倉庫１１の各設備に関する情報（設備情報ＥＩと呼ぶ）を蓄積するデータベースを有する。設備情報ＥＩは、例えば、自動倉庫１１の各設備の稼働に関する情報（稼働情報ＦＩと呼ぶ）と、保守拠点２にて管理されている、設備を保守するために使用する情報（保守情報ＭＩと呼ぶ）と、を含む。
また、保守サーバ３は、必要に応じて、自動倉庫システム１内において自動倉庫１１を保守点検する作業者が用いる作業者端末１７（表示端末の一例）と、保守拠点２において保守員が用いる保守端末２１ａ、２１ｂと、に設備情報ＥＩを提供する。これにより、保守システム１００では、保守サーバ３を介して、作業者端末１７と保守端末２１ａ、２１ｂとの間で、設備情報ＥＩを共有できる。

なお、本実施形態に係る保守システム１００において、後述する各装置（ゲートウェイ装置、及び、自動倉庫システム１のカメラ及びセンサ）と保守サーバ３との間のコマンド等の送受信は、例えば、ＷｅｂＳｏｃｋｅｔプロトコルを用いて実行される。

また、図１に示す保守システム１００においては、自動倉庫システム１及び保守拠点２がそれぞれ１つしか存在しない。これに限られず、自動倉庫システム１及び／又は保守拠点２は、保守システム１００において複数存在してもよい。例えば、１つの保守拠点２にて複数の自動倉庫システム１を保守可能としてもよいし、１つの自動倉庫システム１を複数の保守拠点２から保守可能としてもよい。この場合、保守サーバ３は、複数の自動倉庫システム１から設備情報ＥＩを収集するクラウドサーバとして動作できる。

（３）自動倉庫システム
（３－１）自動倉庫
以下、図２を用いて、保守システム１００に含まれる自動倉庫システム１の構成を説明する。図２は、自動倉庫システムの構成を示す図である。自動倉庫システム１は、荷物の保管、移載、及び入出庫を行うためのシステムである。具体的には、自動倉庫システム１は、荷物の保管、移載、及び入出庫を行う自動倉庫１１と、撮像装置１２と、自動倉庫１１における荷物の入出庫等を管理するための管理システム１３と、自動倉庫１１を保守点検する作業者が用いる作業者端末１７と、を有する。
自動倉庫１１は、ラック、スタッカクレーン（搬送装置の一例）、コンベヤなどを設備として有し、荷物の入出庫、移載、保管などを行う。
本実施形態において、自動倉庫１１のスタッカクレーン及びコンベヤには、例えば、静止画、及び、所定時間の長さを有する動画を撮影可能なカメラＣＡ１～ＣＡ４（図３）が設けられ、スタッカクレーン及びコンベヤの状況を視覚的な稼働情報ＦＩとして取得可能となっている。カメラＣＡ１～ＣＡ４は、例えば、魚眼カメラである。このカメラＣＡ１～ＣＡ４により、例えば、画像データ（動画）を稼働情報ＦＩとして取得できる。

例えば、スタッカクレーンにおいて搬送エラーが発生したときに、当該スタッカクレーンに設けられたカメラにより搬送エラー発生時の画像データ（エラー発生情報の一例）を稼働情報ＦＩとして取得できる。

また、自動倉庫１１の近傍、スタッカクレーン、及び／又はコンベヤには、これら設備とその周囲の環境に関する環境データを稼働情報ＦＩとして取得するセンサＳＥ（図３）が設けられる。センサＳＥは、例えば、温湿度センサである。温湿度センサであるセンサＳＥにより、スタッカクレーンの周囲温度と湿度の測定データを稼働情報ＦＩとして取得できる。例えば、特定の設備及びその周辺で測定された温度と湿度を折れ線グラフまたは棒グラフで表示するデータを、稼働情報ＦＩとして取得できる。

さらに、スタッカクレーンには、所定の物理量を測定する他のセンサＳＥが設けられる。このセンサＳＥは、例えば、スタッカクレーンにて荷崩れなどが発生したときに、当該荷崩れなどにより発生した振動についての測定データ（振動データの一例）、及び／又は音の大きさを、稼働情報ＦＩとして取得可能となっている。このようなセンサＳＥとしては、例えば、加速度センサ、音センサ、などがある。

なお、図２に示す自動倉庫システム１においては、４台のカメラＣＡ１～ＣＡ４、及び、１つのセンサＳＥが設けられているが、自動倉庫１１に設けられるカメラ及びセンサの数は、上記に限られず、自動倉庫システム１の規模等に応じて任意とできる。

（３－２）撮像装置
撮像装置１２は、例えば作業者が自動倉庫１１の各設備を保守する際に、自動倉庫１１内を撮影する装置である。撮像装置１２は、例えば、自動倉庫システム１の各設備を保守点検する作業者が装着するヘッドマウントディスプレイ１４に備わる小型カメラである。
撮像装置１２及びヘッドマウントディスプレイ１４は、作業者端末１７と通信可能に接続される。また、撮像装置１２は、作業者端末１７を介して、保守サーバ３と通信可能に接続されている。撮像装置１２により撮影された自動倉庫システム１内の画像（撮影画像ＡＭと呼ぶ）は、作業者端末１７を介して、保守サーバ３へ送信される。この撮影画像ＡＭは、後述する第２合成画像ＳＩ２の生成に使用される。

なお、撮像装置１２は、作業者端末１７に備わっていてもよい。この場合、作業者端末１７は、例えば、スマートフォン、タブレット端末、ノート型ＰＣ、小型コンピュータなどの携帯端末である。一方、撮像装置１２は、これら携帯端末に備わるカメラシステムである。さらに、撮像装置１２は、例えば、作業者が装着できる小型カメラ単体であってもよい。

（３－３）管理システム
管理システム１３は、自動倉庫１１における荷物の入出庫の管理を行う各機器を有するシステムである。以下、図３を用いて、管理システム１３の具体的な構成を説明する。図３は、管理システムの具体的構成を示す図である。
管理システム１３は、第１スイッチングハブＳＨ１を有する。第１スイッチングハブＳＨ１は、図３に示すように、自動倉庫１１に設けられたカメラＣＡ１、ＣＡ２と、第１記憶装置１３ａと、を接続する。第１記憶装置１３ａは、例えばＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）装置であり、カメラＣＡ１、ＣＡ２により取得された画像データを保存する。

管理システム１３は、第２スイッチングハブＳＨ２を有する。第２スイッチングハブＳＨ２は、自動倉庫１１に設けられたカメラＣＡ３、ＣＡ４、センサＳＥ、及び、第２記憶装置１３ｂを接続する。第２記憶装置１３ｂは、例えばＮＡＳ装置であり、カメラＣＡ３、ＣＡ４により取得された画像データ、及び、センサＳＥにより取得された測定データを保存する。

第２スイッチングハブＳＨ２は、第１スイッチングハブＳＨ１にも接続されており、カメラＣＡ１、ＣＡ２にて取得した画像データは第２記憶装置１３ｂにも保存できる。また、カメラＣＡ３、ＣＡ４にて取得した画像データ、及び、センサＳＥにて取得したデータは第１記憶装置１３ａにも保存できる。

管理システム１３は、自動倉庫システム１を管理するサーバを有する。具体的には、管理システム１３は、搬送管理サーバ１５ａと、情報管理サーバ１５ｂと、を有する。
搬送管理サーバ１５ａは、ＣＰＵ、記憶装置（ＲＡＭ、ＲＯＭ、ＳＳＤ、ハードディスクなど）、ネットワークインタフェースなどの各種インタフェースを有するコンピュータシステムである。搬送管理サーバ１５ａは、自動倉庫１１のスタッカクレーン、コンベヤなどと通信可能となっており、これらスタッカクレーン及びコンベヤを制御することで、自動倉庫１１における荷物の保管、移載、及び入出庫を制御・管理する。
なお、本実施形態において、搬送管理サーバ１５ａは、第１スイッチングハブＳＨ１に接続されている。

情報管理サーバ１５ｂは、ＣＰＵ、記憶装置（ＲＡＭ、ＲＯＭ、ＳＳＤ、ハードディスクなど）、ネットワークインタフェースなどの各種インタフェースを有するコンピュータシステムである。情報管理サーバ１５ｂは、第１記憶装置１３ａ及び第２記憶装置１３ｂに保存された各種データ（例えば、カメラＣＡ１～ＣＡ４及びセンサＳＥにて取得されたデータ）を管理する。情報管理サーバ１５ｂは、必要に応じて、搬送管理サーバ１５ａが管理している情報を取得する。
なお、本実施形態において、情報管理サーバ１５ｂは、第２スイッチングハブＳＨ２に接続されている。

管理システム１３は、第１ゲートウェイ装置１９を有する。第１ゲートウェイ装置１９は、ＣＰＵ、記憶装置（ＲＡＭ、ＲＯＭ、ＳＳＤ、ハードディスクなど）、ネットワークインタフェースなどの各種インタフェースを有するコンピュータシステムである。また、第１ゲートウェイ装置１９は、その機能の一部又は全部をＳｏＣなどにより実現したハードウェアであってもよい。
第１ゲートウェイ装置１９は、第２スイッチングハブＳＨ２、及び、外部のネットワークＮＷに接続され、自動倉庫システム１のネットワーク構成中の各機器と外部との通信を中継できる。

第１ゲートウェイ装置１９は、所定のタイミングで、第１記憶装置１３ａ及び第２記憶装置１３ｂに保存され、カメラＣＡ１～ＣＡ４にて取得した画像データ、センサＳＥにて取得した測定データ、及び、各設備のエラー発生情報などを、稼働情報ＦＩとして保守サーバ３にアップロードする機能を有する。
また、第１ゲートウェイ装置１９は、各設備のメンテナンスに関する情報、各設備の稼働情報、作業者等が撮影した設備の写真、及び、各設備の部品発注に関する情報などを、稼働情報ＦＩとして、保守サーバ３にアップロードできる。

上記所定のタイミングは、例えば、一定の時間毎（例えば、１時間毎、１日毎、など）、新たな稼働情報ＦＩが保存されたタイミング、既存の稼働情報ＦＩが更新されたタイミング、保存された稼働情報ＦＩの容量が決められた大きさとなるタイミング、など、適宜決定できる。
また、第１ゲートウェイ装置１９は、カメラＣＡ１～ＣＡ４、センサＳＥなどに備わる記憶部に記憶されたデータ、管理サーバで管理されている情報（の一部）などを、稼働情報ＦＩとして保守サーバ３へアップロードしてもよい。

保守サーバ３に稼働情報ＦＩをアップロードする際、第１ゲートウェイ装置１９は、アップロードする稼働情報ＦＩに、当該稼働情報ＦＩを取得した機器を識別する情報（例えば、各機器（カメラＣＡ１～ＣＡ４、センサＳＥなど）のＩＤ、各機器のアドレスなど）を関連付けてもよい。これにより、保守サーバ３は、受信した稼働情報ＦＩに関連付けられた識別情報から、当該受信した稼働情報ＦＩが自動倉庫システム１（自動倉庫１１）のどの設備に関する情報かを判別できる。

その他、第１ゲートウェイ装置１９は、自動倉庫システム１において、各稼働情報ＦＩに対して、これを取得した機器に固有の情報を含むファイル名を付してもよい。これにより、保守サーバ３は、受信した稼働情報ＦＩのファイル名から、当該受信した稼働情報ＦＩが自動倉庫システム１（自動倉庫１１）のどの設備に関する情報かを判別できる。

（３－４）作業者端末
（３－４－１）作業者端末のハードウェア構成
作業者端末１７（表示端末の一例）は、自動倉庫１１を保守点検する作業者が用いる端末であり、ネットワークＮＷを介して、保守サーバ３と通信可能である。作業者は、作業者端末１７を用いて、保守サーバ３に蓄積されている設備情報ＥＩを閲覧できる。なお、自動倉庫システム１において、複数台の作業者端末１７が設けられてもよい。
以下、図４及び図５を用いて、作業者端末１７の構成を説明する。図４は、作業者端末のハードウェア構成を示す図である。図５は、作業者端末の機能ブロック構成を示す図である。図４に示すように、作業者端末１７は、ハードウェア構成として、プロセッサ１７ａと、ＲＡＭ１７ｂと、ＲＯＭ１７ｃと、ネットワークインタフェース１７ｄと、記憶装置１７ｅと、入力装置１７ｆと、入出力インタフェース１７ｇと、を有する。

プロセッサ１７ａは、ＣＰＵ、又は、ＣＰＵと各種インタフェースとを１つのチップに集積したＳｏＣである。プロセッサ１７ａは、記憶装置１７ｅなどに記憶されたプログラムを実行し、作業者端末１７において行われる各種情報処理を行う。
ＲＡＭ１７ｂは、記憶装置１７ｅに記憶されたプログラムなど一時的に必要な情報を記憶する。ＲＯＭ１７ｃは、作業者端末１７を制御するためのプログラム及び設定などを記憶する。つまり、プロセッサ１７ａがＲＡＭ１７ｂ及びＲＯＭ１７ｃに記憶されたプログラムを実行し、後述する作業者端末１７の機能ブロックを実現する。

ネットワークインタフェース１７ｄは、外部の端末及び／又は機器などとの通信を実行する。ネットワークインタフェース１７ｄは、例えば、有線通信により外部の端末及び／又は機器と通信をするイーサネット（登録商標）カード、及び／又は、無線通信により外部の端末及び／又は機器と通信をする無線ＬＡＮインタフェースなどである。
記憶装置１７ｅは、作業者端末１７にて実行されるプログラム、各種情報、及び、各種設定情報などを記憶する。

入力装置１７ｆは、ユーザからの入力を受け付ける、例えば、キーボード、マウス、タッチパネルなどである。

入出力インタフェース１７ｇは、各種の入出力装置を接続できる有線又は無線のインタフェースである。入出力インタフェース１７ｇは、例えば、ＵＳＢインタフェース、ヘッドマウントディスプレイ等の表示装置を接続するインタフェース（例えば、ＨＤＭＩ（登録商標）インタフェースなど）、無線通信による入出力インタフェース（例えば、ブルートゥース（登録商標）など）である。本実施形態において、入出力インタフェース１７ｇには、ヘッドマウントディスプレイ１４が接続されている。これにより、作業者端末１７にて表示すべき情報等を、ヘッドマウントディスプレイ１４に表示できる。

作業者端末１７は、作業者端末１７についての各種情報を表示するディスプレイ１７ｈを有してもよい。ディスプレイ１７ｈは、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどのディスプレイである。

（３－４－２）作業者端末の機能ブロック構成
以下、図５を用いて、自動倉庫１１の作業者が使用する作業者端末１７の機能ブロック構成を説明する。以下に説明する機能ブロックの一部又は全部は、作業者端末１７の記憶装置に記憶されたプログラムを実行することにより実現される。
以下の機能ブロックの一部又は全部を実現するプログラムは、例えば、保守システム１００専用のアプリケーションであってもよいし、一般のウェブブラウザ上で実行されるウェブアプリケーションであってもよい。

作業者端末１７は、送受信部１７１を有する。送受信部１７１は、作業者端末１７のネットワークインタフェース１７ｄを制御して、ネットワークＮＷを介して、各種データを送受信する。具体的には、送受信部１７１は、保守サーバ３から、第１合成画像ＳＩ１及び／又は第２合成画像ＳＩ２、設備情報ＥＩを受信する。

また、送受信部１７１は、入出力インタフェース１７ｇに接続されたヘッドマウントディスプレイ１４の撮像装置１２にて撮影された画像を、ネットワークＮＷを介して、保守サーバ３に送信する。

作業者端末１７は、表示部１７３を有する。表示部１７３は、入出力インタフェース１７ｇに接続されたヘッドマウントディスプレイ１４に、送受信部１７１により受信した第１合成画像ＳＩ１及び／又は第２合成画像ＳＩ２、設備情報ＥＩを出力し、ヘッドマウントディスプレイ１４に第１合成画像ＳＩ１及び／又は第２合成画像ＳＩ２、設備情報ＥＩを表示させる。なお、表示部１７３は、第１合成画像ＳＩ１又は第２合成画像ＳＩ２のいずれかを切り替えてヘッドマウントディスプレイ１４に表示させることも、第１合成画像ＳＩ１及び第２合成画像ＳＩ２を同時に表示させることも可能である。

作業者端末１７がディスプレイ１７ｈを有する場合、表示部１７３は、ディスプレイ１７ｈにも、送受信部１７１により受信した第１合成画像ＳＩ１及び／又は第２合成画像ＳＩ２、設備情報ＥＩを表示させてもよい。

作業者端末１７は、操作部１７５（第１操作部、第２操作部、第３操作部の一例）を有する。操作部１７５は、作業者端末１７の入力装置１７ｆを用いた作業者の操作を受け付ける。操作部１７５は、例えば、第１合成画像ＳＩ１及び／又は第２合成画像ＳＩ２に表示されたアイコンにカーソルを配置した状態でマウスがクリックされるか、又は、当該アイコンをタッチパネル上でタッチする操作を受け付ける。また、操作部１７５は、アイコンをタッチパネル上でスワイプする操作などを受け付けてもよい。
また、操作部１７５は、第１合成画像ＳＩ１又は第２合成画像ＳＩ２のいずれかを切り替えて表示する場合において、第１合成画像を表示する第１状態、又は、第２合成画像を表示する第２状態のいずれかを選択する操作を受け付ける。
さらに、操作部１７５は、第２合成画像ＳＩ２を表示中に、表示中の第２合成画像ＳＩ２における設備表示部分ＥＰと設備情報ＥＩとの関連付けを更新する操作を受け付ける。

作業者端末１７は、通知部１７７（第１通知部、第２通知部、第３通知部の一例）を有する。通知部１７７は、ネットワークインタフェース１７ｄを制御して、操作部１７５が受け付けた第２合成画像ＳＩ２への操作（アイコンのタッチ、クリック、スワイプ）を、ネットワークＮＷを介して保守サーバ３に通知する。
また、通知部１７７は、操作部１７５が受け付けた合成画像の表示状態（第１状態、第２状態）の選択結果を、保守サーバ３に通知する。
さらに、通知部１７７は、表示中の第２合成画像ＳＩ２における設備表示部分ＥＰと設備情報ＥＩとの関連付けを更新する操作を操作部１７５が受け付けた場合に、当該関連付けの更新があったことを、保守サーバ３に通知する。

上記の機能ブロックを有することにより、作業者端末１７は、保守サーバ３で生成された第１合成画像ＳＩ１及び／又は第２合成画像ＳＩ２を受信して、作業者端末１７に接続されたヘッドマウントディスプレイ１４にこれら合成画像を表示できる。
また、ヘッドマウントディスプレイ１４に表示された第２合成画像ＳＩ２（及び第１合成画像ＳＩ１）に対する操作を受け付けて、その操作を保守サーバ３に通知できる。その結果、当該通知を受信した保守サーバ３は、当該通知に示された操作に従って、現在表示中の第２合成画像ＳＩ２に対する操作（関連付け更新、表示切り替え等）を実行できる。

（４）保守拠点
以下、図６を用いて、保守システム１００に含まれる保守拠点２の具体的構成について説明する。図６は、保守拠点の構成を示す図である。保守拠点２は、自動倉庫システム１内の自動倉庫１１の保守等を遠隔で行う保守員が駐在する拠点である。
具体的には、保守拠点２は、保守端末２１ａ、２１ｂを有する。保守端末２１ａ、２１ｂは、第３スイッチングハブＳＨ３に接続され、後述する第２ゲートウェイ装置２３と通信可能である。保守端末２１ａ、２１ｂは、ＣＰＵ、記憶装置（ＲＡＭ、ＲＯＭ、ＳＳＤ、ハードディスクなど）、ネットワークインタフェースなどの各種インタフェース、ディスプレイ（例えば、液晶ディスプレイ、有機ＥＬディスプレイなど）、各種入出力装置（例えば、キーボード、マウス、タッチパネルなど）を有するコンピュータシステム（例えば、パーソナルコンピュータなど）である。

保守端末２１ａ、２１ｂは、保守拠点２に駐在する保守員が自動倉庫システム１の機器等の保守をする際に使用される。保守端末２１ａ、２１ｂは、保守員の操作により、自動倉庫１１をモデルとして表したモデル画像ＦＭ（後述）を用いて生成された第１合成画像ＳＩ１（後述）を保守サーバ３から受信して表示できる。

また、保守端末２１ａ、２１ｂは、撮像装置１２により撮影された撮影画像ＡＭ、及び／又は、撮影画像ＡＭを用いて生成された第２合成画像ＳＩ２を保守サーバ３から受信して表示可能であってもよい。これにより、例えば、保守員は、保守端末２１ａ、２１ｂに表示された撮影画像ＡＭ、第２合成画像ＳＩ２を参照しつつ、自動倉庫システム１の作業者と協働して自動倉庫１１を保守できる。
第２合成画像ＳＩ２を表示可能な場合、保守端末２１ａ、２１ｂは、作業者端末１７と同様に、表示中の第２合成画像ＳＩ２を操作（関連付けの更新、表示切り替え）可能であってもよい。すなわち、保守端末２１ａ、２１ｂは、「表示端末」として機能してもよい。

保守拠点２は、第２ゲートウェイ装置２３を有する。第２ゲートウェイ装置２３は、ＣＰＵ、記憶装置（ＲＡＭ、ＲＯＭ、ＳＳＤ、ハードディスクなど）、ネットワークインタフェースなどの各種インタフェースを有するコンピュータシステムである。また、第２ゲートウェイ装置２３は、その機能の一部又は全部をＳｏＣなどにより実現したハードウェアであってもよい。
第２ゲートウェイ装置２３は、第３スイッチングハブＳＨ３、及び、外部のネットワークに接続され、保守端末２１ａ、２１ｂと外部との通信を中継する。

また、第２ゲートウェイ装置２３は、所定のタイミングで、保守端末２１ａ、２１ｂ、及び／又は、保守拠点２に設けられた基幹システム（図示せず）に保存された情報を、保守情報ＭＩとして保守サーバ３にアップロードする機能を有する。上記所定のタイミングは、例えば、一定の時間毎（例えば、１時間毎、１日毎、など）、新たな保守情報ＭＩが保存されたタイミング、既存の保守情報ＭＩが更新されたタイミング、保存された保守情報ＭＩの容量が決められた大きさとなるタイミング、など、適宜決定できる。

上記の保守情報ＭＩの例としては、例えば、設備の部品のリストであるパーツリスト、自動倉庫システム１における設備（自動倉庫１１）の配置を示すレイアウト図、などがある。 その他、第２ゲートウェイ装置２３は、自動倉庫システム１の各設備の点検履歴、及び、各設備の点検レポートなどを、保守情報ＭＩとして、保守サーバ３にアップロードできる。

なお、保守情報ＭＩは、その保守情報ＭＩがどの設備に関するものであるかを示すファイル名が付されて保守端末２１ａ、２１ｂなどに保存されている。第２ゲートウェイ装置２３は、当該ファイル名が付された保守情報ＭＩを保守サーバ３にアップロードする。これにより、保守サーバ３は、受信した保守情報ＭＩのファイル名に基づいて、自動倉庫システム１のどの設備に関する情報であるかを判定できる。

（５）保守サーバ
（５－１）保守サーバのハードウェア構成
以下、保守システム１００において設備情報ＥＩを管理する保守サーバ３について説明する。まず、図７を用いて、保守サーバ３の具体的なハードウェア構成について説明する。図７は、保守サーバのハードウェア構成を示す図である。
図９に示すように、保守サーバ３は、プロセッサ３１と、ＲＡＭ３２と、ＲＯＭ３３と、ネットワークインタフェース３４と、記憶装置３５と、を有するコンピュータシステムである。

プロセッサ３１は、ＣＰＵ、又は、ＣＰＵと各種インタフェースとを１つのチップに集積したＳｏＣである。プロセッサ３１は、記憶装置３５などに記憶されたプログラムを実行し、保守サーバ３において行われる各種情報処理を行う。
ＲＡＭ３２は、記憶装置３５に記憶されたプログラムなど一時的に必要な情報を記憶する。ＲＯＭ３３は、保守サーバ３を制御するためのプログラム及び設定などを記憶する。
このように、上記プロセッサ３１と、ＲＡＭ３２と、ＲＯＭ３３は、保守サーバ３の機能を実現する制御を行うハードウェア構成である。従って、以後、これら３つのハードウェア構成を、保守サーバ３の「制御部」と呼ぶことにする。つまり、この制御部が、記憶装置３５に記憶されたプログラムを実行し、後述する保守サーバ３の機能ブロックの一部又は全部（動作）を実現する。

ネットワークインタフェース３４は、外部の端末及び／又は機器などとの通信を実行する。ネットワークインタフェース３４は、例えば、有線通信により外部の端末及び／又は機器と通信をするイーサネット（登録商標）カード、及び／又は、無線通信により外部の端末及び／又は機器と通信をする無線ＬＡＮインタフェースなどである。
なお、保守サーバ３が外部へ各種情報及びデータを送信する場合、上記制御部が、ネットワークインタフェース３４を介して、これら情報及びデータを外部に出力する。また、保守サーバ３が外部から各種情報及びデータを受信する場合、上記制御部が、ネットワークインタフェース３４を介して、これら情報及びデータを外部から入力する。

記憶装置３５は、保守サーバ３にて実行されるプログラム、保守サーバ３に蓄積する各種情報、及び、各種設定情報を記憶する。

保守サーバ３は、上記の構成以外にも、ディスプレイ３６を有してもよい。ディスプレイ３６は、保守サーバ３についての各種情報を表示する、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどのディスプレイである。これにより、ユーザは、例えば、ディスプレイ３６に表示された情報を参照しながら、保守サーバ３を管理できる。

保守サーバ３は、ユーザからの入力を受け付ける入力装置３７をさらに有してもよい。入力装置３７は、例えば、キーボード、マウス、タッチパネルなどの入力機器である。これにより、ユーザは、入力装置３７を用いて、保守サーバ３を直接管理できる。

なお、保守サーバ３は、上記の入力装置３７及び／又はディスプレイ３６がなくとも、例えば、ネットワークインタフェース３４を介してアクセス可能な端末を用いて、保守サーバ３に関する情報を参照しつつ保守サーバ３を管理できる。

（５－２）保守サーバの機能ブロック
次に、図８を用いて、保守サーバ３の機能ブロック構成を説明する。図８は、保守サーバの機能ブロック構成を示す図である。以下に説明する機能ブロックの一部又は全部は、上記の制御部が、記憶装置３５に記憶されたプログラムを実行することにより実現される。
保守サーバ３は、サーバ送受信部３０１（送信部の一例）を有する。サーバ送受信部３０１は、ネットワークＮＷを介して、各種データを送受信する。具体的には、サーバ送受信部３０１は、作業者端末１７及び／又は保守端末２１ａ、２１ｂからの通知に従って、これら端末に、第１合成画像ＳＩ１及び／又は第２合成画像ＳＩ２、設備情報ＥＩを送信する。

保守サーバ３は、第１合成画像生成部３０３を有する。第１合成画像生成部３０３は、第１合成画像ＳＩ１を生成する。具体的には、以下のようにして第１合成画像ＳＩ１を生成する。
まず、第１合成画像生成部３０３は、関連付け情報ＡＩに基づいて、自動倉庫１１内をモデルとして表したモデル画像ＦＭ内のオブジェクトＯに、当該オブジェクトＯに対応する設備の設備情報ＥＩを関連付ける。その後、第１合成画像生成部３０３は、設備情報ＥＩが関連付けられていることを示すアイコンを、設備情報ＥＩが関連付けられた、モデル画像ＦＭの対応するオブジェクトＯに付することで、最終的な第１合成画像ＳＩ１を生成する。

保守サーバ３は、対応関係解析部３０５を有する。対応関係解析部３０５は、撮像装置１２により自動倉庫１１内を実際に撮影した撮影画像ＡＭと、モデル画像ＦＭとの対応関係を解析する。

保守サーバ３は、第２合成画像生成部３０７を有する。第２合成画像生成部３０７は、第２合成画像ＳＩ２を生成する。具体的には、以下のようにして第２合成画像ＳＩ２を生成する。
まず、第２合成画像生成部３０７は、対応関係解析部３０５により解析された対応関係と、関連付け情報ＡＩとに基づいて、撮影画像ＡＭ内において設備を表示する設備表示部分ＥＰに、当該設備表示部分ＥＰに対応する設備の設備情報ＥＩを関連付ける。その後、第２合成画像生成部３０７は、撮影画像ＡＭにおいて、設備情報ＥＩが関連付けられた設備表示部分ＥＰに、設備情報ＥＩが関連付けられていることを示すアイコンを付して、最終的な第２合成画像ＳＩ２を生成する。

保守サーバ３は、記憶部３０９を有する。記憶部３０９は、記憶装置３５の記憶領域の一部であり、保守サーバ３により管理される各種情報を記憶する。以下、図８を用いて、記憶部３０９に記憶される情報を説明する。
記憶部３０９は、設備情報ＥＩを記憶している。設備情報ＥＩは、自動倉庫１１の設備に関する情報である。設備情報ＥＩは、自動倉庫１１の設備の稼働に関する稼働情報ＦＩと、保守拠点２にて管理される設備の保守に関する保守情報ＭＩと、を含んでいる。

記憶部３０９は、モデル画像ＦＭを記憶している。モデル画像ＦＭは、自動倉庫システム１をモデルとして表す画像である。具体的には、モデル画像ＦＭは、自動倉庫システム１の実写画像、又は、デジタルモデルである。モデル画像ＦＭは、自動倉庫システム１の各設備をモデル画像化して表す。設備をモデル画像化して表したものをオブジェクトＯと呼ぶことにする。詳細は後述するが、モデル画像ＦＭは、第１合成画像ＳＩ１を作成する際に用いられる。具体的には、モデル画像ＦＭのオブジェクトＯと、そのオブジェクトＯが表す設備の稼働情報ＦＩ及び／又は保守情報ＭＩと、を関連付けて第１合成画像ＳＩ１が作成される。

本実施形態において、モデル画像ＦＭは、複数の部分モデル画像ＦＭ１～ＦＭｎにより構成される。部分モデル画像は、自動倉庫システム１の異なる位置において取得され、当該位置の所定の視野範囲内の設備等をモデルとして表す画像である。
部分モデル画像は、例えば、自動倉庫システム１において、全方位カメラを用いて取得できる。従って、部分モデル画像は、自動倉庫システム１の１つの場所において、複数（例えば４つ）取得される。すなわち、自動倉庫システム１の１つの場所において、その場所から異なる方角を見たときの視野内に含まれる設備を表す複数の部分モデル画像を取得できる。なお、部分モデル画像は、自動倉庫システム１の特定の位置の所定の視野範囲内の設備等を表したデジタルモデルであってもよい。

自動倉庫システム１の全体を表すモデル画像ＦＭは、例えば、複数の部分モデル画像ＦＭ１～ＦＭｎを、各部分モデル画像ＦＭ１～ＦＭｎの撮影場所及び視野の方向等に対応するように配置することで容易に生成できる。

記憶部３０９は、関連付け情報ＡＩを記憶している。関連付け情報ＡＩは、自動倉庫システム１の各設備と設備情報ＥＩとを関連付ける情報である。具体的には、関連付け情報ＡＩは、モデル画像ＦＭにおいて設備を表すオブジェクトＯと、そのオブジェクトＯが表す設備に関連付けられている設備情報ＥＩとを関連付ける情報である。

上記のように、本実施形態のモデル画像ＦＭは、複数の部分モデル画像ＦＭ１～ＦＭｎにより構成されている。従って、本実施形態では、関連付け情報ＡＩは、複数の部分モデル画像ＦＭ１～ＦＭｎのそれぞれについて作成される。つまり、関連付け情報ＡＩは、複数の部分関連付け情報ＡＩ１～ＡＩｎにより構成される。各部分関連付け情報ＡＩ１～ＡＩｎは、対応する部分モデル画像内において設備を表すオブジェクトＯの位置と、そのオブジェクトＯが表す設備に関連付けられた設備情報ＥＩと、を関連付ける。
なお、各部分関連付け情報ＡＩ１～ＡＩｎは、自身がいずれの部分モデル画像ＦＭ１～ＦＭｎ内のオブジェクトＯと設備情報ＥＩとの関連付けを示す情報であるかを識別する情報（例えば、対応する部分モデル画像のファイル名）を含んでいる。

記憶部３０９は、第１合成画像ＳＩ１及び第２合成画像ＳＩ２を生成するときに、モデル画像ＦＭ及び撮影画像ＡＭに付するアイコンを記憶する。

記憶部３０９は、ユーザ情報ＵＩを記憶してもよい。ユーザ情報ＵＩは、保守サーバ３にログインできるユーザを管理する情報である。ユーザ情報ＵＩは、保守サーバ３にログインするためのユーザＩＤとパスワードとを記憶する。
その他、ユーザ情報ＵＩには、各ユーザの情報（例えば、ユーザの所属、連絡先、権限レベル、など）が記憶されていてもよい。

記憶部３０９は、閲覧権限情報ＬＩを記憶してもよい。閲覧権限情報ＬＩは、各ユーザが閲覧できる設備情報ＥＩに関する情報を記憶する。具体的には、閲覧権限情報ＬＩは、ユーザ情報ＵＩに登録された各ユーザＩＤと、そのユーザＩＤを有するユーザが閲覧できる設備情報ＥＩのリストと、関連付けて記憶している。
その他、閲覧権限情報ＬＩは、設備情報ＥＩのそれぞれについて存在してもよい。この場合、閲覧権限情報ＬＩは、対応する設備情報ＥＩを閲覧できるユーザＩＤのリストを記憶する。

上記の構成を有することにより、保守サーバ３は、自動倉庫システム１から取得した稼働情報ＦＩ、保守拠点２から取得した保守情報ＭＩを、設備情報ＥＩとして記憶部３０９に蓄積、管理できる。

（６）保守サーバの概略動作
以下、上記の構成を有する保守システム１００の動作を説明する。以下では、自動倉庫システム１の作業者が、自動倉庫システム１のレイアウトと各設備に関連付けられた設備情報ＥＩを確認し、その後、撮像装置１２を有するヘッドマウントディスプレイ１４を装着して自動倉庫１１の設備の保守を行うときの動作を説明する。まず、図９を用いて、保守システム１００の概略動作を説明する。図９は、保守システムの概略動作を示すフローチャートである。
保守システム１００においては、作業者が自動倉庫システム１のレイアウトと各設備に関連付けられた設備情報ＥＩを確認可能とするために、保守サーバ３が、初期設定（ステップＳ１）と、第１合成画像ＳＩ１の作成と出力（ステップＳ２）と、を実行する。

ステップＳ１の初期設定は、例えば、保守システム１００の導入時などにおいて保守サーバ３により実行される。初期設定では、保守サーバ３は、主に、（ｉ）モデル画像ＦＭの生成（作成）、（ｉｉ）設備情報ＥＩの収集、及び、（ｉｉｉ）モデル画像ＦＭ内のオブジェクトＯと設備情報ＥＩとの関連付け、すなわち、関連付け情報ＡＩの生成を実行する。

ステップＳ２の第１合成画像ＳＩ１の作成と出力では、保守サーバ３は、関連付け情報ＡＩに基づいて、第１合成画像ＳＩ１を生成（作成）する。その後、作成した第１合成画像ＳＩ１を、作業者端末１７に出力する。第１合成画像ＳＩ１を受信した作業者端末１７は、受信した第１合成画像ＳＩ１を表示する。

第１合成画像ＳＩ１を確認した作業者は、撮像装置１２を備えたヘッドマウントディスプレイ１４を装着し、当該ヘッドマウントディスプレイ１４を接続した作業者端末１７を携帯して、自動倉庫システム１の保守を行う。このとき、ステップＳ３において、保守を行っている作業者の視野内の設備にどのような設備情報ＥＩが関連付けられているかを確認するために、保守サーバ３が、撮像装置１２による撮影画像ＡＭを用いて、第２合成画像ＳＩ２を生成し出力する。

（７）具体的動作
（７－１）初期設定動作
以下、上記ステップＳ１～Ｓ３の具体的動作を説明する。まず、図１０を用いて、上記ステップＳ１における具体的な初期設定動作を説明する。図１０は、初期設定の具体的動作を示すフローチャートである。
まず、ステップＳ１１において、モデル画像ＦＭが作成され、記憶部３０９に記憶される。モデル画像ＦＭを自動倉庫システム１の実写画像とする場合には、自動倉庫システム１の複数の箇所で実写画像（部分モデル画像）を撮影する。また、自動倉庫システム１の１つの箇所で、自動倉庫システム１を異なる方向からみた複数の実写画像（部分モデル画像）を撮影する。なお、１つの箇所で撮影された複数の実写画像は、この複数の実写画像により、当該実写画像を撮影した箇所における全方位をカバーできるように撮影される。

上記のようにして撮影した複数の部分モデル画像は、モデル画像ＦＭとして記憶部３０９に記憶される。また、このとき、複数の部分モデル画像のモデル画像ＦＭにおける位置関係を示す情報が記憶部３０９に記憶されてもよい。

一方、モデル画像ＦＭを自動倉庫システム１のデジタルモデルとする場合には、例えば、ＣＡＤなどを用いて描画した自動倉庫システム１の三次元イメージがモデル画像ＦＭとされる。その後、自動倉庫システム１の三次元イメージを分割して複数の部分モデル画像が生成され、記憶部３０９に記憶される。

次に、ステップＳ１２において、保守サーバ３は、設備情報ＥＩを取得して、記憶部３０９に記憶する。具体的には、保守サーバ３のサーバ送受信部３０１が、自動倉庫システム１の第１ゲートウェイ装置１９から、自動倉庫システム１の外部記憶装置等に保存されている稼働情報ＦＩを取得し、記憶部３０９に記憶する。
また、サーバ送受信部３０１は、保守拠点２の第２ゲートウェイ装置２３から、保守拠点２の保守端末２１ａ、２１ｂ及び基幹システム等に保存されている保守情報ＭＩを取得し、記憶部３０９に記憶する。

設備情報ＥＩを取得後、ステップＳ１３において、保守サーバ３は、取得した設備情報ＥＩとモデル画像ＦＭ内のオブジェクトＯとを関連付けて、関連付け情報ＡＩを生成する。具体的には、例えば、以下のようにして関連付け情報ＡＩを生成できる。

まず、１つの部分モデル画像について、自動倉庫システム１の設備を表す画像をオブジェクトＯとして特定する。その後、特定したオブジェクトＯのそれぞれについて、その座標値を取得する。さらに、オブジェクトＯの座標値と、そのオブジェクトＯが表す設備に関連付けられている設備情報ＥＩが保存されている保守サーバ３の記憶装置３５の位置を示す情報（例えば、設備情報ＥＩのＵＲＬ、ファイルパスなど。以後、「記憶位置情報」と呼ぶ）と、を関連付けて、部分関連付け情報として記憶する。この部分関連付け情報の生成を、部分モデル画像の全てについて繰り返し実行して、複数の部分関連付け情報ＡＩ１～ＡＩｎにより構成される関連付け情報ＡＩを生成する。

上記処理により生成される関連付け情報ＡＩ（部分関連付け情報）は、オブジェクトＯの座標値と、そのオブジェクトＯが表す設備に関連付けられた設備情報ＥＩの記憶位置情報と、を関連付けて記憶する情報である。後述するように、上記特定したオブジェクトＯの座標値は、設備情報ＥＩが関連付けられていることを示すアイコンをモデル画像ＦＭ（部分モデル画像）及び撮影画像ＡＭに配置する際に使用される。

上記にて説明したステップＳ１１～Ｓ１３を初期設定として実行することで、保守サーバ３は、自動倉庫システム１の作業者端末１７（及び保守端末２１ａ、２１ｂ）に対して、自身が蓄積した設備情報ＥＩを提供できる状態となる。

なお、保守サーバ３は、さらに、他の処理を初期設定として実行できる。例えば、保守サーバ３は、保守サーバ３にログインできるユーザの登録処理を実行してもよい。具体的には、例えば、保守サーバ３は、保守サーバ３にログインするためのユーザＩＤとパスワードをユーザ情報ＵＩとして記憶部３０９に記憶することで、ユーザの登録処理を実行できる。

また、上記のようにしてユーザの登録処理が実行された場合に、保守サーバ３は、さらに、登録された各ユーザに対して、閲覧できる設備情報ＥＩの権限を設定する権限設定処理を実行してもよい。具体的には、例えば、保守サーバ３は、登録されたユーザＩＤと当該ユーザＩＤを有するユーザが閲覧できる設備情報ＥＩのリストとを関連付けて閲覧権限情報ＬＩを生成し、記憶部３０９に記憶することで、権限設定処理を実行できる。
その他、設備情報ＥＩのそれぞれについて閲覧権限情報ＬＩが存在する場合には、保守サーバ３は、閲覧権限情報ＬＩにおいて、対応する設備情報ＥＩを閲覧できるユーザＩＤのリストを記憶することで、閲覧権限処理を実行できる。

なお、図１０のフローチャートに示した初期設定動作のフローは、適宜変更できる。例えば、ステップＳ１１のモデル画像ＦＭの記憶とステップＳ１２の設備情報ＥＩの取得は順番を入れ替えてもよい。

（７－２）第１合成画像の生成／出力動作
次に、図１１を用いて、上記ステップＳ２における第１合成画像ＳＩ１の生成と出力の具体的な動作を説明する。図１１は、第１合成画像の生成と出力の具体的な動作を示すフローチャートである。
作業者端末１７が保守サーバ３に接続（ログイン）後、作業者端末１７から第１合成画像ＳＩ１の送信要求を受信すると、保守サーバ３の第１合成画像生成部３０３は、第１合成画像ＳＩの生成を開始する。
具体的には、第１合成画像生成部３０３は、ステップＳ２１において、１つの部分モデル画像について、設備情報ＥＩが関連付けられているオブジェクトＯの位置（座標）を抽出する。第１合成画像生成部３０３は、オブジェクトＯの位置を抽出する対象の部分モデル画像のための部分関連付け情報を参照し、設備情報ＥＩが関連付けられているオブジェクトＯの部分モデル画像における位置（座標）を抽出する。

なお、保守サーバ３にログインできるユーザ毎に閲覧可能な設備情報ＥＩが設定されている場合、すなわち、上記の閲覧権限情報ＬＩが生成されている場合には、作業者端末１７を使用してログインしているユーザに従って、抽出するオブジェクトＯ（つまり、アイコンを付する箇所）を制限してもよい。

次に、第１合成画像生成部３０３は、ステップＳ２２において、対象の部分モデル画像から抽出したオブジェクトＯに設備情報ＥＩが関連付けられていれば、当該部分モデル画像の対応するオブジェクトＯの座標に、設備情報ＥＩがオブジェクトＯに関連付けられていることを示すアイコンを付する。後述するように、各オブジェクトＯに関連付けられている設備情報ＥＩの種類により、各オブジェクトＯに付されるアイコンの種類（形状）は異なっている。

上記のステップＳ２１～Ｓ２２を実行することにより、１つの部分モデル画像について、当該部分モデル画像から抽出した各オブジェクトＯにアイコンを付して設備情報ＥＩへのリンクを関連付ける処理が完了する。
１つの部分モデル画像について上記処理を完了後、第１合成画像生成部３０３は、ステップＳ２３において、モデル画像ＦＭに含まれる全ての部分モデル画像について、上記ステップＳ２１～Ｓ２２の処理を実行したか否かを判定する。

全ての部分モデル画像について上記の処理が完了していない場合（ステップＳ２３で「Ｎｏ」）、第１合成画像ＳＩ１の生成プロセスは、ステップＳ２１に戻る。すなわち、第１合成画像生成部３０３は、全ての部分モデル画像について上記処理が完了するまで、上記のステップＳ２１～Ｓ２２を繰り返し実行する。

一方、全ての部分モデル画像について上記の処理が完了した場合（ステップＳ２３で「Ｙｅｓ」）、第１合成画像生成部３０３は、ステップＳ２４において、部分モデル画像のモデル画像ＦＭ内での位置関係及び撮影方向を考慮して、上記のステップＳ２１～Ｓ２３を実行してアイコンを付した部分モデル画像を連結して、第１合成画像ＳＩ１を生成する。
サーバ送受信部３０１は、ステップＳ２５において、ステップＳ２４において生成した第１合成画像ＳＩ１を、第１合成画像ＳＩ１の送信要求があった作業者端末１７に送信する。

第１合成画像ＳＩ１を受信した作業者端末１７の送受信部１７１は、第１合成画像ＳＩ１をＲＡＭ１７ｂなどに一時的に記憶する。表示部１７３は、入出力インタフェース１７ｇに接続されたヘッドマウントディスプレイ１４に、一時的に記憶した第１合成画像ＳＩ１を出力する。これにより、ヘッドマウントディスプレイ１４に、第１合成画像ＳＩ１が表示される。

上記のステップＳ２１～Ｓ２５を実行するにより、保守サーバ３は、例えば、図１２に示すような第１合成画像ＳＩ１を生成できる。以下、図１２を用いて、本実施形態で生成される第１合成画像ＳＩ１の構成を説明する。図１２は、第１合成画像の一例を示す図である。
図１２に示す第１合成画像ＳＩ１の例では、モデル画像ＦＭのオブジェクトＯに七種類のアイコン（ＩＣＯ１～ＩＣＯ７）のいずれかが配置されている。なお、第１合成画像ＳＩ１に表示されるアイコンの種類は、関連付けられている設備情報ＥＩの種類などにより、任意に決定できる。

第１アイコンＩＣＯ１は、「ｉ」の文字が丸で囲まれた形状を有している。第１アイコンＩＣＯ１は、このアイコンが配置されたオブジェクトＯに対応する設備には、この設備に関する各種情報（マニュアル等）が設備情報ＥＩとして関連付けられていることを示す。また、第１アイコンＩＣＯ１の下には、「＊＊＊ＩＮＦＯ」（「＊＊＊」は設備の呼称。以下同じ）との文字が付され、第１アイコンＩＣＯ１がどのオブジェクトＯに配置されているかが具体的に示されている。

第２アイコンＩＣＯ２は、小型カメラの形状を有している。第２アイコンＩＣＯ２は、このアイコンが配置されたオブジェクトＯに対応する設備には、この設備に設けられたカメラＣＡが取得した画像データが稼働情報ＦＩとして関連付けられていることを示す。また、第２アイコンＩＣＯ２の下には、「＊＊＊カメラ」との文字が付され、第２アイコンＩＣＯ２がどのオブジェクトＯに配置されているかが具体的に示されている。

第３アイコンＩＣＯ３は、温度計と湿度計の形状を有している。第３アイコンＩＣＯ３は、このアイコンが付されたオブジェクトＯに対応する設備には、この設備に設けられたセンサＳＥが取得した当該設備及びその周囲の環境に関するデータ（例えば、温度、湿度の測定値）が稼働情報ＦＩとして関連付けられていることを示す。また、第３アイコンＩＣＯ３の下には、「＊＊＊湿温度」との文字が付され、第３アイコンＩＣＯ３がどのオブジェクトＯに配置されているかが具体的に示されている。

第４アイコンＩＣＯ４は、ドキュメントの形状を有している。第４アイコンＩＣＯ４は、このアイコンが付されたオブジェクトＯに対応する設備には、この設備のパーツリストが保守情報ＭＩとして関連付けられていることを示す。また、第４アイコンＩＣＯ４の下には、「＊＊＊パーツリスト」との文字が付され、第４アイコンＩＣＯ４がどのオブジェクトに配置されているかが具体的に示されている。

第５アイコンＩＣＯ５は、大型カメラの形状を有している。第５アイコンＩＣＯ５は、このアイコンが付されたオブジェクトＯに対応する大型カメラには、このカメラが取得した画像データが稼働情報ＦＩとして関連付けられていることを示す。
また、第５アイコンＩＣＯ５の下には、「カメラ」との文字が付され、第５アイコンＩＣＯ５が大型カメラのオブジェクトＯに配置されていることが示されている。

第６アイコンＩＣＯ６は、逆三角形の図形の横に矢印が付された形状を有している。第６アイコンＩＣＯ６は、このアイコンをクリックすることで、第１合成画像ＳＩ１の視野が当該アイコンに付された矢印の方向に移動することを示す。
第６アイコンＩＣＯ６が押される（クリック又はタッチされる）か、又は、操作されると、アイコンが付された別の部分モデル画像が第１合成画像ＳＩ１として表示される。これにより、第１合成画像ＳＩ１の視野の中心が、選択された第６アイコンＩＣＯ６の位置となり、視野の方向が第６アイコンＩＣＯ６の正面になる方向となる。これにより、第１合成画像ＳＩ１において、自動倉庫システム１内を移動するような仮想現実を実現できる。

第７アイコンＩＣＯ７は、第１合成画像ＳＩ１の所定位置に設けられ（図１２の例では第１合成画像ＳＩ１の上方）、スイッチの形状を有している。また、その下には「Ｖｉｅｗ Ｍｏｄｅ」との文字が付されている。第７アイコンＩＣＯ７をクリック又はタッチすることで、後述する表示画面において、第１合成画像ＳＩ１を表示する第１状態と、第２合成画像ＳＩ２を表示する第２状態と、を切り替えることができる。

上記の第１合成画像ＳＩ１は、ヘッドマウントディスプレイ１４においては、図１３に示すような表示画面Ｉ３に表示される。図１３は、合成画像の表示画面の一例を示す図である。
図１３に示すように、表示画面Ｉ３においては、第１合成画像ＳＩ１が表示される領域の外側に、チャット欄Ａ１が表示される。図１３に示す例では、チャット欄Ａ１は第１合成画像ＳＩ１の右側に表示される。

チャット欄Ａ１は、チャット内容が吹き出しＣＨとしてチャットの時系列順に配置される。また、チャット欄Ａ１は、ファイル選択欄ＦＳを有している。ファイル選択欄ＦＳは、作業者端末１７などに保存されたファイルを選択し、チャット内容（吹き出しＣＨ）に添付する機能を有する。チャット内容に添付されたファイルは、第１合成画像ＳＩ１にドラッグすることができる。第１合成画像ＳＩにドラッグされたファイルは、第１合成画像ＳＩ１の所定の位置又はオブジェクトＯに、設備情報ＥＩとして関連付けることができる。

表示画面Ｉ３を表示したヘッドマウントディスプレイ１４を装着した作業者は、表示画面Ｉ３に表示された第１合成画像ＳＩ１を参照できる。また、必要に応じて、ヘッドマウントディスプレイ１４を接続した作業者端末１７の入力装置１７ｆを用いて、第１合成画像ＳＩ１に付されたアイコンを指定することで、第１合成画像ＳＩ１に示された自動倉庫システム１のレイアウト、及び、各設備に関連付けられた設備情報ＥＩを確認できる。

自動倉庫システム１の保守を開始するとき、例えば、作業者は、作業者端末１７の入力装置１７ｆを用いて、ヘッドマウントディスプレイ１４に表示された表示画面Ｉ３中の第１合成画像ＳＩ１の第７アイコンＩＣＯ７をクリック又はタッチして、表示画面Ｉ３に表示する合成画像を、第１合成画像ＳＩ１から第２合成画像ＳＩ２に切り替えるための操作をする。作業者端末１７においてこの操作がなされると、作業者端末１７から保守サーバ３に、第２合成画像ＳＩ２の送信要求が送信される。

（７－３）第２合成画像の生成／出力動作
次に、図１４を用いて、上記ステップＳ３における第２合成画像ＳＩ２の生成と出力の具体的な動作を説明する。図１４は、第２合成画像の生成と出力の具体的な動作を示すフローチャートである。
作業者端末１７の通知部１７７が第２合成画像ＳＩ２の送信要求を送信する際に、撮像装置１２は、ステップＳ３１において、自動倉庫システム１内の作業者の視野に対応する領域の撮像を、撮影画像ＡＭとして撮影（取得）する。通知部１７７は、撮像装置１２により撮影された撮影画像ＡＭを、第２合成画像ＳＩ２の送信要求とともに、保守サーバ３に送信する。ここで、例えば、図１５に示すような撮影画像ＡＭが得られたとする。図１５は、撮影画像の一例を示す図である。

なお、撮影画像ＡＭは周期的に変化するものであるので、通知部１７７は、撮影画像ＡＭの撮影周期毎に、最新の撮影画像ＡＭと、当該最新の撮影画像ＡＭを用いて生成した第２合成画像ＳＩ２の送信要求と、を保守サーバ３に送信する。最新の撮影画像ＡＭを受信した保守サーバ３は、その撮影画像ＡＭを、一時的な記憶領域に保存する。

撮影画像ＡＭを受信すると、保守サーバ３の対応関係解析部３０５は、ステップＳ３２において、受信した撮影画像ＡＭとモデル画像ＦＭとの対応関係を解析する。具体的には、例えば、以下のようにして対応関係を解析する。
対応関係解析部３０５は、モデル画像ＦＭを構成する複数の部分モデル画像と、撮影画像ＡＭとの画像マッチングを、複数の部分モデル画像それぞれについて順次実行する。次に、対応関係解析部３０５は、撮影画像ＡＭの特定の座標値と、この撮影画像ＡＭと最もよくマッチした部分モデル画像における座標値との対応関係を解析する。対応関係は、例えば、撮影画像ＡＭの特定の座標値（例えば、原点）が、当該撮影画像と最もよくマッチした部分モデル画像におけるどの座標値に対応するかを示す。

その他、対応関係解析部３０５は、撮影画像ＡＭと部分モデル画像に共通に含まれる特徴的な形状等（例えば、文字）から、撮影画像ＡＭと部分モデル画像との対応関係を抽出してもよい。
例えば、対応関係解析部３０５は、撮影画像ＡＭに含まれる特徴的な形状を含む部分モデル画像を抽出し、抽出した部分モデル画像においてこの共通の特徴的な形状がどの位置（座標値）に存在するかを判断する。その後、共通の特徴的な形状の撮影画像ＡＭにおける存在位置（座標値）と、共通の特徴的な形状の部分モデル画像における存在位置（座標値）と、を対応付けた情報を対応関係として抽出できる。

さらに、上記の特徴的な形状が設備に付されたＱＲコード（登録商標）又はバーコードであり、かつ、撮影画像ＡＭにおいてこれらコードが読み取り可能である場合には、対応関係解析部３０５は、これらコードを読み取ることで得られた設備の識別番号、号機番号などを、撮影画像ＡＭと部分モデル画像との対応関係とすることもできる。

上記対応関係を解析後、第２合成画像生成部３０７は、ステップＳ３３において、対応関係解析部３０５により解析された対応関係と関連付け情報ＡＩとに基づいて、撮影画像ＡＭ内の設備表示部分ＥＰに、設備情報ＥＩが関連付けられたことを示すアイコンを付して第２合成画像ＳＩ２を生成する。
具体的には、例えば、第２合成画像生成部３０７は、上記対応関係と関連付け情報ＡＩに基づいて、撮影画像ＡＭ内のいずれの設備表示部分ＥＰに設備情報ＥＩが関連づけられているかを判定する。その後、第２合成画像生成部３０７は、設備情報ＥＩが関連づけられている設備表示部分ＥＰが存在する撮影画像ＡＭ内の各座標位置に、対応するアイコンを付する。
第２合成画像ＳＩ２には、関連付けられた設備情報ＥＩの種類、受け付けた操作に対する動作の種類等に従って、第１合成画像ＳＩ１において付されたのと同種類のアイコンが付される。

第２合成画像ＳＩ２を生成後、サーバ送受信部３０１は、ステップＳ３４において、ステップＳ３３において生成した第２合成画像ＳＩ２を、第２合成画像ＳＩ２の送信要求があった作業者端末１７に送信する。

第２合成画像ＳＩ２を受信した送受信部１７１は、第２合成画像ＳＩ２をＲＡＭ１７ｂなどに一時的に記憶する。表示部１７３は、入出力インタフェース１７ｇに接続されたヘッドマウントディスプレイ１４に、一時的に記憶した第２合成画像ＳＩ２を出力する。これにより、ヘッドマウントディスプレイ１４に、第２合成画像ＳＩ２が表示される。

上記のステップＳ３１～Ｓ３４を実行するにより、保守サーバ３は、例えば、図１６に示すような第２合成画像ＳＩ２を生成できる。図１６は、第２合成画像の一例を示す図である。
なお、図１６に示す第２合成画像ＳＩ２では、上記にて説明した七種類のアイコン（ＩＣＯ１～ＩＣＯ７）とは異なる第８アイコンＩＣＯ８が付されているが、当該七種類のアイコンが第２合成画像ＳＩ２に合成表示されるものであってもよい。第８アイコンＩＣＯ８は、画像イメージの形状をしている。第８アイコンＩＣＯ８は、このアイコンが配置された設備には、この設備に関する画像（例えば、設備内部の画像）が関連付けられていることを示す。図１６に示すように、第８アイコンＩＣＯ８の下には設備名が付されており、第８アイコンＩＣＯ８がどの設備表示部分ＥＰに配置されているか、どの設備に関する画像が関連付けられているかが具体的に示されている。

上記の第２合成画像ＳＩ２を受信した作業者端末１７の表示部１７３は、当該第２合成画像ＳＩ２を、作業者が装着し入出力インタフェース１７ｇに接続されたヘッドマウントディスプレイ１４に表示する。これにより、作業者は、拡張現実としての第２合成画像ＳＩ２を参照できる。また、必要に応じて、ヘッドマウントディスプレイ１４を接続した作業者端末１７の入力装置１７ｆを用いて、第２合成画像ＳＩ２に付されたアイコンをクリック等で指定することで、自身が実際に見ている設備等とそれに関連付けられている設備情報ＥＩとを確認することができる。

さらに、第２合成画像ＳＩ２は、第２合成画像ＳＩ２の元となる撮影画像ＡＭと、第１合成画像ＳＩ１の元となるモデル画像ＦＭと、の対応関係に基づいて生成されている。これにより、第１合成画像ＳＩ１における設備と設備情報ＥＩとの関連付けを、撮影画像ＡＭに含まれる設備表示部分ＥＰに対して適切に反映して第２合成画像ＳＩ２を生成できる。その結果、作業者は、作業現場内で実際に見ている設備にどの設備情報ＥＩが関連付けられているかを明確に判断できる。

（８）第１合成画像／第２合成画像上で実行できる機能
（８－１）設備情報提供機能
以下、ヘッドマウントディスプレイ１４に表示された第１合成画像ＳＩ１及び第２合成画像ＳＩ２上で実行可能な機能を説明する。
第１合成画像ＳＩ１及び第２合成画像ＳＩ２においては、ヘッドマウントディスプレイ１４を接続する作業者端末１７の入力装置１７ｆを用いて、これら画像に付されたアイコンを指定する操作（アイコンのクリック、タッチなど）があった場合、そのアイコンが付されたオブジェクトＯ（第１合成画像ＳＩ１の場合）又は設備表示部分ＥＰ（第２合成画像ＳＩ２の場合）に関連付けられた情報が提供される（設備情報提供機能）。設備情報提供機能は、以下のようにして実現される。

ヘッドマウントディスプレイ１４を接続する作業者端末１７の操作部１７５が、表示画面Ｉ３などに表示中の画像内のアイコンを指定する入力装置１７ｆを用いた操作（例えば、アイコンのクリック、タッチ）を受け付けると、通知部１７７が、操作部１７５が受け付けた操作を保守サーバ３に通知する。具体的には、例えば、表示中の画像において操作があった場所の座標値と、ヘッドマウントディスプレイ１４に現在表示中の合成画像の種別が、保守サーバ３に通知される。

上記の通知を通知部１７７から受信すると、保守サーバ３のサーバ送受信部３０１は、作業者端末１７から通知された合成画像の種別から、ヘッドマウントディスプレイ１４に現在表示されている合成画像の種別を判断する。ヘッドマウントディスプレイ１４に現在第１合成画像ＳＩ１が表示されている場合、サーバ送受信部３０１は、関連付け情報ＡＩを参照して、作業者端末１７から通知された座標値（オブジェクトＯ、設備表示部分ＥＰの座標値）に関連付けられた設備情報ＥＩを特定する。

その一方、ヘッドマウントディスプレイ１４に第２合成画像ＳＩ２が現在表示されている場合、サーバ送受信部３０１は、現在表示中の第２合成画像ＳＩ２の生成において用いられた上記の対応関係に基づいて、作業者端末１７から通知された第２合成画像ＳＩ２上の座標値を、第１合成画像ＳＩ１上の対応する座標値に変換する。その後、サーバ送受信部３０１は、関連付け情報ＡＩを参照して、当該変換後の座標値に関連付けられた設備情報ＥＩを特定する。

送信すべき設備情報ＥＩを特定後、サーバ送受信部３０１は、特定した設備情報ＥＩを、上記の通知があった作業者端末１７に送信する。

保守サーバ３から設備情報ＥＩを受信した送受信部１７１は、受信した設備情報ＥＩをＲＡＭ１７ｂなどに一時的に記憶する。その後、表示部１７３が、一時的に記憶した設備情報ＥＩを、入出力インタフェース１７ｇに接続されたヘッドマウントディスプレイ１４に出力する。これにより、作業者に要求された設備情報ＥＩが、ヘッドマウントディスプレイ１４に表示され、自動倉庫システム１の各設備に関連付けられた設備情報ＥＩを容易に参照できる。

なお、設備数が多い自動倉庫システム１においては、１つのオブジェクトＯ（設備）に関連付けられる設備情報ＥＩは、通常、複数存在する。このような場合、表示部１７３は、例えば、１つのオブジェクトＯに関連付けられている複数の設備情報ＥＩをリスト化して、ヘッドマウントディスプレイ１４に出力する。すなわち、１つのオブジェクトＯに複数の設備情報ＥＩが関連づけられている場合には、ヘッドマウントディスプレイ１４には、当該複数の設備情報ＥＩのリストが表示される。

（８－２）合成画像表示切り替え機能
本実施形態に係る保守システム１００においては、第１合成画像ＳＩ１と第２合成画像ＳＩ２とを切り替えてヘッドマウントディスプレイ１４に表示できる（合成画像表示切り替え機能）。すなわち、第１合成画像ＳＩ１を表示する第１状態と、第２合成画像ＳＩ２を表示する第２状態と、を切り替えることができる。合成画像表示切り替え機能は、以下のようにして実現される。
第１合成画像ＳＩ１又は第２合成画像ＳＩ２内の第７アイコンＩＣＯ７に対する操作（例えば、第７アイコンＩＣＯ７に対するクリック、タッチ、スワイプなど）を操作部１７５が受け付けると、通知部１７７が、操作部１７５による表示状態の選択結果と、ヘッドマウントディスプレイ１４に現在表示中の合成画像の種別と、を保守サーバ３に通知する。

上記操作がクリック、タッチの場合には、通知部１７７は、第７アイコンＩＣＯ７に対してクリック、タッチがあったことを選択結果として通知する。その一方、上記操作がスワイプの場合には、通知部１７７は、第７アイコンＩＣＯ７に対してなされたスワイプの方向を選択結果として通知する。

上記の通知を通知部１７７から受信すると、保守サーバ３は、当該通知に基づいて、第１合成画像ＳＩ１又は第２合成画像ＳＩ２のいずれを送信する。
上記通知のあった作業者端末１７に接続されたヘッドマウントディスプレイ１４に第１合成画像ＳＩ１が表示されていた場合には、第２合成画像生成部３０７が、上記のステップＳ３１～Ｓ３４を実行して第２合成画像ＳＩ２を生成する。その後、サーバ送受信部３０１が、生成した第２合成画像ＳＩ２を、上記通知のあった作業者端末１７へ送信する。
第２合成画像ＳＩ２を受信した作業者端末１７の表示部１７３は、表示画面Ｉ３において第１合成画像ＳＩ１を第２合成画像ＳＩ２に切り替えてヘッドマウントディスプレイ１４に表示する。

その一方、上記通知のあった作業者端末１７に接続されたヘッドマウントディスプレイ１４に第２合成画像ＳＩ２が表示されていた場合には、第１合成画像生成部３０３が、上記のステップＳ２１～Ｓ２５を実行して第１合成画像ＳＩ１を生成する。その後、サーバ送受信部３０１が、生成した第１合成画像ＳＩ１を、上記通知のあった作業者端末１７へ送信する。
第１合成画像ＳＩ１を受信した作業者端末１７の表示部１７３は、表示画面Ｉ３において第２合成画像ＳＩ２を第１合成画像ＳＩ１に切り替えてヘッドマウントディスプレイ１４に表示する。

これにより、作業者端末１７の表示部１７３は、操作部１７５が受け付けた操作に従って、適切な合成画像（第１合成画像ＳＩ１又は第２合成画像ＳＩ２）を、ヘッドマウントディスプレイ１４に表示中の表示画面Ｉ３にて切り替えて表示できる。

（８－３）第１合成画像／第２合成画像の更新機能
本実施形態に係る保守システム１００においては、第１合成画像ＳＩ１及び第２合成画像ＳＩ２を生成後に、当該生成後の第１合成画像ＳＩ１及び第２合成画像ＳＩ２における設備と設備情報ＥＩとの関連付けを更新できる（第１合成画像／第２合成画像の更新機能）。例えば、現在の合成画像に関連付けられている設備情報ＥＩを、追加、削除、変更できる。
本実施形態では、特に、ヘッドマウントディスプレイ１４に表示中の第２合成画像ＳＩ２において、設備表示部分ＥＰと設備情報ＥＩとの関連付けを更新できる。また、設備表示部分ＥＰと設備情報ＥＩとの関連付けを更新後の新たな関連付け情報ＡＩに基づいて、第１合成画像ＳＩ１を更新できる。

以下、図１７を用いて、第２合成画像ＳＩ２において設備表示部分ＥＰと設備情報ＥＩとの関連付けを更新する動作を具体的に説明する。図１７は、第２合成画像の更新動作の一例を示すフローチャートである。
第２合成画像ＳＩ２を表示するヘッドマウントディスプレイ１４を接続した作業者端末１７の操作部１７５は、ステップＳ４１において、ヘッドマウントディスプレイ１４に表示されている第２合成画像ＳＩ２における設備情報ＥＩの関連づけの更新作業を受け付ける。
例えば、第２合成画像ＳＩ２の特定の設備表示部分ＥＰへ、作業者端末１７に記憶されている設備情報ＥＩである電子ファイルをドラッグ・アンド・ドロップすることで、特定の設備表示部分ＥＰに新たな設備情報ＥＩを関連付けできる。

また、例えば、入力装置１７ｆを用いて、第２合成画像ＳＩ２の特定の設備表示部分ＥＰに付されたアイコンを削除する操作をすることで、特定の設備表示部分ＥＰへの特定の設備情報ＥＩの関連付けを削除できる。
さらに、上記アイコンの削除と、ファイルのドラッグ・アンド・ドロップとを両方実行することにより、特定の設備表示部分ＥＰに関連付ける設備情報ＥＩを変更できる。

関連付けの更新操作の完了後、通知部１７７は、ステップＳ４２において、操作部１７５が受け付けた第２合成画像ＳＩ２における設備表示部分ＥＰと設備情報ＥＩとの関連付けの更新操作を保守サーバ３に通知する。
具体的には、例えば、特定の設備表示部分ＥＰへの電子ファイルのドラッグ・アンド・ドロップが更新操作としてなされた場合には、通知部１７７は、その特定の設備表示部分ＥＰが存在する位置（座標値）と、その位置にドラッグ・アンド・ドロップされた電子ファイルを通知する。

一方、特定の設備表示部分ＥＰからのアイコンの削除が更新操作としてなされた場合、通知部１７７は、例えば、アイコンが削除された特定の設備表示部分ＥＰの位置（座標値）と、当該設備表示部分ＥＰにおいてアイコンが削除されたことと、を通知する。
さらに、特定の設備表示部分ＥＰに関連付けられた設備情報ＥＩの変更が更新操作としてされた場合、通知部１７７は、例えば、当該特定の設備表示部分ＥＰの位置（座標値）と、当該設備表示部分ＥＰからアイコンが削除されたことと、新たに関連付ける電子ファイルと、を通知する。

上記の通知を受信した保守サーバ３のサーバ送受信部３０１は、ステップＳ４３において、通知に示された更新操作の内容（更新内容）に従って、関連付け情報ＡＩを更新する。
具体的には、第２合成画像ＳＩ２の設備表示部分ＥＰの位置（座標値）と電子ファイルが作業者端末１７から通知された場合、サーバ送受信部３０１は、現在表示中の第２合成画像ＳＩ２の生成において用いられた上記の対応関係に基づいて、作業者端末１７から通知された設備表示部分ＥＰの座標値を、第１合成画像ＳＩ１上の対応する座標値に変換する。また、サーバ送受信部３０１は、受信した電子ファイルを、設備情報ＥＩとして記憶部３０９に記憶する。
その後、サーバ送受信部３０１は、変換後の座標値と、設備情報ＥＩとして記憶した電子ファイルの記憶位置情報と、を関連づけて関連付け情報ＡＩに新たに記録する。

一方、設備表示部分ＥＰの座標値とアイコンが削除されたこととが作業者端末１７から通知された場合、サーバ送受信部３０１は、作業者端末１７から通知された設備表示部分ＥＰの座標値を、第１合成画像ＳＩ１上の対応する座標値に変換する。その後、サーバ送受信部３０１は、現在の関連付け情報ＡＩから、変換後の座標値に関連づけられている設備情報ＥＩの記憶位置情報と当該変換後の座標値との関連づけを削除する。

さらに、設備表示部分ＥＰの位置（座標値）と、当該設備表示部分ＥＰからアイコンが削除されたことと、電子ファイルと、が作業者端末１７から通知された場合、サーバ送受信部３０１は、上記にて説明した、関連付け情報ＡＩに記憶されている関連付けの削除と、新たな関連付けの追加とを組み合わせて実行する。

関連付け情報ＡＩを更新後、第２合成画像生成部３０７は、ステップＳ４４において、更新後の関連付け情報ＡＩに基づいて、上記にて説明したステップＳ３１～Ｓ３４を実行して、新たな第２合成画像を生成する。

上記のステップＳ４１～Ｓ４４を実行することにより、表示中の第２合成画像ＳＩ２において、設備表示部分ＥＰと設備情報ＥＩとの関連付けを、作業者が所望するように適宜変更できる。
例えば、図１６に示すような第２合成画像ＳＩ２を表示中に、機器をアップで撮影した画像データを、「機器情報＿ＭＭＣ－１１」との文字が付された第１アイコンＩＣＯ１の下にある設備（設備表示部分ＥＰ）に関連付けたい場合には、当該画像データを、表示中の第２合成画像ＳＩ２のこの設備表示部分ＥＰ上にドラッグ・アンド・ドロップすることで、図１８に示すような新たな第２合成画像ＳＩ２を生成できる。すなわち、新たな第８アイコンＩＣＯ８が付された新たな第２合成画像ＳＩ２が生成される。
図１８は、新たな第２合成画像の一例を示す図である。

なお、ヘッドマウントディスプレイ１４に表示中の更新後の第２合成画像ＳＩ２において第７アイコンＩＣＯ７に対する操作があり、第２合成画像ＳＩ２から第１合成画像ＳＩ１に表示を切り替える場合には、第１合成画像生成部３０３は、更新後の関連付け情報ＡＩに基づいて上記のステップＳ２１～Ｓ２５を実行して、新たな第１合成画像ＳＩ１を生成し出力できる。

具体的には、例えば、第１合成画像生成部３０３は、新たな第２合成画像ＳＩ２の生成に用いた撮影画像ＡＭ（静止画）を新たな部分モデル画像として記憶部３０９に記憶し、上記のステップＳ２１～Ｓ２５を実行して、更新後の関連付け情報ＡＩに基づいて、当該新たな第２合成画像ＳＩ２を追加した新たな第１合成画像ＳＩ１を生成できる。
なお、モデル画像ＦＭ（部分モデル画像）とする撮影画像として、撮像装置１２とは別の魚眼カメラなどで撮影した画像を用いてもよい。

上記のような第１合成画像ＳＩ１及び第２合成画像ＳＩ２の更新は、例えば、保守システム１００の導入初期段階で生成した第１合成画像ＳＩ１を、作業者等にとって最適な状態に逐次更新することができる点で有利である。その他、例えば、自動倉庫システム１の更新等があった場合に、すばやくその更新を第１合成画像ＳＩ１に反映できる。

２．第２実施形態
上記の第１実施形態においては、関連付け情報ＡＩは、モデル画像ＦＭ（部分モデル画像）内におけるオブジェクトＯの絶対位置（座標値）と、当該オブジェクトＯが表す設備に関連付けられた設備情報ＥＩと、を関連付けていた。
しかし、これに限られず、第２実施形態に係る関連付け情報ＡＩ’は、モデル画像ＦＭ（各部分モデル画像）内の少なくとも１つのオブジェクトＯを基準としたオブジェクトＯの相対位置（座標値の差）と、基準のオブジェクトＯ及び／又は他のオブジェクトＯが表す設備に関連付けられた設備情報ＥＩと、を関連付けてもよい。

この場合、対応関係解析部３０５は、例えば、撮影画像ＡＭ内にある上記基準のオブジェクトに対応する像を画像認識にて抽出し、当該抽出した像と、モデル画像ＦＭ（部分モデル画像）内の基準のオブジェクトＯとの画像マッチングにより、撮影画像ＡＭとモデル画像ＦＭの対応関係を算出できる。
すなわち、撮影画像ＡＭの全体とモデル画像ＦＭ（部分モデル画像）の全体とを画像マッチングする場合と比較して、対応関係の算出に要する保守サーバ３の負荷を軽減できる。

３．他の実施形態
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。特に、本明細書に書かれた複数の実施形態及び変形例は必要に応じて任意に組み合せ可能である。
上記にて説明したフローチャートの処理の順番、及び、各ステップの処理内容は、発明の要旨を逸脱しない範囲で変更可能である。また、上記第１実施形態と第２実施形態とは、適宜組み合わせることができる。

（Ａ）第１合成画像ＳＩ１及び第２合成画像ＳＩ２において、オブジェクトＯ及び設備表示部分ＥＰに設備情報ＥＩが関連付けられたことを示すアイコンを付するか否かを切り替え可能となっていてもよい。
この場合、例えば、合成画像においてオブジェクトＯ又は設備表示部分ＥＰの表示領域をクリックすれば、そのオブジェクトＯ又は設備表示部分ＥＰに関連付けられた設備情報ＥＩ（のリスト）を表示できる。

その他、例えば、第１合成画像ＳＩ１及び第２合成画像ＳＩ２上にカーソル（例えば、マウスカーソル）が配置されたときに、そのカーソルの位置に設備情報ＥＩが関連付けられているなら、カーソルの形状を変化させることもできる。

（Ｂ）モデル画像ＦＭ（部分モデル画像）を実写画像とする場合には、モデル画像ＦＭとなる実写画像をパノラマ画像として撮影してもよい。また、モデル画像ＦＭをデジタルモデルとする場合でも、パノラマ状のデジタルモデルをモデル画像ＦＭとすることができる。

（Ｃ）上記の第１実施形態及び第２実施形態において、設備情報ＥＩは、設備の稼働に関する稼働情報ＦＩと、設備の保守に用いられる保守情報ＭＩを含むものであった。その他、設備情報ＥＩは、さらに、各設備におけるエラー発生に関する情報を含んでいてもよい。
この場合、第１合成画像生成部３０３及び第２合成画像生成部３０７は、例えば、エラー発生に関する情報が関連付けられたオブジェクトＯ及び設備表示部分ＥＰには、エラーが発生していることを示すアイコン（例えば、色彩を変化させたアイコン、エラー内容を模式的に示すアイコン、など）を付して第１合成画像ＳＩ１及び第２合成画像ＳＩ２を生成してもよい。

本発明は、特に、作業現場内の設備に関する情報を提供するシステムに広く適用できる。

１００ 保守システム
１ 自動倉庫システム
１１ 自動倉庫
１２ 撮像装置
１４ ヘッドマウントディスプレイ
１３ａ 第１記憶装置
１３ｂ 第２記憶装置
１５ａ 搬送管理サーバ
１５ｂ 情報管理サーバ
１７ 作業者端末
１７ａ プロセッサ
１７ｂ ＲＡＭ
１７ｃ ＲＯＭ
１７ｄ ネットワークインタフェース
１７ｅ 記憶装置
１７ｆ 入力装置
１７ｇ 入出力インタフェース
１７ｈ ディスプレイ
１７１ 送受信部
１７３ 表示部
１７５ 操作部
１７７ 通知部
１９ 第１ゲートウェイ装置
ＳＨ１ 第１スイッチングハブ
ＳＨ２ 第２スイッチングハブ
ＣＡ カメラ
ＣＡ１～ＣＡ４カメラ
ＳＥ センサ
２ 保守拠点
２１ａ、２１ｂ 保守端末
２３ 第２ゲートウェイ装置
ＳＨ３ 第３スイッチングハブ
３ 保守サーバ
３１ プロセッサ
３２ ＲＡＭ
３３ ＲＯＭ
３４ ネットワークインタフェース
３５ 記憶装置
３６ ディスプレイ
３７ 入力装置
３０１ サーバ送受信部
３０３ 第１合成画像生成部
３０５ 対応関係解析部
３０７ 第２合成画像生成部
３０９ 記憶部
ＡＩ、ＡＩ’ 関連付け情報
ＥＩ 設備情報
ＦＩ 稼働情報
ＭＩ 保守情報
ＦＭ モデル画像
Ｏ オブジェクト
ＡＭ 撮影画像
ＥＰ 設備表示部分
ＬＩ 閲覧権限情報
ＵＩ ユーザ情報
ＳＩ１ 第１合成画像
ＳＩ２ 第２合成画像
ＩＣＯ１ 第１アイコン
ＩＣＯ２ 第２アイコン
ＩＣＯ３ 第３アイコン
ＩＣＯ４ 第４アイコン
ＩＣＯ５ 第５アイコン
ＩＣＯ６ 第６アイコン
ＩＣＯ７ 第７アイコン
ＩＣＯ８ 第８アイコン
ＮＷ ネットワーク
Ｉ３ 表示画面
Ａ１ チャット欄
ＣＨ 吹き出し
ＡＩ、ＡＩ’ 関連付け情報
ＦＳ ファイル選択欄

Claims (12)

1. 作業現場内の設備を保守する保守システムであって、
   サーバと、
   前記サーバと通信可能に接続された撮像装置と、
   前記サーバと通信可能に接続された表示端末と、を備え、
   前記サーバは、
   前記設備に関する設備情報と、前記作業現場をモデルとして表すモデル画像と、前記モデル画像において前記設備を表すオブジェクトと前記設備情報とを関連付ける関連付け情報と、を記憶する記憶部と、
   前記関連付け情報に基づいて、前記設備情報が関連付けられていることを示すアイコンを前記設備情報が関連付けられた前記モデル画像の対応する前記オブジェクトに付して第１合成画像を生成する第１合成画像生成部と、
   前記撮像装置により前記作業現場を実際に撮影した撮影画像と前記モデル画像との対応関係を解析する対応関係解析部と、
   前記対応関係解析部により解析された前記対応関係と前記関連付け情報とに基づいて、前記撮影画像内において前記設備を表示する設備表示部分に前記アイコンを付して第２合成画像を生成する第２合成画像生成部と、
   前記第１合成画像及び／又は前記第２合成画像を前記表示端末に送信する送信部と、
   を有し、
   前記表示端末は、
   前記第１合成画像を表示する第１状態、又は、前記第２合成画像を表示する第２状態のいずれかを選択する操作を受け付ける第２操作部と、
   前記第２操作部による表示状態の選択結果を前記サーバに通知する第２通知部と、
   を有し、
   前記サーバの前記送信部は、
   前記第２通知部から前記選択結果として前記第１状態が前記サーバに通知された場合、前記第１合成画像を前記表示端末に送信し、
   前記第２通知部から前記選択結果として前記第２状態が前記サーバに通知された場合、前記第２合成画像を前記表示端末に送信し、
   前記表示端末は、
   前記送信部から前記第１合成画像を受信した場合、当該第１合成画像を表示し、前記送信部から前記第２合成画像を受信した場合、当該第２合成画像を表示し、
   前記表示端末は、
   前記第１合成画像又は前記第２合成画像に表示された前記アイコンに対する操作を受け付ける第１操作部と、
   前記第１操作部による前記アイコンに対する操作を前記サーバに通知する第１通知部と、
   を有し、
   前記第１通知部から前記アイコンに対する操作が前記サーバに通知された場合、前記サーバの前記送信部は、操作が行われた前記アイコンが付された前記オブジェクト又は前記設備表示部分に関連付けられた前記設備情報を、前記表示端末に送信し、
   前記表示端末は、前記サーバの前記送信部から受信した前記設備情報を表示する、
   保守システム。
2. 前記表示端末は、
   前記第２合成画像を表示中に、当該第２合成画像における前記設備表示部分と前記設備情報との関連付けを更新する操作を受け付ける第３操作部と、
   前記第３操作部による、前記第２合成画像における前記設備表示部分と前記設備情報との関連付けの更新を前記サーバに通知する第３通知部と、
   を有し、
   前記サーバの前記第２合成画像生成部は、前記第３通知部から受信した前記設備表示部分と前記設備情報との関連付けの更新内容に基づいて、表示中の前記第２合成画像における前記設備表示部分と前記設備情報との関連付けを更新した新たな第２合成画像を生成する、
   請求項１に記載の保守システム。
3. 前記サーバの前記第１合成画像生成部は、前記設備表示部分と前記設備情報との関連付けの更新内容に従って更新された更新後の前記関連付け情報に基づいて、既存の前記第１合成画像を更新する、請求項２に記載の保守システム。
4. 前記関連付け情報は、前記モデル画像内の少なくとも１つの前記オブジェクトを基準とした前記オブジェクトの相対位置と前記設備情報とを関連付ける、請求項１～３のいずれかに記載の保守システム。
5. 前記モデル画像は、それぞれが前記作業現場の異なる部分を表す複数の部分モデル画像により構成され、
   前記関連付け情報は、前記複数の部分モデル画像のそれぞれについて作成される、請求項１～４のいずれかに記載の保守システム。
6. 前記設備情報は前記設備の稼働に関する稼働情報を含む、請求項１～５のいずれかに記載の保守システム。
7. 前記作業現場は、搬送装置を前記設備として含む自動倉庫システムであり、
   前記稼働情報は、前記搬送装置とその周囲の環境に関する環境データと、前記搬送装置にて発生した振動に関する振動データと、前記搬送装置にて発生したエラーに関するエラー発生情報と、を含む、
   請求項６に記載の保守システム。
8. 前記設備情報は前記設備を保守するための保守情報を含む、請求項１～７のいずれかに記載の保守システム。
9. 前記保守情報は、前記設備の部品のリストであるパーツリストと、前記設備のマニュアルと、前記設備の点検履歴と、を含む、請求項８に記載の保守システム。
10. 前記サーバは、複数の前記作業現場から、当該複数の作業現場に含まれる前記設備の前記設備情報を収集する、請求項１～９のいずれかに記載の保守システム。
11. 作業現場内の設備を保守するためのサーバであって、
    前記設備に関する設備情報と、前記作業現場をモデルとして表すモデル画像と、前記モデル画像において前記設備を表すオブジェクトと前記設備情報とを関連付ける関連付け情報と、を記憶する記憶部と、
    前記関連付け情報に基づいて、前記設備情報が関連付けられていることを示すアイコンを前記設備情報が関連付けられた前記モデル画像の対応する前記オブジェクトに付して第１合成画像を生成する第１合成画像生成部と、
    前記作業現場を実際に撮影した撮影画像と前記モデル画像との対応関係を解析する対応関係解析部と、
    前記対応関係解析部により解析された前記対応関係と前記関連付け情報とに基づいて、前記撮影画像内において前記設備を表示する設備表示部分に前記アイコンを付して第２合成画像を生成する第２合成画像生成部と、
    前記第１合成画像及び／又は前記第２合成画像を外部に送信する送信部と、
    を備え、
    前記送信部は、
    外部の表示端末から前記第１合成画像を表示する旨が通知された場合、前記第１合成画像を前記表示端末に送信し、
    前記表示端末から前記第２合成画像を表示する旨が通知された場合、前記第２合成画像を前記表示端末に送信し、
    前記表示端末は、
    前記送信部から前記第１合成画像を受信した場合、当該第１合成画像を表示し、前記送信部から前記第２合成画像を受信した場合、当該第２合成画像を表示し、
    前記表示端末は、
    前記第１合成画像又は前記第２合成画像に表示された前記アイコンに対する操作を受け付ける第１操作部と、
    前記第１操作部による前記アイコンに対する操作を前記サーバに通知する第１通知部と、
    を有し、
    前記第１通知部から前記アイコンに対する操作が前記サーバに通知された場合、前記サーバの前記送信部は、操作が行われた前記アイコンが付された前記オブジェクト又は前記設備表示部分に関連付けられた前記設備情報を、前記表示端末に送信し、
    前記表示端末は、前記サーバの前記送信部から受信した前記設備情報を表示する、
    サーバ。
12. 作業現場内の設備を保守する保守システムにより実行される保守方法であって、
    前記設備に関する設備情報と、前記作業現場をモデルとして表すモデル画像と、前記モデル画像において前記設備を表すオブジェクトと前記設備情報とを関連付ける関連付け情報と、を記憶するステップと、
    前記関連付け情報に基づいて、前記設備情報が関連付けられていることを示すアイコンを前記設備情報が関連付けられた前記モデル画像の対応する前記オブジェクトに付して第１合成画像を生成するステップと、
    前記作業現場を実際に撮影した撮影画像と前記モデル画像との対応関係を解析するステップと、
    解析された前記対応関係と前記関連付け情報とに基づいて、前前記撮影画像内において前記設備を表示する設備表示部分に前記アイコンを付して第２合成画像を生成するステップと、
    表示端末が、前記第１合成画像を表示する第１状態、又は、前記第２合成画像を表示する第２状態のいずれかを選択する操作を受け付けるステップと、
    前記表示端末が表示状態の選択結果を通知するステップと、
    前記選択結果として前記第１状態が通知された場合、前記第１合成画像を前記表示端末に送信し、前記選択結果として前記第２状態が通知された場合、前記第２合成画像を前記表示端末に送信するステップと、
    前記表示端末が、前記第１合成画像を受信した場合、当該第１合成画像を表示し、前記第２合成画像を受信した場合、当該第２合成画像を表示するステップと、
    前記アイコンに対する操作があった場合、操作が行われた前記アイコンが付された前記オブジェクト又は前記設備表示部分に関連付けられた前記設備情報を、前記表示端末に送信するステップと、
    前記表示端末が、前記設備情報を表示するステップと、
    を備える、保守方法。
    

Images