JP7149354B2

JP7149354B2 - 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム

Info

Publication number: JP7149354B2
Application number: JP2021010629A
Authority: JP
Inventors: 建夫平村; 克司花田
Original assignee: SPP Technologies Co Ltd
Current assignee: SPP Technologies Co Ltd
Priority date: 2020-03-27
Filing date: 2021-01-26
Publication date: 2022-10-06
Anticipated expiration: 2041-01-26
Also published as: JP2021157781A

Description

本発明は、保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムに関する。

特許文献１は、表示装置を備える図面投影システムを開示している。この図面投影システムの表示装置は、建築物の設計図を現実空間に重畳して投影する。この図面投影システムによれば、建設現場における墨出しが不要となるため、建設現場における作業効率が高められる。

特開２０１８－１６３４６６号公報

例えば、産業用機器等を構成する複数の部品を含む機器ユニットにおいては、部品点数が多く、また、図面の種類および数も多く、さらには、図面上の部品の配置と実機の部品の配置とが必ずしも一致していない。このため、図面上の部品と実機の部品との対応関係を容易に把握できず、機器ユニットの保守作業を効率的に実施できない。

本発明の目的は、機器ユニットの保守作業を効率的に実施できる保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムを提供することである。

(１)本発明に関する保守作業支援システムは、複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、前記表示装置は、前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、前記制御部は、前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第１表示制御、および、前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第２表示制御、の少なくとも一方を実行する。

上記保守作業支援システムによれば、図面情報において、任意の部品が選択された場合に第１表示制御が実行される。第１表示制御では、任意の部品に対応する実機画像情報がユニット表示部に表示されるため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。また、実機画像情報において任意の部品が選択された場合に第２表示制御が実行される。第２表示制御では、任意の部品に対応する図面情報が図面表示部に表示されるため、実機に搭載されている任意の部品と図面上の任意の部品との対応関係を容易に把握できる。また、数多い図面の中から該当する図面を抽出することができる。このため、機器ユニットの保守作業を効率的に実施できる。さらには、保守作業者が任意の部品を選択することにより、ある決まったルール（特定の方式）に従うことなく、実機の部品と図面上の部品との対応関係を部品毎に適切に把握できる。

(２)好ましい例では(１)に記載の保守作業支援システムにおいて、ユーザが前記実機画像情報における前記任意の部品と、前記図面情報における前記任意の部品との対応関係を把握できない状況下において、前記制御部は、前記第１表示制御および前記第２表示制御の少なくとも一方を実行する。

上記保守作業支援システムによれば、例えば、機器ユニットを構成する複数の部品の数が多く、実機画像情報における任意の部品と、図面情報における任意の部品との対応関係が把握できない状況下においても、機器ユニットの保守作業を効率的に実施できる。

(３)本発明に関する保守作業支援システムは、複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、前記表示装置は、前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、前記制御部は、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第１表示制御、および、前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第２表示制御、の少なくとも一方を実行する。

上記保守作業支援システムによれば、図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なる場合であっても、上記（１）に記載の保守作業支援システムに準じた効果が得られる。

(４)好ましい例では(１)～（３）のいずれか一項に記載の保守作業支援システムにおいて、前記ユニット表示部は、前記実機画像情報を実空間と座標系が一致するように規定される仮想空間に表示し、前記実機画像情報は、前記機器ユニットに含まれる前記複数の部品の相対的な位置関係が一致するように規定される複数の機器オブジェクトを含み、前記図面情報は、前記複数の部品に対応する複数の図面オブジェクトを含み、前記機器オブジェクトの前記複数の部品と前記図面オブジェクトの前記複数の部品とは、対応付けられ、前記制御部は、前記複数の図面オブジェクトのうちの任意の図面オブジェクトが選択された場合、前記第１表示制御において、前記複数の機器オブジェクトのうちの前記任意の図面オブジェクトと対応する機器オブジェクトを特定できるように前記ユニット表示部の表示状態を制御し、前記複数の機器オブジェクトのうちの任意の機器オブジェクトが選択された場合、前記第２表示制御において、前記複数の図面オブジェクトのうちの前記任意の機器オブジェクトと対応する図面オブジェクトを特定できるように、前記図面表示部の表示状態を制御する。

上記保守作業支援システムによれば、図面情報において、任意の図面オブジェクトが選択された場合に第１表示制御が実行され、任意の図面オブジェクトと対応する機器オブジェクトがユニット表示部に表示される。このため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。また、実機画像情報において、任意の機器オブジェクトが選択された場合に第２表示制御が実行され、任意の機器オブジェクトと対応する図面オブジェクトが図面表示部に表示される。このため、実機に搭載されている任意の部品と図面上の任意の部品との対応関係を容易に把握できる。このため、機器ユニットの保守作業を効率的に実施できる。

(５)好ましい例では(１)～(４)のいずれか一項に記載の保守作業支援システムにおいて、前記図面情報は、前記複数の部品の部品名称、および、前記複数の部品のそれぞれに設定される記号の少なくとも一方を含む複数の部品固有情報を含み、前記制御部は、前記複数の部品固有情報のうちの任意の部品固有情報が選択された場合に、前記第１表示制御において、前記ユニット表示部に表示される前記実機画像情報のうちの前記任意の部品固有情報に対応する部品を特定できるように前記ユニット表示部の表示状態を制御する。

上記保守作業支援システムによれば、任意の部品固有情報が選択された場合に、任意の部品に対応する実機画像情報がユニット表示部に表示される。このため、部品固有情報に基づいて選択された図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。

(６)好ましい例では(１)～(５)のいずれか一項に記載の保守作業支援システムにおいて、前記図面情報は、複数の図面を含み、前記制御部は、前記実機画像情報において前記任意の部品が選択された場合に、前記第２表示制御において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出する。
上記保守作業支援システムによれば、図面枚数が多い場合であっても、任意の部品を図面上で容易に見つけることができる。

(７)好ましい例では(１)～(６)のいずれか一項に記載の保守作業支援システムにおいて、前記制御部は、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において前記任意の部品と接続される接続部品を特定できるように、前記ユニット表示部の表示状態を制御する第３表示制御を実行する。
上記保守作業支援システムによれば、接続部品を容易に確認できるため、利便性が高められる。

(８)好ましい例では(７)に記載の保守作業支援システムにおいて、前記制御部は、前記接続部品が選択された場合に、前記第３表示制御において、前記任意の部品、前記接続部品、および、前記任意の部品と前記接続部品との接続ルートを特定できるように、前記ユニット表示部の表示状態を制御する。
上記保守作業支援システムによれば、任意の部品、接続部品、および、任意の部品と前記接続部品との接続ルートを容易に確認できるため、利便性が高められる。

(９)本発明に関する保守作業支援方法は、複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する。
上記保守作業支援方法によれば、上記（１）に記載の保守作業支援システムと同様の効果が得られる。

(１０)本発明に関する保守作業支援プログラムは、複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる。
上記保守作業支援プログラムによれば、上記（１）に記載の保守作業支援システムと同様の効果が得られる。

(１１)本発明に関する保守作業支援方法は、複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する。
上記保守作業支援方法によれば、上記（３）に記載の保守作業支援システムと同様の効果が得られる。

(１２)本発明に関する保守作業支援プログラムは、複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる。
上記保守作業支援プログラムによれば、上記（３）に記載の保守作業支援システムと同様の効果が得られる。

本発明に関する保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムによれば、機器ユニットの保守作業を効率的に実施できる。

実施形態の保守作業支援システムが備える表示装置の用途を説明するための図。機器ユニットを模式的に示す図。図１Ｂの機器ユニットの第１図面を示す図。図１Ｂの機器ユニットの第２図面を示す図。図１Ａの表示装置を含む保守作業支援システムを示す図。図３Ａの表示装置の構成を示すブロック図。図３Ｂの表示部の構成を示す図。図３Ａのサーバの構成を示すブロック図。接続関係に関するデータベースを模式的に示す図。部品位置に関するデータベースを模式的に示す図。配線経路に関するデータベースを模式的に示す図。図２Ａの図面情報を簡略化した図面オブジェクトを示す図。図５の図面オブジェクトをさらに簡略化した図。図３Ｃのユニット表示部に表示される機器オブジェクトを示す図。第１表示制御の処理手順の一例を示すフローチャート。第１表示制御において、任意の図面オブジェクトが選択された状態の表示部を示す図。第１表示制御において、任意の図面オブジェクトに対応する機器オブジェクトが表示された状態の表示部を示す図。第２表示制御の処理手順の一例を示すフローチャート。第２表示制御において、任意の機器オブジェクトが選択された状態の表示部を示す図。第２表示制御において、任意の機器オブジェクトに対応する図面オブジェクトが表示された状態の表示部を示す図。第３表示制御の処理手順の一例を示すフローチャート。第３表示制御において、任意の図面オブジェクト、任意の図面オブジェクトに対応する機器オブジェクト、ならびに、接続部品に対応する図面オブジェクトおよび機器オブジェクトの候補が表示された状態の表示部を示す図。第３表示制御において、任意の図面オブジェクト、任意の図面オブジェクトに対応する機器オブジェクト、ならびに、接続部品に対応する図面オブジェクトおよび機器オブジェクトが表示された状態の表示部を示す図。機器オブジェクトの表示位置の補正動作の一例を示すフローチャート。

以下、本発明に係る保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムの一実施形態について、図面を参照して説明する。図１Ａは、保守作業支援システム２０（図３Ａ参照）が備える表示装置１０の用途を説明するための図である。

＜１．概要＞
表示装置１０は、例えば、産業用機器８０が備える機器ユニット８２の保守作業のために用いられる。本実施形態における保守作業とは、例えば、装置エラー履歴あるいは該当部品自体のアラーム信号を保守作業者９０が直接確認することによって、故障部品を特定したのち、該当する図面を抽出して該当部品の部品名称、交換パーツの在庫確認、材質確認等を行う作業を含む。あるいは、熟練者の支援により、対象の図面および推定される故障部品の助言を受けた上で、保守作業者９０が図面を元に実機の該当部品を探し出し、該当部品自体のアラーム信号の有無確認や導通チェック等による故障診断を行う作業を含む。あるいは、保守作業者９０が熟練者である場合には、保守作業者９０自身の経験に基づき故障部位を推定した上で適切な図面を抽出し、図面を元に実機の該当部品を探し出す作業を含む。なお、本実施形態の保守作業には、計測は含まれない。本実施形態では、例えば、機器ユニット８２の施工時に、機器オブジェクト５０（図６Ｂ参照）の輪郭情報と対応する部品の輪郭を保守作業者９０が目視によって比較することで、該当部品の施工時の変形、および、部品間違い(仕様違い)による形状異常を、計測することなく発見できる。

産業用機器８０としては、基板処理装置を挙げることができる。基板処理装置は、例えば、半導体製造装置、ＭＥＭＳ（Micro Electro Mechanical Systems）製造装置、または、液晶パネル製造装置である。その他の産業用機器８０としては、射出成型装置、化学プラントの反応槽・蒸留塔・熱交換器、ボイラ・原動機、および、動力伝導装置等を挙げることができる。産業用機器８０は、装置本体８１、および、機器ユニット８２を備える。機器ユニット８２は、例えば、装置本体８１の制御盤、配電盤、分電盤、圧空・ガスユニット、ポンプユニット、または、チラー（冷却または温度調節）ユニットである。機器ユニット８２は、装置本体８１に収容される。別の例では、機器ユニット８２は、装置本体８１から離れた場所に配置され、装置本体８１に接続される。

図１Ｂは、機器ユニット８２の実機を模式的に示す図である。機器ユニット８２は、例えば、複数の部品Ａ１～Ａ１６を含む。複数の部品Ａ１～Ａ１６は、例えば、ブレーカを含む。複数の部品Ａ１～Ａ１６は、接続部材８３を介して接続される場合がある。接続部材８３は、例えば、電気配線、圧空配管、冷却水配管、ガス配管、排気配管、油圧配管、または、冷媒配管である。接続部材８３は、ダクト８４に収容される。

図２Ａおよび図２Ｂは、機器ユニット８２に関する図面である。機器ユニット８２の図面は、例えば、複数の図面を含む。図２Ａに示される第１図面ＦＡは、部品Ａ１～Ａ９に関する図面である。図２Ｂに示される第２図面ＦＢは、部品Ａ１０～Ａ１６に関する図面である。機器ユニット８２に関する図面は、さらに複数の図面を含む場合があるが、説明の簡略化のため、本実施形態では第１図面ＦＡおよび第２図面ＦＢのみを記載している。

機器ユニット８２の保守作業において、図１Ａに示される保守作業者９０は、機器ユニット８２の各図面ＦＡ、ＦＢを参照しながら、機器ユニット８２の保守作業を実施する。一方、図１Ｂと、図２Ａおよび図２Ｂとを比較すると、実機における部品Ａ１～Ａ１６の配置と、各図面ＦＡ、ＦＢに記載される部品Ａ１～Ａ１６の配置とが異なる。このため、機器ユニット８２の保守作業においては、保守作業者９０は、実機における部品Ａ１～Ａ１６と各図面ＦＡ、ＦＢにおける部品Ａ１～Ａ１６との対応関係を容易に把握できない。表示装置１０は、保守作業者９０が保守作業を容易に実施できるように構成される。以下では、表示装置１０を含む保守作業支援システムについて詳細に説明する。

＜２－１．保守作業支援システム全体の構成＞
図３Ａは、保守作業支援システム２０（以下では、「システム２０」という）を示す図である。システム２０は、表示装置１０およびサーバ３０を含む。表示装置１０は、例えば、ウェアラブル端末、タブレット端末、スマートフォン、または、パーソナルコンピュータである。本実施形態では、表示装置１０はウェアラブル端末である。より詳細には、表示装置１０は、光学シースルー型のヘッドマウントディスプレイであり、拡張現実（ＡＲ：Augmented Reality）機能が搭載されたスマートグラスである。スマートグラスは、公知のものを利用することができ、例えば、マイクロソフト社製のＨｏｌｏＬｅｎｓ（登録商標）である。保守作業者９０は、保守作業を実施する際に両手を使用できるため、保守作業を効率的に実施できる。別の例では、表示装置１０は、仮想現実機能が搭載されたビデオシースルー型のヘッドマウントディスプレイである。この別の例でも、保守作業者９０は、保守作業を実施する際に両手を使用できるため、保守作業を効率的に実施できる。システム２０において、表示装置１０は、保守作業者９０（図１Ａ参照）が表示装置１０を介して視認している機器ユニット８２に関する情報（以下では、「機器ユニット情報」という）をサーバ３０に要求し、機器ユニット情報をサーバ３０から受信する。表示装置１０は、サーバ３０から受信した機器ユニット情報を表示する。機器ユニット情報は、図面情報および実機画像情報を含む。図面情報は、機器ユニット８２の図面に関する情報である。実機画像情報は、機器ユニット８２の実機に関する情報である。

＜２－２．表示装置のハードウェア構成＞
図３Ｂは、本実施形態に係る表示装置１０の構成の一例を示すブロック図である。表示装置１０は、制御部１１、カメラ１２、表示部１３、各種センサ１４、通信部１５、および、記憶部１６を含む。制御部１１、カメラ１２、表示部１３、各種センサ１４、通信部１５、および、記憶部１６は、バス１７を介して電気的に接続される。

制御部１１は、ＣＰＵ（Central Processing Unit）１１Ａ、ＲＡＭ（Random Access Memory）１１Ｂ、および、ＲＯＭ（Read Only Memory）１１Ｃ等を含む。制御部１１は、情報処理に応じて各構成要素の制御を行なうように構成される。

カメラ１２は、例えば、ＲＧＢ（Red Green Blue）カメラである。カメラ１２は、例えば、ユーザの視線に対応する動画像を撮影する。カメラ１２は、ＣＣＤ（Charge Coupled Device）イメージセンサ、または、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のイメージセンサを含むカメラモジュールである。

表示部１３は、例えば、メガネのレンズ型の液晶ディスプレイである。表示部１３は、ユーザのジェスチャーを検出するセンサを含んでいてもよい。保守作業者９０（図１Ａ参照）は、表示部１３に表示されるＡＲカーソルをジェスチャー等によって操作してコマンドを選択する。表示部１３は、ユーザによって選択されたコマンドに基づく情報を制御部１１に送信する。制御部１１は、ユーザによって選択されたコマンドに基づく制御を実行する。表示部１３は、サーバ３０から送信される機器ユニット情報を表示する。

図３Ｃに示されるように、表示部１３は、図面情報を表示する図面表示部１３Ａ、および、実機画像情報を表示するユニット表示部１３Ｂを含む。本実施形態では、１つの表示部１３に図面表示部１３Ａおよびユニット表示部１３Ｂが設けられる。なお、図３Ｃは、表示部１３において、図面表示部１３Ａおよびユニット表示部１３Ｂが設けられる位置の一例を示したものであり、表示部１３における図面表示部１３Ａおよびユニット表示部１３Ｂの位置は、任意に変更可能である。別の例では、図面表示部１３Ａとユニット表示部１３Ｂとは、異なる表示部に設けられる。例えば、ユニット表示部１３Ｂは、表示部１３の全体または一部に設けられ、図面表示部１３Ａは、表示部１３から離れた位置に設置される大型の液晶ディスプレイ、プロジェクターによってスクリーン表示される画像、スマートフォン、または、ラップトップ型パーソナルコンピュータのモニターに設けられる。

図３Ｂに示される各種センサ１４は、例えば、距離画像センサ、加速度センサ、および、ジャイロセンサを含む。距離画像センサは、表示装置１０と機器ユニット８２（図１Ａ参照）との間の距離を検出する。加速度センサは、表示装置１０の加速度を検出する。ジャイロセンサは、表示装置１０の角速度を検出する。

通信部１５は、ネットワークを介して、表示装置１０の外部に設けられる外部装置と通信する。外部装置は、例えば、サーバ３０（図３Ａ参照）である。通信部１５は、例えば、有線ＬＡＮ（Local Area Network）モジュールまたは無線ＬＡＮモジュールである。

記憶部１６は、例えば、ハードディスクドライブおよびソリッドステートドライブ等の補助記憶装置である。記憶部１６は、例えば、制御プログラム１６Ａを記憶するように構成される。制御部１１が制御プログラム１６Ａを実行することによって、表示装置１０の各種制御が行なわれる。

制御部１１は、例えば、公知のＳＬＡＭ（Simultaneous Localization And Mapping）を行なうように構成される。制御部１１は、カメラ１２による撮影画像、および、各種センサ１４の検出結果に基づいて、空間認識、および、表示装置１０の位置（以下では、「自己位置」という）の推定を実行する。具体的には、例えば、制御部１１は、距離画像センサによって検出される周辺の環境の複数の特徴点までの距離に基づいて、空間認識を実行する。その後、表示装置１０を装着した保守作業者９０が移動すると、制御部１１は、加速度センサおよびジャイロセンサ等によって検出される移動量および移動方向に基づいて、自己位置の推定、ならびに、周辺の環境の空間認識を実行する。制御部１１は、これらの空間認識および自己位置の推定を繰り返し実行することによって、常に三次元空間を把握することができる。

＜２－３．サーバのハードウェア構成＞
図３Ｄは、本実施形態に係るサーバ３０の構成の一例を示すブロック図である。サーバ３０は、例えば、汎用コンピュータによって実現される。サーバ３０は、制御部３１、通信部３２、および、記憶部３３を含む。制御部３１、通信部３２、および、記憶部３３は、バス３４を介して電気的に接続される。

制御部３１は、ＣＰＵ３１Ａ、ＲＡＭ３１Ｂ、および、ＲＯＭ３１Ｃ等を含み、情報処理に応じて各構成要素の制御を行なうように構成される。通信部３２は、ネットワークを介して、サーバ３０の外部に設けられた外部装置と通信するように構成される。外部装置は、例えば、表示装置１０（図３Ｂ参照）である。通信部３２は、例えば、有線ＬＡＮモジュールまたは無線ＬＡＮモジュールで構成される。

記憶部３３は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部３３は、例えば、制御プログラム３３Ａ、データベースＤ１、データベースＤ２、および、データベースＤ３を記憶するように構成される。

図４Ａは、データベースＤ１を模式的に示す図である。データベースＤ１は、機器ユニット８２における部品Ａ１～Ａ１６同士の接続関係を管理する。データベースＤ１は、機器ユニット８２毎、および、各部品Ａ１～Ａ１６の接続関係の種類毎に設けられる。

データベースＤ１は、項目として、例えば、「部品ＩＤ」、「部品名称」、「接続先部品ＩＤ」、「接続先部品名称」および「配線番号」を含む。なお、配線番号の項目は、接続部材８３（図１Ｂ参照）に応じて変更される。接続部材８３が、例えば、圧空配管である場合、図４Ａに示される配線番号の項目は、配管番号となる。

「部品ＩＤ」は、機器ユニット８２に含まれている各部品Ａ１～Ａ１６に個別に割り当てられたＩＤである。「部品名称」は、各部品Ａ１～Ａ１６の名称を示す。「接続先部品ＩＤ」は、接続先の部品Ａ１～Ａ１６に割り当てられている「部品ＩＤ」である。「接続先部品名称」は、接続先の部品Ａ１～Ａ１６の名称を示す。「配線番号」は、部品Ａ１～Ａ１６間を接続する配線に割り当てられた番号である。なお、部品Ａ１～Ａ１６が機器ユニット８２の外部の装置（以下では、「ユニット外部装置」という）に接続されている場合には、例えば、「接続先部品ＩＤ」に外部装置に割り当てられたＩＤが対応付けられ、「接続先部品名称」にユニット外部装置の名称が対応付けられてもよい。ユニット外部装置は、例えば、装置本体８１である。データベースＤ１を参照することによって、部品Ａ１～Ａ１６間の接続関係、または、部品Ａ１～Ａ１６とユニット外部装置との接続関係を把握できる。

図４Ｂは、データベースＤ２を模式的に示す図である。データベースＤ２は、機器ユニット８２に含まれる各部品Ａ１～Ａ１６の位置情報を管理する。例えば、データベースＤ２は、各機器ユニット８２に付されたＡＲマーカを基準点とする各部品Ａ１～Ａ１６の相対的な位置情報を管理する。データベースＤ２は、機器ユニット８２毎に設けられる。別の例では、データベースＤ２は、産業用機器８０毎に付されたＡＲマーカを基準点とする各部品Ａ１～Ａ１６の相対的な位置情報を管理する。この場合、データベースＤ２は、産業用機器８０毎に設けられる。

データベースＤ２は、項目として、例えば、「部品ＩＤ」、「部品名称」および「基準点に対する部品の座標」を含む。「部品ＩＤ」および「部品名称」は、それぞれデータベースＤ１における「部品ＩＤ」および「部品名称」と同一である。「基準点に対する部品の座標」は、各機器ユニット８２に付されたＡＲマーカを基準点とする各部品Ａ１～Ａ１６の相対的な位置座標を示す。データベースＤ２を参照することによって、機器ユニット８２に付されたＡＲマーカに対する各部品Ａ１～Ａ１６の相対的な位置を把握することができる。

図４Ｃは、データベースＤ３を模式的に示す図である。データベースＤ３は、機器ユニット８２に含まれる各部品Ａ１～Ａ１６間の配線等の接続ルートを示す情報を管理する。例えば、データベースＤ３は、各機器ユニット８２に付されたＡＲマーカを基準点として各配線等が通過する相対的な位置情報を管理する。データベースＤ３は、機器ユニット８２毎、および、各部品Ａ１～Ａ１６の接続ルートの種類毎に設けられる。

データベースＤ３は、項目として、例えば、「配線番号」および「基準点に対する配線経路」を含む。なお、データベースＤ３が例えば、圧空配管の観点での配管経路を管理する場合には、「配線番号」が「配管番号」となり、「基準点に対する配線経路」が「基準点に対する配管経路」になる。

「配線番号」は、データベースＤ１における「配線番号」と同一である。「基準点に対する配線経路」は、各機器ユニット８２に付されたＡＲマーカを基準点として各配線等が通過する複数の相対的な位置座標を示す。データベースＤ３を参照することによって、機器ユニット８２に付されたＡＲマーカに対する各配線等の経路を把握することができる。

＜２－４．表示装置の動作モード＞
表示装置１０の動作モードは、対応部品確認モード、および、接続ルート確認モードを含む。対応部品確認モードは、図面表示部１３Ａ（図３Ｃ参照）に表示される図面情報に含まれる部品Ａ１～Ａ１６と、ユニット表示部１３Ｂ（図３Ｃ参照）に表示される実機画像情報に含まれる部品Ａ１～Ａ１６との対応関係を特定できるように、制御部１１が表示部１３の表示状態を制御するモードである。接続ルート確認モードは、ユニット表示部１３Ｂに表示される実機画像情報に含まれる部品Ａ１～Ａ１６の接続ルートを特定できるように、ユニット表示部１３Ｂの表示状態を制御部１１が制御するモードである。

＜２－５．対応部品確認モード＞
対応部品確認モードが選択される場合、制御部１１は、第１表示制御または第２表示制御を実行する。第１表示制御は、図面表示部１３Ａに表示される図面情報において、複数の部品Ａ１～Ａ１６のうちの任意の部品が選択された場合に実行される。制御部１１は、第１表示制御では、ユニット表示部１３Ｂに表示される実機画像情報において、図面情報において選択された任意の部品に対応する実機画像情報を特定できるようにユニット表示部１３Ｂの表示状態を制御する。

第２表示制御は、ユニット表示部１３Ｂに表示される実機画像情報において、複数の部品Ａ１～Ａ１６のうちの任意の部品が選択された場合に実行される。制御部１１は、第２表示制御では、図面表示部１３Ａに表示される図面情報において、実機画像情報において選択された任意の部品に対応する図面情報を特定できるように図面表示部１３Ａの表示状態を制御する。

図５は、対応部品確認モードにおいて、図面表示部１３Ａに表示される図面情報の一例である。図６Ａは、図５の例をさらに簡略化した図面情報の一例である。図５および図６Ａに示される図面情報は、複数の部品Ａ１～Ａ１６に対応する複数の図面オブジェクト４０を備える。図面オブジェクト４０は、機器ユニット８２毎に準備される。なお、図５では、図面の簡略化のため、複数の部品Ａ１～Ａ９に対応する図面オブジェクト４０のみを示している。また、図６Ａでは、図面簡略化のため、部品Ａ１、Ａ３、Ａ４、Ａ１５に対応する図面オブジェクトのみを示している。図面表示部１３Ａに表示される図面情報は、表示装置１０が移動した場合であっても、図面表示部１３Ａに固定された状態、いわゆる、表示画面固定モードで表示される。対応部品確認モードにおいて、保守作業者９０は、図面情報に基づいて対応する実機画像情報を把握したい場合、複数の図面オブジェクト４０のうちの１または複数の図面オブジェクト４０を選択する。図面オブジェクト４０の選択方法は、任意に設定可能である。図面オブジェクト４０の選択方法は、例えば、図面オブジェクト４０のハンドトラッキングまたはアイトラッキングである。なお、本実施形態において、オブジェクト等の選択方法は、ハンドトラッキングまたはアイトラッキングを用いることができる。図面表示部１３Ａは、好ましくは、位置およびサイズの少なくとも一方を任意に変更できるように構成される。図面表示部１３Ａのサイズの変更は、図面表示部１３Ａのサイズの拡大および縮小を含む。さらに好ましくは、図面表示部１３Ａは、サイズを維持した状態で、図面情報の拡大および縮小、ならびに、スクロールできるように構成される。

図６Ｂは、対応部品確認モードにおいて、ユニット表示部１３Ｂに表示される実機画像情報の一例である。実機画像情報は、データベースＤ２（図４Ｂ参照）に基づいて、機器ユニット８２に含まれる複数の部品Ａ１～Ａ１６の相対的な位置関係が一致するように規定される複数の機器オブジェクト５０を含む。複数の機器オブジェクト５０は、例えば、ＡＲ画像である。ユニット表示部１３Ｂは、ＡＲ画像である実機画像情報を実空間と座標系が一致するように規定される仮想空間に表示する、いわゆる、世界座標系固定モードで表示する。複数の機器オブジェクト５０の複数の部品Ａ１～Ａ１６と、複数の図面オブジェクト４０の複数の部品Ａ１～Ａ１６とは、対応付けられている。複数の機器オブジェクト５０は、機器ユニット８２毎に準備される。対応部品確認モードにおいて、保守作業者９０は、実機画像情報に基づいて対応する図面情報を把握したい場合、複数の機器オブジェクト５０のうちの１または複数の機器オブジェクト５０を選択する。複数の機器オブジェクト５０のサイズは、任意に設定可能である。本実施形態では、複数の機器オブジェクト５０のサイズは、対応する部品Ａ１～Ａ１６と実質的に同じサイズである。

図面オブジェクト４０および機器オブジェクト５０は、例えば、サーバ３０の記憶部３３（図３Ｄ参照）に記憶される。対応部品確認モードが選択されている状態において、例えば、カメラ１２によって機器ユニット８２に付されたＡＲマーカ（図示略）が撮影される。表示装置１０の制御部１１は、カメラ１２によって撮影されたＡＲマーカに基づいて、複数の機器ユニット８２のうちから、撮影された機器ユニット８２を特定する。制御部１１は、特定した機器ユニット８２に関する図面オブジェクト４０および機器オブジェクト５０を要求する信号をサーバ３０に送信するように通信部１５を制御する。サーバ３０の制御部３１は、制御部１１によって特定された機器ユニット８２に関する図面オブジェクト４０および機器オブジェクト５０を表示装置１０に送信するように、通信部３２を制御する。

制御部１１は、複数の図面オブジェクト４０のうちの任意の図面オブジェクト４０が選択された場合、第１表示制御において、複数の機器オブジェクト５０のうちの任意の図面オブジェクト４０と対応する機器オブジェクト５０を特定できるようにユニット表示部１３Ｂの表示状態を制御する。制御部１１は、複数の機器オブジェクト５０のうちの任意の機器オブジェクト５０が選択された場合、第２表示制御において、複数の図面オブジェクト４０のうちの任意の機器オブジェクト５０と対応する図面オブジェクト４０を特定できるように、図面表示部１３Ａの表示状態を制御する。以下では、第１表示制御および第２表示制御の詳細について説明する。

＜２－６．第１表示制御＞
図７Ａを参照して、第１表示制御の処理手順の一例について説明する。第１表示制御は、表示装置１０の動作モードとして対応部品確認モードが選択されており、かつ、図面表示部１３Ａに表示される図面情報において、複数の部品Ａ１～Ａ１６のうちの任意の部品に対応する図面オブジェクト４０が選択されたことに基づいて開始される。

Ｓ１１では、制御部１１は、選択された図面オブジェクト４０（以下では、「図面オブジェクト４１Ｘ」という）に対応する機器オブジェクト５０（以下では、「機器オブジェクト５１Ｘ」という）を抽出する。なお、任意の図面オブジェクト４１Ｘが選択された状態では、図７Ｂに示されるように、選択された任意の図面オブジェクト４１Ｘは、他の図面オブジェクト４０に対して強調表示される。強調表示の一例はハイライト表示である。

Ｓ１２では、制御部１１は、抽出した機器オブジェクト５１Ｘを特定できるように、ユニット表示部１３Ｂの表示状態を制御する。一例では、図７Ｃに示されるように、選択された図面オブジェクト４１Ｘに対応する機器オブジェクト５１Ｘが他の機器オブジェクト５０に対して強調表示される。強調表示の一例は、ハイライト表示である。

＜２－７．第２表示制御＞
図８Ａを参照して、第２表示制御の処理手順の一例について説明する。第２表示制御は、表示装置１０の動作モードとして対応部品確認モードが選択されており、かつ、ユニット表示部１３Ｂに表示される実機画像情報において、複数の部品Ａ１～Ａ１６のうちの任意の部品に対応する機器オブジェクト５０が選択されたことに基づいて開始される。

Ｓ２１では、制御部１１は、選択された機器オブジェクト５０（以下では、「機器オブジェクト５２Ｘ」という）に対応する部品が含まれる図面を抽出する。Ｓ２２では、制御部１１は、選択された機器オブジェクト５２Ｘに対応する図面オブジェクト４０（以下では、「図面オブジェクト４２Ｘ」という）を抽出する。なお、任意の機器オブジェクト５２Ｘが選択された状態では、図８Ｂに示されるように、選択された任意の機器オブジェクト５２Ｘは、他の機器オブジェクト５０に対して強調表示される。強調表示の一例は、ハイライト表示である。

Ｓ２２では、制御部１１は、抽出した図面オブジェクト４２Ｘを特定できるように、図面表示部１３Ａの表示状態を制御する。一例では、図８Ｃに示されるように、選択された機器オブジェクト５２Ｘに対応する図面オブジェクト４２Ｘが他の図面オブジェクト４０に対して強調表示される。強調表示の一例は、ハイライト表示である。

＜２－８．接続ルート確認モード＞
接続ルート確認モードが選択される場合、制御部１１は、第３表示制御を実行する。第３表示制御では、制御部１１は、図面情報において、複数の部品Ａ１～Ａ１６のうちの任意の部品が選択された場合に、実機画像情報において任意の部品と接続される接続部品７０を特定できるように、ユニット表示部１３Ｂの表示状態を制御する。また、図１Ｂに示されるように、機器ユニット８２では、複数の接続部材８３がダクト８４に収容されているため、選択された任意の部品と接続部品７０との接続ルート、換言すれば、接続部材８３のルートを特定することは困難である。接続ルート確認モードでは、接続ルートを容易に確認することもできる。接続ルート確認モードにおいて、保守作業者９０は、複数の部品Ａ１～Ａ１６の接続ルートを確認したい場合、複数の図面オブジェクト４０から任意の図面オブジェクト４０を選択する。制御部１１は、接続部品７０が選択された場合に、第３表示制御において、選択された任意の部品、接続部品７０、および、選択された任意の部品と接続部品７０との接続ルートが特定できるように、ユニット表示部１３Ｂの表示状態を制御する。

＜２－９．第３表示制御＞
図９Ａを参照して、第３表示制御の処理手順の一例について説明する。第３表示制御は、表示装置１０の動作モードとして接続ルート確認モードが選択されていることに基づいて開始される。

Ｓ３１では、制御部１１は、図面表示部１３Ａに表示される図面情報において、任意の図面オブジェクト４０（以下では、「図面オブジェクト４３Ｘ」という）が選択されたか否かを判定する。Ｓ３１が否定判定の場合、制御部１１は、Ｓ３１の判定処理を繰り返し実行する。Ｓ３１が肯定判定の場合、制御部１１は、Ｓ３２の処理を実行する。

Ｓ３２では、制御部１１は、選択された任意の図面オブジェクト４３Ｘを他の図面オブジェクト４０に対して強調表示する。同様に、制御部１１は、図面オブジェクト４３Ｘに対応する機器オブジェクト５０（以下では、「機器オブジェクト５３Ｘという」）を他の機器オブジェクト５０に対して強調表示する。Ｓ３２における強調表示の一例は、ハイライト表示である。

Ｓ３３では、制御部１１は、接続部品７０に対応する図面オブジェクト４０（以下では、「図面オブジェクト４３Ｙ」という）を他の図面オブジェクト４０に対して強調表示する。同様に、制御部１１は、図面オブジェクト４３Ｙに対応する機器オブジェクト５０（以下では、「機器オブジェクト５３Ｙ」という）を他の機器オブジェクト５０に対して強調表示する。Ｓ３３における強調表示の一例は、破線表示である。Ｓ３３が完了した場合、例えば、図９Ｂに示されるように、図面オブジェクト４３Ｘおよび機器オブジェクト５３Ｘがハイライト表示される。また、図面オブジェクト４３Ｙおよび機器オブジェクト５３Ｙがハイライト表示かつ破線表示される。図９Ｂでは、複数の図面オブジェクト４３Ｙおよび機器オブジェクト５３Ｙが存在する場合を例示している。また、Ｓ３３において、図面オブジェクト４３Ｘと図面オブジェクト４３Ｙとの接続関係を示す線分を破線等で強調表示してもよい。なお、接続部品７０にユニット外部装置が含まれる場合、制御部１１は、接続部品７０にユニット外部装置が含まれることが把握できるように、例えば、「Ｔоユニット外部装置」等と表示されるように、表示部１３の表示状態を制御する。

Ｓ３４では、制御部１１は、接続部品７０に対応する複数の図面オブジェクト４３Ｙが存在するか否かを判定する。Ｓ３４が否定判定の場合、換言すれば、接続部品７０に対応する図面オブジェクト４３Ｙが１つの場合、制御部１１は、Ｓ３６の処理を実行する。一方、Ｓ３４が肯定判定の場合、制御部１１は、Ｓ３５の処理を実行する。

Ｓ３５では、制御部１１は、接続部品７０に対応する１つの図面オブジェクト４３Ｙが選択されたか否かを判定する。Ｓ３５が否定判定の場合、制御部１１は、Ｓ３５の判定処理を繰り返し実行する。Ｓ３５が肯定判定の場合、制御部１１は、Ｓ３６の処理を実行する。

Ｓ３６では、制御部１１は、１つの図面オブジェクト４３Ｘ、１つの図面オブジェクト４３Ｙ、１つの機器オブジェクト５３Ｘ、および、１つの機器オブジェクト５３Ｙを強調表示する。Ｓ３７では、制御部１１は、図９Ｃに示されるように、機器オブジェクト５３Ｘと機器オブジェクト５３Ｙとの接続ルート６０を強調表示する。強調表示の一例は、他の線分と異なる色の線分による表示である。なお、Ｓ３６では、図面オブジェクト４３Ｘと図面オブジェクト４３Ｙとの接続関係を示す線分を強調表示してもよい。

＜２－１０．機器オブジェクトの表示位置の補正動作＞
図１０は、機器オブジェクト５０の表示位置の補正動作を示すフローチャートである。このフローチャートに示される処理は、第１表示制御、第２表示制御、または、第３表示制御が実行される前に実行される。

Ｓ４１では、制御部１１は、ユニット表示部１３Ｂに表示される機器オブジェクト５０のいずれかの表示位置の補正指示が例えば、ジェスチャーを介して行なわれたか否かを判定する。例えば、保守作業者９０は、実空間における機器ユニット８２の部品Ａ１～Ａ１６の位置と、部品Ａ１～Ａ１６に対応する機器オブジェクト５０の表示位置とのずれが大きい場合に、補正指示を行う。

Ｓ４１が否定判定の場合、換言すれば、補正指示がない場合、制御部１１は、Ｓ４１の判定処理を繰り返し実行する。Ｓ４１が肯定判定の場合、Ｓ４２では、制御部１１は、補正指示の対象となった機器オブジェクト５０の表示位置を保守作業者９０の指示に従って補正する。表示装置１０によれば、たとえば、機器オブジェクト５０が部品Ａ１～Ａ１６上に正しく表示されていない場合であっても、保守作業者９０の指示に従って機器オブジェクト５０の表示位置を補正できる。

＜３．本実施形態の効果＞
以上のように構成された保守作業支援システム２０では、次の効果を得ることができる。
＜３－１＞
図面情報において、任意の部品が選択された場合に第１表示制御が実行される。第１表示制御では、任意の部品に対応する実機画像情報がユニット表示部１３Ｂに表示されるため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。このため、機器ユニット８２の保守作業を効率的に実施できる。

＜３－２＞
実機画像情報において、任意の部品が選択された場合に第２表示制御が実行される。第２表示制御では、任意の部品に対応する図面情報が図面表示部１３Ａに表示されるため、実機に搭載されている任意の部品と、図面上の任意の部品との対応関係を容易に把握できる。このため、機器ユニット８２の保守作業を効率的に実施できる。

＜３－３＞
図面情報において、任意の図面オブジェクト４０が選択された場合に第１表示制御が実行され、任意の図面オブジェクト４０と対応する機器オブジェクト５０がユニット表示部１３Ｂに表示される。このため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。このため、機器ユニット８２の保守作業を効率的に実施できる。

＜３－４＞
実機画像情報において、任意の機器オブジェクト５０が選択された場合に第２表示制御が実行され、任意の機器オブジェクト５０と対応する図面オブジェクト４０が図面表示部１３Ａに表示される。このため、実機に搭載されている任意の部品と図面上の任意の部品との対応関係を容易に把握できる。このため、機器ユニット８２の保守作業を効率的に実施できる。

＜３－５＞
制御部１１は、第３表示制御を実行するため、接続部品７０を容易に確認できる。このため、利便性が高められる。

＜３－６＞
第３表示制御においては、任意の部品、接続部品７０、および、任意の部品と接続部品７０との接続ルートを容易に確認できる。このため、利便性が高められる。

＜４．変形例＞
上記実施形態は本発明に関する保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムが取り得る形態の例示であり、その形態を制限することを意図していない。本発明に関する保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムは、実施形態に例示された形態とは異なる形態を取り得る。その一例は、実施形態の構成の一部を置換、変更、もしくは、省略した形態、または、実施形態に新たな構成を付加した形態である。以下に実施形態の変形例の一例を示す。

＜４－１＞
上記実施形態では、実機画像情報における複数の部品Ａ１～Ａ１６の配置と、図面情報における複数の部品Ａ１～Ａ１６の配置との関係について、各々の配置の対応関係が異なる場合について主に説明してきたが、各々の配置の対応関係が一致している場合にも保守作業支援システム２０を適用可能である。例えば、産業用機器の機器ユニット８２の機械図面を参照したい場合、実機における複数の部品の配置と図面における複数の部品の配置との対応関係は概ね一致している。しかし、機器ユニット８２の種類によっては、部品点数が非常に多く、実機における複数の部品の配置と図面における複数の部品の配置との対応関係を容易に把握することが困難である。この変形例でも、初めは実機画像情報における任意の部品と、この任意の部品に対応する図面情報の部品との対応関係が把握できていない状況であるが、制御部１１が表示状態を制御することにより、両者の対応関係を容易に把握することができる。具体的には、上記実施形態と同様に、制御部１１が第１表示制御および第２表示制御の少なくとも一方を実行することにより実現可能である。これにより、機器ユニット８２の保守作業を効率的に実施できる。

＜４－２＞
上記実施形態では、機器オブジェクト５０のサイズは、対応する部品Ａ１～Ａ１６と実質的に同じサイズであるが、機器オブジェクト５０のサイズを機器オブジェクト５０の輪郭情報に基づいて、拡大できるように構成されてもよい。機器オブジェクト５０の輪郭情報は、機器オブジェクト５０のサイズ情報、および、座標に対する配置情報を含む情報である。機器オブジェクト５０の輪郭情報は、データベースＤ２に格納されていてもよく、他のデータベースに格納されていてもよい。この変形例では、機器ユニット８２に含まれる部品Ａ１～Ａ１６のサイズが比較的小さい場合であっても、機器オブジェクト５０を拡大できるため、機器オブジェクト５０を容易に選択できる。

＜４－３＞
上記実施形態では、実機画像情報として機器オブジェクト５０を用いたが、実機画像情報は、任意に変更可能である。変形例の表示装置１０は、実機画像情報として、部品Ａ１～Ａ１６の輪郭情報および位置情報に基づいて規定される実機画像情報を用いる。部品Ａ１～Ａ１６の輪郭情報は、各部品Ａ１～Ａ１６のサイズ情報、および、座標に対する配置情報を含む情報である。輪郭情報は、例えば、データベースＤ２に格納されていてもよく、他のデータベースに格納されていてもよく、カメラ１２による撮影画像の解析を通じて生成されてもよい。部品Ａ１～Ａ１６の位置情報は、データベースＤ２に基づいて生成される。

＜４－４＞
上記実施形態では、対応部品確認モードにおいて、機器オブジェクト５０は、ハンドトラッキングまたはアイトラッキングによって選択されたが、機器オブジェクト５０の選択方法は、任意に変更できる。変形例の表示装置１０では、例えば、機器オブジェクト５０に対応する部品の名称を保守作業者９０が読み上げた音声情報に基づいて、機器オブジェクト５０が選択される。別の変形例では、例えば、保守作業者９０が機器オブジェクト５０に記載される部品の文字情報を視認することに基づいて、機器オブジェクト５０が選択される。この変形例では、例えば、一定時間、特定の機器オブジェクトの文字情報が視認されていることが検出された場合に、その機器オブジェクト５０が選択される。さらに別の変形例では、ＡＲカーソルを用いて、任意の機器オブジェクト５０が囲まれることによって、機器オブジェクト５０が選択される。

＜４－５＞
上記実施形態では、対応部品確認モードにおいて、図面オブジェクト４０は、ハンドトラッキングまたはアイトラッキングによって選択されたが、図面オブジェクト４０の選択方法は、任意に変更できる。変形例の表示装置１０では、図面情報は、複数の部品の部品名称、および、複数の部品のそれぞれに設定される記号の少なくとも一方を含む複数の部品固有情報を含む。制御部１１は、複数の部品固有情報のうちの任意の部品固有情報が選択された場合に、第１表示制御において、ユニット表示部１３Ｂに表示される実機画像情報のうちの任意の部品固有情報に対応する部品を特定できるようにユニット表示部１３Ｂの表示状態を制御する。部品固有情報の認識は、音声情報および文字情報の少なくとも一方に基づいて実施される。さらに別の変形例では、ＡＲカーソルを用いて、任意の図面オブジェクト４０が囲まれることによって、図面オブジェクト４０が選択される。

＜４－６＞
上記実施形態では、図面表示部１３Ａは、図面情報を表示画面固定モードで表示したが、図面表示部１３Ａを表示画面固定モードおよび世界座標系固定モードのいずれで表示するかを選択できるように構成してもよい。上記実施形態で説明したように、ユニット表示部１３Ｂは、機器ユニット８２に重畳するように実機画像情報であるＡＲ画像を表示する。保守作業者９０の視線が変更された場合、換言すれば、表示装置１０の位置が変更された場合、制御部１１は、実機画像情報が機器ユニット８２に重畳される状態が維持されるようにユニット表示部１３Ｂを移動するため、移動したユニット表示部１３Ｂと図面表示部１３Ａとが重なる場合がある。このような場合に、この変形例では、図面表示部１３Ａの表示モードを世界座標系固定モードに変更することによって、図面表示部１３Ａを表示部１３の外に移動させることができる。表示部１３の外は、例えば機器ユニット８２が存在しない視線方向に位置する三次元空間である。この変形例では、ユニット表示部１３Ｂを確認しているときに、図面表示部１３Ａを確認したい場合に、機器ユニット８２が存在しない視線方向を向くことで図面表示部１３Ａを容易に確認できるため、保守作業の作業効率が高められる。

＜４－７＞
表示装置１０の制御部１１は、カメラ１２によって撮影されたＡＲマーカに基づいて、複数の機器ユニット８２のうちから、撮影された機器ユニット８２を特定した。しかし、機器ユニット８２の特定方法は、任意に変更可能である。変形例の表示装置１０は、例えば、産業用機器８０毎にＡＲマーカが設けられる場合、ＡＲマーカに基づいて特定した産業用機器８０に含まれる複数の機器ユニット８２から保守作業を実施する機器ユニット８２を選択するためのメニュー画面を表示部１３に表示する。保守作業者９０は、メニュー画面から保守作業を実施する機器ユニット８２を選択する。なお、産業用機器８０に含まれる機器ユニット８２が１つである場合、メニュー画面の表示は省略される。

＜４－８＞
上記実施形態では、各種センサ１４の検出結果に基づいて、制御部１１が機器ユニット８２に対する表示装置１０の位置を算出していたが、機器ユニット８２に対する表示装置１０の位置を算出するための構成は、任意に変更可能である。一例では、カメラ１２としてステレオカメラが採用される場合、制御部１１は、ステレオカメラが撮影した画像情報に基づいて、機器ユニット８２に対する表示装置１０の位置を算出することができる。

＜４－９＞
第２表示制御のＳ２２では、制御部１１は、機器オブジェクト５２Ｘに対応する部品が含まれる図面から図面オブジェクト４２Ｘを抽出したが、図面オブジェクト４２Ｘの抽出は、保守作業者９０が実施してもよい。この変形例では、機器オブジェクト５２Ｘに対応する部品が含まれる図面が複数存在する場合、ページ送り機能が設けられることが好ましい。なお、第１表示制御においても、特定された機器ユニット８２に関する図面が複数存在する場合、ページ送り機能が設けられることが好ましい。なお、図面は決まったページ順に表示するように予め設定されており、複数の図面が抽出された場合、ページの若い順から順に表示されるように構成されていることが好ましい。また、図面の種類は予め保守作業者９０が選択することも可能である。

＜４－１０＞
上記実施形態においては、データベースＤ１、Ｄ２、Ｄ３、図面情報、および、実機画像情報は、サーバ３０で管理されているが、データベースＤ１、Ｄ２、Ｄ３は、必ずしもサーバ３０で管理されている必要はない。データベースＤ１、Ｄ２、Ｄ３、図面情報、および、実機画像情報は、例えば、記憶部１６に記憶されていてもよい。

＜４－１１＞
上記実施形態において、表示装置１０の表示部１３に表示される画像は、例えば、保守作業者９０とは離れた場所にいる支援者に共有されてもよい。すなわち、表示装置１０は、いわゆる遠隔保守支援に用いられてもよい。この場合に、支援者に共有される画像においては、支援者に共有すべきでない領域が含まれなくてもよい。この変形例では、保守作業を実施する機器ユニット８２が特定された場合、第１表示制御において、支援者が図面表示部１３Ａに表示する図面情報を指定することが好ましい。例えば、特定された機器ユニット８２に対応する図面が複数存在する場合、これらの図面から保守作業者９０が必要な図面を選択する場合よりも、熟練者である支援者が必要な図面を指定することによって、保守作業に要する時間を短縮できる。

１０…表示装置、１１…制御部、１３Ａ…図面表示部、１３Ｂ…ユニット表示部、２０…保守作業支援システム、４０…図面オブジェクト、５０…機器オブジェクト、６０…接続ルート。

Claims

複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記制御部は、前記表示装置を操作する保守作業者が前記実機画像情報における任意の部品と、前記図面情報における任意の部品との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第１表示制御、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第２表示制御、の少なくとも一方を実行する
保守作業支援システム。
複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記制御部は、前記表示装置を操作する保守作業者が前記実機画像情報と前記図面情報との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第１表示制御、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第２表示制御、の少なくとも一方を実行する
保守作業支援システム。
複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、
前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、
前記制御部は、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第１表示制御、および、
前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第２表示制御、の少なくとも一方を実行する
保守作業支援システム。
複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記図面情報は、複数の図面を含み、
前記制御部は、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出し、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する表示制御を実行する
保守作業支援システム。
前記ユニット表示部は、前記実機画像情報を実空間と座標系が一致するように規定される仮想空間に表示し、
前記実機画像情報は、前記機器ユニットに含まれる前記複数の部品の相対的な位置関係が一致するように規定される複数の機器オブジェクトを含み、
前記図面情報は、前記複数の部品に対応する複数の図面オブジェクトを含み、
前記機器オブジェクトの前記複数の部品と前記図面オブジェクトの前記複数の部品とは、対応付けられ、
前記制御部は、
前記複数の図面オブジェクトのうちの任意の図面オブジェクトが選択された場合、前記第１表示制御において、前記複数の機器オブジェクトのうちの前記任意の図面オブジェクトと対応する機器オブジェクトを特定できるように前記ユニット表示部の表示状態を制御し、
前記複数の機器オブジェクトのうちの任意の機器オブジェクトが選択された場合、前記第２表示制御において、前記複数の図面オブジェクトのうちの前記任意の機器オブジェクトと対応する図面オブジェクトを特定できるように、前記図面表示部の表示状態を制御する
請求項１～３のいずれか一項に記載の保守作業支援システム。
前記図面情報は、前記複数の部品の部品名称、および、前記複数の部品のそれぞれに設定される記号の少なくとも一方を含む複数の部品固有情報を含み、
前記制御部は、前記複数の部品固有情報のうちの任意の部品固有情報が選択された場合に、前記第１表示制御において、前記ユニット表示部に表示される前記実機画像情報のうちの前記任意の部品固有情報に対応する部品を特定できるように前記ユニット表示部の表示状態を制御する
請求項１～３、または、５のいずれか一項に記載の保守作業支援システム。
前記図面情報は、複数の図面を含み、
前記制御部は、前記実機画像情報において前記任意の部品が選択された場合に、前記第２表示制御において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出する
請求項１～３、５、または、６のいずれか一項に記載の保守作業支援システム。
前記制御部は、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において前記任意の部品と接続される接続部品を特定できるように、前記ユニット表示部の表示状態を制御する第３表示制御を実行する
請求項１～７のいずれか一項に記載の保守作業支援システム。
前記制御部は、前記接続部品が選択された場合に、前記第３表示制御において、前記任意の部品、前記接続部品、および、前記任意の部品と前記接続部品との接続ルートを特定できるように、前記ユニット表示部の表示状態を制御する
請求項８に記載の保守作業支援システム。
複数の部品を含む機器ユニットに関する情報を表示装置に表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、を備え、
前記表示装置を操作する保守作業者が前記実機画像情報における任意の部品と、前記図面情報における任意の部品との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する
保守作業支援方法。
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、をコンピュータに実行させ、
前記表示装置を操作する保守作業者が前記実機画像情報における任意の部品と、前記図面情報における任意の部品との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる
保守作業支援プログラム。
複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、
前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、
前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する
保守作業支援方法。
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、
前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、
前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる
保守作業支援プログラム。
複数の部品を含む機器ユニットに関する情報を表示装置に表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、を備え、
前記表示装置を操作する保守作業者が前記実機画像情報と前記図面情報との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する
保守作業支援方法。
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、をコンピュータに実行させ、
前記表示装置を操作する保守作業者が前記実機画像情報と前記図面情報との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる
保守作業支援プログラム。
複数の部品を含む機器ユニットに関する情報を表示装置に表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、を備え、
前記図面情報は、複数の図面を含み、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出し、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップを実行する
保守作業支援方法。
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、をコンピュータに実行させ、
前記図面情報は、複数の図面を含み、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出し、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップを前記コンピュータに実行させる
保守作業支援プログラム。