JP5349417B2

JP5349417B2 - 拡張現実技術を利用した保守・監視システム

Info

Publication number: JP5349417B2
Application number: JP2010156748A
Authority: JP
Inventors: 壮史周防
Original assignee: Hitachi Systems Ltd
Current assignee: Hitachi Systems Ltd
Priority date: 2010-07-09
Filing date: 2010-07-09
Publication date: 2013-11-20
Anticipated expiration: 2030-07-09
Also published as: JP2012018605A

Description

本発明は、人的作業、特に保守作業及び障害等異常発生時において、その作業に関する知識が無い作業員であっても確実に対応を行うことができる拡張現実技術を利用した保守・監視システムに関する。

従来、ビル等の警備において、コスト削減のためにより少ない人数によって警備を行うため、監視カメラを用いた監視システムが運用されている。例えば特許文献１には、監視対象を事前に３次元オブジェクトデータ化し、監視対象特有の監視メニューと共にてデータベースに登録し、監視カメラにて撮影した映像とオブジェクトデータとをリンクして画面に表示し、オブジェクトデータの操作に連動して監視カメラの位置や向きが変更することが可能であり、更に監視カメラに撮影中の監視対象をマウス等入力装置で選択した場合、リンクされたオブジェクトデータに関連づいた監視メニューを表示することで、多様な角度からの監視が可能で且つ直感的に監視対象を選択し、詳細な監視操作を行うことができる監視制御システムが開示されている。

また、非特許文献１及び非特許文献２においては、ユーザの視界に対して、ヘッドマウントディスプレイを介して作業の手順や部品の名称等を表示することで、現実の視界に情報を重畳させることで、現実の視界として得られる情報を更に拡張する、拡張現実技術が開示されている。非特許文献１によれば、この拡張現実技術によって作業中の視界に作業手順が表示されるため、技術水準の低い作業員であっても高度な作業を行うことができ、作業員の教育コストを抑制すると共に、作業員によってバラバラだった品質を一定水準に保つことが可能となるとしている。

特開平８−１６１０３１号公報

ｈｔｔｐ：／／ｇｒａｐｈｉｃｓ．ｃｓ．ｃｏｌｕｍｂｉａ．ｅｄｕ／ｐｒｏｊｅｃｔｓ／ａｒｍａｒ／ｈｔｔｐ：／／ｇｉｇａｚｉｎｅ．ｎｅｔ／ｉｎｄｅｘ．ｐｈｐ？／ｎｅｗｓ／ｃｏｍｍｅｎｔｓ／２０１００１１５＿ａｕｇｍｅｎｔｅｄ＿ｒｅａｌｉｔｙ／

しかしながら上記特許文献１を含めた既存の監視システムにおいて、さまざまな保守作業・障害対応及び監視業務では、個別の業務を遂行するにあたり特殊な知識が必要であり、例えば規模の大きな企業において、警備員による監視、２４時間の稼動が求められる種々の業務にまつわるシステムが導入されたサーバやその他機器・計器等の監視、及びそれらに異常が発生した場合の障害対応等、夜間であっても稼動する業務は多岐に亘るため各々の業務毎に人員を割く必要があり、若しくはそれが不可能な場合は異常発生の監視のみを警備員に行わせ、異常の対応は別途警備員から担当者に連絡するという方法がなされているのが現状である。しかしながら、上記のような監視業務や保守作業等は、異常が生じることがなければ待機状態が続き、結果監視業務や保守作業のためのコストが増大してしまったり、また、発生した異常の対応を担当者が到着するまでの間行うことが出来ずに、結果として被害が拡大する虞があった。

これを回避するために、例えば警備員による監視とともに当該警備員に各種機器の保守及びメンテナンスを担当させる方法が考えられるが、特殊な機器やシステムにおいて、保守作業等を行うためには専門的知識を要するものが多く、実際問題として警備員にこれら業務を兼務させることは不可能であった。

また、上記非特許文献１及び２における拡張現実技術は、あらかじめその作業手順をシステムに登録し、当該作業手順をヘッドマウントディスプレイに表示し、作業員に当該作業手順に倣って作業させることを目的としており、例えば作業ミスが原因による部品損壊等の故障などのイレギュラーな事象にリアルタイムで対応することは極めて困難である。

本発明は上記課題を鑑みてなされたものであり、拡張現実技術を応用して、監視カメラ等によって撮影した監視対象の映像に当該監視対象の情報を重畳表示させ、表示手段に表示することで特有の知識を持った作業員でなくても適切、的確、迅速に監視、保守、メンテナンス作業を行うことを可能とする拡張現実技術を利用した保守・監視システムを提供することを目的とする。

請求項１の拡張現実技術を利用した保守・監視システムは、監視サーバと、保守または監視対象（以降、単に監視対象と称呼する）の稼動、障害、エラー情報を含む状態（以降、ステータスと称呼する）を検知し、当該ステータスを前記監視サーバに随時送信するステータス送信手段と、前記監視対象の映像を撮影し、当該映像を監視映像として前記監視サーバへ送信する監視カメラと、該監視カメラの監視映像を表示する表示手段と、から構成される監視システムであって、前記監視対象は、前記監視対象を個々に識別するためのマーカー（20）を含む監視対象識別手段を備え、前記監視サーバは、前記ステータス送信手段から随時送信される監視対象のステータスを前記マーカーで分類し、各々のステータスを個別に管理するステータス管理データベースと、前記ステータス管理データベースに蓄積されたステータスを前記監視カメラの監視映像に重畳するステータス重畳手段と、を備え、当該ステータスを当該ステータス管理データベースに更新し、当該ステータス重畳手段から随時取得し、当該監視映像に重畳するための対応手順を含むステータス映像を生成し、
前記ステータス重畳手段は、前記ステータス管理データベースに随時更新されるステータスのステータス映像を、前記監視カメラにて撮影された前記監視対象の監視映像に重畳させ、かつ前記ステータス管理データベースのマーカーと前記監視映像中に映るマーカーとを紐付けし、前記監視対象の個々のステータスが判別できる位置に当該ステータス映像を重畳して、拡張現実映像として出力し、前記表示手段は、前記監視対象識別手段によって前記監視対象を識別し、重畳して表示するステータスが前記監視対象のうち何れの監視対象のものであるか判別可能な位置に前記拡張現実映像を表示して前記表示手段にリアルタイムで表示することを特徴とする。

請求項１の構成によれば、例えば監視対象に異常が発生した場合、当該異常はリアルタイムでステータス管理データベースに更新され、ステータス重畳手段は、監視カメラによって撮影された監視対象の映像に対して当該異常を一瞥して把握できるようにアイコン等を重畳させ、表示手段に表示させることができる。また、１台の監視カメラによって複数の監視対象を監視するような場合であっても、監視対象識別手段によって映像のどの部分に個々の監視対象が存在するかを識別し、個別の監視対象の映像近傍にステータスを重畳表示することができる。

請求項２の拡張現実技術を利用した保守・監視システムは、請求項１記載の拡張現実技術を利用した保守・監視システムにおいて、前記ステータス重畳手段は、さらに前記拡張現実映像をズームイン、ズームアウト表示可能であって、当該ズームアウト表示し、前記監視対象の複数の監視対象全体を表示している場合は、当該監視対象の正常及び異常を表示し、当該ズームイン表示し、特定の監視対象を表示している場合は、異常が発生した特定の監視対象の詳細情報を表示するように構成し、前記ステータス管理データベースは、前記監視対象に異常が発生した際に、当該異常の対応手順情報を格納する異常対応手順格納部を備え、前記ステータス送信手段から前記監視対象に発生した異常を含んだステータス（以降、異常ステータスと称呼する）が送信された際、前記異常対応手順格納部から前記異常ステータスに合致した対応手順情報を抽出し、当該対応手順情報を前記表示手段に重畳表示することを特徴とする。

請求項２の構成によれば、発生した異常の種別に応じた対応手順を予め記憶しておき、実際に異常が発生した場合、その手順に応じた対応手順情報を監視映像に重畳表示することができる。

請求項３の拡張現実技術を利用した保守・監視システムは、請求項２の拡張現実技術を利用した保守・監視システムにおいて、前記異常対応手順格納部に格納される対応手順情報は、発生した異常を修復するための複数のステップから構成され、前記監視サーバは、個々のステップにおける対応手順を前記表示手段に重畳表示し、任意のタイミングで、次のステップにおける対応手順に切り替えて前記表示手段に重畳表示することを特徴とする。

請求項３の構成によれば、異常発生時の対応手順を複数のステップに分解し、１つのステップで表示された対応手順情報に従って作業を終えた後に、次のステップの対応手順情報を表示させることができる。

本発明の請求項１に記載の拡張現実技術を利用した保守・監視システムは、監視サーバと、保守または監視対象（以降、単に監視対象と称呼する）の状態（以降、ステータスと称呼する）を検知し、前記監視サーバに送信するステータス送信手段と、前記監視対象の映像を撮影し前記監視サーバへ送信する監視カメラと、該監視カメラの映像を表示する表示手段と、から構成される監視システムであって、前記監視サーバは、前記ステータス送信手段から送信される監視対象のステータスを蓄積するステータス管理データベースと、該ステータス管理データベースに蓄積されたステータスを監視カメラの映像に重畳するステータス重畳手段と、を備え、前記ステータス重畳手段によって、前記ステータス管理データベースに蓄積されたステータスを、前記監視カメラにて撮影された前記監視対象の映像に重畳させて前記表示手段に表示するので、監視者たるユーザが有する監視・メンテナンスに関する知識がどのようなレベルであっても、そのステータスを画面に重畳表示することができるので、より迅速且つ的確に監視手続きやメンテナンス作業を行うことができる。また、監視カメラの映像に複数の監視対象が同時に映し出された場合であっても、各々の監視対象の映像に個々のステータスをマッチングさせて表示することができ、これによってユーザ異常等が生じている監視対象と生じていない監視対象を一瞥して把握し、作業を行うことができる。

本発明の請求項２に記載の拡張現実技術を利用した保守・監視システムは、請求項１の拡張現実技術を利用した保守・監視システムにおいて、前記ステータス管理データベースは、発生した異常の対応手順情報を格納する異常対応手順格納部を備え、前記ステータス送信手段から前記監視対象に発生した異常を含んだステータス（以降、異常ステータスと称呼する）が送信された際、前記異常対応手順格納部から前記異常ステータスに合致した対応手順情報を抽出し、当該対応手順情報を前記表示手段に重畳表示するので、例えば監視を行う作業員が監視対象のシステムに対する知識がまったく無い場合でも、異常発生時における障害対応の手順が表示手段に重畳表示され当該対応手順を追って作業することで障害の対応に当たることができる。即ち、監視対象となるシステムに関する知識等の技術レベルを問わずに作業員を配置、従事させることが可能となる。

請求項３の拡張現実技術を利用した保守・監視システムは、請求項２の拡張現実技術を利用した保守・監視システムにおいて、前記異常対応手順格納部に格納される対応手順情報は、発生した異常を修復するための複数のステップから構成され、前記監視サーバは、個々のステップにおける対応手順を前記表示手段に重畳表示し、任意のタイミングで、次のステップにおける対応手順に切り替えて前記表示手段に重畳表示するので、異常対応手順が複雑多岐に亘るものなど、１度の重畳表示のみでは対応しきれないようなケースにおいても、異常対応手順を任意の数のステップに分解し、ステップを順次表示することで、作業員は順を追って発生した異常の対応に当たることができる。

本発明の一実施例における、保守・監視システムの構成を示すブロック図である。同上、表示手段たるモニタの表示例を示す説明図である。同上、監視対象とは異なる位置にマーカーを設置した場合を示す説明図である。同上、表示手段たるヘッドマウントディスプレイの表示例を示す説明図である。同上、作業中に異常が発生した場合における表示手段の表示例を示す説明図である。同上、保守・監視システムの利用例を示す説明図である。同上、保守・監視システムの利用例を示す説明図である。

以下、本発明を実施するための最良の形態としての実施例を図１から図４を参照して説明する。もちろん、本発明は、その発明の趣旨に反さない範囲で、実施例において説明した以外のものに対しても容易に適用可能なことは説明を要するまでもない。

以下、本実施例１における拡張現実技術を応用した保守・監視システムの構成について、添付図面を参照して説明する。図１は、複数の監視対象たる業務サーバを監視する拡張現実技術を応用した保守・監視システム（以降、単に保守・監視システムと称呼する）の構成を示している。１０は監視対象たる業務サーバである。２０は業務サーバを個別に識別するための監視対象識別手段たるマーカーである。１は業務サーバの監視を一元管理する監視サーバである。業務サーバ１０は、監視サーバ１に自己のステータス（例えば平常稼動、ハードウェア障害、ネットワークエラー、アプリケーションエラー及び種々のリソース情報等）を送信するステータス送信手段１０ａを備えている。２は業務サーバを監視する監視カメラである。３はステータス送信手段１０ａによって送信される業務サーバ１０のステータスを管理するステータス管理データベースである。３１は監視対象１０の状態を個別に管理するステータス管理テーブルであり、監視対象をマーカーで分類し、各々の状態、ＣＰＵ稼働率、ネットワーク負荷を管理している。３２は監視対象１０に異常が発生したことを示すステータスが送信された際に、その対応手順を蓄積する異常対応手順格納部である。４は監視カメラ２で撮影した映像にステータスを重畳表示させるよう映像を合成するステータス重畳手段である。５は監視映像若しくは監視映像にステータスを重畳させた映像を表示する表示手段である。

続いて同じく図１に基いて、業務サーバの監視業務をする際の保守・監視システムの動作について説明する。監視カメラ２は業務サーバ１０を監視し、当該映像を監視サーバ１のステータス重畳手段４に送信する。また、同時に個々の業務サーバ１０は、各々が備えるステータス送信手段１０ａによって自身のステータスを監視サーバ１へ送信する。監視サーバ１は当該ステータスをステータス管理データベース３に更新する。当該ステータスはステータス重畳手段４から随時取得され、監視映像４２に重畳するための映像４１（以降、ステータス映像と呼ぶ）を生成する。ステータス重畳手段４は監視カメラから送られた監視映像４２にステータス映像４１を重畳させる。その際、ステータス管理データベース３に管理されるマーカーと、監視映像４２中に映るマーカー２０とを紐付け、別途定めたルールに基き、業務サーバ１０の個々のステータスが判別できる位置にステータス映像４１を重畳させる。このようにして生成した拡張現実映像を表示手段５に表示する。

以上のような保守・監視システムの構成によれば、業務サーバ１０やそれを構成するハードウェアに関する知識のないユーザであって、表示手段５に表示される拡張現実映像を一瞥するだけで、業務サーバ１０の稼動状況を把握することができ、異常が生じているサーバを判別することができる。また、映像をズームインすることで、画面の解像度に対してマーカー２０が占有する面積が大きくなることを検出し、表示する情報を変更することも可能である。例えば、図２のように、ズームアウトをし、監視対象１０全体を表示している場合は、個々の監視対象１０の正常及び異常のみを示し、ズームインをし、特定の監視対象１０を表示している場合は、異常が発生した監視対象１０の詳細な情報を表示するよう構成しても良い。このように構成することで、監視員等の保守・監視システム利用者は、監視カメラの操作方法を習得し、監視対象１０を映し出すことができさえすれば、数ある監視対象１０から異常の発生している監視対象１０を識別することができ、さらに当該監視対象１０に生じている異常の内容も把握することが可能となり、専門スタッフの手配も迅速に行うことが可能となる。

また、マーカー２０が表示手段５の表示範囲内に映し出されていれば、監視対象１０を移動させた場合であっても、移動させた当該監視対象１０のステータスを表示手段５に重畳表示させることが可能である。これによって、例えばノートパソコン等の頻繁に移動するような電子機器や、配置換えによる大規模な監視対象１０の移動等が行われたとしても、保守・監視システムに対して大きな改修作業を必要とせずに、運用コストを抑制することができる。

図３は、マーカー２０の位置を実際の監視対象１０とは異なる位置に設置する具体例である、サーバ室を示す説明図である。大型の空調機は通気口とは離れた位置に設置されることは珍しくなく、また小型の空調機であっても室外機等は部屋の外に設置されることが多い。図３のようにマーカー２０を、空調機のステータスを通気口近傍に設置することで、空調機に故障が発生した場合、当該故障をサーバ室に設置されていない空調機本体ではなく、通気口近傍に設置されたマーカー２０に基づいて表示手段５にステータスを表示することができる。また、空調機による温度調節の影響を受ける監視対象１０のサーバをステータス管理データベース３にて管理することで、空調機の故障によって影響を受ける監視対象１０のサーバに対しても異常を示すステータスを重畳表示することも可能である。

図４は、上記保守・監視システムの実施例２を示している。５１はカメラ付きヘッドマウントディスプレイである。ユーザが監視カメラ２と表示手段５の双方を兼ねるカメラ付きヘッドマウントディスプレイを装着することで、ユーザの現実の視界に直接監視対象１０のステータスを表示したかの如く動作させることができる。このようなシステムを用いることで、サーバの保守作業において、作業時に部品の故障が発生した場合等においても、当該故障を早期に確認し対応することができる。

例えば、図５に示すように、部品交換作業時に静電気が発生し、部品がショートした場合、従来であればショートしたことでどのような問題が発生したかを確認する作業が必要であった。また、作業者がショートの発生に気づかないようなケースもあり、そのまま作業を進め、業務を稼動させた際に実質的な障害が発生したことで初めて問題が生じていることに気づくことになってしまい、多大な損失を被ることになってしまい、また、その時点から原因特定及び対策作業を実施すると、作業工数、作業時間等の多大な対策コストが必要となり、システム全体の信頼度を低下させることとなってしまう。本実施例における保守・監視システムを用いることで、上記のような問題が生じた際に、ステータス管理データベース３には、当該監視対象１０に異常が発生したと登録される。その際、監視サーバ１は当該異常に対応する手順を、異常対応手順格納部３２から抽出し、当該手順をヘッドマウントディスプレイ５１に表示する。異常対応手順格納部３２に蓄積される対応手順は１乃至複数のステップから構成されており、ヘッドマウントディスプレイ５１には当該ステップを任意のタイミングで順次切り替えて表示する。ヘッドマウントディスプレイ５１において、現実の視界に対してマーカー２０を利用して当該部品に異常が発生し、交換が必要である旨を示すメッセージを重畳表示させることができ、作業者が発生した問題を早期に認識することができる。その結果、問題が生じ、システムが停止したことによる損失や、それに対応するための作業工数、作業時間等を最小限に抑え、さらには保守対象となるシステムの早期復旧によって当該システムの信頼度の低下を抑制することができる。

図６及び図７は、ビル警備システムとして本発明の保守・監視システムを導入した場合の実施例であり、ネットワーク管理を行う部屋（以降、ネットワーク管理室と称呼する）に作業員が立ち入った際の、保守・監視システムの動作を説明する説明図である。

通常ビルの警備業務は、警備員等を配置し、監視カメラによる監視や警備員によって直接見回りを行うことでビル内の警備を行うことが一般的である。また、多くのビル警備システムは、ビルエントランスや各部屋の入り口、重要書類を保存する書架や機密文書を保存するサーバ等に監視カメラを設置して、不審者の侵入や重要書類・文書等持ち出しの防止を行っている。しかしながら、電子機器、主にＰＣやサーバ等の扱い等の技術レベルを警備員に要求することは困難である。

本発明の保守・監視システムを監視システムとして導入することで、不審者の侵入と併せてネットワークに関する情報も可能となる。例えば、図６及び図７に示すように表示手段５に映し出されたネットワークケーブルやＰＣのアクセス情報を重畳させて表示することができる。従来のようにネットワーク等の情報を閲覧するための煩雑な手続き、捜査を必要とせず、監視カメラ映像を一瞥するだけで、侵入者の有無に加えて内部及び外部からの不正アクセスの有無についても監視することができるようになるので、警備員に要求されるネットワークに関する技術レベルは、極僅かで済むようになる。

以上、本発明の一実施例について詳述したが、本発明は前記実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、ステータス管理データベース３は監視サーバ１内部に備えるよう図１に示したが、これに限定せず、外部のデータベースサーバに構築しても良い。ステータス管理データベース３のステータス管理テーブル３１によって管理される情報を、監視対象をマーカーで分類し、各々の状態、ＣＰＵ稼働率、ネットワーク負荷としたが、これに限定せず、監視対象の監視に関わる種々の情報を適宜選択し、これを含めて管理しても何ら問題ない。また、図１において監視カメラ２を１台としたが、これに限定せずに監視カメラ２を複数台にて構成し、監視対象１０を多角的に監視してもよいし、別室等離れた場所に監視対象１０を配置し、その場所に応じて監視カメラ２を複数台設置するといった構成としても良い。

１監視サーバ
２監視カメラ
３ステータス管理データベース
４ステータス重畳手段
５表示手段
５１ヘッドマウントディスプレイ（表示手段）
１０業務サーバ（監視対象）
１０ａステータス送信手段
２０マーカー（監視対象識別手段）
３１テーブル
３２異常対応手順格納部
４１ステータス映像
４２監視映像

Claims

監視サーバと、保守または監視対象（以降、単に監視対象と称呼する）の稼動、障害、エラー情報を含む状態（以降、ステータスと称呼する）を検知し、当該ステータスを前記監視サーバに随時送信するステータス送信手段と、前記監視対象の映像を撮影し、当該映像を監視映像として前記監視サーバへ送信する監視カメラと、該監視カメラの監視映像を表示する表示手段と、から構成される監視システムであって、
前記監視対象は、
前記監視対象を個々に識別するためのマーカーを含む監視対象識別手段を備え、
前記監視サーバは、
前記ステータス送信手段から随時送信される監視対象のステータスを前記マーカーで分類し、各々のステータスを個別に管理するステータス管理データベースと、
前記ステータス管理データベースに蓄積されたステータスを前記監視カメラの監視映像に重畳するステータス重畳手段と、を備え、
当該ステータスを当該ステータス管理データベースに更新し、当該ステータス重畳手段から随時取得し、当該監視映像に重畳するための対応手順を含むステータス映像を生成し、
前記ステータス重畳手段は、
前記ステータス管理データベースに随時更新されるステータスのステータス映像を、前記監視カメラにて撮影された前記監視対象の監視映像に重畳させ、かつ前記ステータス管理データベースのマーカーと前記監視映像中に映るマーカーとを紐付けし、前記監視対象の個々のステータスが判別できる位置に当該ステータス映像を重畳して、拡張現実映像として出力し、
前記表示手段は、
前記監視対象識別手段によって前記監視対象を識別し、重畳して表示するステータスが前記監視対象のうち何れの監視対象のものであるか判別可能な位置に前記拡張現実映像を表示して前記表示手段にリアルタイムで表示することを特徴とする拡張現実技術を利用した保守・監視システム。
前記ステータス重畳手段は、さらに前記拡張現実映像をズームイン、ズームアウト表示可能であって、当該ズームアウト表示し、前記監視対象の複数の監視対象全体を表示している場合は、当該監視対象の正常及び異常を表示し、当該ズームイン表示し、特定の監視対象を表示している場合は、異常が発生した特定の監視対象の詳細情報を表示するように構成し、
前記ステータス管理データベースは、前記監視対象に異常が発生した際に、当該異常の対応手順情報を格納する異常対応手順格納部を備え、
前記ステータス送信手段から前記監視対象に発生した異常を含んだステータス（以降、異常ステータスと称呼する）が送信された際、前記異常対応手順格納部から前記異常ステータスに合致した対応手順情報を抽出し、当該対応手順情報を前記表示手段に重畳表示することを特徴とする請求項１記載の拡張現実技術を利用した保守・監視システム。
前記異常対応手順格納部に格納される対応手順情報は、発生した異常を修復するための複数のステップから構成され、前記監視サーバは、個々のステップにおける対応手順を前記表示手段に重畳表示し、任意のタイミングで、次のステップにおける対応手順に切り替えて前記表示手段に重畳表示することを特徴とする請求項２記載の拡張現実技術を利用した保守・監視システム。