WO2022153567A1 - 情報提示システム、端末装置およびプログラム - Google Patents

Abstract

ユーザ視野内で機器の所在位置に関連付けて当該機器に関する情報を提示する。生産ラインの機器（９０）を制御するコントローラと、ディスプレイ（３２）とカメラ（３４）とを有する端末（３０）と、サーバ（２００）とを備えるシステムにおいて、カメラは、ディスプレイの視野を撮像範囲に含み、コントローラは、当該機器が備える発光部を所定のパターンで発光させる発光指令（９Ａ）を機器に送信し、端末は、ディスプレイの表示領域内の表示位置であって、カメラの撮像画像における発光パターンを表す部分画像の位置に応じた表示位置に関連付けて機器に関する情報を表示する。

Description

情報提示システム、端末装置およびプログラム

　この開示は情報提示システムに関し、特に、制御対象の機器に関する情報を提示する情報提示システムに関する。

　設備の状態を提示する技術として、特許文献１（特開２０１９－６８２３９号公報）は、処理設備の情報を表示する信号灯の発光情報に基づいて信号灯が連続点灯状態、点滅状態及び連続消灯状態の何れであるか判定し、処理設備の状態を管理する装置を開示する。

　特許文献２（特開２０１７－２２４２２９号公報）の設備監視携帯端末は、説明文を、撮影中の電子制御装置１０の画像に重ね合わせて表示すること（オーバーレイ表示）で、拡張現実の表現を用いた設備監視の環境を提供する。

　特許文献３（特開２００８－１７１０８４号公報）は、生産ラインのシーケンスプログラムの設計支援装置を開示する。設計支援装置は、ライン上の設備が出力する信号の状態を、信号に対応して設けられた複数の発光手段を点消灯させて表示し、表示された信号の状態を読み取り、読み取った信号の状態を次のステップへ進むための動作条件としてシーケンスプログラムに書き込むよう構成されている。

特開２０１９－６８２３９号公報 特開２０１７－２２４２２９号公報 特開２００８－１７１０８４号公報

　生産ラインでの機器に関して提示される情報の利用シーンには、例えば機器の異常または異常の予兆が検出されたとき、現場で対処を支援するための利用シーンが含まれる。現場の作業者は、対象機器の所在位置をユーザが実際に視る生産ライン上で特定しながら、その場で機器の情報を取得し、当該情報を確認しながら機器に対する作業（操作）を実施したいとの要望がある。

　特許文献１、２および３の生産ラインの設備を監視する情報を提示する仕組みを提案するが、ユーザの視野内で対象機器の所在位置と機器に関する情報とを関連付けて提示する環境は提供しない。

　本開示の１つの目的は、ユーザの視野内における対象機器の所在位置に関連付けて当該機器に関する情報を提示する情報提示システムを提供することである。

　本開示において情報提示システムは、生産ラインに備えられる機器を制御するコントローラと、ディスプレイと、機器を撮像可能なカメラとを有する端末と、コントローラおよび端末と通信するサーバと、を備え、カメラは、ディスプレイの視野を撮像範囲に含み、コントローラは、当該機器が備える発光部を予め定められた発光パターンで発光させる発光指令を、機器に送信する手段を有し、端末は、ディスプレイの表示領域内の表示位置であって、カメラの撮像画像における発光パターンを表す部分画像の位置に応じた表示位置に関連付けて機器に関する情報を表示する手段を有する。

　上述の開示によれば、ユーザのディスプレイを介した視野内における機器の所在位置に関連付けて当該機器に関する情報をディスプレイに表示することで、情報を提示することができる。

　上述の開示において、コントローラは、さらに、機器の付近に在る他の機器が有する発光部を、発光パターンとは異なるパターンで発光させる手段を有する。

　上述の開示によれば、対象機器の付近に在る他の機器も発光させることで、ユーザを対象機器に案内することができる。

　上述の開示において、機器に関する情報は、機器の状態を示す情報を含む。この開示によれば、上記の機器に関する情報として、機器の状態を表示することができる。

　上述の開示において、サーバは、発光パターンを指定する通知を、コントローラに送信する。これにより、コントローラはサーバから発光パターンを取得できる。

　上述の開示において、サーバは、端末から受信する撮像画像を処理して発光パターンを表す部分画像の撮像画像における位置を検出する画像処理手段と、画像処理手段によって検出された部分画像の位置を端末に送信する手段と、を有する。

　上述の開示によれば、サーバに位置検出のための画像処理を担わせることができる。
　上述の開示において、サーバは、発光パターンを指定する通知を、端末に送信し、端末は、さらに、カメラの撮像画像を処理して発光パターンを表す部分画像の当該撮像画像における位置を検出する画像処理手段を有する。

　上述の開示によれば、端末に位置検出の画像処理を担わせることができる。
　上述の開示において、サーバは、機器の識別情報に基づき発光パターンを決定する。これにより、発光パターンを、機器の識別情報に基づき可変に決定できる。

　上述の開示において、サーバは、機器の状態に基づき発光パターンを決定する。これにより、発光パターンを、機器の状態に基づき可変に決めることができる。

　上述の開示において、コントローラは、機器から出力される状態値に基づき当該機器の状態を判定し、判定された状態の通知をサーバに送信する。これにより、コントローラが、機器が予め定められた状態になったことを判定したとき、当該機器を発光させることができる。

　上述の開示において、コントローラは、機器の状態を示す情報を、サーバが備えるデータベースに格納するためのデータベース操作命令をサーバに送信し、サーバは、データベースに格納された情報に基づき機器の状態を判定する。

　上述の開示によれば、機器の状態は、サーバのデータベースに蓄積されたデータに基づき判定できる。

　上述の開示において、コントローラは、ユーザ操作に基づき指定される機器に、発光指令を出力する。これにより、コントローラは、ユーザが指定した機器に発光指令を出力して、発光させることができる。

　上述の開示において、端末は、当該端末を操作するユーザの注視方向を検出する注視センサを、さらに有し、カメラの撮像方向は、注視方向に一致する。

　上述の開示によれば、機器が発光をした場合、ユーザが当該機器の所在する方向を注視したとき、カメラは注視方向を撮像する。これにより、被写体に当該機器を含める確実性を高めることができる。

　本開示の端末装置は、端末装置であって、生産ラインに備えられる機器を制御するコントローラと通信する手段と、ディスプレイと、機器を撮像可能なカメラと、を備え、カメラは、ディスプレイの視野を撮像範囲に含み、機器はコントローラからの発光指令に基づき予め定められた発光パターンで発光する光源を有し、端末装置は、ディスプレイの表示領域内の表示位置であって、カメラの撮像画像における発光パターンを表す部分画像の位置に応じた表示位置に関連付けて、機器に関する情報を表示する手段を有する。

　上述の開示によれば、ユーザのディスプレイを介した視野内における機器の所在位置に関連付けて、当該機器に関する情報をディスプレイに表示することで、機器に関連の情報を提示できる。

　本開示では、端末装置が備えるプロセッサに情報提示方法を実行させるプログラムが提供される。端末装置は、生産ラインに備えられる機器を制御するコントローラと通信する手段と、ディスプレイと、機器を撮像可能なカメラと、をさらに備え、カメラは、ディスプレイの視野を撮像範囲に含み、機器はコントローラからの発光指令に基づき予め定められた発光パターンで発光する光源を有し、情報提示方法は、ディスプレイの表示領域内の表示位置であって、カメラの撮像画像における発光パターンを表す部分画像の位置を取得するステップと、ディスプレイの表示領域内の取得された表示位置に関連付けて、機器に関する情報を表示するようディスプレイを制御するステップとを有する。

　上述の開示によれば、プログラムが実行されると、ユーザのディスプレイを介した視野内における機器の所在位置に関連付けて、当該機器に関する情報がディスプレイに表示されて、機器に関連の情報を提示できる。

　本開示によれば、ユーザの視野内における対象機器の所在位置に関連付けて当該機器に関する情報を提示できる。

本実施の形態に係るネットワークシステム１の全体構成例を示す模式図である。 本実施の形態に係るネットワークシステム１の全体構成例を示す模式図である。 本実施の形態に係るＰＬＣ１００の構成例を示す模式図である。 本実施の形態に係るイベントコードテーブル１５２の一例を示す図である。 本実施の形態のサーバ２００の構成例を示す模式図である。 本実施の形態に係る発光パターンテーブル２３２の一例を模式的に示す図である。 本実施の形態に係る端末３０の構成例を示す模式図である。 本実施の形態に係るフィールド機器９０の構成例を示す模式図である。 本実施の形態に係るＰＬＣ１００の情報提示に関連するモジュール構成を模式的に示す図である。 本実施の形態に係るサーバ２００の情報提示に関連するモジュール構成を模式的に示す図である。 本実施の形態に係る端末３０の情報提示に関連するモジュール構成を模式的に示す図である。 本実施の形態に係る情報提示の処理を示すフローチャートである。 本実施の形態に係る情報提示の処理の変形例を示すフローチャートである。 本実施の形態に係る透過型ディスプレイ３２の表示例を示す図である。 本実施の形態に係る透過型ディスプレイ３２の表示例を示す図である。 本実施の形態に係る透過型ディスプレイ３２の表示例を示す図である。 本実施の形態に係る透過型ディスプレイ３２の表示例を示す図である。

　本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

　＜Ａ．適用例＞
　まず、図１を参照して、本発明が適用される場面の一例について説明する。

　図１は、本実施の形態に係るネットワークシステム１の全体構成例を示す模式図である。本開示において、ネットワークシステム１は「情報提示システム」の一実施例である。ネットワークシステム１は、主たる使用形態として、生産ラインに備えられる機器または設備を現場で保守することを可能にする「保守システム」を意図しているが、本願発明の技術的範囲はこの用語の範囲に限定されることはなく、請求の範囲の記載に基づいて、合理的に解釈されるべきである。

　ネットワークシステム１は、対象の機器または設備における各種情報を共有するとともに、必要に応じて、対象の機器または設備に対して指令を与えるためのプラットフォームを提供する。

　図１に示す例において、対象の機器または設備は、ＰＬＣ（プログラマブルロジックコントローラ）１００および１または複数のフィールド機器９０を含む。図１では、１台のＰＬＣ１００を示したが、ネットワークシステム１は複数台のＰＬＣ１００を備えてもよい。複数のＰＬＣ１００が備えられる場合は、複数のＰＬＣ１００は、フィールドネットワークに接続されていてもよい。フィールドネットワークとしては、ＥｔｈｅｒＣＡＴ（登録商標）やＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）などの産業用ネットワークが用いられてもよい。

　ＰＬＣ１００は、産業用のコントローラに相当し、図示しない各種の製造設備や機械を制御周期に従い制御する。ＰＬＣ１００による制御においては、フィールドネットワーク５を介してセンサを含むフィールド機器９０などを用いてフィールド機器９０の状態を示す情報（状態値１１０）を収集し、ＰＬＣ１００で実行されるプログラムに従って、それらの収集された情報を用いて予め定められた制御演算を制御周期に従い周期的に実行することで、制御指令を算出しアクチュエータなどのフィールド機器に出力する。ＰＬＣ１００においては、制御指令は、シーケンスプログラムやモーションプログラムなどの制御演算が実行されることにより算出される。フィールド機器９０は制御指令に従い制御されて動作し、状態値１１０が変化する。

　フィールド機器９０は、フィールドネットワーク５を介してＰＬＣ１００と通信することによって、ＰＬＣ１００が制御する対象の一例である。フィールドネットワーク５を介して、ＰＬＣ１００とフィールド機器９０との間で遣り取りされるデータは、制御周期に同期した数１００μｓｅｃオーダ～数１０ｍｓｅｃオーダのごく短い周期で更新されることになる。なお、このような遣り取りされるデータの更新処理は、入出力リフレッシュとも称される。

　フィールド機器９０は、発光部としての１または複数のＬＥＤ（Light　Emitting　Diode）を備え、自機器の出力または稼働の状態を報知するために当該ＬＥＤを発光するよう駆動する。ＬＥＤの発光は、異なるまたは同じ可視光の波長を有する。本開示では、フィールド機器９０は、ＰＬＣ１００からの発光指令９Ａに基づき、ＬＥＤの駆動信号（電流信号）のパルスの幅または周期を経時的に変化させる。これにより、フィールド機器９０のＬＥＤは発光指令９Ａに従うパターンで発光する。ＬＥＤ駆動信号の生成には、例えばＰＷＭ（Pulse　Width　Modulation）回路を適用できる。

　ネットワークシステム１は、対象設備（ＰＬＣ１００およびフィールド機器９０）に加えて、作業者（ユーザ）が頭部に装着可能な端末３０、および、ＰＬＣ１００と端末３０と通信するサーバ２００を備える。サーバ２００は、典型的には工場の外部に設けられて、本実施の形態では、例えばクラウドベースサーバとして提供される。

　サーバ２００は、ネットワークを介して接続されている端末３０およびＰＬＣ１００の少なくとも一方から画像および音声の少なくとも一方を含むデータを受信し、受信したデータを処理して、処理結果のデータをＰＬＣ１００または端末３０に送信する。サーバ２００は、ＤＢ（データベースの略）４００を管理するデータベースサーバとしての機能を備えることもできる。ＰＬＣ１００は制御周期に同期して収集された状態値１１０を、データベース操作指令（ＳＱＬ（Structured　Query　Languageなど）とともにサーバ２００に転送する。サーバ２００は、ＰＬＣ１００から受信する状態値１１０を、データベース操作指令に従いデータベース４００に格納する。これにより、データベース４００には、時系列に状態値１１０が収集される。サーバ２００は、データベース４００から状態値１１０などのデータを読出し、読出されたデータを処理する。また、サーバ２００は、ＰＬＣ１００から送信される制御指令を、例えば状態値１１０と関連付けてデータベース４００に格納することもできる。

　端末３０は、「端末装置」の一実施例であって、ＨＭＤ（Head-Mounted　Device）の形態で、より特定的にはメガネ型ディスプレイの形態でユーザ（作業者）の頭部に装着され得る。端末３０は、筐体１１５に、例えば液晶ディスプレイ方式等の透過型ディスプレイ３２と、注視センサ１４０と、スピーカ３５と、マイク１１９と、カメラ３４と備える。

　ユーザは透過型ディスプレイ３２を介して、現実の空間（風景）を視ることができる。また、透過型ディスプレイ３２にオブジェクト（写真、絵、文字・数値、記号、グラフなどの画像）が表示される場合、オブジェクトは現実空間の風景に重畳されて表示される。重畳表示されるオブジェクトにより、端末３０は、ユーザに対し、いわゆる拡張現実（Augmented　Reality）を提供する。

　カメラ３４は、光学特性を持つ撮像装置であって、例えばＣＣＤ（Charge　Coupled　Device）を含む。端末３０が装着されるとき、メガネのレンズに相当する透過型ディスプレイ３２を通してユーザが視ることができる透過型ディスプレイ３２の表示領域に相当する視野が、カメラ３４の撮像範囲となる。例えば、端末３０を装着したユーザは、フィールド機器９０を操作する場合、拡張現実の仕組みを用いて操作がサポートされ得る。より具体的には、透過型ディスプレイ３２は、操作を支援するオブジェクトを現実空間の風景、すなわちフィールド機器９０を含む現実風景に重畳して表示する。これにより、ユーザは、拡張現実（Augmented　Reality）の態様で視野内の現実風景に重畳表示されたオブジェクトが示す情報によって支援されながら、視野内のフィールド機器９０を操作することができる。ユーザのフィールド機器９０の操作は、当該フィールド機器９０の稼働の状態を確認するための操作または状態を調整するための操作も含み得る。

　注視センサ１４０は、端末３０を装着するユーザの視線が向けられる方向（視線方向）を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実現される。カメラ３４は、注視センサ１４０によって検出されたユーザの視線方向を撮像方向に一致させるように制御される。

　本実施の形態では、ユーザの頭部姿勢（位置と向き（傾き））を検出する頭部姿勢検出部を備える。頭部姿勢検出部は、例えばカメラ３４に備えられる後述のジャイロセンサ３４１を含んで構成される。後述の信号処理・画像処理回路３００は、頭部姿勢検出部の出力から、例えば予め定められた演算式に従い、ユーザの視野角を算出（推定）する。信号処理・画像処理回路３００は、ユーザの視野角と画角が整合するようにカメラ３４の画角を制御する。これにより、信号処理・画像処理回路３００は、カメラ３４の画角をユーザの頭部姿勢に基づく視野角の変化に追従させて変化させることができる。その結果、透過型ディスプレイ３２の視野をカメラ３４の撮像範囲に含めることができる。なお、ジャイロセンサ３４１はカメラ３４に備えたが、頭部の姿勢を検出可能であれば、取付場所はカメラ３４に限定されない。

　端末３０を装着したユーザに透過型ディスプレイ３２を介して拡張現実を提供するシーンとして、例えば、フィールド機器９０の稼働状態が予め定められた状態になったときを説明する。フィールド機器９０の予め定められた状態は、フィールド機器９０の故障を含む異常状態または異常の予兆を示す状態（以下、予兆状態という）を含み得る。例えば、ＰＬＣ１００が、フィールド機器９０からの状態値１１０を閾値と比較し、比較結果に基づき、フィールド機器９０が予め定められた状態に遷移したことを、イベントとして検出する。ＰＬＣ１００は、例えば制御周期等に同期して周期的にイベントの検出処理を実施することができる。

　ＰＬＣ１００は、イベントを検出すると（ステップＳ１）、検出されたイベント内容２２ａ（フィールド機器９０のデバイスＩＤ（識別子）とイベントに関する情報）の通知をサーバ２００に送信し（ステップＳ２）、また、端末３０にイベント検知２２ｂの通知を送信する（ステップＳ２）。サーバ２００は、ＰＬＣ１００からイベント内容の通知を受信すると、イベント内容に基づく発光パターン２３ａの通知をＰＬＣ１００に送信し（ステップＳ３）、ＰＬＣ１００はサーバ２００からの発光パターン２３ａに基づく発光指令９Ａを生成し、フィールド機器９０に出力する（ステップＳ４）。フィールド機器９０の発光部のＬＥＤは、発光パターン２３ａに基づく発光指令９Ａが示すパターンに従い発光する。発光の態様は、点滅（点灯周期の切替）、発光色の切替などを含む。

　端末３０を装着したユーザは、発光するフィールド機器９０に視線を向ける。カメラ３４は、注視センサ１４０の出力に基づき、撮像方向を視線方向に一致させる。これにより、カメラ３４の撮像範囲内にユーザの注視する（すなわち視野内にある）フィールド機器９０が位置することになる。端末３０は、ＰＬＣ１００からイベント検知２２ｂの通知を受信したことに応じて、カメラ３４に撮像を開始させ（ステップＳ２６）、撮像された画像２７ａをサーバ２００に送信する（ステップＳ２７）。カメラ３４の撮像は、例えばＰＬＣ１００からイベント検知２２ｂの通知を受信したことに応じて開始されてもよい。

　サーバ２００は、端末３０からの画像２７ａを例えばフレーム単位で画像処理することにより、画像２７ａにおいて発光パターン２３ａに従い輝度を変化させる部分画像を検出し、画像２７ａにおける当該部分画像の位置を決定する位置検出処理を実施し、決定位置とＡＲマーカとを含むマーカ情報２９ａを端末３０に送信する（ステップＳ２９）。サーバ２００は、ＰＬＣ１００から受信した通知が示すイベント内容２２ａを表示するための、オブジェクトとしてのＡＲマーカを生成する。

　端末３０は、サーバ２００からマーカ情報２９ａを受信し、受信したＡＲマーカの表示処理を実施する（ステップＳ３０）。より具体的には、端末３０は、透過型ディスプレイ３２に、サーバ２００からのマーカ情報２９ａが有する決定位置に対応した当該透過型ディスプレイ３２の表示領域における位置に関連付けてＡＲマーカを表示させる。これにより、透過型ディスプレイ３２を介したユーザの視野内の発光パターン２３ａに従い発光しているフィールド機器９０（フィールド機器９０のＬＥＤ）に関連付けてＡＲマーカが視覚可能に表示される。

　上記の構成では、発光パターン２３ａに従い輝度を変化させる部分画像の検出処理は、サーバ２００によって実施されたが、端末３０によって実施されてもよい。その場合、サーバ２００は、発光パターン２３ａを端末３０に送信し（ステップＳ２３）、端末３０は、カメラ３４が撮像した画像２７ａにおいて、サーバ２００からの発光パターン２３ａに従い輝度を変化させる部分画像を検出する画像処理を実施し、画像処理の結果に基づき、画像２７ａにおける当該部分画像の位置を決定する。端末３０は、決定位置とサーバ２００からのＡＲマーカとに基づき、上記の表示処理（ステップＳ３０）を実施する。

　マイク１１９は、ユーザの発話の音声を収集し、端末３０は、収集音声に対応する音声データをサーバ２００に送信する。サーバ２００は、端末３０からの音声データを解析し、解析結果に基づく情報を、端末３０にＡＲマーカとして送信する。端末３０は、ＡＲマーカを上記の決定位置に関連付けて表示する。これにより、ユーザは、マイク１１９を用いて発話することで、追加のＡＲマーカを取得することもできる。ＡＲマーカが示すフィールド機器９０に関する情報の提示態様は表示に限定されず、音声読み上げ機能によりスピーカ３５から音声出力されもよい。

　本開示では、透過型ディスプレイ３２を介したユーザの視野内におけるフィールド機器９０の所在位置に関連付けて当該機器に関する情報、例えばイベント内容（デバイスＩＤとＡＲマーカ等）を提示することができる。端末３０を装着したユーザは、透過型ディスプレイ３２を介した視野内のフィールド機器９０を、ＡＲマーカ等で提示された情報を参考に操作し、フィールド機器９０の故障または故障予兆に対処できる。

　以下、本発明のより具体的な応用例として、本実施の形態に係るネットワークシステム１のより詳細な構成および処理について説明する。

　＜Ｂ．システム構成＞
　図２は、本実施の形態に係るネットワークシステム１の全体構成例を示す模式図である。ネットワークシステム１は、１または複数のＰＬＣ１００を含む保守対象の設備装置２を備える。ＰＬＣ１００は、フィールドネットワーク４に接続されていてもよい。フィールドネットワーク４としては、ＥｔｈｅｒＣＡＴ（登録商標）やＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）などの産業用ネットワークが用いられてもよい。フィールドネットワーク４は、フィールドネットワーク４に接続されるコンポーネントをサーバ２００に接続するためのゲートウェイ端末３と、携帯型端末としての端末３０をフィールドネットワーク４に接続するための無線ルータ６を接続する。端末３０は、無線通信４１０によりＰＬＣ１００とデータを遣り取りする。端末３０は、ＰＬＣ１００および無線ルータ６と無線ＬＡＮ（Local　Area　Network）に従い通信する。端末３０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）に従いＰＬＣ１００と通信し、ＢｌｕｅｔｏｏｔｈまたはWi-Fi（登録商標）に従い無線ルータ６と通信する。端末３０は、無線ルータ６を中継しないで、例えば、ＬＴＥ（Long　Term　Evolution）に従いサーバ２００と通信することも可能であり、通信路はＶＰＮ（Virtual　Private　Network)が適用され得る。

　（Ｂ１．ＰＬＣ１００の構成）
　図３は、本実施の形態に係るＰＬＣ１００の構成例を示す模式図である。図３を参照して、ＰＬＣ１００は、予めインストールされたプログラムをプロセッサが実行することで、制御対象に対する制御を実現するコンピュータに相当する。より具体的には、ＰＬＣ１００は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro-Processing　Unit）などのプロセッサ１０２と、チップセット１０４と、メインメモリ１０６と、フラッシュメモリ１０８と、ネットワークコントローラ１１６と、無線通信回路を含む無線インターフェイス１１７と、メモリカードインターフェイス１１８と、内部バスコントローラ１２２と、フィールドバスコントローラ１２４とを含む。

　プロセッサ１０２は、フラッシュメモリ１０８に格納されたシステムプログラム１０９、ユーザプログラム１１２およびＩｏＴゲートウェイプログラム１６０を読み出して、メインメモリ１０６に展開して実行する。システムプログラム１０９のもとでユーザプログラム１１２が実行されると、制御対象に対する制御を実現する。すなわち、プロセッサ１０２は、メインメモリ１０６およびフラッシュメモリ１０８と連係することで、入出力リフレッシュおよび制御演算を実行する制御部を実現する。

　システムプログラム１０９は、データの入出力処理や実行タイミング制御などの、ＰＬＣ１００の基本的な機能を提供するための命令コードを含む。ユーザプログラム１１２は、制御対象に応じて任意に設計され、シーケンス制御を実行するためのシーケンスプログラム１１２Ａと、モーション制御を実行するためのモーションプログラム１１２Ｂと、図示しないが入出力リフレッシュプログラムを含む。

　チップセット１０４は、各コンポーネントを制御することで、ＰＬＣ１００全体としての処理を実現する。内部バスコントローラ１２２は、ＰＬＣ１００と内部バスを通じて連結されるＩ／Ｏユニット１２６とデータを遣り取りするインターフェイスである。フィールドバスコントローラ１２４は、ＰＬＣ１００とフィールドバスを通じて連結されるＩ／Ｏユニット１２８とデータを遣り取りするインターフェイスである。内部バスコントローラ１２２およびフィールドバスコントローラ１２４は、対応のＩ／Ｏユニット１２６および１２８にそれぞれ入力される状態値１１０を取得するとともに、プロセッサ１０２での演算結果を対応のＩ／Ｏユニット１２６および１２８から制御指令としてそれぞれ出力する。

　メモリカードインターフェイス１１８は、メモリカード１２０を着脱可能に構成されており、メモリカード１２０に対してデータを書込み、メモリカード１２０からデータを読出すことが可能になっている。

　ネットワークコントローラ１１６は、フィールドネットワーク４を含む各種ネットワークを通じたデータの遣り取りを制御する。無線インターフェイス１１７は、端末３０などの無線通信装置との間におけるデータ遣り取りを制御する。

　フラッシュメモリ１０８は、本実施の形態のネットワークシステム１を実現するための、ＩｏＴゲートウェイプログラム１６０に追加して、設定情報１５０、イベントコードテーブル１５２、発光プログラム１６７および付近発光プログラム１６７ａをさらに保持（格納）する。設定情報１５０は、ネットワークシステム１のユーザを管理する情報、およびネットワークシステム１を構成するフィールド機器９０などの装置を管理する情報などを含む。

　図４は、本実施の形態に係るイベントコードテーブル１５２の一例を示す図である。図４を参照して、イベントコードテーブル１５２は、フィールド機器９０の識別子であるデバイスＩＤ１５２Ｂと事象種類１５２Ａからなる複数の組と、各組に対応付けてイベントコード１５２Ｃを有する。事象種類１５２Ａは、対応するデバイスＩＤ１５２Ｂのフィールド機器９０の状態（異常または予兆の状態）を判定するための閾値ＴＨを含む。

　発光プログラム１６７は、実行されると、サーバ２００から受信する発光パターン２３ａに従う発光指令９Ａを生成し、発光パターン２３ａに含まれるデバイスＩＤが示すフィールド機器９０に送信する。付近発光プログラム１６７ａは、実行されると、サーバ２００から受信される付近発光パターン３３ａに従う発光指令９Ｂを、付近発光パターン３３ａが有するデバイスＩＤが示す１または複数のフィールド機器９０に送信する。

　ＩｏＴゲートウェイプログラム１６０は、実行されることにより、ＰＬＣ１００を情報提示システムのコンポーネントとして動作させるプログラムの一実施例である。ＩｏＴゲートウェイプログラム１６０は、制御に従うフィールド機器９０が出力する状態値１１０から、当該フィールド機器９０の状態（異常または予兆）に基づくイベントを検出するイベント検出プログラム１６１および情報収集プログラム１６２を含む。

　情報収集プログラム１６２は、実行されると、ＰＬＣ１００が入出力リフレッシュによりフィールド機器９０と遣り取りする状態値１１０および制御指令をリアルタイムに収集する状態情報収集１６３および制御指令収集１６４と、装置関連情報収集１６５とを実施する。装置関連情報収集１６５によって収集される情報は、例えばフィールド機器９０の使用実績の情報を含む。

　なお、ＰＬＣ１００がプログラムを実行することで提供される機能の一部または全部を専用のハードウェア回路として実装してもよい。

　（Ｂ２．サーバ２００の構成）
　図５は、本実施の形態のサーバ２００の構成例を示す模式図である。図５を参照して、サーバ２００は、汎用的なアーキテクチャを有するコンピュータである。サーバ２００は、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種処理を実現する。

　サーバ２００は、ＣＰＵやＭＰＵなどのプロセッサ２０２と、メインメモリ２０４と、ハードディスク（ＨＤＤ）２０６と、ユーザへ情報を提示するためのディスプレイ２０８と、キーボードやマウスなどの入力部２１０と、他の装置との間でデータを遣り取りするためのネットワークコントローラ２１２とを含む。これらのコンポーネントは、内部バス２１４を介して互いにデータ通信可能に接続されている。ハードディスク２０６は、サーバ２００での基本的なプログラムの実行環境を提供するためのＯＳ（Operating　System）２２０と、ＯＳのもとで実行されるサーバプログラム２２２とを含む。これらのプログラムがメインメモリ２０４に読み出されて、プロセッサ２０２によって実行される。

　サーバプログラム２２２は、情報提供システムのサービスを実現するためのプログラムとデータ（情報）を含む。より具体的には、サーバプログラム２２２は、イベント検出されたフィールド機器９０の発光パターンを決定する発光パターン決定プログラム２２３と、通信プログラム２２４と、画像処理プログラム２２５と、イベント検出されたフィールド機器９０の付近（周囲、周辺）に配置された他のフィールド機器９０（以下、付近フィールド機器９０ともいう）の位置を判定する付近判定プログラム２２８と、Ｂｏｔプログラム２２９とを含み、さらに、デバイス位置情報２３１と、発光パターンテーブル２３２と、付近発光パターン３３ａとを含む。

　デバイス位置情報２３１は、生産ラインに配置された各フィールド機器９０のデバイスＩＤに対応して、当該フィールド機器９０の付近の予め定められた範囲のエリア内に配置された複数のフィールド機器９０それぞれのデバイスＩＤを含む。

　通信プログラム２２４は、発光パターン２３ａの通知をＰＬＣ１００または端末３０に送信するための発光パターン通知プログラム２４ａと、位置とＡＲマーカを含むマーカ情報２９ａを端末３０に送信するためのマーカ通知プログラム２４ｂと、付近フィールド機器９０の発光パターンをＰＬＣ１００に通知する付近発光パターン通知プログラム２４ｃとを含む。

　図６は、本実施の形態に係る発光パターンテーブル２３２の一例を模式的に示す図である。図６の（Ａ）を参照して、発光パターンテーブル２３２は、複数種類のイベントコード１５２Ｃと、各イベントコード１５２Ｃに対応して発光パターン１５２Ｄを有する。図６の（Ｂ）の発光パターンテーブル２３２は、フィールド機器９０の識別子である複数種類のデバイスＩＤ１５２Ｂと、各デバイスＩＤ１５２Ｂに対応付けて発光パターン１５２Ｄを有する。本実施の形態では、発光パターンテーブル２３２は、図６の（Ａ）に示すように、フィールド機器９０について検出されたイベントの種類（イベントコード１５２Ｃ）に応じて発光パターン１５２Ｄが決定されるよう構成されてもよく、または、図６の（Ｂ）に示すように、フィールド機器９０の種類（デバイスＩＤ１５２Ｂ）に応じて発光パターン１５２Ｄが決定されるよう構成されてもよい。

　（Ｂ３．端末３０の構成）
　図７は、本実施の形態に係る端末３０の構成例を示す模式図である。図７を参照して、端末３０は、透過型ディスプレイ３２と、マイク１１９およびスピーカ３５と信号を遣り取りする音声回路３６と、無線ルータ６またはＰＬＣ１００と通信するための無線通信回路３０４と、不揮発記憶媒体であるストレージ３０２と、着脱自在に端末３０に装着され得る外部記憶媒体の一例であるＳＤカード３０６等のメモリカードと、信号処理・画像処理回路３００とを接続し、これらを制御するＭＰＵまたはＣＰＵなどのプロセッサ３０１を含む。プロセッサ３０１は、ＲＯＭ（Read　Only　Memory）またはＲＡＭ（Random　Access　Memory）等を含むメインメモリ３０３を有する。端末３０は、さらに、カメラ３４および注視センサ１４０を有する。カメラ３４および注視センサ１４０は、信号処理・画像処理回路３００を介して、プロセッサ３０１により制御されて、また、プロセッサ３０１とデータを遣り取りする。信号処理・画像処理回路３００は、プロセッサ３０１からの指令に従い、カメラ３４の撮像動作を制御するとともに、カメラ３４が出力する撮像画像を例えばフレーム単位で画像処理（雑音除去、色調整等）し出力する。また、信号処理・画像処理回路３００は、注視センサ１４０が検出するユーザの注視方向に基づき、撮像方向が注視方向と一致すようにカメラ３４のアングルなどを調整する。

　プロセッサ３０１は、ストレージ３０２またはＳＤカード３０６に格納された情報提示のための提示プログラム３０５を含む各種プログラムをメインメモリ３０３に展開して実行することにより、接続される各部を制御する。また、信号処理・画像処理回路３００は、ＡＳＩＣ（application　specific　integrated　circuit）またはＦＰＧＡ（field-programmable　gate　array）などのハードウェア回路を含んで構成され得る。

　（Ｂ４．フィールド機器９０の構成）
　図８は、本実施の形態に係るフィールド機器９０の構成例を示す模式図である。図８は、フィールド機器９０として、ＲＦ（Radio　Frequency）タグ９９と非接触で交信する交信装置を例示する。この種の交信装置は、ＲＦＩＤ（Radio　Frequency　Identification）と称される近距離無線技術を用いて、管理対象の物品（生産ラインを流れるワークなど）またはその物品を支持もしくは収容する物体（パレット、コンテナなど）に取付けられたＲＦタグ９９との間でデータをやり取りする「リーダライタ」に相当する。

　交信装置は、ＲＦタグ９９からデータを読出す機能（リーダ機能）、および、ＲＦタグ９９へのデータ書込の機能（ライタ機能）の両方が備わっていることは必須ではなく、少なくとも一方の機能のみが備わっているものであってもよい。

　ＲＦタグ９９は、電源を内蔵せず、交信装置（フィールド機器９０）からの送信波により生じた起電力によって動作する。交信装置（フィールド機器９０）は、交信可能領域を通過するＲＦタグ９９からの受信信号を処理し、受信強度を示す状態値１１０をＰＬＣ１００に送信する。

　図８を参照して、フィールド機器９０は、ＲＦタグ９９と交信するための通信回路９７と、通信回路９７に接続されるアンテナ９８と、ＣＰＵ９２およびメモリ９３を含む制御部９１と、ＰＬＣ１００と通信するための通信インターフェイス９６と、発光部を構成する光源としてのＬＥＤ９５と、プログラムおよびデータを格納するためのストレージ９４とを含む。

　ＣＰＵ９２は、ストレージ９４に格納されたプログラムに基づき、ＰＬＣ１００との通信処理、ＲＦタグ９９との交信処理を含む各種のデータ処理を実行する。ＣＰＵ９２は、ＲＦタグ９９から情報が読み出す場合、および書き込む場合のいずれにおいても、ＰＬＣ１００から受信したコマンド信号をＲＦタグ９９に送信し、ＲＦタグ９９からそのコマンド信号に対するレスポンス（応答）を受信する。ＣＰＵ９２は、ＲＦタグ９９の応答内容を解読し、この解読データを含む交信結果データを出力する。例えば、交信結果をＰＬＣ１００に送信し、またはストレージ９４に格納し、またはＬＥＤ９５を用いて表示する。ＰＬＣ１００は、ＲＦタグ９９からの応答内容が示すＲＦタグ９９の受信強度（電流値）を閾値と比較し、比較の結果に基づき、交信装置（フィールド機器９０）が異常状態であるか、または異常の予兆を示す予兆状態であるかを判定する、すなわちイベントを検出する。

　フィールド機器９０の種類はＲＦＩＤの交信装置に限定されず、例えば受光量をＬＥＤで報知可能な近接スイッチなどであってもよい。

　（Ｂ５．ＰＬＣ１００のモジュール構成）
　図９は、本実施の形態に係るＰＬＣ１００の情報提示に関連するモジュール構成を模式的に示す図である。図９を参照してＰＬＣ１００は、プログラムが実行されることで構成されるモジュールとして、イベント検出プログラム１６１に対応のイベント検出部１７０と、発光プログラム１６７または付近発光プログラム１６７ａに対応の発光制御部１７１と、ネットワークコントローラ１１６または無線インターフェイス１１７のプログラムによって他の装置との通信を制御する通信制御部１７２を含む。

　イベント検出部１７０は、フィールド機器９０のイベントを検出する。より具体的には、イベント検出部１７０は、フィールド機器９０から受信する状態値１１０のデバイスＩＤに一致するデバイスＩＤ１５２Ｂに対応する事象種類１５２Ａをイベントコードテーブル１５２から検索する。イベント検出部１７０は、受信された状態値１１０を検索された事象種類１５２Ａが有する閾値ＴＨと比較し、比較結果が、（状態値１１０＞閾値ＴＨ）を示すと判定すると、フィールド機器９０は事象種類１５２Ａが示す異常状態または予兆状態にあると検出し、イベントコードテーブル１５２から当該事象種類１５２Ａに対応のイベントコード１５２Ｃを検索する。例えば、イベント検出部１７０は、ＲＦＩＤの交信装置（フィールド機器９０）からの状態値１１０に基づき、交信装置（フィールド機器９０）の状態は、図４のイベントコードテーブル１５２の矢印１５２１で示す事象種類１５２Ａ（“交信装置の出力異常”）が示す異常であると検出する。イベント検出部１７０はイベントを検出すると、通信制御部１７２は、フィールド機器９０のデバイスＩＤおよびイベントコード１５２Ｃを含むイベント内容２２ａの通知をサーバ２００に送信する。

　発光制御部１７１は、通信制御部１７２がサーバ２００から受信する発光パターン２３ａに基づき発光指令９Ａを生成し、発光指令９Ａを当該発光パターン２３ａが示すフィールド機器９０に通信制御部１７２を介して送信する。また、発光制御部１７１は、通信制御部１７２がサーバ２００から受信する付近発光パターン３３ａに基づき発光指令９Ｂを生成し、発光指令９Ｂを当該付近発光パターン３３ａが示す１つ以上のデバイスＩＤが示すフィールド機器９０に、通信制御部１７２を介して送信する。

　（Ｂ６．サーバ２００のモジュール構成）
　図１０は、本実施の形態に係るサーバ２００の情報提示に関連するモジュール構成を模式的に示す図である。図１０を参照してサーバ２００は、プログラムが実行されることで構成されるモジュールとして、発光パターン通知プログラム２４ａに対応の発光パターン通知部２３９と、画像処理プログラム２２５に対応の画像処理部２４０と、マーカ通知プログラム２４ｂに対応のマーカ情報生成部２４１と、付近判定プログラム２２８に対応の付近デバイス検出部２４２と、付近発光パターン通知プログラム２４ｃに対応する付近発光パターン通知部２４３と、ネットワークコントローラ２１２のプログラムによって他の装置との通信を制御する通信制御部２４４を含む。

　発光パターン通知部２３９は、ＰＬＣ１００から受信するイベント内容２２ａが示すイベントコード１５２Ｃに基づき発光パターンテーブル２３２（図６の（Ａ））から、当該イベントコード１５２Ｃに対応する発光パターン１５２Ｄを検索し、検索された発光パターン１５２Ｄを示す発光パターン２３ａの通知を、通信制御部２４４を介してＰＬＣ１００に送信する。

　また、発光パターン通知部２３９は、デバイスＩＤに基づく発光パターンの通知を送信する。具体的には、発光制御部１７１は、ＰＬＣ１００から受信するイベント内容２２ａが示すデバイスＩＤまたは端末３０から受信するフィールド機器９０のデバイスＩＤに一致するデバイスＩＤ１５２Ｂに対応する発光パターン１５２Ｄを発光パターンテーブル２３２（図６の（Ｂ））から検索し、検索された発光パターン１５２Ｄを示す発光パターン２３ａの通知を、通信制御部２４４を介してＰＬＣ１００に送信する。

　画像処理部２４０は、端末３０から受信するカメラ３４が撮像した画像２７ａを、通信制御部２４４を介して受信し、受信した画像２７ａについて、上記に述べた位置検出処理を実施することにより、発光パターン２３ａで発光する部分画像の位置を決定し出力する。より具体的には、発光パターンが周期的な点滅である場合、点滅画像を含む画像２７ａのフレーム画像を撮影された時刻の順に並べて、光源（ＬＥＤ９５）が点灯しているフレームと消灯しているフレームとを時間軸上で分類し、分類の結果に基づき、ＬＥＤ９５の発光パターンを検出する。画像処理部２４０は、検出された発光パターンを発光パターン２３ａと照合し、照合の結果が、両者は一致することを示すとき、画像処理部２４０は、当該発光パターンを示す部分画像（光源の部分画像）の画像２７ａにおける位置を検出する。

　マーカ情報生成部２４１は、上記の部分画像の位置とＡＲマーカを含むマーカ情報２９ａを生成し、通信制御部２４４を介して端末３０に送信する。マーカ情報生成部２４１は、発光パターン２３ａで発光するフィールド機器９０に関する情報を示すＡＲマーカを生成する。ＡＲマーカは、例えばフィールド機器９０のデバイスＩＤ、フィールド機器９０について検出されたイベントの情報、フィールド機器９０の状態値１１０を示す情報などを含み得るが、情報の種類はこれらに限定されない。

　付近デバイス検出部２４２は、生産ラインにおいて、発光パターン２３ａで発光するフィールド機器９０の付近に配置された複数のフィールド機器９０を検出する。より具体的には、付近デバイス検出部２４２は、デバイス位置情報２３１から、発光パターン２３ａで発光するフィールド機器９０のデバイスＩＤに対応付けられた付近のフィールド機器９０のデバイスＩＤ（以下、付近デバイスＩＤともいう）を取得（検出）する。

　付近発光パターン通知部２４３は、付近発光パターン３３ａの通知を、通信制御部２４４を介して、ＰＬＣ１００に送信する。付近発光パターン３３ａは、付近デバイス検出部２４２によって検出された付近デバイスＩＤが示すフィールド機器９０を発光させるための予め定められた発光パターンを示す。

　（Ｂ７．端末３０のモジュール構成）
　図１１は、本実施の形態に係る端末３０の情報提示に関連するモジュール構成を模式的に示す図である。図１１を参照して端末３０は、ストレージ３０２に格納されているプログラムが実行されることで構成されるモジュールとして、カメラ３４を制御する撮像制御部３１０と、カメラ３４からの撮像画像を処理する画像処理部３１１と、マーカ表示処理部３１３と、画像を表示するよう透過型ディスプレイ３２を制御する表示制御部３１２と、無線通信回路３０４を制御する通信制御部３１４を含む。

　マーカ表示処理部３１３は、サーバ２００から受信されたマーカ情報２９ａが有する決定位置に対応した透過型ディスプレイ３２の表示領域における位置に関連付けてＡＲマーカを表示させる表示制御データを生成し、表示制御部３１２に出力する。表示制御部３１２は、表示制御データに従い透過型ディスプレイ３２を駆動する。これにより、透過型ディスプレイ３２の表示領域において、ユーザの視野内の現実空間の風景、すなわちフィールド機器９０を含む現実風景に重畳してＡＲマーカのオブジェクトが表示される。

　画像処理部３１１は、サーバ２００の画像処理部２４０と同様の機能を備える。画像処理部３１１は、カメラ３４が撮像する画像２７ａにおいて発光パターン２３ａに従い輝度を変化させる部分画像の位置を検出する。これにより、透過型ディスプレイ３２の表示領域におけるＡＲマーカの表示位置は、サーバ２００に代えて、端末３０により決定することができる。

　＜Ｃ．フローチャート＞
　図１２は、本実施の形態に係る情報提示の処理を示すフローチャートである。図１２を参照して、ＰＬＣ１００はフィールド機器９０と状態値１１０および制御指令を遣り取りする（ステップＳ２０）。ＰＬＣ１００はフィールド機器９０からの状態値１１０に基づきイベントの有無を検出する（ステップＳ２１）。イベントは検出されないとき（ステップＳ２１でＮＯ）、処理はステップＳ２０に戻るが、イベントが検出されると（ステップＳ２１でＹＥＳ）、ＰＬＣ１００はイベント内容２２ａの通知をサーバ２００に送信するとともに、イベントが検出された旨のイベント検知２２ｂの通知をユーザが装着する端末３０に送信する（ステップＳ２２）。イベント内容２２ａは、フィールド機器９０のデバイスＩＤとイベントコード１５２Ｃ等のイベントに関する情報を含む。端末３０は、ＰＬＣ１００から受信するイベント検知２２ｂの通知を、例えばスピーカ３５からの音声出力または透過型ディスプレイ３２にＡＲマーカを表示することで、イベントが検知された旨をユーザに報知してもよい。

　サーバ２００は、ＰＬＣ１００からのイベント内容２２ａに基づき発光パターンを決定し、決定された発光パターン２３ａの通知を、ＰＬＣ１００に送信する（ステップＳ２３）。発光パターン２３ａは、予め定められたパターンであって、具体的には、図６の（Ａ）の発光パターンテーブル２３２から検索された、イベントコード１５２Ｃに対応の発光パターン１５２Ｄ、または、図６の（Ｂ）の発光パターンテーブル２３２から検索された、フィールド機器９０のデバイスＩＤ（デバイスＩＤ１５２Ｂ）に対応の発光パターン１５２Ｄに基づくパターンを示す。

　ＰＬＣ１００は、サーバ２００から受信した発光パターン２３ａに基づき、当該パターンでＬＥＤ９５を発光させるための発光指令９Ａを生成し、フィールド機器９０に送信する（ステップＳ２４）。フィールド機器９０は、ＰＬＣ１００から受信した発光指令９Ａに従い点灯（発光）するようＬＥＤ９５を制御する（ステップＳ２５）。

　ユーザは、パターンに従い点灯を開始するフィールド機器９０を注視する。端末３０は、イベント検知２２ｂの通知を受信したとき、注視センサ１４０によって注視方向が検出されると、検出された注視方向を撮像方向とするようにカメラ３４に撮像を開始させる（ステップＳ２６）。端末３０は、撮像により取得された画像２７ａをサーバ２００に送信する（ステップＳ２７）。

　サーバ２００は、画像処理によって、端末３０からの画像２７ａにおける、発光パターン２３ａに従い点滅する光源（ＬＥＤ９５）の部分画像の位置を検出する（ステップＳ２８）。サーバ２００は、検出された位置とＡＲマーカとを含むマーカ情報２９ａを端末３０に送信する（ステップＳ２９）。

　端末３０は、サーバ２００からマーカ情報２９ａを受信し（ステップＳ２９ｂ）、受信したマーカ情報２９ａに基づく表示制御データに従い、透過型ディスプレイ３２を制御する（ステップＳ３０）。これにより、透過型ディスプレイ３２は、ユーザの視野内の現実の風景に存在するフィールド機器９０（より特定的にはＬＥＤ９５）の位置に関連付けてＡＲマーカを表示する（ステップＳ３０）。

　（Ｃ１．処理の変形例）
　図１３は、本実施の形態に係る情報提示の処理の変形例を示すフローチャートである。上記に述べた図１２の処理では、サーバ２００が、画像２７ａにおける発光パターン２３ａを示す光源（ＬＥＤ９５）の部分画像の位置検出を実施したが、当該位置検出の処理は、サーバ２００に代えて、図１３に示すように端末３０において実施されてもよい。

　より具体的には、サーバ２００は、発光パターン２３ａの通知を端末３０に送信し（ステップＳ２３ｂ）、ＡＲマーカを含むマーカ情報２９ｂを端末３０に送信する（ステップＳ２９ａ）。端末３０は、カメラ３４によって撮像された画像２７ａを、画像処理することにより、画像２７ａにおいて発光パターン２３ａで点滅する部分画像の位置を検出する（ステップＳ２７ａ）。端末３０は、サーバ２００からのマーカ情報２９ｃが示すＡＲマーカを、画像２７ａにおいて検出された位置に関連付けて表示するための表示制御データを生成し、表示制御データに基づき透過型ディスプレイ３２を制御する（ステップＳ３０）。図１３の他の処理は図１２で示された処理と同様であるから説明は繰り返さない。

　（Ｃ２．付近のフィールド機器９０の点灯処理）
　図１２と図１３の処理において、サーバ２００は、発光パターン２３ａに従い発光させるターゲットのフィールド機器９０の付近に配置された他のフィールド機器９０を付近発光パターン３３ａ（発光パターン２３ａとは異なるパターン）で発光させてもよい。端末３０を装着したユーザは、透過型ディスプレイ３２を介した視野において、付近発光パターン３３ａで発光するフィールド機器９０を目安（ガイド）にして、ターゲットのフィールド機器９０の位置を容易に特定し、ターゲットのフィールド機器９０を注視できる。例えば、ユーザの死角にターゲットのフィールド機器９０が配置されるとしても、ユーザは、付近発光パターン３３ａで発光するフィールド機器９０を目安（ガイド）にして、ターゲットのフィールド機器９０をユーザの視野内に置くことができる位置にまで移動することが容易に可能となる。

　（Ｃ３．フィールド機器９０のユーザ指定処理）
　図１２と図１３の処理では、発光パターン２３ａに従い発光させる対象フィールド機器９０は、イベントが検出されたフィールド機器９０であったが、対象フィールド機器９０は、イベントが検出されたフィールド機器９０に限定されない。例えば、ユーザが指定したフィールド機器９０であってもよい。

　より具体的は、ユーザはデバイスＩＤを発話により指定する。端末３０は発話の音声をマイク１１９から受付けて、受付けた音声データをサーバ２００に転送する。サーバ２００のＢｏｔプログラム２２９が実行されることで提供されるＢｏｔサービスは、端末３０からの音声データについて音声認識処理を実施してデバイスＩＤ１５２Ｂを取得し、取得したデバイスＩＤ１５２Ｂに対応の発光パターン１５２Ｄを発光パターンテーブル２３２から検索する。Ｂｏｔサービスは、デバイスＩＤ１５２Ｂと発光パターン１５２Ｄに基づく発光パターン２３ａの通知をＰＬＣ１００に送信する。これにより、イベント検知によらず、ユーザ操作によって、発光パターン２３ａに従い発光させる対象フィールド機器９０を指定することができる。

　イベント検知時またはユーザ指定時に、透過型ディスプレイ３２でＡＲマーカによって表示される情報は、サーバ２００がＤＢ４００から検索した対象フィールド機器９０の状態値１１０（すなわちＤＢ４００に蓄積された状態値１１０）の情報、またはサーバ２００がＰＬＣ１００から受信した対象フィールド機器９０の状態値１１０（すなわちリアルタイムに収集した状態値１１０）を含み得る。また、ユーザは発話によりＡＲマーカで示されるべき情報（ＤＢ４００の蓄積情報またはＰＬＣ１００からリアルタイムに収集する情報）を指定することもできる。

　図１２と図１３等で示された端末３０の処理は、主に、提示プログラム３０５がプロセッサ３０１により実行されることで実現される。

　＜Ｄ．表示例＞
　図１４～図１８は、本実施の形態に係る透過型ディスプレイ３２の表示例を示す図である。図１４は、透過型ディスプレイ３２にはオブジェクトは表示されておらず、図１４では、透過型ディスプレイ３２を介したユーザの視野３２０における風景のみが示されている。視野３２０において、ユーザは、生産ラインに備えられるフィールド機器９０を視覚する。図１５のユーザの視野３２０では、フィールド機器９０のＬＥＤ９５が発光指令９Ａに従い点灯３２１している。ユーザは、点灯３２１を注視すると、カメラ３４はユーザの注視方向を撮像方向として撮像する。撮像された画像２７ａについての位置決定処理によって画像２７ａ内の点灯３２１の部分画像の位置が決定される。

　図１６では、透過型ディスプレイ３２において、決定された位置に関連付けてフィールド機器９０に関する情報であるＡＲマーカ３２２が表示される。図１６では、ユーザの視野の風景に重畳してＡＲマーカ３２２が、例えば当該フィールド機器９０の所在位置からの吹き出しで表示される。ＡＲマーカ３２２は、吹き出し内において、イベント検出がなされたフィールド機器９０、またはユーザ指定のフィールド機器９０の識別情報３２３（デバイスＩＤ、型番など）と状態値１１０に基づく情報３２４のオブジェクトを含む。情報３２４は、異常または予兆（例えば光量低下）の情報、状態値１１０（光量）、および状態を示すインジケータを含む。なお、オブジェクトの情報３２４は、これらに限定されない。また、ＡＲマーカ３２２が表示されるとき、点灯３２１の発光は停止してもよい。

　情報３２４は、ＤＢ４００に格納された情報に基づく場合、蓄積された状態値１１０の経時的変化を示す情報（例えばトレンドグラフ等）であってもよい。

　図１７は付近発光パターン３３ａに従い付近フィールド機器９０のＬＥＤ９５が点灯３２５する。図１７の（Ａ）の視野３２０で点灯３２５が開始すると（図１７の（Ｂ））、付近フィールド機器９０の点灯３２５により、ユーザは、対象フィールド機器９０の所在位置に案内（ガイド）される。案内３２６のオブジェクトは、図１７の（Ｃ）に示すように、当該所在位置の方向に延びる矢印または対象フィールド機器９０の識別情報を含む吹き出し等を含む。ユーザが、案内３２６に促されて対象フィールド機器９０の点灯を確認し、注視すると、透過型ディスプレイ３２は、図１７の（Ｄ）に示されるように、対象フィールド機器９０の表示位置に関連付けてＡＲマーカ３２２のオブジェクトを表示する。

　（変形例）
　本実施の形態では、発光パターン２３ａで発光する対象フィールド機器９０は１台としたが、複数台であってもよい。その場合は、対象フィールド機器９０間で、時差を有して発光する、発光パターン（点滅パターン）を変更する、発光色を変更する、発光の周波数（点滅周期）を変更する等してもよい。

　また、サーバ２００が複数の端末３０と通信するケースでは、サーバ２００は発光パターン２３ａを複数の端末３０にブロードキャストにより通知して、イベント検知があった旨を通知してもよい。

　また、発光パターン２３ａによる発光に追加して、音を出力してもよい。また、発光の開始／停止を、制御周期に時刻同期させて実施してもよい。

　端末３０は、頭部装着型またはメガネ型に限定されず、カメラおよびディスプレイを有するタブレット端末またはスマートフォン型の端末を利用してもよい。

　また、端末３０が備えるディスプレイは、非透過型ディスプレイであってもよい。
　また、透過型ディスプレイ３２は、外光を透過することで現実空間の風景を透過する光学透過型に限定されず、ビデオ透過型で構成されてもよい。ビデオ透過型ディスプレイを採用する場合、端末３０は、カメラ３４から出力される撮像画像をビデオ透過型ディスプレイに表示する。

　＜Ｅ．プログラム＞
　端末３０における、図１４～図１７に示した情報の提示は、プロセッサ３０１が提示プログラム３０５のソフトウェアを実行することによって実現され得る。提示プログラム３０５は、ストレージ３０２またはＳＤカード３０６等の記憶ユニットに記憶されていてもよい。プロセッサ３０１が必要なプログラムを実行する際は、記憶ユニットに記憶された対象となるプログラム（提示プログラム３０５を含む各種のプログラム）をメインメモリ３０３のＲＡＭに展開する。そして、プロセッサ３０１は、ＲＡＭに展開された当該プログラムを解釈および実行して情報の提示を実現する。

　プロセッサ３０１は、ＣＰＵまたはＭＰＵおよびメインメモリ３０３等を含み、情報処理に応じて端末３０の各構成要素の制御を行う。ストレージ３０２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、プロセッサ３０１で実行される提示プログラム３０５および関連する情報等を記憶する。

　ＳＤカード３０６などの外部記憶媒体は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的または化学的作用によって蓄積する媒体である。端末３０は、外部記憶媒体のＳＤカード３０６から、提示プログラム３０５を取得してもよい。また、提示プログラム３０５は、外部のネットワークおよび無線通信回路３０４を経由して端末３０にダウンロードされて提供されてもよい。

　＜Ｆ．付記＞
　上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
　生産ラインに備えられる機器（９０）を制御するコントローラ（１００）と、
　ディスプレイ（３２）と、前記機器を撮像可能なカメラ（３４）とを有する端末（３０）と、
　前記コントローラおよび前記端末と通信するサーバ（２００）と、を備え、
　前記カメラは、前記ディスプレイの視野を撮像範囲に含み、
　前記コントローラは、当該機器が備える発光部（９５）を予め定められた発光パターン（２３ａ）で発光させる発光指令（９Ａ）を、前記機器に送信する手段を有し、
　前記端末は、
　前記ディスプレイの表示領域内の表示位置であって、前記カメラの撮像画像における前記発光パターンを表す部分画像の位置に応じた表示位置に関連付けて前記機器に関する情報を表示する手段を有する、情報提示システム（１）。
［構成２］
　前記コントローラは、さらに、
　前記機器の付近に在る他の機器が有する発光部を、前記発光パターンとは異なるパターン（３３ｂ）で発光させる手段を有する、構成１に記載の情報提示システム。
［構成３］
　前記機器に関する情報は、前記機器の状態を示す情報を含む、構成１または２に記載の情報提示システム。
［構成４］
　前記サーバは、
　前記発光パターンを指定する通知を、前記コントローラに送信する（Ｓ２３）、構成１から３のいずれか１に記載の情報提示システム。
［構成５］
　前記サーバは、
　前記端末から受信する前記撮像画像を処理して前記発光パターンを表す部分画像の前記撮像画像における位置を検出する画像処理手段（２４０）と、
　前記画像処理手段によって検出された前記部分画像の位置を前記端末に送信する手段（Ｓ２９）と、を有する、構成１から４のいずれか１に記載の情報提示システム。
［構成６］
　前記サーバは、
　前記発光パターンを指定する通知を、前記端末に送信し（Ｓ２３）、
　前記端末は、さらに、
　前記カメラの撮像画像を処理して前記発光パターンを表す部分画像の当該撮像画像における位置を検出する画像処理手段（３１１）を有する、構成１から４のいずれか１に記載の情報提示システム。
［構成７］
　前記サーバは、
　前記機器の識別情報に基づき前記発光パターンを決定する（図６（Ａ））、構成１から６のいずれか１に記載の情報提示システム。
［構成８］
　前記サーバは、
　前記機器の状態に基づき前記発光パターンを決定する（図６（Ｂ））、構成１から７のいずれか１に記載の情報提示システム。
［構成９］
　前記コントローラは、
　前記機器から出力される状態値に基づき当該機器の状態を判定し、判定された状態の通知（２２ａ）を前記サーバに送信する、構成７に記載の情報提示システム。
［構成１０］
　前記コントローラは、
　前記機器の状態を示す情報を、前記サーバが備えるデータベースに格納するためのデータベース操作命令を前記サーバに送信し、
　前記サーバは、
　前記データベースに格納された情報に基づき前記機器の状態を判定する、構成７に記載の情報提示システム。
［構成１１］
　前記コントローラは、
　ユーザ操作に基づき指定される機器に、前記発光指令を出力する、構成１から１０のいずれか１に記載の情報提示システム。
［構成１２］
　前記端末は、当該端末を操作するユーザの注視方向を検出する注視センサ（１４０）を、さらに有し、前記カメラの撮像方向は、前記注視方向に一致する、構成１から１１のいずれか１に記載の情報提示システム。
［構成１３］
　端末装置（３０）であって、
　生産ラインに備えられる機器（９０）を制御するコントローラ（１００）と通信する手段（３１４）と、
　ディスプレイ（３２）と、
　前記機器を撮像可能なカメラ（３４）と、を備え、
　前記カメラは、前記ディスプレイの視野を撮像範囲に含み、
　前記機器は前記コントローラからの発光指令（９Ａ）に基づき予め定められた発光パターン（２３ａ）で発光する光源（９５）を有し、
　前記端末装置は、さらに、
　前記ディスプレイの表示領域内の表示位置であって、前記カメラの撮像画像における前記発光パターンを表す部分画像の位置に応じた表示位置に関連付けて、前記機器に関する情報を表示する手段（３１２）を有する、端末装置。
［構成１４］
　端末装置（３０）が備えるプロセッサ（３０１）に情報提示方法を実行させるプログラム（３０５）であって、
　前記端末装置は、
　生産ラインに備えられる機器（９０）を制御するコントローラ（１００）と通信する手段（３１４）と、
　ディスプレイ（３２）と、
　前記機器を撮像可能なカメラ（３４）と、をさらに備え、
　前記カメラは、前記ディスプレイの視野を撮像範囲に含み、
　前記機器は前記コントローラからの発光指令（９Ａ）に基づき予め定められた発光パターン（２３ａ）で発光する光源（９５）を有し、
　前記情報提示方法は、
　前記ディスプレイの表示領域内の表示位置であって、前記カメラの撮像画像における前記発光パターンを表す部分画像の位置（２９ａ）を取得するステップ（Ｓ２９ｂ）と、
　前記ディスプレイの表示領域内の取得された前記表示位置に関連付けて、前記機器に関する情報を表示するよう前記ディスプレイを制御するステップ（Ｓ３０）とを有する、プログラム。

　今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１　ネットワークシステム、９Ａ，９Ｂ　発光指令、２２ａ　イベント内容、２２ｂ　イベント検知、３２　透過型ディスプレイ、２３ａ，１５２Ｄ　発光パターン、２４ａ　発光パターン通知プログラム、２４ｂ　マーカ通知プログラム、２４ｃ　付近発光パターン通知プログラム、２７ａ　画像、２９ａ，２９ｂ　マーカ情報、３０　端末、３３ａ　付近発光パターン、３４　カメラ、３５　スピーカ、３６　音声回路、９０　フィールド機器、１１０　状態値、１４０　注視センサ、１５２　イベントコードテーブル、１５２Ａ　事象種類、１５２Ｃ　イベントコード、１６０　ゲートウェイプログラム、１６１　イベント検出プログラム、１６２　情報収集プログラム、１６３　状態情報収集、１６４　制御指令収集、１６７　発光プログラム、１６７ａ　付近発光プログラム、１７０　イベント検出部、１７１　発光制御部、１７２，２４４，３１４　通信制御部、２００　サーバ、２２３　発光パターン決定プログラム、２２５　画像処理プログラム、２２８　付近判定プログラム、２３１　デバイス位置情報、２３２　発光パターンテーブル、２３９　発光パターン通知部、２４０，３１１　画像処理部、２４１　マーカ情報生成部、２４２　付近デバイス検出部、２４３　付近発光パターン通知部、３０５　提示プログラム、３１０　撮像制御部、３１２　表示制御部、３１３　マーカ表示処理部、３２０　視野、３２１，３２５　点灯、３２２　ＡＲマーカ、３２３　識別情報、３２６　案内、４００　データベース。

Claims (14)

1. 　生産ラインに備えられる機器を制御するコントローラと、
   　ディスプレイと、前記機器を撮像可能なカメラとを有する端末と、
   　前記コントローラおよび前記端末と通信するサーバと、を備え、
   　前記カメラは、前記ディスプレイの視野を撮像範囲に含み、
   　前記コントローラは、当該機器が備える発光部を予め定められた発光パターンで発光させる発光指令を、前記機器に送信する手段を有し、
   　前記端末は、
   　前記ディスプレイの表示領域内の表示位置であって、前記カメラの撮像画像における前記発光パターンを表す部分画像の位置に応じた表示位置に関連付けて前記機器に関する情報を表示する手段を有する、情報提示システム。
2. 　前記コントローラは、さらに、
   　前記機器の付近に在る他の機器が有する発光部を、前記発光パターンとは異なるパターンで発光させる手段を有する、請求項１に記載の情報提示システム。
3. 　前記機器に関する情報は、前記機器の状態を示す情報を含む、請求項１または２に記載の情報提示システム。
4. 　前記サーバは、
   　前記発光パターンを指定する通知を、前記コントローラに送信する、請求項１から３のいずれか１項に記載の情報提示システム。
5. 　前記サーバは、
   　前記端末から受信する前記撮像画像を処理して前記発光パターンを表す部分画像の前記撮像画像における位置を検出する画像処理手段と、
   　前記画像処理手段によって検出された前記部分画像の位置を前記端末に送信する手段と、を有する、請求項１から４のいずれか１項に記載の情報提示システム。
6. 　前記サーバは、
   　前記発光パターンを指定する通知を、前記端末に送信し、
   　前記端末は、さらに、
   　前記カメラの撮像画像を処理して前記発光パターンを表す部分画像の当該撮像画像における位置を検出する画像処理手段を有する、請求項１から４のいずれか１項に記載の情報提示システム。
7. 　前記サーバは、
   　前記機器の識別情報に基づき前記発光パターンを決定する、請求項１から６のいずれか１項に記載の情報提示システム。
8. 　前記サーバは、
   　前記機器の状態に基づき前記発光パターンを決定する、請求項１から７のいずれか１項に記載の情報提示システム。
9. 　前記コントローラは、
   　前記機器から出力される状態値に基づき当該機器の状態を判定し、判定された状態の通知を前記サーバに送信する、請求項７に記載の情報提示システム。
10. 　前記コントローラは、
    　前記機器の状態を示す情報を、前記サーバが備えるデータベースに格納するためのデータベース操作命令を前記サーバに送信し、
    　前記サーバは、
    　前記データベースに格納された情報に基づき前記機器の状態を判定する、請求項７に記載の情報提示システム。
11. 　前記コントローラは、
    　ユーザ操作に基づき指定される機器に、前記発光指令を出力する、請求項１から１０のいずれか１項に記載の情報提示システム。
12. 　前記端末は、当該端末を操作するユーザの注視方向を検出する注視センサを、さらに有し、前記カメラの撮像方向は、前記注視方向に一致する、請求項１から１１のいずれか１項に記載の情報提示システム。
13. 　端末装置であって、
    　生産ラインに備えられる機器を制御するコントローラと通信する手段と、
    　ディスプレイと、
    　前記機器を撮像可能なカメラと、を備え、
    　前記カメラは、前記ディスプレイの視野を撮像範囲に含み、
    　前記機器は前記コントローラからの発光指令に基づき予め定められた発光パターンで発光する光源を有し、
    　前記端末装置は、さらに、
    　前記ディスプレイの表示領域内の表示位置であって、前記カメラの撮像画像における前記発光パターンを表す部分画像の位置に応じた表示位置に関連付けて、前記機器に関する情報を表示する手段を有する、端末装置。
14. 　端末装置が備えるプロセッサに情報提示方法を実行させるプログラムであって、
    　前記端末装置は、
    　生産ラインに備えられる機器を制御するコントローラと通信する手段と、
    　ディスプレイと、
    　前記機器を撮像可能なカメラと、をさらに備え、
    　前記カメラは、前記ディスプレイの視野を撮像範囲に含み、
    　前記機器は前記コントローラからの発光指令に基づき予め定められた発光パターンで発光する光源を有し、
    　前記情報提示方法は、
    　前記ディスプレイの表示領域内の表示位置であって、前記カメラの撮像画像における前記発光パターンを表す部分画像の位置を取得するステップと、
    　前記ディスプレイの表示領域内の取得された前記表示位置に関連付けて、前記機器に関する情報を表示するよう前記ディスプレイを制御するステップとを有する、プログラム。

Images