JP7209907B1 - 情報処理装置、制御システム、情報処理方法、およびプログラム - Google Patents

Abstract

情報処理装置（１００）は、アプリケーション制御部（１１１）と、画像解析部（１１２）と、通信制御部（１１３）と、を備える。アプリケーション制御部（１１１）は、ディスプレイ（１７０）に画像を表示するアプリケーションを実行する。画像解析部（１１２）は、アプリケーションによりディスプレイ（１７０）に表示された画像を解析する。通信制御部（１１３）は、画像解析部（１１２）により画像を解析した解析結果に基づいて、アプリケーションがディスプレイに表示した画像に基づくデータを制御機器が認識可能なデータに変換し、変換したデータを制御機器に送信する。

Description

本開示は、情報処理装置、制御システム、情報処理方法、およびプログラムに関する。

製造工場では、タブレット端末を含む情報機器を用いて作業者の入退出管理を行い、ＰＬＣ（Programmable Logic Controller）を含む制御機器により設備を稼働することがある。この場合、情報機器は、汎用のアプリケーションで作業者の入退室管理を実施し、作業者が入室すると入室したことがディスプレイに表示される。これとは別に、作業者が入室すると、作業者が制御機器を操作して設備を稼働する。汎用のアプリケーションにより作業者が入室したことを示すデータを制御機器に送信して、設備を稼働させることができれば、作業者による手間を削減することができ業務の効率化が可能となる。

しかし、情報機器と制御機器とを連携させる場合、制御機器との連携機能を有する専用のアプリケーションで対応する必要がある。このため、情報機器と制御機器を連携させる場合、開発コストが膨大になるという問題がある。

これに対して、特許文献１は、専用アプリが認識可能な形式の制御命令と外部機器が認識可能な形式の制御命令とを相互に変換する命令変換ライブラリを導入することで、情報機器と外部機器の連携を可能にする専用アプリを作成する技術を開示する。

特開２０１５－１６２２１４号公報

しかし、特許文献１に開示の技術は、命令変換ライブラリを導入することで、情報機器と外部機器の連携を可能にしているため、外部機器が認識可能な形式の制御命令が不明な場合、専用アプリを作成することは困難である。また、情報機器とＦＡ（Factory Automation）機器を含む制御機器とを連携させる場合、通信プロトコルまたはインターフェースの仕様が公開されていないと、第三者が制御機器と連携する専用のアプリケーションを作成することが困難であるという問題がある。

本開示は、上記に鑑みてなされたものであり、制御機器に、該制御機器に非対応なアプリケーションを連携させる情報処理装置、制御システム、情報処理方法、およびプログラムを提供することを目的とする。

上記目的を達成するため、本開示に係る情報処理装置は、ディスプレイに画像を表示するアプリケーションを制御するアプリケーション制御部と、アプリケーションによりディスプレイに表示された画像を解析する画像解析部と、画像解析部により画像を解析した解析結果に基づいて、アプリケーションがディスプレイに表示した画像に基づくデータを制御機器が認識可能なデータに変換し、変換したデータを制御機器に送信する通信制御部と、を備える。

本開示によれば、アプリケーションがディスプレイに表示した画像に基づくデータを制御機器が認識可能なデータに変換し、変換したデータを制御機器に送信することで、制御機器に、該制御機器に非対応なアプリケーションを連携させることができる。

開示の実施の形態に係る制御システムを示す図 開示の実施の形態に係る情報処理装置を示す図 開示の実施の形態に係る情報処理装置を示すブロック図 開示の実施の形態に係る情報処理装置のディスプレイの表示を示す図 開示の実施の形態に係る第１のテーブルを示す図 開示の実施の形態に係る第２のテーブルを示す図 開示の実施の形態に係る制御機器を示す図 開示の実施の形態に係る制御機器を示すブロック図 開示の実施の形態に係る設定処理を示すフローチャート 開示の実施の形態に係る設定処理を説明する図 開示の実施の形態に係る設定処理を説明する図 開示の実施の形態に係る制御処理を示すフローチャート 開示の実施の形態に係る制御処理を説明する図

以下、本開示を実施するための形態に係る情報処理装置および制御システムを図面を参照しながら説明する。

本実施の形態に係る制御システム１は、作業者の入退出管理を含む労務管理用のアプリケーションソフトウエア（以下、アプリケーション）と制御機器とを連携させるシステムであり、図１に示すように、ディスプレイ１７０を備える情報処理装置１００と、情報処理装置１００と通信し、ロボット３００ａを制御する制御機器２００と、を備える。この構成により、制御システム１は、例えば、ユーザの入室に伴ってロボット３００ａを自動でオンし、退室に伴ってロボット３００ａを自動でオフさせる。

制御機器２００には、ロボット３００ａおよび計測器３００ｂが接続される。制御システム１は、ロボット３００ａを制御し、計測器３００ｂから計測データを取得するＦＡ（Factory Automation）システムに入力する手間、または制御機器２００から出力されたデータを汎用のアプリケーションに入力する手間を削減できる。情報処理装置１００は、ＵＳＢ（Universal Serial Bus）ケーブルなどの有線方式、またはＷｉ－Ｆｉ（登録商標）による無線方式を使用して制御機器２００と接続される。

情報処理装置１００は、スマートホンまたはタブレットＰＣ（Personal Computer）を含む。また、情報処理装置１００は、図２に示すように、プログラムを実行する制御部１１０と、制御機器２００と通信する通信部１２０と、画像を表示するディスプレイ１７０と、ユーザの操作を受け付ける操作部１８０と、を備える。

制御部１１０は、通信部１２０、ディスプレイ１７０および操作部１８０を制御するための処理を行うプロセッサ１３０と、プロセッサ１３０の作業領域として用いられる主記憶部１４０と、プロセッサ１３０の処理に用いられる種々のデータおよびプログラムを格納する補助記憶部１５０と、を有する。主記憶部１４０および補助記憶部１５０はいずれも、バス１６０を介してプロセッサ１３０に接続される。

プロセッサ１３０は、ＭＰＵ（Micro Processing Unit）を含む。プロセッサ１３０は、補助記憶部１５０に格納されたプログラムを実行することにより、情報処理装置１００の種々の機能を実現する。

主記憶部１４０は、ＲＡＭ（Random Access Memory）を含む。主記憶部１４０には、補助記憶部１５０からプログラムがロードされる。そして、主記憶部１４０は、プロセッサ１３０の作業領域として用いられ、制御機器２００に送信するデータを格納する。

補助記憶部１５０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）に代表される不揮発性メモリを含む。補助記憶部１５０は、プログラムの他に、汎用のアプリケーション、プロセッサ１３０の処理に用いられる種々のデータを格納する。補助記憶部１５０は、プロセッサ１３０の指示に従って、プロセッサ１３０によって利用されるデータをプロセッサ１３０に供給し、プロセッサ１３０から供給されたデータを格納する。

通信部１２０は、プロセッサ１３０から出力されたデータを示す信号を制御機器２００へ送信する。また、通信部１２０は、制御機器２００から信号を受信して、この信号により示されるデータをプロセッサ１３０へ出力する。

ディスプレイ１７０は、操作に必要な画像を表示するものであり、ＬＣＤ（liquid crystal display）、有機ＥＬ（electro-luminescence）ディスプレイを含む。

操作部１８０は、ＧＵＩ（Graphical User Interface）を含み、ユーザの入力に基づいて、指示を受け付けるものである。なお、操作部１８０とディスプレイ１７０とは、タッチパネルディスプレイ装置を構成する。一例として、図４Ａに示すように、汎用のアプリケーションによりディスプレイ１７０に表示されたタッチポイント１０をユーザが指でタッチすると、操作部１８０は、タッチしたことを示すデータを汎用のアプリケーションに入力する。また、汎用のアプリケーションによりディスプレイ１７０に表示された入力ボックス２０に文字または数字が入力されると、操作部１８０は、入力された文字または数字を示すデータを汎用のアプリケーションに入力する。

制御部１１０は、補助記憶部１５０に格納したプログラムを実行することにより、図３に示すように、アプリケーションを実行するアプリケーション制御部１１１と、アプリケーションにより表示された画像を解析する画像解析部１１２と、制御機器２００との通信を制御する通信制御部１１３として機能する。

アプリケーション制御部１１１は、補助記憶部１５０に格納された汎用のアプリケーションを実行するものである。汎用のアプリケーションは、制御機器２００に非対応であり、既存のアプリケーションを含み、一例として作業者の入退出管理を含む労務管理を実行するアプリケーションを含む。このアプリケーションは、図４Ａに示すように、ディスプレイ１７０に画像を表示する。この画像には、作業者が入室したか否かが棒グラフ３０により表示されている。図４Ａの例では、棒グラフ３０が短ければ「退室」に相当し、棒グラフ３０が長ければ「入室」に相当する。なお、棒グラフ３０は、入退室そのものを表示している必要はなく、入退室と連動するデータをあらわしていればよい。アプリケーション制御部１１１は、情報処理装置１００のＯＳ（Operating System）により実現されてもよい。また、アプリケーション制御部１１１は、制御機器２００から送信されたデータに基づいて、補助記憶部１５０に格納された汎用のアプリケーションを起動する。

画像解析部１１２は、汎用のアプリケーションにより表示された画像を解析し、ディスプレイ１７０の表示領域の予め設定された位置に表示される画像から制御機器２００に送信するデータを抽出する。また、画像解析部１１２は、制御機器２００から受信されたデータを、汎用のアプリケーションが表示している複数のデータ入力領域のうちから、予め設定された位置にあるものを特定し、そのデータ入力領域に重畳して受信データを表示し、予め設定されている入力動作を行って、アプリケーションにデータを入力する。一例として、画像解析部１１２は、ディスプレイ１７０の、ユーザに指定された位置に読取マーカＲＭ１を設定し、読取マーカＲＭ１が設定された位置座標と、制御機器２００が有するデバイスに実行させる動作と、動作を実行するか否かを判定する実行条件を設定し、設定したデータを図４Ｂに示す第１のテーブル１１２ａに保存する。第１のテーブル１１２ａは、補助記憶部１５０に格納される。図４Ａに示す読取マーカＲＭ１が設定された位置の色は、棒グラフ３０が伸びている場合、棒グラフ３０の色である指定色、または棒グラフ３０が伸びていない場合、指定色以外となり、画像解析部１１２は、読取マーカＲＭ１が設定された位置の色を判定することで、作業者が入室したか否かを判定するデータを得る。また、画像解析部１１２は、汎用のアプリケーションにより表示された画像のうち、ユーザに指定された位置に入力マーカＷＭ１を設定し、入力マーカＷＭ１が設定された位置座標と、制御機器２００が有するデバイスから送信されたデータと、送信されたデータを汎用のアプリケーションに入力するか否かを決定する入力条件を設定し、設定したデータを図４Ｃに示す第２のテーブル１１２ｂに保存する。入力マーカＷＭ１は、汎用のアプリケーションにより画像が表示されたにディスプレイ１７０のうち、ユーザの操作により、汎用のアプリケーションに入力可能な領域に設定される。第２のテーブル１１２ｂは、補助記憶部１５０に格納される。また、画像解析部１１２は、読取マーカＲＭ１が設定された位置に示されるデータを読み取る。詳細には、画像解析部１１２は、読取マーカＲＭ１が設定された位置の色を読み取る。また、画像解析部１１２は、制御機器２００から送信されたデータを、入力マーカＷＭ１が設定された位置にデータ入力領域に入力する操作を実行し、アプリケーションに入力する。詳細には、画像解析部１１２は、制御機器２００から送信されたデータを、入力マーカＷＭ１が設定された位置にシングルタッチ、ダブルタッチ、プルダウン操作、入力ボックスに数値または文字入力する操作をプログラムにより実行し、データを汎用のアプリケーションに入力する。

通信制御部１１３は、通信部１２０を制御して、制御機器２００と通信するものであり、汎用のアプリケーションがディスプレイ１７０に表示した画像に基づくデータを制御機器２００により認識可能なデータに変換し、変換したデータを制御機器２００に送信するものである。一例として、通信制御部１１３は、読取マーカＲＭ１が設定された位置に示されたデータを制御機器２００が認識可能なデータに変換し、変換したデータを制御機器２００に送信する。このデータには、上述したように、読取マーカＲＭ１が設定された位置に対応した、制御機器２００が有するデバイスと、制御機器２００に実行させる動作と、動作の実行条件が設定されている。また、通信制御部１１３は、通信部１２０を介して、制御機器２００から送信されたデータを受信する。

制御機器２００は、ＰＬＣ（Programmable Logic Controller）を含み、有線または無線により情報処理装置１００と通信可能に接続され、情報処理装置１００から送信されたデータを受信し、情報処理装置１００にデータを送信する。制御機器２００には、ロボット３００ａおよび計測器３００ｂが接続される。ロボット３００ａは、制御機器２００から送信されたデータにより制御され、計測器３００ｂは、計測した計測データを制御機器２００に送信する。制御機器２００は、図５に示すように、制御部２１０と、通信部２２０を備える。

制御部２１０は、ロボット３００ａを制御するための処理を行うプロセッサ２３０と、プロセッサ２３０の作業領域として用いられる主記憶部２４０と、プロセッサ２３０の処理に用いられる種々のデータおよびプログラムを格納する補助記憶部２５０と、を有する。主記憶部２４０および補助記憶部２５０はいずれも、バス２６０を介してプロセッサ２３０に接続される。

プロセッサ２３０は、ＭＰＵを含む。プロセッサ２３０は、補助記憶部２５０に格納されるプログラムを実行することにより、制御機器２００の種々の機能を実現する。

主記憶部２４０は、ＲＡＭを含む。主記憶部２４０には、補助記憶部２５０からプログラムがロードされる。そして、主記憶部２４０は、プロセッサ２３０の作業領域として用いられる。

補助記憶部２５０は、ＥＥＰＲＯＭに代表される不揮発性メモリを含む。補助記憶部２５０は、プログラムの他に、プロセッサ２３０の処理に用いられる種々のデータを格納する。補助記憶部２５０は、プロセッサ２３０の指示に従って、プロセッサ２３０によって利用されるデータをプロセッサ２３０に供給し、プロセッサ２３０から供給されたデータを格納する。

通信部２２０は、情報処理装置１００と通信するためのネットワークインタフェース回路を含む。通信部２２０は、情報処理装置１００および計測器３００ｂから信号を受信して、この信号により示されるデータをプロセッサ２３０へ出力する。また、通信部２２０は、プロセッサ２３０から出力されたデータを示す信号をロボット３００ａまたは外部の機器へ送信する。

制御部２１０は、補助記憶部２５０に格納したプログラムを実行することにより、図６に示すように、通信制御部２１１として機能する。

通信制御部２１１は、通信部２２０を介して、情報処理装置１００と通信するものである。また、通信制御部２１１は、情報処理装置１００から送信されたデータに基づいて、ロボット３００ａを制御する。また、通信制御部２１１は、計測器３００ｂから送信されたデータを情報処理装置１００に送信する。

つぎに、以上の構成を有する情報処理装置１００が実行する設定処理および制御処理を説明する。設定処理は、汎用のアプリケーションと制御機器２００とを連携するための設定を行う処理である。また、制御処理は、汎用のアプリケーションから制御機器２００にデータを送信し、送信したデータに基づいてロボット３００ａを制御する処理である。また、制御処理は、計測器３００ｂで測定され、制御機器２００から送信されたデータを汎用のアプリケーションに入力する。

ユーザによる処理を開始させる指示に応答し、情報処理装置１００は、図７に示す設定処理を開始する。また、ユーザは、制御機器２００を起動する。以下、情報処理装置１００が実行する設定処理をフローチャートを用いて説明する。

設定処理が開始されると、アプリケーション制御部１１１は、補助記憶部１５０に格納された汎用のアプリケーションを起動する（ステップＳ１０１）。汎用のアプリケーションが起動されると、ディスプレイ１７０に図４Ａに示す画像が表示される。

つぎに、通信制御部１１３は、ユーザの操作により、制御機器２００と通信設定を実行する（ステップＳ１０２）。

つぎに、ユーザは、図４Ａに示す棒グラフ３０により作業者が入室したか否かを判定するため、棒グラフ３０の伸び縮みを判別できる位置に読取マーカＲＭ１の位置を指定する。これにより、画像解析部１１２は、汎用のアプリケーションにより画像が表示されたディスプレイ１７０において、読取マーカＲＭ１の位置を設定し（ステップＳ１０３）、読取マーカＲＭ１の位置座標を図４Ｂに示す第１のテーブル１１２ａに保存する。

画像解析部１１２は、図８に示すように、ユーザの入力により、読取マーカＲＭ１に対応する、制御機器２００が有するデバイスＸ１と、デバイスＸ１に実行させる動作と、動作を実行するか否かを判定する実行条件を設定し（ステップＳ１０４）、これらのデータを図４Ｂに示す第１のテーブル１１２ａに保存する。デバイスＸ１に実行させる動作は、送信されたデータに基づいてロボット３００ａの主電源をＯＮ、ＯＦＦ制御する動作である。実行条件は、読取マーカＲＭ１が設定された位置の色が指定色であるか指定色以外であるかであり、指定色である場合、ＯＮを示すデータが送信され、指定色以外であれば、ＯＦＦを示すデータが送信される。

つぎに、画像解析部１１２は、読取マーカ設定の終了指示が入力されたか否かを判定する（ステップＳ１０５）。終了指示が入力されていないと判定されると（ステップＳ１０５；Ｎｏ）、ステップＳ１０３に戻り、ステップＳ１０３からステップＳ１０５を繰り返す。これにより、複数の読取マーカを設定することができる。

終了指示が入力されたと判定されると（ステップＳ１０５；Ｙｅｓ）、画像解析部１１２は、ユーザに、表示されている画像内で、データ入力領域の何れかを入力マーカの位置として指定するように誘導する。画像解析部１１２は、汎用のアプリケーションにより表示された、図４Ａに示す画像が表示されたディスプレイ１７０の表示領域における、ユーザに指定された位置に入力マーカＷＭ１を設定する（ステップＳ１０６）。

画像解析部１１２は、図９に示すように、ユーザの入力により、入力マーカＷＭ１に対応する、制御機器２００が有するデバイスＹ１と、入力動作と、データを入力するか否かを判定する入力条件を設定し（ステップＳ１０７）これらのデータを図４Ｃに示す第２のテーブル１１２ｂに保存する。これにより、入力マーカＷＭ１とデバイスＹ１とが紐付けられる。また、ここでの入力動作は、シングルタッチにより汎用のアプリケーションにデータを入力する動作である。画像解析部１１２は、ユーザによりシングルタッチして入力する動作をプログラムにより実行し、汎用のアプリケーションにデータを入力する。

つぎに、画像解析部１１２は、入力マーカ設定の終了指示が入力されたか否かを判定する（ステップＳ１０８）。終了指示が入力されていないと判定されると（ステップＳ１０８；Ｎｏ）、ステップＳ１０６に戻り、ステップＳ１０６からステップＳ１０８を繰り返す。これにより、複数の入力マーカを設定することができる。

終了指示が入力されたと判定されると（ステップＳ１０８；Ｙｅｓ）、設定処理を終了する。また、制御処理は、計測器３００ｂで測定され、制御機器２００から送信されたデータを汎用のアプリケーションに入力する。

以上のように、設定処理が実行されると、汎用のアプリケーションから制御機器２００にデータを送信し、送信したデータに基づいてロボット３００ａを制御することが可能となる。つぎに、ロボット３００ａを制御する制御処理について説明する。

ユーザによる処理を開始させる指示に応答し、情報処理装置１００は、図１０に示す制御処理を開始する。

制御処理が開始されると、通信制御部１１３は、制御機器２００と通信テストを実行する（ステップＳ２０１）。また、ユーザは、制御機器２００の連携用プログラムを実行する。制御機器２００の連携用プログラムが実行されると、制御機器２００から情報処理装置１００にトリガ信号が送信され、通信制御部１１３は、制御機器２００と通信設定を実行する（ステップＳ２０２）。

通信設定が実行されると、制御機器２００から汎用のアプリケーションを起動するデータが送信され、アプリケーション制御部１１１は、制御機器２００から送信されたデータに基づいて、補助記憶部１５０に格納された汎用のアプリケーションを起動する（ステップＳ２０３）。

つぎに、画像解析部１１２は、作業者が入室したか否かを判定するため、汎用のアプリケーションにより、図４Ａに示すディスプレイ１７０に表示された画像における読取マーカＲＭ１が設定された位置に示されたデータを読み取る（ステップＳ２０４）。具体的には、画像解析部１１２は、図４Ｂに示す第１のテーブル１１２ａを参照して、第１のテーブル１１２ａに保存された読取マーカＲＭ１の位置座標に基づいて、画像における読取マーカＲＭ１が設定された位置に示されたデータを読み取る。画像解析部１１２は、ディスプレイ１７０に表示された画像のスクリーンショット画像から、読取マーカＲＭ１が設定された位置の画像の赤色成分、青色成分、緑色成分の強度をそれぞれ検出し、指定色か指定色以外か判定する。

つぎに、通信制御部１１３は、作業者が入室したか否かを示すデータを送信するため、ステップＳ２０４で読み取った、読取マーカＲＭ１が設定された位置に示されたデータを制御機器２００に送信する（ステップＳ２０５）。このデータは、図４Ｂに示す第１のテーブル１１２ａに保存され、読取マーカＲＭ１が設定された位置に対応した、制御機器２００が有するデバイスＸ１と、制御機器２００が有するデバイスＸ１に実行させる動作と、動作の実行条件が設定されている。このため、読取マーカＲＭ１が設定された位置の色が指定色である場合、ＯＮを示すデータ、指定色以外である場合、ＯＦＦを示すデータを制御機器２００のデバイスＸ１に送信する。これにより、制御機器２００は、デバイスＸ１に送信されたＯＮを示すデータまたはＯＦＦを示すデータに基づいて、ロボット３００ａを制御する。

つぎに、通信制御部１１３は、通信部１２０を介して、制御機器２００が有するデバイスから送信されたデータを受信する（ステップＳ２０６）。

つぎに、画像解析部１１２は、デバイスＹ１から送信されたデータが送信元のデバイスＹ１のＩＤ（IDentification）を含むため、図４Ｃに示す第２のテーブル１１２ｂに保存されたデータを参照すると、デバイスＹ１から送信されたデータは、入力マーカＷＭ１が設定された座標位置に対応しているため、制御機器２００が有するデバイスＹ１から送信されたデータを、入力マーカＷＭ１が設定された座標位置に入力操作を実行することにより汎用のアプリケーションに入力する（ステップＳ２０７）。また、図７に示すステップＳ１０７で設定したように、デバイスＹ１からＯＮを示すデータが送信された場合、データ入力動作は、シングルタッチにより汎用のアプリケーションにデータを入力する動作であり、デバイスＹ１からＯＦＦを示すデータが送信された場合、データ入力動作は、実施されない。画像解析部１１２は、ユーザがディスプレイ１７０に実行するタッチ操作と同様の操作をプログラムにより実行する。

つぎに、画像解析部１１２は、終了指示が入力されたか否かを判定する（ステップＳ２０８）。終了指示が入力されていないと判定されると（ステップＳ２０８；Ｎｏ）、ステップＳ２０４に戻り、ステップＳ２０４からステップＳ２０８を繰り返す。終了指示が入力されたと判定されると（ステップＳ２０８；Ｙｅｓ）、制御処理を終了する。

つぎに、情報処理装置１００が実行する設定処理および受信処理を、図１１に示すように、作業者の入退出管理を含む労務管理を実行する汎用のアプリケーションにより画像が表示されたディスプレイ１７０の表示領域に読取マーカＲＭ１、ＲＭ２および入力マーカＷＭ１、ＷＭ２を設定して制御機器２００を制御する例について説明する。

ユーザによる処理を開始させる指示に応答し、情報処理装置１００は、図７に示す設定処理を開始する。また、ユーザは、制御機器２００を起動する。

設定処理が開始されると、アプリケーション制御部１１１は、補助記憶部１５０に格納された汎用のアプリケーションを起動する（ステップＳ１０１；図７）。これにより、ディスプレイ１７０には、汎用のアプリケーションにより画像が表示される。この画像は、ユーザが指でタッチすると汎用のアプリケーションに入力することができるタッチポイント１０、文字または数字を入力する入力ボックス２０、作業者が入室したか否かが棒グラフ３０を含む。

つぎに、画像解析部１１２は、汎用のアプリケーションにより画像が表示されたディスプレイ１７０の表示領域における、ユーザに指定された位置に読取マーカＲＭ１を設定する（ステップＳ１０３；図７）。ここでは、読取マーカＲＭ１は、棒グラフ３０が伸びることにより、作業者が入室したか否かを判定できる位置に設定される。

画像解析部１１２は、読取マーカＲＭ１が設定された位置に対応した、制御機器２００が有するデバイスＸ１と、制御機器２００が有するデバイスＸ１に実行させる動作と、動作を実行させるか否かを判定する実行条件を設定する（ステップＳ１０４；図７）。実行動作は、デバイスＸ１によりロボット３００ａの主電源をＯＮ、ＯＦＦする動作であり、実行条件は、読取マーカＲＭ１が設定された位置の色が指定色であるか否かにより判定される。棒グラフ３０が伸びることにより、読取マーカＲＭ１が設定された位置の色が指定色であると、作業者が入室したと判定され、ＯＮを示すデータが送信され、指定色以外では、ＯＦＦを示すデータが送信される。これらのデータは、第１のテーブル１１２ａに保存する。

つぎに、終了指示が入力されていないと判定されると（ステップＳ１０５；Ｎｏ；図７）、画像解析部１１２は、汎用のアプリケーションにより画像が表示されたディスプレイ１７０の表示領域における、ユーザに指定された位置に読取マーカＲＭ２を設定する（ステップＳ１０３；図７）。この例では、読取マーカＲＭ２は、ディスプレイ１７０の表示領域における、空気の清浄度を示すメータの画像が表示された領域に設定される。

つぎに、画像解析部１１２は、読取マーカＲＭ２が設定された位置に対応した、制御機器２００が有するデバイスＸ２と、制御機器２００が有するデバイスＸ２に実行させる動作と、動作を実行するか否かを判定する実行条件を設定する（ステップＳ１０４；図７）。実行動作は、読取マーカＲＭ２が設定された領域の画像を解析して数値変換し、数値変換された数値を示すデータＤ２をデバイスＸ２に送信するものである。動作の実行条件は、なしである。データＤ２は、ロボット３００ａに備わる空気清浄機のファンのモータの出力を示すデータである。

終了指示が入力されたと判定されると（ステップＳ１０５；Ｙｅｓ；図７）、画像解析部１１２は、汎用のアプリケーションにより画像が表示されたディスプレイ１７０の表示領域における、ユーザに指定された位置に入力マーカＷＭ１を設定する（ステップＳ１０６；図７）。

つぎに、画像解析部１１２は、入力マーカＷＭ１が設定された位置に対応した、制御機器２００から送信されたデータと、データを汎用のアプリケーションに入力する入力条件と、の対応を設定する（ステップＳ１０７；図７）。制御機器２００から送信されたデータは、制御機器２００が有するデバイスＹ１から送信されたデータＤ３であり、入力動作は、シングルタッチであり、入力条件は、データＤ３がＯＮを示す場合である。

つぎに、終了指示が入力されていないと判定されると（ステップＳ１０８；Ｎｏ；図７）、画像解析部１１２は、汎用のアプリケーションにより画像が表示されたディスプレイ１７０の表示領域における、ユーザに指定された位置に入力マーカＷＭ２を設定する（ステップＳ１０６；図７）。入力マーカＷＭ２は、ディスプレイ１７０の表示領域における、数値を入力するボックスが表示された領域に設定される。

画像解析部１１２は、入力マーカＷＭ２が設定された位置に対応した、制御機器２００から送信されたデータと、データの入力条件を設定する（ステップＳ１０７；図７）。制御機器２００から送信されたデータは、制御機器２００が有するデバイスＹ２から送信されたデータＤ４であり、入力動作は、データＤ４が示す数値を入力する動作であり、入力条件は、なしである。

終了指示が入力されたと判定されると（ステップＳ１０８；Ｙｅｓ；図７）、設定処理を終了する。

設定処理を行った後、ユーザが情報処理装置１００により制御機器２００を制御する場合、ユーザは、情報処理装置１００に図１０に示す制御処理を開始する操作を実施する。また、ユーザは、制御機器２００を起動する。

制御処理が開始されると、通信制御部１１３は、制御機器２００と通信テストを実行する（ステップＳ２０１；図１０）。つぎに、ユーザが、制御機器２００の連携用プログラムを実行すると、通信制御部１１３は、制御機器２００と連携機能を実行する（ステップＳ２０２；図１０）。連携機能が実行されると、制御機器２００から汎用のアプリケーションを起動するデータが送信され、アプリケーション制御部１１１は、制御機器２００から送信されたデータに基づいて、補助記憶部１５０に格納された汎用のアプリケーションを起動する（ステップＳ２０３；図１０）。

つぎに、画像解析部１１２は、汎用のアプリケーションにより、図１１に示すディスプレイ１７０に表示された画像における読取マーカＲＭ１、ＲＭ２が設定された位置に示されたデータを読み取る（ステップＳ２０４；図１０）。読取マーカＲＭ１が設定された位置の色が指定色である場合、ＯＮを示すデータＤ１、指定色以外では、ＯＦＦを示すデータＤ１が得られる。読取マーカＲＭ２が設定された領域の画像を解析して数値変換することによりデータＤ２が得られる。

つぎに、通信制御部１１３は、通信部１２０を介して、ステップＳ２０３で読み取った、読取マーカＲＭ１、ＲＭ２が設定された位置に示されたデータＤ１、Ｄ２を制御機器２００に送信する（ステップＳ２０５；図１０）。データＤ１は、読取マーカＲＭ１が設定された位置の色が指定色である場合、ＯＮを示すデータであり、指定色以外では、ＯＦＦを示すデータであり、デバイスＸ１に送信される。データＤ２は、読取マーカＲＭ２が設定された領域の画像を解析して数値変換し、数値変換された数値を示すデータであり、デバイスＸ２に送信される。データＤ１、Ｄ２がデバイスＸ１、Ｘ２に送信されると、制御機器２００は、デバイスＸ１、Ｘ２に送信されたデータＤ１、Ｄ２に基づいてロボット３００ａを制御する。一例として、データＤ１は、ロボット３００ａの主電源をＯＮ、ＯＦＦ制御するデータであり、データＤ２は、ロボット３００ａに備えられた空気清浄機のファンのモータの出力を示すデータである。

つぎに、通信制御部１１３は、制御機器２００から送信されたデータを受信する（ステップＳ２０６；図１０）。ここでは、制御機器２００から送信されたデータＤ３、Ｄ４を受信する例について説明する。データＤ３、Ｄ４は、計測器３００ｂからそれぞれ制御機器２００のデバイスＹ１、Ｙ２に送信され、デバイスＹ１、Ｙ２に保存されたものである。制御機器２００のデバイスＹ１、Ｙ２は、第２のテーブル１１２ｂにより対応付けられ、それぞれ入力マーカＷＭ１、ＷＭ２に対応している。一例として、データＤ３は、計測器３００ｂで作業者が作業する場所の温度を計測したデータであり、計測した温度が基準温度以上である場合、ＯＮを示すデータであり、基準温度未満である場合、ＯＦＦを示すデータである。データＤ４は、作業者が生産した製品数を示す数値データである。

。
つぎに、画像解析部１１２は、制御機器２００から送信されたデータＤ３、Ｄ４を、それぞれ入力マーカＷＭ１、ＷＭ２が設定された位置に入力する操作を実行して、汎用のアプリケーションに入力する（ステップＳ２０７；図１０）。データＤ３は、デバイスＹ１から送信されたものであり、第２のテーブル１１２ｂに基づいて、入力動作は、シングルタッチの操作により汎用のアプリケーションにデータを入力する動作であり、入力条件は、データＤ３がＯＮを示す場合であることが特定される。計測した温度が基準温度以上である場合、データＤ３は、ＯＮを示すデータであり、入力マーカＷＭ１の位置にシングルタッチの入力操作をプログラムにより実施することによりデータＤ３を汎用のアプリケーションに入力する。また、制御機器２００から送信されたデータＤ４は、デバイスＹ２から送信されたデータであり、第２のテーブル１１２ｂにより入力動作は、データＤ４が示す数値を入力する動作であり、入力条件は、なしであることが特定される。データＤ４は、作業者が生産した製品数を示す数値データであり、入力マーカＷＭ２が設定された位置に入力する操作をプログラムにより実行し、汎用のアプリケーションに入力される。これにより、作業者が作業する場所の温度が基準温度以上である場合、このデータが汎用のアプリケーションに記録される。また、作業者が生産した製品数が汎用のアプリケーションに入力される。これらのデータは、労務管理に用いられる。

つぎに、画像解析部１１２は、終了指示が入力されたか否かを判定する（ステップＳ２０８；図１０）。終了指示が入力されていないと判定されると（ステップＳ２０８；Ｎｏ；図１０）、ステップＳ２０４に戻り、ステップＳ２０４からステップＳ２０８を繰り返す。終了指示が入力されたと判定されると（ステップＳ２０８；Ｙｅｓ；図１０）、制御処理を終了する。

上記構成を有する情報処理装置１００は、汎用のアプリケーションによりディスプレイ１７０に表示された画像から得られるデータに基づいて、汎用のアプリケーションを制御機器２００に連携できる。このため、情報処理装置１００で動作する様々な既成のアプリケーションと制御機器を容易に連携させることが可能となる。従って、連携対象のアプリケーションごとに連携のための専用のアプリ・機能を開発する必要がなくなり、開発コストの削減が可能である。また、ユーザが情報処理装置１００上の操作で連携の仕方を決めることができるため、プログラミングの専門知識を持たないユーザも連携システムを構築することが可能となる。また、上記では、作業者の入退出管理を実行する汎用のアプリケーションを制御機器２００に連携させる例について説明しているが、情報処理装置１００は、どのような汎用のアプリケーションでも制御機器２００と連携することができる。アプリケーションと連携する制御機器２００を含めた設備の制御を、汎用のアプリケーションで行うことが可能となり、システム構築の幅が広がる。また、制御機器２００と汎用のアプリケーションの連携により、汎用のアプリケーションの操作を自動化することで、ユーザが情報処理装置１００を操作する際の、入力の手間、ミスを削減することが可能である。

（変形例）
また、情報処理装置１００の画像解析部１１２は、読取マーカＲＭ１、ＲＭ２および入力マーカＷＭ１、ＷＭ２を設定せずに、汎用のアプリケーションにより表示された画像からデータを読み取り、または汎用のアプリケーションにデータを入力してもよい。この場合、画像解析部１１２は、汎用のアプリケーションによりディスプレイ１７０に表示された画像を、人工知能、機械学習またはパターン認識のうち１つまたはこれらの組み合わせにより解析する。この場合、画像解析部１１２は、ユーザにより指定された項目を示すデータをディスプレイ１７０に表示された画像から、人工知能、機械学習またはパターン認識のうち１つまたはこれらの組み合わせにより制御機器２００に送信するデータを抽出する。一例として、作業者が入室したか否かを判定する場合、作業者が入室しているときに汎用のアプリケーションにより表示された画像と、作業者が入室していないときに汎用のアプリケーションにより表示された画像と、を含む教師データを用いて、機械学習し、汎用のアプリケーションにより表示された画像から作業者が入室したか否かを判定する判定モデルを作成する。画像解析部１１２は、この判定モデルを用いて、汎用のアプリケーションにより表示された画像から作業者が入室したか否かを判定する。具体的には、画像解析部１１２は、ディスプレイ１７０に表示した画像をスクリーンショット機能などで取得し、その画像データに対して解析を行う。解析の手法としては、例えば、画像の画素値による色の認識または文字認識（ＯＣＲ：Optical character recognition）を含む様々な手法が適用できる。

また、上述の実施の形態では、情報処理装置１００の画像解析部１１２が汎用のアプリケーションにより表示された画像を読み取り、かつ汎用のアプリケーションにデータを入力する例について説明したが、画像解析部１１２は、汎用のアプリケーションにより表示された画像の読み取りと、汎用のアプリケーションへのデータの入力と、の何れかのみを実行してもよい。このようにすることで、汎用のアプリケーションから制御機器２００にデータを送信する場合のみ、または制御機器２００から汎用のアプリケーションにデータを送信する場合のみ、に対応することが可能である。

また、情報処理装置１００は、カメラを備えてもよい。この場合、汎用のアプリケーションは、カメラで撮像した画像を表示するものであり、画像解析部１１２は、カメラで撮像した画像を取得し、該画像を解析してもよい。この場合、画像解析部１１２は、文字認識により、画像データを文字データに変換してもよい。また、一例として、カメラで作業所内を撮像し、画像解析部１１２は、作業所内を撮像した画像を画像認識することにより作業所内に作業者が存在するか存在しないかを判定し、作業者が存在する場合、制御機器２００で制御する装置をＯＮするデータを制御機器２００に送信してもよい。また、カメラで、制御機器２００に連動しない計測器の表示部の画像を撮像し、画像解析部１１２は、カメラで撮像された画像に写る表示部に表示された画像を文字認識により数値データに変換してもよい。このようにすることで、制御機器２００に連動しない計測器で測定したデータを制御機器２００に送信することができる。

また、上述の実施の形態では、情報処理装置１００のアプリケーション制御部１１１が、１つの汎用のアプリケーションを実行する場合について説明したが、アプリケーション制御部１１１は、複数の汎用のアプリケーションを実行して、複数の汎用アプリケーションの画像を同時にディスプレイ１７０に表示してもよい。情報処理装置１００が第１のアプリケーションと第２のアプリケーションとを実行する場合、情報処理装置１００の画像解析部１１２は、第１のアプリケーションにより表示された画像からデータを読み取り、得られたデータを制御機器２００に送信し、制御機器２００から送信されたデータを第２のアプリケーションに入力してもよい。このようにすることで、ユーザが、第１のアプリケーションに表示された画像から得られるデータを制御機器２００に入力し、制御機器２００から得られたデータを第２のアプリケーションに入力することを自動化することが可能となる。

上述の実施の形態においては、情報処理装置１００が備える操作部１８０とディスプレイ１７０とが、タッチパネルディスプレイ装置を構成する例について説明した。操作部１８０は、ＧＵＩ（Graphical User Interface）を含めばよく、マウスまたはタッチパッドにより、入力を受け付けるものであってもよい。この場合であっても、汎用のアプリケーションによりディスプレイ１７０に表示された画像を解析した解析結果に基づいて、汎用のアプリケーションと制御機器２００とを容易に連携できる。

上述の実施の形態では、制御システム１は、ＦＡシステムの制御システムとして用いられる例について説明したが、情報処理装置１００のディスプレイ１７０に表示された画像に基づいて、制御機器２００を制御するものであればよく、制御システム１は、任意の装置または機器に用いることができ、エレベータまたはホームドアを制御する制御システムとして用いられてもよい。

上述の実施の形態では、情報処理装置１００の制御部１１０は、１つのプロセッサ１３０を備える構成を示したが、複数のプロセッサ１３０が連携して上述の機能を実行してもよい。また制御部１１０は複数の主記憶部１４０および補助記憶部１５０を備えてもよい。その他、制御機器２００を含む上記のハードウェア構成は一例であり、任意に変更および修正が可能である。

制御システム１、情報処理装置１００および制御機器２００は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、上述の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read-Only Memory）など）に格納して配布し、上記コンピュータプログラムをコンピュータにインストールすることにより、上述の処理を実行する制御システム１を構成してもよい。また、通信ネットワーク上のサーバ装置が有する記憶装置に上記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードすることで制御システム１、情報処理装置１００および制御機器２００を構成してもよい。

また、制御システム１、情報処理装置１００および制御機器２００の機能を、ＯＳとアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体または記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS：Bulletin Board System）に上記コンピュータプログラムを掲示し、通信ネットワークを介して上記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行してもよい。

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、この開示の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。

１…制御システム、１００…情報処理装置、１１０、２１０…制御部、１１１…アプリケーション制御部、１１２…画像解析部、１１３、２１１…通信制御部、１２０、２２０…通信部、１３０、２３０…プロセッサ、１４０、２４０…主記憶部、１５０、２５０…補助記憶部、１６０、２６０…バス、１７０…ディスプレイ、１８０…操作部、２００…制御機器、３００ａ…ロボット、３００ｂ…計測器

Claims (9)

1. ディスプレイに画像を表示するアプリケーションを実行するアプリケーション制御部と、
   前記アプリケーションにより前記ディスプレイに表示された画像を解析する画像解析部と、
   前記画像解析部により前記画像を解析した解析結果に基づいて、前記アプリケーションが前記ディスプレイに表示した前記画像に基づくデータを制御機器が認識可能なデータに変換し、変換したデータを前記制御機器に送信する通信制御部と、
   を備える情報処理装置。
2. 前記画像解析部は、前記アプリケーションにより画像が表示された前記ディスプレイの表示領域においてデータ入力領域を特定し、前記制御機器から送信されたデータを前記データ入力領域に基づいて、前記アプリケーションに入力する、
   請求項１に記載の情報処理装置。
3. 前記画像解析部は、前記アプリケーションにより画像が表示された前記ディスプレイの表示領域おいて、データを読み取る位置を示す読取マーカの位置を設定し、前記読取マーカが設定された位置に表示されているデータを読み取る、
   請求項１または２に記載の情報処理装置。
4. 前記画像解析部は、前記アプリケーションにより画像が表示された前記ディスプレイの表示領域において、データを入力する位置を示す入力マーカを設定し、データが前記制御機器から送信されると、前記入力マーカが設定された位置に基づいて、前記データを前記アプリケーションに入力する、
   請求項２に記載の情報処理装置。
5. 前記画像解析部は、前記アプリケーションにより前記ディスプレイに表示された画像を、人工知能、機械学習またはパターン認識のうち１つまたはこれらの組み合わせにより解析する、
   請求項１または２に記載の情報処理装置。
6. 前記アプリケーションは、カメラで撮像した画像を前記ディスプレイに表示するものであり、
   前記画像解析部は、前記ディスプレイに表示された画像を解析する、
   請求項１または２に記載の情報処理装置。
7. 請求項１または２に記載の情報処理装置と、
   前記情報処理装置と通信する前記制御機器と、
   を備える制御システム。
8. ディスプレイに画像を表示するアプリケーションを備える情報処理装置を用いて、
   前記アプリケーションにより前記ディスプレイに表示された画像を解析する画像解析ステップと、
   前記画像解析ステップにより前記画像を解析した解析結果に基づいて、前記アプリケーションが前記ディスプレイに表示した前記画像に基づくデータを制御機器が認識可能なデータに変換し、変換したデータを前記制御機器に送信する通信制御ステップと、
   を備える情報処理方法。
9. ディスプレイに画像を表示するアプリケーションを備えるコンピュータを、
   前記アプリケーションにより前記ディスプレイに表示された画像を解析する画像解析部、
   前記画像解析部により前記画像を解析した解析結果に基づいて、前記アプリケーションが前記ディスプレイに表示した前記画像に基づくデータを制御機器が認識可能なデータに変換し、変換したデータを前記制御機器に送信する通信制御部、
   として機能させるプログラム。

Images