JP6678375B2 - 情報処理装置、情報処理方法、および情報処理システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、および情報処理システムに関する。

従来、遠隔操作によって被制御機器を操作するために用いられる機器制御システムが知られている（例えば、特許文献１、または特許文献２）。ここでは、遠隔操作される処理装置と、操作する側のコンピュータと、の各々に制御用のソフトウェアを導入することで、遠隔操作を行っている。

また、ＫＶＭ（Ｋｅｙｂｏａｒｄ Ｖｉｄｅｏ Ｍｏｕｓｅ）装置を利用することで、制御装置と被制御機器とをつなぎ、遠方から被制御機器を遠隔操作することが知られている。

特開２００３−２８２３８７号公報 特開２００４−３４８６０５号公報 特開２００７−０３４３７６号公報

しかしながら、上述した機器制御システム、またはＫＶＭ装置を利用した遠隔操作において、遠隔操作を行うオペレータは、被制御機器などから離れた場所で操作するため、被制御機器の状態を把握するのが難しく危険な動作をさせてしまう虞があった。例えば、半導体装置の製造においては、クリーンルーム内に半導体製造装置が設置され、クリーンルームの外からオペレータが遠隔操作にて半導体製造装置を操作する事が想定される。その場合、製造装置の周辺環境や装置状態を把握できない状態で遠隔操作が行われると、場合によっては危険な動作を製造装置に行わせてしまう虞がある。

また、上述した機器制御システムなどでは、制御装置および被制御機器の各々に対し、制御用のソフトウェアのインストールやハードウェアの改修が必要となり、特に半導体製造装置においては、製造装置側のソフトウェアやハードウェアの改修には多大な費用と時間がかかる。

本発明の１つの側面は、上述の課題に鑑みてなされたものであり、制御装置、および被制御機器の改修などを少なくし、容易にシステムを構築でき、かつ、安全性を確保して遠隔操作を行うことができる情報処理装置、情報処理方法、および情報処理システムを得ることを目的とする。

一態様における、第一の情報処理機器から第二の情報処理機器を操作するための処理を行う情報処理装置であって、前記第一の情報処理機器から前記操作に基づく操作の入力データと、前記第二の情報処理機器から前記操作に係る操作画面に基づく画像の入力データと、を受信するための処理を行う入力処理手段と、前記操作の入力データまたは前記画像の入力データに、所定の制限を行うための処理を行う制限処理手段と、第二の情報処理機器の状態に応じた制限処理内容を示す設定データおよび前記第二の情報処理機器の状態に対応するパターンデータを記憶する記憶手段と、を有し、前記制限処理手段は、前記第二の情報処理機器から取得した前記画像の入力データに、前記記憶手段に記憶されたパターンデータと同一の画像が含まれているか否かを判定するパターンマッチングによって前記所定の制限を行うための処理を行うか否かを判定し、前記画像の入力データに、前記記憶手段に記憶されたパターンデータと同一の画像が含まれていると判定されると、前記第二の情報処理機器の状態を判断し、判断された前記第二の情報処理機器の状態に応じた制限処理内容を、前記所定の制限を行うための処理として行い、前記第二の情報処理機器は、製造装置であることを特徴とする。

本発明によれば、制御装置、および被制御機器の改修などを少なくし、容易にシステムを構築でき、かつ、安全性を確保して遠隔操作を行うことができる。

本発明の一実施形態に係る情報処理システムの構成の一例を示す概念図である。 本発明の一実施形態に係るオペレータ端末の一例を説明する機能ブロック図である。 本発明の一実施形態に係るオペレータ端末のハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係る製造装置の一例を説明する機能ブロック図である。 本発明の一実施形態に係る製造装置のハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係るリモートＫＶＭ装置の一例を説明する機能ブロック図である。 本発明の一実施形態に係るリモートＫＶＭ装置のハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係る情報処理システムによる全体処理の一例を説明するフローチャートである。 本発明の一実施形態に係る判定処理の一例を説明するフローチャートである。 本発明の一実施形態に係る操作画面の一例を説明する図である。 本発明の一実施形態に係るパターンマッチング処理の一例を説明する図である。 本発明の一実施形態に係る設定データの一例を説明する表である。 本発明の一実施形態に係る第１実施形態の制限処理の一例を説明するフローチャートである。 本発明の一実施形態に係る第１実施形態の制限処理の一例を説明する図である。 本発明の一実施形態に係る第２実施形態の判定処理の一例を説明するフローチャートである。 本発明の一実施形態に係る第２実施形態の差分画像、および差分画像の生成方法の一例を説明する図である。 本発明の一実施形態に係る第２実施形態の制限処理の一例を説明するフローチャートである。 本発明の一実施形態に係る第２実施形態のマスク処理の一例を説明する図である。 本発明の一実施形態に係る第３実施形態の制限処理の一例を説明するフローチャートである。 本発明の一実施形態に係る第３実施形態の操作画面にマスク処理する一例を説明する図である。 本発明の一実施形態に係る第３実施形態のマスク処理の種類の一例を説明する図である。

本発明は、ネットワークを介して遠隔操作を行うために用いられる情報処理装置、いわゆるリモートＫＶＭ装置に関する発明である。以下、本発明の実施の形態について説明する。リモートＫＶＭ装置を用いてシステムを構築することで遠隔操作を実現する。

＜第１実施形態＞
第１実施形態として、本発明の一実施形態に係る情報処理装置、および情報処理システムの一例を説明する。

図１は、本発明の一実施形態に係る情報処理システムの構成の一例を示す概念図である。

情報処理システム１は、第一の情報処理機器１００と、情報処理装置１０１と、第二の情報処理機器１０２と、を有する。第一の情報処理機器１００、および情報処理装置１０１は、ネットワーク２００を介して接続されている。情報処理装置１０１、および第二の情報処理機器１０２は、ケーブル２で接続されている。

第一の情報処理機器１００は、例えばオペレータが第二の情報処理機器１０２を操作するための指示を入力する装置（以下、オペレータ端末という。）である。詳細は後述する。

情報処理装置１０１は、リモートＫＶＭ装置である。詳細は後述する。

第二の情報処理機器１０２は、例えば半導体などの製造装置（以下、製造装置という。）である。詳細は後述する。

ネットワーク２００は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、またはインターネットなどの有線または無線の通信回線である。

なお、ネットワーク２００は複数のネットワークで構成されていてもよい。例えば、ネットワーク２００は、別のサーバ、ルータ（Ｒｏｕｔｅｒ）、またはアクセスポイントなどのノード（Ｎｏｄｅ）を介して接続された２以上のネットワークで構成されていてもよい。

また、第一の情報処理機器１００が操作するための指示を入力する装置、および第二の情報処理機器１０２が操作の対象となる装置に限定されない。例えば第二の情報処理機器１０２が操作するための指示を入力する装置、および第一の情報処理機器１００が操作の対象となる装置、すなわち第一の情報処理機器１００と第二の情報処理機器１０２とが入れ替わった構成でもよい。

＜オペレータ端末＞
図２は、本発明の一実施形態に係るオペレータ端末の一例を説明する機能ブロック図である。

オペレータ端末１００は、入力処理部１００Ｆ１と、制御処理部１００Ｆ２と、出力処理部１００Ｆ３と、を有する。

入力処理部１００Ｆ１は、オペレータ端末１００に指示を入力するための処理を行う。例えば入力処理部１００Ｆ１は、後述するマウスなどポインティングデバイス、またはキーボードなどの入力装置、およびＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって、コマンド入力、２次元的な座標情報、マウスのクリックなどによるスイッチ動作などの操作を受け付け、Ａ／Ｄ変換などの処理によってデータ、または信号に変換する。なお、入力処理部１００Ｆ１は、入力されたデータを後段の処理で読み込み可能な形式、または高速に処理できる形式にデータを変換、または加工する処理などを行ってもよい。また、入力処理部１００Ｆ１は、入力されたデータから入力用の通信に用いたヘッダデータなど後段の処理には不要な情報を削除する処理を行ってもよい。

制御処理部１００Ｆ２は、後述するＣＰＵ１００Ｈ３などによって、オペレータ端末１００の有する各装置、またはオペレータ端末１００に接続された外部装置（図示せず）などの制御を行う。

出力処理部１００Ｆ３は、オペレータ端末１００から入力処理部１００Ｆ１が受け付けた操作に基づくデータ、または信号を操作信号に変換し、操作信号を出力するための処理を行う。例えば出力処理部１００Ｆ３は、後述するネットワークＩ／Ｆを用いてネットワーク２００を介して操作信号をリモートＫＶＭ装置１０１へ送信する処理を行う。なお、出力処理部１００Ｆ３は、出力する処理の前処理として、出力先が読み取り可能な形式に信号の形式を変換する処理、またはネットワーク２００を介して送信するためにヘッダデータなどを付加する処理などを行ってもよい。

＜オペレータ端末のハードウェア構成＞
図３は、本発明の一実施形態に係るオペレータ端末のハードウェア構成の一例を説明するブロック図である。

オペレータ端末１００は、コンピュータである。オペレータ端末１００は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、サーバ、またはメインフレームなどである。

なお、オペレータ端末１００は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、タブレット、スマートフォン、携帯電話器などモバイル機器でもよい。

オペレータ端末１００は、補助記憶装置１００Ｈ１と、記憶装置１００Ｈ２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００Ｈ３と、コネクタ１００Ｈ４と、入力Ｉ／Ｆ１００Ｈ５と、出力Ｉ／Ｆ１００Ｈ６と、メディアドライブ１００Ｈ７と、を有する。

また、オペレータ端末１００は、ネットワークＩ／Ｆ１００Ｈ８を有し、ネットワーク２００に接続している。

オペレータ端末１００の各構成要素は、バス（Ｂｕｓ）１００Ｈ９により接続されている。なお、バス１００Ｈ９への接続は、ブリッジ回路（図示せず）を介して接続した構成でもよい。また、オペレータ端末１００の構成は、図３に示した構成に限られない。例えば、バス１００Ｈ９は、複数のバスを有してもよい。例えば、ＣＰＵ１００Ｈ３など高速な伝送用のバスと、入力Ｉ／Ｆ１００Ｈ５など低速な伝送用のバスと、が異なり、ブリッジ回路（図示せず）を介してバス同士が相互に接続されている構成でもよい。

補助記憶装置１００Ｈ１は、ＣＰＵ１００Ｈ３、および制御装置（図示せず）などの制御によって、ＣＰＵ１００Ｈ３が行う処理の中間結果を含む各種データ、パラメータ、またはプログラムなどの情報を記憶する。補助記憶装置１００Ｈ１は、例えば、ハードディスク、フラッシュＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などである。

記憶装置１００Ｈ２は、ＣＰＵ１００Ｈ３が実行するプログラムが使用する記憶領域、いわゆるメモリ（Ｍｅｍｏｒｙ）などの主記憶装置である。記憶装置１００Ｈ２は、データ、プログラム、またはパラメータなどの情報を記憶する。

ＣＰＵ１００Ｈ３は、オペレータ端末１００が行う各処理のための演算、制御を行う。例えばＣＰＵ１００Ｈ３は、バス１００Ｈ９を介して補助記憶装置１００Ｈ１と、記憶装置１００Ｈ２と、入力Ｉ／Ｆ１００Ｈ５と、出力Ｉ／Ｆ１００Ｈ６と、の間で情報の入出力を行う。また、ＣＰＵ１００Ｈ３は、各種のプログラムを実行する。

なお、ＣＰＵ１００Ｈ３は、並列処理によって高速化を行うために、複数のＣＰＵ、または複数のコア（ｃｏｒｅ）から構成されていてもよい。また、ＣＰＵ１００Ｈ３による処理は、オペレータ端末１００の内部、または外部に別のハードウェアリソースを有し、ＣＰＵ１００Ｈ３の補助をさせて処理が行われてもよい。

なお、ＣＰＵ１００Ｈ３が実行するプログラムが使用する記憶領域は、記憶装置１００Ｈ２の記憶領域に限られない。例えば、記憶領域は、補助記憶装置１００Ｈ１の記憶領域を使用する、いわゆる仮想メモリ方式を用いてもよい。

コネクタ１００Ｈ４は、外部装置（図示せず）と接続し、外部装置（図示せず）と入出力を行うためのバス、いわゆる外部バスである。コネクタ１００Ｈ４は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などである。コネクタ１００Ｈ４は、ＩＥＥＥ（Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，Ｉｎｃ．）１３９４、またはＴｈｕｎｄｅｒｂｏｌｔ（登録商標）などでもよい。コネクタ１００Ｈ４は、規格に準じたコネクタ形状、接続ピンなどの物理的な接続端子、接続端子を介して入力された信号を処理する処理回路（図示せず）、およびドライバ（図示せず）などを有する。なお、コネクタ１００Ｈ４は、有線に限られない。例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線を用いてもよい。

入力Ｉ／Ｆ１００Ｈ５は、オペレータ端末１００に入力装置を接続するためのインタフェース（Ｉｎｔｅｒｆａｃｅ）である。入力装置は、例えば、処理に必要な値、またはコマンドなどを入力するキーボード１００Ｈ５１などである。入力装置は、二次元の移動距離をオペレータ端末１００に入力するマウス１００Ｈ５２などである。入力装置は、ペンタブレットなどポインティングデバイスなどでもよい。なお、入力装置は、コネクタ１００Ｈ４に接続される構成でもよい。

出力Ｉ／Ｆ１００Ｈ６は、処理結果などを表示する出力装置であるディスプレイ１００Ｈ６１、ディスプレイ１００Ｈ６１に出力する画像信号を制御する処理回路（図示せず）、ドライバ（図示せず）、およびケーブル（図示せず）などである。なお、出力装置は、ディスプレイ１００Ｈ６１に代えてプロジェクタなどの投影装置でもよい。

なお、入力Ｉ／Ｆ１００Ｈ５に接続される入力装置と、出力Ｉ／Ｆ１００Ｈ６に接続される出力装置と、は入力装置と出力装置が一体となった装置、いわゆるタッチパネルなどであってもよい。

メディアドライブ１００Ｈ７は、記録媒体であるメディア１００Ｈ７１と接続し、情報の入出力を行うための処理を行う。メディア１００Ｈ７１は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、またはブルーレイなど光ディスクである。メディア１００Ｈ７１は、フレキシブルディスクなどの磁気ディスク、またはＳＤ（登録商標）カード、コンパクトフラッシュ（登録商標）などのフラッシュメモリでもよい。なお、情報の入出力は、ＵＳＢメモリをコネクタ１００Ｈ４に接続、または後述するネットワークＩ／Ｆ１００Ｈ８を介して行ってもよい。また、オペレータ端末１００は、メディアドライブ１００Ｈ７を有しない構成としてもよい。

ネットワークＩ／Ｆ１００Ｈ８は、オペレータ端末１００を有線または無線でＬＡＮなどのネットワークに接続するためのインタフェースである。ネットワークＩ／Ｆ１００Ｈ８は、ＩＥＥＥなどの規格に準じたコネクタ形状、および接続ピンなどの物理的な接続端子と、オペレータ端末１００と回線を物理的に接続させるケーブルと、接続端子を介して入力された信号を処理する処理回路（図示せず）、およびドライバ（図示せず）と、を有する。なお、オペレータ端末１００は、ＬＡＮを介して他のネットワーク、またはインターネットに接続していてもよい。

バス１００Ｈ９は、オペレータ端末１００の各構成要素間の通信に用いられる。バス１００Ｈ９は、いわゆる内部バスである。バス１００Ｈ９は、例えばＰＣＩ Ｅｘｐｒｅｓｓ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）である。バス１００Ｈ９は、ＰＣＩ、またはＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）などでもよい。

また、オペレータ端末１００は、各種プログラムによる実行に代えて、同様の処理全部または同様の処理の一部を実行できる回路を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって実現してもよい。さらに、オペレータ端末１００は、ＡＳＩＣに代えて、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などによって実現してもよい。

なお、説明したハードウェア構成は一例であり、オペレータ端末１００は、説明した構成要素をすべて有していなくてもよい。また、オペレータ端末１００は、説明した構成要素以外の要素が追加、または説明した構成要素を冗長して有してもよい。

＜製造装置＞
図４は、本発明の一実施形態に係る製造装置の一例を説明する機能ブロック図である。

製造装置１０２は、例えば半導体の製造装置である。具体的には、半導体製造プロセスのうちフォトリソグラフィープロセスにおいてフォトレジストの塗布と現像を行う装置などである。以下、半導体の製造装置を例に説明する。

製造装置１０２は、入力処理部１０２Ｆ１と、制御処理部１０２Ｆ２と、出力処理部１０２Ｆ３と、プロセス制御部１０２Ｆ４と、を有する。

入力処理部１０２Ｆ１は、オペレータがオペレータ端末１００で入力した指示に基づく操作情報を入力するための処理を行う。入力処理部１０２Ｆ１は、後述するネットワークＩ／Ｆによってネットワーク２００を介してオペレータ端末１００から操作情報を受信する。例えば入力処理部１０２Ｆ１は、オペレータの遠隔操作によるプロセス制御部１０２Ｆ４の動作を制御するためのコントロール用ＧＵＩボタンの押下する命令に対応する操作信号を受け付ける。入力処理部１０２Ｆ１は、操作信号を受け付ける処理に限られない。例えば、入力処理部１０２Ｆ１は、操作情報として製造装置の設定に係る数値などのデータ、またはパラメータを受け付けてもよい。

なお、入力処理部１０２Ｆ１は、入力されたデータを後段の処理で読み込み可能な形式、または高速に処理できる形式にデータを変換、または加工する処理などを行ってもよい。また、入力処理部１０２Ｆ１は、入力されたデータから入力用の通信に用いたヘッダデータなど後段の処理には不要な情報を削除する処理を行ってもよい。

制御処理部１０２Ｆ２は、後述するＣＰＵ１０２Ｈ３などによって、製造装置１０２の有する各装置、プロセス制御部１０２Ｆ４、または製造装置１０２に接続された外部装置（図示せず）などの制御を行う。例えば制御処理部１０２Ｆ２は、入力処理部１０２Ｆ１に入力されたプロセス制御部１０２Ｆ４を動作させる操作信号に基づいてプロセス制御部１０２Ｆ４を動作させるなどの制御を行う。

制御処理部１０２Ｆ２は、後述するＣＰＵ１０２Ｈ３などによって、製造装置１０２の操作用のＧＵＩを含む操作画面を生成し、生成した操作画面を後述する出力処理部１０２Ｆ３に出力させる。

出力処理部１０２Ｆ３は、後述するＣＰＵ１０２Ｈ３、および後述する画像出力コネクタ１０２Ｈ４などによって、製造装置１０２を操作するための画像データである操作画面を出力する。出力処理部１０２Ｆ３が出力する操作画像は、リモートＫＶＭ装置１０１に出力され、リモートＫＶＭ装置１０１、およびネットワーク２００を介してオペレータ端末１００に送信される。また、出力処理部１０２Ｆ３が出力する操作画像は、リモートＫＶＭ装置１０１に出力され、リモートＫＶＭ装置１０１に接続されている出力装置に出力される。

プロセス制御部１０２Ｆ４は、制御装置（図示せず）などによって後述する製造プロセス用装置１０２２を制御する。

＜製造装置のハードウェア構成＞
図５は、本発明の一実施形態に係る製造装置のハードウェア構成の一例を説明するブロック図である。

製造装置１０２は、情報処理装置１０２１と、製造プロセス用装置１０２２と、を有する。情報処理装置１０２１、および製造プロセス用装置１０２２は、ケーブル１０２３で接続されている。

情報処理装置１０２１は、コンピュータである。情報処理装置１０２１は、例えばＰＣ、サーバ、またはメインフレームなどである。

情報処理装置１０２１は、補助記憶装置１０２Ｈ１と、記憶装置１０２Ｈ２と、ＣＰＵ１０２Ｈ３と、画像出力コネクタ１０２Ｈ４と、入力コネクタ１０２Ｈ５と、入出力コネクタ１０２Ｈ６と、を有する。

情報処理装置１０２１の各構成要素は、バス１０２Ｈ７により接続されている。なお、バス１０２Ｈ７への接続は、ブリッジ回路（図示せず）を介して接続した構成でもよい。また、情報処理装置１０２１の構成は、図５に示した構成に限られない。例えば、バス１０２Ｈ７は、複数のバスを有してもよい。例えば、ＣＰＵ１０２Ｈ３など高速な伝送用のバスと、入出力コネクタ１０２Ｈ６など低速な伝送用のバスと、が異なり、ブリッジ回路（図示せず）を介してバス同士が相互に接続されている構成でもよい。

補助記憶装置１０２Ｈ１は、ＣＰＵ１０２Ｈ３、および制御装置（図示せず）などの制御によって、ＣＰＵ１０２Ｈ３が行う処理の中間結果を含む各種データ、パラメータ、またはプログラムなどの情報を記憶する。補助記憶装置１０２Ｈ１は、例えば、ハードディスク、フラッシュＳＳＤなどである。

記憶装置１０２Ｈ２は、ＣＰＵ１０２Ｈ３が実行するプログラムが使用する記憶領域、いわゆるメモリなどの主記憶装置である。記憶装置１０２Ｈ２は、データ、プログラム、またはパラメータなどの情報を記憶する。

ＣＰＵ１０２Ｈ３は、情報処理装置１０２１が行う各処理のための演算、制御を行う。例えばＣＰＵ１０２Ｈ３は、バス１０２Ｈ７を介して補助記憶装置１０２Ｈ１と、記憶装置１０２Ｈ２と、入出力コネクタ１０２Ｈ６と、の間で情報の入出力を行う。また、ＣＰＵ１０２Ｈ３は、各種のプログラムを実行する。

なお、ＣＰＵ１０２Ｈ３は、並列処理によって高速化を行うために、複数のＣＰＵ、または複数のコアから構成されていてもよい。また、ＣＰＵ１０２Ｈ３による処理は、情報処理装置１０２１の内部、または外部に別のハードウェアリソースを有し、ＣＰＵ１０２Ｈ３の補助をさせて処理が行われてもよい。

なお、ＣＰＵ１０２Ｈ３が実行するプログラムが使用する記憶領域は、記憶装置１０２Ｈ２の記憶領域に限られない。例えば、記憶領域は、補助記憶装置１０２Ｈ１の記憶領域を使用する、いわゆる仮想メモリ方式を用いてもよい。

画像出力コネクタ１０２Ｈ４と、入力コネクタ１０２Ｈ５と、は、例えばリモートＫＶＭ装置１０１などの外部装置と接続し、外部装置とデータまたは制御信号の入出力を行うためのバス、いわゆる外部バスである。

画像出力コネクタ１０２Ｈ４は、例えばアナログＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）用のＤ−Ｓｕｂ１５ピンコネクタ、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）、またはＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）など画像信号を伝送するためのインタフェースである。

入力コネクタ１０２Ｈ５は、例えばＰＳ／２コネクタ、ＵＳＢ、またはＲＳ−２３２Ｃ（Ｒｅｃｏｍｍｅｎｄｅｄ Ｓｔａｎｄａｒｄ ２３２Ｃ）など制御信号を伝送するためのインタフェースである。入力コネクタ１０２Ｈ５は、ＩＥＥＥ（Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，Ｉｎｃ．）１３９４、またはＴｈｕｎｄｅｒｂｏｌｔ（登録商標）などでもよい。

画像出力コネクタ１０２Ｈ４、および入力コネクタ１０２Ｈ５は、規格に準じたコネクタ形状、接続ピンなどの物理的な接続端子、接続端子を介して入力された信号を処理する処理回路（図示せず）、およびドライバ（図示せず）などを有する。なお、入力コネクタ１０２Ｈ５は、有線に限られない。例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線を用いてもよい。また、入力コネクタ１０２Ｈ５は、リモートＫＶＭ装置１０１が受信可能な形式にデータをデコーダ／エンコーダする処理、またはリモートＫＶＭ装置１０１の受信部と同期を取るなどのタイミング調整を行う回路（図示せず）を有してもよい。

なお、画像出力コネクタ１０２Ｈ４、および入力コネクタ１０２Ｈ５は、複数のコネクタ、処理回路、およびケーブルから構成されてもよい。

入出力コネクタ１０２Ｈ６は、製造プロセス用装置１０２２を制御するための入出力信号を送受信するインタフェースである。

例えば入出力コネクタ１０２Ｈ６は、Ｄ／Ａ変換回路（図示せず）、および出力コネクタ（図示せず）を有し、出力コネクタにケーブル１０２３を接続させる。入出力コネクタ１０２Ｈ６は、入力コネクタ１０２Ｈ５を介してリモートＫＶＭ装置１０１から入力された入力信号に基づいて製造プロセス用装置１０２２を制御するための制御信号を生成する。

例えば入出力コネクタ１０２Ｈ６は、Ａ／Ｄ変換回路（図示せず）、および入力コネクタ（図示せず）を有し、入力コネクタにケーブル１０２３を接続させる。入出力コネクタ１０２Ｈ６は、製造プロセス用装置１０２２から出力された制御信号を受信し、製造プロセス用装置１０２２の状態などを把握する。

製造装置１０２は、入出力コネクタ１０２Ｈ６が入出力した制御信号に基づいて製造プロセス用装置１０２２の操作用の操作画面を生成し、画像出力コネクタ１０２Ｈ４を介してリモートＫＶＭ装置１０１へ画像を出力する。

製造装置１０２は、リモートＫＶＭ装置１０１から入力コネクタ１０２Ｈ５を介して入力した制御信号に基づいて製造プロセス用装置１０２２を操作するための信号を生成し、製造プロセス用装置１０２２を制御させて製造プロセスを実行する。

また、製造装置１０２は、製造プロセス用装置１０２２が実装する各種センサ（図示せず）によって製造装置１０２の状態などを把握し、状態を反映させた操作画面データを生成し、生成した操作画面データに基づいてリモートＫＶＭ装置１０１に画像信号を出力する。

なお、第二の情報処理機器は、製造装置に限られない。例えば、第二の情報処理機器は、ＰＣ、サーバ、またはメインフレームなど情報処理装置でもよい。また、第二の情報処理機器は、他のＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）用装置、ロボット、または機械工作装置などを制御する情報処理装置でもよい。

＜リモートＫＶＭ装置＞
図６は、本発明の一実施形態に係るリモートＫＶＭ装置の一例を説明する機能ブロック図である。

リモートＫＶＭ装置１０１は、入力処理部１０１Ｆ１と、記憶部１０１Ｆ２と、制御処理部１０１Ｆ３と、制限処理部１０１Ｆ４と、出力処理部１０１Ｆ５と、を有する。

入力処理部１０１Ｆ１は、画像入力部１０１Ｆ１１と、制限データ入力部１０１Ｆ１２と、制御信号入力部１０１Ｆ１３と、を有する。

入力処理部１０１Ｆ１は、各コネクタによって他の装置から入力信号を受信し、リモートＫＶＭ装置１０１に信号、およびデータを入力するための処理を行う。入力データは、入力された入力信号に基づいて変換などの処理が行われ、生成される。

画像入力部１０１Ｆ１１は、製造装置１０２から画像信号を受信し、受信した画像信号に基づいて操作画面の画像データを生成するなど、画像データを入力するための処理を行う。

制限データ入力部１０１Ｆ１２は、記憶媒体などから制限処理用の制限データを入力するための処理を行う。制限データは、詳細は後述する。

制御信号入力部１０１Ｆ１３は、オペレータ端末１００から製造装置１０２を操作するための制御信号を受信する。

なお、入力処理部１０１Ｆ１は、後段の処理の前処理として、データを所定のフォーマット形式に変換、または不要なデータを削除する処理などを行ってもよい。

記憶部１０１Ｆ２は、後述する記憶装置１０１Ｈ２に各データ、パラメータ、各処理の中間処理結果のデータなど情報を記憶させる。記憶部１０１Ｆ２は、入力処理部１０１Ｆ１から入力された各種データを後述する記憶装置に記憶させる。

制御処理部１０１Ｆ３は、後述する演算装置１０１Ｈ１、および各装置の制御装置（図示せず）などによって、リモートＫＶＭ装置１０１の有する各装置の制御を行う。

制限処理部１０１Ｆ４は、後述する演算装置１０１Ｈ１によって、後述する制限処理を行うための処理を行う。

制限処理部１０１Ｆ４は、判定処理部１０１Ｆ４１と、禁止処理部１０１Ｆ４２と、画像処理部１０１Ｆ４３と、メッセージ出力処理部１０１Ｆ４４と、を有する。

判定処理部１０１Ｆ４１は、後述する演算装置１０１Ｈ１によって、後述する判定処理を行う。

禁止処理部１０１Ｆ４２、画像処理部１０１Ｆ４３、およびメッセージ出力処理部１０１Ｆ４４は、後述する演算装置１０１Ｈ１によって、判定処理の結果に基づいて後述する各種の制限処理を行う。制限処理について詳細は後述する。

出力処理部１０１Ｆ５は、後述する演算装置１０１Ｈ１、各Ｉ／Ｆ、および各装置の制御装置（図示せず）などによって、リモートＫＶＭ装置１０１から外部の装置へデータを出力するための処理を行う。

出力処理部１０１Ｆ５は、画像出力部１０１Ｆ５１と、制限信号出力部１０１Ｆ５２と、を有する。出力データは、出力処理部１０１Ｆ５によって出力され、リモートＫＶＭ装置１０１からオペレータ端末１００、または製造装置１０２へ送信される信号などである。

画像出力部１０１Ｆ５１は、後述する演算装置１０１Ｈ１、後述するネットワークＩ／Ｆ１０１Ｈ４、または後述する画像出力Ｉ／Ｆ１０１Ｈ８によって、画像を出力する。画像に係る制限処理が行われた場合、画像出力部１０１Ｆ５１は、制限処理が行われた画像を出力する。例えば画像出力部１０１Ｆ５１は、後述するネットワークＩ／Ｆ１０１Ｈ４を用いてネットワーク２００を介してオペレータ端末１００へ画像データを送信する処理を行う。また、画像出力部１０１Ｆ５１は、後述する画像出力Ｉ／Ｆ１０１Ｈ８に接続されたディスプレイ１０１Ｈ８１など出力装置へデータを出力する。

制限信号出力部１０１Ｆ５２は、後述する演算装置１０１Ｈ１、および出力用コネクタ１０１Ｈ６によって、制限処理が行われた制御信号を出力する。例えば制限信号出力部１０１Ｆ５２は、ネットワーク２００を介してオペレータ端末１００から入力された制御信号に制限処理が行われた場合、制限処理された制御信号を製造装置１０２に出力する。

なお、出力処理部１０１Ｆ５は、出力する処理の前処理として、出力先が読み取り可能な形式にデータを変換する処理を行ってもよい。例えばＤ／Ａ変換、ＲＧＢ２ＹＣＣ変換などの処理である。また、出力処理部１０１Ｆ５は、ネットワークを介して送信するためにヘッダデータなどを付加する処理、暗号化、圧縮処理、またはエンコード処理などを行ってもよい。

＜リモートＫＶＭ装置のハードウェア構成＞
図７は、本発明の一実施形態に係るリモートＫＶＭ装置のハードウェア構成の一例を説明するブロック図である。

リモートＫＶＭ装置１０１は、演算装置１０１Ｈ１と、記憶装置１０１Ｈ２と、メディアコネクタ１０１Ｈ３と、ネットワークＩ／Ｆ１０１Ｈ４と、入力用コネクタ１０１Ｈ５と、出力用コネクタ１０１Ｈ６と、画像入力Ｉ／Ｆ１０１Ｈ７と、画像出力Ｉ／Ｆ１０１Ｈ８と、を有する。

演算装置１０１Ｈ１は、各種の演算、および制御を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、制御装置、および周辺回路から構成される。演算装置１０１Ｈ１は、例えばＦＰＧＡ、ＣＰＬＤ、ＡＳＩＣ、ＤＳＰ、またはＳｉＰ（Ｓｙｓｔｅｍ ｉｎ ａ Ｐａｃｋａｇｅ）などで実現されてもよい。さらに、演算装置１０１Ｈ１は、複数のＩＣ、または複数のコア（ｃｏｒｅ）から構成されてもよい。

記憶装置１０１Ｈ２は、演算装置１０１Ｈ１が演算に用いるデータなどの情報を記憶する記憶装置であり、いわゆるメモリである。記憶装置１０１Ｈ２は、例えばＤＤＲ−ＳＤＲＡＭ（Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、またはＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などである。なお、記憶装置１０１Ｈ２は、タイミング調整を行う、いわゆるアービトレーション（Ａｒｂｉｔｒａｔｉｏｎ）回路、またはビット（Ｂｉｔ）幅を変換するラッパー（Ｗｒａｐｐｅｒ）回路などの周辺回路を有してもよい。

メディアコネクタ１０１Ｈ３は、記録媒体であるメディア１０１Ｈ３１を電気的に接続し、メディア１０１Ｈ３１とファイル、またはデータなど情報を入出力するためのインタフェースである。メディアコネクタ１０１Ｈ３は、メディア１０１Ｈ３１に対応したソケット、接続ピンなどの接続端子を有する。また、メディアコネクタ１０１Ｈ３は、接続端子を介して入出力される信号を処理する処理回路を有するＩＣ（図示せず）などを有する。

メディア１０１Ｈ３１は、例えばＳＤ（登録商標）カード、コンパクトフラッシュ（登録商標）などフラッシュメモリである。なお、メディアコネクタ１０１Ｈ３をＵＳＢコネクタとし、メディア１０１Ｈ３１をＵＳＢメモリとしてもよい。

また、情報の入出力は、記憶媒体を介する方式に限られない。例えば、後述するネットワークＩ／Ｆ１０１Ｈ４によって、ネットワーク２００に接続されているファイルサーバ（図示せず）にファイルなどの情報を格納し、リモートＫＶＭ装置１０１は、ネットワーク２００を介して情報を取得する記憶媒体を不要とする方式によって情報を入出力してもよい。

ネットワークＩ／Ｆ１０１Ｈ４は、ネットワーク２００に接続し、別の装置とデータなどの情報を送受信するためのインタフェースである。ネットワークＩ／Ｆ１０１Ｈ４は、例えばＬＡＮに対応するＲＪ−４５コネクタ、および処理回路を有したＩＣなどを有する。ネットワークＩ／Ｆ１０１Ｈ４は、例えばネットワーク２００を介してオペレータ端末１００と、オペレータ端末１００から製造装置１０２を操作するための制御信号の入力、およびオペレータ端末１００へ製造装置１０２の操作画面に基づいた画像信号の出力などを行う。なお、ネットワークＩ／Ｆ１０１Ｈ４は、有線に限られない。例えばネットワークＩ／Ｆ１０１Ｈ４は、アンテナ、および無線ＬＡＮ用の処理回路などを有し、無線ＬＡＮで実現してもよい。

入力用コネクタ１０１Ｈ５は、入力装置を接続するためのインタフェースである。入力用コネクタ１０１Ｈ５は、例えばＵＳＢコネクタ、ＰＳ／２などである。入力用コネクタ１０１Ｈ５は、処理回路を有したＩＣなどを有する。入力用コネクタ１０１Ｈ５は、キーボード１０１Ｈ５１、またはマウス１０１Ｈ５２など入力装置が接続される。製造装置１０２のオペレータは、入力装置によって操作画面におけるＧＵＩから製造装置１０２を操作するための指示を入力する。入力用コネクタ１０１Ｈ５は、入力された指示に基づいて出力データを生成し、後述する出力用コネクタ１０１Ｈ６に製造装置１０２へ出力データに基づいた制御信号を出力させる。なお、入力用コネクタ１０１Ｈ５は、有線に限られない。例えば入力用コネクタ１０１Ｈ５は、アンテナ、および規格に準じた処理を行う処理回路などを有し、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線で実現してもよい。また、入力装置は、ペンタブレットなどポインティングデバイスなどでもよい。

出力用コネクタ１０１Ｈ６は、製造装置１０２と接続し、製造装置１０２へ出力データに基づいた制御信号を出力するためのインタフェースである。出力用コネクタ１０１Ｈ６は、例えばＲＳ２３２−Ｃコネクタなどである。

画像入力Ｉ／Ｆ１０１Ｈ７は、製造装置１０２と接続し、製造装置１０２から操作画面に基づく画像信号を入力するためのインタフェースである。

画像出力Ｉ／Ｆ１０１Ｈ８は、ディスプレイ１０１Ｈ８１など出力装置と接続し、画像入力Ｉ／Ｆ１０１Ｈ７に入力された操作画面をディスプレイ１０１Ｈ８１に出力するための出力を行うインタフェースである。なお、出力装置は、ディスプレイ１０１Ｈ８１に代えてプロジェクタなどの投影装置でもよい。

なお、入力用コネクタ１０１Ｈ５に接続される入力装置と、画像出力Ｉ／Ｆ１０１Ｈ８に接続される出力装置と、は入力装置と出力装置が一体となった装置、いわゆるタッチパネルなどであってもよい。

なお、リモートＫＶＭ装置１０１は、コネクタ（図示せず）を有し、いわゆるインターロック信号を入力できてもよい。例えば、リモートＫＶＭ装置１０１は、インターロック信号が入力された場合、オペレータ端末１００からの遠隔操作を中止させるための処理を行うでもよい。また、インターロックは、リモートＫＶＭ装置１０１にスイッチ（図示せず）を設置し、スイッチのＯＮ／ＯＦＦによって実現されてもよい。

＜全体処理＞
図８は、本発明の一実施形態に係る情報処理システムによる全体処理の一例を説明するフローチャートである。

ステップＳ０８０１では、図１のリモートＫＶＭ装置１０１は、図１の製造装置１０２から操作画面を取得する。図１のオペレータ端末１００は、図１のリモートＫＶＭ装置１０１が取得した操作画面を図１のリモートＫＶＭ装置１０１から取得する。

ステップＳ０８０２では、オペレータは、図１のオペレータ端末１００に図１の製造装置１０２に所定の動作を行わせるための操作を入力する。

ステップＳ０８０３では、図１のオペレータ端末１００は、ステップＳ０８０２でオペレータが入力した操作に対応する制御信号を図１のリモートＫＶＭ装置１０１に送信する。送信された制御信号は、図１のリモートＫＶＭ装置１０１の入力処理部１０１Ｆ１によって、図１のリモートＫＶＭ装置１０１に入力され、入力データが生成される。

ステップＳ０８０４では、図１のリモートＫＶＭ装置１０１は、ステップＳ０８０１で取得した操作画面と、図１のリモートＫＶＭ装置１０１の記憶部１０１Ｆ２に記憶されている制限データと、に基づいて後述する制限処理を行うか否かの判定を行うための処理を行う。判定処理は、詳細は後述する。

ステップＳ０８０５では、図１のリモートＫＶＭ装置１０１は、ステップＳ０８０４の判定処理の結果に基づいて制限処理を行うか否か判断する。制限処理が必要な場合（ステップＳ０８０５でＹＥＳ）、ステップＳ０８０６に進み、後述する制限処理を行う。制限処理が不要な場合（ステップＳ０８０５でＮＯ）、ステップＳ０８０７に進む。

ステップＳ０８０６では、図１のリモートＫＶＭ装置１０１は、ステップＳ０８０２で入力された制御信号、またはステップＳ０８０１で取得された操作画面に詳細は後述する制限処理を行う。

なお、各処理は、ネットワークを介して処理の一部または全部を複数のハードウェアリソースによって分散して処理されてもよい。

＜判定処理＞
図９は、本発明の一実施形態に係る判定処理の一例を説明するフローチャートである。

判定処理は、図８のステップＳ０８０４の処理に相当する。判定処理は、図６の判定処理部１０１Ｆ４１によって行われる。

ステップＳ０９０１では、図６の判定処理部１０１Ｆ４１は、図８のステップＳ０８０１で取得した操作画面を図６の画像入力部１０１Ｆ１１から取得する。

図１０は、本発明の一実施形態に係る操作画面の一例を説明する図である。操作画面は、説明のため、ＰＣで用いられるいわゆるデクストップ画面を例にして説明する。なお、操作画面はＰＣ用の画面に限られない。例えば、製造装置などの装置を操作するための画面などでもよい。

操作画面は、例えばデスクトップ画面３である。以下、操作画面がデスクトップ画面３の場合を例に説明する。

デスクトップ画面３は、例えばタイトルテキスト３１と、端末操作アイコン３２と、カメラアプリケーションソフトアイコン３３と、データ削除アイコン３４と、ネットワークグループ３５と、を有する。ネットワークグループ３５は、例えばメールアプリケーションソフトアイコン３５１とネットワーク利用アプリケーションソフトアイコン３５２など同様の種類のアイコンをグループ化したウィンドウである。

ステップＳ０９０２では、図６の判定処理部１０１Ｆ４１は、タイトルテキスト３１と同様の画像データを図６の制限データ入力部１０１Ｆ１２から制限データを取得する。制限データは例えばパターンデータである。制限データは、例えばメディア１０１Ｈ３１に記憶されている制限データを取得し、記憶部１０１Ｆ２に記憶する。パターンデータは、例えばタイトルテキスト３１の画像データである。

タイトルテキスト３１は、操作画面を送信した製造装置１０２の状態を示すデータである。例えば図１０の場合、タイトルテキスト３１は、製造装置１０２がスタートの状態であることを示す。以下、操作画面が図１０の場合、および制限データがタイトルテキスト３１に示す「スタート」の画像データであり、記憶部１０１Ｆ２に「スタート」の画像データが記憶されている場合を例に説明する。

ステップＳ０９０３では、図６の判定処理部１０１Ｆ４１は、図１０の画像データに、「スタート」画像データと同一の画像があるかを判定する処理、いわゆるパターンマッチング処理を行う。

図１１は、本発明の一実施形態に係るパターンマッチング処理の一例を説明する図である。

パターンマッチング処理は、２つの画像が類似であるかを評価するいわゆるテンプレートマッチング法などのアルゴリズムによって実現される。アルゴリズムは、論理回路に実装が容易な、いわゆるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、またはＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などである。また、アルゴリズムは、輝度、または明るさの変化に強くするために、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、またはＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）でもよい。さらに、アルゴリズムは、高精度な対応付けを行うために、ＰＯＣ（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）などでもよい。

図１１（ａ）は、パターンマッチング処理の対象となる画像の例である。パターンマッチング処理の対象となる画像は、図１０で示したデスクトップ画面３である。

図１１（ｂ）は、テンプレート画像の例である。テンプレート画像は、記憶部１０１Ｆ２に記憶された画像であり、タイトルテキスト３１と同一の「スタート」画像データである。

パターンマッチング処理は、例えば図１１（ａ）のデスクトップ画面３を、図１１（ｂ）のテンプレート画像と同じ面積の画像領域に分割し、分割された各領域がテンプレート画像と同一か否かで判定する。判定は、例えば各画像領域を構成する全画素の輝度値の総和が、テンプレート画像の総和と同一である場合、または双方の総和の差が所定の値以下である場合、２つの画像は同一の画像と判定する。図６の判定処理部１０１Ｆ４１は、全画像のうち、１以上同一の画像であると判定された場合、デスクトップ画面３は、テンプレート画像を含むと判定する。

なお、判定は、輝度値に代えて例えばＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅなどの色を示す値によって行われてもよい。また、判定は、総和に代えて、平均値など統計処理によって算出できる別の値を用いてもよい。

また、パターンマッチング処理は、画像によるテンプレートマッチング法に限られない。例えば、図１０の画像データにおいて文字認識を用いて行ってもよい。文字認識によるパターンマッチング処理は、例えば記憶部１０１Ｆ２に「スタート」のテキストデータを記憶し、文字認識処理によって図１０の画像データにある文字と同一であるか否かを判断する処理などである。

さらに、パターンマッチング処理は、画像によるテンプレートマッチングと、文字認識によるテンプレートマッチングと、を組み合わせて行われてもよい。

ステップＳ０９０４では、図６の判定処理部１０１Ｆ４１は、ステップＳ０９０３のパターンマッチングの結果に基づいて所定のパターンデータと同一の画像が含まれているか否かを判断する。ステップＳ０９０３でデスクトップ画面３がテンプレート画像を含むと判定した場合（ステップＳ０９０４でＹＥＳ）、図６の判定処理部１０１Ｆ４１は、後述する制限処理が必要と判定するステップＳ０９０５に進む。ステップＳ０９０３でデスクトップ画面３がテンプレート画像を含まないと判定した場合（ステップＳ０９０４でＮＯ）、図６の判定処理部１０１Ｆ４１は、後述する制限処理が不要と判定するステップＳ０９０６に進む。

ステップＳ０９０４では、図６の判定処理部１０１Ｆ４１は、設定データを取得する。

図１２は、本発明の一実施形態に係る設定データの一例を説明する表である。

設定データは、図１２の設定データ４で示すように、制限処理によって行われる制限処理内容と、制限処理内容を行う状態が対応付けされて入力されているデータである。図６の判定処理部１０１Ｆ４１は、例えばメディア１０１Ｈ３１に記憶されている設定データ４を取得し、記憶部１０１Ｆ２に記憶する。

例えば、製造装置１０２の管理者が操作画面のデスクトップ画面３が図１０に示した「スタート」の状態において「メールアプリケーションソフトアイコン３５１をクリック可能」と設定する場合、設定データには図１２の設定データ４で示した「設定番号」が「１」のような設定を行う。設定は、設定データ４の「設定番号」が「１」の場合、状態は「スタート」、制限処理内容は「メールアプリケーションソフトアイコン３５１をクリック可」というように、制限処理を行う状態と、制限処理内容と、を対応付けして設定データ４に入力する。すなわち、この場合、図６の判定処理部１０１Ｆ４１は、図１０に示したデスクトップ画面３によって「スタート」の状態であると判定する。

次に、図６の判定処理部１０１Ｆ４１は、「スタート」の状態の場合、制限処理が必要と判定し、「スタート」の状態以外の場合、制限処理が不要と判定する。したがって、ステップＳ０９０４では、図６の判定処理部１０１Ｆ４１は、スタート」のテンプレート画像をデスクトップ画面３に含むと判定した場合、制限処理が必要と判定する。

なお、図１２の設定データ４の設定番号が１、および設定番号が２のように、１つの状態に対して複数の制限処理内容を設定してもよい。

また、図１２の設定データ４の設定番号が１、および設定番号が３のように、複数の状態に制限処理内容を設定してもよい。

なお、図１２においては「設定番号」に対し「状態」と「制限処理内容」を設定したが、操作者の属性に応じて設定内容を変更してもよい。例えば、操作者が管理者か一般ユーザーかによって、制限処理の設定内容を変更してもよい。半導体製造装置の遠隔操作の場合であれば、操作者がメンテナンス作業者、プロセス技術者、プロセスオペレータかによって制限処理の設定内容を適宜変更することができる。その場合、オペレータ端末へのログインＩＤ等により操作者の属性を判断してよい。このように、装置の状態や操作者の属性に応じて設定内容を変更することができるので、遠隔操作における安全性を確保しつつ、操作の自由度を適宜確保することができる。

パターンマッチング処理によって、図１のリモートＫＶＭ装置１０１は、製造装置１０２の状態を操作画像の画像データから判断することができる。

＜制限処理＞
図１３は、本発明の一実施形態に係る第１実施形態の制限処理の一例を説明するフローチャートである。

制限処理は、前段の処理である判定処理で制限処理が必要と判定された場合、すなわち図８のステップＳ０８０５でＹＥＳとなった場合、行われる処理である。

制限処理によって、図１のリモートＫＶＭ装置１０１は、オペレータが行う製造装置１０２の遠隔操作のうち、所定の処理を行わせない、または無効にするための制限を遠隔操作に対し行うことができる。

ステップＳ１３０１では、図６の制限処理部１０１Ｆ４は、操作画面であるデスクトップ画面３を取得する。

ステップＳ１３０２では、図６の制限処理部１０１Ｆ４は、ステップＳ０８０４の判定処理で判定された製造装置１０２の状態を取得する。

ステップＳ１３０３では、図６の制限処理部１０１Ｆ４は、図８の判定処理で取得された設定データ４から制限処理内容を取得する。

ステップＳ１３０４では、図６の制限処理部１０１Ｆ４は、制御信号から制限処理の対象となる信号を制限する処理を行う。制限する処理は、例えば対象となる信号を消去する処理などである。オペレータが設定データ４で制限処理の対象となる処理を入力した場合、図６の制限処理部１０１Ｆ４は、製造装置１０２に出力する制御信号から制限処理の対象となる処理対応した制御信号を制限する。すなわち、リモートＫＶＭ装置１０１は、制限処理の対象となる操作がオペレータ端末１００から入力された場合、製造装置１０２に対して出力を行わない。

例えば、図１２の設定データ４の場合、ステップＳ０８０４の判定処理において製造装置１０２の状態が「スタート」であり、設定データ４より設定番号「１」および「２」の制限が必要であると判定されたとすると、リモートＫＶＭ装置１０１は、オペレータがオペレータ端末１００からの操作のうち、メールアプリケーションソフトアイコン３５１のクリック以外の操作は制限処理の対象として処理を行う。例えば、図１２の設定データ４の場合、かつ、オペレータがメールアプリケーションソフトアイコン３５１以外であるカメラアプリケーションソフトアイコン３３をクリックする操作をした場合、ステップＳ１３０４では、図６の制限処理部１０１Ｆ４は、カメラアプリケーションソフトアイコン３３をクリックする操作に基づく制御信号を制限する。

制限処理の対象となるか否かの判断は、例えばリモートＫＶＭ装置１０１は、画面内の制限処理の対象となる領域と、制限処理の対象とならない領域と、の座標データを有する。リモートＫＶＭ装置１０１は、オペレータ端末１００から入力された操作が制限処理の対象となる領域で行われた操作か制限処理の対象とならない領域かによって座標データから判断することによって、アイコンの操作に対して制限された操作か否かを判断する。

制限処理の対象となる処理に対応した制御信号を制限することで、図１のリモートＫＶＭ装置１０１は、製造装置１０２に安全な操作に基づく制御信号を送信するので、装置の遠隔操作おいて安全性を確保した操作ができる。

なお、ステップＳ１３０４で制限の対象となる操作は、クリックに基づく入力に限られない。他の図７の出力用コネクタ１０１Ｈ６から製造装置１０２へ出力される制御信号を制限処理してもよい。例えば、図３のキーボード１００Ｈ５１によって入力されたテキストデータ、または図７の出力用コネクタ１０１Ｈ６から製造装置１０２へ出力されるＲＳ２３２Ｃの制御信号指示などを制限処理してもよい。

また、ステップＳ１３０４で操作を制限する処理を行った場合、オペレータに通知する処理を行ってもよい。

以下、図１２の設定データ４の場合、かつ、オペレータがメールアプリケーションソフトアイコン３５１以外であるカメラアプリケーションソフトアイコン３３をクリックする操作をした場合を例に説明する。

図１４は、本発明の一実施形態に係る第１実施形態の制限処理の一例を説明する図である。

図１４は、メッセージボックスを用いてオペレータに通知する一例である。ステップＳ１３０４でカメラアプリケーションソフトアイコン３３をクリックする操作に対応する制御信号について、制御信号を制限する処理を行った場合、図１のリモートＫＶＭ装置１０１は、図１４に示す通知用のデスクトップ画面９をオペレータ端末１００へ送信する。

通知用のデスクトップ画面９は、図１０のデスクトップ画面３にカメラアプリケーションソフトアイコン３３をクリックする操作は制限処理されている旨を知らせるメッセージボックス９１を重ねて生成される。

メッセージボックス９１によって、オペレータは、制限処理される操作を知ることができる。

なお、オペレータへの通知方法は、メッセージボックス９１に限られない。例えば、オペレータ端末１００に警告音を出力させる処理、または他のポップアップＧＵＩを用いた処理を行うでもよい。

なお、図６の記憶部１０１Ｆ２に記憶される制限データは、制限処理の対象を特定するデータに限られない。例えば、制限処理の対象から外れるデータを記憶し、記憶されたデータ以外の箇所を制限処理するとしてもよい。

また、図６の記憶部１０１Ｆ２に記憶される制限データは、画像のデータに限られない。制限データは、例えば、文字、または記号を記憶するテキストデータでもよい。制限データは、例えば画面の一定の範囲、大きさ、位置、またはレイアウトを示すための座標データでもよい。制限データは、例えばＱＲコード（登録商標）、またはバーコードなどのマーカデータでもよい。制限データは、例えばエラーメッセージボックスなどを特定するためのメッセージウィンドウの形状、またはレイアウトを示すデータでもよい。

リモートＫＶＭ装置によって、オペレータは、オペレータから物理的に遠方にある装置を操作することが可能である。例えば、半導体製造装置は、空間に浮遊するパーティクルなどが極めて少ない場所いわゆるクリーンルームに設置される。オペレータは、半導体製造装置を操作する場合、クリーンルームに入るが、その際、着替え、手洗い、およびエアーシャワーを浴びるなどの手間が発生する。また、クリーンルーム内で作業するオペレータは、動作、発汗、または呼気などによって汚染源となりうるため、クリーンルームへ入るオペレータの人数、および頻度は少ない方が望ましい。リモートＫＶＭ装置によって、オペレータは、クリーンルームに入ることなく半導体製造装置を操作することができる。

制限処理、および判定処理は、リモートＫＶＭ装置１０１が行う。そのため、オペレータは、オペレータ端末１００、および製造装置１０２には、新たにソフトウェアをインストールするなど改修をする必要が少ない。したがって、リモートＫＶＭ装置１０１により、制御装置、および被制御機器の改修などを少なくし、容易にシステムを構築することができる。なお、改修を行わなくてもシステムの構築が可能である。

また、制御処理は、オペレータの操作を制限することができる処理である。リモートＫＶＭ装置１０１は、製造装置１０２の操作画面から装置の状態を把握することができるので、装置の状態によっては安全性に問題のある遠隔操作に係る制御信号が製造装置１０２へ伝わることを制限することができる。例えば、製造装置１０２が半導体製造装置の場合、オペレータ端末１００のオペレータが遠方におり、製造装置１０２の周辺状況が分からない状況において、製造装置１０２のメンテナンスが行われている最中に装置を操作することは危険を伴う虞がある。遠隔操作による製造装置１０２の操作のうち、製造装置１０２の状態によっては危険と考えられる操作を制限することで安全性を高めることができる。したがって、リモートＫＶＭ装置１０１により、安全性を確保して遠隔操作を行うことができる。

＜第２実施形態＞
第２実施形態としては、本発明の一実施形態に係る情報処理装置、および情報処理システムについて説明する。第２実施形態に係る情報処理システムは、第１実施形態で用いた図１の情報処理システム１を用いる。したがって、図１の情報処理システム１の説明は、省略する。

第２実施形態は、第一の情報処理機器に第１実施形態で用いたオペレータ端末１００を用いた場合を例に説明する。したがって、オペレータ端末１００の説明は、省略する。

第２実施形態は、第二の情報処理機器に第１実施形態で用いた製造装置１０２を用いた場合を例に説明する。したがって、製造装置１０２の説明は、省略する。

第２実施形態は、情報処理装置に第１実施形態で用いたリモートＫＶＭ装置１０１を用いた場合を例に説明する。したがって、リモートＫＶＭ装置１０１の説明は、省略する。

第２実施形態の全体処理は、第１実施形態で行う図８の全体処理と同様である。第２実施形態は、ステップＳ０８０４の画像による判定処理、およびステップＳ０８０６の制限処理の内容が異なる。

＜第２実施形態の判定処理＞
図１５は、本発明の一実施形態に係る第２実施形態の判定処理の一例を説明するフローチャートである。

ステップＳ１５０１、およびステップＳ１５０２では、第１実施形態の図９のステップＳ０９０１、およびステップＳ０９０２と同様の処理を行い、図６の判定処理部１０１Ｆ４１は、操作画面、およびパターンデータを取得する。

ステップＳ１５０３では、図６の判定処理部１０１Ｆ４１は、差分画像を生成する。差分画像は、前回の判定処理が行われた操作画面と、現在の判定処理の操作画面と、を比較して異なる部分の画像の領域を含む画像である。前回の判定処理の操作画像は、前回の判定処理の後述するステップＳ１５０８で、例えば図６の記憶部１０１Ｆ２に記憶されている画像データを読み出して取得する。

図６の記憶部１０１Ｆ２に画像データが記憶されていない初回の判定処理は、例えば第１実施形態の判定処理を行うなど、図６の記憶部１０１Ｆ２に記憶されているデータを用いない別の判定処理を行う。以下、初回の判定処理は、第１実施形態の判定処理を行い、後述するステップＳ１５０８で前回の判定処理の各種データが図６の記憶部１０１Ｆ２に記憶されている場合を例に説明する。

図１６は、本発明の一実施形態に係る第２実施形態の差分画像、および差分画像の生成方法の一例を説明する図である。

図１６（ａ）は、前回の判定処理の操作画像の一例である。図１６（ａ）である前回の判定処理の操作画像が例えば、図１０で示したデスクトップ画面３である場合を例に説明する。

図１６（ｂ）は、現在の判定処理の操作画像の一例である。図１６（ｂ）は、前回の判定処理の操作画像である図１６（ａ）のデスクトップ画面３にフォルダ７１が追加された変更後デスクトップ画面７である。

以下、前回の判定処理の操作画像は、図１６（ａ）のデスクトップ画面３、および現在の判定処理の操作画像は、図１６（ｂ）現在の判定処理の操作画像が変更後デスクトップ画面７の場合を例に説明する。

図１６（ｃ）は、ステップＳ１５０３で生成された差分画像の一例である。差分画像８は、図１６（ａ）のデスクトップ画面３と、図１６（ｂ）の変更後デスクトップ画面７と、を比較し、異なる部分を抽出した画像である。図１６（ａ）のデスクトップ画面３と、図１６（ｂ）の変更後デスクトップ画面７と、では変更後デスクトップ画面７にフォルダ７１が追加されている部分が異なるので、図１６（ｃ）は、例えばフォルダ７１の画像となる。

ステップＳ１５０４乃至ステップＳ１５０７では、図６の判定処理部１０１Ｆ４１は、第１実施形態の図９のステップＳ０９０３乃至ステップＳ０９０６の処理を、第１実施形態では変更後デスクトップ画面７全体に行ったのに対して、差分画像８に対して同様の処理を行う。

ステップＳ１５０４乃至ステップＳ１５０７で、図６の判定処理部１０１Ｆ４１は、変更後デスクトップ画面７に対して画像サイズが小さい差分画像８についてパターンマッチング処理、および制限処理が必要かの判定処理を行う。パターンマッチング処理、および制限処理が必要かの判定処理は、小さい画像に対して行うため、計算量が少なく、高速に処理することができる。

ステップＳ１５０４では、差分画像８の場合、第１実施形態と同様に、図６の判定処理部１０１Ｆ４１は、差分画像８に「スタート」の文字が含まれているか否かをパターンマッチングによって判定する。

ステップＳ１５０５では、差分画像８に「スタート」の文字が含まれている場合、制限処理が必要と判定するステップＳ１５０６に進む。ステップＳ１５０５では、差分画像８に「スタート」の文字が含まれていない場合、制限処理が必要か否かの判定は、後述するステップＳ１５０８で記憶されている前回の判定処理の結果と同様の判定を行うステップＳ１５０７に進む。変更後デスクトップ画面７は、図１６（ｂ）で示した通り、タイトルテキスト３１に「スタート」の文字を有している。前回の判定処理では、ステップＳ１５０６によって制限処理を必要と判定する処理が行われており、制限処理を必要と判定した結果が図６の記憶部１０１Ｆ２に記憶されている。したがって、ステップＳ１５０７では、制限処理が必要と判定する処理が行われる。

ステップＳ１５０８では、図６の判定処理部１０１Ｆ４１は、図６の記憶部１０１Ｆ２に変更後デスクトップ画面７、差分画像８、差分画像８の座標位置、およびステップＳ１５０７で制限処理が必要と判定した結果を記憶させる。

＜第２実施形態の制限処理＞
第２実施形態の制限処理は、第１実施形態の制限処理と同様である。第２実施形態の制限処理は、図１４で説明したようにメッセージによって、オペレータは、制限処理される操作を知ることができる。

なお、第２実施形態の制限処理は、図１４で説明したメッセージによる制限処理と、後述するマスク処理と、を組合わせた制限処理を行ってもよい。さらに、第２実施形態の制限処理は、第１実施形態の制御信号を制限する処理を差分の情報で行ってもよい。

図１７は、本発明の一実施形態に係る第２実施形態の制限処理の一例を説明するフローチャートである。第２実施形態の制限処理は、例えば制限処理として、後述するマスク処理を行う。以下、第２実施形態の制限処理を、後述するマスク処理の場合で説明する。

マスク処理は、例えば図１２の設定データ４で使用を制限すると設定されたアイコンに網掛けなどの処理を行い、画面上で視覚的にオペレータへ使用が制限されていることを表示する処理である。

マスク処理は、例えば図１２の設定データ４で使用を制限すると設定されたアイコンに網掛けなどの処理を行う。網掛けなどの処理がされた領域でオペレータの操作した場合、マスク処理は、図６の制限処理部１０１Ｆ４が操作に対応する製造装置１０２に出力する制御信号を制限する処理を行い、制限する処理が行われることを示す処理である。

マスク処理の詳細は、後述する。

第２実施形態の制限処理は、制限処理を差分画像８に対して行う。第２実施形態の制限処理は、差分画像８に制限処理した画像と、前回の制限処理で生成された後述するマスク処理された操作画像と、合成して操作画像を生成し、出力する。

ステップＳ１７０１では、図６の制限処理部１０１Ｆ４は、差分画像と、前回のマスク処理した操作画面を取得する。差分画像８は、図１５の判定処理で図６の記憶部１０１Ｆ２に記憶されているデータを読み出しして取得する。前回のマスク処理した操作画面は、後述するステップＳ１７０８で、例えば図６の記憶部１０１Ｆ２に記憶されている画像データを読み出して取得する。図６の記憶部１０１Ｆ２に画像データが記憶されていない初回の制限処理は、例えば第１実施形態の制限処理を行うなど、図６の記憶部１０１Ｆ２に記憶されているデータを用いない別の制限処理を行う。以下、初回の制限処理は、第１実施形態の制限処理を行い、後述するステップＳ１７０８で前回の制限処理の各種データが図６の記憶部１０１Ｆ２に記憶されている場合を例に説明する。

ステップＳ１７０２、およびステップＳ１７０３では、図６の制限処理部１０１Ｆ４は、第１実施形態の図１３のステップＳ１３０２、およびステップＳ１３０３と同様の処理を行い、製造装置１０２の状態、および図６の記憶部１０１Ｆ２に記憶されている設定データ４に基づいて制限処理内容を取得する。

ステップＳ１７０４乃至ステップＳ１７０７では、図６の制限処理部１０１Ｆ４は、第１実施形態と異なり、ステップＳ１７０１で取得した差分画像８についてマスク処理の必要かの判断、およびマスク処理を行う。

ステップＳ１７０４では、図６の制限処理部１０１Ｆ４は、差分画像８についてマスク処理が必要か否かの判断を行う。

差分画像８についてステップＳ１７０３で取得した制限処理内容に基づいてマスク処理が必要と判断された場合（ステップＳ１７０４でＹＥＳ）、図６の制限処理部１０１Ｆ４は、差分画像についてマスク処理を行うステップＳ１７０５に進む。差分画像８についてステップＳ１７０３で取得した制限処理内容に基づいてマスク処理が必要でないと判断された場合（ステップＳ１７０４でＮＯ）、図６の制限処理部１０１Ｆ４は、差分画像と、前回のマスク処理した操作画像と、を合成し、合成によって生成した画像を出力するステップＳ１７０７に進む。

ステップＳ１７０５では、図６の制限処理部１０１Ｆ４は、差分画像についてマスク処理を行う。差分画像８が図１６（ｃ）、かつ、設定データが図１２の設定データ４の場合、差分画像８は、図１６（ｃ）で示すようにフォルダ７１である。フォルダ７１は、図１２の設定データ４に基づいてマスク処理が必要と判断される。

図１８は、本発明の一実施形態に係る第２実施形態のマスク処理の一例を説明する図である。

図１８（ａ）は、差分画像の一例である。図１８（ａ）は、図１６（ｃ）の画像と同一である。

図１８（ｂ）は、マスク処理された差分画像の一例である。図１８（ｂ）は、図１８（ａ）の差分画像８をステップＳ１７０５のマスク処理である網掛けによって、マスク処理された差分画像８１である。

ステップＳ１７０６では、図６の制限処理部１０１Ｆ４は、マスク処理された差分画像８１と、前回のマスク処理した操作画像と、を合成し、出力する。前回のマスク処理した操作画像は、例えば後述する図２０（ｃ）のマスク処理されたデスクトップ画面６であり、前回の制限処理の後述するステップＳ１７０８で図６の記憶部１０１Ｆ２に記憶されている。

図１８（ｃ）は、合成によって生成されたデスクトップ画面８２である。

合成によって生成されたデスクトップ画面８２は、図１８（ｃ）で示すように、図６の制限処理部１０１Ｆ４は、後述する図２０（ｃ）のマスク処理されたデスクトップ画面６に、マスク処理された差分画像８１を重ねて操作画面を生成する。

なお、合成の処理を行うために、判定処理における図１５のステップＳ１５０８で、差分画像に係る情報として、差分画像の位置、大きさ、範囲などを示す座標情報を記憶し、制限処理のステップＳ１７０６で用いてもよい。

ステップＳ１７０７では、図６の制限処理部１０１Ｆ４は、例えば後述する図２０（ｃ）のマスク処理されたデスクトップ画面６と、図１８（ａ）の差分画像８を合成し、出力する。

図１８（ｄ）は、差分画像をマスク処理しない場合の合成によって生成された、差分画像をマスク処理しないデスクトップ画面８３である。

差分画像をマスク処理しないデスクトップ画面８３は、例えばステップＳ１７０３で取得される設定データ４でフォルダ７１がメールアプリケーションソフトアイコン３５１と同様にクリック可と設定された場合などに生成される画像である。

差分画像をマスク処理しないデスクトップ画面８３は、ステップＳ１７０６で、図６の制限処理部１０１Ｆ４が差分画像８と、前回のマスク処理した操作画像と、を合成し生成される。

ステップＳ１７０８では、図６の制限処理部１０１Ｆ４は、ステップＳ１７０６の合成によって生成されたデスクトップ画面８２を図６の記憶部１０１Ｆ２に記憶する。

第２実施形態の制限処理は、マスク処理を行うか否かの判断、およびマスク処理の対象をデスクトップ画像より画像サイズの小さい差分画像に対して行うため、計算量が少なく、高速に処理することができる。

なお、デスクトップ画面にフォルダが増えた場合を例にとって説明を行ったが実施形態はこれに限定されない。例えば画面上にポップアップ画面が表示された場合、第２実施形態の差分処理を行ってもよい。例えば、図１２の設定データ４における設定番号「３」のように、状態が「ファイル名を指定して実行」とのポップアップ画面が表示された場合に、その差分画像に対して判定処理および制限処理を行ってもよい。

第２実施形態において、第１実施形態と同様に、制限処理、および判定処理は、リモートＫＶＭ装置１０１によって行なう。そのため、オペレータは、オペレータ端末１００、および製造装置１０２には、新たにソフトウェアをインストールするなど改修をする必要が少ない。したがって、リモートＫＶＭ装置１０１により、制御装置、および被制御機器の改修などを少なくし、容易にシステムを構築することができる。なお、改修を行わなくてもシステムの構築が可能である。

制限処理を行うことで、リモートＫＶＭ装置１０１は、オペレータに遠隔操作で行うと危険な操作を知らせることでオペレータによる危険な操作を制限することができる。したがって、リモートＫＶＭ装置１０１によって、遠隔操作おいて安全性を確保した操作ができる。

＜第３実施形態＞
第３実施形態としては、本発明の一実施形態に係る情報処理装置、および情報処理システムについて説明する。第３実施形態に係る報処理システムは、第３実施形態は、第１実施形態で用いた図１の情報処理システム１を用いる。したがって、図１の情報処理システム１の説明は、省略する。

第３実施形態は、第一の情報処理機器に第１実施形態で用いたオペレータ端末１００を用いた場合を例に説明する。したがって、オペレータ端末１００の説明は、省略する。

第３実施形態は、第二の情報処理機器に第１実施形態で用いた製造装置１０２を用いた場合を例に説明する。したがって、製造装置１０２の説明は、省略する。

第３実施形態は、情報処理装置に第１実施形態で用いたリモートＫＶＭ装置１０１を用いた場合を例に説明する。したがって、リモートＫＶＭ装置１０１の説明は、省略する。

第３実施形態の全体処理は、第１実施形態で行う図８の全体処理と同様である。第３実施形態は、ステップＳ０８０６の制限処理の内容が異なる。

＜第３実施形態の制限処理＞
図１９は、本発明の一実施形態に係る第３実施形態の制限処理の一例を説明するフローチャートである。

図１９の第３実施形態の制限処理は、図１３の第１実施形態の制限処理と比較して、図１３のステップＳ１３０４が、ステップＳ１９０４、およびステップＳ１９０５となっているのが異なる。したがって、図１９の第３実施形態の制限処理におけるステップＳ１９０１乃至ステップＳ１９０３の処理は、図１３の第１実施形態の制限処理におけるＳ１３０１乃至ステップＳ１３０３と同様であり説明を省略する。以下、図１３の第１実施形態の制限処理と異なる箇所を中心に説明する。

ステップＳ１９０４では、図６の制限処理部１０１Ｆ４は、図１２の設定データ４に設定された現在の状態に対応する制限処理を行う。以下、状態が「スタート」の場合、「メールアプリケーションソフトアイコン３５１をクリック可」をメールアプリケーションソフトアイコン３５１の部分以外を網掛けする表示にする処理で行う場合を例に説明する。

ステップＳ１９０４では、図６の制限処理部１０１Ｆ４は、ステップＳ１９０１で取得したデスクトップ画面３にメールアプリケーションソフトアイコン３５１が表示される領域以外にマスク処理を行う。

図２０は、本発明の一実施形態に係る操作画面にマスク処理する一例を説明する図である。

図２０（ａ）は、ステップＳ１９０１で取得されるデスクトップ画面３である。取得されるデスクトップ画面３は、図１０および図９のステップＳ０９０１で取得される画像と同一のデータである。

図２０（ｂ）は、マスク処理に用いるマスクデータの一例である。マスクデータ５は、デスクトップ画面３と画像の縦、および横の画素数が同じ、すなわち同じ大きさの画像データである。マスクデータ５は、クリック可能領域５１が設定される。クリック可能領域５１は、透過の画像領域であり、予め領域を指定する。マスクデータ５を重ねた場合、クリック可能領域５１の部分には、重ねられた画像の部分がマスクされることなく表示される。

図２０（ｃ）は、マスク処理されたデスクトップ画面６の一例である。マスク処理されたデスクトップ画面６は、図２０（ａ）のデスクトップ画面３に、図２０（ｂ）のマスクデータ５を重ねて生成される。マスク処理によって、図６の制限処理部１０１Ｆ４は、図２０（ａ）の画像のうち、クリック可能な領域、すなわち図２０（ｂ）で指定したクリック可能領域５１を表示し、他の領域を網掛けのマスク処理されたデスクトップ画面６を生成することができる。

オペレータは、図２０（ｃ）によって、現在の状態で遠隔操作によって実行可能な操作内容を知ることができる。

なお、第３実施形態の制限処理は、第１実施形態の制限処理と組合わせて複数の制限処理を行うが好ましい。

また、制限処理は、制限処理をする対象をアイコンに限られない。制限処理は、例えば他の種類のウィジェット（Ｗｉｄｇｅｔ）に制限処理を行ってもよい。制限処理の対象は、例えばタブ（Ｔａｂ）、スクロールバー（Ｓｃｒｏｌｌｂａｒ）、テキストボックス（Ｔｅｘｔｂｏｘ）、チェックボックス（Ｃｈｅｃｋｂｏｘ）、ラジオボタン（Ｒａｄｉｏｂｕｔｔｏｎ）、またはウィンドウ（Ｗｉｎｄｏｗ）などのＧＵＩである。

マスク処理は、図２０の処理に限られない。例えば、マスク処理は、非表示、無効化などでもよい。

図２１は、本発明の一実施形態に係るマスク処理の種類の一例を説明する図である。

図２１は、いずれも図２０で説明したマスク処理と同様に、図２０（ａ）のデスクトップ画面３に、図２０（ｂ）のマスクデータ５を重ねた場合である。図２０と、図２１では、クリック可能領域５１以外の領域に行うマスク処理が異なる。

図２１（ａ）は、図２０（ｂ）のクリック可能領域５１以外の領域にあるウィジェットを非表示のマスク処理した例である。非表示のマスク処理されたデスクトップ画面６１は、図２０で説明したマスク処理と同様に、図２０（ａ）と、図２０（ｂ）と、から生成される。すなわち、非表示のマスク処理されたデスクトップ画面６１は、図２０（ｂ）で指定したクリック可能領域５１を表示し、他の領域を非表示のマスク処理を行うことによって生成される。

図２１（ｂ）は、図２０（ｂ）のクリック可能領域５１以外の領域にあるウィジェットを半透明化させ、無効化した処理の例である。半透明化のマスク処理されたデスクトップ画面６２は、図２０で説明したマスク処理と同様に、図２０（ａ）と、図２０（ｂ）と、から生成される。すなわち、半透明化のマスク処理されたデスクトップ画面６２は、図２０（ｂ）で指定したクリック可能領域５１を表示し、他の領域を半透明化のマスク処理を行うことによって生成される。

図２１（ｃ）は、図２０（ｂ）のクリック可能領域５１以外の領域を黒色で塗りつぶして、無効化した処理の例である。色で塗りつぶしのマスク処理されたデスクトップ画面６３は、図２０で説明したマスク処理と同様に、図２０（ａ）と、図２０（ｂ）と、から生成される。すなわち、色で塗りつぶしのマスク処理されたデスクトップ画面６３は、図２０（ｂ）で指定したクリック可能領域５１を表示し、他の領域を黒色で塗りつぶしするマスク処理を行うことによって生成される。

図１のリモートＫＶＭ装置１０１は、図２１に示した非表示のマスク処理されたデスクトップ画面６１、半透明化のマスク処理されたデスクトップ画面６２、または色で塗りつぶしのマスク処理されたデスクトップ画面６３をオペレータに出力する。オペレータは、各マスク処理されたデスクトップ画面から現在の状態で遠隔操作によって実行可能な操作内容を知ることができる。

さらに、マスク処理は、一部のウィジェットをマスク処理してもよい。例えば、図２１（ｄ）、または図２１（ｅ）のように所定のウィジェットをマスク処理するとしてもよい。

図２１（ｄ）は、一部のアイコンを非表示のマスク処理した例である。図２１（ｄ）は、一部のアイコンを図２１（ａ）と同様の非表示のマスク処理されたデスクトップ画面６４である。一部のアイコンを非表示のマスク処理されたデスクトップ画面６４は、図１０の端末操作アイコン３２を非表示にした場合の例である。一部のアイコンを非表示のマスク処理されたデスクトップ画面６４の場合、オペレータは、端末操作アイコン３２の操作だけがオペレータが行うことができないことを知ることができる。

図２１（ｅ）は、一部のウィンドウを非表示のマスク処理した例である。図２１（ｄ）は、一部のウィンドウを図２１（ａ）と同様の非表示のマスク処理されたデスクトップ画面６５である。一部のウィンドウを非表示のマスク処理されたデスクトップ画面６５は、図１０のネットワークグループ３５のウィンドウ、およびネットワークグループ３５に含まれるメールアプリケーションソフトアイコン３５１とネットワーク利用アプリケーションソフトアイコン３５２と、を非表示にした場合の例である。

なお、図６の記憶部１０１Ｆ２に記憶されるマスク処理用のデータは、マスク処理の対象を特定するデータに限られない。例えば、マスク処理の対象から外れるデータを記憶し、記憶されたデータ以外の箇所をマスク処理するとしてもよい。

また、図６の記憶部１０１Ｆ２に記憶されるマスク処理用のデータは、画像のデータに限られない。マスク処理用のデータは、例えば、文字、または記号を記憶するテキストデータでもよい。マスク処理用のデータは、例えば画面の一定の範囲、大きさ、位置、またはレイアウトを示すための座標データでもよい。マスク処理用のデータは、例えばＱＲコード（登録商標）、またはバーコードなどのマーカデータでもよい。マスク処理用のデータは、例えばエラーメッセージボックスなどを特定するためのメッセージウィンドウの形状、またはレイアウトを示すデータでもよい。

また、制限処理は、マスク処理のみを行うに限られない。例えば、制限処理は、マスク処理と、マスク処理された領域での操作を無効とする処理と、を組合わせて行うのが好ましい。さらに、制限処理は、マスク処理と、マウスのカーソルをマスク処理された領域に移動させない排他処理と、を行うでもよい。例えば、図１０の場合、マウスのカーソルは、メールアプリケーションソフトアイコン３５１の領域以外への移動は入力できない処理などをマスク処理と組み合わせて行ってもよい。

第３実施形態において、第１実施形態と同様に、制限処理、および判定処理は、リモートＫＶＭ装置１０１によって行なう。そのため、オペレータは、オペレータ端末１００、および製造装置１０２には、新たにソフトウェアをインストールするなど改修をする必要が少ない。したがって、リモートＫＶＭ装置１０１により、制御装置、および被制御機器の改修などを少なくし、容易にシステムを構築することができる。なお、改修を行わなくてもシステムの構築が可能である。

マスク処理を行うことで、リモートＫＶＭ装置１０１は、オペレータに遠隔操作で行うと危険な操作を知らせることでオペレータによる危険な操作を制限することができる。したがって、リモートＫＶＭ装置１０１によって、遠隔操作おいて安全性を確保した操作ができる。また、マスク処理を行うことで、製造装置１０２からオペレータ端末側で表示をさせたくない画面、例えば製造装置１０２でログイン操作を行う際の画面等が、オペレータ端末に表示されるのを制限してセキュリティを高めることも可能である。

また、例えば、情報処理システム１は、別個に複数のコンピュータ（図示せず）を有してもよい。複数のコンピュータによって、各種の処理は、処理を高速で行うために、処理の一部または全部を並行、または分散して処理されてもよい。

また、実施形態で説明したシステム構成は一例であり、用途や目的に応じて様々なシステム構成があることは言うまでもない。例えば、各処理は、ネットワークを介して２以上のコンピュータによって分散、冗長、または並列に処理されてもよい。また、情報処理装置が用いる情報は、２以上の記憶装置に分散、または冗長して記憶されてもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

例えば、本発明は、ＰＣなどから構成されるネットワークシステムに用いられてもよい。また、本発明は、半導体製造、ＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ Ｄｉｓｐｌａｙ）などディスプレイ製造、または太陽電池など電子機器、および電子部品製造の製造装置に係る分野で実施することができる。

１ 情報処理システム
２ ケーブル
３ デスクトップ画面
３１ タイトルテキスト
３２ 端末操作アイコン
３３ カメラアプリケーションソフトアイコン
３４ データ削除アイコン
３５ ネットワークグループ
３５１ メールアプリケーションソフトアイコン
３５２ ネットワーク利用アプリケーションソフトアイコン
４ 設定データ
５ マスクデータ
５１ クリック可能領域
６ マスク処理されたデスクトップ画面
６１ 非表示のマスク処理されたデスクトップ画面
６２ 半透明化のマスク処理されたデスクトップ画面
６３ 色で塗りつぶしのマスク処理されたデスクトップ画面
６４ 一部のアイコンを非表示のマスク処理されたデスクトップ画面
６５ 一部のウィンドウを非表示のマスク処理されたデスクトップ画面
７ 判定処理のデスクトップ画面
７１ フォルダ
８ 差分画像
８１ マスク処理された差分画像
８２ 合成によって生成されたデスクトップ画面
８３ 差分画像をマスク処理しないデスクトップ画面
９ 通知用のデスクトップ画面
９１ メッセージボックス
１００ オペレータ端末（第一の情報処理機器）
１０１ リモートＫＶＭ装置（情報処理装置）
１０２ 製造装置（第二の情報処理機器）
２００ ネットワーク
１００Ｆ１ 入力処理部
１００Ｆ２ 制御処理部
１００Ｆ３ 出力処理部
１０１Ｆ１ 入力処理部
１０１Ｆ１１ 画像入力部
１０１Ｆ１２ 制限データ入力部
１０１Ｆ１３ 制御信号入力部
１０１Ｆ２ 記憶部
１０１Ｆ３ 制御処理部
１０１Ｆ４ 制限処理部
１０１Ｆ４１ 判定処理部
１０１Ｆ４２ 禁止処理部
１０１Ｆ４３ 画像処理部
１０１Ｆ４４ メッセージ出力処理部
１０１Ｆ５ 出力処理部
１０１Ｆ５１ 画像出力部
１０１Ｆ５２ 制限信号出力部

Claims (12)

1. 第一の情報処理機器から第二の情報処理機器を操作するための処理を行う情報処理装置であって、
   前記第一の情報処理機器から前記操作に基づく操作の入力データと、前記第二の情報処理機器から前記操作に係る操作画面に基づく画像の入力データと、を受信するための処理を行う入力処理手段と、
   前記操作の入力データまたは前記画像の入力データに、所定の制限を行うための処理を行う制限処理手段と、
   第二の情報処理機器の状態に応じた制限処理内容を示す設定データおよび前記第二の情報処理機器の状態に対応するパターンデータを記憶する記憶手段と、を有し、
   前記制限処理手段は、
   前記第二の情報処理機器から取得した前記画像の入力データに、前記記憶手段に記憶されたパターンデータと同一の画像が含まれているか否かを判定するパターンマッチングによって前記所定の制限を行うための処理を行うか否かを判定し、
   前記画像の入力データに、前記記憶手段に記憶されたパターンデータと同一の画像が含まれていると判定されると、前記第二の情報処理機器の状態を判断し、判断された前記第二の情報処理機器の状態に応じた制限処理内容を、前記所定の制限を行うための処理として行い、
   前記第二の情報処理機器は、製造装置である
   情報処理装置。
2. 出力データを出力するための処理を行う出力処理手段を有し、
   前記判定によって所定の制限を行うための処理を行うと判定された場合、
   前記制限処理手段は、
   前記操作の入力データに前記所定の制限を行うための処理を行い、
   前記出力処理手段は、
   前記所定の制限を行うための処理が行われたデータに基づいて前記第二の情報処理機器へ出力データを出力するための処理を行う請求項１に記載の情報処理装置。
3. 出力データを出力するための処理を行う出力処理手段を有し、
   前記判定によって所定の制限を行うための処理を行うと判定された場合、
   前記制限処理手段は、
   前記画像の入力データに前記所定の制限を行うための処理を行い、
   前記出力処理手段は、
   前記所定の制限を行うための処理が行われた画像データを前記第一の情報処理機器へ出力するための処理を行う請求項１に記載の情報処理装置。
4. 前記第二の情報処理機器の状態に対応するパターンデータは、
   少なくとも画像データまたは文字データのいずれかを含むデータである請求項１に記載の情報処理装置。
5. 前記判定によって所定の制限を行うための処理を行うと判定された場合、前記所定の制限を行うための処理は、
   前記画像の入力データの一部、または全部を前記第二の情報処理機器の状態に対応するパターンデータに基づいてマスク処理する処理である請求項１乃至４に記載のいずれかの情報処理装置。
6. 前記記憶手段は、
   以前に前記所定の制限を行うための処理が行われた過去の画像データを記憶し、
   前記判定によって所定の制限を行うための処理を行うと判定された場合、前記所定の制限を行うための処理は、
   前記過去の画像データと、前記画像の入力データと、に基づいて前記所定の制限を行うための処理を行うか否かを判定する請求項１乃至５に記載のいずれかの情報処理装置。
7. 前記記憶手段は、前記第二の情報処理機器の制限処理を行う状態と、制限処理によって行われる制限処理内容とが対応付けられて入力される前記設定データを有する請求項１乃至６に記載のいずれかの情報処理装置。
8. 前記パターンマッチングには、操作画面を前記パターンマッチングにおけるテンプレート画像の面積に分割した画像が用いられる請求項１乃至７に記載のいずれかの情報処理装置。
9. 前記情報処理装置は、リモートＫＶＭ装置である
   請求項１乃至８に記載のいずれかの情報処理装置。
10. 前記制限処理手段によって遠隔操作で安全性を確保する
    請求項１乃至９に記載のいずれかの情報処理装置。
11. １以上のコンピュータを含む第一の情報処理機器から第二の情報処理機器を操作するための処理を行う情報処理システムであって、
    前記第一の情報処理機器から前記操作に基づく操作の入力データと、前記第二の情報処理機器から前記操作に係る操作画面に基づく画像の入力データと、を受信するための処理を行う入力処理手段と、
    前記操作の入力データまたは前記画像の入力データに、所定の制限を行うための処理を行う制限処理手段と、
    第二の情報処理機器の状態に応じた制限処理内容を示す設定データおよび前記第二の情報処理機器の状態に対応するパターンデータを記憶する記憶手段と、を有し、
    前記制限処理手段は、
    前記第二の情報処理機器から取得した前記画像の入力データに、前記記憶手段に記憶されたパターンデータと同一の画像が含まれているか否かを判定するパターンマッチングによって前記所定の制限を行うための処理を行うか否かを判定し、
    前記画像の入力データに、前記記憶手段に記憶されたパターンデータと同一の画像が含まれていると判定されると、前記第二の情報処理機器の状態を判断し、判断された前記第二の情報処理機器の状態に応じた制限処理内容を、前記所定の制限を行うための処理として行い、
    前記第二の情報処理機器は、製造装置である
    情報処理システム。
12. 第一の情報処理機器から第二の情報処理機器を操作するための処理を行う情報処理方法であって、
    前記第一の情報処理機器から前記操作に基づく操作の入力データと、前記第二の情報処理機器から前記操作に係る操作画面に基づく画像の入力データと、を受信するための処理を行う入力処理手順と、
    前記操作の入力データまたは前記画像の入力データに、所定の制限を行うための処理を行う制限処理手順と、
    第二の情報処理機器の状態に応じた制限処理内容を示す設定データおよび前記第二の情報処理機器の状態に対応するパターンデータを記憶する記憶手順と、を有し、
    前記制限処理手順は、
    前記第二の情報処理機器から取得した前記画像の入力データに、前記記憶手順で記憶されるパターンデータと同一の画像が含まれているか否かを判定するパターンマッチングによって前記所定の制限を行うための処理を行うか否かを判定し、
    前記画像の入力データに、前記記憶手順で記憶されたパターンデータと同一の画像が含まれていると判定されると、前記第二の情報処理機器の状態を判断し、判断された前記第二の情報処理機器の状態に応じた制限処理内容を、前記所定の制限を行うための処理として行い、
    前記第二の情報処理機器は、製造装置である
    情報処理方法。

Images