JP5740634B2 - Automatic operation system and operation automation method - Google Patents

Automatic operation system and operation automation method Download PDF

Info

Publication number
JP5740634B2
JP5740634B2 JP2013556085A JP2013556085A JP5740634B2 JP 5740634 B2 JP5740634 B2 JP 5740634B2 JP 2013556085 A JP2013556085 A JP 2013556085A JP 2013556085 A JP2013556085 A JP 2013556085A JP 5740634 B2 JP5740634 B2 JP 5740634B2
Authority
JP
Japan
Prior art keywords
unit
information
target device
screen
initial setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013556085A
Other languages
Japanese (ja)
Other versions
JPWO2013190714A1 (en
Inventor
弘芳 薮崎
弘芳 薮崎
石川　亨
石川　　亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Denno Co., Ltd.
Original Assignee
Nippon Denno Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Denno Co., Ltd. filed Critical Nippon Denno Co., Ltd.
Priority to JP2013556085A priority Critical patent/JP5740634B2/en
Application granted granted Critical
Publication of JP5740634B2 publication Critical patent/JP5740634B2/en
Publication of JPWO2013190714A1 publication Critical patent/JPWO2013190714A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0426—Programming the control sequence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23258—GUI graphical user interface, icon, function bloc editor, labview

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Programmable Controllers (AREA)

Description

本発明は、自動操作システム及び操作自動化方法に関する。   The present invention relates to an automatic operation system and an operation automation method.

工場などの生産現場では、多種多様な製造装置が稼動しており、それぞれの装置についてオペレータが操作を行っている。このようなオペレータの作業負担を軽減するため、オペレーションの一部や全体を自動化するシステムが採用されている（例えば、特許文献１）。   In production sites such as factories, a wide variety of manufacturing apparatuses are in operation, and operators operate the respective apparatuses. In order to reduce such an operator's workload, a system that automates part or the whole of the operation is employed (for example, Patent Document 1).

特開２０１１−２０３９５４号公報JP 2011-203954 A

しかし、操作を自動化するためには、製造装置自体に何らかの改造を加える必要があった。装置自体を改造するためにはその装置の知識も必要となり、特に型の古い装置の場合は対応が困難である。また、一般に装置自体を改造すると、装置メーカーの保証の対象外となってしまうという問題もあった。   However, in order to automate the operation, it is necessary to add some modification to the manufacturing apparatus itself. In order to modify the device itself, knowledge of the device is also required, and it is particularly difficult to cope with an old type device. In addition, in general, there is a problem that if the device itself is modified, it is not covered by the warranty of the device manufacturer.

さらに、自動化システムの開発にはプログラム開発の知識が必要となるが、装置の操作についての知識を持つオペレータが、プログラム開発の知識がなくても簡単に自動化システムを開発できるようになることが望ましかった。   Furthermore, development of an automation system requires knowledge of program development, but it is desirable that an operator with knowledge of device operation can easily develop an automation system without knowledge of program development. It was true.

そこで本発明は、装置自体の改造を行わずに、任意の装置を自動操作することが可能な自動操作システムを提供することを目的とする。   Therefore, an object of the present invention is to provide an automatic operation system capable of automatically operating an arbitrary device without modifying the device itself.

また、本発明は、システムプログラム開発の知識がなくても、任意の装置を自動操作するシステムを簡単に作成することが可能な自動操作システムを提供することを目的とする。   It is another object of the present invention to provide an automatic operation system capable of easily creating a system for automatically operating an arbitrary device without knowledge of system program development.

本発明に係る自動操作システムは、操作対象装置に対して、一連の操作命令を自動的に実行する自動操作システムであって、前記一連の操作命令を生成する操作手順作成部と、前記一連の操作命令を実行する操作手順実行部と、実行された前記操作命令に基づいて、前記操作対象装置の入力装置の操作信号に相当する信号を、前記操作対象装置に送信する操作信号出力部と、実行された前記操作命令に基づいて、前記操作対象装置の表示装置に表示されている画面の情報を取得し、画像認識を行う画面情報取得部と、を備えたものである。
本発明によれば、装置自体の改造を行わずに、任意の装置を自動操作することが可能な自動操作システムを提供することができる。An automatic operation system according to the present invention is an automatic operation system that automatically executes a series of operation commands for an operation target device, and includes an operation procedure creation unit that generates the series of operation commands, An operation procedure execution unit that executes an operation command; an operation signal output unit that transmits a signal corresponding to an operation signal of the input device of the operation target device to the operation target device based on the executed operation command; A screen information acquisition unit that acquires information on a screen displayed on a display device of the operation target device based on the executed operation command and performs image recognition.
According to the present invention, it is possible to provide an automatic operation system capable of automatically operating an arbitrary device without modifying the device itself.

また、前記一連の操作命令の生成に必要な前記操作対象装置の情報を取得し、各々の操作命令の設定に必要な情報にＩＤを付して登録する操作初期設定部を備えることが望ましい。
これにより、システムプログラム開発の知識がなくても、任意の装置を自動操作するシステムを簡単に作成することが可能な自動操作システムを提供することができる。In addition, it is preferable to include an operation initial setting unit that acquires information on the operation target device necessary for generating the series of operation commands, and registers the information necessary for setting each operation command with an ID.
Thus, it is possible to provide an automatic operation system capable of easily creating a system for automatically operating an arbitrary device without knowledge of system program development.

また、前記操作初期設定部は、前記操作対象装置の全ての操作画面を取得し、操作の過程で必要となる表示情報の位置情報にＩＤを付与して、画像データと共に登録することが望ましい。   Further, it is desirable that the operation initial setting unit acquires all operation screens of the operation target device, adds an ID to the position information of display information necessary in the operation process, and registers it together with the image data.

また、前記操作初期設定部は、前記操作対象装置の操作画面上でキーボード入力が行われる領域の位置情報にＩＤを付与して、入力されるテキストデータと共に登録することが望ましい。   Further, it is desirable that the operation initial setting unit assigns an ID to position information of an area where keyboard input is performed on the operation screen of the operation target device and registers the information together with input text data.

また、前記操作初期設定部は、前記操作対象装置の操作画面上でマウス操作が行われる位置の位置情報にＩＤを付与して、マウス操作の内容と共に登録することが望ましい。   Further, it is desirable that the operation initial setting unit assigns an ID to position information of a position where the mouse operation is performed on the operation screen of the operation target device and registers the information together with the contents of the mouse operation.

また、前記操作初期設定部は、前記操作対象装置の操作画面上でライトペン操作が行われる位置の位置情報にＩＤを付与して、ライトペン操作の内容と共に登録することが望ましい。   Further, it is desirable that the operation initial setting unit assigns an ID to position information of a position where the light pen operation is performed on the operation screen of the operation target device, and registers the information together with the content of the light pen operation.

また、前記操作初期設定部は、前記操作対象装置の操作画面上で、画面に表示される色を認識する必要がある領域の位置情報にＩＤを付与して、画像データおよび色情報と共に録することが望ましい。   In addition, the operation initial setting unit assigns an ID to position information of an area where it is necessary to recognize a color displayed on the operation screen of the operation target device, and records it together with image data and color information. It is desirable.

また、前記操作初期設定部は、前記操作対象装置の操作画面上に表示される文字のうち、文字データとして認識する必要がある文字にＩＤを付与して、文字の画像データと共に登録することが望ましい。   In addition, the operation initial setting unit may assign an ID to a character that needs to be recognized as character data among characters displayed on the operation screen of the operation target device, and register the character image data together with the character image data. desirable.

また、前記操作手順作成部は、
前記操作初期設定部によってＩＤを付して登録された情報を用いて操作命令を生成することが望ましい。In addition, the operation procedure creation unit
It is desirable to generate an operation command using information registered with an ID by the operation initial setting unit.

また、前記操作手順作成部は、特定のシステムのコンセプトを表現するためのコンセプト部品と前記コンセプトを実現させるために機能の流れに従って構成されたリアライズ部品とを有するコンセプトチャートを作成するためのチャート作成部と、前記チャート作成部で作成したコンセプトチャートを制御プログラムに変換するチャート変換部と、を備え、前記チャート作成部は、オペレータによる入力部を介した操作に基づいて、前記コンセプトチャートを構成する前記コンセプト部品及び前記リアライズ部品を含む複数の部品を表示部に表示するとともに、前記部品の各々に関する情報と前記部品同士の関係を規定する情報とを前記表示部に表示する、ことが望ましい。   In addition, the operation procedure creating unit creates a chart for creating a concept chart having a concept part for expressing a concept of a specific system and a realization part configured according to a function flow to realize the concept. And a chart conversion unit that converts the concept chart created by the chart creation unit into a control program, and the chart creation unit configures the concept chart based on an operation through an input unit by an operator It is desirable to display a plurality of parts including the concept part and the realized part on the display unit, and display information on each of the parts and information defining the relationship between the parts on the display unit.

また、前記操作信号出力部は、前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置のキーボード、マウス、またはライトペンの操作信号を、前記操作対象装置に送信することが望ましい。   The operation signal output unit may transmit an operation signal of a keyboard, a mouse, or a light pen of the operation target device to the operation target device based on an operation command executed by the operation procedure execution unit. desirable.

また、前記画面情報取得部は、前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された画像と、前記操作初期設定部によってＩＤを付して登録された画像データとの照合を行う、ことが望ましい。   The screen information acquisition unit registers an image displayed on the display device of the operation target device and an ID by the operation initial setting unit based on the operation command executed by the operation procedure execution unit. It is desirable to perform collation with the obtained image data.

また、前記画面情報取得部は、前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された色と、前記操作初期設定部によってＩＤを付して登録された色データとの照合を行うことが望ましい。   The screen information acquisition unit registers the color displayed on the display device of the operation target device and the ID by the operation initial setting unit based on the operation command executed by the operation procedure execution unit. It is desirable to collate with the obtained color data.

また、前記画面情報取得部は、前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された文字と、前記操作初期設定部によってＩＤを付して登録された文字データとのマッチングを行うことが望ましい。   In addition, the screen information acquisition unit registers the character displayed on the display device of the operation target device and the ID by the operation initial setting unit based on the operation command executed by the operation procedure execution unit. It is desirable to perform matching with the character data.

また、前記操作手順作成部によって生成された操作命令の試験を前記操作対象装置のシミュレータを用いて実行するシミュレーション部と、前記操作対象装置のシミュレータを生成するシミュレータ生成部と、を備えることが望ましい。   Further, it is desirable to include a simulation unit that executes a test of the operation command generated by the operation procedure creation unit using a simulator of the operation target device, and a simulator generation unit that generates a simulator of the operation target device. .

また、前記シミュレータ生成部は、前記操作初期設定部によってＩＤを付して登録された情報を用いてシミュレータを生成することが望ましい。   Moreover, it is desirable that the simulator generating unit generates a simulator using information registered with an ID by the operation initial setting unit.

また、前記一連の操作命令は、前記操作対象装置を正常停止させるための一連の操作であり、前記操作手順実行部は、複数の操作対象装置に対して、一括で正常停止の操作を実行することが望ましい。   Further, the series of operation commands is a series of operations for normally stopping the operation target device, and the operation procedure execution unit executes a normal stop operation collectively for a plurality of operation target devices. It is desirable.

本発明に係る操作自動化方法は、操作対象装置に対して、一連の操作命令を自動的に実行する操作自動化方法であって、前記一連の操作命令を生成する工程と、前記一連の操作命令を実行する工程と、を備え前記一連の操作命令を実行する工程では、実行された前記操作命令に基づいて、前記操作対象装置の入力装置の操作信号に相当する信号を、前記操作対象装置に送信し、実行された前記操作命令に基づいて、前記操作対象装置の表示装置に表示されている画面の情報を取得し、画像認識を行うものである。
本発明によれば、装置自体の改造を行わずに、任意の装置を自動操作することが可能な操作自動化方法を提供することができる。An operation automation method according to the present invention is an operation automation method for automatically executing a series of operation commands for an operation target device, the step of generating the sequence of operation commands, and the sequence of operation commands. In the step of executing the series of operation commands, a signal corresponding to an operation signal of the input device of the operation target device is transmitted to the operation target device based on the executed operation command. Then, based on the executed operation command, information on the screen displayed on the display device of the operation target device is acquired and image recognition is performed.
According to the present invention, it is possible to provide an operation automation method capable of automatically operating an arbitrary device without modifying the device itself.

本発明によれば、装置自体の改造を行わずに、任意の装置を自動操作することが可能な自動操作システムを提供することができる。   According to the present invention, it is possible to provide an automatic operation system capable of automatically operating an arbitrary device without modifying the device itself.

また、本発明によれば、システムプログラム開発の知識がなくても、任意の装置を自動操作するシステムを簡単に作成することが可能な自動操作システムを提供することができる。   Further, according to the present invention, it is possible to provide an automatic operation system capable of easily creating a system for automatically operating an arbitrary device without knowledge of system program development.

本発明の実施の形態１による、自動操作システムの構成を示すブロック図。The block diagram which shows the structure of the automatic operation system by Embodiment 1 of this invention. 本発明の実施の形態１による、製造装置の操作自動化の手順の概略を示すフローチャート。The flowchart which shows the outline of the procedure of operation automation of a manufacturing apparatus by Embodiment 1 of this invention. 本発明の実施の形態１による、製造装置の表示装置に表示される操作画面を示す図。The figure which shows the operation screen displayed on the display apparatus of a manufacturing apparatus by Embodiment 1 of this invention. 本発明の実施の形態１による、コンセプトチャート作成画面を示す図。The figure which shows the concept chart creation screen by Embodiment 1 of this invention. 本発明の実施の形態１による、コンセプトチャート作成画面にコンセプトチャートを構成する部品を貼り付けた状態を示す図。The figure which shows the state which affixed the components which comprise a concept chart on the concept chart creation screen by Embodiment 1 of this invention. 本発明の実施の形態１による、コンセプトチャートを構成する部品に関する情報を表示した状態を示す図。The figure which shows the state which displayed the information regarding the components which comprise the concept chart by Embodiment 1 of this invention. 本発明の実施の形態１による、コンセプトチャート作成画面にコンセプトチャートを構成する複数の部品を貼り付けた状態を示す図。The figure which shows the state which affixed several components which comprise a concept chart on the concept chart creation screen by Embodiment 1 of this invention. 本発明の実施の形態１による、コンセプトチャートを構成する部品同士の関係を規定する情報を表示した状態を示す図。The figure which shows the state which displayed the information which prescribes | regulates the relationship between the components which comprise the concept chart by Embodiment 1 of this invention. 本発明の実施の形態１による、コンセプトチャートの一例を示す図。The figure which shows an example of the concept chart by Embodiment 1 of this invention. 本発明の実施の形態２による、自動操作システムの構成を示すブロック図。The block diagram which shows the structure of the automatic operation system by Embodiment 2 of this invention. 本発明の実施の形態２による、製造装置の操作自動化の手順の概略を示すフローチャート。The flowchart which shows the outline of the procedure of operation automation of a manufacturing apparatus by Embodiment 2 of this invention. 本発明の実施例による、緊急時一括停止システムの構成を示すブロック図。The block diagram which shows the structure of the emergency collective stop system by the Example of this invention.

実施の形態１．
次に、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、本発明の実施の形態１による、自動操作システム１０の構成を示すブロック図である。図に示すように、自動操作システム１０は、入力装置１１、表示装置１２、操作手順作成部１０１、操作手順実行部１０２、操作信号出力部１０３、画面情報取得部１０４、操作初期設定部１０５、操作手順記憶部１０６、初期設定記憶部１０７を備えている。Embodiment 1 FIG.
Next, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of an automatic operation system 10 according to Embodiment 1 of the present invention. As shown in the figure, the automatic operation system 10 includes an input device 11, a display device 12, an operation procedure creation unit 101, an operation procedure execution unit 102, an operation signal output unit 103, a screen information acquisition unit 104, an operation initial setting unit 105, An operation procedure storage unit 106 and an initial setting storage unit 107 are provided.

自動操作システム１０は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、各種の情報を格納する外部記憶装置、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバスを備える専用又は汎用のコンピュータを適用することができる。なお、自動操作システム１０は、単一のコンピュータにより構成されるものであっても、通信回線を介して互いに接続された複数のコンピュータにより構成されるものであってもよい。   The automatic operation system 10 may be a dedicated or general-purpose computer including a CPU, a memory such as a ROM and a RAM, an external storage device for storing various information, an input interface, an output interface, a communication interface, and a bus connecting them. it can. The automatic operation system 10 may be constituted by a single computer or may be constituted by a plurality of computers connected to each other via a communication line.

操作手順作成部１０１、操作手順実行部１０２、操作信号出力部１０３、画面情報取得部１０４、操作初期設定部１０５は、ＣＰＵがＲＯＭ等に格納された所定のプログラムを実行することにより実現される機能のモジュールに相当する。操作手順記憶部１０６、初期設定記憶部１０７は、外部記憶装置により実装される。   The operation procedure creation unit 101, operation procedure execution unit 102, operation signal output unit 103, screen information acquisition unit 104, and operation initial setting unit 105 are realized by the CPU executing a predetermined program stored in a ROM or the like. Corresponds to the function module. The operation procedure storage unit 106 and the initial setting storage unit 107 are implemented by an external storage device.

入力装置１１は、マウスやキーボード等を含む各種ポインティングデバイスであり、オペレータが自動操作システム１０に対して各種情報の入力を行う際に使用される。   The input device 11 is various pointing devices including a mouse and a keyboard, and is used when an operator inputs various information to the automatic operation system 10.

表示装置１２は、ディスプレイ等の表示装置であり、自動操作システム１０のＣＰＵから出力される画像信号を受けて、各種画像を表示するものである。   The display device 12 is a display device such as a display, and displays various images in response to an image signal output from the CPU of the automatic operation system 10.

図１に示すように、自動操作システム１０は、通信回線を介して操作対象となる製造装置５０と接続されている。製造装置５０はオペレーション用の入力装置５１と表示装置５２を有している。入力装置５１は、オペレータが製造装置５０を操作するために各種の入力や設定を行うためのインタフェースであり、例えばキーボード、マウス、ライトペンが含まれる。表示装置５２は、製造装置５０のメニュー画面や各種設定画面等が表示されるディスプレイである。   As shown in FIG. 1, the automatic operation system 10 is connected to a manufacturing apparatus 50 to be operated through a communication line. The manufacturing apparatus 50 includes an input device 51 for operation and a display device 52. The input device 51 is an interface for an operator to perform various inputs and settings for operating the manufacturing apparatus 50, and includes, for example, a keyboard, a mouse, and a light pen. The display device 52 is a display on which the menu screen and various setting screens of the manufacturing apparatus 50 are displayed.

自動操作システム１０の各部の機能について説明する。
操作手順作成部１０１は、製造装置５０に対する一連の操作命令を生成する機能を有する。操作手順作成部１０１は、コンセプトチャートを採用することにより、システム開発の知識がない作業者によるプログラム開発を可能にする。なお、コンセプトチャートとは、特定のシステムのコンセプトを表現しかつそのコンセプトを実現させるためのチャート（図表）であり、コンセプト自体を表現するコンセプト部品と、コンセプトを構成する複数のサブコンセプトを表現する複数のサブコンセプト部品と、コンセプト及びサブコンセプトを実現させるためのリアライズ部品と、を含む複数の部品から構成されている。操作手順作成部１０１は、チャート作成部１０１１、チャート変換部１０１２を備えている。The function of each part of the automatic operation system 10 will be described.
The operation procedure creation unit 101 has a function of generating a series of operation instructions for the manufacturing apparatus 50. The operation procedure creation unit 101 employs a concept chart to enable program development by an operator who has no knowledge of system development. A concept chart is a chart (diagram) that expresses the concept of a specific system and realizes that concept. It expresses concept parts that express the concept itself and multiple subconcepts that make up the concept. It is composed of a plurality of parts including a plurality of sub-concept parts and a realization part for realizing the concept and the sub-concept. The operation procedure creation unit 101 includes a chart creation unit 1011 and a chart conversion unit 1012.

操作手順実行部１０２は、操作手順作成部１０１で生成された一連の操作命令（コンセプトチャート）を、製造装置５０に対して実行する機能を有する。   The operation procedure execution unit 102 has a function of executing a series of operation instructions (concept charts) generated by the operation procedure creation unit 101 on the manufacturing apparatus 50.

操作信号出力部１０３は、製造装置５０に対して実行された操作命令に基づいて、製造装置５０の入力装置５１の操作信号に相当する信号を、製造装置５０に送信する。すなわち、操作信号出力部１０３は、人間が入力装置５１（キーボード・マウス・ライトペン等）を操作した時に製造装置５０に送信される信号に相当する信号を、製造装置５０に送信する。   The operation signal output unit 103 transmits a signal corresponding to the operation signal of the input device 51 of the manufacturing apparatus 50 to the manufacturing apparatus 50 based on the operation command executed for the manufacturing apparatus 50. That is, the operation signal output unit 103 transmits to the manufacturing apparatus 50 a signal corresponding to a signal transmitted to the manufacturing apparatus 50 when a human operates the input device 51 (keyboard, mouse, light pen, etc.).

画面情報取得部１０４は、製造装置５０に対して実行された操作命令に基づいて、製造装置５０の表示装置５２に表示されている画面の情報を取得する。また、画面情報取得部１０４は、取得した画像情報について、パターンマッチング、カラーマッチング、文字認識等の画像認識処理を行う。   The screen information acquisition unit 104 acquires information on a screen displayed on the display device 52 of the manufacturing apparatus 50 based on an operation command executed on the manufacturing apparatus 50. The screen information acquisition unit 104 performs image recognition processing such as pattern matching, color matching, and character recognition on the acquired image information.

操作初期設定部１０５は、一連の操作命令の生成に必要な製造装置５０の情報を取得し、各々の操作命令の初期設定を行う。操作初期設定部１０５は、パターン認識情報設定部１０５１、キーボード情報設定部１０５２、マウス情報設定部１０５３、ライトペン情報設定部１０５４、文字認識情報設定部１０５５を備えている。   The operation initial setting unit 105 acquires information of the manufacturing apparatus 50 necessary for generating a series of operation commands, and performs initial setting of each operation command. The operation initial setting unit 105 includes a pattern recognition information setting unit 1051, a keyboard information setting unit 1052, a mouse information setting unit 1053, a light pen information setting unit 1054, and a character recognition information setting unit 1055.

操作手順記憶部１０６は、操作手順作成部１０１によって生成された製造装置５０に対する一連の操作命令を記憶する。具体的には、コンセプトチャート、コンセプトチャートを変換した制御プログラムが記憶される。   The operation procedure storage unit 106 stores a series of operation instructions for the manufacturing apparatus 50 generated by the operation procedure creation unit 101. Specifically, a concept chart and a control program obtained by converting the concept chart are stored.

初期設定記憶部１０７は、操作初期設定部１０５により作成された初期設定情報を記憶する。具体的には、製造装置５０の画面情報、キーボード情報、マウス情報、ライトペン情報、文字認識情報のそれぞれについての初期設定情報が記憶される。   The initial setting storage unit 107 stores initial setting information created by the operation initial setting unit 105. Specifically, initial setting information for each of screen information, keyboard information, mouse information, light pen information, and character recognition information of the manufacturing apparatus 50 is stored.

次に、自動操作システム１０の詳しい動作と、製造装置５０の操作自動化方法について説明する。図２は、製造装置５０の操作自動化の手順の概略を示すフローチャートである。まず、オペレータは入力装置１１を用いて操作を自動化したい製造装置５０を決定する（ステップＳ１）。製造装置５０の決定は、例えば表示装置１２に対象となる製造装置を全て表示させ、画面上で選択することにより行うことができる。   Next, a detailed operation of the automatic operation system 10 and a method for automating the operation of the manufacturing apparatus 50 will be described. FIG. 2 is a flowchart showing an outline of a procedure for automating the operation of the manufacturing apparatus 50. First, the operator uses the input device 11 to determine the manufacturing apparatus 50 whose operation is to be automated (step S1). The determination of the manufacturing apparatus 50 can be performed by, for example, displaying all the target manufacturing apparatuses on the display device 12 and selecting them on the screen.

次に、オペレータは入力装置１１を用いて製造装置５０の初期設定を行う（ステップＳ２）。初期設定は、画面情報、キーボード情報、マウス情報、ライトペン情報、文字認識情報のそれぞれについて行う。操作初期設定部１０５は、オペレータの操作に応じて初期設定情報を作成し、初期設定記憶部１０７に登録する。   Next, the operator performs initial setting of the manufacturing apparatus 50 using the input device 11 (step S2). Initial setting is performed for each of screen information, keyboard information, mouse information, light pen information, and character recognition information. The operation initial setting unit 105 creates initial setting information according to the operator's operation and registers it in the initial setting storage unit 107.

まず、図３を用いて製造装置５０の画面情報の初期設定について説明する。
図３は、製造装置５０の表示装置５２に表示される操作画面の１つ（画面Ａ）を示している。オペレータは、入力装置１１を用いて表示装置１２に画面Ａを表示させる。パターン認識情報設定部１０５１は、製造装置５０から画面Ａの画像データを取得し、表示装置１２に表示する。この時、パターン認識情報設定部１０５１は、製造装置５０の表示装置５２の特性に応じて画像データを取得する際の周波数や解像度を調整し、鮮明な画像を取得する。さらに、パターン認識情報設定部１０５１は取り込んだ画像データに画像ＩＤを付与し、初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について登録を行う。First, the initial setting of the screen information of the manufacturing apparatus 50 will be described with reference to FIG.
FIG. 3 shows one of the operation screens (screen A) displayed on the display device 52 of the manufacturing apparatus 50. The operator causes the display device 12 to display the screen A using the input device 11. The pattern recognition information setting unit 1051 acquires the image data of the screen A from the manufacturing apparatus 50 and displays it on the display device 12. At this time, the pattern recognition information setting unit 1051 adjusts the frequency and resolution when acquiring image data according to the characteristics of the display device 52 of the manufacturing apparatus 50, and acquires a clear image. Further, the pattern recognition information setting unit 1051 assigns an image ID to the captured image data and registers it in the initial setting storage unit 107. The operator registers all the screens related to the operation of the manufacturing apparatus 50.

さらに、オペレータは操作に関わる各画面について、操作の過程で必要となる表示情報に対しパターンＩＤを付して表示内容（画像）と表示位置（座標）を登録する。例えば、図３の画面Ａについて、製造装置５０の一連の操作の中で、表示されている画面が画面Ａであることを確認するため、図中の領域Ｒ１に表示されている内容（画面タイトル）が「画面Ａ」であることを確認する必要がある。このため、オペレータは、入力装置１１を用いて領域Ｒ１を指定し画像パターンとして登録する。パターン認識情報設定部１０５１は、領域Ｒ１の画像データにパターンＩＤを付与して、領域Ｒ１の位置情報（例えば点Ｐの（Ｘ，Ｙ）座標と、Ｘ方向およびＹ方向の長さ）と共に初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程で必要となる表示情報の登録を行う。このように、操作の過程で表示内容を認識する必要のある領域について、画像パターンと位置情報を合わせて登録し、ＩＤを付与しておくことにより、ＩＤを指定するだけで特定の画像情報を指定できるようになる。   Further, the operator registers display contents (images) and display positions (coordinates) by attaching a pattern ID to display information required in the operation process for each screen related to the operation. For example, regarding the screen A in FIG. 3, in order to confirm that the displayed screen is the screen A in the series of operations of the manufacturing apparatus 50, the content (screen title) displayed in the region R <b> 1 in the figure. ) Is “screen A”. Therefore, the operator designates the region R1 using the input device 11 and registers it as an image pattern. The pattern recognition information setting unit 1051 assigns a pattern ID to the image data of the region R1, and initially includes the positional information of the region R1 (for example, the (X, Y) coordinates of the point P and the lengths in the X and Y directions). Register in the setting storage unit 107. The operator registers display information necessary for the operation process for all the screens related to the operation of the manufacturing apparatus 50. As described above, by registering the image pattern and the position information together for the area where the display content needs to be recognized in the course of the operation, and adding the ID, the specific image information can be obtained simply by specifying the ID. It becomes possible to specify.

さらに、オペレータは、製造装置５０の画面に表示される色を認識するための初期設定を行う。例えば、図３の画面Ａにおいて、操作の過程で領域Ｒ２に表示される色が「青」であることを確認する必要がある。このため、オペレータは、入力装置１１を用いて青が表示されている状態の領域Ｒ２を指定し、青のパターンとして登録する。パターン認識情報設定部１０５１は、領域Ｒ２の画像データにパターンＩＤを付与して、色情報（青）および領域Ｒ２の位置情報と共に初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程で表示されている色の判定が必要となるパターンの登録を行う。   Further, the operator performs initial setting for recognizing the color displayed on the screen of the manufacturing apparatus 50. For example, in the screen A of FIG. 3, it is necessary to confirm that the color displayed in the region R2 in the process of operation is “blue”. For this reason, the operator designates the region R2 in a state where blue is displayed using the input device 11, and registers it as a blue pattern. The pattern recognition information setting unit 1051 assigns a pattern ID to the image data of the region R2, and registers it in the initial setting storage unit 107 together with the color information (blue) and the position information of the region R2. The operator registers a pattern that requires determination of the color displayed in the course of the operation on all screens related to the operation of the manufacturing apparatus 50.

このように、操作の過程で表示されている色を認識する必要のある領域について、画像パターン、色情報、および位置情報を合わせて登録しておくことにより、実際の操作中に領域Ｒ２に表示されている色が「青」であるか否かを、登録されている画像と比較することで判定することができる。一般に、製造装置５０の表示装置５２の特性や使用年数、また同じ装置でもディスプレイ上の位置などによって、実際に表示される色は同じ青でも微妙に異なっている。したがって、予め所定の領域に表示される色をその装置のその領域における「青」として初期登録しておくことにより、表示されている色の判定を確実に行うことが可能となる。   As described above, by registering the image pattern, the color information, and the position information for the area that needs to recognize the color displayed in the operation process, it is displayed in the area R2 during the actual operation. It can be determined by comparing the registered color with “blue” whether or not the registered color is “blue”. Generally, the actually displayed color is slightly different even in the same blue, depending on the characteristics and years of use of the display device 52 of the manufacturing apparatus 50 and the position of the same apparatus on the display. Therefore, by initially registering the color displayed in a predetermined area as “blue” in that area of the apparatus in advance, it is possible to reliably determine the displayed color.

次に、製造装置５０のキーボード操作に関する初期設定について説明する。
オペレータは、入力装置１１を介して製造装置５０の画面（操作過程でキーボード入力が行われる画面）を取り込み、表示装置１２に表示させる。オペレータは、取り込んだ画面上で実際の操作どおりにキーボード入力を行う。例えば、図３に示す画面Ａにおいて、テキストボックスＲ３に「ＡＢＣＡＢＣ」と入力する動作を行う。キーボード情報設定部１０５２は、キーボード入力が行われた領域（テキストボックスＲ３）の位置情報にキーボード入力位置ＩＤを付与して、入力されたテキストデータ（「ＡＢＣＡＢＣ」）と共に初期設定記憶部１０７に登録する。また、この時キーボード情報設定部１０５２は、製造装置５０の特性に応じて、製造装置５０へのキーボード操作信号の送信速度、送信間隔を調整し初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程でキーボード入力が必要な位置と入力内容を登録する。Next, the initial setting regarding the keyboard operation of the manufacturing apparatus 50 will be described.
The operator takes in the screen of the manufacturing apparatus 50 (a screen on which keyboard input is performed in the operation process) via the input device 11 and causes the display device 12 to display the screen. The operator performs keyboard input according to the actual operation on the captured screen. For example, on the screen A shown in FIG. 3, an operation of inputting “ABC ABC” into the text box R3 is performed. The keyboard information setting unit 1052 assigns the keyboard input position ID to the position information of the area (text box R3) where the keyboard input has been performed, and registers it in the initial setting storage unit 107 together with the input text data (“ABCABC”). To do. At this time, the keyboard information setting unit 1052 adjusts the transmission speed and transmission interval of the keyboard operation signal to the manufacturing apparatus 50 according to the characteristics of the manufacturing apparatus 50 and registers them in the initial setting storage unit 107. The operator registers positions and input contents that require keyboard input in the course of operation for all screens related to operation of the manufacturing apparatus 50.

次に、製造装置５０のマウス操作に関する初期設定について説明する。
オペレータは、入力装置１１を介して製造装置５０の画面（操作過程でマウス操作が行われる画面）を取り込み、表示装置１２に表示させる。オペレータは、取り込んだ画面上で実際の操作どおりのマウス操作を行う。例えば、図３に示す画面Ａにおいて、ボタンＢをクリックする動作を行う。マウス情報設定部１０５３は、マウス操作が行われた領域（ボタンＢ）の位置情報にマウス移動位置ＩＤを付与して、操作内容（クリック回数等）と共に初期設定記憶部１０７に登録する。また、この時マウス情報設定部１０５３は、製造装置５０の特性に応じて、マウスのクリック動作の速度やマウスの移動速度の初期設定を行い、初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程でマウスによる操作が必要な位置と操作内容を登録する。Next, the initial setting regarding the mouse operation of the manufacturing apparatus 50 will be described.
The operator takes in a screen of the manufacturing apparatus 50 (a screen in which a mouse operation is performed in the operation process) via the input device 11 and displays the screen on the display device 12. The operator performs the mouse operation according to the actual operation on the captured screen. For example, an operation of clicking the button B on the screen A shown in FIG. The mouse information setting unit 1053 assigns the mouse movement position ID to the position information of the area (button B) where the mouse operation is performed, and registers it in the initial setting storage unit 107 together with the operation content (number of clicks, etc.). At this time, the mouse information setting unit 1053 performs initial setting of the speed of the mouse click operation and the moving speed of the mouse according to the characteristics of the manufacturing apparatus 50, and registers them in the initial setting storage unit 107. The operator registers positions and operation contents that require operation with the mouse in the course of operation for all screens related to operation of the manufacturing apparatus 50.

次に、製造装置５０のライトペン操作に関する初期設定について説明する。
オペレータは、入力装置１１を介して製造装置５０の画面（操作過程でライトペンによる入力が行われる画面）を取り込み、表示装置１２に表示させる。オペレータは、取り込んだ画面上で実際の操作どおりにライトペンによる入力を行う。例えば、図３に示す画面Ａにおいて、ライトペンによりチェックボックスＲ４をチェックする。ライトペン情報設定部１０５４は、ライトペン操作が行われた領域（チェックボックスＲ４）の位置情報にライトペン移動位置ＩＤを付与して、操作内容と共に初期設定記憶部１０７に登録する。また、この時ライトペン情報設定部１０５４は、製造装置５０の特性に応じて、製造装置５０へのライトペン操作信号の送信速度を調整し初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程でライトペンによる操作が必要な位置と操作内容を登録する。Next, the initial setting regarding the light pen operation of the manufacturing apparatus 50 will be described.
The operator takes in the screen of the manufacturing apparatus 50 (a screen on which light pen input is performed in the operation process) via the input device 11 and causes the display device 12 to display the screen. The operator performs input with a light pen on the captured screen in accordance with the actual operation. For example, on the screen A shown in FIG. 3, the check box R4 is checked with a light pen. The light pen information setting unit 1054 assigns the light pen movement position ID to the position information of the area (check box R4) where the light pen operation has been performed, and registers it in the initial setting storage unit 107 together with the operation content. At this time, the light pen information setting unit 1054 adjusts the transmission speed of the light pen operation signal to the manufacturing apparatus 50 according to the characteristics of the manufacturing apparatus 50 and registers it in the initial setting storage unit 107. The operator registers the position and operation content that require operation with the light pen in the course of operation for all screens related to operation of the manufacturing apparatus 50.

次に、製造装置５０の文字認識機能に関する初期設定について説明する。
オペレータは、製造装置５０の画面に表示される文字のうち、操作の過程で文字データとして認識する必要があるものについて初期設定を行う。例えば、図３の画面Ａにおいて、領域Ｒ５に表示されている文字「Ｐ５１」は、操作の過程で「Ｐ５１」という文字データとして製造装置５０の上位機（管理サーバ等）に送信する必要がある。オペレータは、まず入力装置１１を用いて領域Ｒ５に表示されている「Ｐ」の文字を「Ｐ」の文字データとして指定する。文字認識情報設定部１０５５は、領域Ｒ５に表示されている「Ｐ」の画像データを製造装置５０における「Ｐ」の文字として初期設定記憶部１０７に登録する。続いてオペレータは、「５」と「１」についても同様に「５」と「１」の文字データとして登録する。Next, the initial setting regarding the character recognition function of the manufacturing apparatus 50 is demonstrated.
The operator performs initial setting for characters displayed on the screen of the manufacturing apparatus 50 that need to be recognized as character data in the course of operation. For example, in the screen A of FIG. 3, the character “P51” displayed in the region R5 needs to be transmitted as character data “P51” to the host device (such as a management server) of the manufacturing apparatus 50 in the course of operation. . First, the operator designates the character “P” displayed in the area R5 using the input device 11 as character data “P”. The character recognition information setting unit 1055 registers the image data “P” displayed in the region R5 in the initial setting storage unit 107 as the character “P” in the manufacturing apparatus 50. Subsequently, the operator similarly registers “5” and “1” as character data “5” and “1”.

このように、操作の過程で文字データとして認識する必要のある文字について、実際に表示される文字の画像を文字データとして登録しておくことにより、実際の操作中に表示されている文字を、登録されている文字と比較することで文字認識を行うことができる。ＯＣＲ（Optical Character Recognition）のような一般の文字認識技術では、綺麗に整形された文字は正確に認識できるが、装置の特性や経年劣化等の影響により必ずしも綺麗に整形された文字のみが表示されるとは限らない。したがって、予め実際に表示されている文字をその装置における文字データとして初期登録しておくことにより、表示されている文字の認識を確実に行うことが可能となる。   In this way, for characters that need to be recognized as character data in the course of operation, by registering character images that are actually displayed as character data, the characters displayed during actual operation are Character recognition can be performed by comparing with registered characters. General character recognition technology such as OCR (Optical Character Recognition) can accurately recognize well-shaped characters, but only neatly-shaped characters are displayed due to the characteristics of the device and the effects of deterioration over time. Not necessarily. Therefore, by initially registering characters that are actually displayed in advance as character data in the device, it is possible to reliably recognize the displayed characters.

以上の作業により製造装置５０の初期設定が一通り終了したら、次に、オペレータは入力装置１１を用いて製造装置５０の操作命令作成を行う（ステップＳ３）。操作手順作成部１０１は、オペレータの操作に応じて操作命令を作成し、操作手順記憶部１０６に登録する。   When the initial setting of the manufacturing apparatus 50 is completed through the above operation, the operator then creates an operation command for the manufacturing apparatus 50 using the input device 11 (step S3). The operation procedure creating unit 101 creates an operation command in accordance with the operation of the operator and registers it in the operation procedure storage unit 106.

図４〜図８を用いて製造装置５０の操作命令の作成について説明する。
まず、オペレータは、図４に示すような表示装置１２の表示部３０に表示されたツールバー３１（コンセプトチャートを構成する部品に対応するボタン群）の中から、入力装置１１を用いて、貼り付けたい部品のボタンを選択する。例えば、オペレータが入力装置１１（マウス）を用いてツールバー３１の中の「開始部品」ボタンをクリックすると、その入力信号を受けたチャート作成部１０１１は、表示部３０の下部に「部品選択モード：開始部品」という文字を表示する。このような「部品選択モード」の状態で、オペレータが入力装置１１（マウス）を用いて表示部３０の中央部にあるチャート作成画面３２をクリックすると、その入力信号を受けたチャート作成部１０１１は、図５に示すように、チャート作成画面３２に開始部品Ｓを貼り付ける（表示する）。この時点で、「部品選択モード」は解除される。Creation of an operation command for the manufacturing apparatus 50 will be described with reference to FIGS.
First, the operator pastes using the input device 11 from the tool bar 31 (a group of buttons corresponding to components constituting the concept chart) displayed on the display unit 30 of the display device 12 as shown in FIG. Select the button for the part you want. For example, when the operator uses the input device 11 (mouse) to click the “starting part” button in the tool bar 31, the chart creation unit 1011 that has received the input signal displays “part selection mode: The text “starting part” is displayed. When the operator clicks the chart creation screen 32 in the center of the display unit 30 by using the input device 11 (mouse) in such a “part selection mode” state, the chart creation unit 1011 that has received the input signal As shown in FIG. 5, the starting part S is pasted (displayed) on the chart creation screen 32. At this point, the “component selection mode” is canceled.

次いで、オペレータが、表示部３０のチャート作成画面３２に貼り付けられた（表示された）開始部品Ｓをクリックすると、その入力信号を受けたチャート作成部１０１１は、図６に示すように、チャート作成画面３２の右側にあるプロパティ画面３３に開始部品Ｓのプロパティリストを表示する。オペレータは、入力装置１１を用いて、このプロパティリストに、開始部品Ｓのプロパティを入力する。例えば、オペレータが入力装置１１（キーボード）を用いてプロパティリストの「Summary」の欄に「プログラム開始」と入力すると、その入力信号を受けたオペレータが入力装置１１は、図６に示すように、チャート作成画面３２の開始部品Ｓの上方に「プログラム開始」と表示する。   Next, when the operator clicks on the starting part S pasted (displayed) on the chart creation screen 32 of the display unit 30, the chart creation unit 1011 that has received the input signal, as shown in FIG. The property list of the start part S is displayed on the property screen 33 on the right side of the creation screen 32. The operator uses the input device 11 to input the property of the starting part S into this property list. For example, when the operator inputs “program start” in the “Summary” column of the property list using the input device 11 (keyboard), the operator who has received the input signal, as shown in FIG. “Program start” is displayed above the start part S on the chart creation screen 32.

オペレータは、上記と同様の手順で、図７に示すように、表示部３０のチャート作成画面３２に別の部品（例えばコンセプト部品Ｃ１）を貼り付けることができる。この後、オペレータは、入力装置１１（マウス）を用いて、開始部品Ｓとコンセプト部品Ｃ１とを線で結ぶ。具体的には、オペレータは、チャート作成画面３２の開始部品Ｓの上にマウスポインタを配置した状態でマウスの左ボタンを押し、押したままマウスポインタをコンセプト部品Ｃ１へと移動させた後、左ボタンを離す。このような入力信号を受けたチャート作成部１０１１は、図８に示すように、開始部品Ｓとコンセプト部品Ｃ１とを結ぶ線Ｌを表示する。以下、同様の手順で、コンセプトチャートを作成することができる。The operator can paste another part (for example, the concept part C 1 ) on the chart creation screen 32 of the display unit 30 as shown in FIG. Thereafter, the operator uses the input device 11 (mouse), connecting the start part S and concepts component C 1 by line. Specifically, after the operator presses the left mouse button while placing the mouse pointer over the starting components S charting screen 32, it moves with the mouse pointer while pressing the concept component C 1, Release the left button. Charting unit 1011 receives such an input signal, as shown in FIG. 8, and displays the line L connecting the start part S and concepts component C 1. Thereafter, a concept chart can be created in the same procedure.

以上のようにしてコンセプトチャートを作成した後、オペレータは、入力装置１１を用いて、コンセプトチャートを所定の制御プログラムに変換するための入力操作を行う。かかる入力操作を受けたチャート変換部１０１２は、コンセプトチャートとＦＡ制御言語との対応テーブルを参照して、作成したコンセプトチャートをＦＡ制御言語で記述された制御プログラムに変換する。さらに、チャート変換部１０１２は、ＦＡ制御言語とＣ言語との対応テーブルを参照して、ＦＡ制御言語で記述された制御プログラムをＣ言語で記述された制御プログラムに変換する。ＦＡ制御言語とは、コンセプトチャートとＣ言語との中間に位置し日本語で理解可能な新規なプログラミング言語である。チャート変換部１０１２は、このようにＣ言語で記述された制御プログラムを得た後、Ｃ言語コンパイラを用いて制御プログラムをオブジェクトファイルに変換し、最終的に実行ファイルを作成する。作成されたコンセプトチャート、制御プログラム、および実行ファイルは、操作手順記憶部１０６に記憶される。   After creating the concept chart as described above, the operator uses the input device 11 to perform an input operation for converting the concept chart into a predetermined control program. In response to the input operation, the chart conversion unit 1012 refers to the correspondence table between the concept chart and the FA control language, and converts the created concept chart into a control program described in the FA control language. Further, the chart conversion unit 1012 refers to the correspondence table between the FA control language and the C language, and converts the control program written in the FA control language into a control program written in the C language. The FA control language is a new programming language that is located between the concept chart and the C language and can be understood in Japanese. After obtaining the control program described in the C language in this way, the chart conversion unit 1012 converts the control program into an object file using a C language compiler, and finally creates an execution file. The created concept chart, control program, and execution file are stored in the operation procedure storage unit 106.

図９は、コンセプトチャートの一例を示す図である。
図９のコンセプトチャートによれば、画面０１において領域Ｒ１のパターンを確認（コンセプト部品Ｃ１）、画面０１においてテキストボックスＴ１にキーボードで「１２３１２３」と入力（コンセプト部品Ｃ２）、画面０１においてマウスをボタンＢ１に移動してクリック操作（コンセプト部品Ｃ３）という流れで操作が進んでいく。 FIG. 9 is a diagram illustrating an example of a concept chart.
According to the concept chart of FIG. 9, the pattern of the region R1 is confirmed on the screen 01 (concept part C1), “123123” is input to the text box T1 on the screen 01 (concept part C2), and the mouse is clicked on the screen 01 The operation proceeds to B1 in the flow of click operation (concept part C3).

画面０１の領域Ｒ１のパターン確認は、予め初期設定記憶部１０７に登録されているパターンＩＤを利用することにより、複雑な座標指定等を行わなくても簡単に所望の操作を設定することができる。また、初期設定の段階で、製造装置５０毎の表示装置の性能に応じて調整された画像を取り込む周波数や解像度もここに反映される。   The pattern confirmation of the area R1 on the screen 01 can easily set a desired operation without performing complicated coordinate designation or the like by using a pattern ID registered in the initial setting storage unit 107 in advance. . In addition, the frequency and resolution for capturing an image adjusted according to the performance of the display device for each manufacturing device 50 at the initial setting stage are also reflected here.

テキストボックスＴ１へのキーボード入力については、初期設定の段階で、予めキーボード入力位置と入力内容がＩＤを付して登録されているため、ＩＤを指定するだけで所望の操作を簡単に設定することができる。また、初期設定の段階で、製造装置５０の性能に応じて調整された操作信号の送信間隔もここに反映される。   For keyboard input to the text box T1, since the keyboard input position and input contents are registered with an ID in advance at the initial setting stage, a desired operation can be easily set only by specifying the ID. Can do. In addition, the transmission interval of the operation signal adjusted according to the performance of the manufacturing apparatus 50 at the initial setting stage is also reflected here.

マウス操作についても、初期設定の段階で、マウス移動位置と操作内容がＩＤを付して登録されているため、ＩＤを指定するだけで所望の操作を簡単に設定することができる。また、初期設定の段階で、製造装置５０の性能に応じて調整されたマウスの移動速度やクリック速度もここに反映される。   As for the mouse operation, since the mouse movement position and the operation content are registered with an ID at the initial setting stage, a desired operation can be easily set only by specifying the ID. In addition, the mouse moving speed and click speed adjusted according to the performance of the manufacturing apparatus 50 at the initial setting stage are also reflected here.

同様に、ライトペン操作についても、初期設定の段階で、ライトペン移動位置と操作内容がＩＤを付して登録されているため、ＩＤを指定するだけで所望の操作を簡単に設定することができる。また、初期設定の段階で、製造装置５０の性能に応じて調整されたライトペンの操作信号の送信間隔もここに反映される。   Similarly, for the light pen operation, since the light pen moving position and the operation content are registered with an ID at the initial setting stage, a desired operation can be easily set only by specifying the ID. it can. Also, the transmission interval of the light pen operation signal adjusted according to the performance of the manufacturing apparatus 50 at the initial setting stage is reflected here.

さらに、特定の表示領域の色を確認する操作についても、予め対象領域の画像データと色情報がＩＤを付して登録されているため、ＩＤを指定するだけで、簡単にカラーマッチングの操作を設定することができる。   In addition, for the operation of confirming the color of a specific display area, the image data and color information of the target area are registered in advance with an ID. Therefore, the color matching operation can be performed simply by specifying the ID. Can be set.

さらに、表示されている文字を認識する操作についても、予め対象文字の画像データと文字情報がＩＤを付して登録されているため、ＩＤを指定するだけで、簡単に文字認識の操作を設定することができる。   Furthermore, for the operation for recognizing the displayed character, the image data and character information of the target character are registered in advance with an ID, so that the character recognition operation can be set simply by specifying the ID. can do.

このように、予め操作初期設定部１０５により各操作の初期設定が行われていることで、座標指定などの複雑な作業が不要となり、プログラム開発の知識が無くても簡単にコンセプトチャートを作成することができる。   As described above, since the initial setting of each operation is performed in advance by the operation initial setting unit 105, complicated work such as coordinate designation is not required, and a concept chart can be easily created without knowledge of program development. be able to.

次に、操作手順作成部１０１によって作成された操作命令を用いて、製造装置５０の自動操作を実行する（ステップＳ４）。
オペレータが入力装置１１を用いて製造装置５０の自動操作を開始すると、操作手順実行部１０２は、操作手順記憶部１０６に記憶された操作命令の実行ファイル（コンセプトチャートを変換した制御プログラムをコンパイルしたもの）を実行し、製造装置５０の自動操作を行う。Next, automatic operation of the manufacturing apparatus 50 is executed using the operation command created by the operation procedure creation unit 101 (step S4).
When the operator starts automatic operation of the manufacturing apparatus 50 using the input device 11, the operation procedure execution unit 102 compiles an operation instruction execution file (conversion program converted from a concept chart) stored in the operation procedure storage unit 106. The manufacturing apparatus 50 is automatically operated.

操作信号出力部１０３は、操作手順実行部１０２によって実行された操作命令に基づいて、入力装置５１のキーボード、マウス、およびライトペンの操作信号を、製造装置５０に送信する。キーボード操作が実行された場合には、あたかも人間がキーボードで文字を入力したように、入力装置５１の表示装置５２の表示画面の該当する入力領域（テキストボックス等）に、自動的にテキストが表示される。なお、操作初期設定部１０５による初期設定の段階で調整された操作信号の送信間隔が操作命令に反映されており、操作信号出力部１０３はこの設定にしたがって信号を送信するので、送信した操作信号が製造装置５０側で正しく受信されないといった問題は発生しない。   The operation signal output unit 103 transmits operation signals for the keyboard, mouse, and light pen of the input device 51 to the manufacturing apparatus 50 based on the operation command executed by the operation procedure execution unit 102. When a keyboard operation is executed, text is automatically displayed in a corresponding input area (such as a text box) on the display screen of the display device 52 of the input device 51 as if a human had entered a character using the keyboard. Is done. Note that the operation signal transmission interval adjusted in the initial setting stage by the operation initial setting unit 105 is reflected in the operation command, and the operation signal output unit 103 transmits a signal according to this setting. However, there is no problem that the manufacturing apparatus 50 does not receive the data correctly.

マウス操作が実行された場合には、表示装置５２の表示画面上でマウスのカーソルが指定箇所まで移動し、指定の操作（クリック等）が行われる。なお、初期設定の段階で調整されたマウスの移動速度やクリック速度が操作命令に反映されており、操作信号出力部１０３はこの設定にしたがって信号を送信するので、送信した操作信号が製造装置５０側で正しく受信されないといった問題は発生しない。   When a mouse operation is performed, the mouse cursor moves to a designated location on the display screen of the display device 52, and a designated operation (clicking or the like) is performed. Note that the movement speed and click speed of the mouse adjusted in the initial setting stage are reflected in the operation command, and the operation signal output unit 103 transmits a signal according to this setting. There is no problem that the data is not correctly received on the side.

ライトペン操作が実行された場合には、表示装置５２の表示画面上の指定箇所で人間が実際にライトペンで操作をした場合と同様の動作が自動的に実行される。なお、操作初期設定部１０５による初期設定の段階で調整された操作信号の送信速度が操作命令に反映されており、操作信号出力部１０３はこの設定にしたがって信号を送信するので、送信した操作信号が製造装置５０側で正しく受信されないといった問題は発生しない。   When the light pen operation is executed, the same operation as when a human actually operates with the light pen at a specified position on the display screen of the display device 52 is automatically executed. The operation signal transmission speed adjusted in the initial setting stage by the operation initial setting unit 105 is reflected in the operation command, and the operation signal output unit 103 transmits a signal according to this setting. However, there is no problem that the manufacturing apparatus 50 does not receive the data correctly.

画面情報取得部１０４は、操作手順実行部１０２によって実行された操作命令に基づいて、表示装置５２に表示されている画面の表示情報を取得し、パターンマッチング、カラーマッチング、文字認識等を行う。なお、操作初期設定部１０５による初期設定の段階で、製造装置５０毎の表示装置の性能に応じて画像を取り込む周波数や解像度を調整しているので、取得した画面の解像度が悪く、画像を正しく認識できないといった問題は発生しない。   The screen information acquisition unit 104 acquires display information on the screen displayed on the display device 52 based on the operation command executed by the operation procedure execution unit 102, and performs pattern matching, color matching, character recognition, and the like. Note that, at the initial setting stage by the operation initial setting unit 105, the frequency and resolution for capturing an image are adjusted according to the performance of the display device for each manufacturing apparatus 50, so the acquired screen resolution is poor and the image is correctly displayed. The problem of not being recognized does not occur.

パターンマッチングの操作命令が実行された場合には、取得した表示画面上の指定領域の画像が、初期設定記憶部１０７にＩＤを付して登録されている対応領域の画像データと比較される。画面情報取得部１０４は同一画像と判断された場合には処理を継続し、同一画像と判断されなかった場合には、処理を終了する等の動作を行う。   When the pattern matching operation command is executed, the acquired image of the designated area on the display screen is compared with the image data of the corresponding area registered with the ID in the initial setting storage unit 107. The screen information acquisition unit 104 continues processing when it is determined that the images are the same, and performs operations such as ending the processing when it is not determined that the images are the same.

カラーマッチングの操作命令が実行された場合には、取得した表示画面上の指定領域の画像が、初期設定記憶部１０７にＩＤを付して登録されている対応領域の色データ（画像データ）と比較される。画面情報取得部１０４は同一の色と判断された場合には処理を継続し、同一と判断されなかった場合には、処理を終了する等の動作を行う。   When a color matching operation command is executed, the acquired image of the designated area on the display screen is displayed with the color data (image data) of the corresponding area registered with an ID in the initial setting storage unit 107. To be compared. The screen information acquisition unit 104 continues the process when it is determined that the colors are the same, and performs an operation such as ending the process when it is not determined that the colors are the same.

文字認識の操作命令が実行された場合には、取得した表示画面上の特定の文字が、初期設定記憶部１０７にＩＤを付して登録されている文字データ（画像データ）と比較される。画面情報取得部１０４は同一の文字と判断された場合には処理を継続し、同一と判断されなかった場合には、処理を終了する等の動作を行う。   When a character recognition operation command is executed, the acquired specific character on the display screen is compared with character data (image data) registered with an ID in the initial setting storage unit 107. The screen information acquisition unit 104 continues the process when it is determined that they are the same character, and performs an operation such as ending the process when it is not determined that they are the same.

以上のように、本実施形態によれば、人間が製造装置を操作する場合に発生する操作信号（キーボード信号、マウス信号、ライトペン信号）に相当する信号を、自動操作システム１０から製造装置５０に供給することにより、人間が操作する代わりに製造装置を自動操作することができる。また、製造装置の表示装置に表示される画像情報を取り込み、パターンマッチング等の画像認識を自動で行うようにしたので、人間が画面を確認しながら行う操作を人間に代わって自動的に行うことができる。   As described above, according to the present embodiment, a signal corresponding to an operation signal (keyboard signal, mouse signal, light pen signal) generated when a person operates the manufacturing apparatus is sent from the automatic operation system 10 to the manufacturing apparatus 50. By supplying to, the manufacturing apparatus can be automatically operated instead of being operated by a human. In addition, since image information displayed on the display device of the manufacturing apparatus is captured and image recognition such as pattern matching is automatically performed, humans can automatically perform operations while checking the screen on behalf of humans. Can do.

また、製造装置への操作信号の送信処理や、製造装置から出力された画像信号の取得を自動化しているため、製造装置自体の改造は必要なく、年代やメーカーの異なる装置であっても同様に適用することができる。また、製造装置の改造を行わないため、メーカー保証を受けられなくなるなどの問題も回避できる。   In addition, since the transmission of the operation signal to the manufacturing device and the acquisition of the image signal output from the manufacturing device are automated, there is no need to modify the manufacturing device itself. Can be applied to. In addition, since the manufacturing apparatus is not remodeled, it is possible to avoid problems such as being unable to receive the manufacturer's warranty.

また、操作命令の作成には、アルゴリズムを視覚的・直感的に理解可能なコンセプトチャートを用いることができるので、プログラム開発の知識がなくても、任意の製造装置に対する操作命令を簡単に作成することができる。この結果、多種多様な製造装置が稼動する工場の完全自動化を、低コストで短時間に実現させることができる。   In addition, since the concept chart that can understand the algorithm visually and intuitively can be used for the creation of the operation command, it is possible to easily create the operation command for any manufacturing apparatus without knowledge of program development. be able to. As a result, it is possible to realize full automation of a factory in which a wide variety of manufacturing apparatuses operate at a low cost in a short time.

さらに、操作命令の生成に必要な製造装置の情報を初期設定し、各項目にＩＤを付して登録しておくようにしたので、本来操作命令の作成の際に行う必要がある複雑なパラメータ設定を省略し、ＩＤの指定のみで対応することができる。このため、自動化のプロセスをより簡易にすることができる。   In addition, since the information on the manufacturing equipment necessary for generating the operation command is initialized and each item is assigned an ID, it is a complicated parameter that must be originally created when creating the operation command. It is possible to cope with this by omitting the setting and only specifying the ID. For this reason, the automation process can be simplified.

また、初期設定の作業は、実際に製造装置から取り込んだ画面の動きを確認しながら行えるので、プログラム開発の知識がなくても簡易かつ正確に初期設定を行うことができる。   Further, the initial setting operation can be performed while checking the movement of the screen actually taken from the manufacturing apparatus, so that the initial setting can be performed easily and accurately without knowledge of program development.

実施の形態２．
図１０は、本発明の実施の形態２による、自動操作システム２０の構成を示すブロック図である。図１と同一の符号は、対応する構成要素を表している。図１０に示すように、自動操作システム２０は、実施の形態１による自動操作システム１０の構成要素に加えて、シミュレーション部１０８、シミュレータ生成部１０９、およびシミュレータ記憶部１１０を備えている。シミュレーション部１０８およびシミュレータ生成部１０９は、自動操作システム２０のＣＰＵがＲＯＭ等に格納された所定のプログラムを実行することにより実現される機能のモジュールに相当する。シミュレータ記憶部１１０は外部記憶装置により実装される。Embodiment 2. FIG.
FIG. 10 is a block diagram showing the configuration of the automatic operation system 20 according to the second embodiment of the present invention. The same reference numerals as those in FIG. 1 represent corresponding components. As shown in FIG. 10, the automatic operation system 20 includes a simulation unit 108, a simulator generation unit 109, and a simulator storage unit 110 in addition to the components of the automatic operation system 10 according to the first embodiment. The simulation unit 108 and the simulator generation unit 109 correspond to modules having functions realized by the CPU of the automatic operation system 20 executing a predetermined program stored in a ROM or the like. The simulator storage unit 110 is implemented by an external storage device.

シミュレーション部１０８は、操作手順作成部１０１によって生成された操作命令の試験を製造装置のシミュレータを用いて実行する機能を有する。シミュレータ生成部１０９は、製造装置のシミュレータを自動生成する機能を有する。シミュレータ記憶部１１０は、シミュレータ生成部１０９により作成されたシミュレータを記憶する。その他の各構成の機能については、実施の形態１と同様である。   The simulation unit 108 has a function of executing a test of the operation command generated by the operation procedure creation unit 101 using a simulator of the manufacturing apparatus. The simulator generation unit 109 has a function of automatically generating a simulator of the manufacturing apparatus. The simulator storage unit 110 stores the simulator created by the simulator generation unit 109. The functions of other components are the same as those in the first embodiment.

図１１は、製造装置５０の操作自動化の手順の概略を示すフローチャートである。ステップＳ１１〜ステップＳ１３は実施の形態１の処理（図２：ステップＳ１〜ステップＳ３）と同様である。ステップＳ１４において、オペレータは入力装置１１を用いて、ステップＳ１３で作成した操作命令の試験を行うためのシミュレータ生成を行う。シミュレータ生成部１０９は、オペレータの操作に応じてシミュレータを作成し、シミュレータ記憶部１１０に記憶する。   FIG. 11 is a flowchart showing an outline of a procedure for automating the operation of the manufacturing apparatus 50. Steps S11 to S13 are the same as the processing of the first embodiment (FIG. 2: steps S1 to S3). In step S14, the operator uses the input device 11 to generate a simulator for testing the operation command created in step S13. The simulator generation unit 109 creates a simulator according to the operation of the operator and stores it in the simulator storage unit 110.

オペレータは入力装置１１を用いて、初期設定記憶部１０７に登録されている製造装置５０の操作に使われる全ての画面データを取り出し、表示装置１２に表示させる。さらにオペレータは、入力装置１１を用いて、表示されている全ての画面を実際の製造装置を操作した時の画面遷移と同様に繋げる。シミュレータ生成部１０９は、オペレータが繋げた順序で画面が遷移するようなシミュレータを生成し、シミュレータ記憶部１１０に記憶する。オペレータは、表示装置１２上で作成したシミュレータを実際に動かし、画面遷移が正しく作成されているかどうかを確認することができる。   The operator uses the input device 11 to extract all screen data used for the operation of the manufacturing apparatus 50 registered in the initial setting storage unit 107 and display it on the display device 12. Furthermore, the operator uses the input device 11 to connect all displayed screens in the same manner as the screen transition when the actual manufacturing apparatus is operated. The simulator generation unit 109 generates a simulator in which the screen transitions in the order in which the operators are connected, and stores the simulator in the simulator storage unit 110. The operator can actually move the simulator created on the display device 12 and check whether the screen transition is created correctly.

シミュレータの作成と動作確認が終了したら、操作命令の試験を実行する（ステップＳ１５）。
オペレータが入力装置１１を用いて試験の実行を開始すると、シミュレーション部１０８は、シミュレータ記憶部１１０に記憶されたシミュレータを用いて操作手順記憶部１０６に記憶された操作命令の実行ファイルを実行する。オペレータは、表示装置１２上でシミュレータの動作を確認し、操作命令が正しく作成されているかどうかを確認することができる。操作命令の検証が終了したら、製造装置５０の自動操作を実行する（ステップＳ１６）。When the creation of the simulator and the operation confirmation are completed, a test for an operation command is executed (step S15).
When the operator starts executing the test using the input device 11, the simulation unit 108 executes the execution file of the operation instruction stored in the operation procedure storage unit 106 using the simulator stored in the simulator storage unit 110. The operator can confirm the operation of the simulator on the display device 12 and confirm whether or not the operation command is correctly created. When the verification of the operation command is completed, automatic operation of the manufacturing apparatus 50 is executed (step S16).

以上のように、本実施形態によれば、作成した操作命令の試験を行うために製造装置のシミュレータを作成し、操作命令の動作確認が行えるようにした。実際に生産ラインで稼動している製造装置を操作命令の試験に使用する場合には、生産に支障がでないようにするため試験の時間が非常に限られる。一方、本実施形態のようにシミュレータを用いて試験が行えるようにすることで、生産ラインを止めずに、時間の余裕を持って試験を行うことができる。   As described above, according to the present embodiment, a simulator for a manufacturing apparatus is created in order to test a created operation command so that the operation of the operation command can be confirmed. When a manufacturing apparatus that is actually operating on a production line is used for the operation instruction test, the test time is very limited so as not to hinder the production. On the other hand, by making it possible to perform a test using a simulator as in this embodiment, the test can be performed with sufficient time without stopping the production line.

また、本実施形態によれば、初期設定で登録した製造装置の画面データを利用して簡単にシミュレータを作成することができるので、プログラム開発の知識がないユーザも、自分でシミュレータを作成し、操作命令の試験を行うことができる。   In addition, according to the present embodiment, it is possible to easily create a simulator using the screen data of the manufacturing apparatus registered in the initial setting, so even a user who does not have knowledge of program development can create a simulator himself, Operational instructions can be tested.

本発明の実施例として、地震発生時などの緊急時に生産ラインの全ての装置を自動で一括停止するシステムの例を示す。地震などの災害発生時には、人命優先のため装置を稼動させたままの状態で避難する。しかし、装置によっては有毒物質や可燃性物質を使用しているものもあり、稼動状態のまま放置すると、有毒物質が放出されたり、火災を引き起こしたりする危険がある。また、正しい停止手順により停止を行っていないと、装置を再稼動させる際に校正作業を行う必要があり、多大な作業時間とコストが発生する。このため、本発明の実施例として、緊急事態発生の際、ボタン操作１つで作動する緊急時一括停止システム７０を提案する。   As an embodiment of the present invention, an example of a system that automatically stops all devices on a production line in an emergency such as an earthquake will be shown. When a disaster such as an earthquake occurs, evacuate while keeping the device in operation to give priority to human life. However, some devices use toxic substances and flammable substances. If left in an operating state, there is a risk of toxic substances being released or causing a fire. Further, if the stop is not performed according to the correct stop procedure, it is necessary to perform a calibration work when the apparatus is restarted, resulting in a great amount of work time and cost. Therefore, as an embodiment of the present invention, an emergency batch stop system 70 that operates with a single button operation when an emergency occurs is proposed.

図１２は、本発明の実施例による、緊急時一括停止システム７０の構成を示すブロック図である。図に示すように、緊急時一括停止システム７０は、通信回線を介して生産ライン上の全ての製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄと接続されている。製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄは、それぞれキーボードやマウス等の入力装置５１Ａ，５１Ｂ，５１Ｃ，５１Ｄを有している。   FIG. 12 is a block diagram showing the configuration of the emergency batch stop system 70 according to the embodiment of the present invention. As shown in the figure, the emergency batch stop system 70 is connected to all the manufacturing apparatuses 50A, 50B, 50C, and 50D on the production line via a communication line. The manufacturing apparatuses 50A, 50B, 50C, and 50D have input devices 51A, 51B, 51C, and 51D such as a keyboard and a mouse, respectively.

緊急時一括停止システム７０は、製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄのそれぞれについて、正しい手順で停止させる操作命令を保持している。オペレータは、地震などの緊急事態が発生した際、緊急時一括停止システム７０の入力装置を用いて一括停止の実行を開始する。なお、一括停止の実行開始は、リモコン等を用いた遠隔操作で行えるようにしてもよいし、離れた場所にある、緊急時一括停止システム７０と回線（有線または無線）で接続された他のコンピュータから操作できるようにしてもよい。   The emergency batch stop system 70 holds an operation command for stopping each of the manufacturing apparatuses 50A, 50B, 50C, and 50D in a correct procedure. When an emergency such as an earthquake occurs, the operator starts execution of collective stop using the input device of the emergency collective stop system 70. The execution of the collective stop may be performed by remote operation using a remote controller or the like, or may be connected to an emergency collective stop system 70 in a remote location connected by a line (wired or wireless). You may enable it to operate from a computer.

一括停止が実行されると、緊急時一括停止システム７０から製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄに対して一括停止の操作命令が実行される。すなわち、通常、人間が入力装置５１Ａ，５１Ｂ，５１Ｃ，５１Ｄを用いて行う正常な停止操作に相当する操作の信号が製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄに送信される。   When the batch stop is executed, the batch stop operation command is executed from the emergency batch stop system 70 to the manufacturing apparatuses 50A, 50B, 50C, and 50D. That is, an operation signal corresponding to a normal stop operation normally performed by a human using the input devices 51A, 51B, 51C, and 51D is transmitted to the manufacturing devices 50A, 50B, 50C, and 50D.

以上のように、本実施例によれば、緊急事態発生時に、必要最小限の操作で全ての装置を正常に一括停止することができる。この結果、二次災害が防止できると共に、装置の復旧作業の負担も軽減することができる。   As described above, according to this embodiment, when an emergency occurs, all the devices can be normally stopped collectively with a minimum necessary operation. As a result, it is possible to prevent secondary disasters and reduce the burden of device restoration work.

１０，２０ 自動操作システム、１１ 入力装置、１２ 表示装置、３０ 表示部、３１ ツールバー、３２ チャート作成画面、５０ 製造装置、５０Ａ，５０Ｂ，５０Ｃ，５０Ｄ 製造装置、５１ 入力装置、５１Ａ，５１Ｂ，５１Ｃ，５１Ｄ 入力装置、５２ 表示装置、７０ 緊急時一括停止システム、１０１ 操作手順作成部、１０２ 操作手順実行部、１０３ 操作信号出力部、１０４ 画面情報取得部、１０５ 操作初期設定部、１０６ 操作手順記憶部、１０７ 初期設定記憶部、１０８ シミュレーション部、１０９ シミュレータ生成部、１１０ シミュレータ記憶部、１０１１ チャート作成部、１０１２ チャート変換部、１０５１ パターン認識情報設定部、１０５２ キーボード情報設定部、１０５３ マウス情報設定部、１０５４ ライトペン情報設定部、１０５５ 文字認識情報設定部   10,20 Automatic operation system, 11 input device, 12 display device, 30 display unit, 31 toolbar, 32 chart creation screen, 50 manufacturing device, 50A, 50B, 50C, 50D manufacturing device, 51 input device, 51A, 51B, 51C , 51D input device, 52 display device, 70 emergency emergency stop system, 101 operation procedure creation unit, 102 operation procedure execution unit, 103 operation signal output unit, 104 screen information acquisition unit, 105 operation initial setting unit, 106 operation procedure storage Unit 107 initial setting storage unit 108 simulation unit 109 simulator generation unit 110 simulator storage unit 1011 chart creation unit 1012 chart conversion unit 1051 pattern recognition information setting unit 1052 keyboard information setting unit 1053 mouse information setting unit , 105 Light pen information setting unit, 1055 character recognition information setting unit

Claims (19)

操作対象装置に対して、一連の操作命令を自動的に実行する自動操作システムであって、
前記一連の操作命令を生成する操作手順作成部と、
前記一連の操作命令を実行する操作手順実行部と、
実行された前記操作命令に基づいて、前記操作対象装置の入力装置の操作信号に相当する信号を、前記操作対象装置に送信する操作信号出力部と、
実行された前記操作命令に基づいて、前記操作対象装置の表示装置に表示されている画面の情報を取得し、画像認識を行う画面情報取得部と、を備え、
前記一連の操作命令の生成に必要な前記操作対象装置の情報を取得し、各々の操作命令の設定に必要な情報にＩＤを付して登録する操作初期設定部をさらに備えた、自動操作システム。 An automatic operation system that automatically executes a series of operation instructions on an operation target device,
An operation procedure creation unit for generating the series of operation instructions;
An operation procedure execution unit for executing the series of operation instructions;
An operation signal output unit that transmits a signal corresponding to an operation signal of the input device of the operation target device to the operation target device based on the executed operation command;
Based on the performed the operation instructions, a display device acquires information of the screen displayed on the operation target apparatus, Preparations example and the screen information acquisition unit that performs image recognition, and
An automatic operation system further comprising an operation initial setting unit that acquires information on the operation target device necessary for generating the series of operation commands and registers the information necessary for setting each operation command with an ID. . 前記操作初期設定部は、前記操作対象装置の全ての操作画面を取得し、操作の過程で必要となる表示情報の位置情報にＩＤを付与して、画像データと共に登録する、請求項１に記載の自動操作システム。 The operation initialization unit acquires all operation screen of the operation target device, by giving an ID to the position information of the display information required in the course of the operation, it registers with the image data, according to claim 1 Automatic operation system. 前記操作初期設定部は、前記操作対象装置の操作画面上でキーボード入力が行われる領域の位置情報にＩＤを付与して、入力されるテキストデータと共に登録する、請求項１に記載の自動操作システム。 2. The automatic operation system according to claim 1 , wherein the operation initial setting unit assigns an ID to position information of an area where keyboard input is performed on an operation screen of the operation target device and registers the information together with input text data. 3. . 前記操作初期設定部は、前記操作対象装置の操作画面上でマウス操作が行われる位置の位置情報にＩＤを付与して、マウス操作の内容と共に登録する、請求項１に記載の自動操作システム。 The automatic operation system according to claim 1 , wherein the operation initial setting unit assigns an ID to position information of a position where a mouse operation is performed on an operation screen of the operation target device and registers the information together with a content of the mouse operation. 前記操作初期設定部は、前記操作対象装置の操作画面上でライトペン操作が行われる位置の位置情報にＩＤを付与して、ライトペン操作の内容と共に登録する、請求項１に記載の自動操作システム。 2. The automatic operation according to claim 1 , wherein the operation initial setting unit assigns an ID to position information of a position where a light pen operation is performed on the operation screen of the operation target device, and registers the information together with a content of the light pen operation. system. 前記操作初期設定部は、前記操作対象装置の操作画面上で、画面に表示される色を認識する必要がある領域の位置情報にＩＤを付与して、画像データおよび色情報と共に録する、請求項１に記載の自動操作システム。 The operation initial setting unit assigns an ID to position information of an area where it is necessary to recognize a color displayed on the operation screen of the operation target device, and records it together with image data and color information. Item 2. The automatic operation system according to Item 1 . 前記操作初期設定部は、前記操作対象装置の操作画面上に表示される文字のうち、文字データとして認識する必要がある文字にＩＤを付与して、文字の画像データと共に登録する、請求項１に記載の自動操作システム。 The operation initial setting unit, among the characters displayed on the operation screen of the operation target device, by giving an ID to a character that needs to be recognized as character data, to register with the character image data, according to claim 1 Automatic operation system as described in. 前記操作手順作成部は、
前記操作初期設定部によってＩＤを付して登録された情報を用いて操作命令を生成する、請求項１に記載の自動操作システム。 The operation procedure creation unit
The automatic operation system according to claim 1 , wherein an operation command is generated using information registered with an ID by the operation initial setting unit. 前記操作手順作成部は、
特定のシステムのコンセプトを表現するためのコンセプト部品と前記コンセプトを実現させるために機能の流れに従って構成されたリアライズ部品とを有するコンセプトチャートを作成するためのチャート作成部と、
前記チャート作成部で作成したコンセプトチャートを制御プログラムに変換するチャート変換部と、を備え、
前記チャート作成部は、
オペレータによる入力部を介した操作に基づいて、前記コンセプトチャートを構成する前記コンセプト部品及び前記リアライズ部品を含む複数の部品を表示部に表示するとともに、前記部品の各々に関する情報と前記部品同士の関係を規定する情報とを前記表示部に表示する、請求項１に記載の自動操作システム。 The operation procedure creation unit
A chart creation unit for creating a concept chart having a concept part for expressing a concept of a specific system and a realization part configured according to a function flow to realize the concept;
A chart conversion unit that converts the concept chart created by the chart creation unit into a control program,
The chart creation unit
Based on an operation performed by an operator via the input unit, a plurality of components including the concept component and the realized component constituting the concept chart are displayed on the display unit, and information on each of the components and the relationship between the components 2. The automatic operation system according to claim 1, wherein information for defining the information is displayed on the display unit. 前記操作信号出力部は、
前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置のキーボード、マウス、またはライトペンの操作信号を、前記操作対象装置に送信する、請求項１に記載の自動操作システム。 The operation signal output unit is
The automatic operation system according to claim 1, wherein an operation signal of a keyboard, a mouse, or a light pen of the operation target device is transmitted to the operation target device based on an operation instruction executed by the operation procedure execution unit. 前記画面情報取得部は、
前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された画像と、前記操作初期設定部によってＩＤを付して登録された画像データとの照合を行う、請求項１に記載の自動操作システム。 The screen information acquisition unit
Based on the operation command executed by the operation procedure execution unit, the image displayed on the display device of the operation target device is compared with the image data registered with the ID by the operation initial setting unit. The automatic operation system according to claim 1. 前記画面情報取得部は、
前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された色と、前記操作初期設定部によってＩＤを付して登録された色データとの照合を行う、請求項１に記載の自動操作システム。 The screen information acquisition unit
Based on the operation command executed by the operation procedure execution unit, the color displayed on the display device of the operation target device is compared with the color data registered with the ID by the operation initial setting unit. The automatic operation system according to claim 1. 前記画面情報取得部は、
前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された文字と、前記操作初期設定部によってＩＤを付して登録された文字データとのマッチングを行う、請求項１に記載の自動操作システム。 The screen information acquisition unit
Based on the operation command executed by the operation procedure execution unit, matching is performed between characters displayed on the display device of the operation target device and character data registered with an ID by the operation initial setting unit. The automatic operation system according to claim 1. 前記操作手順作成部によって生成された操作命令の試験を前記操作対象装置のシミュレータを用いて実行するシミュレーション部と、
前記操作対象装置のシミュレータを生成するシミュレータ生成部と、を備えた請求項１に記載の自動操作システム。 A simulation unit that executes a test of the operation command generated by the operation procedure creation unit using a simulator of the operation target device;
The automatic operation system according to claim 1, further comprising a simulator generation unit that generates a simulator of the operation target device. 前記シミュレータ生成部は、
前記操作初期設定部によってＩＤを付して登録された情報を用いてシミュレータを生成する、請求項１４に記載の自動操作システム。 The simulator generation unit
The automatic operation system according to claim 14 , wherein a simulator is generated using information registered with an ID by the operation initial setting unit. 前記一連の操作命令は、前記操作対象装置を正常停止させるための一連の操作であり、
前記操作手順実行部は、複数の操作対象装置に対して、一括で正常停止の操作を実行する請求項１に記載の自動操作システム。 The series of operation commands is a series of operations for normally stopping the operation target device,
The automatic operation system according to claim 1, wherein the operation procedure execution unit executes normal stop operations at once for a plurality of operation target devices. 操作対象装置に対して、一連の操作命令を自動的に実行する操作自動化方法であって、
前記一連の操作命令の生成に必要な前記操作対象装置の情報を取得し、各々の操作命令の設定に必要な情報にＩＤを付して登録する工程と、
前記一連の操作命令を生成する工程と、
前記一連の操作命令を実行する工程と、を備え
前記一連の操作命令を実行する工程では、
実行された前記操作命令に基づいて、前記操作対象装置の入力装置の操作信号に相当する信号を、前記操作対象装置に送信し、
実行された前記操作命令に基づいて、前記操作対象装置の表示装置に表示されている画面の情報を取得し、画像認識を行う、操作自動化方法。 An operation automation method for automatically executing a series of operation commands on an operation target device,
Obtaining information of the operation target device necessary for generating the series of operation instructions, and registering the information necessary for setting each operation instruction with an ID;
Generating the series of operation instructions;
A step of executing the series of operation instructions, and a step of executing the series of operation instructions.
Based on the executed operation command, a signal corresponding to the operation signal of the input device of the operation target device is transmitted to the operation target device,
An operation automation method for acquiring information on a screen displayed on a display device of the operation target device and performing image recognition based on the executed operation command. 前記一連の操作命令を生成する工程では、
前記ＩＤを付して登録された情報を用いて操作命令を生成する、請求項１７に記載の操作自動化方法。 In the step of generating the series of operation instructions,
The operation automation method according to claim 17 , wherein an operation command is generated using information registered with the ID. 前記操作対象装置のシミュレータを生成する工程と、
前記シミュレータを用いて生成された前記操作命令の試験を実行する工程と、
を備えた請求項１７に記載の操作自動化方法。 Generating a simulator of the operation target device;
Executing a test of the operation command generated using the simulator;
The operation automation method according to claim 17 , further comprising:
JP2013556085A 2012-06-19 2012-09-10 Automatic operation system and operation automation method Active JP5740634B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013556085A JP5740634B2 (en) 2012-06-19 2012-09-10 Automatic operation system and operation automation method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012137701 2012-06-19
JP2012137701 2012-06-19
PCT/JP2012/073094 WO2013190714A1 (en) 2012-06-19 2012-09-10 Automatic operation system and method for automating operation
JP2013556085A JP5740634B2 (en) 2012-06-19 2012-09-10 Automatic operation system and operation automation method

Publications (2)

Publication Number Publication Date
JP5740634B2 true JP5740634B2 (en) 2015-06-24
JPWO2013190714A1 JPWO2013190714A1 (en) 2016-02-08

Family

ID=49768333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013556085A Active JP5740634B2 (en) 2012-06-19 2012-09-10 Automatic operation system and operation automation method

Country Status (3)

Country Link
JP (1) JP5740634B2 (en)
CN (1) CN104395843B (en)
WO (1) WO2013190714A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071582A (en) * 2014-09-30 2016-05-09 株式会社ウォーターエージェンシー Automatic operation device
CN105843125B (en) * 2016-05-10 2018-05-25 国网山东省电力公司德州供电公司 A kind of system and method for substation's series of operations based on status recognition technique
JP2019125063A (en) * 2018-01-12 2019-07-25 横河電機株式会社 Operation flow generation device, system, program, and operation flow generation method
CN108193355B (en) * 2018-03-06 2024-03-01 沈红 Shuttle capable of prompting operator of silk tapestry to select shuttle sequence
TWI818913B (en) * 2018-06-26 2023-10-21 聯華電子股份有限公司 Device and method for artificial intelligence controlling manufacturing apparatus
JP7174014B2 (en) * 2020-07-06 2022-11-17 株式会社東芝 Operating system, processing system, operating method, and program
JPWO2023276875A1 (en) * 2021-06-28 2023-01-05

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1048099A (en) * 1996-07-31 1998-02-20 Toshiba Corp Patrol supporting system
JP2004152276A (en) * 2002-10-09 2004-05-27 Matsushita Electric Ind Co Ltd Information terminal device, operation support method, and operation support program
WO2010016610A1 (en) * 2008-08-05 2010-02-11 株式会社エネサイバー Facility monitoring/controlling system and facility monitoring/controlling method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60301534T2 (en) * 2002-10-09 2006-07-13 Matsushita Electric Industrial Co., Ltd., Kadoma Method and device for anticipating the course of the service
JP4893093B2 (en) * 2006-04-28 2012-03-07 富士通株式会社 Work instruction system, work instruction device, work instruction program, and work instruction method
CN101978405B (en) * 2008-02-15 2013-04-03 因文西斯系统公司 System and method for autogenerating simulations for process control system checkout and operator training
WO2009116163A1 (en) * 2008-03-21 2009-09-24 株式会社三菱東京Ｕｆｊ銀行 Application development support device, program and recording medium
CN102187310B (en) * 2008-10-20 2016-06-22 三菱电机株式会社 Equipment uses auxiliary device and system
JP2012053503A (en) * 2010-08-31 2012-03-15 Hitachi Ltd Automated computer operation system
CN102331763A (en) * 2011-08-02 2012-01-25 成都海视特科技有限公司 Method for generating and executing command for process control system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1048099A (en) * 1996-07-31 1998-02-20 Toshiba Corp Patrol supporting system
JP2004152276A (en) * 2002-10-09 2004-05-27 Matsushita Electric Ind Co Ltd Information terminal device, operation support method, and operation support program
WO2010016610A1 (en) * 2008-08-05 2010-02-11 株式会社エネサイバー Facility monitoring/controlling system and facility monitoring/controlling method

Also Published As

Publication number Publication date
CN104395843A (en) 2015-03-04
WO2013190714A1 (en) 2013-12-27
CN104395843B (en) 2017-06-23
JPWO2013190714A1 (en) 2016-02-08

Similar Documents

Publication Publication Date Title
JP5740634B2 (en) Automatic operation system and operation automation method
CN110928529B (en) Method and system for assisting operator development
EP3246818B1 (en) Functional behaviour test system and method
CN108959068B (en) Software interface testing method, device and storage medium
CN110226095B (en) Universal automated testing of embedded systems
US20150294039A1 (en) Graphical Design Verification Environment Generator
AU2016201389A1 (en) Method and system for process automation in computing
CN104123219A (en) Method and device for testing software
CN107656872B (en) Software testing method, device, equipment and computer storage medium
KR102304781B1 (en) Method for inspecting facility and user terminal performing the same
CN113126983A (en) Automatic change editing system of script program for test
JP4791990B2 (en) Plant model development system
CN117369811A (en) Method, device and storage medium for generating monitoring system software interface
US9298428B2 (en) Graphical user interface editor that displays live data during editing
JP2019106107A (en) Program, information processing apparatus, and screen test system
CN210650758U (en) Test system of robot demonstrator
CN114925516A (en) Method and device for automatic modeling and simulation
CN113805873A (en) Codeless workflow definition method, terminal device and computer-readable storage medium
US20230315434A1 (en) Management system and method to support interworking with third party products while allowing addition and deletion of function modules
JP7506339B2 (en) Information processing system, control method thereof, and program
JP2021009605A (en) Program and method for supporting generation of software operation scenario and device for supporting generation of software operation scenario
US20240272935A1 (en) Workflow management method, system and computer program product with dynamic workflow creation
KR102694524B1 (en) Automatic testing device for providing user interface and operating method thereof
JP2019197258A (en) Information processor, method for controlling the same, and program
JP7499429B1 (en) Application remote control system, application execution control device, and application execution control method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150330

R150 Certificate of patent or registration of utility model

Ref document number: 5740634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250