JP7174014B2 - 操作システム、処理システム、操作方法、及びプログラム - Google Patents
操作システム、処理システム、操作方法、及びプログラム Download PDFInfo
- Publication number
- JP7174014B2 JP7174014B2 JP2020116434A JP2020116434A JP7174014B2 JP 7174014 B2 JP7174014 B2 JP 7174014B2 JP 2020116434 A JP2020116434 A JP 2020116434A JP 2020116434 A JP2020116434 A JP 2020116434A JP 7174014 B2 JP7174014 B2 JP 7174014B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- coordinates
- signal
- generating
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Description
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図1に表したように、実施形態に係る操作システム10は、取得部11、演算部12、生成部13、及び記憶装置14を含む。操作システム10は、処理装置21(第1装置)を自動的に操作するために用いられる。
図2及び図3は、表示装置の画面を例示する模式図である。
図4(a)は、第1ファイルの一部を例示する模式図である。図4(b)は、第2ファイルの一部を例示する模式図である。
ユーザは、第1ファイルを作成する(ステップS1)。次に、ユーザは、参照データを作成し(ステップS2)、第2ファイルを作成する(ステップS3)。操作システム10は、作成された、第1ファイル、参照データ、及び第2ファイルを用いて、処理装置21を自動的に操作する(ステップS4)。
操作システム10は、処理装置21からの出力信号を取得するとともに、処理装置21に対応した操作信号を入力する。このため、操作システム10は、既存の処理装置21に適用できる。操作が自動化されていない処理装置21に操作システム10を適用することで、処理装置21の操作を自動化できる。例えば、処理装置21の改造やプログラムの書き換え等を行わずに、処理装置21の操作を自動化できる。
例えば、図5に表したフローチャートにおいて、ステップS1~S3の後でありステップS4の前に、第1ファイル、第2ファイル、及び参照データを用いた操作が試行される。試行の一部において、演算部12は、画面の一部を選択するための選択操作命令を生成する(ステップS11)。生成部13は、その選択操作命令に基づく操作信号を生成し、処理装置21に送信する。演算部12は、画面の認識結果に基づき、操作信号による処理装置21への操作が完了したか判定する(ステップS12)。
図7は、第1変形例に係る操作システムを表す模式図である。
処理装置21には、入力装置と表示装置としての機能を備える入力表示装置が接続されても良い。例えば、図7に表したように、入力表示装置として、タッチパネル24が設けられる。第1変形例に係る操作システム10aは、切替部17をさらに含む。処理システム1aは、操作システム10a及び処理装置21を含む。
図8は、第2変形例に係る操作システムを表す模式図である。
第2変形例に係る操作システム10bは、操作システム10と比較して、切替部17をさらに含む。生成部13又は入力装置22から処理装置21に向けて送信された信号は、切替部17を介して、処理装置21に入力される。切替部17は、入力装置22から送信された信号が処理装置21に入力される状態と、生成部13から送信された操作信号が処理装置21に入力される状態と、を切り替える。
図9は、第3変形例に係る操作システムを表す模式図である。
図9に表したように、第3変形例に係る操作システム10cは、操作システム10に比べて、読取装置18a及び18bをさらに含む。読取装置18a及び18bは、識別情報を読み取る。識別情報として、一次元バーコード、二次元バーコード、又はRadio Frequency IDentifier(RFID)を用いることができる。読取装置18a及び18bは、バーコードリーダ又はRFIDリーダである。例えば、読取装置18aは、処理装置21を担当するオペレータの識別情報を読み取る。読取装置18bは、処理装置21で処理されるワークの識別情報を読み取る。
図10は、第4変形例に係る操作システムを表す模式図である。
第4変形例に係る操作システム10dは、図10に表したように、管理装置30(第2装置)と接続される。例えば、演算部12が、ネットワーク、有線通信、又は無線通信により管理装置30と接続される。管理装置30は、処理装置21に向けて命令を送信する上位の装置である。
例えば、演算部12は、コンピュータであり、ROM12a、RAM12b、CPU12c、およびHDD12dを含む。ROM12aは、コンピュータの動作を制御するプログラムを記憶している。ROM12aには、各種処理をコンピュータに実現させるために必要なプログラムが記憶されている。
Claims (17)
- 操作対象である第1装置から、表示装置に向けて送信される映像信号を取得する取得部と、
前記映像信号の取得結果及び予め作成された動作ファイルに基づいて、操作命令を生成する演算部と、
前記操作命令に基づいて前記第1装置に対応した操作信号を生成し、前記第1装置へ送信する生成部と、
を備え、
前記動作ファイルは、
前記操作命令を生成するための生成動作が記述された第1ファイルと、
前記生成動作の実行時に参照され、前記映像信号の識別及び前記操作信号の生成に使用され、前記表示装置の画面上において入力装置による前記第1装置への選択操作が実行される座標を含み、テキスト形式で記述される第2ファイルと、
を含み、
前記演算部は、前記第1ファイルに記述された前記生成動作を実行して、前記選択操作のための選択操作命令を含む前記操作命令を生成する場合に、前記第2ファイルにテキスト形式で記述された前記座標を参照し、前記操作命令を生成する、操作システム。 - 前記演算部は、前記映像信号が示す画像を認識し、前記画像の認識結果に基づいて、前記操作信号による前記第1装置への操作が完了したか判定する、請求項1記載の操作システム。
- 前記選択操作命令に基づく前記操作信号による前記第1装置への操作が完了しない場合に、前記演算部は、前記座標とは別の座標を選択する別の選択操作命令を生成する、請求項2記載の操作システム。
- 前記演算部は、前記画像の認識において、パターンマッチング、文字認識、及び色認識から選択される少なくとも1つを実行する請求項2又は3に記載の操作システム。
- 前記第2ファイルには、前記パターンマッチングにおいて参照される画像のファイル名がテキスト形式で記述される、請求項4記載の操作システム。
- 前記第2ファイルに記述された前記ファイル名が変更された場合に、前記演算部は、前記第2ファイルの変更された前記ファイル名に対応する画像を参照し、前記パターンマッチングを実行する、請求項5記載の操作システム。
- 入力装置及び前記生成部の一方からの信号を前記第1装置へ送信する切替部をさらに備えた請求項1~6のいずれか1つに記載の操作システム。
- 前記第2ファイルに記述された前記座標が変更された場合に、前記演算部は、前記第2ファイルの変更された前記座標を参照し、前記選択操作命令を含む前記操作命令を生成する、請求項1~7のいずれか1つに記載の操作システム。
- 前記演算部は、
前記第1装置に向けた命令を送信する第2装置から、前記命令を受信し、
前記命令に応じて前記操作命令の生成を開始する、
請求項1~8のいずれか1つに記載の操作システム。 - 識別情報を読み取る読取装置をさらに備え、
前記演算部は、前記読取装置による識別情報の読み取りに応じて、前記操作命令の生成を開始する、請求項1~9のいずれか1つに記載の操作システム。 - 請求項1~10のいずれか1つに記載の操作システムと、
ワークの処理を実行する前記第1装置と、
を備えた処理システム。 - 操作対象である第1装置から、表示装置に向けて送信される映像信号を取得し、
前記映像信号の取得結果及び予め作成された動作ファイルに基づいて、操作命令を生成し、
前記操作命令に基づいて前記第1装置に対応した操作信号を生成し、前記第1装置へ送信する操作方法であって、
前記動作ファイルは、
前記操作命令を生成するための生成動作が記述された第1ファイルと、
前記生成動作の実行時に参照され、前記映像信号の識別及び前記操作信号の生成に使用され、前記表示装置の画面上において入力装置による前記第1装置への選択操作が実行される座標を含み、テキスト形式で記述される第2ファイルと、
を含み、
前記第1ファイルに記述された前記生成動作を実行して、前記選択操作のための選択操作命令を含む前記操作命令を生成する場合に、前記第2ファイルにテキスト形式で記述された前記座標を参照し、前記操作命令を生成する、操作方法。 - 前記映像信号が示す画像を識別し、前記画像の認識結果に基づいて、前記操作信号による前記第1装置への操作が完了したか判定する、請求項12記載の操作方法。
- 前記選択操作命令に基づく前記操作信号による前記第1装置への操作が完了しない場合に、前記座標とは別の座標を選択する別の選択操作命令を生成する、請求項13記載の操作方法。
- 操作対象である第1装置から表示装置に向けて送信される映像信号の取得結果の受信に応じてコンピュータに操作命令を生成させるプログラムであって、
前記操作命令を生成するための生成動作が記述された第1ファイルと、
前記生成動作の実行時に参照され、前記映像信号の識別と前記操作命令に基づく前記第1装置に対応した操作信号の生成とに使用され、前記表示装置の画面上において入力装置による前記第1装置への選択操作が実行される座標を含み、テキスト形式で記述される第2ファイルと、
を含む動作ファイルを前記コンピュータに参照させ、
前記コンピュータに、前記第1ファイルに記述された前記生成動作を実行させ、前記選択操作のための選択操作命令を含む前記操作命令を生成させる場合に、前記第2ファイルにテキスト形式で記述された前記座標を参照させ、前記操作命令を生成させる、プログラム。 - 前記コンピュータに、前記映像信号が示す画像を認識させ、前記画像の認識結果に基づいて、前記操作信号による前記第1装置への操作が完了したか判定させる、請求項15記載のプログラム。
- 前記選択操作命令に基づく前記操作信号による前記第1装置への操作が完了しない場合に、前記コンピュータに、前記座標とは別の座標を選択する別の選択操作命令を生成させる、請求項16記載のプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116434A JP7174014B2 (ja) | 2020-07-06 | 2020-07-06 | 操作システム、処理システム、操作方法、及びプログラム |
PCT/JP2021/025172 WO2022009802A1 (ja) | 2020-07-06 | 2021-07-02 | 操作システム、処理システム、操作方法、プログラム、及び記憶媒体 |
JP2022177018A JP2023014104A (ja) | 2020-07-06 | 2022-11-04 | 操作システム、処理システム、操作方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116434A JP7174014B2 (ja) | 2020-07-06 | 2020-07-06 | 操作システム、処理システム、操作方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022177018A Division JP2023014104A (ja) | 2020-07-06 | 2022-11-04 | 操作システム、処理システム、操作方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022014215A JP2022014215A (ja) | 2022-01-19 |
JP2022014215A5 JP2022014215A5 (ja) | 2022-04-04 |
JP7174014B2 true JP7174014B2 (ja) | 2022-11-17 |
Family
ID=79552628
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020116434A Active JP7174014B2 (ja) | 2020-07-06 | 2020-07-06 | 操作システム、処理システム、操作方法、及びプログラム |
JP2022177018A Pending JP2023014104A (ja) | 2020-07-06 | 2022-11-04 | 操作システム、処理システム、操作方法、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022177018A Pending JP2023014104A (ja) | 2020-07-06 | 2022-11-04 | 操作システム、処理システム、操作方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7174014B2 (ja) |
WO (1) | WO2022009802A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011115249A1 (ja) | 2010-03-19 | 2011-09-22 | 株式会社日立国際電気 | 基板処理装置 |
WO2013031735A1 (ja) | 2011-08-27 | 2013-03-07 | 株式会社エネサイバー | 監視制御の方法及び監視制御装置 |
WO2013190714A1 (ja) | 2012-06-19 | 2013-12-27 | 日本電能株式会社 | 自動操作システム及び操作自動化方法 |
JP2018535459A (ja) | 2015-07-02 | 2018-11-29 | アクセンチュア グローバル サービスィズ リミテッド | ロボットによるプロセス自動化 |
-
2020
- 2020-07-06 JP JP2020116434A patent/JP7174014B2/ja active Active
-
2021
- 2021-07-02 WO PCT/JP2021/025172 patent/WO2022009802A1/ja active Application Filing
-
2022
- 2022-11-04 JP JP2022177018A patent/JP2023014104A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011115249A1 (ja) | 2010-03-19 | 2011-09-22 | 株式会社日立国際電気 | 基板処理装置 |
WO2013031735A1 (ja) | 2011-08-27 | 2013-03-07 | 株式会社エネサイバー | 監視制御の方法及び監視制御装置 |
WO2013190714A1 (ja) | 2012-06-19 | 2013-12-27 | 日本電能株式会社 | 自動操作システム及び操作自動化方法 |
JP2018535459A (ja) | 2015-07-02 | 2018-11-29 | アクセンチュア グローバル サービスィズ リミテッド | ロボットによるプロセス自動化 |
Also Published As
Publication number | Publication date |
---|---|
JP2023014104A (ja) | 2023-01-26 |
JP2022014215A (ja) | 2022-01-19 |
WO2022009802A1 (ja) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101472912B1 (ko) | 통합 리모트 컨트롤러 장치, 통합 리모콘 제어 시스템, 및그 제어 방법 | |
JP5077826B2 (ja) | プラント情報表示装置およびプラント情報表示方法 | |
CN111052018A (zh) | 伺服电动机调整装置以及伺服电动机调整方法 | |
JP5972226B2 (ja) | ドライバー生成装置、ドライバー生成方法、およびドライバー生成プログラム | |
JP2008152581A (ja) | 顔認識システムのユーザインターフェース作成装置、ユーザインターフェース作成プログラムおよびそれを記録した記録媒体 | |
JP7174014B2 (ja) | 操作システム、処理システム、操作方法、及びプログラム | |
US7439990B2 (en) | Surface selecting method and information processing apparatus | |
JP2003345506A (ja) | 操作入力装置および画像形成装置 | |
US11710250B2 (en) | Electronic device, method, and storage medium for setting processing procedure for controlling apparatus | |
JP2016059989A (ja) | ロボット制御装置、ロボット装置、ロボット制御方法、プログラム及び記録媒体 | |
EP3101537A1 (en) | Control device, control system, control method for control device, and control method for control system | |
JPWO2005114344A1 (ja) | エンジニアリングツールおよびエンジニアリングツールの起動プログラムの選択方法および新規プログラムの追加方法 | |
WO2023276875A1 (ja) | 操作システム、処理システム、処理システムの構築方法、コンピュータ、操作方法、プログラム、及び記憶媒体 | |
JP7335116B2 (ja) | 制御装置、及び制御方法 | |
JP4465176B2 (ja) | エディタ装置、コンピュータをエディタ装置として機能させるためのプログラムおよび記録媒体 | |
CN112825077A (zh) | 信息处理装置及设定装置 | |
JP4346387B2 (ja) | 表示制御システム | |
JP7409852B2 (ja) | ロボット制御装置 | |
JP6142688B2 (ja) | ドライバー生成装置、ドライバー生成方法、およびドライバー生成プログラム | |
JP6682777B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6060686B2 (ja) | 制御装置、プリンタードライバープログラム、および設定方法 | |
US20180046417A1 (en) | Image processing apparatus that installs application modules, control method therefor, and storage medium | |
JP7125595B2 (ja) | 作業支援プログラム、作業支援装置および作業支援方法 | |
WO2023189280A1 (ja) | 情報処理装置およびプログラム | |
JP2018050258A (ja) | 情報処理装置、情報処理システム、及び、情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220324 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7174014 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |