JP3798238B2 - Control display device and recording medium on which program is recorded - Google Patents

Control display device and recording medium on which program is recorded Download PDF

Info

Publication number
JP3798238B2
JP3798238B2 JP2000333746A JP2000333746A JP3798238B2 JP 3798238 B2 JP3798238 B2 JP 3798238B2 JP 2000333746 A JP2000333746 A JP 2000333746A JP 2000333746 A JP2000333746 A JP 2000333746A JP 3798238 B2 JP3798238 B2 JP 3798238B2
Authority
JP
Japan
Prior art keywords
overlay
input
control
display
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000333746A
Other languages
Japanese (ja)
Other versions
JP2002140104A (en
Inventor
伸洋 山崎
洋二 志賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schneider Electric Japan Holdings Ltd
Original Assignee
Digital Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Electronics Corp filed Critical Digital Electronics Corp
Priority to JP2000333746A priority Critical patent/JP3798238B2/en
Publication of JP2002140104A publication Critical patent/JP2002140104A/en
Application granted granted Critical
Publication of JP3798238B2 publication Critical patent/JP3798238B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、プログラマブル表示器など、制御システムにて、制御対象となるターゲットシステムのデバイスの状態を表示したり制御する制御用表示装置に関し、特に、ビデオカメラからの映像信号やコンピュータの映像出力信号など、外部からの映像信号をオーバーレイ表示可能な制御用表示装置に関するものである。
【０００２】
【従来の技術】
図８に示すように、従来の制御システム１０１では、例えば、ベルトコンベアー式の自動組付機など、ターゲットシステム１０２の種々のデバイス１２１…を制御するために、プログラマブル・ロジック・コントローラ（以下、ＰＬＣと略称する）１０３と、当該ＰＬＣ１０３に接続され、制御システム１０１のＨＭＩ（Human Machine Interface ) となるプログラマブル表示器１０４とが、広く使用されている。
【０００３】
上記プログラマブル表示器１０４は、多くの場合、ターゲットシステム１０２の近傍に配されており、ターゲットシステム１０２のデバイス１２１の状態をＰＬＣ１０３を介して取得して、プログラマブル表示器１０４に内蔵されたディスプレイ１４１の画面へ表示する。また、プログラマブル表示器１０４は、上記ディスプレイの画面上に配されたタッチパネル１４２を備えており、プログラマブル表示器１０４のＰＬＣインターフェース１４３は、タッチパネル１４２への操作に応じて、ＰＬＣ１０３へデバイス１２１への制御指示を送信し、デバイス１２１の状態を制御する。
【０００４】
ここで、プログラマブル表示器１０４は、ＨＭＩとして使用されるため、その操作画面は、例えば、制御対象となるデバイス１２１の数や種類など、ターゲットシステム１０２の現状だけではなく、オペレータの習熟度や、運用者の運用指針に合わせて設計されることが望ましい。
【０００５】
したがって、プログラマブル表示器１０４では、操作画面を容易に作成あるいは修正できるように、画面上の領域（表示領域）と当該領域の表示に対応するデバイスのアドレスとの対応を示す表示タグや、画面上の領域（入力領域）と当該領域への入力に対応するデバイスのアドレスと画面上の領域との対応を示す入力タグなどのタグ（処理指示語）の組み合わせを動作定義情報メモリ１４４に格納し、ＨＭＩ処理部１４５が当該タグを参照しながら動作している。
【０００６】
具体的には、ＨＭＩ処理部１４５は、所定の周期毎に、上記各表示タグについて、当該表示タグに関連するデバイスのアドレスの内容を読み出し、例えば、図９に示すように、読み出した値に応じた状態のスイッチＳやメータＭを、ディスプレイ１４１の表示画面のうち、上記表示タグが示した座標に表示する。また、タッチパネル１４２が入力操作を受け付けると、ＨＭＩ処理部１４５は、上記動作定義情報メモリ１４４の中から、入力領域が実際の入力位置を含むような入力タグを検索し、ＰＬＣインターフェース１４３を介してＰＬＣ３へ指示して、当該入力タグが示すデバイスを制御する。
【０００７】
また、近年では、ビデオカメラ１０５からの映像信号を入力可能なプログラマブル表示器１０４も使用されている。当該プログラマブル表示器１０４のオーバーレイ回路１４６は、ＨＭＩ処理部１４５から操作画面の各絵素を、ディスプレイ１４１へ順次転送する際、予め定められたオーバーレイ領域の絵素を転送する期間になると、ＨＭＩ処理部１４５からの絵素に代えて、映像入力端子Ｔαから入力された映像信号が示す絵素を出力する。これにより、図９に示すように、表示画面中のオーバーレイ領域Ａαへ、ビデオカメラ１０５の映像（ここでは、デバイス１２１αの映像）が表示される。なお、オーバーレイ領域Ａαの位置も上述のタグによって予め設定される。
【０００８】
これにより、プログラマブル表示器１０４は、ターゲットシステム１０２に設けられたセンサなどのデバイス１２１が取得したデータを表示するだけではなく、例えば、デバイス１２１αの外観などを表示して、オペレータに伝えることができる。したがって、オペレータは、例えば、発火や発煙している場合など、映像に基づいて、デバイス１２１αの挙動に異常を発見した場合、あるいは、デバイス１２１αの近傍に人物を発見し、デバイス１２１αが動作し続けると危険だと判断される場合など、センサの情報から判断する場合とは異なる観点から、ターゲットシステム１０２の状態を判断して制御できる。
【０００９】
ここで、上記プログラマブル表示器１０４では、オーバーレイ領域Ａαの下にスイッチなどを配置しても、スイッチが表示されないため、当該スイッチへの操作を許可すると、オペレータが当該スイッチを誤操作する虞れがある。
【００１０】
したがって、プログラマブル表示器１０４の領域判定部１４８は、タッチパネル１４２への入力位置が、ＨＭＩ処理部１４５から予め指示されたオーバーレイ領域Ａα外であると判定した場合にのみ、ＨＭＩ処理部１４５へ入力を伝える。これにより、上記誤操作が確実に防止され、安全な制御システム１０１が実現されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記従来のプログラマブル表示器１０４では、表示画面中で操作可能な領域が減少するので、所望の操作を行う際の操作回数が増加しやすく、操作性が低下しやすいという問題を生ずる。
【００１２】
具体的には、上記構成では、オーバーレイ領域Ａαへの操作が禁止されているため、上記操作画面の設計者は、図９に示すように、オーバーレイ領域Ａαと、スイッチＳやメータＭなどの操作対象となる図形とが重ならないように設計する必要がある。
【００１３】
したがって、例えば、オーバーレイ領域Ａαに表示しているデバイス１２１αの詳細な情報を表示させたり、デバイス１２１αを緊急停止させるなど、オーバーレイ領域Ａαの映像と関連付けた操作を、プログラマブル表示器１０４に受け付けさせようとすると、図９に示すように、上述のタグによって、当該操作用の領域を、オーバーレイ領域Ａαと重ならないように配置せざるを得ない。
【００１４】
この結果、オーバーレイ領域Ａαの配置によって、表示画面から、操作可能な領域が減少しており、余り多くの数の入力／表示領域を配することができないにも拘らず、残余の領域に、オーバーレイ領域Ａαに関連する操作用の領域と、他のデバイス１２１の表示／制御用の領域との双方を設ける必要がある。したがって、余り重要ではない表示／制御については、画面切り換えと併用して表示／制御するように、操作画面が設計され、オペレータの操作回数が増加する傾向にある。
【００１５】
なお、例えば、映像信号が特定の色の絵素を示している場合や、表示画面中に予め定められた特定の領域の絵素を表示する場合、オーバーレイ領域であっても、ＨＭＩ処理部１４５からの絵素を優先するように、オーバーレイ回路１４６を構成すれば、オーバーレイ領域Ｗα上に、操作用の画面上のスイッチＳやメータＭを表示でき、操作可能な領域を拡大できる。ところが、この場合は、オーバーレイ領域が隠されるので、オペレータが、映像のうち、重要な箇所を見落とす虞れがある。
【００１６】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、外部からの映像を、本来の操作画面にオーバーレイ表示可能で、しかも、少ない操作で映像に関する操作を指示可能な制御用表示装置を実現することにある。
【００１７】
【課題を解決するための手段】
本発明に係る制御用表示装置は、上記課題を解決するために、ディスプレイと、該ディスプレイの表示画面上に配されたタッチパネルと、表示または制御する際の動作を特定する動作定義情報を格納する記憶手段と、当該記憶手段に格納された動作定義情報に基づき制御対象の状態を取得して上記ディスプレイへ表示するとともにタッチパネル入力に応じて制御対象の状態を制御する制御手段と、上記ディスプレイの表示画面中の予め定められるオーバーレイ領域に外部から入力される映像信号を上記制御手段による表示よりも優先してオーバーレイ表示するオーバーレイ表示手段と、を有する制御用表示装置であって、
ユーザのタッチパネル入力に応じてオーバーレイ領域の範囲変更を上記オーバーレイ表示手段へ指示するオーバーレイ制御手段を備え、上記記憶手段には、オーバーレイ領域内において相対的に指定される入力領域と該入力領域へのタッチパネル入力に対応する制御動作との組み合わせを示す入力用動作定義情報が格納可能であり、上記制御手段は、上記記憶手段に上記入力用動作定義情報が格納されている場合に、オーバーレイ領域内の上記入力領域へのユーザのタッチパネル入力に応答して上記入力用動作定義情報で指定される制御動作を行うことを特徴とすることを特徴としている。
【００１８】
すなわち、上記操作手段への操作に応じて、上記表示画面におけるオーバーレイ領域の範囲変更を上記オーバーレイ表示手段へ指示するオーバーレイ制御手段を備え、上記記憶手段は、上記動作定義情報として、上記オーバーレイ領域に対して相対的に指定された入力領域と、当該入力領域への操作が行われた場合の制御動作との対応を示す入力用動作定義情報を格納可能であり、上記制御手段は、上記記憶手段に上記入力用動作定義情報が格納されており、しかも、上記操作手段への操作が、当該入力用動作定義情報で指定された入力領域への操作である場合、当該入力用動作定義情報で指定された制御動作を行うことを特徴としている。
【００１９】
なお、上記動作定義情報は、制御用表示装置が制御対象の状態を表示し、操作に応じて制御する際の動作を特定できれば、例えば、表示領域と当該領域に表示する制御対象との関係を示すタグや、入力領域と当該入力領域への操作を受け付けた場合に制御される制御対象との関係を示すタグなどの処理指示語の組み合わせであってもよいし、上記入力領域や表示領域あるいは制御対象などを属性として設定可能なオブジェクトの集合として定義されたデータであってもよい。
【００２０】
上記構成において、制御用表示装置の制御手段は、記憶手段に格納された動作定義情報に基づいて、制御対象の状態を取得して、当該制御対象の状態を表示したり、操作に応じて制御対象の状態を制御する。また、オーバーレイ表示手段は、例えば、制御対象を撮影するビデオカメラからの映像信号や、撮影された映像を画像処理したり、制御対象となるターゲットシステム、あるいは、制御用表示装置を含む制御システムを管理する汎用のコンピュータからの映像信号など、外部からの映像信号をオーバーレイ領域に表示する。これにより、制御用表示装置のオペレータは、制御用表示装置の画面を見たり、画面への操作を入力することによって、制御対象の状態を把握し操作しながら、オーバーレイ表示によって、制御対象の外観や制御システムあるいはターゲットシステムの概況を把握できる。
【００２１】
また、制御用表示装置のオーバーレイ制御手段は、オペレータからの操作に応じてオーバーレイ表示手段を制御して、例えば、位置や大きさなど、オーバーレイ領域の範囲を調整できる。したがって、例えば、外部映像の細部が知りたいときにオーバーレイ領域を大きく拡大したり、制御手段が表示する制御対象の状態のうち、現在、重要と判断される制御対象の状態がオーバーレイ領域外に配され、余り重要でない制御対象の状態がオーバーレイ領域に隠されるように、オーバーレイ領域を配置するなどして、オーバーレイの位置や大きさを状況に応じて変更できる。
【００２２】
さらに、制御用表示装置の制御手段は、オーバーレイ領域上への操作を受け付けた場合、当該操作が入力用動作定義情報で示される入力領域への操作であるか否かを判定し、入力領域への操作の場合、入力領域に対応付けられた制御動作を行う。したがって、オペレータの指示に基づく、オーバーレイ領域の位置や大きさ変更に伴って、入力領域の位置や大きさを変更できる。なお、判定は、入力位置をオーバーレイ領域への相対座標に変換した上で、入力用動作定義情報の入力領域に含まれているか否かで判定してもよいし、オーバーレイ領域の表示画面における位置や大きさに基づいて、入力用動作定義情報の入力領域（相対座標）を表示画面における座標に変換した上で、入力位置が入力範囲に含まれるか否かを判定してもよい。
【００２３】
これにより、制御用表示装置は、オーバーレイ領域の範囲を変更できるにも拘らず、入力用動作定義情報を参照しながら、オーバーレイ領域内の入力領域への入力操作に応じた制御を実施でき、オペレータから制御対象への制御指示を受け付ける入力領域を柔軟に配置できる。この結果、オーバーレイ領域への操作に応じて制御動作を指示できず、制御指示を入力するために、オーバーレイ表示を停止した後で、その下に隠された入力領域を操作したり、他の操作画面に切り換えて当該制御指示用の入力領域を操作する従来技術に比べて、映像信号に関する制御指示を入力する際の操作回数を削減でき、操作性がよく、安全な制御システムを実現できる。
【００２４】
一例として、ビデオカメラから制御対象を撮影した映像信号が入力されている場合、入力用動作定義情報中の制御動作として、当該制御対象の停止指示を指定することで、例えば、発火や不審人物など、制御対象の映像に明らかな異常が見つかったときに、オーバーレイ領域の入力領域への操作により、即座に当該制御対象を停止できる。また、制御システムを管理する汎用のコンピュータからの映像信号が入力されている場合、制御用表示装置の制御対象への停止指示を指定することで、例えば、上記映像のうちの常時更新されるべき領域が停止しており、上記コンピュータが警告さえ出せずに機能停止したと推定されるときに、オペレータは、オーバーレイ領域の入力領域を操作して、制御用表示装置の制御対象を停止させることができる。
【００２５】
また、請求項２の発明に係る制御用表示装置は、請求項１記載の発明の構成において、上記オーバーレイ表示手段は、複数入力される映像信号のうちのいくつかを、それぞれ用に設けたオーバーレイ領域に表示でき、上記記憶手段には、上記入力用動作定義情報とオーバーレイ領域との対応を示すデータが格納可能であり、上記制御手段は、上記オーバーレイ領域が操作された場合、上記データを参照して、当該オーバーレイ領域に対応する入力用動作定義情報のみに基づいて制御動作することを特徴としている。
【００２６】
上記構成によれば、例えば、入力用動作定義情報中のデータ領域や、入力用動作定義情報の記憶領域とは別に設けられた記憶領域に格納されるデータベースなどとして、入力用動作定義情報とオーバーレイ領域との対応を示すデータが上記記憶手段に格納されており、制御手段は、当該データを参照して制御動作する。これにより、制御用表示装置の表示画面上に、複数の映像信号を同時に表示して、オペレータにそれぞれの内容を同時に報知できるにも拘らず、制御用表示装置は、各オーバーレイ領域への操作を混同することなく、それぞれの入力領域への操作に応じた制御動作を実行できる。
【００２７】
さらに、請求項３の発明に係る制御用表示装置は、請求項２記載の発明の構成において、上記オーバーレイ制御手段は、複数のオーバーレイ領域を互いにオーバーラップして表示するように、上記オーバーレイ表示手段を制御可能であり、上記制御手段は、上記操作手段によって、複数のオーバーレイ領域がオーバーラップする領域への操作が受け付けられた場合、最も上のオーバーレイ領域に対応する入力用動作定義情報のみに基づいて制御動作することを特徴としている。
【００２８】
当該構成において、オーバーレイ表示手段が、オーバーレイ制御手段の指示に応じて、複数のオーバーレイ領域を互いにオーバーラップして表示させる。これにより、オペレータは、各オーバーレイ領域の特に重要な部分が他のオーバーレイ領域に隠されないように、各オーバーレイ領域を配置でき、各オーバーレイ領域を互いに異なる領域に配する場合に比べて狭い面積で、各オーバーレイ領域の重要な部分を表示できる。
【００２９】
さらに、あるオーバーレイ領域の下に他のオーバーレイ領域が隠れているか否かに拘らず、制御手段は、オーバーラップした領域への操作を、最も上のオーバーレイ領域の入力領域への操作と判断する。したがって、隠れているオーバーレイ領域の認識ミスなどに起因するオペレータの操作ミスを抑止できる。
【００３０】
また、請求項４の発明に係る制御用表示装置は、請求項２記載の発明の構成において、上記オーバーレイ制御手段は、複数のオーバーレイ領域を互いにオーバーラップして表示するように、上記オーバーレイ表示手段を制御可能であり、上記制御手段は、上記操作手段によって、複数のオーバーレイ領域がオーバーラップする領域への操作が受け付けられた場合、互いにオーバーラップする各オーバーレイ領域に対応する入力用動作定義情報に基づいて制御動作することを特徴としている。
【００３１】
当該構成では、請求項３と同様に、各オーバーレイ領域をオーバーラップ表示できるので、各オーバーレイ領域の重要な部分を狭い面積で表示できる。また、請求項３とは異なり、制御手段は、オーバーラップした領域への操作を、互いにオーバーラップする各オーバーレイ領域それぞれの入力領域への操作と判断するので、各オーバーレイ領域の入力領域を一括して操作できる。この結果、より少ない回数の操作で、複数のオーバーレイ領域の入力領域を操作でき、例えば、緊急時などに、より速く対応可能な制御用表示装置を実現できる。
【００３２】
また、請求項５の発明に係る制御用表示装置は、請求項１記載の発明の構成において、上記記憶手段には、上記入力用動作定義情報として、制御動作がオーバーレイ領域に表示される映像信号を出力したコンピュータへ、オーバーレイ領域における座標が操作されたことを通知する動作であるコンピュータ接続用動作定義情報が格納可能であり、上記制御手段は、上記コンピュータ接続用動作定義情報が上記記憶手段に格納されている場合、上記オーバーレイ領域への入力に応じて、上記コンピュータへ上記座標を通知することを特徴としている。
【００３３】
当該構成では、コンピュータからの映像信号を表示するオーバーレイ領域が操作された場合、制御手段は、オーバーレイ領域における入力座標が操作されたことを、上記コンピュータに通知する。これにより、キーボードやマウスなど、他の入力手段を用意することなく、制御用表示装置を当該コンピュータの表示および入力装置として使用できる。
【００３４】
ところで、上記制御用表示装置は、ハードウェアのみで実現してもよいが、コンピュータがプログラムを実行することで実現してもよい。具体的には、請求項６の発明に係る記録媒体は、請求項１記載の表示手段、操作手段およびオーバーレイ表示手段を有するコンピュータを制御用表示装置として動作させるプログラムが記録された記録媒体であって、上記課題を解決するために、請求項１記載の記憶手段、制御手段、並びに、オーバーレイ制御手段として、上記コンピュータを動作させるプログラムが記録されていることを特徴としている。
【００３５】
当該構成の記録媒体からプログラムが読み取られ、上記コンピュータで実行されると、当該コンピュータは、請求項１記載の制御用表示装置として動作する。したがって、制御用表示装置は、オーバーレイ領域の位置および大きさを変更できるにも拘らず、入力用動作定義情報を参照しながら、オーバーレイ領域内の入力領域への入力操作に応じた制御を実施でき、オペレータから制御対象への制御指示を受け付ける入力領域を柔軟に配置できる。この結果、映像信号に関する制御指示を入力する際の操作回数を削減でき、操作性がよく、安全な制御システムを実現できる。
【００３６】
【発明の実施の形態】
本発明の一実施形態について図１ないし図７に基づいて説明すると以下の通りである。すなわち、本実施形態に係る制御システム１は、図１に示すように、例えば、ベルトコンベアー式の自動組付機などのデバイス（制御対象）２１…を有するターゲットシステム２を制御するシステムであって、上記各デバイス２１を制御するプログラマブル・ロジック・コントローラ（ＰＬＣ）３と、当該ＰＬＣ３に接続され、制御システム１のＨＭＩとして、多くの場合、ターゲットシステム２の近傍にて、ターゲットシステム２のオペレータにより操作されるプログラマブル表示器（制御用表示装置）４とを備えている。さらに、本実施形態に係る制御システム１には、上記デバイス２１の設置場所を撮影するビデオカメラ５・５と、汎用のコンピュータ６とが設けられており、上記プログラマブル表示器４は、ビデオカメラ５・５や、コンピュータ６からの映像信号を表示画面中にオーバーレイ表示して、デバイス２１の設置場所の映像やコンピュータ６の出力画面を、オペレータに伝えることができる。
【００３７】
より詳細には、本実施形態に係るプログラマブル表示器４は、表示手段および操作手段として、液晶表示装置などからなるディスプレイ４１と、ディスプレイ４１の表示画面上に配されたタッチパネル４２とを備えている。さらに、ＰＬＣ３と通信して、デバイス２１…の状態を取得し制御するためのＰＬＣインターフェース４３と、プログラマブル表示器４がデバイスの状態を取得し表示する動作（表示動作）および操作に応じてデバイスの状態制御を指示する動作（制御動作）を特定するための動作定義情報が予め格納される動作定義情報メモリ４４と、当該動作定義情報メモリ４４を参照しながら、上記表示動作および制御動作を行うＨＭＩ処理部４５とが設けられている。
【００３８】
本実施形態では、上記動作定義情報は、画面上の領域と、当該領域（表示領域）への表示に対応するデバイスのアドレスとの対応を示す表示タグや、画面上の領域と、当該領域（入力領域）への入力に対応するデバイスのアドレスとの対応を示す入力タグなどのタグ（処理指示語）の組み合わせとして、上記動作定義情報メモリ４４に格納されている。また、本実施形態に係るプログラマブル表示器４は、複数の単位画面を切り換えて表示可能であり、各タグは、単位画面と関連付けられている。なお、各単位画面には、銘板など、表示内容を変更しない静止図形も配置でき、上記動作定義情報は、静止図形の形状や色、点滅の有無、あるいは、静止図形の位置や大きさなど、静止図形の表示に必要な情報も含んでいる。
【００３９】
上記ＨＭＩ処理部４５は、動作定義情報メモリ４４に格納された上記動作定義情報を参照して、現在表示中の単位画面に関連する表示タグを抽出すると共に、所定の周期毎に、各表示タグについて、当該表示タグに関連するデバイスアドレスの内容を読み出し、例えば、読み出した値に応じた部品図形など、デバイスアドレスの内容に応じ、しかも表示タグで指定された表現形式の図形を、ディスプレイ４１の画面上の指定された領域へ表示する。一方、例えば、タッチパネル４２が入力操作を受け付けると、ＨＭＩ処理部４５は、上記動作定義情報から、現在表示中の単位画面に対応し、当該入力操作にマッチする入力タグを検索し、例えば、ＰＬＣインターフェース４３を介してＰＬＣ３へ指示するなどして、入力タグが示すデバイスアドレスの内容を操作に応じて変更する。これにより、プログラマブル表示器４は、単位画面Ｂ上に、例えば、図２のスイッチＳやメータＭのように、動作定義情報が示すデバイスの状態を、動作定義情報が示す表現形式、かつ、動作定義情報が示す表示位置に表示できる。また、これらのスイッチＳやメータＭなどを、動作定義情報が示す入力操作で操作することによって、デバイスの状態を制御できる。
【００４０】
なお、制御対象となるデバイスは、状態を取得したり、制御（変更）できればよく、例えば、デバイス２１自体であってもよいし、例えば、ＰＬＣ３のメモリなど、プログラマブル表示器４やＰＬＣ３の記憶装置など、制御システム１に設けられた記憶装置の一領域を示していてもよい。さらに、上記デバイスは、後述するタッチパネル４２やバーコードリーダ（図示せず）などの入力装置から手動で入力されたデータが格納されたメモリであってもよい。
【００４１】
加えて、上記プログラマブル表示器４には、上述したビデオカメラ５やコンピュータ６からの映像信号をオーバーレイ表示するために、それぞれからの映像信号が入力される映像入力端子Ｔα〜Ｔγと、各映像入力端子Ｔα〜Ｔγから入力された映像信号を、ＨＭＩ処理部４５がディスプレイ４１に表示させる表示画面のうち、予め定められたオーバーレイ領域にオーバーレイ表示するオーバーレイ回路（オーバーレイ表示手段）４６とが設けられている。
【００４２】
なお、図１では、３つの映像入力端子Ｔα〜Ｔγが設けられており、オーバーレイ回路４６が３つのオーバーレイ領域を個別に設定可能な場合を例示しているが、当然ながら、映像入力端子の数は、これに限るものではない。また、以下では、説明の便宜上、映像の発生源からオーバーレイ領域への表示までのデータ（信号）の流れをチャンネルと称し、各チャンネルあるいは各チャンネルに関連する部材を特定する必要がある場合には、例えば、コンピュータ６γからの映像信号が入力される映像入力端子Ｔγのように、参照符号に、チャンネルを示すギリシャ文字を付して区別する。
【００４３】
本実施形態では、例えば、上記オーバーレイ回路４６がハードウェアでオーバーレイ処理しており、オーバーレイ回路４６は、表示画面を構成する各絵素がＨＭＩ処理部４５からディスプレイ４１に順次転送される際、予め定められたオーバーレイ領域の範囲内の絵素を転送する期間になると、ＨＭＩ処理部４５からの絵素の代わりに、映像入力端子Ｔα〜Ｔγからの映像信号が示す絵素を出力する。これにより、ＨＭＩ処理部４５の演算能力を増大させることなく、オーバーレイ表示できる。
【００４４】
また、上記オーバーレイ回路４６は、各オーバーレイ領域の優先順位を設定でき、複数のオーバーレイ領域の範囲が重なっている場合、最優先（最も前面）に設定されたオーバーレイ領域に対応する映像信号からの絵素を出力できる。
【００４５】
さらに、本実施形態では、所望の映像入力端子Ｔα〜Ｔγから入力される映像を表示するオーバーレイ領域を、所望の単位画面に配するためのビデオウィンドウタグが規定されており、ＨＭＩ処理部４５は、現在の単位画面への配置を示すビデオウィンドウタグが動作定義情報として動作定義情報メモリ４４に格納されている場合、当該ビデオウィンドウタグを参照して、オーバーレイ領域の位置、大きさ、優先順位および映像入力端子などを特定し、それぞれを、各オーバーレイ領域の初期設定として、オーバーレイ回路４６に設定する。
【００４６】
これにより、プログラマブル表示器４は、図２に示すように、スイッチＳやメータＭなどが表示された単位画面Ｂ上に設けられたオーバーレイ領域Ｗα〜Ｗγに、各チャンネルα〜γの映像を表示できる。図２の例では、各オーバーレイ領域Ｗα〜Ｗγの優先順位は、Ｗα、Ｗβ、Ｗγの順に高く設定されている。したがって、デバイス２１αを撮影するビデオカメラ５αからの映像が最も前面に表示され、デバイス２１βを撮影するビデオカメラ５βからの映像のうち、オーバーレイ領域Ｗαがオーバーラップする部分は、オーバーレイ領域Ｗαによって隠されている。なお、図２では、各オーバーレイ領域Ｗα〜Ｗγが互いにオーバーラップしている場合を例示したが、図３に示すように、各オーバーレイ領域Ｗα〜Ｗγが、互いに異なる範囲に配されていてもよい。
【００４７】
ここで、本実施形態に係るプログラマブル表示器４では、オーバーレイ領域の枠をドラグするなどの操作で、オーバーレイ領域の表示画面における位置および大きさを変更できるようになっており、さらに、現在のオーバーレイ領域に関連付けて入力領域を設けることができる。
【００４８】
具体的には、本実施形態のプログラマブル表示器４には、図１に示すように、各オーバーレイ領域の現在位置、現在の大きさや現在の優先順位、あるいは、各オーバーレイ領域に関連付けられた入力領域の情報を管理するオーバーレイ用データベース４７が設けられており、上記オーバーレイ回路４６は、オーバーレイ用データベース４７を参照して、各オーバーレイ領域について、現在の範囲および優先順位を取得する。さらに、ＨＭＩ処理部４５は、オーバーレイ用データベース４７を参照して、現在の各オーバーレイ領域の所定位置（例えば上端）に、各オーバーレイ領域のタイトルや、オーバーレイ領域の表示を中止するためのボタンなどを表示できる。
【００４９】
また、ＨＭＩ処理部４５は、オーバーレイ用データベース４７に格納された各オーバーレイ領域の現在の範囲とタッチパネル４２への入力とに基づいて、例えば、枠のドラグ操作などの予め定められた操作が現在表示中のいずれかのオーバーレイ領域に対して行われたか否かを判定すると共に、当該操作に応じて、上記オーバーレイ用データベース４７に格納されたデータのうち、当該オーバーレイ領域の現在位置および現在の大きさを更新する。これにより、プログラマブル表示器４は、オペレータの操作に応じて、例えば、図３や図４に示すように、オーバーレイ領域Ｗα１からオーバーレイ領域Ｗα２やＷα３へのように、各オーバーレイ領域の位置を変更したり、大きさを変更したりできる。
【００５０】
さらに、例えば、オーバーレイ領域の上端に設けられたタイトル領域へのタップ操作など、予め定められた操作が現在表示中のいずれかのオーバーレイ領域に対して行われた場合、ＨＭＩ処理部４５は、上記オーバーレイ用データベース４７に格納されたデータのうち、当該オーバーレイ領域の優先順位を最優先に設定するなどして、各オーバーレイ領域の優先順位をオペレータの操作に応じて変更できる。例えば、図５の例では、例えば、オーバーレイ領域Ｗβのタイトル領域をタップするなどの操作によって、図２では、次位だったオーバーレイ領域Ｗβが最前面に配されている。
【００５１】
加えて、上記オーバーレイ用データベース４７には、オーバーレイ領域に関連する動作定義情報として、相対入力タグを格納可能であり、オーバーレイ領域と、オーバーレイ領域に対する相対的な入力範囲と、当該入力範囲が操作された場合の動作との対応関係が格納されている。また、本実施形態では、参照速度を向上するために、単位画面とオーバーレイ領域と入力範囲と当該入力範囲が操作された場合の動作との組み合わせを示す相対入力タグから、例えば、図６に示すように、現在表示中の単位画面に対応するオーバーレイ領域の対応のみを抽出したデータベースＤＢが作成され、ＨＭＩ処理部４５や後述する領域判定部４８は、当該データベースＤＢを参照して、入力範囲内か否かを判定する。なお、上記動作の指定方法は、入力範囲が操作された場合の動作を特定できれば、自由に設定できる。ただし、上記入力タグと同一の形式で指定した場合、操作画面の設計者は、新たに制御動作の指定方法を学習することなく、入力範囲の指定方法を絶対座標から相対座標に変更するだけで、相対入力タグを設定できる。
【００５２】
さらに、プログラマブル表示器４は、図１に示すように、オーバーレイ用データベース４７を参照して、タッチパネル４２への入力位置が各オーバーレイ領域の現在の範囲内か否かを判定する領域判定部４８と、いずれかの範囲内だった場合に、タッチパネル４２への入力位置をオーバーレイ領域に対する相対座標に変換する相対座標変換部４９とを備えており、ＨＭＩ処理部４５は、上記データベースＤＢを検索するなどして、相対座標に変換された入力位置を含む入力範囲とオーバーレイ領域との組み合わせが、現在の単位画面に関連して、オーバーレイ用データベース４７に格納されている場合、当該組み合わせに対応する動作を実行できる。
【００５３】
なお、上記ＨＭＩ処理部４５、領域判定部４８および相対座標変換部４９が特許請求の範囲に記載の制御手段に対応し、ＨＭＩ処理部４５は、オーバーレイ制御手段にも対応している。また、動作定義情報メモリ４４およびオーバーレイ用データベース４７が記憶手段に対応する。
【００５４】
例えば、図６の例では、オーバーレイ領域Ｗαに関連して、相対座標（５０％，０％）〜（１００％，２０％）の矩形の入力範囲と、オーバーレイ領域Ｗαで外観が表示されているデバイス２１αへの動作停止指示との組み合わせが格納されている。なお、この例では、オーバーレイ領域の左上隅の相対座標を（０％，０％）、右下隅の相対座標を（１００％，１００％）とするとき、矩形の入力範囲の左上隅の相対座標（Ｘ１，Ｙ１）と、右下隅の相対座標（Ｘ２，Ｙ２）との組み合わせとして、入力範囲を格納している。これにより、図３中、Ａα１で示す領域が、上記動作停止指示用の入力領域として設定される。
【００５５】
ここで、オーバーレイ領域Ｗαが図３に示す領域Ｗα１に配されている状態で、オペレータがタッチパネル４２の領域Ａα１内の点Ｐ１を押すと、図１に示すタッチパネル４２が入力位置を検出し、領域判定部４８が入力位置が各オーバーレイ領域Ｗα１…のいずれかに入っているか否かを判定する。この状態では、入力位置がオーバーレイ領域Ｗα１内なので、相対座標変換部４９が入力位置をオーバーレイ領域Ｗα１の相対座標に変換する。さらに、ＨＭＩ処理部４５は、オーバーレイ用データベース４７を参照して、相対座標に変換された入力位置とオーバーレイ領域Ｗαとの組み合わせに対応する制御動作を検索する。図６に示すように、オーバーレイ用データベース４７には、上記組み合わせ対応する制御動作として、デバイス２１αへの動作停止指示が格納されている。したがって、ＨＭＩ処理部４５は、ＰＬＣインターフェース４３を介してＰＬＣ３へ指示して、デバイス２１αの動作を停止させる。
【００５６】
一方、オーバーレイ領域Ｗα（Ｗα１）を領域Ｗα２に移動した状態で、上記点Ｐ１が押されたとする。この場合、既に、オーバーレイ用データベース４７に、オーバーレイ領域Ｗαの現在の範囲として、領域Ｗα２の範囲が登録されている。したがって、タッチパネル４２での入力位置（絶対座標）がオーバーレイ領域Ｗαが領域Ｗα１に配されている場合と同じであるにも拘らず、領域判定部４８は、点Ｐ１がいずれのオーバーレイ領域Ｗα２…のいずれにも含まれていないと判定し、ＨＭＩ処理部４５へタッチパネル４２での入力位置を絶対座標のまま伝える。この結果、ＨＭＩ処理部４５は、自らがディスプレイ４１に表示させる操作画面のうち、点Ｐ１が操作されたと判断する。
【００５７】
また、オーバーレイ領域Ｗα２に移動した状態では、オーバーレイ領域Ｗαに対して相対的に指定される入力領域のうち、デバイス２１αの動作停止指示に対応する領域は、領域Ａα２に移動している。したがって、当該領域Ａα２内の点Ｐ２が操作されたとき、ＨＭＩ処理部４５は、デバイス２１αを動作停止させる。
【００５８】
なお、上記では、オーバーレイ領域Ｗα１が領域Ｗα２へ平行移動された場合を例にして説明したが、図４に示す領域Ｗα３のように拡大された場合であっても、相対座標変換部４９が現在のオーバーレイ領域Ｗα３に対する相対座標に変換するので、デバイス２１αの動作停止指示に対応する領域は、領域Ａα３のように、オーバーレイ領域Ｗα３の拡大に伴って拡大される。同様に、オーバーレイ領域の縮小に伴って、当該オーバーレイ領域に関連付けられた入力領域も縮小される。
【００５９】
このように、オーバーレイ回路４６は、ＨＭＩ処理部４５がディスプレイ４１に表示させる表示画面上に、映像入力端子Ｔα〜Ｔγからの映像をオーバーレイ表示する。したがって、オペレータは、ＨＭＩ処理部４５によるデバイスの状態表示によってデバイスの状態を把握し、ＨＭＩ処理部４５へデバイスの状態制御を指示しながら、オーバーレイ領域への表示によって、例えば、ビデオカメラ５α・５βが撮影したデバイス２１α・２１βの外観や、コンピュータ６によって管理されるターゲットシステム２や制御システム１の概況を把握できる。
【００６０】
さらに、オーバーレイ領域に関連する入力範囲を、オーバーレイ領域に対して相対的に指定しているので、プログラマブル表示器４は、オーバーレイ領域の位置および大きさの変更に伴って、入力領域を移動したり拡縮できる。この結果、オーバーレイ領域への操作に応じた制御動作を指示できず、制御指示を入力するために、オーバーレイ表示を停止した後で、その下に隠された入力領域を操作したり、他の操作画面に切り換えて当該制御指示用の入力領域を操作する従来技術に比べて、映像信号に関する入力領域を柔軟に配置できると共に、映像信号に関する制御指示を入力する際の操作回数を削減できる。したがって、操作性がよく、安全な制御システム１を実現できる。
【００６１】
ここで、上記動作定義情報は、例えば、制御システム１の図示しないホストコンピュータなどで、ターゲットシステム２の現状や、制御システム１のオペレータの習熟度などに応じて作成（修正）された後、動作定義情報メモリ４４や後述のオーバーレイ用データベース４７に格納され、ＨＭＩ処理部４５がこれらの動作定義情報に基づいて動作する。したがって、プログラマブル表示器４は、動作定義情報を変更することで、制御対象とするターゲットシステム２の現状や制御システム１のオペレータの習熟度に合わせた操作画面を表示し、操作を受け付けることができる。また、上述したように、動作定義情報は、入力／表示範囲と、関連するデバイスの制御動作との組み合わせで特定できるので、デバイスを制御したり、表示したりするプログラムを新たに作成するよりも少ない手間で作成／修正できる。
【００６２】
なお、上記では、制御動作として、デバイス２１αの停止が設定されている場合を例にして説明したが、これに限るものではない。例えば、映像に関連するデバイスの状態を詳細表示する単位画面への切り換え指示などの動作であってもよい。オーバーレイ領域に表示している映像に関連する動作であれば、略同様の効果が得られる。ただし、動作停止操作は、緊急度が高く、迅速な操作が要求される。また、オペレータが映像から異常を判断する際の判断基準および判断方法は、センサなどの検出結果に基づいて、ＰＬＣ３やプログラマブル表示器４あるいはコンピュータ６などが異常を判断する際の基準および方法と異なっている。したがって、オペレータが映像に基づいて動作停止操作するときの操作回数を削減することで、制御システム１の安全性を向上できる。
【００６３】
例えば、デバイスの外観が表示されている場合、オペレータは、発火や発煙の有無などで異常を発見できるので、センサが設けられていない箇所から発火した後、火災箇所が広がり、センサが発火を検出する前に、発火したデバイスを動作停止させることができる。また、デバイス近傍の人物を、センサが検出する前に発見し、当該デバイスを停止させることもできる。
【００６４】
さらに、コンピュータ６の出力映像が表示されている場合は、例えば、上記映像のうちの常時更新されるべき領域が更新されているか否かを見るなどして、コンピュータ６が暴走しているか否かを推定して、コンピュータ６が管理しているデバイスの動作を停止できる。したがって、コンピュータ６が警告をだせずに機能停止した場合でも、コンピュータ６が管理対象となるデバイスを誤って制御する前に当該デバイスを停止できる。
【００６５】
また、上記動作定義情報として設定する制御動作のうち、他の好適な動作としては、例えば、当該映像に関するデバイスの状態を表示する画面への切り換え動作が挙げられる。このような切り換え操作は、オペレータが映像に不審を感じた場合に頻繁に行われる。したがって、この切り換え操作の操作回数を削減することで、プログラマブル表示器４の操作性を向上できる。
【００６６】
ところで、本実施形態に係るプログラマブル表示器４は、図２に示すように、複数のオーバーレイ領域が互いにオーバーラップしている状態において、例えば、点Ｐ４のように、オーバーレイ領域Ｗα・Ｗβがオーバーラップしている箇所をオペレータが操作した場合、例えば、上述の相対入力タグやビデオウィンドウタグの設定あるいはシステム設定を参照するなどして、それぞれの入力領域への操作と判断するか、あるいは、最前面のオーバーレイ領域の入力領域のみへの操作と判断するかを選択する。
【００６７】
例えば、最前面への操作と見なすように設定されている場合、領域判定部４８は、入力位置が属しているオーバーレイ領域のうち、最前面のオーバーレイ領域のみを相対座標変換部４９へ伝え、相対座標変換部４９は、当該オーバーレイ領域での相対座標に上記入力位置を変換する。したがって、図２の状態では、点Ｐ４が属するオーバーレイ領域のうち、オーバーレイ領域Ｗαが最前面なので、入力領域Ａα４のみが有効となり、ＨＭＩ処理部４５は、デバイス２１αを動作停止する。また、図５の状態では、オーバーレイ領域Ｗβが最前面なので、入力領域Ａβ４のみが有効となり、ＨＭＩ処理部４５は、デバイス２１βを動作停止する。この設定の場合、最前面のオーバーレイ領域への操作のみが有効になるので、例えば、隠れているオーバーレイ領域の認識ミスなどに起因するオペレータの操作ミスを抑止できる。
【００６８】
これとは逆に、それぞれへの入力操作と判断するように設定されている場合、領域判定部４８は、入力位置が属しているオーバーレイ領域全てを、相対座標変換部４９へ伝え、相対座標変換部４９は、個々のオーバーレイ領域での相対座標に変換する。これに応じて、ＨＭＩ処理部４５は、オーバーレイ用データベース４７を参照して、相対座標とオーバーレイ領域との組み合わせ、それぞれが、各オーバーレイ領域の入力領域に含まれているか否かを判定し、含まれていると判定した入力領域全てについて、対応する制御動作を行う。したがって、図２および図５のいずれの場合であっても、プログラマブル表示器４は、点Ｐ４が操作されると、デバイス２１αおよび２１βの双方を動作停止させる。この結果、最前面のみを有効にする場合よりも少ない操作回数で、デバイス２１α・２１βの双方を停止させることができる。
【００６９】
ところで、本実施形態に係るプログラマブル表示器４には、上述の各構成に加えて、例えば、ＲＳ２３２インターフェースなど、コンピュータ６と通信するためのＰＣインターフェース５０が設けられており、コンピュータ６の表示および入力装置として動作することができる。
【００７０】
具体的には、本実施形態に係るプログラマブル表示器４では、例えば、相対入力タグのパラメータとして設定するなどの方法によって、操作された座標をコンピュータ６γへ伝える動作を、オーバーレイ領域の入力領域に対する制御動作として設定できる。また、座標を伝えるコンピュータ６と、当該オーバーレイ領域が表示する映像信号を出力するコンピュータ６とが同一になるように、映像入力端子Ｔα〜ＴγやＰＣインターフェース５０の接続先や、オーバーレイ領域と映像入力端子Ｔα〜Ｔγとの対応が選択される。なお、入力範囲は、必要に応じて設定され、例えば、コンピュータ６γのポインティングデバイスを完全に代替する場合など、オーバーレイ領域の全域が操作される可能性がある場合は、当該オーバーレイ領域の全域が入力範囲として設定される。
【００７１】
例えば、図１の例では、コンピュータ６γからの映像信号がオーバーレイ領域Ｗγへ表示されるように設定され、ＰＣインターフェース５０は、当該コンピュータ６γに接続されている。なお、上記コンピュータ６γが、特許請求の範囲に記載の映像信号を出力したコンピュータに対応しており、ＰＣインターフェース５０が、上記ＨＭＩ処理部４５、領域判定部４８および相対座標変換部４９と共に、制御手段に対応している。
【００７２】
この状態で、図７に示すように、タッチパネル４２のオーバーレイ領域Ｗγ内の点Ｐ５が押されると、相対座標変換部４９は、ＨＭＩ処理部４５へ点Ｐ５の相対座標（ｘ，ｙ）を伝える。さらに、ＨＭＩ処理部４５は、コンピュータ６γがポインティングデバイスからの入力を受け付ける際の座標形式に当該相対座標（ｘ，ｙ）を変換し、ポインティングデバイスからの入力を受け付ける際のプロトコルで、変換後の座標（Ｘ，Ｙ）を送信するように、ＰＣインターフェース５０へ指示する。これにより、コンピュータ６γには、例えば、マウスなどのポインティングデバイスが点Ｐ５に対応する箇所を押した場合と同一の指示が入力される。この結果、マウスなどのポインティングデバイスを特別に用意することなく、プログラマブル表示器４をコンピュータ６のポインティングデバイスとして使用できる。
【００７３】
ここで、プログラマブル表示器４に接続され、ターゲットシステム２の近傍でデータ処理のみを行うコンピュータでは、ポインティングデバイスによる操作が必要になる期間が、例えば、メンテナンス時などに限られており、通常は、ポインティングデバイスが接続されていないことが多い。一方、ターゲットシステム２の近傍では、利用可能な空間が制限されており、重要でない装置や代替可能な装置は、できる限り、ターゲットシステム２近傍に常備しないことが望ましい。したがって、従来は、このようなコンピュータを操作する必要がある場合には、ターゲットシステム２から離れた場所に設けられた収納場所から、ポインティングデバイスを取り出して、コンピュータに接続し、操作が終わると、ポインティングデバイスを、再度取り外して、収納場所に格納している。
【００７４】
ところが、本実施形態の構成では、このようなコンピュータ用のポインティングデバイスとして、プログラマブル表示器４を使用できるので、当該コンピュータを操作する際の手間を大幅に削減できる。
【００７５】
ここで、コンピュータ６のポインティングデバイスとして動作するための構成は、オーバーレイ領域を操作するための構成と略同一であり、ＰＣインターフェース５０や、ＨＭＩ処理部４５がＰＣインターフェース５０へ指示する動作など、僅かな構成のみが異なっている。さらに、プログラマブル表示器４は、例えば、メンテナンス時などに、メンテナンス用のコンピュータから動作定義情報を読み込むために、ＰＣインターフェース５０を備えていることが多い。したがって、殆どの部分を共用でき、余り構成を追加せずに、ポインティングデバイスとして動作できる。
【００７６】
なお、本実施形態では、入力位置がオーバーレイ領域の入力範囲内か否かを判定する際、入力位置を相対座標に変換した後で、相対座標で格納された入力範囲と比較する場合を例示したが、これに限るものではない。例えば、相対座標で設定された入力範囲をタッチパネル４２上の絶対座標に変換して格納し、オーバーレイ領域の範囲が変更される度に、格納された入力範囲を更新すると共に、絶対座標で指定される入力位置と当該入力範囲とを比較してもよい。判定方法に拘らず、オーバーレイ領域の入力範囲を、オーバーレイ領域に対して相対的に設定できれば、本実施形態と同様の効果が得られる。
【００７７】
また、本実施形態では、相対入力タグでオーバーレイ領域と入力範囲との組み合わせを設定する場合を例にして説明したが、チャンネルと入力範囲との組み合わせで設定し、同じチャンネルの映像信号をオーバーレイ表示するオーバーレイ領域間で、入力範囲の設定を共用してもよい。いずれの場合であっても、映像信号を表示するオーバーレイ領域に対して、入力範囲を相対的に設定できれば、本実施形態と同様の効果が得られる。
【００７８】
なお、上記各部材４１〜５０は、ＣＰＵなどの演算手段が、ＲＯＭやＲＡＭなどの記憶手段に格納されたプログラムを実行し、タッチパネルや液晶表示装置などの入出力手段、あるいは、通信回路や映像入力回路などのようなインターフェース回路を制御することによって実現される機能ブロックである。したがって、これらの手段（回路）を有するコンピュータが、上記プログラムを記録した記録媒体（例えば、ＣＤ−ＲＯＭなど）を読み取り、当該プログラムを実行するだけで、本実施形態に係るプログラマブル表示器４を実現できる。なお、例えば、シリアルケーブルや、インターネットなどのネットワーク、あるいは、他の通信路を介してプログラムをダウンロードするためのプログラムが、上記コンピュータに予めインストールされていれば、当該通信路を介して、上記コンピュータへ上記プログラムを配付することもできる。
【００７９】
【発明の効果】
本発明に係る制御用表示装置は、以上のように、ディスプレイと、該ディスプレイの表示画面上に配されたタッチパネルと、表示または制御する際の動作を特定する動作定義情報を格納する記憶手段と、当該記憶手段に格納された動作定義情報に基づき制御対象の状態を取得して上記ディスプレイへ表示するとともにタッチパネル入力に応じて制御対象の状態を制御する制御手段と、上記ディスプレイの表示画面中の予め定められるオーバーレイ領域に外部から入力される映像信号を上記制御手段による表示よりも優先してオーバーレイ表示するオーバーレイ表示手段と、を有する制御用表示装置であって、ユーザのタッチパネル入力に応じてオーバーレイ領域の範囲変更を上記オーバーレイ表示手段へ指示するオーバーレイ制御手段を備え、上記記憶手段には、オーバーレイ領域内において相対的に指定される入力領域と該入力領域へのタッチパネル入力に対応する制御動作との組み合わせを示す入力用動作定義情報が格納可能であり、上記制御手段は、上記記憶手段に上記入力用動作定義情報が格納されている場合に、オーバーレイ領域内の上記入力領域へのユーザのタッチパネル入力に応答して上記入力用動作定義情報で指定される制御動作を行う構成である。
【００８０】
請求項６の発明に係る記録媒体は、請求項１記載の表示手段、操作手段およびオーバーレイ表示手段を有するコンピュータを、請求項１記載の記憶手段、制御手段、並びに、オーバーレイ制御手段として動作させるプログラムが記録されている構成であり、当該記録媒体からプログラムが読み取られ、上記コンピュータで実行されると、当該コンピュータは、請求項１記載の制御用表示装置として動作する。
【００８１】
上記各構成によれば、入力用動作定義情報の入力領域がオーバーレイ領域に対して相対的に指定されるので、制御用表示装置は、オーバーレイ領域の位置や大きさ変更に伴って入力領域の位置や大きさを変更しながら、オーバーレイ領域内の入力領域への入力操作に応じた制御を実施できる。この結果、オペレータから制御対象への制御指示を受け付ける入力領域を柔軟に配置できるので、映像信号に関する制御指示を入力する際の操作回数を削減でき、操作性がよく、安全な制御システムを実現できるという効果を奏する。
【００８２】
請求項２の発明に係る制御用表示装置は、以上のように、請求項１記載の発明の構成において、上記オーバーレイ表示手段は、複数入力される映像信号のうちのいくつかを、それぞれ用に設けたオーバーレイ領域に表示でき、上記記憶手段には、上記入力用動作定義情報とオーバーレイ領域との対応を示すデータが格納可能であり、上記制御手段は、上記オーバーレイ領域が操作された場合、上記データを参照して、当該オーバーレイ領域に対応する入力用動作定義情報のみに基づいて制御動作する構成である。
【００８３】
それゆえ、制御用表示装置の表示画面上に、複数の映像信号を同時に表示して、オペレータにそれぞれの内容を同時に報知できるにも拘らず、制御用表示装置は、各オーバーレイ領域への操作を混同することなく、それぞれの入力領域への操作に応じた制御動作を実行できるという効果を奏する。
【００８４】
請求項３の発明に係る制御用表示装置は、以上のように、請求項２記載の発明の構成において、上記制御手段は、上記操作手段によって、複数のオーバーレイ領域がオーバーラップする領域への操作が受け付けられた場合、最も上のオーバーレイ領域に対応する入力用動作定義情報のみに基づいて制御動作する構成である。
【００８５】
上記構成よれば、制御手段は、あるオーバーレイ領域の下に他のオーバーレイ領域が隠れているか否かに拘らず、オーバーラップした領域への操作を、最も上のオーバーレイ領域の入力領域への操作と判断する。したがって、隠れているオーバーレイ領域の認識ミスなどに起因するオペレータの操作ミスを抑止できるという効果を奏する。
【００８６】
請求項４の発明に係る制御用表示装置は、以上のように、請求項２記載の発明の構成において、上記制御手段は、上記操作手段によって、複数のオーバーレイ領域がオーバーラップする領域への操作が受け付けられた場合、互いにオーバーラップする各オーバーレイ領域に対応する入力用動作定義情報に基づいて制御動作する構成である。
【００８７】
上記構成によれば、制御手段は、オーバーラップした領域への操作を、互いにオーバーラップする各オーバーレイ領域それぞれの入力領域への操作と判断するので、各オーバーレイ領域の入力領域を一括して操作できる。この結果、より少ない回数の操作で、複数のオーバーレイ領域の入力領域を操作でき、例えば、緊急時などに、より速く対応可能な制御用表示装置を実現できるという効果を奏する。
【００８８】
請求項５の発明に係る制御用表示装置は、以上のように、請求項１記載の発明の構成において、上記記憶手段には、上記入力用動作定義情報として、制御動作がオーバーレイ領域に表示される映像信号を出力したコンピュータへ、オーバーレイ領域における座標が操作されたことを通知する動作であるコンピュータ接続用動作定義情報が格納可能であり、上記制御手段は、上記コンピュータ接続用動作定義情報が上記記憶手段に格納されている場合、上記オーバーレイ領域への入力に応じて、上記コンピュータへ上記座標を通知する構成である。
【００８９】
当該構成では、コンピュータからの映像信号を表示するオーバーレイ領域が操作された場合、制御手段は、オーバーレイ領域における入力座標が操作されたことを、上記コンピュータに通知する。これにより、キーボードやマウスなど、他の入力手段を用意することなく、制御用表示装置を当該コンピュータの表示および入力装置として使用できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態を示すものであり、制御システムの要部構成を示すブロック図である。
【図２】上記制御システムのプログラマブル表示器による表示画面の例を示すものであり、オーバーレイ領域が互いにオーバーラップする場合を示す説明図である。
【図３】上記プログラマブル表示器の表示画面例を示すものであり、オーバーレイ領域を移動する場合を示す説明図である。
【図４】上記プログラマブル表示器の表示画面例を示すものであり、オーバーレイ領域の大きさを変更し、移動する場合を示す説明図である。
【図５】上記プログラマブル表示器の表示画面例を示すものであり、オーバーレイ領域のオーバーラップの順位を変更する場合を示す説明図である。
【図６】上記プログラマブル表示器のオーバーレイ用データベースに格納されるデータ構造の例を示す説明図である。
【図７】上記プログラマブル表示器にコンピュータからの映像を表示し、当該コンピュータの入力装置として動作する場合の表示例を示す説明図である。
【図８】従来技術を示すものであり、制御システムの要部構成を示すブロック図である。
【図９】上記制御システムのプログラマブル表示器による表示画面の例を示す説明図である。
【符号の説明】
４ プログラマブル表示器（制御用表示装置）
６γ コンピュータ
２１ デバイス（制御対象）
４１ ディスプレイ（表示手段）
４２ タッチパネル（操作手段）
４４ 動作定義情報メモリ（記憶手段）
４６ オーバーレイ回路（オーバーレイ表示手段）
４５ ＨＭＩ処理部（制御手段、オーバーレイ制御手段）
４７ オーバーレイ用データベース（記憶手段）
４８ 領域判定部（制御手段）
４９ 相対座標変換部（制御手段）
５０ ＰＣインターフェース（制御手段）
Ｗα〜Ｗγ オーバーレイ領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a control display device that displays and controls the state of a target system device to be controlled in a control system, such as a programmable display, and in particular, a video signal from a video camera or a computer video. The present invention relates to a control display device capable of overlay display of an external video signal such as an output signal.
[0002]
[Prior art]
As shown in FIG. 8, in the conventional control system 101, a programmable logic controller (hereinafter referred to as PLC) is used to control various devices 121 of the target system 102 such as a belt conveyor type automatic assembly machine. 103) and a programmable display 104 connected to the PLC 103 and serving as an HMI (Human Machine Interface) of the control system 101 are widely used.
[0003]
The programmable display 104 is often arranged in the vicinity of the target system 102, acquires the state of the device 121 of the target system 102 via the PLC 103, and displays the display 141 built in the programmable display 104. Display on the screen. The programmable display 104 includes a touch panel 142 arranged on the display screen. The PLC interface 143 of the programmable display 104 controls the PLC 103 to the device 121 in response to an operation on the touch panel 142. An instruction is transmitted and the state of the device 121 is controlled.
[0004]
Here, since the programmable display 104 is used as an HMI, the operation screen is not only the current state of the target system 102 such as the number and type of the devices 121 to be controlled, but also the proficiency level of the operator, It should be designed according to the operation guidelines of the operator.
[0005]
Therefore, in the programmable display 104, a display tag indicating the correspondence between the area (display area) on the screen and the address of the device corresponding to the display of the area so that the operation screen can be easily created or modified, A combination of a tag (processing instruction word) such as an input tag indicating the correspondence between the area (input area) and the address of the device corresponding to the input to the area and the area on the screen is stored in the action definition information memory 144; The HMI processing unit 145 operates while referring to the tag.
[0006]
Specifically, for each display tag, the HMI processing unit 145 reads the contents of the device address related to the display tag, for example, as shown in FIG. The switch S and the meter M in the corresponding state are displayed at the coordinates indicated by the display tag on the display screen of the display 141. When the touch panel 142 accepts an input operation, the HMI processing unit 145 searches the operation definition information memory 144 for an input tag whose input area includes an actual input position, and via the PLC interface 143. The PLC 3 is instructed to control the device indicated by the input tag.
[0007]
In recent years, a programmable display 104 capable of inputting a video signal from the video camera 105 is also used. The overlay circuit 146 of the programmable display 104 performs the HMI processing when it is time to transfer the picture elements in a predetermined overlay area when the picture elements of the operation screen are sequentially transferred from the HMI processing unit 145 to the display 141. Instead of the picture element from the unit 145, the picture element indicated by the video signal input from the video input terminal Tα is output. As a result, as shown in FIG. 9, the video of the video camera 105 (here, the video of the device 121α) is displayed in the overlay area Aα in the display screen. Note that the position of the overlay area Aα is also set in advance by the above-described tag.
[0008]
Thereby, the programmable display 104 can display not only the data acquired by the device 121 such as a sensor provided in the target system 102 but also display the appearance of the device 121α and the like, for example, and notify the operator. . Therefore, for example, when the operator finds an abnormality in the behavior of the device 121α based on the video, for example, when it is ignited or smokes, or when a person is found near the device 121α, the device 121α continues to operate. It is possible to determine and control the state of the target system 102 from a different point of view than when judging from sensor information, such as when it is judged dangerous.
[0009]
Here, in the programmable display 104, even if a switch or the like is arranged under the overlay area Aα, the switch is not displayed. Therefore, if the operation to the switch is permitted, the operator may erroneously operate the switch. .
[0010]
Accordingly, the area determination unit 148 of the programmable display 104 inputs an input to the HMI processing unit 145 only when it is determined that the input position on the touch panel 142 is outside the overlay area Aα previously designated by the HMI processing unit 145. Tell. Thereby, the erroneous operation is surely prevented, and a safe control system 101 is realized.
[0011]
[Problems to be solved by the invention]
However, in the conventional programmable display 104 described above, since the operable area in the display screen is reduced, there is a problem that the number of operations when performing a desired operation is likely to increase and the operability is likely to be reduced.
[0012]
Specifically, in the above configuration, since the operation to the overlay area Aα is prohibited, the designer of the operation screen can operate the overlay area Aα, the switch S, the meter M, and the like as shown in FIG. It is necessary to design so that it does not overlap with the target figure.
[0013]
Therefore, for example, let the programmable display 104 accept an operation associated with the image of the overlay area Aα, such as displaying detailed information of the device 121α displayed in the overlay area Aα or urgently stopping the device 121α. Then, as shown in FIG. 9, the operation area must be arranged so as not to overlap the overlay area Aα by the above-described tag.
[0014]
As a result, the area that can be operated is reduced from the display screen due to the arrangement of the overlay area Aα, and the overlay area is overlaid on the remaining area even though a large number of input / display areas cannot be arranged. It is necessary to provide both an operation area related to the area Aα and an area for display / control of the other device 121. Therefore, for display / control that is not very important, the operation screen is designed to display / control in combination with screen switching, and the number of operations by the operator tends to increase.
[0015]
For example, when the video signal indicates a picture element of a specific color, or when a picture element of a specific area set in advance on the display screen is displayed, the HMI processing unit 145 is used even in the overlay area. If the overlay circuit 146 is configured so as to give priority to the picture elements from, the switch S and the meter M on the operation screen can be displayed on the overlay area Wα, and the operable area can be enlarged. However, in this case, since the overlay area is hidden, there is a possibility that the operator may miss an important part of the video.
[0016]
The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to control external video so that it can be overlaid on the original operation screen and can be used to instruct video operations with few operations. It is to realize a display device for use.
[0017]
[Means for Solving the Problems]
In order to solve the above problems, a control display device according to the present invention is provided. Display and touch panel arranged on display screen of the display And storage means for storing action definition information for specifying an action at the time of display or control, and acquiring the state of the control target based on the action definition information stored in the storage means. Above display And display Touch panel input Control means for controlling the state of the controlled object according to Above display An overlay display means for displaying an image signal input from the outside in a predetermined overlay area in the display screen in preference to the display by the control means, and a control display device comprising:
User's Touch panel input An overlay control means for instructing the overlay display means to change the range of the overlay area according to the input area, and the storage means stores an input area relatively designated in the overlay area and the input area to the input area. Support touch panel input The operation definition information for input indicating a combination with the control operation can be stored, and the control means stores the input operation definition information in the overlay area when the input action definition information is stored in the storage means. User's Touch panel input In response to the control operation specified by the input operation definition information.
[0018]
That is, it comprises overlay control means for instructing the overlay display means to change the range of the overlay area on the display screen in response to an operation on the operation means, and the storage means stores the action definition information in the overlay area. It is possible to store input operation definition information indicating a correspondence between an input area relatively specified with respect to a control action when an operation on the input area is performed, and the control unit includes the storage unit If the operation definition information for input is stored and the operation to the operation means is an operation to the input area specified by the operation definition information for input, the operation definition information for input is used. It is characterized by performing the controlled operation.
[0019]
In addition, if the control display device displays the state of the control target and can specify the operation at the time of control according to the operation, for example, the operation definition information indicates the relationship between the display area and the control target displayed in the area. Or a combination of processing instructions such as a tag indicating a relationship between an input area and a control target to be controlled when an operation to the input area is accepted, or the input area, the display area, or It may be data defined as a set of objects that can be set with a control target as an attribute.
[0020]
In the above configuration, the control means of the control display device acquires the state of the control target based on the operation definition information stored in the storage means, displays the state of the control target, or controls according to the operation. Control the state of the subject. In addition, the overlay display means may be, for example, a video signal from a video camera that captures a control target, a target system that is a target of control, or a control system that includes a control display device. External video signals such as video signals from general-purpose computers to be managed are displayed in the overlay area. As a result, the operator of the control display device can see the control target state by viewing the screen of the control display device or inputting an operation on the screen, and can control the appearance of the control target by overlay display. And overview of the control system or target system.
[0021]
Further, the overlay control means of the control display device can control the overlay display means in accordance with an operation from the operator, and can adjust the range of the overlay area, such as the position and size. Therefore, for example, when it is desired to know the details of the external video, the overlay area is greatly enlarged, or among the control target states displayed by the control means, the control target state currently determined to be important is arranged outside the overlay area. The position and size of the overlay can be changed according to the situation by arranging the overlay area so that the state of the control target that is not very important is hidden in the overlay area.
[0022]
Further, when the control unit of the control display device accepts an operation on the overlay area, the control unit determines whether the operation is an operation on the input area indicated by the input action definition information, and enters the input area. In the case of this operation, a control operation associated with the input area is performed. Therefore, the position and size of the input area can be changed in accordance with the change of the position and size of the overlay area based on the operator's instruction. The determination may be made based on whether or not the input position is included in the input area of the operation definition information for input after converting the input position into the relative coordinates to the overlay area, or the position of the overlay area on the display screen Alternatively, based on the size, the input area (relative coordinates) of the input action definition information may be converted into coordinates on the display screen, and then it may be determined whether or not the input position is included in the input range.
[0023]
As a result, the control display device can perform control according to the input operation to the input area in the overlay area while referring to the operation definition information for input while the range of the overlay area can be changed. It is possible to flexibly arrange an input area for receiving a control instruction from the control object to the control object. As a result, the control operation cannot be instructed according to the operation on the overlay area, and after the overlay display is stopped to input the control instruction, the input area hidden under the overlay operation or other operation can be performed. Compared to the conventional technique of switching to the screen and operating the input area for the control instruction, the number of operations when inputting the control instruction regarding the video signal can be reduced, and a operability and a safe control system can be realized.
[0024]
As an example, when a video signal obtained by photographing a control target is input from a video camera, by specifying a stop instruction for the control target as a control operation in the input operation definition information, for example, firing or a suspicious person When an apparent abnormality is found in the control target image, the control target can be immediately stopped by operating the input area of the overlay area. In addition, when a video signal is input from a general-purpose computer that manages the control system, for example, by designating a stop instruction to the control target of the control display device, for example, the video should be constantly updated. When it is estimated that the area has stopped and the computer has stopped functioning without even giving a warning, the operator can operate the input area of the overlay area to stop the control target of the control display device. it can.
[0025]
According to a second aspect of the present invention, in the control display device according to the first aspect of the present invention, the overlay display means includes an overlay provided with a plurality of input video signals. The storage means can store data indicating the correspondence between the input action definition information and the overlay area, and the control means refers to the data when the overlay area is operated. Thus, the control operation is performed based only on the input operation definition information corresponding to the overlay area.
[0026]
According to the above configuration, for example, the input operation definition information and the overlay are used as a data area in the input operation definition information or a database stored in a storage area provided separately from the input operation definition information storage area. Data indicating the correspondence with the area is stored in the storage means, and the control means performs a control operation with reference to the data. As a result, the control display device can operate each overlay area, although a plurality of video signals can be simultaneously displayed on the display screen of the control display device and the contents can be simultaneously notified to the operator. Without being confused, it is possible to execute a control operation according to an operation on each input area.
[0027]
Further, in the control display device according to the invention of claim 3, in the configuration of the invention of claim 2, the overlay display means is arranged so that the overlay control means displays a plurality of overlay areas overlapping each other. When the operation means accepts an operation for an area where a plurality of overlay areas overlap, the control means is based only on the operation definition information for input corresponding to the uppermost overlay area. Control operation.
[0028]
In this configuration, the overlay display means displays a plurality of overlay areas so as to overlap each other in accordance with an instruction from the overlay control means. This allows the operator to place each overlay area so that a particularly important part of each overlay area is not hidden by other overlay areas, with a smaller area compared to placing each overlay area in a different area, An important part of each overlay area can be displayed.
[0029]
Furthermore, regardless of whether other overlay areas are hidden under a certain overlay area, the control means determines that the operation for the overlapped area is an operation for the input area of the uppermost overlay area. Accordingly, it is possible to suppress an operator's operation error due to a recognition error of a hidden overlay region.
[0030]
According to a fourth aspect of the present invention, in the control display device according to the second aspect of the present invention, the overlay control means is configured to display the plurality of overlay areas so as to overlap each other. When the operation means accepts an operation for an area where a plurality of overlay areas overlap, the control means sets the operation definition information for input corresponding to each overlay area overlapping each other. The control operation is based on this.
[0031]
In this configuration, since each overlay area can be displayed in an overlapping manner as in the third aspect, an important part of each overlay area can be displayed in a small area. Further, unlike the third aspect, the control means determines that the operation on the overlapped area is the operation on the input area of each overlay area that overlaps each other. Can be operated. As a result, it is possible to operate the input areas of a plurality of overlay areas with a smaller number of operations, and for example, it is possible to realize a control display device that can respond more quickly in an emergency or the like.
[0032]
According to a fifth aspect of the present invention, in the control display device according to the first aspect of the present invention, the video signal in which the control operation is displayed in the overlay area as the input operation definition information in the storage means. Can be stored in the storage means, and the control means can store the computer connection operation definition information in the storage means. If stored, the coordinates are notified to the computer in response to an input to the overlay area.
[0033]
In this configuration, when the overlay area for displaying the video signal from the computer is operated, the control means notifies the computer that the input coordinates in the overlay area have been operated. Accordingly, the control display device can be used as the display and input device of the computer without preparing other input means such as a keyboard and a mouse.
[0034]
By the way, the control display device may be realized only by hardware, but may be realized by a computer executing a program. Specifically, a recording medium according to a sixth aspect of the invention is a recording medium on which a program for operating a computer having the display means, the operating means, and the overlay display means according to the first aspect as a control display device is recorded. In order to solve the above problem, a program for operating the computer is recorded as the storage means, the control means, and the overlay control means.
[0035]
When the program is read from the recording medium having the configuration and executed by the computer, the computer operates as the control display device according to claim 1. Therefore, the control display device can perform control according to the input operation to the input area in the overlay area while referring to the operation definition information for input while the position and size of the overlay area can be changed. The input area for receiving a control instruction from the operator to the control target can be flexibly arranged. As a result, it is possible to reduce the number of operations when inputting a control instruction related to a video signal, and to realize a safe control system with good operability.
[0036]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described below with reference to FIGS. That is, the control system 1 according to the present embodiment is a system that controls a target system 2 having devices (control objects) 21 such as a belt conveyor type automatic assembly machine, as shown in FIG. The programmable logic controller (PLC) 3 that controls each of the devices 21 and the HMI of the control system 1 that is connected to the PLC 3 and often in the vicinity of the target system 2 by the operator of the target system 2 A programmable display (control display device) 4 to be operated is provided. Further, the control system 1 according to the present embodiment is provided with video cameras 5 and 5 for photographing the installation location of the device 21 and a general-purpose computer 6, and the programmable display 4 includes the video camera 5. 5 and the video signal from the computer 6 can be overlaid on the display screen, and the video of the installation location of the device 21 and the output screen of the computer 6 can be transmitted to the operator.
[0037]
More specifically, the programmable display device 4 according to the present embodiment includes a display 41 including a liquid crystal display device and a touch panel 42 disposed on the display screen of the display 41 as display means and operation means. . Further, the PLC interface 43 for communicating with the PLC 3 to acquire and control the state of the devices 21... And the operation (display operation) in which the programmable display 4 acquires and displays the state of the device and the operation of the device according to the operation. An operation definition information memory 44 in which operation definition information for specifying an operation (control operation) for instructing state control is stored in advance, and an HMI that performs the display operation and the control operation while referring to the operation definition information memory 44 A processing unit 45 is provided.
[0038]
In the present embodiment, the operation definition information includes a display tag indicating correspondence between an area on the screen and a device address corresponding to display in the area (display area), an area on the screen, and the area ( It is stored in the operation definition information memory 44 as a combination of tags (processing instruction words) such as an input tag indicating the correspondence with the device address corresponding to the input to the (input area). Moreover, the programmable display 4 which concerns on this embodiment can switch and display several unit screens, and each tag is linked | related with the unit screen. Each unit screen can also contain a static figure that does not change the display content, such as a nameplate, and the above action definition information includes the shape and color of the static figure, the presence or absence of blinking, the position and size of the static figure, etc. It also contains information necessary for displaying static figures.
[0039]
The HMI processing unit 45 refers to the operation definition information stored in the operation definition information memory 44 and extracts a display tag related to the unit screen currently being displayed, and displays each display tag for each predetermined period. For example, the contents of the device address related to the display tag are read out. For example, the graphic of the expression format specified by the display tag according to the contents of the device address, such as a part graphic corresponding to the read value, Display in the specified area on the screen. On the other hand, for example, when the touch panel 42 receives an input operation, the HMI processing unit 45 searches the operation definition information for an input tag that corresponds to the unit screen currently displayed and matches the input operation. By instructing the PLC 3 via the interface 43, the contents of the device address indicated by the input tag are changed according to the operation. As a result, the programmable display 4 displays the device status indicated by the operation definition information on the unit screen B, such as the switch S and the meter M in FIG. It can be displayed at the display position indicated by the definition information. Further, the device state can be controlled by operating these switches S, meters M, and the like by an input operation indicated by the operation definition information.
[0040]
The device to be controlled only needs to be able to acquire or control (change) the state. For example, the device 21 itself may be used. For example, the programmable display 4 or the storage device of the PLC 3 such as the PLC 3 memory. For example, one area of the storage device provided in the control system 1 may be shown. Further, the device may be a memory in which data manually input from an input device such as a touch panel 42 or a barcode reader (not shown) described later is stored.
[0041]
In addition, in order to display the video signals from the video camera 5 and the computer 6 on the programmable display 4 in an overlay manner, video input terminals Tα to Tγ to which video signals from the respective video signals are input and video inputs are input. There is provided an overlay circuit (overlay display means) 46 that displays the video signals input from the terminals Tα to Tγ in a predetermined overlay area on the display screen displayed on the display 41 by the HMI processing unit 45. Yes.
[0042]
1 illustrates a case where three video input terminals Tα to Tγ are provided and the overlay circuit 46 can individually set three overlay areas, but of course, the number of video input terminals Is not limited to this. In the following, for convenience of explanation, the flow of data (signals) from the video source to display in the overlay area is referred to as a channel, and it is necessary to specify each channel or a member related to each channel. For example, like the video input terminal Tγ to which the video signal from the computer 6γ is input, the reference code is distinguished by attaching a Greek letter indicating a channel.
[0043]
In the present embodiment, for example, the overlay circuit 46 performs overlay processing by hardware, and the overlay circuit 46 preliminarily transfers each picture element constituting the display screen from the HMI processing unit 45 to the display 41 in advance. When a period for transferring a picture element within a predetermined overlay area is reached, the picture element indicated by the video signal from the video input terminals Tα to Tγ is output instead of the picture element from the HMI processing unit 45. As a result, overlay display can be performed without increasing the calculation capability of the HMI processing unit 45.
[0044]
The overlay circuit 46 can set the priority of each overlay area. When the ranges of a plurality of overlay areas are overlapped, the picture from the video signal corresponding to the overlay area set to the highest priority (frontmost) is displayed. Can output prime.
[0045]
Further, in the present embodiment, a video window tag for arranging an overlay area for displaying video input from desired video input terminals Tα to Tγ on a desired unit screen is defined. When the video window tag indicating the current arrangement on the unit screen is stored in the motion definition information memory 44 as motion definition information, the position, size, priority, and position of the overlay area are referred to with reference to the video window tag. The video input terminals and the like are specified, and each is set in the overlay circuit 46 as an initial setting of each overlay area.
[0046]
Thereby, as shown in FIG. 2, the programmable display 4 displays the images of the channels α to γ in the overlay areas Wα to Wγ provided on the unit screen B on which the switch S, the meter M, and the like are displayed. it can. In the example of FIG. 2, the priorities of the overlay areas Wα to Wγ are set higher in the order of Wα, Wβ, and Wγ. Therefore, the video from the video camera 5α that captures the device 21α is displayed in the foreground, and the portion of the video from the video camera 5β that captures the device 21β that overlaps the overlay region Wα is hidden by the overlay region Wα. ing. 2 illustrates the case where the overlay areas Wα to Wγ overlap each other, the overlay areas Wα to Wγ may be arranged in different ranges as shown in FIG. .
[0047]
Here, in the programmable display device 4 according to the present embodiment, the position and size of the overlay area on the display screen can be changed by an operation such as dragging the frame of the overlay area. An input area can be provided in association with the area.
[0048]
Specifically, as shown in FIG. 1, the programmable display 4 of the present embodiment includes a current position of each overlay area, a current size and a current priority, or an input area associated with each overlay area. An overlay database 47 for managing the information is provided, and the overlay circuit 46 refers to the overlay database 47 and acquires the current range and priority for each overlay region. Further, the HMI processing unit 45 refers to the overlay database 47 and displays a title of each overlay area, a button for stopping the display of the overlay area, and the like at a predetermined position (for example, the upper end) of each overlay area. Can be displayed.
[0049]
Further, the HMI processing unit 45 displays a predetermined operation such as a drag operation of the frame based on the current range of each overlay area stored in the overlay database 47 and the input to the touch panel 42, for example. It is determined whether or not the operation has been performed on any one of the overlay areas, and the current position and current size of the overlay area among the data stored in the overlay database 47 according to the operation. Update. Thereby, the programmable display 4 changes the position of each overlay area from the overlay area Wα1 to the overlay area Wα2 or Wα3, for example, as shown in FIGS. Or change the size.
[0050]
Further, for example, when a predetermined operation such as a tap operation to the title area provided at the upper end of the overlay area is performed on any of the currently displayed overlay areas, the HMI processing unit 45 Of the data stored in the overlay database 47, the priority of each overlay area can be changed according to the operation of the operator by setting the priority of the overlay area to the highest priority. For example, in the example of FIG. 5, the overlay area Wβ which is the next rank in FIG. 2 is arranged in the foreground by an operation such as tapping the title area of the overlay area Wβ.
[0051]
In addition, the overlay database 47 can store relative input tags as operation definition information related to the overlay area, and the overlay area, the relative input range for the overlay area, and the input range are operated. Stores the correspondence with the operation in the event of a failure. Further, in this embodiment, in order to improve the reference speed, a relative input tag indicating a combination of a unit screen, an overlay area, an input range, and an operation when the input range is operated is shown in FIG. As described above, a database DB in which only the correspondence of the overlay area corresponding to the currently displayed unit screen is extracted is created, and the HMI processing unit 45 and the area determination unit 48 to be described later refer to the database DB and within the input range. It is determined whether or not. The method for specifying the operation can be freely set as long as the operation when the input range is operated can be specified. However, if the input tag is specified in the same format, the designer of the operation screen simply changes the input range specification method from absolute coordinates to relative coordinates without learning a new control action specification method. , Relative input tag can be set.
[0052]
Furthermore, as shown in FIG. 1, the programmable display 4 refers to the overlay database 47 and determines whether or not the input position on the touch panel 42 is within the current range of each overlay area. And a relative coordinate conversion unit 49 that converts an input position on the touch panel 42 into a relative coordinate with respect to the overlay area when within the range, and the HMI processing unit 45 searches the database DB. When the combination of the input range including the input position converted into the relative coordinates and the overlay area is stored in the overlay database 47 in relation to the current unit screen, the operation corresponding to the combination is performed. Can be executed.
[0053]
The HMI processing unit 45, the region determination unit 48, and the relative coordinate conversion unit 49 correspond to the control unit described in the claims, and the HMI processing unit 45 also corresponds to the overlay control unit. The operation definition information memory 44 and the overlay database 47 correspond to storage means.
[0054]
For example, in the example of FIG. 6, in relation to the overlay area Wα, a rectangular input range of relative coordinates (50%, 0%) to (100%, 20%) and an appearance are displayed in the overlay area Wα. A combination with an operation stop instruction to the device 21α is stored. In this example, when the relative coordinates of the upper left corner of the overlay area are (0%, 0%) and the relative coordinates of the lower right corner are (100%, 100%), the relative coordinates of the upper left corner of the rectangular input range. The input range is stored as a combination of (X1, Y1) and the relative coordinates (X2, Y2) of the lower right corner. Thereby, the area indicated by Aα1 in FIG. 3 is set as the input area for the operation stop instruction.
[0055]
Here, when the operator presses the point P1 in the area Aα1 of the touch panel 42 in a state where the overlay area Wα is arranged in the area Wα1 shown in FIG. 3, the touch panel 42 shown in FIG. The determination unit 48 determines whether or not the input position is in any one of the overlay areas Wα1. In this state, since the input position is within the overlay area Wα1, the relative coordinate conversion unit 49 converts the input position into the relative coordinates of the overlay area Wα1. Further, the HMI processing unit 45 refers to the overlay database 47 and searches for a control operation corresponding to the combination of the input position converted into the relative coordinates and the overlay area Wα. As shown in FIG. 6, the overlay database 47 stores an operation stop instruction to the device 21α as a control operation corresponding to the combination. Therefore, the HMI processing unit 45 instructs the PLC 3 via the PLC interface 43 to stop the operation of the device 21α.
[0056]
On the other hand, it is assumed that the point P1 is pressed while the overlay area Wα (Wα1) is moved to the area Wα2. In this case, the range of the region Wα2 is already registered in the overlay database 47 as the current range of the overlay region Wα. Therefore, even though the input position (absolute coordinates) on the touch panel 42 is the same as when the overlay area Wα is arranged in the area Wα1, the area determination unit 48 determines which of the overlay areas Wα2. It is determined that it is not included in any of them, and the input position on the touch panel 42 is transmitted to the HMI processing unit 45 as absolute coordinates. As a result, the HMI processing unit 45 determines that the point P1 is operated in the operation screen displayed on the display 41 by itself.
[0057]
In the state of moving to the overlay area Wα2, the area corresponding to the operation stop instruction of the device 21α among the input areas specified relative to the overlay area Wα has moved to the area Aα2. Therefore, when the point P2 in the area Aα2 is operated, the HMI processing unit 45 stops the operation of the device 21α.
[0058]
In the above description, the overlay area Wα1 is translated into the area Wα2 as an example. However, even when the overlay area Wα3 is enlarged as shown in FIG. Therefore, the area corresponding to the operation stop instruction of the device 21α is enlarged as the overlay area Wα3 is enlarged, as in the area Aα3. Similarly, as the overlay area is reduced, the input area associated with the overlay area is also reduced.
[0059]
As described above, the overlay circuit 46 overlays the images from the video input terminals Tα to Tγ on the display screen that the HMI processing unit 45 displays on the display 41. Therefore, the operator grasps the device state by the device state display by the HMI processing unit 45, and instructs the HMI processing unit 45 to control the state of the device, while displaying it in the overlay area, for example, the video cameras 5α and 5β. Can grasp the external appearance of the devices 21α and 21β photographed and the general condition of the target system 2 and the control system 1 managed by the computer 6.
[0060]
Furthermore, since the input range related to the overlay area is specified relative to the overlay area, the programmable display 4 moves the input area in accordance with the change in the position and size of the overlay area. Can be scaled. As a result, the control operation according to the operation to the overlay area cannot be instructed, and after inputting the control instruction, after the overlay display is stopped, the input area hidden under the overlay area is operated or other operations are performed. Compared to the conventional technique of switching to the screen and operating the input area for the control instruction, the input area relating to the video signal can be flexibly arranged and the number of operations when inputting the control instruction relating to the video signal can be reduced. Therefore, the operability and the safe control system 1 can be realized.
[0061]
Here, the operation definition information is created (corrected) by the host computer (not shown) of the control system 1 according to the current state of the target system 2 or the level of proficiency of the operator of the control system 1, for example, It is stored in the definition information memory 44 and an overlay database 47 described later, and the HMI processing unit 45 operates based on the operation definition information. Therefore, the programmable display 4 can display the operation screen according to the present condition of the target system 2 to be controlled and the proficiency level of the operator of the control system 1 by changing the operation definition information, and can accept the operation. . Further, as described above, since the operation definition information can be specified by a combination of the input / display range and the control operation of the related device, rather than creating a new program for controlling or displaying the device. Can be created / modified with little effort.
[0062]
In the above description, the case where the stop of the device 21α is set as an example of the control operation has been described. However, the present invention is not limited to this. For example, an operation such as an instruction to switch to a unit screen for displaying in detail the state of a device related to a video may be used. If the operation is related to the video displayed in the overlay area, substantially the same effect can be obtained. However, the operation stop operation is highly urgent and requires a quick operation. In addition, the judgment standard and judgment method when the operator judges abnormality from the video are different from the standard and method used when the PLC 3, the programmable display 4 or the computer 6 judges abnormality based on the detection result of the sensor or the like. ing. Therefore, the safety of the control system 1 can be improved by reducing the number of operations when the operator performs an operation stop operation based on the video.
[0063]
For example, when the appearance of the device is displayed, the operator can detect anomalies based on the presence or absence of ignition or smoke, etc., so that after the fire is ignited from a location where no sensor is installed, the fire location spreads and the sensor detects the ignition Before firing, the fired device can be deactivated. It is also possible to find a person in the vicinity of the device before the sensor detects it, and stop the device.
[0064]
Further, when the output video of the computer 6 is displayed, for example, whether or not the computer 6 is out of control by checking whether or not the area to be constantly updated in the video is updated. And the operation of the device managed by the computer 6 can be stopped. Therefore, even when the computer 6 stops functioning without giving a warning, the device can be stopped before the computer 6 erroneously controls the device to be managed.
[0065]
Further, among the control operations set as the operation definition information, other suitable operations include, for example, an operation of switching to a screen that displays a device state relating to the video. Such a switching operation is frequently performed when the operator feels suspicious in the video. Therefore, the operability of the programmable display 4 can be improved by reducing the number of times of the switching operation.
[0066]
By the way, as shown in FIG. 2, the programmable display 4 according to the present embodiment is configured such that, for example, the overlay areas Wα and Wβ overlap in a state where a plurality of overlay areas are overlapped with each other. If the operator operates the location that is being operated, for example, by referring to the setting of the relative input tag and video window tag described above or the system setting, it is determined that the operation is for each input area, or the frontmost Select whether to determine that the operation is only for the input area of the overlay area.
[0067]
For example, when it is set to be regarded as an operation to the foreground, the region determination unit 48 transmits only the foreground overlay region to the relative coordinate conversion unit 49 among the overlay regions to which the input position belongs, The coordinate conversion unit 49 converts the input position into relative coordinates in the overlay area. Therefore, in the state of FIG. 2, since the overlay region Wα is the foreground among the overlay regions to which the point P4 belongs, only the input region Aα4 is valid, and the HMI processing unit 45 stops the operation of the device 21α. In the state of FIG. 5, since the overlay area Wβ is the foreground, only the input area Aβ4 is valid, and the HMI processing unit 45 stops the operation of the device 21β. In the case of this setting, only the operation on the foreground overlay area is effective, so that an operator's operation error due to, for example, a recognition error of a hidden overlay area can be suppressed.
[0068]
On the contrary, when it is set to determine the input operation to each, the area determination unit 48 transmits all the overlay areas to which the input position belongs to the relative coordinate conversion unit 49, and the relative coordinate conversion is performed. The part 49 converts the relative coordinates in each overlay area. In response to this, the HMI processing unit 45 refers to the overlay database 47 and determines whether or not each combination of relative coordinates and overlay areas is included in the input area of each overlay area. The corresponding control operation is performed for all the input areas that are determined to be. Therefore, in any case of FIG. 2 and FIG. 5, when the point P4 is operated, the programmable display 4 stops the operation of both the devices 21α and 21β. As a result, both the devices 21α and 21β can be stopped with a smaller number of operations than when only the forefront is enabled.
[0069]
Incidentally, the programmable display 4 according to the present embodiment is provided with a PC interface 50 for communicating with the computer 6, such as an RS232 interface, in addition to the above-described components. Can operate as a device.
[0070]
Specifically, in the programmable display device 4 according to the present embodiment, for example, the operation of transmitting the operated coordinates to the computer 6γ by a method such as setting as a parameter of the relative input tag is controlled with respect to the input region of the overlay region. Can be set as an action. Further, the connection destination of the video input terminals Tα to Tγ and the PC interface 50, the overlay area, and the video input so that the computer 6 that transmits the coordinates and the computer 6 that outputs the video signal displayed in the overlay area are the same. The correspondence with the terminals Tα to Tγ is selected. Note that the input range is set as necessary. For example, when there is a possibility that the entire overlay area may be operated, such as when the pointing device of the computer 6γ is completely replaced, the entire overlay area is input. Set as a range.
[0071]
For example, in the example of FIG. 1, the video signal from the computer 6γ is set to be displayed in the overlay area Wγ, and the PC interface 50 is connected to the computer 6γ. The computer 6γ corresponds to the computer that outputs the video signal described in the claims, and the PC interface 50 is controlled together with the HMI processing unit 45, the region determination unit 48, and the relative coordinate conversion unit 49. Corresponds to the means.
[0072]
In this state, as shown in FIG. 7, when the point P5 in the overlay area Wγ of the touch panel 42 is pressed, the relative coordinate conversion unit 49 transmits the relative coordinates (x, y) of the point P5 to the HMI processing unit 45. . Further, the HMI processing unit 45 converts the relative coordinates (x, y) into a coordinate format used when the computer 6γ accepts an input from the pointing device, and is a protocol for accepting an input from the pointing device. The PC interface 50 is instructed to transmit the coordinates (X, Y). Thus, for example, the same instruction as when a pointing device such as a mouse presses a position corresponding to the point P5 is input to the computer 6γ. As a result, the programmable display 4 can be used as the pointing device of the computer 6 without specially preparing a pointing device such as a mouse.
[0073]
Here, in a computer that is connected to the programmable display 4 and performs only data processing in the vicinity of the target system 2, a period during which an operation with a pointing device is required is limited to, for example, maintenance, The pointing device is often not connected. On the other hand, the space that can be used is limited in the vicinity of the target system 2, and it is desirable that devices that are not important and devices that can be replaced should not be provided near the target system 2 as much as possible. Therefore, conventionally, when it is necessary to operate such a computer, the pointing device is taken out from a storage location provided at a location away from the target system 2 and connected to the computer. The pointing device is removed again and stored in the storage location.
[0074]
However, in the configuration of the present embodiment, the programmable display device 4 can be used as such a pointing device for a computer, so that it is possible to greatly reduce the trouble of operating the computer.
[0075]
Here, the configuration for operating as a pointing device of the computer 6 is substantially the same as the configuration for operating the overlay area, and there are slight operations such as the PC interface 50 and the operation that the HMI processing unit 45 instructs the PC interface 50. Only the configuration is different. Furthermore, the programmable display 4 is often provided with a PC interface 50 in order to read operation definition information from a maintenance computer, for example, during maintenance. Therefore, most parts can be shared, and it can operate as a pointing device without adding a surplus structure.
[0076]
In this embodiment, when determining whether or not the input position is within the input range of the overlay area, the input position is converted into relative coordinates and then compared with the input range stored in relative coordinates. However, it is not limited to this. For example, the input range set in relative coordinates is converted into absolute coordinates on the touch panel 42 and stored, and whenever the range of the overlay area is changed, the stored input range is updated and specified in absolute coordinates. The input position may be compared with the input range. Regardless of the determination method, if the input range of the overlay area can be set relative to the overlay area, the same effect as in the present embodiment can be obtained.
[0077]
In this embodiment, the case where the combination of the overlay area and the input range is set by the relative input tag is described as an example. However, the combination of the channel and the input range is set, and the video signal of the same channel is displayed as an overlay. The setting of the input range may be shared between the overlay areas. In any case, if the input range can be set relative to the overlay area for displaying the video signal, the same effect as in the present embodiment can be obtained.
[0078]
In each of the members 41 to 50, a calculation unit such as a CPU executes a program stored in a storage unit such as a ROM or a RAM, and an input / output unit such as a touch panel or a liquid crystal display device, or a communication circuit or video. It is a functional block realized by controlling an interface circuit such as an input circuit. Therefore, the computer having these means (circuits) implements the programmable display 4 according to the present embodiment by simply reading a recording medium (for example, CD-ROM) on which the program is recorded and executing the program. it can. For example, if a program for downloading a program via a serial cable, a network such as the Internet, or another communication path is installed in the computer in advance, the computer via the communication path is used. It is also possible to distribute the above program.
[0079]
【The invention's effect】
The control display device according to the present invention is as described above. Display and touch panel arranged on display screen of the display And storage means for storing action definition information for specifying an action at the time of display or control, and acquiring the state of the control target based on the action definition information stored in the storage means. Above display And display Touch panel input Control means for controlling the state of the controlled object according to Above display An overlay display means for displaying the video signal input from the outside in a predetermined overlay area in the display screen in preference to the display by the control means. Touch panel input An overlay control means for instructing the overlay display means to change the range of the overlay area according to the input area, and the storage means stores an input area relatively designated in the overlay area and the input area to the input area. Support touch panel input The operation definition information for input indicating a combination with the control operation can be stored, and the control means stores the input operation definition information in the overlay area when the input action definition information is stored in the storage means. User's Touch panel input In response to the control operation specified by the input operation definition information.
[0080]
A recording medium according to a sixth aspect of the invention is a program for causing a computer having the display means, the operating means, and the overlay display means according to the first aspect to operate as the storage means, the control means, and the overlay control means according to the first aspect. When the program is read from the recording medium and executed by the computer, the computer operates as the control display device according to claim 1.
[0081]
According to each of the above configurations, since the input area of the input action definition information is specified relative to the overlay area, the control display device can change the position of the input area in accordance with the change in the position and size of the overlay area. The control according to the input operation to the input area in the overlay area can be performed while changing the size. As a result, an input area for receiving a control instruction from the operator to the control target can be flexibly arranged, so that the number of operations when inputting a control instruction regarding the video signal can be reduced, and a operability and a safe control system can be realized. There is an effect.
[0082]
As described above, in the control display device according to the invention of claim 2, in the configuration of the invention of claim 1, the overlay display means uses a plurality of input video signals for each of them. It can be displayed in the provided overlay area, and the storage means can store data indicating the correspondence between the operation definition information for input and the overlay area, and the control means, when the overlay area is operated, The control operation is performed based on only the operation definition information for input corresponding to the overlay area with reference to the data.
[0083]
Therefore, despite the fact that a plurality of video signals can be displayed simultaneously on the display screen of the control display device and the contents of each can be simultaneously notified to the operator, the control display device can operate each overlay area. There is an effect that a control operation according to an operation on each input area can be executed without being confused.
[0084]
As described above, in the control display device according to the third aspect of the present invention, in the configuration of the second aspect of the invention, the control means operates the area over which a plurality of overlay areas overlap by the operation means. Is received, the control operation is performed based only on the input operation definition information corresponding to the uppermost overlay area.
[0085]
According to the above configuration, the control means performs the operation on the overlapped area as the operation on the input area of the uppermost overlay area, regardless of whether another overlay area is hidden under a certain overlay area. to decide. Therefore, there is an effect that it is possible to suppress an operator's operation error caused by a recognition error of a hidden overlay area.
[0086]
As described above, in the control display device according to the invention of claim 4, in the configuration of the invention of claim 2, the control means operates the area over which a plurality of overlay areas overlap by the operation means. Is received, the control operation is performed based on the input operation definition information corresponding to the overlay areas that overlap each other.
[0087]
According to the above configuration, the control unit determines that the operation to the overlapping area is the operation to the input area of each overlapping overlapping area, so that the input area of each overlay area can be collectively operated. . As a result, it is possible to operate the input areas of the plurality of overlay areas with a smaller number of operations, and it is possible to realize a control display device that can respond more quickly in an emergency, for example.
[0088]
As described above, in the control display device according to the fifth aspect of the present invention, in the configuration of the first aspect of the invention, the storage unit displays the control operation in the overlay area as the input operation definition information. Computer connection operation definition information that is an operation for notifying the computer that has output the video signal that the coordinates in the overlay area have been operated can be stored, and the control means can store the computer connection operation definition information as described above. When stored in the storage means, the coordinates are notified to the computer in response to an input to the overlay area.
[0089]
In this configuration, when the overlay area for displaying the video signal from the computer is operated, the control means notifies the computer that the input coordinates in the overlay area have been operated. Accordingly, there is an effect that the control display device can be used as the display and input device of the computer without preparing other input means such as a keyboard and a mouse.
[Brief description of the drawings]
FIG. 1, showing an embodiment of the present invention, is a block diagram showing a main configuration of a control system.
FIG. 2 shows an example of a display screen by a programmable display of the control system, and is an explanatory diagram showing a case where overlay areas overlap each other.
FIG. 3 is a diagram illustrating an example of a display screen of the programmable display device, illustrating a case where an overlay area is moved.
FIG. 4 is a diagram illustrating a display screen example of the programmable display device, and is an explanatory diagram illustrating a case where the size of an overlay area is changed and moved.
FIG. 5 is a diagram illustrating an example of a display screen of the programmable display device, and is an explanatory diagram illustrating a case where an overlap order of overlay areas is changed.
FIG. 6 is an explanatory diagram showing an example of a data structure stored in an overlay database of the programmable display.
FIG. 7 is an explanatory diagram showing a display example when an image from a computer is displayed on the programmable display and operates as an input device of the computer.
FIG. 8 is a block diagram illustrating a conventional technique and illustrating a configuration of a main part of a control system.
FIG. 9 is an explanatory diagram showing an example of a display screen by a programmable display of the control system.
[Explanation of symbols]
4 Programmable display (display device for control)
6γ computer
21 devices (control target)
41 Display (display means)
42 Touch panel (operation means)
44 Action definition information memory (storage means)
46 Overlay circuit (overlay display means)
45 HMI processing unit (control means, overlay control means)
47 Overlay database (storage means)
48 Area determination unit (control means)
49 Relative coordinate converter (control means)
50 PC interface (control means)
Wα to Wγ overlay area

Claims (6)

ディスプレイと、該ディスプレイの表示画面上に配されたタッチパネルと、表示または制御する際の動作を特定する動作定義情報を格納する記憶手段と、当該記憶手段に格納された動作定義情報に基づき制御対象の状態を取得して上記ディスプレイへ表示するとともにタッチパネル入力に応じて制御対象の状態を制御する制御手段と、上記ディスプレイの表示画面中の予め定められるオーバーレイ領域に外部から入力される映像信号を上記制御手段による表示よりも優先してオーバーレイ表示するオーバーレイ表示手段と、を有する制御用表示装置であって、
ユーザのタッチパネル入力に応じてオーバーレイ領域の範囲変更を上記オーバーレイ表示手段へ指示するオーバーレイ制御手段を備え、
上記記憶手段には、オーバーレイ領域内において相対的に指定される入力領域と該入力領域へのタッチパネル入力に対応する制御動作との組み合わせを示す入力用動作定義情報が格納可能であり、
上記制御手段は、上記記憶手段に上記入力用動作定義情報が格納されている場合に、オーバーレイ領域内の上記入力領域へのユーザのタッチパネル入力に応答して上記入力用動作定義情報で指定される制御動作を行うことを特徴とする制御用表示装置。 A display, a touch panel arranged on the display screen of the display, storage means for storing operation definition information for specifying an operation at the time of display or control, and a control target based on the operation definition information stored in the storage means said control means, a video signal input from the outside in advance defined overlay area in the display screen of the display to obtain the state controls the state of the controlled object in response to touch panel input and displays the above display An overlay display means for displaying an overlay in preference to the display by the control means,
Overlay control means for instructing the overlay display means to change the range of the overlay area in response to a user touch panel input ,
The storage means can store input operation definition information indicating a combination of an input area relatively specified in the overlay area and a control operation corresponding to a touch panel input to the input area.
The control means is designated by the input action definition information in response to a user's touch panel input to the input area in the overlay area when the input action definition information is stored in the storage means. A control display device that performs a control operation. 上記オーバーレイ表示手段は、複数入力される映像信号のうちのいくつかを、それぞれ用に設けたオーバーレイ領域に表示でき、上記記憶手段には、上記入力用動作定義情報とオーバーレイ領域との対応を示すデータが格納可能であり、上記制御手段は、上記オーバーレイ領域が操作された場合、上記データを参照して、当該オーバーレイ領域に対応する入力用動作定義情報のみに基づいて制御動作することを特徴とする請求項１記載の制御用表示装置。  The overlay display means can display some of a plurality of input video signals in an overlay area provided for each, and the storage means shows correspondence between the input operation definition information and the overlay area. Data can be stored, and when the overlay area is operated, the control means refers to the data and performs a control operation based only on the operation definition information for input corresponding to the overlay area. The display device for control according to claim 1. 上記オーバーレイ制御手段は、複数のオーバーレイ領域を互いにオーバーラップして表示するように、上記オーバーレイ表示手段を制御可能であり、上記制御手段は、上記操作手段によって、複数のオーバーレイ領域がオーバーラップする領域への操作が受け付けられた場合、最も上のオーバーレイ領域に対応する入力用動作定義情報のみに基づいて制御動作することを特徴とする請求項２記載の制御用表示装置。  The overlay control means can control the overlay display means so that a plurality of overlay areas are displayed overlapping each other, and the control means is an area in which a plurality of overlay areas are overlapped by the operation means. 3. The control display device according to claim 2, wherein, when an operation on is performed, the control operation is performed based only on the input operation definition information corresponding to the uppermost overlay region. 上記オーバーレイ制御手段は、複数のオーバーレイ領域を互いにオーバーラップして表示するように、上記オーバーレイ表示手段を制御可能であり、上記制御手段は、上記操作手段によって、複数のオーバーレイ領域がオーバーラップする領域への操作が受け付けられた場合、互いにオーバーラップする各オーバーレイ領域に対応する入力用動作定義情報に基づいて制御動作することを特徴とする請求項２記載の制御用表示装置。  The overlay control means can control the overlay display means so that a plurality of overlay areas are displayed overlapping each other, and the control means is an area in which a plurality of overlay areas are overlapped by the operation means. 3. The control display device according to claim 2, wherein, when an operation on is performed, a control operation is performed based on input operation definition information corresponding to each overlay region overlapping each other. 上記記憶手段には、上記入力用動作定義情報として、制御動作がオーバーレイ領域に表示される映像信号を出力したコンピュータへ、オーバーレイ領域における座標が操作されたことを通知する動作であるコンピュータ接続用動作定義情報が格納可能であり、上記制御手段は、上記コンピュータ接続用動作定義情報が上記記憶手段に格納されている場合、上記オーバーレイ領域への入力に応じて、上記コンピュータへ上記座標を通知することを特徴とする請求項１記載の制御用表示装置。  A computer connection operation, which is an operation for notifying that the coordinates in the overlay area have been operated to the computer that has output the video signal displayed in the overlay area as the operation definition information for input to the storage means Definition information can be stored, and when the computer connection operation definition information is stored in the storage means, the control means notifies the computer of the coordinates in response to an input to the overlay area. The control display device according to claim 1. ディスプレイと該ディスプレイの表示画面上に配されたタッチパネルとを有するコンピュータを制御用表示装置として動作させるプログラムが記録された記録媒体であって、
表示または制御する際の動作を特定する動作定義情報を格納する記憶手段、該記憶手段に格納された動作定義情報に基づいて制御対象の状態を取得して上記ディスプレイへ表示するとともにタッチパネル入力に応じて制御対象の状態を制御する制御手段、上記ディスプレイの表示画面中の予め定められるオーバーレイ領域に外部から入力される映像信号を上記制御手段による表示よりも優先してオーバーレイ表示するオーバーレイ表示手段、およびタッチパネル入力に応じてオーバーレイ領域の範囲変更を上記オーバーレイ表示手段へ指示するオーバーレイ制御手段として上記コンピュータを動作させるプログラムが記録され、かつ、
上記制御手段として上記コンピュータを動作させるプログラムは、オーバーレイ領域内において相対的に指定される入力領域と該入力領域へのタッチパネル入力に対応する制御動作との組み合わせを示す入力用動作定義情報が上記記憶手段に格納されている場合に、オーバーレイ領域内の上記入力領域へのユーザのタッチパネル入力に応答して上記入力用動作定義情報で指定される制御動作を行うプログラムを含んでいることを特徴とする記録媒体。A recording medium on which a program for operating a computer having a display and a touch panel arranged on a display screen of the display as a control display device is recorded,
Storage means for storing action definition information for specifying an action when displaying or controlling, acquiring a state of a control target based on the action definition information stored in the storage means, displaying the state on the display , and responding to touch panel input control means for controlling the state of the control object Te, overlay display means for preferentially overlaid than the display by the control unit an image signal input from the outside in advance defined overlay area on the display screen of the display, and A program for operating the computer as an overlay control means for instructing the overlay display means to change the range of the overlay area in response to touch panel input , and
The program for operating the computer as control means, input operation definition information indicating a combination of the control operation corresponding to the touch panel input to the input region and the input region to be relatively designated the storage in the overlay area And a program for performing a control operation specified by the input operation definition information in response to a user touch panel input to the input area in the overlay area when stored in the means. recoding media.
JP2000333746A 2000-10-31 2000-10-31 Control display device and recording medium on which program is recorded Expired - Lifetime JP3798238B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000333746A JP3798238B2 (en) 2000-10-31 2000-10-31 Control display device and recording medium on which program is recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000333746A JP3798238B2 (en) 2000-10-31 2000-10-31 Control display device and recording medium on which program is recorded

Publications (2)

Publication Number Publication Date
JP2002140104A JP2002140104A (en) 2002-05-17
JP3798238B2 true JP3798238B2 (en) 2006-07-19

Family

ID=18809776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000333746A Expired - Lifetime JP3798238B2 (en) 2000-10-31 2000-10-31 Control display device and recording medium on which program is recorded

Country Status (1)

Country Link
JP (1) JP3798238B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233459A (en) * 2006-02-27 2007-09-13 Mitsubishi Electric Corp Programmable display unit
JP6003579B2 (en) * 2012-11-26 2016-10-05 株式会社デンソー Image generation apparatus and image generation program

Also Published As

Publication number Publication date
JP2002140104A (en) 2002-05-17

Similar Documents

Publication Publication Date Title
US10373356B2 (en) Presentation system and display apparatus for use in the presentation system
JPH08223561A (en) Method and device for controlling camera by the use of monitor area diagram
US11747802B2 (en) Ruggedized remote control display management system for harsh and safety-critical environments
US20230197034A1 (en) Ruggedized remote control display latency and loss of signal detection for harsh and safety-critical environments
US10530945B2 (en) Display device and display system
JP3798238B2 (en) Control display device and recording medium on which program is recorded
JPH0498465A (en) Panning control device
JP2899174B2 (en) Monitoring device
JP2004005639A (en) Monitoring device
JP6362233B1 (en) Information display system, display device and program for building equipment
JP2000149168A (en) Display system for fire alarm system and receiver
JPH08123711A (en) Information processor with maintenance guidance function
JP5075061B2 (en) Information processing apparatus, information processing apparatus control method, computer program, and storage medium
JP2004177614A (en) Multi-screen display device
JP2008070512A (en) Image display device
JPH08161031A (en) Monitor and control system
JP6666236B2 (en) Display user interface device
JPH11212632A (en) Supervisory control system
JP2014171054A (en) Display device, monitor system with display device, and display control program
JP3263008B2 (en) Disaster prevention display device
JP3281576B2 (en) Disaster prevention display device
JPH06251082A (en) Hypermedia system
JP6626538B2 (en) Information processing apparatus and control method therefor
US20240126416A1 (en) Operating system, processing system, computer, operating method, and storage medium
US20220281115A1 (en) Screen image transition information generation device, screen image transition information generation method, screen image transition information generation program, and screen image transition information generation system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050909

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060419

R150 Certificate of patent or registration of utility model

Ref document number: 3798238

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term