JP6552775B1 - ハイブリッドレンダリングhmi端末装置 - Google Patents

ハイブリッドレンダリングhmi端末装置 Download PDF

Info

Publication number
JP6552775B1
JP6552775B1 JP2019518317A JP2019518317A JP6552775B1 JP 6552775 B1 JP6552775 B1 JP 6552775B1 JP 2019518317 A JP2019518317 A JP 2019518317A JP 2019518317 A JP2019518317 A JP 2019518317A JP 6552775 B1 JP6552775 B1 JP 6552775B1
Authority
JP
Japan
Prior art keywords
rendering
data
hmi
svg
webgl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019518317A
Other languages
English (en)
Other versions
JPWO2020090028A1 (ja
Inventor
藤枝 宏之
宏之 藤枝
伸夫 清水
伸夫 清水
章 野島
章 野島
恭平 三宅
恭平 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Mitsubishi Electric Industrial Systems Corp
Original Assignee
Toshiba Corp
Toshiba Mitsubishi Electric Industrial Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Mitsubishi Electric Industrial Systems Corp filed Critical Toshiba Corp
Application granted granted Critical
Publication of JP6552775B1 publication Critical patent/JP6552775B1/ja
Publication of JPWO2020090028A1 publication Critical patent/JPWO2020090028A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/058Safety, monitoring
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/10Plc systems
    • G05B2219/13Plc programming
    • G05B2219/13144GUI graphical user interface, icon, function bloc editor, OI operator interface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/10Plc systems
    • G05B2219/14Plc safety
    • G05B2219/14006Safety, monitoring in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/06Use of more than one graphics processor to process data before displaying to one or more screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Abstract

ハイブリッドレンダリングHMI端末装置(32)は、Webブラウザ(321)、HMI Webランタイム(322)を備える。Webブラウザ(321)は、監視対象装置(7)の状態を表す第1パーツおよび第2パーツが配置されたHMI画面を表示する。WebGLレンダリング処理部(322i)は、監視対象装置(7)からの信号データがアナログ数値データである場合に、当該信号データに関連付いた前記第1パーツをWebGLレンダリングにより描画する。SVGレンダリング処理部(322h)は、監視対象装置(7)からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連付いた前記第2パーツをSVGレンダリングにより描画する。

Description

本発明は、Webブラウザ上でSCADA HMIが動作するハイブリッドレンダリングHMI端末装置に関する。
SCADA(Supervisory Control And Data Acquisition)は、社会インフラシステムを監視制御する仕組みとして知られている。社会インフラシステムは、鉄鋼圧延システム、電力送変電システム、上下水道処理システム、ビル管理システム、道路システムなどである。
SCADAは、産業制御システムの一種であり、コンピュータによるシステム監視とプロセス制御を行う。SCADAでは、システムの処理性能に合わせた即応性(リアルタイム性)が必要である。
SCADAは一般に次のようなサブシステムから構成される。
(1)HMI(Human Machine Interface)
HMIは、対象プロセス(監視対象装置)のデータをオペレータに提示し、オペレータがプロセスを監視し制御できるようにする機構である。例えば特許文献1には、SCADAクライアント上で動作するHMI画面を備えるSCADA HMIが開示されている。
(2)監視制御システム
監視制御システムは、プロセス上の信号データを収集し、プロセスに対して制御コマンドを送る。PLC(Programable Logic Controller)などによって構成される。
(3)遠方入出力装置(Remote Input Output :RIO)
遠方入出力装置は、プロセス内に設置されたセンサと接続し、センサの信号をデジタルのデータに変換し、そのデジタルデータを監視制御システムに送る。
(4)通信基盤
通信基盤は、監視制御システムと遠方入出力装置を接続する。
日本特開2017−27211号公報
Webブラウザ上でHMI画面を動作させるSCADA HMIを構築する場合、HMI画面は、SVG形式の図面が、Webブラウザが管理するDOMに読み込まれて表示される。HMI画面上のパーツの色変えのためにDOM内のsvgエレメントの変更を行った場合、Webブラウザはその変更を検知して、HMI画面を更新する。このようなSVGレンダリングの描画性能は低速であり、DOM GC(Garbage Collection)が発生しやすく、その際には表示遅延が発生する。
ところで、SCADAが監視対象とする装置は、高速に動作、変化している場合がある。そうしたシステムのSCADA HMIでは、監視対象装置からの信号データを高速に表示する必要がある。しかし、上述したSVGレンダリング方式では、この要求に応えられない。
本発明は、上述のような課題を解決するためになされたもので、Webブラウザ上で動作するHMI画面を遅延なく表示できるハイブリッドレンダリングHMI端末装置を提供することを目的とする。
上記目的の達成のため、本発明に係るハイブリッドレンダリングHMI端末装置は以下のように構成される。
本発明に係るハイブリッドレンダリングHMI端末装置は、Webブラウザと、WebGL(Web Graphics Library)レンダリング処理部と、SVGレンダリング処理部と、を備える。
Webブラウザは、監視対象装置の状態を表す第1パーツおよび第2パーツが配置されたHMI画面を表示する。第1パーツはアナログ数値データを表示するパーツである。第2パーツはアナログ数値データ以外のデータを表示するパーツである。
WebGLレンダリング処理部は、監視対象装置からの信号データがアナログ数値データである場合に、当該信号データに関連付いた第1パーツをWebGLレンダリングにより描画する。好ましくは、WebGLレンダリングは、offcanvas領域(メインメモリ領域)に数値データの文字列表現に必要なフォントを予め描画する。そして、WebGLのテクスチャマッピング機能を用いて、offcanvas領域(前記メインメモリ領域)からアナログ数値データを表現する文字列をcanvas領域(GPUメモリ領域)に転送することにより第1パーツを描画する。
SVGレンダリング処理部は、監視対象装置からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連付いた第2パーツをSVGレンダリングにより描画する。SVGレンダリングは、Webブラウザが管理するDOM内のsvgエレメントを更新することにより第2パーツを描画する。
本発明によれば、高い描画性能を発揮するWebGLレンダリングと、HMIの開発コスト軽減に寄与するSVGレンダリングとのハイブリッドレンダリング方式を採用することで、Webブラウザ上で動作するHMI画面を遅延なく表示すると共に、SCADA HMIの効率的に開発することができる。
SCADAのシステム構成を示す図である。 SVGレンダリングとWebGLレンダリングの表示方式を比較した図である。 ハイブリッドレンダリング方式のHMI端末装置の概要を説明するための図である。 HMI端末装置のWebブラウザ上で動作するHMI Webランタイムの構成について説明するための図である。 WebGLレンダリング処理部におけるフォント属性の管理について説明するための図である。 SCADA Web HMIシステムが有するハードウェア構成例を示すブロック図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。但し、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数にこの発明が限定されるものではない。また、以下に示す実施の形態において説明する構造等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。尚、各図において共通する要素には、同一の符号を付して重複する説明を省略する。
実施の形態1.
<全体システム>
図1は、SCADAのシステム構成を示す図である。SCADAは、HMI3、監視制御システム4、通信基盤5、RIO6をサブシステムとして備え、監視対象装置7に接続する。本明細書では、SCADA HMI 実行環境であるHMI3と、SCADA HMI 開発環境である図面作成装置1とを含めてSCADA Web HMIシステムと称する。
監視制御システム4、通信基盤5、RIO6に関する説明は、背景技術で述べた通りであるため省略する。監視対象装置7は、監視制御対象のプラントを構成するセンサ、アクチュエータなどである。
図面作成装置1は、図面エディタ11を備える。開発環境である図面作成装置1は、図面エディタ11によりHMI図面データ2を生成する。HMI図面データ2は、ベクターデータであるSVG(Scalable Vector Graphics)データ21と、パーツランタイム属性データ22を含む。
HMI3(HMIサブシステム)は、HMIサーバ装置31と、HMI端末装置32とを備える。実行環境であるHMI3は、HMI図面データ2を読み込んでWebブラウザ321上で動作するHMI Webランタイム322(Webアプリケーション)と、HMI Serverランタイム311とが協調し、HMIサブシステムとして動作する。
<図面作成装置>
図面作成装置1が備える図面エディタ11は、高度な図面編集機能と、図面データをSVG形式で保存できる機能を有する。図面エディタ11は、一例として、Microsoft Visio(登録商標)である。
図面作成装置1上で動作する図面エディタ11は、製図部12と、パーツランタイム属性生成部13と、HMI図面データ出力部14とを備える。
製図部12は、ディスプレイ1c(図6)上に、図面を作成するために必要なパーツのプロトタイプが配列されたステンシルエリアと、図面が描かれる製図エリアとを並べて表示する。また、製図部12は、入出力インタフェース1d(図6)を用いて、開発者に選択されたステンシルエリア上のパーツを、製図エリアの図面上に配置可能である。
パーツの種類には、例えば、DI(Digital Input)信号パーツ、AI(Analog Input)信号パーツ、DO(Digital Output)信号パーツ、AO(Analog Output)信号パーツなどがある。
製図エリアの図面上の任意の位置に配置されたパーツは、色、形、位置、大きさなどの静的表示属性を有する。
パーツランタイム属性生成部13は、製図エリアの図面上にパーツが配置されたときに、当該パーツに固有の、パーツランタイム属性データを自動生成する。具体的には、パーツランタイム属性生成部13は、パーツが配置されたときに、当該パーツと監視対象装置7とを関連付ける固有の信号名称(アイテム)と、監視対象装置7からの信号データの変化に応じた当該パーツの動的な表示内容と、を関連付けたパーツランタイム属性データを自動生成する。固有の信号名称は、画面ID、画面内のデバイス番号、パーツ種別を組み合わせて生成される。各パーツは、固有の信号名称を介して信号データや制御コマンドと関連付けられる。
例えば、パーツランタイム属性生成部13は、DI信号パーツが配置されたときに、当該パーツと監視対象装置7とを関連付ける固有のデジタル信号名称と、監視対象装置7からの信号データの値がOFFに変化した場合の当該パーツの表示色(色コード)と、を関連付けたパーツランタイム属性データを自動生成する。
また、パーツランタイム属性生成部13は、AI信号パーツが配置されたときに、当該パーツと監視対象装置7とを関連付ける固有のアナログ信号名称と、監視対象装置7からの信号データの値を表示するための表示形態(例えば「9999.99」)と、を関連付けたパーツランタイム属性データを自動生成する。
HMI画面の監視制御機能を発揮させるために図面上の各パーツについて生成されたパーツランタイム属性データは、HMIサブシステムの実行時に読み込まれる。
HMI図面データ出力部14は、製図エリアに描かれたパーツが配置された図面のSVGデータ21と、パーツランタイム属性データ22とを含むHMI図面データ2を出力する。SVGデータ21は、svgエレメントの属性として、配置されたパーツの静的表示属性(色、形、位置、大きさ)を含む。
<ハイブリッドレンダリング方式のHMI端末装置>
HMI端末装置32は、Webブラウザ321と、HMI Webランタイム322と、DOM(Document Object Model)323を予め備える。
Webブラウザ321は、少なくとも1つのSVGデータ21を読み込んでHMI画面を表示する。HMI画面は、ベクターデータで定義された図面を複数組み合わせて構成されている。SVG形式の図面(SVGデータ21)は、HMI Webランタイム322によってWebブラウザ321が管理するDOM(Document Object Model)323に読み込まれ、描画される。
図2は、SVGレンダリングとWebGLレンダリングの表示方式を比較した図である。HMI Webランタイム322が、HMI画面上のパーツの色変えのためにDOM323内のsvgエレメントの変更(例えば、色属性の色コードを変更)を行った場合、Webブラウザ321はその変更を検知して、HMI画面を更新する。このようなSVGレンダリングは、DOM内の情報量の増加に伴い描画性能が低下し、また、DOM GC(Garbage Collection)が発生しやすく、その際には表示遅延が発生する。
SCADAが監視対象とする監視対象装置7は、高速に動作、変化している場合がある。そのHMIサブシステムでは監視対象装置7が出力した信号の値を高速に表示する必要がある。しかし、上述したSVGレンダリング方式では、この要求に応えられない。
プロセッサ32aの1つであるGPU(Graphics Processing Unit)を直接操作して描画を行うWebGLでは、SVGレンダリング方式に比して高速に描画される。また、DOM GCも発生しない。そのため、WebGLレンダリング方式は、高速な描画が要求される場合に適している。一方で、高度な図面編集機能を持つ図面エディタ11が生成するSVGデータ21は複雑であり、すべてのパーツをWebレンダリングで描画することは難しい(開発コストがかかる)。
そこで、本実施形態のシステムでは、SVGレンダリングとWebGLレンダリングとを適宜使い分けたハイブリッドレンダリング方式を採用する。
図3は、ハイブリッドレンダリング方式のHMI端末装置32の概要を説明するための図である。SCADAシステムで高速に変更する必要があるパーツは、アナログ数値データを表示するAI信号パーツである。電圧や電流などのアナログ数値データは、常に変動しており、そうした変動を画面上にリアルタイムに反映することは重要である。AI信号パーツのみをWebGLレンダリングで描画することは、HMIサブシステムの要求仕様に合致している。
そこで、本実施形態では、AI信号パーツの表示更新に際しては、WebGLレンダリング方式で、DOM323のcanvasエレメント323bを用いてAI信号パーツを描画する。一方、AI信号パーツ以外のパーツの表示更新に際しては、SVGレンダリング方式で、DOM323のsvgエレメント323aの属性を更新して、当該パーツを描画する。
図4は、HMI端末装置32のWebブラウザ321上で動作するHMI Webランタイム322の構成について説明するための図である。まず、WebGLレンダリングのための事前処理について説明する。ハイブリッドレンダリングを実現するためにHMI Webランタイムモジュール内のWebGLレンダリング処理部322iが必要となる。
WebGLレンダリング処理部322iは、AI信号パーツの表示を行うために、SVGデータ21内に格納されたAI信号パーツエレメントを使用することもできるが、DOM内に格納された情報をアクセスするのは、性能上好ましくない。そのため、AI信号パーツエレメントに関する情報は、事前にSVGデータ21から削除し、パーツランタイム属性データ22に移しておく。WebGLレンダリング処理部322iは、パーツランタイム属性データ22からAI信号パーツの描画に必要な情報を取得する。
次に、HMI Webランタイム322について説明する。HMI Webランタイム322は、HMI図面データ2を設定パラメータとして読み込んでWebブラウザ321上で動作する。HMI Webランタイム322は、パーツの種類毎に固有の処理内容を予め定めたライブラリであり、読み込んだ設定パラメータに基づいてHMI画面上の1のパーツが特定され、当該パーツの固有の処理を担う。すなわち、同種パーツであっても、各パーツに設定される設定パラメータ(例えば固有の信号名称)は異なるため、各パーツの動作は異なる。
HMI Webランタイム322は、設定パラメータによりパーツと監視対象装置7とを関連付け、監視制御システム4を介して監視対象装置7から固有の信号名称に対応する信号データを受信したときに、HMI画面上で、固有の信号名称に対応するパーツの表示を変化させる。
より詳細には、HMI Webランタイム322は、パーツ固有処理部322a、SVGデータ読込処理部322c、信号データ受信部322d、図面更新部322e、イベント処理部322f、制御コマンド送信部322gを備える。
SVGデータ読込処理部322cは、SVGデータ21を読み込む。パーツ固有処理部322aは、SVGデータ21の静的表示属性をパーツ管理情報322bに含める。パーツ固有処理部322aは、SVGデータ21に含まれるパーツ毎に、これ対応するパーツランタイム属性データ22を読み込み、パーツ管理情報322bに含める。
パーツ固有処理部322aは、パーツの種類毎に固有の処理内容が予め定められたライブラリ(JavaScript(登録商標)プログラム)に、パーツ管理情報322bを設定パラメータとして適用して、HMI画面上の個々のパーツを機能させる。例として、DI信号パーツとAI信号パーツの固有処理について説明する。
DI信号パーツの固有処理は、監視制御システム4を介して監視対象装置7からデジタル信号データを受信し、信号値に応じて、当該パーツの表示色、形を変化させる。ランタイム属性は、デジタル信号名称、信号OFF時の表示色、形である。
AI信号パーツの固有処理は、監視制御システム4を介して監視対象装置7からアナログ信号データ(アナログ数値データ)を受信し、信号値に応じて、データ表示形態の指定に従い、当該パーツに値を表示させる。ランタイム属性は、アナログ信号名称、データの表示形態(「9999.99」など)である。
信号データ受信部322dは、監視対象装置7からの信号データをHMI Serverランタイム311を介して受信する。パーツ固有処理部322aは、パーツ管理情報322bに基づいて受信した信号データに対応するパーツを特定し、図面上のパーツ表示の更新指示を決定する。
例えば、DI信号パーツについては、デジタル信号データの値がOFFである場合にDOM内のsvgエレメントの色属性値をOFF色の色コードに変更する更新指示が出される。AI信号パーツについては、アナログ信号データの値を指定された表示形態で表示する更新指示が出される。更新指示は図面更新部322eへ送信される。
図面更新部322eは、SVGレンダリング処理部322hとWebGLレンダリング処理部322iを備える。
SVGレンダリング処理部322hは、監視対象装置7からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連づいたパーツ(例えばDI信号パーツ)をSVGレンダリングにより描画する。SVGレンダリングは、Webブラウザ321が管理するDOM323内のsvgエレメント323aを更新し、Webブラウザ321がその変更を検知することで当該パーツを描画する。
WebGLレンダリング処理部322iは、監視対象装置7からの信号データがアナログ数値データである場合に、当該信号データに関連付いたAI信号パーツをWebGLレンダリングにより描画する。図5に示すように、WebGLレンダリングは、offcanvas領域(メインメモリ領域)に数値データの文字列表現に必要なフォントを予め描画する。そして、WebGLのテクスチャマッピング(UVマッピング)機能を用いて、offcanvas領域(メインメモリ領域)からアナログ数値データを表現する文字列をcanvas領域(GPUメモリ領域)に転送することにより描画する。これにより、高速な描画が実現できる。
これは、描画するコンテンツが数値データに限られる場合に利用可能である。数値データを表示するためには、0〜9までの数字、小数点、マイナス記号、スペースなど限られたフォントを用意すればよいが、フォントファミリ、フォントサイズ、文字色、背景色などのバリエーションを考慮すると、offcanvas領域に用意するフォント数は多くなる。そこで、WebGLレンダリング処理部322i内で使用しているフォント属性を管理し、未使用のフォント属性のoffcanvasフォントは動的に生成し、使用済みのフォント属性のoffcanvasフォントは再利用する仕組みを実現する。
ハイブリッドレンダリングでのWebGLレンダリングでは、UVマッピングによるメインメモリ上のcontainerの更新と、renderによるGPUメモリ上のview領域の更新という2段階の更新処理を行っている。図5の例では、containerの大きさは、物理スクリーンの大きさに対して、縦、横とも5倍の大きさを確保している。これはHMIでの画面のズーミングを1倍〜5倍まで行う場合である。n倍まで行う場合は、縦方向、横方向ともn倍の大きさを確保する必要がある。これは、ズーミングした場合も含めて表示に必要な全イメージをメモリ上に保持するためである。ズーミングの現在のズームレベルをp(1≦p≦n)とした場合、renderでcontainer上のイメージをCPUメモリ上のview領域に転送する際に、1/pに縮小して転送している。
Web GIS(例えば、Google maps(登録商標))のようなリアルタイム性が必要のないシステムでは、このようにすべてのイメージをメモリ上に保持せずに、ズーミングやパニングが発生した時点で、再描画を行っている。そのため、containerには、物理スクリーンと同じ大きさのメモリだけを確保しておけばいいが、ズーミングやパニング時の再表示で遅延が発生する。
一方、SCADA HMIのようなリアルタイム性が必要なシステムでは、このような遅延は許されないため、container上に全イメージを確保しておき、ズーミングやパニング時には、renderの実行だけで再表示が完了する。UVマッピングにより全テキストデータのフォントイメージをcontainer領域に展開するのに比べると、renderの実行は高速である。container領域をGPUメモリ上に確保する方法もあるが、その場合、GPUメモリ量の大きいハイエンドの高価なグラフィックプロセッサが必要となるため、container領域はメインメモリ上に確保する方が、コストパフォーマンス面で有利となる。
図4に戻りHMI Webランタイム322の説明を続ける。イベント処理部322fは、各パーツに関連するキーボードまたはマウスイベントを検出する。パーツ固有処理部322aは、パーツ管理情報322bに基づき、検出したイベントに対応する制御コマンドを決定する。制御コマンド送信部322gは、HMI Serverランタイム311へ制御コマンドを送信する。
<HMIサーバ装置>
HMI Serverランタイム311は、HMIサーバ装置31上で動作する。HMI Serverランタイム311の処理は以下の通りである。
(1)アプリケーションサーバを内蔵し、Webブラウザ321に対して、HMI Webランタイムコンテンツを供給する。
(2)監視制御システム4と通信し、監視対象装置7からの信号データをHMI Webランタイム322に送信するとともに、HMI Webランタイム322からの制御コマンドを監視制御システム4へ送信する。
以上説明したように、本実施形態のハイブリッドレンダリング方式のHMI端末装置によれば、高速描画が必要な信号データに関して、offcanvas上に、使用するすべてのフォントイメージをキャッシュしたり、メインメモリのcontainer上にズーミングも考慮した全画面イメージを保持したりすることにより、高速描画を実現している。上述したような地図サービスでは、ズーミングレベルや使用されるフォントのサイズ、種類に制限を設けることはできないため、この手法を適用することはできない。しかし、監視制御システムのHMIでは、動作するアプリケーションが特定され、ズーミングレベルや使用されるフォントのサイズ、種類を一定の範囲に限定できるため、この方式が実現可能となる。
<ハードウェア構成例>
SCADA Web HMIシステムの主要部のハードウェア構成について図6を参照して説明する。図6は、SCADA Web HMIシステムが有するハードウェア構成例を示すブロック図である。
図1に示す図面作成装置1の各部は、図面作成装置1が有する機能の一部を示し、各機能は処理回路により実現される。処理回路は、プロセッサ1aと、メモリ1bと、ディスプレイ1cと、入出力インタフェース1dとが接続して構成されている。入出力インタフェース1dは、キーボード、マウス等の入力デバイス、HMI図面データ2をファイル出力可能なデバイスである。プロセッサ1aは、メモリ1bに記憶された各種プログラムを実行することにより、図面作成装置1の各部の機能を実現する。
図1に示すHMI端末装置32の各部は、HMI端末装置32が有する機能の一部を示し、各機能は処理回路により実現される。処理回路は、プロセッサ32aと、メモリ32bと、ディスプレイ32cと、入力インタフェース32dとが接続して構成されている。プロセッサ32aは、CPUとGPUとを備える。メモリ32bは、メインメモリとGPUメモリとを備える。なお、GPUとGPUメモリは、外部スロットに増設されるグラフィックボード上に配置されても良い。入力インタフェース32dは、キーボード、マウス等の入力デバイス、HMI図面データ2を読込可能なデバイスである。また、処理回路は、HMIサーバ装置31と接続し信号データおよび制御コマンドを送受信可能なネットワークデバイス(図示省略)も備える。プロセッサ32aは、メモリ32bに記憶された各種プログラムを実行することにより、HMI端末装置32の各部の機能を実現する。
図1に示すHMIサーバ装置31の各部は、HMIサーバ装置31が有する機能の一部を示し、各機能は処理回路により実現される。処理回路は、プロセッサ31aと、メモリ31bと、ネットワークインタフェース31dとが接続して構成されている。ネットワークインタフェース31dは、監視制御システム4とHMI端末装置32と接続し、信号データおよび制御コマンドを送受信可能なデバイスである。プロセッサ31aは、メモリ31bに記憶された各種プログラムを実行することにより、HMIサーバ装置31の各部の機能を実現する。
以上、本発明の実施の形態について説明したが、本発明は、上記の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
1 図面作成装置
11 図面エディタ
12 製図部
13 パーツランタイム属性生成部
14 HMI図面データ出力部
2 HMI図面データ
21 SVGデータ
22 パーツランタイム属性データ
3 HMI
31 HMIサーバ装置
311 HMI Serverランタイム
32 HMI端末装置
321 Webブラウザ
322 HMI Webランタイム
323 DOM
323a svgエレメント
323b canvasエレメント
4 監視制御システム
5 通信基盤
6 RIO
7 監視対象装置
322a パーツ固有処理部
322b パーツ管理情報
322c SVGデータ読込処理部
322d 信号データ受信部
322e 図面更新部
322f イベント処理部
322g 制御コマンド送信部
322h SVGレンダリング処理部
322i WebGLレンダリング処理部
1a、31a、32a プロセッサ
1b、31b、32b メモリ
1c、32c ディスプレイ
1d 入出力インタフェース
31d ネットワークインタフェース
32d 入力インタフェース

Claims (6)

  1. 監視対象装置に接続するハイブリッドレンダリングHMI端末装置であって、
    前記監視対象装置の状態を表す第1パーツおよび第2パーツが配置されたHMI画面を表示するWebブラウザと、
    前記監視対象装置からの信号データがアナログ数値データである場合に、当該信号データに関連付いた前記第1パーツをWebGLレンダリングにより描画するWebGLレンダリング処理部と、
    前記監視対象装置からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連付いた前記第2パーツをSVGレンダリングにより描画するSVGレンダリング処理部と、
    を備えることを特徴とするハイブリッドレンダリングHMI端末装置。
  2. 前記WebGLレンダリングは、offcanvas領域に数値データの文字列表現に必要なフォントを予め描画し、WebGLのテクスチャマッピング機能を用いて、前記offcanvas領域から前記アナログ数値データを表現する文字列をcanvas領域に転送することにより前記第1パーツを描画し、
    前記SVGレンダリングは、前記Webブラウザが管理するDOM内のsvgエレメントを更新することにより前記第2パーツを描画すること、
    を特徴とする請求項1記載のハイブリッドレンダリングHMI端末装置。
  3. 前記アナログ数値データは、電圧データ若しくは電流データであること、
    を特徴とする請求項1又は2記載のハイブリッドレンダリングHMI端末装置。
  4. 監視対象装置に接続するハイブリッドレンダリングHMI端末装置であって、
    Webブラウザを表示するディスプレイと、
    プログラムを実行するプロセッサと、
    前記プロセッサにより実行されると、
    前記監視対象装置の状態を表す第1パーツおよび第2パーツが配置されたHMI画面を前記Webブラウザに表示し、
    前記監視対象装置からの信号データがアナログ数値データである場合に、当該信号データに関連付いた前記第1パーツをWebGLレンダリングにより描画し、
    前記監視対象装置からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連付いた前記第2パーツをSVGレンダリングにより描画する、
    処理を行うプログラムを記憶するメモリと、
    を備えるハイブリッドレンダリングHMI端末装置。
  5. 前記メモリは、メインメモリとGPUメモリとを備え、
    前記WebGLレンダリングは、前記メインメモリ上の領域に数値データの文字列表現に必要なフォントを予め描画し、WebGLのテクスチャマッピング機能を用いて、前記領域から、前記アナログ数値データを表現する文字列を前記GPUメモリへ転送することにより前記第1パーツを描画し、
    前記SVGレンダリングは、前記メインメモリ上で、前記Webブラウザが管理するDOM内のsvgエレメントを更新することにより、前記第2パーツを描画する、
    請求項4記載のハイブリッドレンダリングHMI端末装置。
  6. 前記アナログ数値データは、電圧データ若しくは電流データであること、
    を特徴とする請求項4又は5記載のハイブリッドレンダリングHMI端末装置。
JP2019518317A 2018-10-31 2018-10-31 ハイブリッドレンダリングhmi端末装置 Active JP6552775B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/040489 WO2020090028A1 (ja) 2018-10-31 2018-10-31 ハイブリッドレンダリングhmi端末装置

Publications (2)

Publication Number Publication Date
JP6552775B1 true JP6552775B1 (ja) 2019-07-31
JPWO2020090028A1 JPWO2020090028A1 (ja) 2021-02-15

Family

ID=67473266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518317A Active JP6552775B1 (ja) 2018-10-31 2018-10-31 ハイブリッドレンダリングhmi端末装置

Country Status (7)

Country Link
US (1) US11644810B2 (ja)
JP (1) JP6552775B1 (ja)
CN (1) CN112166389A (ja)
BR (1) BR112020022492A2 (ja)
PH (1) PH12020552040A1 (ja)
TW (1) TWI682645B (ja)
WO (1) WO2020090028A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022068A (ja) * 2019-07-25 2021-02-18 東芝三菱電機産業システム株式会社 Scadaウェブhmiサーバおよびscadaウェブhmiシステム
WO2021106082A1 (ja) * 2019-11-26 2021-06-03 東芝三菱電機産業システム株式会社 Scadaウェブhmiシステム
JPWO2021245752A1 (ja) * 2020-06-01 2021-12-09
WO2022113168A1 (ja) * 2020-11-24 2022-06-02 東芝三菱電機産業システム株式会社 プラント監視制御システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6956280B2 (ja) * 2018-10-31 2021-11-02 東芝三菱電機産業システム株式会社 SCADA Web HMIシステム
CN113656736A (zh) * 2021-08-19 2021-11-16 上海哔哩哔哩科技有限公司 数据处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012111029A (ja) * 2010-11-19 2012-06-14 Fanuc Robotics America Corp 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925611B1 (en) * 2003-09-25 2011-04-12 Rockwell Automation Technologies, Inc. Graphical user interface
US7899777B2 (en) * 2007-09-27 2011-03-01 Rockwell Automation Technologies, Inc. Web-based visualization mash-ups for industrial automation
RU2524394C2 (ru) * 2009-05-08 2014-07-27 Нокиа Корпорейшн Способ и устройство для конфигурирования представления справочников услуг
JP2012063274A (ja) * 2010-09-16 2012-03-29 Gnss Technologies Inc ナビゲーション信号送信装置および位置情報提供装置
US8817021B1 (en) * 2011-11-11 2014-08-26 Google Inc. System for writing, interpreting, and translating three-dimensional (3D) scenes
CN103678341A (zh) * 2012-09-07 2014-03-26 鸿富锦精密工业(深圳)有限公司 数据库交互系统及方法
US9870545B2 (en) 2013-10-08 2018-01-16 General Electric Company System and method for providing user interface cards
EP3117295A4 (en) * 2014-03-14 2017-10-25 Atronix Engineering, Inc. Zooming user interface for a material handling control system
US10819957B2 (en) * 2015-07-07 2020-10-27 S2 Security, LLC Networked monitor remote
US10070657B1 (en) * 2015-07-14 2018-09-11 Hall Fabrication, Inc. Method and system for controlling a loin puller meat processing machine
JP6477319B2 (ja) 2015-07-17 2019-03-06 東芝三菱電機産業システム株式会社 プラント制御システム
US9665972B2 (en) * 2015-07-28 2017-05-30 Google Inc. System for compositing educational video with interactive, dynamically rendered visual aids
US10769231B2 (en) * 2015-07-30 2020-09-08 Wix.Com Ltd. System integrating a mobile device application creation, editing and distribution system with a website design system
US10019415B1 (en) * 2015-08-28 2018-07-10 Animoto Inc. System and method for consistent cross-platform text layout
US9583140B1 (en) * 2015-10-06 2017-02-28 Bruce Rady Real-time playback of an edited sequence of remote media and three-dimensional assets
US9923993B2 (en) * 2015-11-02 2018-03-20 Rockwell Automation Technologies, Inc. Self-describing diagnostic data for presentation on mobile devices
US10546559B2 (en) * 2015-12-28 2020-01-28 Business Objects Software Limited Multi-layer rendering for visualizations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012111029A (ja) * 2010-11-19 2012-06-14 Fanuc Robotics America Corp 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022068A (ja) * 2019-07-25 2021-02-18 東芝三菱電機産業システム株式会社 Scadaウェブhmiサーバおよびscadaウェブhmiシステム
JP7245741B2 (ja) 2019-07-25 2023-03-24 東芝三菱電機産業システム株式会社 Scadaウェブhmiサーバおよびscadaウェブhmiシステム
WO2021106082A1 (ja) * 2019-11-26 2021-06-03 東芝三菱電機産業システム株式会社 Scadaウェブhmiシステム
TWI746271B (zh) 2019-11-26 2021-11-11 日商東芝三菱電機產業系統股份有限公司 SCADA Web HMI系統
JPWO2021106082A1 (ja) * 2019-11-26 2021-12-09 東芝三菱電機産業システム株式会社 Scadaウェブhmiシステム
JP7131706B2 (ja) 2019-11-26 2022-09-06 東芝三菱電機産業システム株式会社 Scadaウェブhmiシステム
JPWO2021245752A1 (ja) * 2020-06-01 2021-12-09
WO2021245752A1 (ja) * 2020-06-01 2021-12-09 東芝三菱電機産業システム株式会社 Scadaウェブhmiシステムおよびhmiクライアント
JP7148000B2 (ja) 2020-06-01 2022-10-05 東芝三菱電機産業システム株式会社 Scadaウェブhmiシステムおよびhmiクライアント
WO2022113168A1 (ja) * 2020-11-24 2022-06-02 東芝三菱電機産業システム株式会社 プラント監視制御システム
TWI778548B (zh) * 2020-11-24 2022-09-21 日商東芝三菱電機產業系統股份有限公司 工廠監視控制系統
JP7311049B2 (ja) 2020-11-24 2023-07-19 東芝三菱電機産業システム株式会社 プラント監視制御システム

Also Published As

Publication number Publication date
BR112020022492A2 (pt) 2021-02-09
US20210208562A1 (en) 2021-07-08
TW202019129A (zh) 2020-05-16
WO2020090028A1 (ja) 2020-05-07
PH12020552040A1 (en) 2021-06-07
JPWO2020090028A1 (ja) 2021-02-15
TWI682645B (zh) 2020-01-11
CN112166389A (zh) 2021-01-01
US11644810B2 (en) 2023-05-09

Similar Documents

Publication Publication Date Title
JP6552775B1 (ja) ハイブリッドレンダリングhmi端末装置
CN107273007B (zh) 用于缩放可视化图像的系统和非瞬时计算机可读介质
JP2000507731A (ja) 視覚表示オブジェクト・ファイルを変換するシステムおよびその動作方法
CN111459501B (zh) 基于SVG的Web组态画面存储与展示系统和方法及介质
TWI764582B (zh) SCADA Web HMI系統及HMI用戶端
CN105550247A (zh) 基于svg标准可自定义图符的电力系统图形显示方法
US20160349931A1 (en) Responsive user interface for an industrial environment
US20220057780A1 (en) Scada web hmi system
JP6956280B2 (ja) SCADA Web HMIシステム
CN101364088B (zh) 工业人机界面变量访问方法及系统
JP2002108600A (ja) 制御システムの端末装置、記録媒体、および、制御システム
JP2000276508A (ja) ツール装置及びネットワークシステム構築方法並びに記録媒体
JP2004227215A (ja) プラントの遠隔監視システム及びWebサーバ
KR20160130560A (ko) Hmi 시스템
CN101364089A (zh) 可调整工业人机界面显示画面对象的方法及相关装置
US7197434B1 (en) Method and system for processing graphics in a supervisory control system
KR102492443B1 (ko) 스카다 시스템을 위한 hmi 제작 방법 및 그 장치
CN116010725B (zh) 地图点位集合动态展示方法、装置、计算机设备及介质
JP2001297015A (ja) 監視システム及びそれに用いる監視方法
JP2781411B2 (ja) グラフイックディスプレイ制御方法、及び計算機用ディスプレイ装置
CN117616740A (zh) Scada网页hmi系统
US20220147296A1 (en) Screen data generating system, screen data generating method, and program
CN115686692A (zh) 桌面组件的渲染方法及系统、电子设备及存储介质
JPH0934675A (ja) 3次元仮想協同空間におけるオブジェクト操作方式
JPH04235602A (ja) アドレス変換テーブル作成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190404

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190404

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190405

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190702

R150 Certificate of patent or registration of utility model

Ref document number: 6552775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250