WO2020090028A1 - ハイブリッドレンダリングｈｍｉ端末装置 - Google Patents

ハイブリッドレンダリングｈｍｉ端末装置 Download PDF

Info

Publication number
WO2020090028A1
WO2020090028A1 PCT/JP2018/040489 JP2018040489W WO2020090028A1 WO 2020090028 A1 WO2020090028 A1 WO 2020090028A1 JP 2018040489 W JP2018040489 W JP 2018040489W WO 2020090028 A1 WO2020090028 A1 WO 2020090028A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
rendering
hmi
svg
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/040489
Other languages
English (en)
French (fr)
Inventor
宏之 藤枝
伸夫 清水
章 野島
恭平 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Mitsubishi Electric Industrial Systems Corp
Original Assignee
Toshiba Mitsubishi Electric Industrial Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Mitsubishi Electric Industrial Systems Corp filed Critical Toshiba Mitsubishi Electric Industrial Systems Corp
Priority to JP2019518317A priority Critical patent/JP6552775B1/ja
Priority to US17/056,429 priority patent/US11644810B2/en
Priority to BR112020022492-8A priority patent/BR112020022492B1/pt
Priority to CN201880093940.6A priority patent/CN112166389B/zh
Priority to PCT/JP2018/040489 priority patent/WO2020090028A1/ja
Priority to TW108102018A priority patent/TWI682645B/zh
Publication of WO2020090028A1 publication Critical patent/WO2020090028A1/ja
Priority to PH12020552040A priority patent/PH12020552040A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/04—Program control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/058—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/04—Program control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Program control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/13—Plc programming
    • G05B2219/13144—GUI graphical user interface, icon, function bloc editor, OI operator interface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/14—Plc safety
    • G05B2219/14006—Safety, monitoring in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/027—Arrangements and methods specific for the display of internet documents
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Definitions

  • the present invention relates to a hybrid rendering HMI terminal device in which SCADA HMI operates on a web browser.
  • SCADA Supervisory Control And Data Acquisition
  • the social infrastructure system includes a steel rolling system, a power transmission and transformation system, a water and sewage treatment system, a building management system, and a road system.
  • SCADA is a type of industrial control system that performs computer system monitoring and process control. In SCADA, it is necessary to have prompt response (real-time response) according to the processing performance of the system.
  • SCADA is generally composed of the following subsystems.
  • HMI Human Machine Interface
  • the HMI is a mechanism that presents data of a target process (monitored device) to an operator and enables the operator to monitor and control the process.
  • Patent Document 1 discloses a SCADA HMI including an HMI screen that operates on a SCADA client.
  • Supervisory control system The supervisory control system collects signal data on a process and sends a control command to the process. It is configured by a PLC (Programmable Logic Controller) or the like.
  • PLC Programmable Logic Controller
  • RIO Remote Input Output
  • the remote input / output device is connected to the sensor installed in the process, converts the signal of the sensor into digital data, and sends the digital data to the supervisory control system.
  • Communication infrastructure The communication infrastructure connects the supervisory control system and the remote I / O device.
  • the SMI format drawing is read and displayed on the HMI screen in the DOM managed by the web browser.
  • the Web browser detects the change and updates the HMI screen.
  • the rendering performance of such SVG rendering is low, and DOM GC (Garbage Collection) is likely to occur, and in that case, display delay occurs.
  • the device monitored by SCADA may be operating and changing at high speed.
  • SCADA HMI of such a system it is necessary to display the signal data from the monitored device at high speed.
  • SVG rendering method described above cannot meet this demand.
  • the present invention has been made to solve the above problems, and an object thereof is to provide a hybrid rendering HMI terminal device capable of displaying an HMI screen operating on a Web browser without delay.
  • the hybrid rendering HMI terminal device is configured as follows.
  • the hybrid rendering HMI terminal device includes a web browser, a WebGL (Web Graphics Library) rendering processing unit, and an SVG rendering processing unit.
  • WebGL Web Graphics Library
  • the Web browser displays the HMI screen on which the first part and the second part, which represent the status of the monitored device, are placed.
  • the first part is a part for displaying analog numerical data.
  • the second part is a part that displays data other than analog numerical data.
  • the WebGL rendering processing unit draws the first part associated with the signal data by WebGL rendering when the signal data from the monitored device is analog numerical data.
  • a font necessary for character string representation of numerical data is drawn in advance in an offcanvas area (main memory area).
  • the first part is drawn by transferring the character string expressing the analog numerical data from the offcanvas area (main memory area) to the canvas area (GPU memory area).
  • the SVG rendering processing unit draws the second part associated with the signal data by SVG rendering.
  • the SVG rendering draws the second part by updating the svg element in the DOM managed by the web browser.
  • an HMI screen that operates on a Web browser is displayed without delay.
  • SCADA HMI can be efficiently developed.
  • FIG. 1 is a diagram showing a system configuration of SCADA.
  • the SCADA includes the HMI 3, the monitoring control system 4, the communication infrastructure 5, and the RIO 6 as subsystems, and is connected to the monitoring target device 7.
  • the HMI 3 that is a SCADA HMI execution environment and the drawing creation device 1 that is a SCADA HMI development environment are collectively referred to as a SCADA Web HMI system.
  • the monitored device 7 is a sensor, an actuator, or the like that constitutes a plant to be monitored and controlled.
  • the drawing creation device 1 includes a drawing editor 11.
  • the drawing creation device 1 which is a development environment, uses the drawing editor 11 to generate HMI drawing data 2.
  • the HMI drawing data 2 includes SVG (Scalable Vector Graphics) data 21, which is vector data, and part runtime attribute data 22.
  • the HMI 3 (HMI subsystem) includes an HMI server device 31 and an HMI terminal device 32.
  • the HMI Web runtime 322 Web application that reads the HMI drawing data 2 and operates on the Web browser 321 and the HMI Server runtime 311 cooperate to operate as an HMI subsystem.
  • the drawing editor 11 included in the drawing creation device 1 has an advanced drawing editing function and a function of saving drawing data in the SVG format.
  • the drawing editor 11 is, for example, Microsoft Visio (registered trademark).
  • the drawing editor 11 that operates on the drawing creation device 1 includes a drawing unit 12, a part runtime attribute generation unit 13, and an HMI drawing data output unit 14.
  • the drafting unit 12 displays, on the display 1c (FIG. 6), a stencil area in which prototypes of parts necessary for creating a drawing are arranged and a drafting area in which the drawing is drawn side by side. Further, the drafting unit 12 can arrange the parts on the stencil area selected by the developer on the drawing in the drafting area by using the input / output interface 1d (FIG. 6).
  • the types of parts include, for example, DI (Digital Input) signal parts, AI (Analog Input) signal parts, DO (Digital Output) signal parts, and AO (Analog Output) signal parts.
  • the part runtime attribute generator 13 automatically generates the part runtime attribute data unique to the part. Specifically, the part runtime attribute generation unit 13 changes the signal data from the monitoring target device 7 and a unique signal name (item) that associates the part with the monitoring target device 7 when the part is placed.
  • the part runtime attribute data that associates the dynamic display content of the part according to is automatically generated.
  • the unique signal name is generated by combining the screen ID, the device number in the screen, and the part type. Each part is associated with signal data and control commands via a unique signal name.
  • the part runtime attribute generation unit 13 sets the unique digital signal name that associates the part with the monitored device 7 and the value of the signal data from the monitored device 7 to OFF.
  • the part run-time attribute data that associates the display color (color code) of the part when it changes is automatically generated.
  • the part runtime attribute generation unit 13 displays a unique analog signal name that associates the AI signal part with the monitored device 7 when the AI signal part is arranged, and the value of signal data from the monitored device 7. And a display form (for example, “9999.99”) for the parts runtime attribute data are automatically generated.
  • the part runtime attribute data generated for each part on the drawing in order to exert the monitoring control function of the HMI screen is read when the HMI subsystem is executed.
  • the HMI drawing data output unit 14 outputs the HMI drawing data 2 including the SVG data 21 of the drawing in which the parts drawn in the drawing area are arranged and the part runtime attribute data 22.
  • the SVG data 21 includes static display attributes (color, shape, position, size) of placed parts as attributes of the svg element.
  • the HMI terminal device 32 includes a web browser 321, an HMI web runtime 322, and a DOM (Document Object Model) 323 in advance.
  • the web browser 321 reads at least one SVG data 21 and displays the HMI screen.
  • the HMI screen is configured by combining a plurality of drawings defined by vector data.
  • the drawing (SVG data 21) in the SVG format is read by the HMI Web runtime 322 into a DOM (Document Object Model) 323 managed by the Web browser 321, and drawn.
  • DOM Document Object Model
  • FIG. 2 is a diagram comparing the display methods of SVG rendering and WebGL rendering.
  • the HMI Web runtime 322 changes the svg element in the DOM 323 (for example, changes the color code of the color attribute) to change the color of the parts on the HMI screen
  • the Web browser 321 detects the change. , Update the HMI screen.
  • SVG rendering the drawing performance decreases as the amount of information in the DOM increases, and DOM GC (Garbage Collection) is likely to occur, in which case display delay occurs.
  • DOM GC Garbage Collection
  • the monitoring target device 7 that SCADA monitors may be operating and changing at high speed.
  • HMI subsystem it is necessary to display the value of the signal output from the monitored device 7 at high speed.
  • SVG rendering method described above cannot meet this demand.
  • WebGL which directly operates a GPU (Graphics Processing Unit), which is one of the processors 32a, to perform drawing
  • the speed is higher than that of the SVG rendering method.
  • DOMGC does not occur. Therefore, the WebGL rendering method is suitable when high-speed drawing is required.
  • the SVG data 21 generated by the drawing editor 11 having an advanced drawing editing function is complicated, and it is difficult to draw all the parts by web rendering (it costs development cost).
  • the system of the present embodiment adopts a hybrid rendering method in which SVG rendering and WebGL rendering are properly used.
  • FIG. 3 is a diagram for explaining an outline of the hybrid rendering type HMI terminal device 32.
  • the parts that need to be changed at high speed in the SCADA system are AI signal parts that display analog numerical data. Analog numerical data such as voltage and current are constantly changing, and it is important to reflect such changes on the screen in real time. Drawing only the AI signal parts by WebGL rendering meets the requirements of the HMI subsystem.
  • the AI signal part when updating the display of the AI signal part, the AI signal part is drawn using the canvas element 323b of the DOM 323 in the WebGL rendering method.
  • the attributes of the svg element 323a of the DOM 323 are updated by the SVG rendering method to draw the parts.
  • FIG. 4 is a diagram for explaining the configuration of the HMI Web runtime 322 that operates on the Web browser 321 of the HMI terminal device 32. First, the preprocessing for WebGL rendering will be described. The WebGL rendering processing unit 322i in the HMI Web runtime module is required to realize the hybrid rendering.
  • the WebGL rendering processing unit 322i can use the AI signal part element stored in the SVG data 21 to display the AI signal part, but accesses the information stored in the DOM. Not preferable in terms of performance. Therefore, the information regarding the AI signal part element is deleted from the SVG data 21 in advance and transferred to the part runtime attribute data 22. The WebGL rendering processing unit 322i acquires information necessary for drawing the AI signal part from the part runtime attribute data 22.
  • the HMI Web runtime 322 reads the HMI drawing data 2 as a setting parameter and operates on the Web browser 321.
  • the HMI Web runtime 322 is a library in which specific processing contents are predetermined for each type of part, one part on the HMI screen is specified based on the read setting parameter, and the specific processing of the part is performed. That is, even for the same type of parts, the setting parameters (for example, unique signal names) set for the respective parts are different, so that the operation of each part is different.
  • the HMI Web runtime 322 associates the part with the monitored device 7 by the setting parameter, and when the signal data corresponding to the unique signal name is received from the monitored device 7 via the monitoring control system 4, on the HMI screen. , Change the display of the part corresponding to the unique signal name.
  • the HMI Web runtime 322 includes a parts-specific processing unit 322a, an SVG data reading processing unit 322c, a signal data receiving unit 322d, a drawing updating unit 322e, an event processing unit 322f, and a control command transmitting unit 322g.
  • the SVG data read processing unit 322c reads the SVG data 21.
  • the parts-specific processing unit 322a includes the static display attribute of the SVG data 21 in the parts management information 322b.
  • the parts-specific processing unit 322a reads, for each part included in the SVG data 21, the corresponding parts runtime attribute data 22 and includes it in the parts management information 322b.
  • the parts specific processing unit 322a applies the parts management information 322b as a setting parameter to a library (JavaScript (registered trademark) program) in which specific processing contents are predetermined for each type of parts, and the individual parts on the HMI screen are displayed. Make the parts work. As an example, the specific processing of the DI signal part and the AI signal part will be described.
  • a library JavaScript (registered trademark) program
  • the specific processing of the DI signal part receives the digital signal data from the monitoring target device 7 via the monitoring control system 4, and changes the display color and shape of the part according to the signal value.
  • the runtime attributes are a digital signal name, a display color and a shape when the signal is OFF.
  • the specific processing of the AI signal part receives the analog signal data (analog numerical data) from the monitoring target device 7 via the monitoring control system 4, and according to the signal value, according to the designation of the data display form, the value is assigned to the part. Display it.
  • the run-time attributes are the analog signal name and the data display form (such as "9999.99").
  • the signal data receiving unit 322d receives the signal data from the monitored device 7 via the HMI Server runtime 311.
  • the parts-specific processing unit 322a identifies a part corresponding to the received signal data based on the parts management information 322b and determines an instruction to update the parts display on the drawing.
  • an update instruction is issued to change the color attribute value of the svg element in the DOM to the OFF color code.
  • an update instruction is issued to display the value of the analog signal data in the designated display form. The update instruction is transmitted to the drawing update unit 322e.
  • the drawing update unit 322e includes an SVG rendering processing unit 322h and a WebGL rendering processing unit 322i.
  • the SVG rendering processing unit 322h draws a part (for example, a DI signal part) related to the signal data by SVG rendering.
  • a part for example, a DI signal part
  • the svg element 323a in the DOM 323 managed by the web browser 321 is updated, and the web browser 321 detects the change to draw the part.
  • the WebGL rendering processing unit 322i draws the AI signal part associated with the signal data by WebGL rendering.
  • a font necessary for character string representation of numerical data is drawn in advance in an offcanvas area (main memory area).
  • a character string representing analog numerical data is transferred from the offcanvas area (main memory area) to the canvas area (GPU memory area) for drawing.
  • a two-step update process is performed, that is, updating the container on the main memory by UV mapping and updating the view area on the GPU memory by render.
  • the size of the container is 5 times as large as the size of the physical screen, both vertically and horizontally. This is a case where the screen zooming by the HMI is performed from 1 to 5 times.
  • the current zoom level of zooming is p (1 ⁇ p ⁇ n)
  • the image on the container is transferred by the render to the view area on the CPU memory, the image is reduced to 1 / p and transferred.
  • the event processing unit 322f detects a keyboard or mouse event associated with each part.
  • the parts specific processing unit 322a determines a control command corresponding to the detected event based on the parts management information 322b.
  • the control command transmission unit 322g transmits the control command to the HMI Server runtime 311.
  • the HMI Server runtime 311 operates on the HMI server device 31.
  • the processing of the HMI Server runtime 311 is as follows. (1) An HMI Web runtime content is supplied to the Web browser 321 by incorporating an application server. (2) Communicates with the monitoring control system 4, transmits the signal data from the monitored device 7 to the HMI Web runtime 322, and also transmits the control command from the HMI Web runtime 322 to the monitoring control system 4.
  • the HMI terminal device of the hybrid rendering system of the present embodiment for signal data that requires high-speed drawing, all font images to be used are cached on the offcanvas, or on the container of the main memory. High-speed drawing is realized by holding the full-screen image in consideration of zooming. In the map service as described above, it is not possible to apply this method because it is not possible to place restrictions on the zooming level and the size and type of fonts used. However, in the HMI of the supervisory control system, the operating application is specified, and the zooming level and the size and type of the font used can be limited to a certain range, so that this method can be realized.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of the SCADA Web HMI system.
  • Each part of the drawing creation device 1 shown in FIG. 1 shows a part of the function of the drawing creation device 1, and each function is realized by a processing circuit.
  • the processing circuit is configured by connecting the processor 1a, the memory 1b, the display 1c, and the input / output interface 1d.
  • the input / output interface 1d is an input device such as a keyboard and a mouse, and a device capable of outputting the HMI drawing data 2 as a file.
  • the processor 1a realizes the functions of the respective units of the drawing creation device 1 by executing various programs stored in the memory 1b.
  • Each part of the HMI terminal device 32 shown in FIG. 1 shows a part of the function of the HMI terminal device 32, and each function is realized by a processing circuit.
  • the processing circuit is configured by connecting a processor 32a, a memory 32b, a display 32c, and an input interface 32d.
  • the processor 32a includes a CPU and a GPU.
  • the memory 32b includes a main memory and a GPU memory.
  • the GPU and GPU memory may be arranged on a graphic board added to an external slot.
  • the input interface 32d is an input device such as a keyboard and a mouse, and a device capable of reading the HMI drawing data 2.
  • the processing circuit also includes a network device (not shown) that is connected to the HMI server device 31 and can send and receive signal data and control commands.
  • the processor 32a realizes the function of each unit of the HMI terminal device 32 by executing various programs stored in the memory 32b.
  • Each part of the HMI server device 31 shown in FIG. 1 shows a part of the function of the HMI server device 31, and each function is realized by a processing circuit.
  • the processing circuit is configured by connecting a processor 31a, a memory 31b, and a network interface 31d.
  • the network interface 31d is a device that is connected to the supervisory control system 4 and the HMI terminal device 32 and is capable of transmitting and receiving signal data and control commands.
  • the processor 31a realizes the function of each unit of the HMI server device 31 by executing various programs stored in the memory 31b.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Programmable Controllers (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

ハイブリッドレンダリングＨＭＩ端末装置（３２）は、Ｗｅｂブラウザ（３２１）、ＨＭＩ Ｗｅｂランタイム（３２２）を備える。Ｗｅｂブラウザ（３２１）は、監視対象装置（７）の状態を表す第１パーツおよび第２パーツが配置されたＨＭＩ画面を表示する。ＷｅｂＧＬレンダリング処理部（３２２ｉ）は、監視対象装置（７）からの信号データがアナログ数値データである場合に、当該信号データに関連付いた前記第１パーツをＷｅｂＧＬレンダリングにより描画する。ＳＶＧレンダリング処理部（３２２ｈ）は、監視対象装置（７）からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連付いた前記第２パーツをＳＶＧレンダリングにより描画する。

Description

ハイブリッドレンダリングＨＭＩ端末装置
　本発明は、Ｗｅｂブラウザ上でＳＣＡＤＡ ＨＭＩが動作するハイブリッドレンダリングＨＭＩ端末装置に関する。
　ＳＣＡＤＡ（Ｓｕｐｅｒｖｉｓｏｒｙ Ｃｏｎｔｒｏｌ Ａｎｄ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ）は、社会インフラシステムを監視制御する仕組みとして知られている。社会インフラシステムは、鉄鋼圧延システム、電力送変電システム、上下水道処理システム、ビル管理システム、道路システムなどである。
　ＳＣＡＤＡは、産業制御システムの一種であり、コンピュータによるシステム監視とプロセス制御を行う。ＳＣＡＤＡでは、システムの処理性能に合わせた即応性（リアルタイム性）が必要である。
　ＳＣＡＤＡは一般に次のようなサブシステムから構成される。
（１）ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）
　ＨＭＩは、対象プロセス（監視対象装置）のデータをオペレータに提示し、オペレータがプロセスを監視し制御できるようにする機構である。例えば特許文献１には、ＳＣＡＤＡクライアント上で動作するＨＭＩ画面を備えるＳＣＡＤＡ ＨＭＩが開示されている。
（２）監視制御システム
　監視制御システムは、プロセス上の信号データを収集し、プロセスに対して制御コマンドを送る。ＰＬＣ（Ｐｒｏｇｒａｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）などによって構成される。
（３）遠方入出力装置（Ｒｅｍｏｔｅ Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　：ＲＩＯ）
　遠方入出力装置は、プロセス内に設置されたセンサと接続し、センサの信号をデジタルのデータに変換し、そのデジタルデータを監視制御システムに送る。
（４）通信基盤
　通信基盤は、監視制御システムと遠方入出力装置を接続する。
日本特開２０１７－２７２１１号公報
　Ｗｅｂブラウザ上でＨＭＩ画面を動作させるＳＣＡＤＡ ＨＭＩを構築する場合、ＨＭＩ画面は、ＳＶＧ形式の図面が、Ｗｅｂブラウザが管理するＤＯＭに読み込まれて表示される。ＨＭＩ画面上のパーツの色変えのためにＤＯＭ内のｓｖｇエレメントの変更を行った場合、Ｗｅｂブラウザはその変更を検知して、ＨＭＩ画面を更新する。このようなＳＶＧレンダリングの描画性能は低速であり、ＤＯＭ ＧＣ（Ｇａｒｂａｇｅ Ｃｏｌｌｅｃｔｉｏｎ）が発生しやすく、その際には表示遅延が発生する。
　ところで、ＳＣＡＤＡが監視対象とする装置は、高速に動作、変化している場合がある。そうしたシステムのＳＣＡＤＡ ＨＭＩでは、監視対象装置からの信号データを高速に表示する必要がある。しかし、上述したＳＶＧレンダリング方式では、この要求に応えられない。
　本発明は、上述のような課題を解決するためになされたもので、Ｗｅｂブラウザ上で動作するＨＭＩ画面を遅延なく表示できるハイブリッドレンダリングＨＭＩ端末装置を提供することを目的とする。
　上記目的の達成のため、本発明に係るハイブリッドレンダリングＨＭＩ端末装置は以下のように構成される。
　本発明に係るハイブリッドレンダリングＨＭＩ端末装置は、Ｗｅｂブラウザと、ＷｅｂＧＬ（Ｗｅｂ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）レンダリング処理部と、ＳＶＧレンダリング処理部と、を備える。
　Ｗｅｂブラウザは、監視対象装置の状態を表す第１パーツおよび第２パーツが配置されたＨＭＩ画面を表示する。第１パーツはアナログ数値データを表示するパーツである。第２パーツはアナログ数値データ以外のデータを表示するパーツである。
　ＷｅｂＧＬレンダリング処理部は、監視対象装置からの信号データがアナログ数値データである場合に、当該信号データに関連付いた第１パーツをＷｅｂＧＬレンダリングにより描画する。好ましくは、ＷｅｂＧＬレンダリングは、ｏｆｆｃａｎｖａｓ領域（メインメモリ領域）に数値データの文字列表現に必要なフォントを予め描画する。そして、ＷｅｂＧＬのテクスチャマッピング機能を用いて、ｏｆｆｃａｎｖａｓ領域（前記メインメモリ領域）からアナログ数値データを表現する文字列をｃａｎｖａｓ領域（ＧＰＵメモリ領域）に転送することにより第１パーツを描画する。
　ＳＶＧレンダリング処理部は、監視対象装置からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連付いた第２パーツをＳＶＧレンダリングにより描画する。ＳＶＧレンダリングは、Ｗｅｂブラウザが管理するＤＯＭ内のｓｖｇエレメントを更新することにより第２パーツを描画する。
　本発明によれば、高い描画性能を発揮するＷｅｂＧＬレンダリングと、ＨＭＩの開発コスト軽減に寄与するＳＶＧレンダリングとのハイブリッドレンダリング方式を採用することで、Ｗｅｂブラウザ上で動作するＨＭＩ画面を遅延なく表示すると共に、ＳＣＡＤＡ ＨＭＩの効率的に開発することができる。
ＳＣＡＤＡのシステム構成を示す図である。 ＳＶＧレンダリングとＷｅｂＧＬレンダリングの表示方式を比較した図である。 ハイブリッドレンダリング方式のＨＭＩ端末装置の概要を説明するための図である。 ＨＭＩ端末装置のＷｅｂブラウザ上で動作するＨＭＩ Ｗｅｂランタイムの構成について説明するための図である。 ＷｅｂＧＬレンダリング処理部におけるフォント属性の管理について説明するための図である。 ＳＣＡＤＡ Ｗｅｂ ＨＭＩシステムが有するハードウェア構成例を示すブロック図である。
　以下、図面を参照して本発明の実施の形態について詳細に説明する。但し、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数にこの発明が限定されるものではない。また、以下に示す実施の形態において説明する構造等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。尚、各図において共通する要素には、同一の符号を付して重複する説明を省略する。
実施の形態１．
＜全体システム＞
　図１は、ＳＣＡＤＡのシステム構成を示す図である。ＳＣＡＤＡは、ＨＭＩ３、監視制御システム４、通信基盤５、ＲＩＯ６をサブシステムとして備え、監視対象装置７に接続する。本明細書では、ＳＣＡＤＡ ＨＭＩ 実行環境であるＨＭＩ３と、ＳＣＡＤＡ ＨＭＩ 開発環境である図面作成装置１とを含めてＳＣＡＤＡ Ｗｅｂ ＨＭＩシステムと称する。
　監視制御システム４、通信基盤５、ＲＩＯ６に関する説明は、背景技術で述べた通りであるため省略する。監視対象装置７は、監視制御対象のプラントを構成するセンサ、アクチュエータなどである。
　図面作成装置１は、図面エディタ１１を備える。開発環境である図面作成装置１は、図面エディタ１１によりＨＭＩ図面データ２を生成する。ＨＭＩ図面データ２は、ベクターデータであるＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）データ２１と、パーツランタイム属性データ２２を含む。
　ＨＭＩ３（ＨＭＩサブシステム）は、ＨＭＩサーバ装置３１と、ＨＭＩ端末装置３２とを備える。実行環境であるＨＭＩ３は、ＨＭＩ図面データ２を読み込んでＷｅｂブラウザ３２１上で動作するＨＭＩ Ｗｅｂランタイム３２２（Ｗｅｂアプリケーション）と、ＨＭＩ Ｓｅｒｖｅｒランタイム３１１とが協調し、ＨＭＩサブシステムとして動作する。
＜図面作成装置＞
　図面作成装置１が備える図面エディタ１１は、高度な図面編集機能と、図面データをＳＶＧ形式で保存できる機能を有する。図面エディタ１１は、一例として、Ｍｉｃｒｏｓｏｆｔ Ｖｉｓｉｏ（登録商標）である。
　図面作成装置１上で動作する図面エディタ１１は、製図部１２と、パーツランタイム属性生成部１３と、ＨＭＩ図面データ出力部１４とを備える。
　製図部１２は、ディスプレイ１ｃ（図６）上に、図面を作成するために必要なパーツのプロトタイプが配列されたステンシルエリアと、図面が描かれる製図エリアとを並べて表示する。また、製図部１２は、入出力インタフェース１ｄ（図６）を用いて、開発者に選択されたステンシルエリア上のパーツを、製図エリアの図面上に配置可能である。
　パーツの種類には、例えば、ＤＩ（Ｄｉｇｉｔａｌ Ｉｎｐｕｔ）信号パーツ、ＡＩ（Ａｎａｌｏｇ Ｉｎｐｕｔ）信号パーツ、ＤＯ（Ｄｉｇｉｔａｌ Ｏｕｔｐｕｔ）信号パーツ、ＡＯ（Ａｎａｌｏｇ Ｏｕｔｐｕｔ）信号パーツなどがある。
　製図エリアの図面上の任意の位置に配置されたパーツは、色、形、位置、大きさなどの静的表示属性を有する。
　パーツランタイム属性生成部１３は、製図エリアの図面上にパーツが配置されたときに、当該パーツに固有の、パーツランタイム属性データを自動生成する。具体的には、パーツランタイム属性生成部１３は、パーツが配置されたときに、当該パーツと監視対象装置７とを関連付ける固有の信号名称（アイテム）と、監視対象装置７からの信号データの変化に応じた当該パーツの動的な表示内容と、を関連付けたパーツランタイム属性データを自動生成する。固有の信号名称は、画面ＩＤ、画面内のデバイス番号、パーツ種別を組み合わせて生成される。各パーツは、固有の信号名称を介して信号データや制御コマンドと関連付けられる。
　例えば、パーツランタイム属性生成部１３は、ＤＩ信号パーツが配置されたときに、当該パーツと監視対象装置７とを関連付ける固有のデジタル信号名称と、監視対象装置７からの信号データの値がＯＦＦに変化した場合の当該パーツの表示色（色コード）と、を関連付けたパーツランタイム属性データを自動生成する。
　また、パーツランタイム属性生成部１３は、ＡＩ信号パーツが配置されたときに、当該パーツと監視対象装置７とを関連付ける固有のアナログ信号名称と、監視対象装置７からの信号データの値を表示するための表示形態（例えば「９９９９．９９」）と、を関連付けたパーツランタイム属性データを自動生成する。
　ＨＭＩ画面の監視制御機能を発揮させるために図面上の各パーツについて生成されたパーツランタイム属性データは、ＨＭＩサブシステムの実行時に読み込まれる。
　ＨＭＩ図面データ出力部１４は、製図エリアに描かれたパーツが配置された図面のＳＶＧデータ２１と、パーツランタイム属性データ２２とを含むＨＭＩ図面データ２を出力する。ＳＶＧデータ２１は、ｓｖｇエレメントの属性として、配置されたパーツの静的表示属性（色、形、位置、大きさ）を含む。
＜ハイブリッドレンダリング方式のＨＭＩ端末装置＞
　ＨＭＩ端末装置３２は、Ｗｅｂブラウザ３２１と、ＨＭＩ Ｗｅｂランタイム３２２と、ＤＯＭ（Ｄｏｃｕｍｅｎｔ Ｏｂｊｅｃｔ Ｍｏｄｅｌ）３２３を予め備える。
　Ｗｅｂブラウザ３２１は、少なくとも１つのＳＶＧデータ２１を読み込んでＨＭＩ画面を表示する。ＨＭＩ画面は、ベクターデータで定義された図面を複数組み合わせて構成されている。ＳＶＧ形式の図面（ＳＶＧデータ２１）は、ＨＭＩ Ｗｅｂランタイム３２２によってＷｅｂブラウザ３２１が管理するＤＯＭ（Ｄｏｃｕｍｅｎｔ Ｏｂｊｅｃｔ Ｍｏｄｅｌ）３２３に読み込まれ、描画される。
　図２は、ＳＶＧレンダリングとＷｅｂＧＬレンダリングの表示方式を比較した図である。ＨＭＩ Ｗｅｂランタイム３２２が、ＨＭＩ画面上のパーツの色変えのためにＤＯＭ３２３内のｓｖｇエレメントの変更（例えば、色属性の色コードを変更）を行った場合、Ｗｅｂブラウザ３２１はその変更を検知して、ＨＭＩ画面を更新する。このようなＳＶＧレンダリングは、ＤＯＭ内の情報量の増加に伴い描画性能が低下し、また、ＤＯＭ ＧＣ（Ｇａｒｂａｇｅ Ｃｏｌｌｅｃｔｉｏｎ）が発生しやすく、その際には表示遅延が発生する。
　ＳＣＡＤＡが監視対象とする監視対象装置７は、高速に動作、変化している場合がある。そのＨＭＩサブシステムでは監視対象装置７が出力した信号の値を高速に表示する必要がある。しかし、上述したＳＶＧレンダリング方式では、この要求に応えられない。
　プロセッサ３２ａの１つであるＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を直接操作して描画を行うＷｅｂＧＬでは、ＳＶＧレンダリング方式に比して高速に描画される。また、ＤＯＭ ＧＣも発生しない。そのため、ＷｅｂＧＬレンダリング方式は、高速な描画が要求される場合に適している。一方で、高度な図面編集機能を持つ図面エディタ１１が生成するＳＶＧデータ２１は複雑であり、すべてのパーツをＷｅｂレンダリングで描画することは難しい（開発コストがかかる）。
　そこで、本実施形態のシステムでは、ＳＶＧレンダリングとＷｅｂＧＬレンダリングとを適宜使い分けたハイブリッドレンダリング方式を採用する。
　図３は、ハイブリッドレンダリング方式のＨＭＩ端末装置３２の概要を説明するための図である。ＳＣＡＤＡシステムで高速に変更する必要があるパーツは、アナログ数値データを表示するＡＩ信号パーツである。電圧や電流などのアナログ数値データは、常に変動しており、そうした変動を画面上にリアルタイムに反映することは重要である。ＡＩ信号パーツのみをＷｅｂＧＬレンダリングで描画することは、ＨＭＩサブシステムの要求仕様に合致している。
　そこで、本実施形態では、ＡＩ信号パーツの表示更新に際しては、ＷｅｂＧＬレンダリング方式で、ＤＯＭ３２３のｃａｎｖａｓエレメント３２３ｂを用いてＡＩ信号パーツを描画する。一方、ＡＩ信号パーツ以外のパーツの表示更新に際しては、ＳＶＧレンダリング方式で、ＤＯＭ３２３のｓｖｇエレメント３２３ａの属性を更新して、当該パーツを描画する。
　図４は、ＨＭＩ端末装置３２のＷｅｂブラウザ３２１上で動作するＨＭＩ Ｗｅｂランタイム３２２の構成について説明するための図である。まず、ＷｅｂＧＬレンダリングのための事前処理について説明する。ハイブリッドレンダリングを実現するためにＨＭＩ Ｗｅｂランタイムモジュール内のＷｅｂＧＬレンダリング処理部３２２ｉが必要となる。
　ＷｅｂＧＬレンダリング処理部３２２ｉは、ＡＩ信号パーツの表示を行うために、ＳＶＧデータ２１内に格納されたＡＩ信号パーツエレメントを使用することもできるが、ＤＯＭ内に格納された情報をアクセスするのは、性能上好ましくない。そのため、ＡＩ信号パーツエレメントに関する情報は、事前にＳＶＧデータ２１から削除し、パーツランタイム属性データ２２に移しておく。ＷｅｂＧＬレンダリング処理部３２２ｉは、パーツランタイム属性データ２２からＡＩ信号パーツの描画に必要な情報を取得する。
　次に、ＨＭＩ Ｗｅｂランタイム３２２について説明する。ＨＭＩ Ｗｅｂランタイム３２２は、ＨＭＩ図面データ２を設定パラメータとして読み込んでＷｅｂブラウザ３２１上で動作する。ＨＭＩ Ｗｅｂランタイム３２２は、パーツの種類毎に固有の処理内容を予め定めたライブラリであり、読み込んだ設定パラメータに基づいてＨＭＩ画面上の１のパーツが特定され、当該パーツの固有の処理を担う。すなわち、同種パーツであっても、各パーツに設定される設定パラメータ（例えば固有の信号名称）は異なるため、各パーツの動作は異なる。
　ＨＭＩ Ｗｅｂランタイム３２２は、設定パラメータによりパーツと監視対象装置７とを関連付け、監視制御システム４を介して監視対象装置７から固有の信号名称に対応する信号データを受信したときに、ＨＭＩ画面上で、固有の信号名称に対応するパーツの表示を変化させる。
　より詳細には、ＨＭＩ Ｗｅｂランタイム３２２は、パーツ固有処理部３２２ａ、ＳＶＧデータ読込処理部３２２ｃ、信号データ受信部３２２ｄ、図面更新部３２２ｅ、イベント処理部３２２ｆ、制御コマンド送信部３２２ｇを備える。
　ＳＶＧデータ読込処理部３２２ｃは、ＳＶＧデータ２１を読み込む。パーツ固有処理部３２２ａは、ＳＶＧデータ２１の静的表示属性をパーツ管理情報３２２ｂに含める。パーツ固有処理部３２２ａは、ＳＶＧデータ２１に含まれるパーツ毎に、これ対応するパーツランタイム属性データ２２を読み込み、パーツ管理情報３２２ｂに含める。
　パーツ固有処理部３２２ａは、パーツの種類毎に固有の処理内容が予め定められたライブラリ（ＪａｖａＳｃｒｉｐｔ（登録商標）プログラム）に、パーツ管理情報３２２ｂを設定パラメータとして適用して、ＨＭＩ画面上の個々のパーツを機能させる。例として、ＤＩ信号パーツとＡＩ信号パーツの固有処理について説明する。
　ＤＩ信号パーツの固有処理は、監視制御システム４を介して監視対象装置７からデジタル信号データを受信し、信号値に応じて、当該パーツの表示色、形を変化させる。ランタイム属性は、デジタル信号名称、信号ＯＦＦ時の表示色、形である。
　ＡＩ信号パーツの固有処理は、監視制御システム４を介して監視対象装置７からアナログ信号データ（アナログ数値データ）を受信し、信号値に応じて、データ表示形態の指定に従い、当該パーツに値を表示させる。ランタイム属性は、アナログ信号名称、データの表示形態（「9999.99」など）である。
　信号データ受信部３２２ｄは、監視対象装置７からの信号データをＨＭＩ Ｓｅｒｖｅｒランタイム３１１を介して受信する。パーツ固有処理部３２２ａは、パーツ管理情報３２２ｂに基づいて受信した信号データに対応するパーツを特定し、図面上のパーツ表示の更新指示を決定する。
　例えば、ＤＩ信号パーツについては、デジタル信号データの値がＯＦＦである場合にＤＯＭ内のｓｖｇエレメントの色属性値をＯＦＦ色の色コードに変更する更新指示が出される。ＡＩ信号パーツについては、アナログ信号データの値を指定された表示形態で表示する更新指示が出される。更新指示は図面更新部３２２ｅへ送信される。
　図面更新部３２２ｅは、ＳＶＧレンダリング処理部３２２ｈとＷｅｂＧＬレンダリング処理部３２２ｉを備える。
　ＳＶＧレンダリング処理部３２２ｈは、監視対象装置７からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連づいたパーツ（例えばＤＩ信号パーツ）をＳＶＧレンダリングにより描画する。ＳＶＧレンダリングは、Ｗｅｂブラウザ３２１が管理するＤＯＭ３２３内のｓｖｇエレメント３２３ａを更新し、Ｗｅｂブラウザ３２１がその変更を検知することで当該パーツを描画する。
　ＷｅｂＧＬレンダリング処理部３２２ｉは、監視対象装置７からの信号データがアナログ数値データである場合に、当該信号データに関連付いたＡＩ信号パーツをＷｅｂＧＬレンダリングにより描画する。図５に示すように、ＷｅｂＧＬレンダリングは、ｏｆｆｃａｎｖａｓ領域（メインメモリ領域）に数値データの文字列表現に必要なフォントを予め描画する。そして、ＷｅｂＧＬのテクスチャマッピング（ＵＶマッピング）機能を用いて、ｏｆｆｃａｎｖａｓ領域（メインメモリ領域）からアナログ数値データを表現する文字列をｃａｎｖａｓ領域（ＧＰＵメモリ領域）に転送することにより描画する。これにより、高速な描画が実現できる。
　これは、描画するコンテンツが数値データに限られる場合に利用可能である。数値データを表示するためには、０～９までの数字、小数点、マイナス記号、スペースなど限られたフォントを用意すればよいが、フォントファミリ、フォントサイズ、文字色、背景色などのバリエーションを考慮すると、ｏｆｆｃａｎｖａｓ領域に用意するフォント数は多くなる。そこで、ＷｅｂＧＬレンダリング処理部３２２ｉ内で使用しているフォント属性を管理し、未使用のフォント属性のｏｆｆｃａｎｖａｓフォントは動的に生成し、使用済みのフォント属性のｏｆｆｃａｎｖａｓフォントは再利用する仕組みを実現する。
　ハイブリッドレンダリングでのＷｅｂＧＬレンダリングでは、ＵＶマッピングによるメインメモリ上のｃｏｎｔａｉｎｅｒの更新と、ｒｅｎｄｅｒによるＧＰＵメモリ上のｖｉｅｗ領域の更新という２段階の更新処理を行っている。図５の例では、ｃｏｎｔａｉｎｅｒの大きさは、物理スクリーンの大きさに対して、縦、横とも５倍の大きさを確保している。これはＨＭＩでの画面のズーミングを１倍～５倍まで行う場合である。ｎ倍まで行う場合は、縦方向、横方向ともｎ倍の大きさを確保する必要がある。これは、ズーミングした場合も含めて表示に必要な全イメージをメモリ上に保持するためである。ズーミングの現在のズームレベルをｐ（１≦ｐ≦ｎ）とした場合、ｒｅｎｄｅｒでｃｏｎｔａｉｎｅｒ上のイメージをＣＰＵメモリ上のｖｉｅｗ領域に転送する際に、１／ｐに縮小して転送している。
　Ｗｅｂ ＧＩＳ（例えば、Ｇｏｏｇｌｅ ｍａｐｓ（登録商標））のようなリアルタイム性が必要のないシステムでは、このようにすべてのイメージをメモリ上に保持せずに、ズーミングやパニングが発生した時点で、再描画を行っている。そのため、ｃｏｎｔａｉｎｅｒには、物理スクリーンと同じ大きさのメモリだけを確保しておけばいいが、ズーミングやパニング時の再表示で遅延が発生する。
　一方、ＳＣＡＤＡ ＨＭＩのようなリアルタイム性が必要なシステムでは、このような遅延は許されないため、ｃｏｎｔａｉｎｅｒ上に全イメージを確保しておき、ズーミングやパニング時には、ｒｅｎｄｅｒの実行だけで再表示が完了する。ＵＶマッピングにより全テキストデータのフォントイメージをｃｏｎｔａｉｎｅｒ領域に展開するのに比べると、ｒｅｎｄｅｒの実行は高速である。ｃｏｎｔａｉｎｅｒ領域をＧＰＵメモリ上に確保する方法もあるが、その場合、ＧＰＵメモリ量の大きいハイエンドの高価なグラフィックプロセッサが必要となるため、ｃｏｎｔａｉｎｅｒ領域はメインメモリ上に確保する方が、コストパフォーマンス面で有利となる。
　図４に戻りＨＭＩ Ｗｅｂランタイム３２２の説明を続ける。イベント処理部３２２ｆは、各パーツに関連するキーボードまたはマウスイベントを検出する。パーツ固有処理部３２２ａは、パーツ管理情報３２２ｂに基づき、検出したイベントに対応する制御コマンドを決定する。制御コマンド送信部３２２ｇは、ＨＭＩ Ｓｅｒｖｅｒランタイム３１１へ制御コマンドを送信する。
＜ＨＭＩサーバ装置＞
　ＨＭＩ Ｓｅｒｖｅｒランタイム３１１は、ＨＭＩサーバ装置３１上で動作する。ＨＭＩ Ｓｅｒｖｅｒランタイム３１１の処理は以下の通りである。
（１）アプリケーションサーバを内蔵し、Ｗｅｂブラウザ３２１に対して、ＨＭＩ Ｗｅｂランタイムコンテンツを供給する。
（２）監視制御システム４と通信し、監視対象装置７からの信号データをＨＭＩ Ｗｅｂランタイム３２２に送信するとともに、ＨＭＩ Ｗｅｂランタイム３２２からの制御コマンドを監視制御システム４へ送信する。
　以上説明したように、本実施形態のハイブリッドレンダリング方式のＨＭＩ端末装置によれば、高速描画が必要な信号データに関して、ｏｆｆｃａｎｖａｓ上に、使用するすべてのフォントイメージをキャッシュしたり、メインメモリのｃｏｎｔａｉｎｅｒ上にズーミングも考慮した全画面イメージを保持したりすることにより、高速描画を実現している。上述したような地図サービスでは、ズーミングレベルや使用されるフォントのサイズ、種類に制限を設けることはできないため、この手法を適用することはできない。しかし、監視制御システムのＨＭＩでは、動作するアプリケーションが特定され、ズーミングレベルや使用されるフォントのサイズ、種類を一定の範囲に限定できるため、この方式が実現可能となる。
＜ハードウェア構成例＞
　ＳＣＡＤＡ Ｗｅｂ ＨＭＩシステムの主要部のハードウェア構成について図６を参照して説明する。図６は、ＳＣＡＤＡ Ｗｅｂ ＨＭＩシステムが有するハードウェア構成例を示すブロック図である。
　図１に示す図面作成装置１の各部は、図面作成装置１が有する機能の一部を示し、各機能は処理回路により実現される。処理回路は、プロセッサ１ａと、メモリ１ｂと、ディスプレイ１ｃと、入出力インタフェース１ｄとが接続して構成されている。入出力インタフェース１ｄは、キーボード、マウス等の入力デバイス、ＨＭＩ図面データ２をファイル出力可能なデバイスである。プロセッサ１ａは、メモリ１ｂに記憶された各種プログラムを実行することにより、図面作成装置１の各部の機能を実現する。
　図１に示すＨＭＩ端末装置３２の各部は、ＨＭＩ端末装置３２が有する機能の一部を示し、各機能は処理回路により実現される。処理回路は、プロセッサ３２ａと、メモリ３２ｂと、ディスプレイ３２ｃと、入力インタフェース３２ｄとが接続して構成されている。プロセッサ３２ａは、ＣＰＵとＧＰＵとを備える。メモリ３２ｂは、メインメモリとＧＰＵメモリとを備える。なお、ＧＰＵとＧＰＵメモリは、外部スロットに増設されるグラフィックボード上に配置されても良い。入力インタフェース３２ｄは、キーボード、マウス等の入力デバイス、ＨＭＩ図面データ２を読込可能なデバイスである。また、処理回路は、ＨＭＩサーバ装置３１と接続し信号データおよび制御コマンドを送受信可能なネットワークデバイス（図示省略）も備える。プロセッサ３２ａは、メモリ３２ｂに記憶された各種プログラムを実行することにより、ＨＭＩ端末装置３２の各部の機能を実現する。
　図１に示すＨＭＩサーバ装置３１の各部は、ＨＭＩサーバ装置３１が有する機能の一部を示し、各機能は処理回路により実現される。処理回路は、プロセッサ３１ａと、メモリ３１ｂと、ネットワークインタフェース３１ｄとが接続して構成されている。ネットワークインタフェース３１ｄは、監視制御システム４とＨＭＩ端末装置３２と接続し、信号データおよび制御コマンドを送受信可能なデバイスである。プロセッサ３１ａは、メモリ３１ｂに記憶された各種プログラムを実行することにより、ＨＭＩサーバ装置３１の各部の機能を実現する。
　以上、本発明の実施の形態について説明したが、本発明は、上記の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
１　図面作成装置
１１　図面エディタ
１２　製図部
１３　パーツランタイム属性生成部
１４　ＨＭＩ図面データ出力部
２　ＨＭＩ図面データ
２１　ＳＶＧデータ
２２　パーツランタイム属性データ
３　ＨＭＩ
３１　ＨＭＩサーバ装置
３１１　ＨＭＩ Ｓｅｒｖｅｒランタイム
３２　ＨＭＩ端末装置
３２１　Ｗｅｂブラウザ
３２２　ＨＭＩ Ｗｅｂランタイム
３２３　ＤＯＭ
３２３ａ　ｓｖｇエレメント
３２３ｂ　ｃａｎｖａｓエレメント
４　監視制御システム
５　通信基盤
６　ＲＩＯ
７　監視対象装置
３２２ａ　パーツ固有処理部
３２２ｂ　パーツ管理情報
３２２ｃ　ＳＶＧデータ読込処理部
３２２ｄ　信号データ受信部
３２２ｅ　図面更新部
３２２ｆ　イベント処理部
３２２ｇ　制御コマンド送信部
３２２ｈ　ＳＶＧレンダリング処理部
３２２ｉ　ＷｅｂＧＬレンダリング処理部
１ａ、３１ａ、３２ａ　プロセッサ
１ｂ、３１ｂ、３２ｂ　メモリ
１ｃ、３２ｃ　ディスプレイ
１ｄ　入出力インタフェース
３１ｄ　ネットワークインタフェース
３２ｄ　入力インタフェース

Claims (6)

  1. 　監視対象装置に接続するハイブリッドレンダリングＨＭＩ端末装置であって、
    　前記監視対象装置の状態を表す第１パーツおよび第２パーツが配置されたＨＭＩ画面を表示するＷｅｂブラウザと、
    　前記監視対象装置からの信号データがアナログ数値データである場合に、当該信号データに関連付いた前記第１パーツをＷｅｂＧＬレンダリングにより描画するＷｅｂＧＬレンダリング処理部と、
    　前記監視対象装置からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連付いた前記第２パーツをＳＶＧレンダリングにより描画するＳＶＧレンダリング処理部と、
    　を備えることを特徴とするハイブリッドレンダリングＨＭＩ端末装置。
  2. 　前記ＷｅｂＧＬレンダリングは、ｏｆｆｃａｎｖａｓ領域に数値データの文字列表現に必要なフォントを予め描画し、ＷｅｂＧＬのテクスチャマッピング機能を用いて、前記ｏｆｆｃａｎｖａｓ領域から前記アナログ数値データを表現する文字列をｃａｎｖａｓ領域に転送することにより前記第１パーツを描画し、
    　前記ＳＶＧレンダリングは、前記Ｗｅｂブラウザが管理するＤＯＭ内のｓｖｇエレメントを更新することにより前記第２パーツを描画すること、
    　を特徴とする請求項１記載のハイブリッドレンダリングＨＭＩ端末装置。
  3. 　前記アナログ数値データは、電圧データ若しくは電流データであること、
    　を特徴とする請求項１又は２記載のハイブリッドレンダリングＨＭＩ端末装置。
  4. 　監視対象装置に接続するハイブリッドレンダリングＨＭＩ端末装置であって、
    　Ｗｅｂブラウザを表示するディスプレイと、
    　プログラムを実行するプロセッサと、
    　前記プロセッサにより実行されると、
    　前記監視対象装置の状態を表す第１パーツおよび第２パーツが配置されたＨＭＩ画面を前記Ｗｅｂブラウザに表示し、
    　前記監視対象装置からの信号データがアナログ数値データである場合に、当該信号データに関連付いた前記第１パーツをＷｅｂＧＬレンダリングにより描画し、
    　前記監視対象装置からの信号データがアナログ数値データ以外のデータである場合に、当該信号データに関連付いた前記第２パーツをＳＶＧレンダリングにより描画する、
    　処理を行うプログラムを記憶するメモリと、
    　を備えるハイブリッドレンダリングＨＭＩ端末装置。
  5. 　前記メモリは、メインメモリとＧＰＵメモリとを備え、
    　前記ＷｅｂＧＬレンダリングは、前記メインメモリ上の領域に数値データの文字列表現に必要なフォントを予め描画し、ＷｅｂＧＬのテクスチャマッピング機能を用いて、前記領域から、前記アナログ数値データを表現する文字列を前記ＧＰＵメモリへ転送することにより前記第１パーツを描画し、
    　前記ＳＶＧレンダリングは、前記メインメモリ上で、前記Ｗｅｂブラウザが管理するＤＯＭ内のｓｖｇエレメントを更新することにより、前記第２パーツを描画する、
    　請求項４記載のハイブリッドレンダリングＨＭＩ端末装置。
  6. 　前記アナログ数値データは、電圧データ若しくは電流データであること、
    　を特徴とする請求項４又は５記載のハイブリッドレンダリングＨＭＩ端末装置。
PCT/JP2018/040489 2018-10-31 2018-10-31 ハイブリッドレンダリングｈｍｉ端末装置 Ceased WO2020090028A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2019518317A JP6552775B1 (ja) 2018-10-31 2018-10-31 ハイブリッドレンダリングｈｍｉ端末装置
US17/056,429 US11644810B2 (en) 2018-10-31 2018-10-31 Hybrid rendering HMI terminal device
BR112020022492-8A BR112020022492B1 (pt) 2018-10-31 Dispositivo terminal hmi de interpretação híbrida
CN201880093940.6A CN112166389B (zh) 2018-10-31 2018-10-31 混合渲染hmi终端装置
PCT/JP2018/040489 WO2020090028A1 (ja) 2018-10-31 2018-10-31 ハイブリッドレンダリングｈｍｉ端末装置
TW108102018A TWI682645B (zh) 2018-10-31 2019-01-18 混合顯現ｈｍｉ終端裝置
PH12020552040A PH12020552040A1 (en) 2018-10-31 2020-11-27 Hybrid rendering hmi terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/040489 WO2020090028A1 (ja) 2018-10-31 2018-10-31 ハイブリッドレンダリングｈｍｉ端末装置

Publications (1)

Publication Number Publication Date
WO2020090028A1 true WO2020090028A1 (ja) 2020-05-07

Family

ID=67473266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040489 Ceased WO2020090028A1 (ja) 2018-10-31 2018-10-31 ハイブリッドレンダリングｈｍｉ端末装置

Country Status (6)

Country Link
US (1) US11644810B2 (ja)
JP (1) JP6552775B1 (ja)
CN (1) CN112166389B (ja)
PH (1) PH12020552040A1 (ja)
TW (1) TWI682645B (ja)
WO (1) WO2020090028A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240201646A1 (en) * 2022-03-30 2024-06-20 Toshiba Mitsubishi-Electric Industrial Systems Corporation Scada web hmi client device and scada web hmi system

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020090033A1 (ja) * 2018-10-31 2020-05-07 東芝三菱電機産業システム株式会社 ＳＣＡＤＡ Ｗｅｂ ＨＭＩシステム
JP7245741B2 (ja) * 2019-07-25 2023-03-24 東芝三菱電機産業システム株式会社 Ｓｃａｄａウェブｈｍｉサーバおよびｓｃａｄａウェブｈｍｉシステム
JP7131706B2 (ja) 2019-11-26 2022-09-06 東芝三菱電機産業システム株式会社 Ｓｃａｄａウェブｈｍｉシステム
US12147207B2 (en) * 2020-06-01 2024-11-19 Tmeic Corporation Scada web HMI system and HMI client
PH12022551559A1 (en) * 2020-11-24 2023-04-24 Toshiba Mitsubishi Electric Industrial Systems Corp Plant monitoring and control system
CN113656736B (zh) * 2021-08-19 2024-07-23 上海哔哩哔哩科技有限公司 数据处理方法及装置
US20250076861A1 (en) * 2021-12-27 2025-03-06 Toshiba Mitsubishi-Electric Industrial Systems Corporation Scada web hmi client apparatus and scada web hmi system
CN114359429A (zh) * 2021-12-31 2022-04-15 浙江华云信息科技有限公司 电网信息图形化处理系统、方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012111029A (ja) * 2010-11-19 2012-06-14 Fanuc Robotics America Corp ３次元ロボットワークセルデータの表示システム、表示方法及び表示装置
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925611B1 (en) * 2003-09-25 2011-04-12 Rockwell Automation Technologies, Inc. Graphical user interface
US7899777B2 (en) * 2007-09-27 2011-03-01 Rockwell Automation Technologies, Inc. Web-based visualization mash-ups for industrial automation
US9906832B2 (en) * 2009-05-08 2018-02-27 Conversant Wireless Licensing S.A R.L. Method and apparatus for configuring presentation of service guides
JP2012063274A (ja) * 2010-09-16 2012-03-29 Gnss Technologies Inc ナビゲーション信号送信装置および位置情報提供装置
US8817021B1 (en) * 2011-11-11 2014-08-26 Google Inc. System for writing, interpreting, and translating three-dimensional (3D) scenes
CN103678341A (zh) * 2012-09-07 2014-03-26 鸿富锦精密工业（深圳）有限公司 数据库交互系统及方法
US9870545B2 (en) 2013-10-08 2018-01-16 General Electric Company System and method for providing user interface cards
EP3117295A4 (en) * 2014-03-14 2017-10-25 Atronix Engineering, Inc. Zooming user interface for a material handling control system
CN107209511B (zh) * 2015-02-24 2020-06-09 东芝三菱电机产业系统株式会社 监视控制装置
US10819957B2 (en) * 2015-07-07 2020-10-27 S2 Security, LLC Networked monitor remote
US10070657B1 (en) * 2015-07-14 2018-09-11 Hall Fabrication, Inc. Method and system for controlling a loin puller meat processing machine
JP6477319B2 (ja) 2015-07-17 2019-03-06 東芝三菱電機産業システム株式会社 プラント制御システム
US9665972B2 (en) * 2015-07-28 2017-05-30 Google Inc. System for compositing educational video with interactive, dynamically rendered visual aids
EP4044022A1 (en) * 2015-07-30 2022-08-17 Wix.com Ltd. System integrating a mobile device application creation, editing and distribution system with a website design system
US10019415B1 (en) * 2015-08-28 2018-07-10 Animoto Inc. System and method for consistent cross-platform text layout
US9583140B1 (en) * 2015-10-06 2017-02-28 Bruce Rady Real-time playback of an edited sequence of remote media and three-dimensional assets
US9923993B2 (en) * 2015-11-02 2018-03-20 Rockwell Automation Technologies, Inc. Self-describing diagnostic data for presentation on mobile devices
US10546559B2 (en) * 2015-12-28 2020-01-28 Business Objects Software Limited Multi-layer rendering for visualizations
CN118000760A (zh) * 2016-09-21 2024-05-10 生命解析公司 用于可视化有风险的心脏组织的方法和系统
CN106709793A (zh) * 2017-01-26 2017-05-24 杭州纽带科技有限公司 一种在线3d打印定制系统及方法
CN106909640B (zh) * 2017-02-16 2020-04-21 杭州新迪数字工程系统有限公司 基于webgl的三维模型轻量化展示技术
CN107590194A (zh) * 2017-08-14 2018-01-16 彭志勇 超大图像的切割加载显示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012111029A (ja) * 2010-11-19 2012-06-14 Fanuc Robotics America Corp ３次元ロボットワークセルデータの表示システム、表示方法及び表示装置
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240201646A1 (en) * 2022-03-30 2024-06-20 Toshiba Mitsubishi-Electric Industrial Systems Corporation Scada web hmi client device and scada web hmi system
US12585236B2 (en) * 2022-03-30 2026-03-24 Tmeic Corporation SCADA web HMI client device and SCADA web HMI system

Also Published As

Publication number Publication date
CN112166389A (zh) 2021-01-01
CN112166389B (zh) 2024-08-20
TW202019129A (zh) 2020-05-16
PH12020552040A1 (en) 2021-06-07
TWI682645B (zh) 2020-01-11
US20210208562A1 (en) 2021-07-08
JP6552775B1 (ja) 2019-07-31
US11644810B2 (en) 2023-05-09
JPWO2020090028A1 (ja) 2021-02-15
BR112020022492A2 (pt) 2021-02-09

Similar Documents

Publication Publication Date Title
JP6552775B1 (ja) ハイブリッドレンダリングｈｍｉ端末装置
JP6956280B2 (ja) ＳＣＡＤＡ Ｗｅｂ ＨＭＩシステム
CN110765381A (zh) 基于WebAssembly技术的配网主站的Web发布方法及系统
CN113095995A (zh) 网页水印添加方法、装置、电子设备及存储介质
TWI764582B (zh) SCADA Web HMI系統及HMI用戶端
JP2000507731A (ja) 視覚表示オブジェクト・ファイルを変換するシステムおよびその動作方法
WO2021254246A1 (zh) 一种基于svg技术的实时监测工业数据的方法
CN113343154A (zh) 页面加载方法、装置、电子设备及存储介质
CN113409411B (zh) 图形界面的渲染方法、装置、电子设备及存储介质
WO2021015022A1 (ja) Ｓｃａｄａウェブｈｍｉサーバ装置
KR102492443B1 (ko) 스카다 시스템을 위한 hmi 제작 방법 및 그 장치
US20220057780A1 (en) Scada web hmi system
CN105022638A (zh) 一种嵌入式装置业务逻辑可视化展示方法
JP2004227215A (ja) プラントの遠隔監視システム及びＷｅｂサーバ
CN115525265A (zh) 一种应用可视化开发方法、装置、电子设备和存储介质
CN117616740A (zh) Scada网页hmi系统
US11842116B2 (en) Screen data generating system, screen data generating method, and program
US12619207B2 (en) SCADA web HMI system
US7197434B1 (en) Method and system for processing graphics in a supervisory control system
BR112020022492B1 (pt) Dispositivo terminal hmi de interpretação híbrida
JP2001297015A (ja) 監視システム及びそれに用いる監視方法
CN118710795B (zh) 三维场景渲染方法、装置、设备及介质
WO2025120802A1 (ja) Ｓｃａｄａウェブｈｍｉシステム
JP2781411B2 (ja) グラフイックディスプレイ制御方法、及び計算機用ディスプレイ装置
CN121597208A (zh) 页面渲染方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019518317

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18938221

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112020022492

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112020022492

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20201104

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18938221

Country of ref document: EP

Kind code of ref document: A1