JP6034639B2 - Device information display device, device information display system, and device information display method - Google Patents

Device information display device, device information display system, and device information display method Download PDF

Info

Publication number
JP6034639B2
JP6034639B2 JP2012216583A JP2012216583A JP6034639B2 JP 6034639 B2 JP6034639 B2 JP 6034639B2 JP 2012216583 A JP2012216583 A JP 2012216583A JP 2012216583 A JP2012216583 A JP 2012216583A JP 6034639 B2 JP6034639 B2 JP 6034639B2
Authority
JP
Japan
Prior art keywords
information
image
display
unit
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012216583A
Other languages
Japanese (ja)
Other versions
JP2014071614A (en
Inventor
翔太 宮崎
翔太 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2012216583A priority Critical patent/JP6034639B2/en
Publication of JP2014071614A publication Critical patent/JP2014071614A/en
Application granted granted Critical
Publication of JP6034639B2 publication Critical patent/JP6034639B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ビル、工場、発電所、上下水等の設備監視において、設備内で監視対象となる機器の状態をモニタ等に表示する技術に関する。   The present invention relates to a technique for displaying the state of a device to be monitored in a facility on a monitor or the like in facility monitoring of buildings, factories, power plants, water and sewage.

特許文献１には、電力計や油圧計等の機器を監視カメラを用いて遠隔で監視するシステムが開示されている。このシステムは、監視室のタッチパネルモニタ上に表示される機器に対してタッチを伴うジェスチャ操作が行われると、そのジェスチャ操作に応じて機器を遠隔で制御する。   Patent Document 1 discloses a system for remotely monitoring devices such as a power meter and a hydraulic meter using a monitoring camera. In this system, when a gesture operation with a touch is performed on a device displayed on a touch panel monitor in a monitoring room, the device is remotely controlled in accordance with the gesture operation.

特開２００３−０６７０４８号公報Japanese Patent Laid-Open No. 2003-067048

ところで、特許文献１に開示のシステムでは、タッチパネル上に機器の状態を適切に表示する必要がある。
しかし、機器の種類、形状、機能が多くなると、タッチパネル上に機器の状態を適切に表示できない恐れがある。この結果、このシステムでは、遠隔で機器を適切に制御できなくなってしまう。
本発明の目的は、機器の種類、形状、機能に影響を受けずに、機器の状態を表示できるようにすることである。 By the way, in the system disclosed in Patent Document 1, it is necessary to appropriately display the state of the device on the touch panel.
However, when the types, shapes, and functions of devices increase, there is a possibility that the state of the device cannot be properly displayed on the touch panel. As a result, in this system, it becomes impossible to control devices remotely.
An object of the present invention is to enable display of the state of a device without being affected by the type, shape, and function of the device.

前記課題を解決するために、（１）本発明の一態様は、機器との通信によって当該機器の情報を取得する機器情報取得部と、前記機器情報取得部が取得した機器の情報とカメラによる撮影画像内の当該機器を識別するための識別用画像とが対応付けられて記憶される記憶部と、カメラによる撮影画像と前記識別用画像とを照合する照合部と、前記照合部が前記識別用画像を基に識別できた前記カメラによる撮影画像内の領域と、当該識別用画像に対応付けられている前記機器の情報とを対応付けて表示部に表示する表示処理部と、を有する機器情報表示装置を提供する。   In order to solve the above problems, (1) one aspect of the present invention is based on a device information acquisition unit that acquires information on a device by communication with the device, information on the device acquired by the device information acquisition unit, and a camera A storage unit that associates and stores an identification image for identifying the device in the captured image, a verification unit that collates the captured image by the camera and the identification image, and the verification unit performs the identification A display processing unit that associates an area in the image captured by the camera that can be identified based on the image for use with the information on the device associated with the identification image and displays the information on the display unit. An information display device is provided.

（２）本発明の一態様では、前記機器の情報は、機器の状態を示す値であり、前記表示処理部は、前記識別用画像に対応付けられている前記機器の状態を示す値が予め設定されている値に達した場合、前記機器の状態を示す値が予め設定されている値に達していない場合よりも識別性が高くなるように前記領域を表示部に表示することが好ましい。   (2) In one aspect of the present invention, the information on the device is a value indicating the state of the device, and the display processing unit has a value indicating the state of the device associated with the identification image in advance. When the set value is reached, it is preferable to display the area on the display unit so that the value indicating the state of the device is higher than the case where the value does not reach the preset value.

（３）本発明の一態様では、機器との通信によって当該機器の情報を取得する機器情報取得ステップと、前記機器情報取得ステップで取得した機器の情報とカメラによる撮影画像内の当該機器を識別するための識別用画像とが対応付けられて記憶部に記憶される記憶ステップと、カメラによる撮影画像と前記識別用画像とを照合する照合ステップと、前記照合ステップで前記識別用画像を基に識別できた前記カメラによる撮影画像内の領域と、当該識別用画像に対応付けられている前記機器の情報とを対応付けて表示部に表示する表示処理ステップと、を有することが好ましい。   (3) In one aspect of the present invention, a device information acquisition step for acquiring information on the device by communication with the device, and information on the device acquired in the device information acquisition step and the device in the image captured by the camera are identified. A storage step in which the image for identification for matching is stored in the storage unit, a collation step for collating the image captured by the camera with the image for identification, and based on the image for identification in the collation step It is preferable to include a display processing step of displaying an area in a captured image obtained by the camera that can be identified and information on the device associated with the identification image in association with each other on the display unit.

（４）本発明の一態様では、前記機器の情報は、機器の状態を示す値であり、前記表示処理ステップは、前記識別用画像に対応付けられている前記機器の状態を示す値が予め設定されている値に達した場合、前記機器の状態を示す値が予め設定されている値に達していない場合よりも識別性が高くなるように前記領域を表示部に表示することが好ましい。   (4) In one aspect of the present invention, the information on the device is a value indicating the state of the device, and in the display processing step, the value indicating the state of the device associated with the image for identification is stored in advance. When the set value is reached, it is preferable to display the area on the display unit so that the value indicating the state of the device is higher than the case where the value does not reach the preset value.

（５）本発明の一態様では、カメラと、機器との通信によって当該機器の情報を取得する機器情報取得部と、前記機器情報取得部が取得した機器の情報と前記カメラによる撮影画像内の当該機器を識別するための識別用画像とが対応付けられて記憶される記憶部と、前記カメラによる撮影画像と前記識別用画像とを照合する照合部と、前記照合部が前記識別用画像を基に識別できた前記カメラによる撮影画像内の領域と、当該識別用画像に対応付けられている前記機器の情報とを対応付けて表示部に表示する表示処理部と、を有することが好ましい。   (5) In one aspect of the present invention, a device, a device information acquisition unit that acquires information on the device by communication with the device, information on the device acquired by the device information acquisition unit, and an image captured by the camera A storage unit in which an identification image for identifying the device is associated and stored, a collation unit that collates an image captured by the camera and the identification image, and the collation unit stores the identification image. It is preferable to include a display processing unit that associates and displays the region in the image captured by the camera that can be identified based on the information on the device associated with the identification image on the display unit.

本発明によれば、記憶部に記憶してある機器の情報を表示部に表示することで、機器の種類、形状、機能の影響を受けずに、機器の情報を表示できる。   According to the present invention, by displaying the device information stored in the storage unit on the display unit, the device information can be displayed without being affected by the type, shape, and function of the device.

本実施形態に係る設備監視制御システムの構成例を示す図である。It is a figure which shows the structural example of the equipment monitoring control system which concerns on this embodiment. 機器Ａの構成例を示す図である。3 is a diagram illustrating a configuration example of a device A. FIG. 機器Ｂの構成例を示す図である。4 is a diagram illustrating a configuration example of a device B. 機器データベースに登録されている各機器の機器情報の一例を示す図である。It is a figure which shows an example of the apparatus information of each apparatus registered into the apparatus database. 設備監視制御システムにおけるパターンマッチング処理の一例を示す図である。It is a figure which shows an example of the pattern matching process in an equipment monitoring control system. 設備監視制御システムにおける機器の状態表示のための処理の一例を示す図である。It is a figure which shows an example of the process for the status display of an apparatus in an equipment monitoring control system. 設備監視制御システムにおける、画像記録装置に既に記録されている過去の撮影画像を用いた機器の状態表示のための処理の一例を示す図である。It is a figure which shows an example of the process for the apparatus status display using the past picked-up image already recorded on the image recording device in an equipment monitoring control system. カメラの撮影によって得た機器Ａ及び機器Ｂの撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image of the apparatus A and the apparatus B obtained by imaging | photography of the camera. 画像処理部が、認識領域を撮影画像に描画して生成した画像の一例を示す図である。It is a figure which shows an example of the image which the image process part produced | generated by drawing a recognition area on a picked-up image. 画像内の機器Ａの識別領域に対応付けて当該機器Ａの情報を重畳表示する一例を示す図である。It is a figure which shows an example which superimposes and displays the information of the said apparatus A corresponding to the identification area | region of the apparatus A in an image. 画像内の機器Ｂの識別領域に対応付けて当該機器Ｂの情報を重畳表示する一例を示す図である。It is a figure which shows an example which superimposes and displays the information of the said apparatus B matched with the identification area | region of the apparatus B in an image. 機器Ａ及び機器Ｂの情報を一括表示させる一例を示す図である。It is a figure which shows an example which displays the information of the apparatus A and the apparatus B collectively. 機器Ａ及び機器Ｂの情報の共通項目を一括表示させる一例を示す図である。It is a figure which shows an example which displays the common item of the information of the apparatus A and the apparatus B collectively.

本発明の実施形態を図面を参照しつつ説明する。
本実施形態では、設備監視制御システムを挙げている。
図１には、本実施形態に係る設備監視制御システム１の構成例を示す。
図１に示すように、設備監視制御システム１は、監視対象設備１０及び監視制御設備４０を有している。そして、設備監視制御システム１では、監視対象設備１０と監視制御設備４０とはインターネット、ＬＡＮ（Local Area Network）等のネットワーク６０を介して通信可能に接続されている。 Embodiments of the present invention will be described with reference to the drawings.
In this embodiment, an equipment monitoring control system is cited.
In FIG. 1, the structural example of the equipment monitoring control system 1 which concerns on this embodiment is shown.
As shown in FIG. 1, the facility monitoring control system 1 includes a monitoring target facility 10 and a monitoring control facility 40. In the facility monitoring control system 1, the monitoring target facility 10 and the monitoring control facility 40 are communicably connected via a network 60 such as the Internet or a LAN (Local Area Network).

ここで、監視対象設備１０は、カメラ１１、ネットワークスイッチ１２、機器Ａ２０、及び機器Ｂ３０を有している。各機器２０，３０は、設定値、閾値等が設定可能とされ計測値を表示することができる機器である。例えば、各機器２０，３０は、電力計や圧力計、温度計等である。カメラ１１は、監視対象として各機器２０，３０の様子を撮影する。そして、カメラ１１は、撮影によって得た撮影画像（又はカメラ映像）をネットワーク６０を介して監視制御設備４０に伝送する。   Here, the monitoring target facility 10 includes a camera 11, a network switch 12, a device A20, and a device B30. Each of the devices 20 and 30 is a device that can set a set value, a threshold value, and the like and can display a measured value. For example, each device 20 and 30 is a power meter, a pressure gauge, a thermometer, or the like. The camera 11 captures the state of each device 20 and 30 as a monitoring target. Then, the camera 11 transmits a captured image (or camera video) obtained by photographing to the monitoring control facility 40 via the network 60.

図２には、機器Ａ２０の構成例を示す。
図２に示すように、機器Ａ２０は、記号２１、温度メータ２２、圧力メータ２３、及びバルブスイッチ２４を有している。ここで、記号２１は、機器Ａ２０を表す記号（すなわち、識別記号）である。この機器Ａ２０は、ネットワーク６０を介して監視制御設備４０の制御装置５０による遠隔制御が可能になっている。 FIG. 2 shows a configuration example of the device A20.
As shown in FIG. 2, the device A <b> 20 includes a symbol 21, a temperature meter 22, a pressure meter 23, and a valve switch 24. Here, the symbol 21 is a symbol (that is, an identification symbol) representing the device A20. The device A20 can be remotely controlled by the control device 50 of the monitoring control facility 40 via the network 60.

また、図３には、機器Ｂ３０の構成例を示す。
図３に示すように、機器Ｂ３０は、温度メータ３１、圧力メータ３２、温度閾値スライダ３３、及び圧力閾値ダイヤル３４を有している。ここで、温度閾値スライダ３３は、温度の閾値を設定するためのスライダである。また、圧力閾値ダイヤル３４は、圧力の閾値を設定するためのダイヤルである。この機器Ｂ３０は、ネットワーク６０を介して監視制御設備４０の制御装置５０による遠隔制御が可能になっている。 FIG. 3 shows a configuration example of the device B30.
As illustrated in FIG. 3, the device B30 includes a temperature meter 31, a pressure meter 32, a temperature threshold slider 33, and a pressure threshold dial 34. Here, the temperature threshold slider 33 is a slider for setting a temperature threshold. The pressure threshold dial 34 is a dial for setting a pressure threshold. The device B30 can be remotely controlled by the control device 50 of the monitoring control facility 40 via the network 60.

監視制御設備４０は、ネットワークスイッチ４１、操作端末４２、表示装置４３、画像記録装置４４、及び制御装置５０を有している。
ここで、制御装置５０は、画像処理や監視対象設備１０の各機器２０，３０の制御を行う。そのために、制御装置５０は、通信Ｉ／Ｆ（インターフェース）５１、画像送受信部５２、画像処理部５３、制御部５４、及び機器データベース５５を有している。この制御装置５０は、例えばサーバである。 The monitoring control facility 40 includes a network switch 41, an operation terminal 42, a display device 43, an image recording device 44, and a control device 50.
Here, the control device 50 performs image processing and control of the devices 20 and 30 of the monitoring target facility 10. For this purpose, the control device 50 includes a communication I / F (interface) 51, an image transmission / reception unit 52, an image processing unit 53, a control unit 54, and a device database 55. The control device 50 is a server, for example.

ここで、機器データベース５５には、各機器２０，３０の情報（以下、機器情報という。）が登録されている。
図４には、機器データベース５５に登録されている各機器２０，３０の機器情報の一例を示す。 Here, in the device database 55, information of each device 20, 30 (hereinafter referred to as device information) is registered.
FIG. 4 shows an example of the device information of each device 20 and 30 registered in the device database 55.

図４に示すように、機器データベース５５には、各機器２０，３０の機器情報として、「機器名称」、「登録画像（「パターン画像」ともいう。）」、「操作／表示部種類」、「制御項目」、「時刻」、及び「状態」の情報が記憶されている。本実施形態では、「機器名称」の情報として、各機器２０，３０に対応する「機器Ａ」や「機器Ｂ」が記憶されている。また、「登録画像」の情報は、カメラ１１の撮影画像内の機器を識別するための識別用画像の情報である。本実施形態では、「登録画像」の情報として、機器Ａ２０を表す記号や機器Ｂ３０の外観画像が記憶されている。また、「操作／表示部種類」の情報は、機器の操作部や表示部の種類の情報である。本実施形態では、「操作／表示部種類」の情報として、「メータ」、「スイッチ」、「スライダ」、又は「ダイヤル」が記憶されている。また、「制御項目」の情報は、機器において制御又は操作が可能な項目の情報である。本実施形態では、「制御項目」の情報として、「温度」、「圧力」、「バルブ開閉」、「温度閾値」、又は「圧力閾値」の情報が記憶されている。また、「状態」の情報は、そのような制御項目（圧力、温度、電力等）の機器の設定状態や測定状態の情報である。また、「時刻」の情報は、そのような設定状態（例えば設定値）や測定状態（例えば測定値）を得た時刻の情報である。ここで、「状態」の情報は、制御部５４によって画像記録装置４４に記録される撮影画像データ及び時刻の情報と関連付けされて（又は紐付けされて）定期的に更新又は追加される。   As shown in FIG. 4, the device database 55 includes “device name”, “registered image (also referred to as“ pattern image ”)”, “operation / display unit type”, as device information of each device 20, 30. Information on “control item”, “time”, and “state” is stored. In the present embodiment, “device A” and “device B” corresponding to the devices 20 and 30 are stored as information of “device name”. Further, the “registered image” information is information on an identification image for identifying a device in a captured image of the camera 11. In the present embodiment, a symbol representing the device A20 and an appearance image of the device B30 are stored as the “registered image” information. The “operation / display unit type” information is information on the type of the operation unit and display unit of the device. In the present embodiment, “meter”, “switch”, “slider”, or “dial” is stored as “operation / display unit type” information. The information of “control item” is information of an item that can be controlled or operated in the device. In the present embodiment, information on “temperature”, “pressure”, “valve opening / closing”, “temperature threshold”, or “pressure threshold” is stored as information on “control item”. Also, the “state” information is information on the setting state and measurement state of the device for such control items (pressure, temperature, power, etc.). The “time” information is information on the time when such a setting state (for example, a set value) or a measurement state (for example, a measured value) is obtained. Here, the “state” information is periodically updated or added in association with (or associated with) the captured image data and time information recorded in the image recording device 44 by the control unit 54.

また、図示しないが、機器データベース５５には、「操作／表示部種類」又は「制御項目」に対応付けて、機器の操作部（スイッチ、スライダ、ダイヤル等）を直接制御（バルブ開閉、閾値変更等を制御）するための情報（以下、機器制御用情報という。）が記憶されている。   Although not shown, the device database 55 directly controls the operation unit (switch, slider, dial, etc.) of the device in association with the “operation / display unit type” or “control item” (valve opening / closing, threshold change). Etc.) (hereinafter referred to as device control information) is stored.

なお、機器データベース５５は、制御装置５０ではない別のサーバに格納されていても良い。また、機器の状態の情報は、機器データベース５５から独立して記憶されていても良く、例えば、機器データベース５５とは別のデータベース（例えば、状態情報データベース）に記憶されていても良い。   The device database 55 may be stored in another server that is not the control device 50. Further, the device status information may be stored independently from the device database 55, for example, may be stored in a database (for example, a status information database) different from the device database 55.

画像送受信部５２は、通信Ｉ／Ｆ５１を介して画像の送受信を行う。例えば、本実施形態では、画像送受信部５２は、ネットワーク６０を介して監視対象設備１０からの撮影画像を受信すると、受信した撮影画像を制御部５４に送信する。
制御部５４は、制御装置５０において各種の制御を行う。例えば、制御部５４は、監視対象設備１０の各機器２０，３０を制御するための制御指令を通信Ｉ／Ｆ５１を介して当該監視対象設備１０に送信する。また、例えば、制御部５４は、ネットワーク６０を介して監視対象設備１０から伝送されてきた撮影画像（すなわち、画像送受信部５２から送信されてきた撮影画像）に対して時刻を付与する。ここでいう時刻は、撮影時刻であり、機器の設定状態等と関連付けするための時刻である。そして、制御部５４は、時刻を付与した撮影画像を画像記録装置４４や画像処理部５３に送信する。また、制御部５４は、画像処理部５３から後述の認識領域が送信されてくると、その認識領域を保持する。 The image transmission / reception unit 52 transmits / receives an image via the communication I / F 51. For example, in the present embodiment, when the image transmission / reception unit 52 receives a captured image from the monitoring target facility 10 via the network 60, the image transmission / reception unit 52 transmits the received captured image to the control unit 54.
The control unit 54 performs various controls in the control device 50. For example, the control unit 54 transmits a control command for controlling the devices 20 and 30 of the monitoring target facility 10 to the monitoring target facility 10 via the communication I / F 51. Further, for example, the control unit 54 gives time to a captured image transmitted from the monitoring target facility 10 via the network 60 (that is, a captured image transmitted from the image transmitting / receiving unit 52). The time here is a photographing time, and is a time for associating with a setting state of the device. Then, the control unit 54 transmits the captured image to which the time is given to the image recording device 44 and the image processing unit 53. Further, when a later-described recognition region is transmitted from the image processing unit 53, the control unit 54 holds the recognition region.

画像処理部５３は、パターンマッチング処理及びパターンマッチング処理結果に基づく描画処理を行う。具体的には、画像処理部５３は、時刻が付与された撮影画像を制御部５４から受信すると、機器データベース５５から登録画像を読み出す。そして、画像処理部５３は、制御部５４からの撮影画像と機器データベース５５から読み出した登録画像とについてパターンマッチングを行い、撮影画像内で登録画像に合致する画像を検索する。そして、画像処理部５３は、撮影画像内で登録画像に合致する画像が有ることを認識すると、その認識領域（すなわち、マッチング結果）を制御部５４に送信する。また、画像処理部５３は、その認識領域を撮影画像に描画する。そして、認識領域が描画された撮影画像は、操作端末４２に送信される。また、認識領域は、別途、操作端末４２及び機器データベース５５に送信される。   The image processing unit 53 performs a pattern matching process and a drawing process based on the pattern matching process result. Specifically, the image processing unit 53 reads a registered image from the device database 55 when receiving a photographed image to which time is given from the control unit 54. Then, the image processing unit 53 performs pattern matching on the captured image from the control unit 54 and the registered image read from the device database 55, and searches the captured image for an image that matches the registered image. Then, when recognizing that there is an image that matches the registered image in the captured image, the image processing unit 53 transmits the recognition area (that is, the matching result) to the control unit 54. Further, the image processing unit 53 draws the recognition area on the captured image. Then, the captured image on which the recognition area is drawn is transmitted to the operation terminal 42. Further, the recognition area is separately transmitted to the operation terminal 42 and the device database 55.

このとき、画像処理部５３は、機器の状態に応じてその描画方法を決定しても良い。この場合、例えば、機器データベース５５には、機器情報として、状態の情報に対応付けられて閾値が記憶されている。これによって、画像処理部５３は、機器データベース５５から機器情報として状態の情報（例えば測定値）と当該状態の情報に対応付けられている閾値とを取得し、状態の情報と閾値とを比較して機器（すなわち機器の状態）の正常及び異常を判定する。そして、画像処理部５３は、その判定結果を基に描画方法を決定する。例えば、画像処理部５３は、状態の情報（例えば測定値）が閾値に達していない正常の判定結果であれば、認識領域を青色で描画する。また、画像処理部５３は、状態の情報（例えば測定値）が閾値に達した異常の判定結果であれば認識領域を赤色で描画する。   At this time, the image processing unit 53 may determine the drawing method according to the state of the device. In this case, for example, the device database 55 stores threshold values associated with state information as device information. Thereby, the image processing unit 53 acquires state information (for example, a measured value) as device information from the device database 55 and a threshold value associated with the state information, and compares the state information with the threshold value. Determine whether the device (ie, the device status) is normal or abnormal. Then, the image processing unit 53 determines a drawing method based on the determination result. For example, the image processing unit 53 draws the recognition region in blue if the state information (for example, the measured value) is a normal determination result that does not reach the threshold value. In addition, the image processing unit 53 draws the recognition area in red if the state information (for example, the measurement value) reaches the threshold and is an abnormality determination result.

画像記録装置４４は、ネットワーク６０を介して監視対象設備１０から伝送されてきた撮影画像を記録する。このとき、画像記録装置４４は、制御部５４によって関連付けがなされた時刻とともに撮影画像を記録する。この画像記録装置４４は、例えばサーバである。また、画像記録装置４４は、制御装置５０と１つのサーバ内に構築されていても良い。   The image recording device 44 records a captured image transmitted from the monitoring target facility 10 via the network 60. At this time, the image recording device 44 records the captured image together with the time associated by the control unit 54. The image recording device 44 is a server, for example. Further, the image recording device 44 may be built in the control device 50 and one server.

操作端末４２は、マウス等のポインティングデバイスやキーボード等の情報入力部を有するコンピュータである。この操作端末４２は、種々の操作画面や制御装置５０から送信されてくる撮影画像を表示装置４３に表示する。ここで、表示装置４３は、タッチパネル式の表示装置でも良い。   The operation terminal 42 is a computer having a pointing device such as a mouse and an information input unit such as a keyboard. The operation terminal 42 displays various operation screens and captured images transmitted from the control device 50 on the display device 43. Here, the display device 43 may be a touch panel type display device.

次に、設備監視制御システム１における一連の処理に沿って、設備監視制御システム１を構成する各部における処理内容をさらに詳しく説明する。図５には、設備監視制御システム１におけるパターンマッチング処理の一例を示す。また、図６には、設備監視制御システム１における機器の状態表示のための処理の一例を示す。また、図７には、設備監視制御システム１における、画像記録装置４４に既に記録されている過去の撮影画像（以下、記録画像）を用いた機器の状態表示のための処理の一例を示す。   Next, the processing content in each part which comprises the equipment monitoring control system 1 is demonstrated further in detail along a series of processes in the equipment monitoring control system 1. FIG. In FIG. 5, an example of the pattern matching process in the equipment monitoring control system 1 is shown. FIG. 6 shows an example of processing for displaying the device status in the equipment monitoring control system 1. FIG. 7 shows an example of processing for device status display using past photographed images (hereinafter, recorded images) already recorded in the image recording device 44 in the equipment monitoring control system 1.

先ず、図５を用いてパターンマッチング処理について説明する。
カメラ１１は、撮影画像をネットワーク６０を介して監視制御設備４０に伝送する（ステップＳ１）。
監視制御設備４０では、カメラ１１からの撮影画像を制御装置５０の画像送受信部５２が受信すると、制御装置５０の制御部５４が、機器の状態と関連付けるための時刻（すなわち、撮影時刻）をその撮影画像に対して付与する（ステップＳ２）。そして、制御部５４は、時刻を付与した撮影画像を画像記録装置４４及び画像処理部５３に送信する（ステップＳ３、ステップＳ４）。 First, the pattern matching process will be described with reference to FIG.
The camera 11 transmits the captured image to the monitoring control facility 40 via the network 60 (step S1).
In the monitoring and control facility 40, when the image transmission / reception unit 52 of the control device 50 receives the captured image from the camera 11, the control unit 54 of the control device 50 sets the time (that is, the imaging time) for associating it with the state of the device. It is given to the captured image (step S2). And the control part 54 transmits the picked-up image which provided time to the image recording apparatus 44 and the image process part 53 (step S3, step S4).

画像記録装置４４は、制御部５４から送信されてきた撮影画像（すなわち、時刻が付与されている撮影画像）を記録する（ステップＳ５）。
また、画像処理部５３は、撮影画像が送信されてくると、機器データベース５５から登録画像を読み出す（ステップＳ６）。そして、画像処理部５３は、撮影画像と登録画像とについてパターンマッチング処理を行い、撮影画像内で登録画像に合致する画像を検索する（ステップＳ７）。そして、画像処理部５３は、撮影画像内で登録画像に合致する画像が有ることを認識すると、その認識領域（すなわち、マッチング結果）を撮影画像に描画する。また、画像処理部５３は、認識領域を制御部５４及び機器データベース５５に送信する（ステップＳ８、ステップＳ９）。 The image recording device 44 records the captured image (that is, the captured image to which the time is given) transmitted from the control unit 54 (step S5).
Further, when the captured image is transmitted, the image processing unit 53 reads the registered image from the device database 55 (step S6). Then, the image processing unit 53 performs pattern matching processing on the captured image and the registered image, and searches for an image that matches the registered image in the captured image (step S7). Then, when recognizing that there is an image that matches the registered image in the captured image, the image processing unit 53 draws the recognition area (that is, the matching result) on the captured image. Further, the image processing unit 53 transmits the recognition area to the control unit 54 and the device database 55 (Steps S8 and S9).

制御部５４は、送信されてきた認識領域を保持する（ステップＳ１０）。その後、制御部５４は、操作端末４２が操作されるのを待つ。
図８及び図９には、撮影画像の一例を示す。図８は、認識領域を描画する前の撮影画像を示す図である。また、図９は、画像処理部５３が、認識領域を撮影画像に描画して生成した画像（以下、認識領域描画画像という。）を示す図である。 The control unit 54 holds the transmitted recognition area (step S10). Thereafter, the control unit 54 waits for the operation terminal 42 to be operated.
8 and 9 show examples of captured images. FIG. 8 is a diagram illustrating a captured image before the recognition area is drawn. FIG. 9 is a diagram illustrating an image (hereinafter referred to as a recognition area drawing image) generated by the image processing unit 53 drawing a recognition area on a captured image.

ここで、図８に示す画像の例は、カメラ１１の撮影画像中から機器Ａ２０及び機器Ｂ３０が映る画像部分だけをそれぞれ抜き取り、抜き取ったそれら機器Ａ２０及び機器Ｂ３０の画像１００，１１０を並べて配置している例である。これによって、使用者は、一画面内の各機器の画像１００，１１０を基に、複数の機器の状態を確認できるようになる。   Here, in the example of the image shown in FIG. 8, only the image portions in which the device A20 and the device B30 are shown are extracted from the captured image of the camera 11, and the extracted images 100 and 110 of the device A20 and the device B30 are arranged side by side. This is an example. As a result, the user can check the status of a plurality of devices based on the images 100 and 110 of each device in one screen.

そして、図９に示すように、画像処理部５３は、パターンマッチング処理によって撮影画像内で登録画像に合致する画像が有ることを認識すると、その合致した画像上に太線等の枠等によって認識領域１０１，１１１を描画する。このとき、前述のように、画像処理部５３は、機器の状態に応じた描画を行う場合、先ず、機器データベース５５から、状態の情報（例えば測定値）と当該状態の情報に対応する閾値とを機器情報として取得する（ステップＳ１１）。次に、画像処理部５３は、それら状態の情報と閾値とを比較して機器（すなわち機器の状態）の正常及び異常を判定する（ステップＳ１２）。そして、画像処理部５３は、その判定結果を基に描画方法を決定する（ステップＳ１３）。例えば、画像処理部５３は、状態の情報が閾値に達していない正常の判定結果であれば認識領域１０１，１１１を青色で描画する。また、画像処理部５３は、状態の情報が閾値に達した異常の判定結果であれば認識領域１０１，１１１を赤色で描画する。   Then, as shown in FIG. 9, when the image processing unit 53 recognizes that there is an image that matches the registered image in the captured image by the pattern matching process, the recognition region is indicated by a thick line or the like on the matched image. 101 and 111 are drawn. At this time, as described above, when the image processing unit 53 performs drawing according to the state of the device, first, from the device database 55, the state information (for example, the measured value) and the threshold value corresponding to the state information, As device information (step S11). Next, the image processing unit 53 compares the state information with the threshold value to determine whether the device (that is, the device state) is normal or abnormal (step S12). Then, the image processing unit 53 determines a drawing method based on the determination result (step S13). For example, the image processing unit 53 draws the recognition areas 101 and 111 in blue if the state information is a normal determination result that does not reach the threshold value. Further, the image processing unit 53 draws the recognition areas 101 and 111 in red if the state information reaches the threshold and the abnormality determination result.

制御装置５０は、このように画像処理部５３が生成した認識領域描画画像を操作端末４２に送信する（ステップＳ１４）。このとき、制御装置５０は、画像処理部５３によって取得した認識領域も操作端末４２に送信する（ステップＳ１４）。
操作端末４２は、制御装置５０から送信されてきた認識領域描画画像を表示装置４３に表示する（ステップＳ１５）。そして、操作端末４２は、情報入力部等によって認識領域が選択されるのを待つ。ここで、情報入力部等による選択とは、キーボードを用いたカーソルの位置合わせによる選択、マウスによるクリック、長押し、プルダウンメニュー表示による選択、及びタッチパネルへのタッチによる選択等である。 The control device 50 transmits the recognition area drawing image thus generated by the image processing unit 53 to the operation terminal 42 (step S14). At this time, the control device 50 also transmits the recognition area acquired by the image processing unit 53 to the operation terminal 42 (step S14).
The operation terminal 42 displays the recognition area drawing image transmitted from the control device 50 on the display device 43 (step S15). Then, the operation terminal 42 waits for the recognition area to be selected by the information input unit or the like. Here, the selection by the information input unit or the like includes selection by cursor alignment using a keyboard, click by mouse, long press, selection by pull-down menu display, selection by touch on the touch panel, and the like.

次に、図６を用いて、操作端末４２において認識領域が情報入力部等によって選択されたときの機器の状態表示のための処理について説明する。
操作端末４２は、図９に示すような認識領域が情報入力部等によって選択されると、その選択情報を制御装置５０に送信する（ステップＳ３１、ステップＳ３２）。 Next, a process for displaying the status of the device when the recognition area is selected by the information input unit or the like on the operation terminal 42 will be described with reference to FIG.
When the recognition area as shown in FIG. 9 is selected by the information input unit or the like, the operation terminal 42 transmits the selection information to the control device 50 (steps S31 and S32).

制御装置５０は、操作端末４２から選択情報が送信されてくると、制御部５４によって当該選択情報に対応する機器情報を機器データベース５５から読み出す（ステップＳ３３）。
ここで、操作端末４２は、認識領域が情報入力部等によって選択されると、その選択情報として、選択された認識領域データを制御装置５０に送信している。そして、制御装置５０では、選択情報としての認識領域データが送信されてくると、制御部５４が、送信されてきた認識領域データと自己が保持している認識領域データとを比較して、互いに合致する認識領域データを特定する。そして、制御部５４は、特定した認識領域データに対応する、すなわち、認識領域データを得た登録画像が対応付けられている機器情報（機器制御用情報も含めた機器情報）を機器データベース５５から読み出す。そして、制御装置５０は、制御部５４が読み出した機器情報を操作端末４２に送信する（ステップＳ３４）。 When the selection information is transmitted from the operation terminal 42, the control device 50 reads out device information corresponding to the selection information from the device database 55 by the control unit 54 (step S33).
Here, when the recognition area is selected by the information input unit or the like, the operation terminal 42 transmits the selected recognition area data to the control device 50 as the selection information. In the control device 50, when the recognition area data as selection information is transmitted, the control unit 54 compares the transmitted recognition area data with the recognition area data held by itself, and Identify matching recognition area data. Then, the control unit 54 retrieves device information (device information including device control information) corresponding to the identified recognition region data, that is, associated with the registered image from which the recognition region data is obtained from the device database 55. read out. And the control apparatus 50 transmits the apparatus information which the control part 54 read to the operation terminal 42 (step S34).

操作端末４２は、制御装置５０から機器情報が送信されてくると、図１０及び図１１に一例として示すように、その機器情報を認識領域描画画像に重畳する（ステップＳ３５）。これによって、例えば、操作端末４２は、機器Ａ２０の認識領域（すなわち記号）が情報入力部等によって選択されたときに、図１０に示すように、機器Ａ２０の機器情報である機器Ａ２０の操作／表示部種類、制御項目及び状態を含む表１０２を認識領域描画画像に重畳して表示装置４３に表示（例えば、ポップアップ表示）する。また、操作端末４２は、機器Ｂ３０の認識領域（すなわち機器Ｂ３０の表示領域の何れか）が情報入力部等によって選択されたときに、図１１に示すように、機器Ｂ３０の機器情報である機器Ｂ３０の操作／表示部種類、制御項目及び状態を含む表１１２を認識領域描画画像に重畳して表示装置４３に表示（例えば、ポップアップ表示）する。   When the device information is transmitted from the control device 50, the operation terminal 42 superimposes the device information on the recognition area drawing image as shown as an example in FIGS. 10 and 11 (step S35). Thereby, for example, when the recognition area (that is, the symbol) of the device A20 is selected by the information input unit or the like, the operation terminal 42 performs the operation / operation of the device A20 that is the device information of the device A20 as illustrated in FIG. The table 102 including the display unit type, the control item, and the state is superimposed on the recognition area drawing image and displayed on the display device 43 (for example, pop-up display). Further, when the recognition area of the device B30 (that is, one of the display areas of the device B30) is selected by the information input unit or the like, the operation terminal 42 is a device that is device information of the device B30 as illustrated in FIG. The table 112 including the operation / display unit type, control item, and state of B30 is superimposed on the recognition area drawing image and displayed on the display device 43 (for example, pop-up display).

そして、操作端末４２は、図１０や図１１に示すように認識領域描画画像に重畳表示されている表１０２，１１２内の操作／表示部種類の情報となる操作部（スイッチ、スライダ、ダイヤル等）の項目（行）が情報入力部等によって選択されると、その操作部を直接制御（バルブ開閉、閾値変更等）するための機器制御用情報（例えば設定値等）をサブメニューとして表示（例えば、ポップアップ表示）する（ステップＳ３６）。そして、操作端末４２は、サブメニューにて機器制御用情報の例えば設定値が選択されると、制御装置５０に選択された設定値を制御装置５０に送信する（ステップＳ３７、ステップＳ３８）。   Then, the operation terminal 42 is an operation unit (switch, slider, dial, etc.) that becomes information of the operation / display unit type in the tables 102 and 112 superimposed and displayed on the recognition area drawing image as shown in FIGS. ) Item (line) is selected by the information input unit or the like, device control information (for example, setting values) for directly controlling the operation unit (valve opening / closing, threshold change, etc.) is displayed as a submenu ( For example, a pop-up display) is performed (step S36). Then, when, for example, a setting value of the device control information is selected in the submenu, the operation terminal 42 transmits the setting value selected by the control device 50 to the control device 50 (steps S37 and S38).

制御装置５０（具体的には制御部５４）は、操作端末４２から設定値が送信されてくると、その設定値に基づき機器を設定（すなわち、設定値を機器に反映）する（ステップＳ３９）。このとき、制御装置５０は、ネットワーク６０を介して遠隔制御によって機器に設定値を設定する。そして、制御装置５０は、設定値を基に機器を正常に設定できたとき、機器データベース５５の設定値（すなわち、状態の情報）を更新する（ステップＳ４０、ステップＳ４１）。具体的には、機器は、設定値に正常に設定できると、設定完了通知を制御装置５０の制御部５４に送信する（ステップＳ４０）。制御装置５０は、機器からの設定完了通知を受信すると、機器データベース５５の設定値を更新する（ステップＳ４１）。さらに、制御装置５０は、その設定完了通知を操作端末４２に送信する（ステップＳ４２）。   When the setting value is transmitted from the operation terminal 42, the control device 50 (specifically, the control unit 54) sets a device based on the setting value (that is, reflects the setting value in the device) (step S39). . At this time, the control device 50 sets a setting value for the device by remote control via the network 60. Then, when the device can be normally set based on the set value, the control device 50 updates the set value (that is, state information) in the device database 55 (step S40, step S41). Specifically, when the device can normally set the setting value, the device transmits a setting completion notification to the control unit 54 of the control device 50 (step S40). Upon receiving the setting completion notification from the device, the control device 50 updates the setting value in the device database 55 (step S41). Furthermore, the control device 50 transmits the setting completion notification to the operation terminal 42 (step S42).

操作端末４２は、制御装置５０からの設定完了通知を受信すると、表示装置４３に設定完了した旨を表示する（ステップＳ４３）。
次に、図７を用いて設備監視制御システム１における、記録画像を用いた機器の状態表示のための処理について説明する。 When receiving the setting completion notification from the control device 50, the operation terminal 42 displays a message indicating that the setting has been completed on the display device 43 (step S43).
Next, processing for displaying the status of the equipment using the recorded image in the equipment monitoring control system 1 will be described with reference to FIG.

ここで、登録画像は、予め取得されており、制御装置５０又は個別のサーバが保持している機器データベース５５にそれぞれの機器に対応付けて登録されているものとする。また、機器データベース５５では、機器の状態（温度、油圧等の値)が常に（定期的に）更新されているものとする。また、機器データベース５５には、機器情報として、機器の過去の状態も記録されているものとする。また、カメラ１１からの撮影画像は、画像記録装置４４に常時記録されていくものとする。さらに、その画像記録装置４４に記録された画像には、当該画像に付与された時刻と機器の状態とが関連付けられているものとする。   Here, it is assumed that the registered image is acquired in advance and registered in association with each device in the device database 55 held by the control device 50 or an individual server. In the device database 55, it is assumed that the device state (values such as temperature and hydraulic pressure) is constantly updated (periodically). In the device database 55, it is assumed that the past state of the device is also recorded as device information. In addition, the photographed image from the camera 11 is always recorded in the image recording device 44. Furthermore, it is assumed that the time recorded in the image and the state of the device are associated with the image recorded in the image recording device 44.

そして、以上のような前提において、操作端末４２が操作されて画像記録装置４４の記録画像の再生指示がなされたとする（ステップＳ６１）。本実施形態では、その再生指示において複数有るカメラのうちの一のカメラ（すなわち、複数有る記録画像のうちの記録画像）が指定され、さらに、記録画像中の再生する時間帯が指定されたとする。操作端末４２は、このような再生指示によって、指定されたカメラ（すなわち、指定された記録画像）の情報、及び再生時間帯の情報を画像記録装置４４に送信する（ステップＳ６２）。   Then, on the premise as described above, it is assumed that the operation terminal 42 is operated and an instruction to reproduce the recorded image of the image recording device 44 is given (step S61). In this embodiment, it is assumed that one of a plurality of cameras (that is, a recorded image of a plurality of recorded images) is designated in the reproduction instruction, and further, a time zone for reproduction in the recorded image is designated. . In response to such a reproduction instruction, the operation terminal 42 transmits information on the designated camera (that is, designated recording image) and information on the reproduction time zone to the image recording device 44 (step S62).

画像記録装置４４は、操作端末４２からの再生指示の情報に基づき、対応する記録画像（すなわち、再生指示のあった記録画像中の指示された時間帯の画像）を制御装置５０に送信する（ステップＳ６３）。制御装置５０では、記録画像を受信すると、画像処理部５３が、機器データベース５５から登録画像を読み出す（ステップＳ６４）。そして、画像処理部５３は、記録画像と登録画像とについてパターンマッチング処理を行い、記録画像内で登録画像に合致する画像を検索する（ステップＳ６５）。そして、画像処理部５３は、記録画像内で登録画像に合致する画像が有ることを認識すると、その認識領域（すなわち、マッチング結果）を記録画像に描画する（ステップＳ６９〜ステップＳ７１）。また、画像処理部５３は、その認識領域を制御部５４及び機器データベース５５に送信する（ステップＳ６６、ステップＳ６７）。   Based on the information of the reproduction instruction from the operation terminal 42, the image recording device 44 transmits the corresponding recorded image (that is, the image in the designated time zone in the recorded image for which the reproduction instruction has been given) to the control device 50 ( Step S63). In the control device 50, when the recorded image is received, the image processing unit 53 reads the registered image from the device database 55 (step S64). Then, the image processing unit 53 performs pattern matching processing on the recorded image and the registered image, and searches for an image that matches the registered image in the recorded image (step S65). Then, when recognizing that there is an image that matches the registered image in the recorded image, the image processing unit 53 draws the recognition area (that is, the matching result) on the recorded image (steps S69 to S71). Further, the image processing unit 53 transmits the recognition area to the control unit 54 and the device database 55 (Step S66, Step S67).

制御部５４は、送信されてきた認識領域を保持する（ステップＳ６８）。その後、制御部５４は、操作端末４２が操作されるのを待つ。
また、制御装置５０は、画像処理部５３が生成した認識領域描画画像を操作端末４２に送信する（ステップＳ７２）。このとき、制御装置５０は、画像処理部５３によって取得した認識領域も操作端末４２に送信する（ステップＳ７２）。 The control unit 54 holds the transmitted recognition area (step S68). Thereafter, the control unit 54 waits for the operation terminal 42 to be operated.
Further, the control device 50 transmits the recognition area drawing image generated by the image processing unit 53 to the operation terminal 42 (step S72). At this time, the control device 50 also transmits the recognition area acquired by the image processing unit 53 to the operation terminal 42 (step S72).

操作端末４２は、制御装置５０から送信されてきた認識領域描画画像を表示装置４３に表示する（ステップＳ７３）。そして、操作端末４２は、認識領域が情報入力部等によって選択されるのを待つ。
そして、操作端末４２は、図９に示すような認識領域が情報入力部等によって選択されると、その選択情報を制御装置５０に送信する。 The operation terminal 42 displays the recognition area drawing image transmitted from the control device 50 on the display device 43 (step S73). Then, the operation terminal 42 waits for the recognition area to be selected by the information input unit or the like.
When the recognition area as shown in FIG. 9 is selected by the information input unit or the like, the operation terminal 42 transmits the selection information to the control device 50.

ここで、認識領域が情報入力部等によって選択された以降の処理については、前述の図６を用いた処理と基本的に同じであるが、前述の図６の処理で前提としたリアルタイムの撮影画像でなく記録画像に基づく処理となっていることで異なる点がある。
すなわち、制御装置５０（具体的には制御部５４）は、操作端末４２から選択情報が送信されてくると、制御部５４によって当該選択情報に対応する機器情報を機器データベース５５から読み出す。そして、制御装置５０は、読み出した機器情報を操作端末４２に送信する。 Here, the processing after the recognition area is selected by the information input unit or the like is basically the same as the processing using FIG. 6 described above, but the real-time shooting assumed in the processing of FIG. There is a difference in that the processing is based on a recorded image instead of an image.
That is, when the selection information is transmitted from the operation terminal 42, the control device 50 (specifically, the control unit 54) reads out device information corresponding to the selection information from the device database 55. Then, the control device 50 transmits the read device information to the operation terminal 42.

操作端末４２は、制御装置５０から機器情報が送信されてくると、図１０及び図１１に一例と示すように、その機器情報を認識領域描画画像に重畳する。これによって、例えば、操作端末４２は、機器Ａ２０の認識領域（すなわち記号）が情報入力部等によって選択されたときに、図１０に示すように、機器Ａ２０の機器情報である機器Ａ２０の操作／表示部種類、制御項目及び状態（ここでは過去の機器の状態）を含む表１０２を認識領域描画画像に重畳して表示装置４３に表示（例えば、ポップアップ表示）する。また、操作端末４２は、機器Ｂ３０の認識領域（すなわち機器Ｂ３０の表示領域の何れか）が情報入力部等によって選択されたときに、図１１に示すように、機器Ｂ３０の機器情報である機器Ｂ３０の操作／表示部種類、制御項目及び状態（ここでは過去の機器の状態）を含む表１１２を認識領域描画画像に重畳して表示装置４３に表示（例えば、ポップアップ表示）する。   When the device information is transmitted from the control device 50, the operation terminal 42 superimposes the device information on the recognition area drawing image as shown in FIG. 10 and FIG. Thereby, for example, when the recognition area (that is, the symbol) of the device A20 is selected by the information input unit or the like, the operation terminal 42 performs the operation / operation of the device A20 that is the device information of the device A20 as illustrated in FIG. The table 102 including the display unit type, the control item, and the state (here, the past device state) is superimposed on the recognition area drawing image and displayed on the display device 43 (for example, pop-up display). Further, when the recognition area of the device B30 (that is, one of the display areas of the device B30) is selected by the information input unit or the like, the operation terminal 42 is a device that is device information of the device B30 as illustrated in FIG. The table 112 including the operation / display unit type of B30, the control item, and the state (here, the past device state) is superimposed on the recognition area drawing image and displayed on the display device 43 (for example, pop-up display).

なお、記録画像が、機器の過去の撮影画像になるため、機器の設定値を変更することはできない（すなわち、機器の設定値を変更する処理はない）。
以上のように、本実施形態では、操作端末４２は、カメラ１１によって得た実際の監視対象機器の撮影画像に、ＡＲ（拡張現実：Augmented Reality）として当該監視対象機器の情報を重畳させて表示装置４３に表示させることができる。 Since the recorded image is a past captured image of the device, the setting value of the device cannot be changed (that is, there is no processing for changing the setting value of the device).
As described above, in this embodiment, the operation terminal 42 superimposes and displays information on the monitored device as AR (Augmented Reality) on the captured image of the actual monitored device obtained by the camera 11. It can be displayed on the device 43.

これによって、使用者は、表示装置４３に表示されている監視対象機器の映像を見ながら同表示装置４３内で当該監視対象機器の状態を確認し、さらには当該監視対象機器を制御できる。これによって、使用者は、画像上での感覚的な操作によって監視対象機器を制御できる。また、使用者は、各機器の状態を一覧（表）で確認しながら制御できるため、誤操作を防止できる。   Accordingly, the user can check the state of the monitored device in the display device 43 while viewing the image of the monitored device displayed on the display device 43, and further control the monitored device. Thus, the user can control the monitoring target device by a sensory operation on the image. Further, since the user can control while checking the status of each device in a list (table), it is possible to prevent erroneous operation.

また、本実施形態では、設備監視制御システム１は、機器そのものが表示部（又は表示機能）を有さない場合でも、表示装置４３上で機器の状態を表示でき、その表示を基に機器を制御できる。
また、本実施形態では、設備監視制御システム１は、カメラ１１によって得たリアルタイムの撮影画像やカメラ１１によって得た過去の撮影画像をそれら撮影画像内の機器の状態とともに表示装置４３に表示している。これによって、使用者は、現在のみならず過去の機器の状態をＡＲ表示で確認できる。 In the present embodiment, the facility monitoring control system 1 can display the state of the device on the display device 43 even when the device itself does not have a display unit (or display function). Can be controlled.
Moreover, in this embodiment, the equipment monitoring control system 1 displays the real-time photographed image obtained by the camera 11 and the past photographed image obtained by the camera 11 on the display device 43 together with the state of the devices in the photographed image. Yes. As a result, the user can check not only the current state but also the past device state by AR display.

なお、前述の実施形態では、制御部５４は、例えば、機器情報取得部を構成する。また、機器データベース５５又は機器データベース５５が格納されているサーバは、例えば、記憶部を構成する。また、画像処理部５３は、例えば、照合部を構成する。また、操作端末４２は、例えば、表示処理部を構成する。   In the above-described embodiment, the control unit 54 configures, for example, a device information acquisition unit. Further, the device database 55 or the server in which the device database 55 is stored constitutes a storage unit, for example. Further, the image processing unit 53 configures a collation unit, for example. Moreover, the operation terminal 42 comprises a display process part, for example.

（本実施形態の変形例等）
本実施形態では、操作端末４２は、機器の認識領域が情報入力部等によって選択されると、機器情報を表示装置４３に表示している。しかし、本実施形態は、これに限定されない。図１２及び図１３には、その表示例を示す。 (Modifications of this embodiment, etc.)
In the present embodiment, the operation terminal 42 displays the device information on the display device 43 when the device recognition area is selected by the information input unit or the like. However, the present embodiment is not limited to this. 12 and 13 show examples of the display.

例えば、操作端末４２は、機器情報を一括表示させるための操作がなされると、例えば、表示装置４３に表示されている操作画面上の機器情報一括表示ボタンが選択されると、図１２に示すように、全ての機器の機器情報を含む表１２０を表示する。これによって、使用者は、図１０や図１１のように機器情報が表示される場合と同様に、各操作部の行を選択することで、各機器を直接制御できる。これによって、使用者は、簡易に制御項目を認識でき、さらに選択できる。   For example, when the operation terminal 42 is operated to collectively display the device information, for example, when the device information batch display button on the operation screen displayed on the display device 43 is selected, the operation terminal 42 is illustrated in FIG. Thus, the table 120 including the device information of all devices is displayed. As a result, the user can directly control each device by selecting the row of each operation unit, as in the case where the device information is displayed as shown in FIGS. 10 and 11. As a result, the user can easily recognize and select the control item.

また、操作端末４２は、機器情報の共通項目を一括表示させるための操作がなされると、例えば、表示装置４３に表示されている操作画面上の共通項目一括表示ボタンが選択されると、図１３に示すように、全ての機器の機器情報における共通項目、例えば、共通の制御項目（温度、圧力）の状態を一覧表１２１として表示する。ここで、共通項目は、予め設定されている。このような共通項目の一括表示によって、使用者は、簡易に制御項目を認識でき、さらに選択できる。   When the operation terminal 42 is operated to collectively display the common items of the device information, for example, when the common item batch display button on the operation screen displayed on the display device 43 is selected, As shown in FIG. 13, the state of common items in the device information of all devices, for example, common control items (temperature, pressure) is displayed as a list 121. Here, the common items are set in advance. Such a collective display of common items allows the user to easily recognize and select control items.

また、本実施形態では、操作端末４２は、機器の認識領域が情報入力部等によって選択されるのを待つことなく、表示装置４３に機器情報を自動的に表示しても良い。
また、本実施形態では、識別領域は、太線等の枠等によって描画されることに限定されない。例えば、機器が当然に認識されて操作できるような態様の表示にしても良い。 In the present embodiment, the operation terminal 42 may automatically display the device information on the display device 43 without waiting for the device recognition area to be selected by the information input unit or the like.
In the present embodiment, the identification area is not limited to being drawn by a frame such as a thick line. For example, the display may be in such a manner that the device can be recognized and operated.

また、本実施形態では、設備監視制御システム１は、機器との通信によって当該機器の情報を取得する機器情報取得ステップと、前記機器情報取得ステップで取得した機器の情報とカメラによる撮影画像内の当該機器を識別するための識別用画像とが対応付けられて記憶部に記憶される記憶ステップと、カメラによる撮影画像と前記識別用画像とを照合する照合ステップと、前記照合ステップで前記識別用画像を基に識別できた前記カメラによる撮影画像内の領域と、当該識別用画像に対応付けられている機器の情報とを対応付けて表示部に表示する表示処理ステップと、を有する機器情報表示方法を実現している。   In the present embodiment, the facility monitoring control system 1 includes a device information acquisition step for acquiring information on the device by communication with the device, information on the device acquired in the device information acquisition step, and an image captured by the camera. A storage step in which the identification image for identifying the device is associated and stored in the storage unit, a collation step of collating the image captured by the camera with the identification image, and the identification step in the collation step A device information display comprising: a display processing step for displaying an area in the image captured by the camera that can be identified based on an image and information on the device associated with the image for identification on the display unit in association with each other. The method is realized.

また、本発明の実施形態を具体的に説明したが、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、請求項１により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。   Further, although the embodiments of the present invention have been specifically described, the scope of the present invention is not limited to the illustrated and described exemplary embodiments, and effects equivalent to those intended by the present invention. All embodiments that provide are also included. Further, the scope of the present invention is not limited to the combination of features of the invention defined by claim 1 but can be defined by any desired combination of specific features among all the disclosed features. .

１ 設備監視制御システム、１０ 監視対象設備、２０，３０ 機器、４０ 監視制御設備、４２ 操作端末、４３ 表示装置、４４ 画像記録装置、５０ 制御装置、５１ 通信Ｉ／Ｆ、５２ 画像送受信部、５３ 画像処理部、５４ 制御部、５５ 機器データベース
DESCRIPTION OF SYMBOLS 1 Equipment monitoring control system, 10 Monitoring object equipment, 20, 30 apparatus, 40 Monitoring control equipment, 42 Operation terminal, 43 Display apparatus, 44 Image recording apparatus, 50 Control apparatus, 51 Communication I / F, 52 Image transmission / reception part, 53 Image processing unit, 54 control unit, 55 device database

Claims (5)

機器との通信によって、メータ、スイッチ、スライダ又はダイヤルを表す操作／表示部種類の情報と、温度、圧力、バルブ開閉、温度閾値又は圧力閾値を表す制御項目の情報と、制御部によって画像記録装置に記録される撮影画像データ及び時刻の情報に関連付けられて定期的に更新又は追加される状態の情報と、を含む当該機器の情報を取得する機器情報取得部と、
前記機器情報取得部が取得した機器の情報とカメラによる撮影画像内の当該機器を識別するための識別用画像とが対応付けられて記憶される記憶部と、
前記識別用画像を基に前記カメラの撮影画像中から各機器が映る画像部分をそれぞれ抜き取り、抜きとった各機器の画像を並べて配置して表示部に表示する表示処理部と、
を有し、
前記表示処理部は、機器の表示領域が情報入力部によって選択されたときに、一画面内の各機器の画像を基に複数の機器の状態を確認できるように、機器の情報である機器の操作／表示部種類、制御項目及び状態の情報を含む表を各機器の画像に重畳して前記表示部に表示する機器情報表示装置。 By means of communication with a device , information on the type of operation / display unit representing a meter, switch, slider or dial, information on a control item representing temperature, pressure, valve opening / closing, temperature threshold or pressure threshold, and an image recording device by the control unit A device information acquisition unit that acquires information on the device including the captured image data and the information on the state that is periodically updated or added in association with the time information ,
A storage unit for storing the device information acquired by the device information acquisition unit and an image for identification for identifying the device in a captured image by the camera;
A display processing unit that extracts an image portion of each device from the captured image of the camera based on the image for identification, arranges the images of the extracted devices side by side, and displays them on a display unit;
I have a,
When the display area of the device is selected by the information input unit, the display processing unit can check the status of a plurality of devices based on the image of each device in one screen. A device information display device that displays on the display unit a table including information on operation / display unit type, control item, and state, superimposed on an image of each device. 前記表示処理部は、前記識別用画像に対応付けられている前記機器の状態を示す値が予め設定されている値に達した場合、前記機器の状態を示す値が予め設定されている値に達していない場合よりも識別性が高くなるように前記領域を表示部に表示する請求項１に記載の機器情報表示装置。 When the value indicating the state of the device associated with the identification image reaches a preset value, the display processing unit sets the value indicating the state of the device to a preset value. The apparatus information display device according to claim 1, wherein the area is displayed on the display unit so that the distinctiveness is higher than that in a case where the distance is not reached. 機器との通信によって、メータ、スイッチ、スライダ又はダイヤルを表す操作／表示部種類の情報と、温度、圧力、バルブ開閉、温度閾値又は圧力閾値を表す制御項目の情報と、制御部によって画像記録装置に記録される撮影画像データ及び時刻の情報に関連付けられて定期的に更新又は追加される状態の情報と、を含む当該機器の情報を取得する機器情報取得ステップと、
前記機器情報取得ステップで取得した機器の情報とカメラによる撮影画像内の当該機器を識別するための識別用画像とが対応付けられて記憶部に記憶される記憶ステップと、
前記識別用画像を基に前記カメラの撮影画像中から各機器が映る画像部分をそれぞれ抜き取り、抜きとった各機器の画像を並べて配置して表示部に表示する表示処理ステップと、
を有し、
前記表示処理ステップでは、機器の表示領域が情報入力部によって選択されたときに、一画面内の各機器の画像を基に複数の機器の状態を確認できるように、機器の情報である機器の操作／表示部種類、制御項目及び状態の情報を含む表を各機器の画像に重畳して前記表示部に表示する機器情報表示方法。 By means of communication with a device , information on the type of operation / display unit representing a meter, switch, slider or dial, information on a control item representing temperature, pressure, valve opening / closing, temperature threshold or pressure threshold, and an image recording device by the control unit A device information acquisition step for acquiring information on the device including information on a state periodically updated or added in association with captured image data and time information recorded in
A storage step in which the device information acquired in the device information acquisition step and the identification image for identifying the device in the image captured by the camera are associated with each other and stored in the storage unit;
A display processing step of extracting each image portion reflected in each device from the captured image of the camera based on the identification image, arranging the images of the extracted devices side by side, and displaying them on a display unit;
I have a,
In the display processing step, when the display area of the device is selected by the information input unit, the device information that is the device information can be confirmed based on the image of each device in one screen. A device information display method for superimposing a table including operation / display unit type, control item, and status information on an image of each device and displaying the table on the display unit . 前記表示処理ステップは、前記識別用画像に対応付けられている前記機器の状態を示す値が予め設定されている値に達した場合、前記機器の状態を示す値が予め設定されている値に達していない場合よりも識別性が高くなるように前記領域を表示部に表示する請求項３に記載の機器情報表示方法。 In the display processing step, when the value indicating the state of the device associated with the identification image reaches a preset value, the value indicating the state of the device is set to a preset value. The device information display method according to claim 3, wherein the area is displayed on the display unit so as to be more discriminating than a case where it has not reached. カメラと、
機器との通信によって、メータ、スイッチ、スライダ又はダイヤルを表す操作／表示部種類の情報と、温度、圧力、バルブ開閉、温度閾値又は圧力閾値を表す制御項目の情報と、制御部によって画像記録装置に記録される撮影画像データ及び時刻の情報に関連付けられて定期的に更新又は追加される状態の情報と、を含む当該機器の情報を取得する機器情報取得部と、
前記機器情報取得部が取得した機器の情報と前記カメラによる撮影画像内の当該機器を識別するための識別用画像とが対応付けられて記憶される記憶部と、
前記識別用画像を基に前記カメラの撮影画像中から各機器が映る画像部分をそれぞれ抜き取り、抜きとった各機器の画像を並べて配置して表示部に表示する表示処理部と、
を有し、
前記表示処理部は、機器の表示領域が情報入力部によって選択されたときに、一画面内の各機器の画像を基に複数の機器の状態を確認できるように、機器の情報である機器の操作／表示部種類、制御項目及び状態の情報を含む表を各機器の画像に重畳して前記表示部に表示する機器情報表示システム。 A camera,
By means of communication with a device , information on the type of operation / display unit representing a meter, switch, slider or dial, information on a control item representing temperature, pressure, valve opening / closing, temperature threshold or pressure threshold, and an image recording device by the control unit A device information acquisition unit that acquires information on the device including the captured image data and the information on the state that is periodically updated or added in association with the time information ,
A storage unit for storing the device information acquired by the device information acquisition unit and an identification image for identifying the device in the image captured by the camera;
A display processing unit that extracts an image portion of each device from the captured image of the camera based on the image for identification, arranges the images of the extracted devices side by side, and displays them on a display unit;
I have a,
When the display area of the device is selected by the information input unit, the display processing unit can check the status of a plurality of devices based on the image of each device in one screen. A device information display system that superimposes a table including operation / display unit type, control item, and status information on an image of each device and displays the table on the display unit .
JP2012216583A 2012-09-28 2012-09-28 Device information display device, device information display system, and device information display method Active JP6034639B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012216583A JP6034639B2 (en) 2012-09-28 2012-09-28 Device information display device, device information display system, and device information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012216583A JP6034639B2 (en) 2012-09-28 2012-09-28 Device information display device, device information display system, and device information display method

Publications (2)

Publication Number Publication Date
JP2014071614A JP2014071614A (en) 2014-04-21
JP6034639B2 true JP6034639B2 (en) 2016-11-30

Family

ID=50746769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012216583A Active JP6034639B2 (en) 2012-09-28 2012-09-28 Device information display device, device information display system, and device information display method

Country Status (1)

Country Link
JP (1) JP6034639B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955059B2 (en) 2014-10-29 2018-04-24 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
JP6279148B1 (en) * 2016-04-08 2018-02-14 三菱電機株式会社 Communication terminal and communication system
JP2018082338A (en) * 2016-11-17 2018-05-24 エスペック株式会社 Monitor system
JP2018169649A (en) * 2017-03-29 2018-11-01 三菱電機株式会社 Monitoring system and terminal for monitoring
JP7377592B2 (en) 2020-07-31 2023-11-10 東芝三菱電機産業システム株式会社 Inspection monitoring system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05266383A (en) * 1992-03-23 1993-10-15 Toshiba Corp Plant alarm display system
JP2003067048A (en) * 1998-04-08 2003-03-07 Hitachi Ltd Information processor
JP2012155403A (en) * 2011-01-24 2012-08-16 Yokogawa Electric Corp Field apparatus monitoring system

Also Published As

Publication number Publication date
JP2014071614A (en) 2014-04-21

Similar Documents

Publication Publication Date Title
JP6034639B2 (en) Device information display device, device information display system, and device information display method
US10546199B2 (en) Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program
US10991219B2 (en) Security system and method for displaying images of people
US10235574B2 (en) Image-capturing device, recording device, and video output control device
EP3035306B1 (en) System and method of interactive image and video based contextual alarm viewing
JP5747229B2 (en) Inspection support system
CN107818180A (en) Video correlating method, image display method, device and storage medium
CN105389252A (en) Method and device for feeding back test problem
KR102568996B1 (en) Surveillance camera setting method, method and system for surveillance camera management
JP2019016079A (en) Maintenance support device for power apparatus, system and program
JP6268497B2 (en) Security system and person image display method
JP5824331B2 (en) Monitoring device
JP7338200B2 (en) Maintenance method and maintenance server
JP2023166544A (en) Display device and display system
WO2022019324A1 (en) Failure identification and handling method, and system
JP7091017B2 (en) Operation terminal, control method and computer program
JP2019009562A (en) Monitoring image display system, monitoring image display device, monitoring information management server, and monitoring image display method
KR102058972B1 (en) Registration method of home appliance
US20140063240A1 (en) Systems, apparatuses, and methods for branding and/or advertising through immediate user interaction, social networking, and image sharing
JP5960950B2 (en) Image monitoring apparatus and program
WO2017029779A1 (en) Security system, person image display method, and report creation method
JP6705728B2 (en) Monitoring system
JP2015226765A (en) Setting fraud monitoring device for game machine
CN109890593A (en) Plastic extrusion facility with mobile user interface and the method for running the plastic extrusion facility
JP2012238194A (en) Order processing server, order processing method, and order processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161028

R150 Certificate of patent or registration of utility model

Ref document number: 6034639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250