WO2019239788A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2019239788A1
WO2019239788A1 PCT/JP2019/019605 JP2019019605W WO2019239788A1 WO 2019239788 A1 WO2019239788 A1 WO 2019239788A1 JP 2019019605 W JP2019019605 W JP 2019019605W WO 2019239788 A1 WO2019239788 A1 WO 2019239788A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
control device
control
information processing
unit
Prior art date
Application number
PCT/JP2019/019605
Other languages
English (en)
French (fr)
Inventor
高洋 佐藤
浩二 鷹取
通博 山本
征爾 水谷
信次 村山
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP19820107.1A priority Critical patent/EP3809217A4/en
Publication of WO2019239788A1 publication Critical patent/WO2019239788A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Definitions

  • the present invention relates to an information processing apparatus or the like that generates a layout according to the actual configuration of a control panel.
  • Patent Document 1 when an IC tag is attached to a part necessary for manufacturing a control panel, and the IC tag is read by an IC tag reader, the IC tag is associated with the IC tag on the control panel manufacturing drawing.
  • a control panel manufacturing support device is disclosed in which the attachment location of the parts is indicated.
  • Patent Document 1 it is possible to indicate the mounting location of a specific part on the drawing, but it is necessary to prepare a drawing for manufacturing the control panel in advance. For this reason, for example, when the configuration of the control panel is changed from the time of manufacture during maintenance of the control panel, there is a problem in that the part mounting location is shown on a drawing different from the actual configuration.
  • An aspect of the present invention has been made in view of the above-described problems, and an object thereof is to provide an information processing apparatus that generates a layout map in accordance with the actual configuration of a control panel on site.
  • the present invention adopts the following configuration in order to solve the above-described problems.
  • an information processing apparatus includes an imaging device that captures a control panel on which a plurality of control devices provided with device identification images indicating model information are installed and acquires a captured image, and the imaging An image recognition unit for recognizing the device identification image included in the image, a device identification unit for identifying model information and an installation position of each control device based on the device identification image recognized by the image recognition unit, A layout map generating unit that generates a layout map of each control device on the control panel based on the model information and the installation position of each control device specified by the device specifying unit.
  • An information processing method acquires a captured image of a control panel on which a plurality of control devices provided with device identification images indicating model information are provided, and the device identification image included in the captured image
  • An image recognition step for recognizing a device, a device identification step for identifying model information and an installation position of each control device based on the device identification image recognized by the image recognition step, and a device identification step
  • There may be provided a layout drawing generation step for generating a layout map of each control device on the control panel based on the model information and the installation position of each control device.
  • an information processing apparatus that generates a layout map according to the actual configuration of the control panel on site.
  • FIG. 1 is a block diagram illustrating an example of a main configuration of an information processing apparatus according to an embodiment.
  • FIG. 2 is a schematic diagram illustrating an example of an application scene of the information processing apparatus according to the embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of information generated from a captured image by the information processing apparatus according to the embodiment.
  • FIG. 3A is a layout diagram of control devices in the control panel, and FIG. A list of control devices is shown.
  • FIG. 4 shows an example in which, in the layout diagram generated from the captured image in the information processing apparatus according to the embodiment, differences from the captured control panel design information or past information are highlighted and clearly shown in the layout diagram. It is a schematic diagram.
  • FIG. 1 is a block diagram illustrating an example of a main configuration of an information processing apparatus according to an embodiment.
  • FIG. 2 is a schematic diagram illustrating an example of an application scene of the information processing apparatus according to the embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of information generated from a captured image
  • FIG. 5 is a flowchart illustrating an example of processing executed by the information processing apparatus according to the embodiment.
  • FIG. 6 is a schematic diagram illustrating an example in which detailed information of the control device 210 selected by the user is generated and superimposed on the captured image and output in the information processing apparatus according to the modification.
  • FIG. 7 is a schematic diagram illustrating an example of an operation of recognizing an imaging device selected using a currently captured image, which is executed by the information processing apparatus according to the modification, and (a) is specified by the user on the list.
  • (B) shows the operation of the information processing apparatus when the selected control device is included in the captured image acquired after (a)
  • (c) The operation of the information processing apparatus when the selected control device is not included in the captured image acquired after (a) is shown.
  • FIG. 6 is a schematic diagram illustrating an example in which detailed information of the control device 210 selected by the user is generated and superimposed on the captured image and output in the information processing apparatus according to the modification.
  • FIG. 7 is a schematic diagram illustrating
  • FIG. 8 is a schematic diagram showing on the map the position of the control panel specified by the information processing apparatus according to the modification from the captured image.
  • FIG. 9 is a flowchart illustrating an example of processing executed by the information processing apparatus according to the modification.
  • (A) illustrates an example of detailed information generation processing and imaging display control processing, and (b) illustrates control panel specifying processing. An example is shown.
  • FIG. 2 schematically illustrates an example of an application scene of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 according to the present embodiment generates and outputs a layout diagram of each control device on the control panel 2 based on model information and installation positions of the plurality of control devices 210 installed on the control panel 2.
  • Each of the plurality of control devices 210 is provided with a device identification image that is associated with each control device 210 on a one-to-one basis and that indicates model information of the control device 210.
  • the device identification image is shown as an ID code 211 which is a two-dimensional code attached to the front surface of the control device 210.
  • the information processing apparatus 1 acquires a captured image of the control panel 2 (upper right in the figure)
  • the information processing apparatus 1 recognizes the ID code 211 included in the captured image and specifies the control device 210 associated with the ID code 211 ( (Left side of figure).
  • the information processing apparatus 1 is based on the model information including information such as the outer shape of each control device 210 and the installation position on the control panel 2. Generate a layout (bottom right).
  • the ID code 211 may be any code as long as it can uniquely identify the control device 210.
  • the ID code 211 may be a manufacturing number of the control device 210, for example.
  • the information processing apparatus 1 can generate a layout diagram of the control device 210 on the control panel 2 from the captured image of the control panel 2. Thereby, various operations can be performed using the layout according to the actual configuration of the control panel 2. For example, even when the arrangement of the control device 210 has been changed since the design of the control panel 2, it is possible to prevent the operation from being performed with the wrong control device 210 as a work target.
  • FIG. 1 is a block diagram illustrating an example of a main configuration of the information processing apparatus 1.
  • the information processing apparatus 1 can generate a layout diagram of the control device 210 for the control panel 2 on which a plurality of control devices 210 are installed.
  • the information processing apparatus 1 may be a portable information terminal such as a smartphone with a camera, a tablet terminal, or a small notebook PC.
  • the information processing apparatus 1 includes a camera 110, an input unit 120, an output unit 130, a storage unit 140, and a control unit 150.
  • the control unit 150 includes an image recognition unit 151, a device identification unit 152, a comparison unit 153, a layout drawing generation unit 154, a list generation unit 155, a detailed information generation unit 156, a control panel identification unit 157, and an imaging display control unit 158. ing. Details of the detailed information generation unit 156, the control panel specifying unit 157, and the imaging display control unit 158 will be described in a modification example described later.
  • the camera 110 is an imaging device that captures images according to instructions from the control unit 150 and acquires captured images.
  • the captured image may be a partial captured image of the control panel 2.
  • the captured image preferably includes at least one ID code 211 attached to the control device 210, and more preferably includes a plurality.
  • the input unit 120 is an interface for inputting when the user of the information processing apparatus 1 causes the information processing apparatus 1 to perform a desired operation.
  • the input unit 120 may be a touch panel formed integrally with an output unit 130 described later, for example.
  • the output unit 130 is an interface used by the information processing apparatus 1 to output various types of information to the outside.
  • the output unit 130 includes at least a display that displays a captured image captured by the camera 110 according to an instruction from the control unit 150, but may include a speaker that outputs sound to the outside, a motor that generates vibration, and the like.
  • the storage unit 140 stores various types of information handled by the information processing apparatus 1.
  • the storage unit 140 may include at least information for associating the control device 210 with an ID code 211 that is device identification information attached to the control device 210, and the installation positions of the plurality of control devices 210 on the control panel 2. May be further provided. Moreover, you may provide the model information which is the information regarding the specification including the external shape etc. of the control apparatus 210. FIG.
  • the storage unit 140 may store information referred to by the comparison unit 153, the layout drawing generation unit 154, and the list generation unit 155. Specifically, the storage unit 140 may store model information of each control device 210 and reference information indicating an installation position in a predetermined state.
  • the reference information may be design information indicating the model information and the installation position of each control device 210 in the control panel 2 designed in advance by the user, for example.
  • the reference information may be past information indicating the model information and the installation position of each control device 210 specified by the device specifying unit 152 in the past, and indicates the altitude of the installation position at the time when each control device 210 is specified. GPS information may be included.
  • the design information and past information may include information regarding a plurality of control panels 2. These pieces of information may be acquired from the outside via a communication unit (not shown), for example.
  • the control unit 150 controls each unit of the information processing apparatus 1 in an integrated manner.
  • the control unit 150 captures an image using the camera 110 and transmits the acquired image to the image recognition unit 151.
  • the control unit 150 executes various operations based on the user input received by the input unit 120.
  • the control unit 150 outputs various information to the output unit 130.
  • the control unit 150 can output the layout map generated by the layout map generation unit 154 and the list generated by the list generation unit 155 to the outside via the output unit 130.
  • the control unit 150 may be able to switch between the layout diagram and the list for the content output by the output unit 130.
  • the image recognition unit 151 When the image recognition unit 151 receives the captured image from the control unit 150, the image recognition unit 151 recognizes the ID code 211 included in the captured image and transmits the recognized result to the device specifying unit 152.
  • the ID code 211 may be recognized by a known image recognition technique.
  • the image recognition unit 151 may recognize a plurality of ID codes 211 together.
  • the image recognition unit 151 may recognize an external feature of the control device 210 so that the device specifying unit 152 can specify the type of device from the external feature.
  • the device identification unit 152 uniquely identifies the control device 210 associated with the ID code 211 recognized by the image recognition unit 151. More specifically, the device specifying unit 152 refers to the information stored in the storage unit 140, specifies the control device 210 associated with the ID code 211, and the model information of the control device 210, and Information on the installation position of the control device 210 in the control panel 2 is acquired. The device specifying unit 152 specifies model information and installation positions for all the control devices 210 installed on the control panel 2. In other words, the device specifying unit 152 specifies the installation position of each control device 210 by recognizing the overall configuration of the control panel 2 by combining a plurality of captured images.
  • the device specifying unit 152 only needs to be able to acquire a plurality of captured images including some of the control devices 210 even if all the control devices 210 installed on the control panel 2 cannot be specified from one captured image. If all the control devices 210 installed on the control panel 2 are included at least once in the acquired plurality of captured images, the device specifying unit 152, for example, captures captured images according to the positional relationship between adjacent control devices 210. Can be combined. A single image showing the overall configuration of the control panel 2 can be generated by combining a plurality of captured images. Thereby, the device specifying unit 152 can specify the installation positions of all the control devices 210 included in the image.
  • the device identification unit 152 transmits the acquired information to the comparison unit 153, the layout drawing generation unit 154, and the list generation unit 155.
  • the comparison unit 153 acquires the model information of each control device 210 and the reference information indicating the installation position in a predetermined state, and the reference information and the model information and installation of each control device 210 specified by the device specification unit 152 Compare positions and extract differences.
  • the reference information is design information designed in advance by the user and indicating the installation state of each control device 210 in the control panel 2, or the model information and installation of each control device 210 specified by the device specifying unit 152 in the past.
  • the past information indicating the position is shown. That is, the comparison unit 153 compares the model information and the installation position of the control device 210 specified by the device specification unit 152 with the design information and past information of the control panel 2 and extracts a changed part as a difference.
  • the reference information stored in the storage unit 140 may be used, or the reference information acquired from the outside via a communication unit (not shown) may be used. Also, the user may be able to select what reference information is selected as the comparison source. For example, when it is desired to confirm a changed part from the previous work, past information at the previous work may be used. Then, version information or the like corresponding to the change history may be acquired simultaneously with the extraction of the difference.
  • the arrangement drawing generation unit 154 generates an arrangement drawing of each control device 210 in the control panel 2 based on the model information and installation position of the control device 210 specified by the device specification unit 152. Specifically, after arranging the control devices 210 according to the installation position, the layout drawing generation unit 154 represents each control device 210 using the outer shape and size of each control device 210 included in the model information. Thereby, the layout map generation unit 154 can generate a layout map similar to that in the lower right of FIG. In generating the layout drawing, for example, the outer shape of the control device 210 recognized by the image recognition unit 151 may be used.
  • the layout drawing generation unit 154 can generate a layout drawing that clearly shows the differences extracted by the comparison unit 153. Specifically, if there is a control device 210 corresponding to the difference extracted by the comparison unit 153 among the control devices 210 specified by the device specification unit 152, the layout drawing generation unit 154 displays the control device 210 in bold or color-coded. A layout drawing that is clearly indicated may be generated. At this time, version information or the like may be added to the control device 210 corresponding to the difference.
  • the list generation unit 155 generates a list of the control devices 210 installed on the control panel 2 based on the model information and the installation positions of the control devices 210 specified by the device specification unit 152. That is, the list generation unit 155 generates a list of the control devices 210 by performing the same processing as the arrangement map generation unit 154, although there is a difference between the generation target and the arrangement map. For example, the list generation unit 155 may clearly indicate a character string in the list by bold or color coding for the control device corresponding to the difference extracted by the comparison unit 153.
  • the control panel 2 is a device that controls various electrical devices in which a plurality of control devices 210 according to the purpose are installed.
  • three control devices 210 are installed in the control panel 2, and an ID code 211 is provided in each control device 210.
  • the three control devices 210 may be the same model or different models, but the three ID codes 211 must always be different from each other.
  • the control panel 2 may have a configuration in which a plurality of rails (partial storage areas) are provided in the housing, and the control device 210 can be installed by fixing the control device 210 to the rail.
  • the control panel 2 may be configured to include a plurality of partial storage areas that store the plurality of control devices 210.
  • the control device 210 is an electronic device installed inside the control panel 2.
  • Examples of the control device 210 include a PLC (Programmable Logic Controller) CPU unit, a communication coupler unit, an input unit that inputs a sensing result from a sensor, a control output unit that controls a motor, a robot, and the like.
  • a PLC Programmable Logic Controller
  • the ID code 211 is a device identification image that can uniquely identify the control device 210, and one ID code 211 is associated with one control device 210.
  • the ID code 211 may be in the form of a two-dimensional code provided in the control device 210. There is no restriction on the installation location of the ID code 211, but when the entire control panel 2 is imaged, the ID code 211 of all the control devices 210 installed on the control panel 2 can be confirmed at the same time. It is preferable that
  • FIG. 3 is a schematic diagram illustrating an example of a layout diagram and a list generated from the captured image by the information processing apparatus 1.
  • FIG. 3A illustrates an output example of the layout diagram
  • FIG. 3B illustrates a list.
  • the layout diagram represents each of a plurality of control devices 210 installed on the control panel 2 as a rectangular parallelepiped image. More specifically, in the layout diagram, the arrangement order of the plurality of control devices 210 is determined according to the actual configuration of the control panel 2 based on the model information and installation position specified by the device specifying unit 152. Yes. According to the illustrated example, a plurality of control devices 210 are installed in three horizontal rows in the control panel 2. In the layout drawing, the rectangular parallelepiped image may be expressed in a size or shape according to the model information (particularly the outer shape) of the corresponding control device 210.
  • FIG. 3B shows the names of the plurality of control devices 210 installed on the control panel 2 in the information processing apparatus 1 in a list format.
  • the list includes model information specified by the device specifying unit 152, installation position, detailed information regarding the corresponding model, and the like.
  • the order in which the model information is displayed may be sorted according to the type of model, or may be sorted according to the actual installation position order on the control panel 2.
  • FIG. 4 is a schematic diagram illustrating an example in which the difference from the reference information is clearly shown in the layout diagram generated from the captured image by the information processing apparatus 1.
  • control device 210 existing in the second row from the top and the third from the left inside the control panel 2 is clearly indicated by the color coding and the version information to be different from the reference information.
  • the rectangular parallelepiped image indicating the control device 210 corresponding to the difference in the layout diagram is color-coded, and further, “Ver.2.1” is displayed as specific version information below the image image. A string is shown.
  • FIG. 5 is a flowchart illustrating an example of a flow of processing executed by the information processing apparatus 1.
  • the control unit 150 uses the camera 110 to acquire a captured image including the ID code 211 (S1).
  • the image recognition unit 151 recognizes the ID code 211 included in the captured image acquired in S1, and transmits the recognition result to the device identification unit 152 (S2: image recognition step).
  • the device specifying unit 152 specifies the control device 210 associated with the ID code 211 included in the received recognition result and the model information of the control device 210.
  • the device specifying unit 152 further specifies the installation position of the control device 210 specified by referring to the layout information of the control panel 2 (S3: device specifying step).
  • the device specifying unit 152 refers to the layout information of the control panel 2 and determines whether or not the control device 210 before specification exists (S4).
  • the comparison unit 153 extracts a difference with respect to the model information and the installation position of the control device 210 specified in S3 as compared with design information or past information (S5: comparison) Step). Thereafter, the process proceeds to S7.
  • the control part 150 acquires the captured image containing ID code 211 of the control apparatus 210 before specification using the camera 110 (S6). Thereafter, the process proceeds to S1, and the processes of S1 to S4 are executed again.
  • the layout drawing generation unit 154 uses the model information and installation position of the control device 210 specified by the device specifying unit 152 in S3 and the differences extracted by the comparison unit 153 in S5 to control each control in the control panel 2.
  • a layout map of the device 210 is generated (S7: layout map generation step).
  • the list generation unit 155 generates a list of each control device 210 in the control panel 2 (S8). Thereafter, the series of processing is terminated.
  • the information processing apparatus 1 can generate a layout diagram and a list of the control device 210 in the control panel 2 from the captured image. Thereby, for example, the user of the information processing apparatus 1 can perform work using the layout map and the list generated based on the actual configuration of the control panel 2. Therefore, there is an effect that it is possible to provide the information processing apparatus 1 excellent in convenience for generating a layout map and a list corresponding to the actual configuration of the control panel 2 on the spot.
  • the GPS information of the control device 210 may be stored as history information in the storage unit 140 or the like together with past information.
  • the altitude of the installation position of the control device 210 can be estimated.
  • the relationship between the atmospheric pressure and temperature corresponding to the altitude and the life of the control device 210 can be taken into account, and whether or not the control panel 2 or the control device 210 has been moved can be confirmed.
  • the position of the selected control device 210 can be output according to the GPS information.
  • the layout drawing generation unit 154 and the list generation unit 155 may clearly indicate the installation position of the control device 210 corresponding to the model selected by the user in the layout drawing or list using GPS information. Then, by confirming the history of GPS information, it is possible to confirm how long the control device 210 has been operating on which control panel 2. It should be noted that the above-described various functions can be realized without using GPS information by storing information as to which control panel 2 each control device 210 is installed as history information each time.
  • the information processing apparatus 1 can output the control device 210 selected by the user explicitly (emphasized) in the layout diagram and the list. When the user selects acquisition of detailed information of the selected control device 210, the information processing apparatus 1 generates and outputs detailed information of the control device 210. When the information processing device 1 identifies the control device 210 based on the ID code 211 included in the information processing device 1, the information processing device 1 can identify the control panel 2 on which the identified control device 210 is installed. After the user selects the control device 210, the information processing apparatus 1 determines whether or not the selected control device 210 is included in the captured image acquired using the camera 110, and a notification according to the determination result. May be performed.
  • the storage unit 140 may further include a model database in which detailed information of the control device 210 is recorded.
  • the model database is provided outside and may be configured to be acquired via a communication unit (not shown), or may be configured to update information stored in the storage unit 140 with information acquired from the outside.
  • the detailed information of the control device 210 may include information on the image, specifications, and alternative devices of the control device 210.
  • the detailed information generation unit 156 refers to a model database in which detailed information regarding the model of the control device 210 is recorded in accordance with an instruction from the control unit 150, and generates detailed information.
  • the information processing apparatus 1 may display an image (detailed image) of the control device 210 generated by the detailed information generation unit 156 superimposed on the captured image.
  • the user of the information processing apparatus 1 visually recognizes the control device 210 by superimposing a detailed image on the captured image. Can be easier.
  • the control panel identification unit 157 identifies the control panel 2 that is being captured from the currently captured image that is being captured. Specifically, the control panel specifying unit 157 acquires the model information and past information indicating the installation position of each control device 210 specified by the device specifying unit 152 in the past regarding the plurality of control panels 2 and picks up images by the camera 110. The currently captured image and the past information are compared. When there is past information that matches the model information and the installation position information of the control device 210 currently specified from the captured image, the control panel specifying unit 157 causes the control panel 2 indicated by the past information to be captured by the control panel 2 being captured. As such, the fact is output.
  • the control panel specifying unit 157 may output a name, an identifier, or the like for the specified control panel 2, or may clearly indicate the position of the specified control panel 2 on a map as shown in FIG. When the position of the control panel 2 is clearly shown on the map, the user evaluates whether or not the result specified by the control panel specifying unit 157 is appropriate by comparing the surrounding actual scenery with the map. If it is, it may be determined again.
  • the imaging display control unit 158 determines whether or not the control device 210 selected by the user is included in the captured image acquired after selection. Specifically, the imaging display control unit 158 acquires the model information and the past information indicating the installation position of each control device 210 specified by the device specifying unit 152 in the past from the storage unit 140 and the like, and is imaging with the camera 110 Are compared with the current captured image and the past information. When there is past information that matches the model information and installation position information of the control device 210 specified from the currently captured image, the imaging display control unit 158 clearly indicates the selected control device 210 in the captured image. Further, the fact that the matching past information exists is output to the outside. The output content may be light or sound.
  • the imaging display control unit 158 performs guidance to the selected control device 210. Also good. Specifically, the imaging display control unit 158 compares the installation position of the control device 210 identified from the currently captured image with the installation position of the selected control device 210, determines the direction toward the selected control device 210, and determines Information that guides in the selected direction may be output in the captured image.
  • FIG. 7 shows an example of an operation performed by the information processing apparatus 1 using the imaging display control unit 158 in this modified example to search for the control device 210 using a captured image after the user selects a specific control device 210. It demonstrates using each figure of these.
  • FIG. 7 is a schematic diagram illustrating an example of an operation performed by the information processing apparatus 1 for recognizing the control device 210 selected using the currently captured image.
  • FIG. 7A shows an example in which the user has selected a specific control device 210 on the list
  • FIG. 7B shows the control device 210 selected in the captured image acquired after (a). Shows the operation of the information processing apparatus 1 when.
  • (C) of FIG. 7 shows the operation of the information processing apparatus 1 when the selected control device 210 is not included in the captured image acquired after (a).
  • FIG. 7A is a schematic diagram illustrating an example in which the user selects one control device 210 from the list of control devices 210 output to the output unit 130.
  • the character string indicated by the dotted frame indicates the name of the selected control device 210.
  • a character string indicating the name of the selected control device 210 is clearly shown in bold.
  • the character string may be output in a color different from the name of the control device 210 that is clearly displayed in bold and not selected.
  • the selection of the control device 210 may be performed on the layout drawing.
  • FIG. 7B when the selected control device 210 is included in the captured image acquired after FIG. 7A, the information processing apparatus 1 outputs that fact with light or sound.
  • the image recognition unit 151 recognizes the ID code 211 included in the captured image, and the control device associated with the ID code 211 by the device specifying unit 152 is illustrated. 210 is specified.
  • the imaging display control unit 158 can output the fact to the outside using light or sound using the output unit 130.
  • FIG. 7C shows the guidance to the selected control device 210 when the selected control device 210 is not included in the captured image acquired after FIG. 7A.
  • the imaging display control unit 158 specifies a relative position between the control device 210 included in the captured image and the selected control device 210, and determines the direction from the captured image toward the selected control device 210.
  • An arrow is superimposed on the captured image.
  • the user of the information processing apparatus 1 can confirm the direction from the captured image to the control device 210 selected by the user by selecting an appropriate captured image after selecting the control device 210 from the list, for example.
  • guidance to the control device 210 may not be limited to a method of superimposing an arrow on a captured image.
  • the direction from the current position toward the control device 210 may be indicated by a message such as “right direction” or may be guided by voice.
  • FIG. 9A is a flowchart illustrating an example of the flow of the detailed information generation process and the imaging display control process executed by the information processing apparatus 1 according to this modification.
  • the layout generation unit 154 when the user selects a specific control device 210 from a list or the like output to the output unit 130 (YES in S21), the layout generation unit 154 generates a layout that clearly indicates the selected control device 210. (S22). Furthermore, the list generation unit 155 generates a list that clearly indicates the selected control device 210 (S23).
  • control unit 150 determines whether or not acquisition of detailed information is selected for the control device 210 selected by the user in S21 (S24).
  • the detailed information generation unit 156 generates detailed information regarding the selected control device 210 and outputs it using the output unit 130 (S25). Thereafter, the process proceeds to S26.
  • the process directly proceeds to S26.
  • the control unit 150 determines whether or not a captured image including the ID code 211 has been acquired (S26).
  • the image recognition unit 151 recognizes the ID code 211 included in the captured image (S27), similarly to S2 and S3 in FIG. Specifies the model information and installation position of the control device 210 (S28). Thereafter, the process proceeds to S29.
  • the series of processing ends.
  • the imaging display control unit 158 determines whether or not the control device 210 selected in S21 is included in the control device 210 specified in S28 (S29). When it is determined that the image is included (YES in S29), the imaging display control unit 158 outputs the fact that the selected control device 210 is included in the captured image to the outside with light or sound, and displays the control device 210 in the captured image. This is clearly indicated (S30). Thereafter, the series of processing is terminated. On the other hand, if it is determined that it is not included (NO in S29), the imaging display control unit 158 determines from the relative relationship between the installation position of the control device 210 specified in S28 and the installation position of the control device 210 selected in S21. Guide to the selected control device 210 is performed by an arrow or the like (S31). Thereafter, the series of processing is terminated.
  • the information processing apparatus 1 can generate and output detailed information on the control device 210 selected by the user, and search for the control device 210 using the captured image captured after selection.
  • FIG. 9B is a flowchart illustrating an example of the flow of the control panel specifying process executed by the information processing apparatus 1.
  • the control device 210 included in the captured image is specified. That is, the control unit 150 acquires a captured image including the ID code 211 using the camera 110 (S41), and the image recognition unit 151 recognizes the ID code 211 included in the captured image (S42). Then, the device specifying unit 152 specifies the model information and installation position of the control device 210 associated with the ID code 211 recognized in S42 (S43).
  • the control panel specifying unit 157 acquires past information of the control devices 210 related to the plurality of control panels 2 from the storage unit 140 or the like, and whether there is a match with the model information and installation position specified in S43. Is determined (S44). When it is determined that there is matching past information (YES in S44), the control panel specifying unit 157 is the control panel 2 from which the control panel 2 corresponding to the past information acquires the captured image acquired in S41. (S45). Thereafter, the series of processing is terminated. On the other hand, when it is determined that there is no matching past information (NO in S44), the control panel specifying unit 157 outputs an error indicating that the control panel 2 that has acquired the captured image in S41 cannot be specified (S41). S46). Thereafter, the series of processing is terminated.
  • the information processing apparatus 1 can specify the captured control panel 2 using the captured image and past information. That is, the control device 210 can be identified from the ID code 211 included in the captured image, and the control panel 2 on which the identified control device 210 is installed can be identified. Thereby, for example, when a plurality of control panels 2 of the same model are arranged, it is possible to carry out the work without making a mistake in the control panel 2.
  • Control blocks of the information processing apparatus 1 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software.
  • the information processing apparatus 1 includes a computer that executes instructions of a program that is software for realizing each function.
  • the computer includes, for example, one or more processors and a computer-readable recording medium storing the program.
  • the processor reads the program from the recording medium and executes the program, thereby achieving the object of the present invention.
  • a CPU Central Processing Unit
  • the recording medium a “non-temporary tangible medium” such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • a RAM Random Access Memory
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • an arbitrary transmission medium such as a communication network or a broadcast wave
  • one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • An information processing apparatus (1) captures a captured image by capturing a control panel (2) on which a plurality of control devices provided with a device identification image (ID code 211) indicating model information is installed.
  • the image recognition unit for recognizing the device identification image included in the captured image, the image recognition unit (151) Based on the model information and installation position of each control device identified by the device identification unit, the device identification unit that identifies the model information and installation position of the control device, the layout of each control device in the control panel It is a structure provided with the arrangement
  • the information processing apparatus can generate the layout diagram of the control device provided with the device identification image on the control panel by recognizing the device identification image.
  • the user of the information processing apparatus can perform the work using the layout generated based on the actual configuration of the control panel. Therefore, there is an effect that it is possible to provide an information processing apparatus excellent in convenience that generates a layout according to the actual configuration of the control panel on site.
  • the device identification unit uniquely identifies a control device from the device identification image included in the captured image using device identification information that associates each control device with the device identification image. You may have the structure to do.
  • the information processing apparatus (1) according to aspect 2 of the present invention is the information processing apparatus (1) according to aspect 1, in which the control is performed based on the model information and the installation position of each control device (210) specified by the device specifying unit (152). It is good also as a structure further provided with the list production
  • the information processing apparatus can generate a list of control devices in addition to the layout diagram of the control devices installed on the control panel. Thereby, for example, the user of the information processing apparatus can reliably recognize the control device that is the work target by combining the layout diagram and the list.
  • the captured image is a partial captured image of the control panel (2), and the device specifying unit (152)
  • a configuration may be adopted in which the installation position of each control device is specified by recognizing the overall configuration of the control panel by combining a plurality of the captured images.
  • the information processing apparatus can recognize the overall configuration of the control panel by combining partial captured images of the control panel, and generate a layout diagram of the control devices on the control panel.
  • the information processing apparatus (1) according to aspect 4 of the present invention is the information processing apparatus (1) according to any one of aspects 1 to 3, wherein the image recognition unit (151) recognizes an image of the outer shape of each control device (210).
  • the arrangement drawing generation unit (154) may generate the arrangement drawing using the outer shape of each control device. According to this configuration, the information processing apparatus can generate the layout drawing using the outer shape of the control device that has been recognized from the captured image.
  • the information processing apparatus may be configured to switch and output the layout diagram and the list.
  • the information processing apparatus (1) provides the information on the model and the reference information indicating the installation position of each control device (210) in a predetermined state according to any one of the first to fourth aspects.
  • a comparison unit (153) that acquires the reference information and compares the model information and installation position of each control device identified by the device identification unit (152) and extracts a difference; It is good also as a structure which a production
  • the information processing apparatus can generate a layout diagram that clearly shows the differences. Thereby, for example, it is possible to confirm whether or not the difference is the same as the previously predicted content.
  • design information indicating an installation state of each control device (210) in the control panel (2), in which the reference information is designed in advance by a user Or it is good also as a structure which is the past information which shows the model information and installation position of each said control apparatus specified by the said apparatus specific
  • the information processing apparatus can extract the presence / absence of a difference between the design information and the past information and the reference information, and can clearly indicate the difference in the layout diagram. Thereby, for example, it can be estimated at which point the difference occurs.
  • the reference information includes GPS information indicating an installation position of each control device (210), and the layout map generation
  • the unit (154) may be configured to clearly indicate the altitude of the installation position of the control device corresponding to the model selected by the user in the layout drawing using at least the GPS information.
  • the information processing apparatus can clearly indicate the difference in the layout diagram and can clearly indicate the altitude of the installation position of the control device selected by the user by combining the GPS information and the map information. Thereby, for example, it is possible to confirm in which position the control device corresponding to the difference was previously located.
  • the information processing apparatus may be configured to switch and output the layout diagram and the list including the clarification of the difference and the layout map and the list not including the difference.
  • the image recognition unit recognizes an external feature of each control device, and the device specifying unit uniquely identifies the control device from the model information associated with the external feature. You may provide the structure specified to.
  • the model information includes information such as an outline of each control device
  • the layout drawing generation unit includes an outline of each control device included in the model information in the layout diagram.
  • a configuration may be provided in which each control device is clearly indicated with a size or shape corresponding to information such as the above.
  • the information processing device (1) according to aspect 8 of the present invention is the information processing apparatus (1) according to any one of aspects 1 to 7, wherein the layout drawing generation unit (154) corresponds to the model selected by the user in the layout drawing. It is good also as a structure which specifies the said control apparatus (210) to perform.
  • the information processing apparatus can specify the control device selected in the layout drawing. Thereby, for example, for a control device that is a work target, the work can be started after confirming the installation position in the layout drawing and the control device existing at the installation position.
  • the information processing apparatus (1) according to the ninth aspect of the present invention is the information processing apparatus (1) according to the eighth aspect, wherein the detailed information about the model selected by the user is generated by referring to the model database in which the detailed information about the model is recorded. It is good also as a structure further provided with an information generation part (156).
  • the information processing apparatus can generate detailed information of the control device selected in the layout drawing. Thereby, for example, for the control device that is the work target, the work can be started after confirming the installation position in the layout drawing and the detailed information of the control device.
  • the information processing apparatus may include a configuration in which the detailed information is clearly shown superimposed on the captured image.
  • the information processing apparatus (1) according to the tenth aspect of the present invention is the information processing apparatus (1) according to any one of the first to ninth aspects, wherein the device specifying unit (152) previously specified for the plurality of control panels (2).
  • the control during imaging is acquired by acquiring model information and installation information of each control device (210), and comparing the current captured image being captured by the imaging device (camera 110) with the past information. It is good also as a structure further provided with the control panel specific
  • the information processing apparatus can specify the captured control panel using the captured image and the past information. That is, it is possible to identify the control device from the device identification image included in the captured image and identify the control panel on which the identified control device is installed. Thereby, for example, when a plurality of control panels of the same model are arranged, it is possible to carry out the work without making a mistake in the control panel and to confirm whether the control panel or the control device has been moved.
  • the information processing apparatus may include a configuration in which a position of the control panel being imaged specified by the control panel specifying unit is specified on a map.
  • the information processing apparatus (1) according to the aspect 11 of the present invention is the information processing apparatus (1) according to any one of the aspects 1 to 10, wherein the model information of each control device (210) specified by the device specifying unit (152) in the past. And acquiring past information indicating the installation position, and comparing the current captured image being captured by the image capturing apparatus (camera 110) with the past information, so that the control device selected by the user is included in the current captured image. It is good also as a structure further provided with the imaging display control part (158) to specify.
  • the information processing apparatus when the control device selected by the user is included in the captured image, the information processing apparatus can clearly indicate that fact in the captured image. Thereby, for example, when a plurality of control devices of the same model are arranged, the control device selected by the user can be specified.
  • the information processing method acquires a captured image of the control panel (2) in which a plurality of control devices (210) provided with device identification images (ID code 211) indicating model information are installed. Recognizing the device identification image included in the captured image (S2), and identifying the model information and the installation position of each control device based on the device identification image recognized by the image recognition step A device specifying step (S3) to perform, and a layout drawing generating step for generating a layout of each control device on the control panel based on the model information and the installation position of each control device specified in the device specifying step ( S7). According to the said structure, there exists an effect similar to the said aspect 1. FIG.
  • One aspect of the present invention is an information processing program for causing a computer to function as the information processing apparatus according to any one of the above aspects, and is an information processing program for causing a computer to function as each unit.
  • Information processing device 110 Camera (imaging device) DESCRIPTION OF SYMBOLS 120 Input part 130 Output part 140 Storage part 150 Control part 151 Image recognition part 152 Device specific part 153 Comparison part 154 Layout drawing generation part 155 List generation part 156 Detailed information generation part 157 Control panel specific part 158 Imaging display control part

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)

Abstract

制御盤の実際の構成に応じた配置図を生成する情報処理装置を提供する。情報処理装置(1)は、撮像装置(カメラ110)が制御盤(2)を撮像した撮像画像に含まれる制御機器(210)の機器識別画像(IDコード211)を認識する画像認識部(151)と、認識した機器識別画像に基づいて各制御機器の機種情報および設置位置を特定する機器特定部(152)と、特定した各制御機器の機種情報および設置位置に基づいて制御盤における各制御機器の配置図を生成する配置図生成部(154)とを備えている。

Description

情報処理装置、情報処理方法、およびプログラム
 本発明は、制御盤の実際の構成に応じた配置図を生成する情報処理装置等に関する。
 作業者(ユーザ)が機器に対して作業を行う際、作業対象とは異なる機器に対して作業を誤って実施するヒューマンエラーの発生を抑制する技術が知られている。例えば特許文献1には、制御盤の製造に必要な部品にICタグを貼り付けておき、該ICタグをICタグリーダに読み込ませると、制御盤製造用の図面上に、ICタグに紐付けられた部品の取り付け箇所が示される制御盤製造支援装置が開示されている。
日本国公開特許公報「特開2007-233566号公報(2007年9月13日公開)」
 しかしながら、特許文献1に記載の発明は、特定の部品について取り付け箇所を図面上に示すことが可能であるが、制御盤製造用の図面を予め用意しておく必要があった。そのため、例えば制御盤のメンテナンス時に該制御盤の構成が製造時から変更されていた場合、実際の構成とは異なる図面上に部品の取り付け箇所を示してしまうという問題があった。
 本発明の一態様は、前記の問題に鑑みてなされたものであり、制御盤の実際の構成に応じた配置図を現場で生成する情報処理装置を提供することを目的とする。
 本発明は、前述した課題を解決するために、以下の構成を採用する。
 すなわち、本発明の一側面に係る情報処理装置は、機種情報を示す機器識別画像が設けられた複数の制御機器が設置された制御盤を撮像して撮像画像を取得する撮像装置と、前記撮像画像に含まれる前記機器識別画像を認識する画像認識部と、前記画像認識部によって認識された前記機器識別画像に基づいて、前記各制御機器の機種情報および設置位置を特定する機器特定部と、前記機器特定部によって特定された前記各制御機器の機種情報および設置位置に基づいて、前記制御盤における前記各制御機器の配置図を生成する配置図生成部とを備えている。
 本発明の一側面に係る情報処理方法は、機種情報を示す機器識別画像が設けられた複数の制御機器が設置された制御盤の撮像画像を取得し、前記撮像画像に含まれる前記機器識別画像を認識する画像認識ステップと、前記画像認識ステップによって認識された前記機器識別画像に基づいて、前記各制御機器の機種情報および設置位置を特定する機器特定ステップと、前記機器特定ステップによって特定された前記各制御機器の機種情報および設置位置に基づいて、前記制御盤における前記各制御機器の配置図を生成する配置図生成ステップとを有してもよい。
 本発明の一態様によれば、制御盤の実際の構成に応じた配置図を現場で生成する情報処理装置を提供することができる。
図1は、実施の形態に係る情報処理装置の要部構成の一例を示すブロック図である。 図2は、実施の形態に係る情報処理装置の適用場面の一例を示す模式図である。 図3は、実施の形態に係る情報処理装置が撮像画像から生成する情報の一例を示す模式図であり、(a)は制御盤における制御機器の配置図を示し、(b)は制御盤における制御機器のリストを示す。 図4は、実施の形態に係る情報処理装置において撮像画像から生成した配置図のうち、撮像した制御盤の設計情報または過去情報との相違点を配置図中に強調して明示する一例を示す模式図である。 図5は、実施の形態に係る情報処理装置が実行する処理の一例を示すフローチャートである。 図6は、変形例に係る情報処理装置において、ユーザが選択した制御機器210の詳細情報を生成して撮像画像に重畳して出力する一例を示す模式図である。 図7は、変形例に係る情報処理装置が実行する、現在撮像画像を用いて選択された撮像機器を認識する動作の一例を示す模式図であり、(a)は、リスト上でユーザが特定の制御機器を選択した例を示し、(b)は、(a)の後に取得した撮像画像の中に選択した制御機器が含まれていた場合の情報処理装置の動作を示し、(c)は、(a)の後に取得した撮像画像の中に選択した制御機器が含まれなかった場合の情報処理装置の動作を示す。 図8は、変形例に係る情報処理装置が撮像画像から特定した制御盤の位置を地図上に示す模式図である。 図9は、変形例に係る情報処理装置が実行する処理の一例を示すフローチャートであり、(a)は詳細情報生成処理および撮像表示制御処理の一例を示し、(b)は制御盤特定処理の一例を示す。
 §1 適用例
 まず、図2を用いて、本発明が適用される場面の一例について説明する。図2は、本実施形態に係る情報処理装置1の適用場面の一例を模式的に例示する。本実施形態に係る情報処理装置1は、制御盤2に設置された複数の制御機器210の機種情報および設置位置に基づいて、該制御盤2における各制御機器の配置図を生成して出力する。なお、複数の制御機器210のそれぞれには、個々の制御機器210と1対1で紐付けられ、該制御機器210の機種情報を示す画像である機器識別画像が設けられている。
 図示の例において、機器識別画像は制御機器210の前面に貼り付けられた二次元コードであるIDコード211として示されている。情報処理装置1は、制御盤2の撮像画像を取得すると(図の右上)、該撮像画像に含まれるIDコード211を認識し、該IDコード211に紐付けられた制御機器210を特定する(図の左側)。そして、情報処理装置1は、制御盤2に設置されているすべての制御機器210を特定すると、個々の制御機器210について外形等の情報を含む機種情報および制御盤2における設置位置に基づいて、配置図を生成する(図の右下)。なお、IDコード211は制御機器210を一意に特定することが可能なものであればどのようなものであってもよい。IDコード211は、例えば制御機器210の製造番号等であってもよい。
 このようにして、情報処理装置1は制御盤2の撮像画像から該制御盤2における制御機器210の配置図を生成することができる。これにより、制御盤2の実際の構成に応じた配置図を用いて各種作業を実施することができる。例えば制御盤2の設計時から制御機器210の配置が変更されていた場合であっても、誤った制御機器210を作業対象として作業を実施してしまうことを抑制することができる。
 §2 構成例
 以下、本発明の一実施形態について、図1、図3~図5を用いて詳細に説明する。
 (情報処理装置の構成)
 本実施形態に係る情報処理装置1の構成について、図1を用いて説明する。図1は、情報処理装置1の要部構成の一例を示すブロック図である。
 情報処理装置1は、複数の制御機器210が設置された制御盤2について、制御機器210の配置図を生成することができる。情報処理装置1は、例えばカメラ付きスマートフォン、タブレット端末、小型ノートPC等の携帯型情報端末であってもよい。情報処理装置1は、カメラ110、入力部120、出力部130、記憶部140、および制御部150を備えている。制御部150は、画像認識部151、機器特定部152、比較部153、配置図生成部154、リスト生成部155、詳細情報生成部156、制御盤特定部157、および撮像表示制御部158を備えている。なお、詳細情報生成部156、制御盤特定部157、および撮像表示制御部158の詳細については、後述する変形例にて説明する。
 カメラ110は、制御部150の指示にしたがって撮像を行い、撮像画像を取得する撮像装置である。撮像画像は、制御盤2の部分的な撮像画像であってもよい。撮像画像は、制御機器210に貼り付けられたIDコード211を少なくとも1つは含むことが好ましく、複数含むことがより好ましい。
 入力部120は、情報処理装置1のユーザが該情報処理装置1に対して所望の動作を実行させる場合などに入力を行うためのインターフェースである。入力部120は、例えば後述の出力部130と一体に形成されたタッチパネルであってもよい。
 出力部130は、情報処理装置1が各種情報を外部に出力するために用いるインターフェースである。出力部130は、制御部150の指示にしたがってカメラ110が撮像した撮像画像等を表示するディスプレイを少なくとも備えているが、音声を外部に出力するスピーカーや振動を発生させるモータ等を含んでもよい。
 記憶部140は、情報処理装置1にて扱う各種情報を格納している。記憶部140は、制御機器210と該制御機器210に貼り付けられた機器識別情報であるIDコード211とを紐付ける情報を少なくとも備えてもよく、制御盤2における複数の制御機器210の設置位置を示すレイアウト情報をさらに備えてもよい。また、制御機器210の外形等を含む諸元に関する情報である機種情報を備えていてもよい。
 記憶部140は、比較部153、配置図生成部154、およびリスト生成部155が参照する情報を格納していてもよい。具体的には、記憶部140は所定の状態における、各制御機器210の機種情報および設置位置を示す参照情報を格納してもよい。参照情報は、例えばユーザによって予め設計された、制御盤2における各制御機器210の機種情報および設置位置を示す設計情報であってもよい。参照情報は、過去に機器特定部152によって特定された各制御機器210の機種情報および設置位置を示す過去情報であってもよく、各制御機器210が特定された時点における設置位置の高度を示すGPS情報を含んでもよい。設計情報および過去情報は、複数の制御盤2に関する情報を含んでもよい。なお、これらの情報は、例えば図示しない通信部を介して外部から取得するものであってもよい。
 制御部150は、情報処理装置1の各部を統括して制御する。制御部150は、カメラ110を用いて撮像を行い、取得した画像を画像認識部151へ送信する。制御部150は、入力部120にて受け付けたユーザ入力に基づいて、各種動作を実行する。制御部150は、出力部130に対して各種情報を出力する。具体的には、制御部150は、配置図生成部154が生成した配置図およびリスト生成部155が生成したリストについて、出力部130を介して外部に出力することができる。なお、制御部150は、出力部130が出力する内容について、配置図とリストとを切り替えることが可能であってもよい。さらに、後述する相違点の明示を含む配置図およびリストと、含まない配置図およびリストとを切り替えることが可能であってもよい。
 画像認識部151は、制御部150から撮像画像を受信すると、該撮像画像に含まれるIDコード211を認識し、認識した結果を機器特定部152へ送信する。IDコード211の認識は、公知の画像認識技術によるものであってもよい。画像認識部151は、複数のIDコード211をまとめて認識してもよい。また、画像認識部151は制御機器210の外形的特徴等についても画像認識することで、機器特定部152が該外形的特徴から機器の種類等を特定できるようにしてもよい。
 機器特定部152は、画像認識部151が認識したIDコード211が紐付けられている制御機器210を一意に特定する。より具体的には、機器特定部152は記憶部140に格納されている情報を参照して、IDコード211に紐付けられている制御機器210を特定し、該制御機器210の機種情報、および制御盤2における該制御機器210の設置位置に関する情報を取得する。機器特定部152は、制御盤2に設置されているすべての制御機器210について機種情報および設置位置を特定する。換言すれば、機器特定部152は、複数の撮像画像を組み合わせて制御盤2の全体構成を認識することによって、各制御機器210の設置位置を特定する。すなわち、機器特定部152は、1つの撮像画像から制御盤2に設置されたすべての制御機器210を特定できなくても、一部の制御機器210を含む撮像画像を複数取得できればよい。機器特定部152は、取得した複数の撮像画像に制御盤2に設置されたすべての制御機器210が少なくとも1度は含まれていれば、例えば隣接する制御機器210の位置関係にしたがって撮像画像を結合することができる。そして、複数の撮像画像を組み合わせて制御盤2の全体構成を示す1つの画像を生成することができる。これにより、機器特定部152は画像に含まれるすべての制御機器210の設置位置を特定することができる。機器特定部152は、取得した情報を比較部153、配置図生成部154、およびリスト生成部155へ送信する。
 比較部153は、所定の状態における、各制御機器210の機種情報および設置位置を示す参照情報を取得し、該参照情報と、機器特定部152によって特定された各制御機器210の機種情報および設置位置を比較し、相違点を抽出する。ここで、参照情報は、ユーザによって予め設計された、制御盤2における各制御機器210の設置状態を示す設計情報、または過去に機器特定部152によって特定された各制御機器210の機種情報および設置位置を示す過去情報を示している。すなわち、比較部153は機器特定部152が特定した制御機器210の機種情報および設置位置について、制御盤2の設計情報および過去情報と比較し、変更があった箇所を相違点として抽出する。
 なお、参照情報は、記憶部140に格納されたものを用いてもよいし、図示しない通信部を介して外部より取得したものを用いてもよい。また、どのような参照情報を比較元として選択するかは、ユーザが選択できてもよい。例えば、前回作業からの変更箇所を確認したい場合は前回作業時の過去情報を用いてもよい。そして、変更履歴に応じたバージョン情報等を相違点の抽出と同時に取得してもよい。
 配置図生成部154は、機器特定部152が特定した制御機器210の機種情報および設置位置に基づいて、制御盤2における各制御機器210の配置図を生成する。具体的には、配置図生成部154は設置位置にしたがって各制御機器210を並べた後、機種情報に含まれる各制御機器210の外形や大きさを用いて各制御機器210を表現する。これにより、配置図生成部154は図2の右下と同様の配置図を生成することができる。なお、配置図の生成において、例えば画像認識部151が認識した制御機器210の外形を用いてもよい。
 さらに配置図生成部154は、比較部153が抽出した相違点を明示する配置図を生成することができる。具体的には配置図生成部154は、機器特定部152が特定した制御機器210のうち、比較部153が抽出した相違点に該当する制御機器210があれば、該制御機器210を太字や色分け等で明示する配置図を生成してもよい。このとき、相違点に該当する制御機器210には、バージョン情報等を付記してもよい。
 リスト生成部155は、機器特定部152によって特定された各制御機器210の機種情報および設置位置に基づいて、制御盤2に設置されている制御機器210のリストを生成する。すなわち、リスト生成部155は、生成する対象が配置図とリストという違いはあるものの、配置図生成部154と同様の処理を行って制御機器210のリストを生成する。例えば、リスト生成部155は、比較部153が抽出した相違点に該当する制御機器について、リスト中の文字列を太字や色分け等で明示してもよい。
 (制御盤の構成)
 制御盤2は、目的に応じた複数の制御機器210が内部に設置され、各種電気機器を制御する装置である。図示の例では、制御盤2には3つの制御機器210が設置されており、個々の制御機器210には、IDコード211が設けられている。なお、3つの制御機器210は同一の機種であってもよいし異なる機種であってもよいが、3つのIDコード211は必ず互いに異なっている必要がある。制御盤2は、筐体内に複数のレール(部分収容領域)を備え、レールに制御機器210を固定することによって該制御機器210を設置することが可能な構成であってもよい。換言すれば、制御盤2は、複数の制御機器210を収容する部分収容領域を複数備える構成であってもよい。
 制御機器210は、制御盤2の内部に設置される電子機器である。制御機器210は、例えば、PLC(Programmable Logic Controller)のCPUユニット、通信カプラユニット、センサからのセンシング結果を入力する入力ユニット、モータやロボットなどに対して制御を行う制御出力ユニットなどが挙げられる。制御機器210は、前述の部分収容領域に収容可能な構成であれば、どのような大きさや向きを選択してもよい。
 IDコード211は、制御機器210を一意に特定することが可能な機器識別画像であり、1つのIDコード211は、1つの制御機器210に紐付けられている。IDコード211は制御機器210に設けられた二次元コードの形式であってもよい。IDコード211の設置場所に制限はないが、制御盤2の全体を撮像した場合に、該制御盤2に設置されているすべての制御機器210のIDコード211が同時に確認できるような位置に配置されていることが好ましい。
 (配置図とリストの出力例)
 本構成例に係る情報処理装置1において、撮像画像から生成された配置図およびリストの出力例について、図3を用いて説明する。図3は、情報処理装置1が撮像画像から生成した配置図およびリストの一例を示す模式図であり、図3の(a)は配置図の出力例を示し、図3の(b)はリストの出力例を示す。
 図3の(a)によれば、配置図は制御盤2に設置された複数の制御機器210のそれぞれを直方体のイメージ画像で表している。より具体的には、配置図は、機器特定部152が特定した機種情報および設置位置に基づいて、複数の制御機器210の並び順等が制御盤2の実際の構成に応じたものとされている。図示の例によれば、制御盤2の中には、複数の制御機器210が横3行に設置されている。また、配置図において、直方体のイメージ画像は、対応する制御機器210の機種情報(特に外形)に応じた大きさや形状で表現されてもよい。
 図3の(b)は、情報処理装置1において、制御盤2に設置された複数の制御機器210は、その名称がリスト形式で表されている。具体的には、リストは、機器特定部152が特定した機種情報、設置位置、該当機種に関する詳細情報などを含む。このリストにおいて、各機種情報が表示される順番は、機種の種類でソートされてもよいし、制御盤2における実際の設置位置順でソートされてもよい。
 (相違点の明示例)
 本構成例に係る情報処理装置1において、参照情報を用いて抽出した相違点の明示例について、図4を用いて説明する。図4は、情報処理装置1が撮像画像から生成した配置図において、参照情報との相違点を明示する例を示す模式図である。
 図示の例において、制御盤2の内部で上から2行目かつ左から3つ目に存在する制御機器210が、参照情報との相違点であることが色分けおよびバージョン情報によって明示されている。すなわち、配置図において相違点に該当する制御機器210を示す直方体のイメージ画像は色分けが成されており、さらに該イメージ画像の下には具体的なバージョン情報として「Ver.2.1」との文字列が示されている。
 (処理の流れ)
 本構成例に係る情報処理装置1が実行する処理の流れについて、図5を用いて説明する。図5は、情報処理装置1が実行する処理の流れの一例を示すフローチャートである。
 まず、制御部150がカメラ110を用いて、IDコード211を含む撮像画像を取得する(S1)。次に、画像認識部151は、S1で取得した撮像画像に含まれるIDコード211を認識し、認識結果を機器特定部152へ送信する(S2:画像認識ステップ)。機器特定部152は、受信した認識結果に含まれるIDコード211に紐付けられた制御機器210および該制御機器210の機種情報を特定する。機器特定部152はさらに、制御盤2のレイアウト情報を参照して特定した制御機器210の設置位置を特定する(S3:機器特定ステップ)。
 S3の後、機器特定部152は、制御盤2のレイアウト情報を参照して、特定前の制御機器210が存在するか否かを判定する(S4)。存在しないと判定した場合(S4でNO)、比較部153は、S3で特定した制御機器210の機種情報および設置位置について、設計情報または過去情報と比較して相違点を抽出する(S5:比較ステップ)。その後、処理はS7へ進む。一方、存在すると判定した場合(S4でNO)、制御部150は、特定前の制御機器210のIDコード211を含む撮像画像を、カメラ110を用いて取得する(S6)。その後、処理はS1へ進み、S1~S4の処理を再度実行する。
 S7において、配置図生成部154は、S3で機器特定部152が特定した制御機器210の機種情報および設置位置、およびS5で比較部153が抽出した相違点を用いて、制御盤2における各制御機器210の配置図を生成する(S7:配置図生成ステップ)。さらに、リスト生成部155は制御盤2における各制御機器210のリストを生成する(S8)。その後、一連の処理を終了する。
 以上の処理によって、情報処理装置1は撮像画像から制御盤2における制御機器210の配置図およびリストを生成することができる。これにより、例えば情報処理装置1のユーザは、実際の制御盤2の構成に基づいて生成された配置図およびリストを用いて作業を実施することができる。したがって、制御盤2の実際の構成に応じた配置図およびリストを現場で生成する、利便性に優れた情報処理装置1を提供することができるという効果を奏する。
 本実施形態において機器特定部152は、IDコード211から制御機器210を特定した場合に、該制御機器210のGPS情報を履歴情報として過去情報とともに記憶部140等に保存してもよい。GPS情報を地図情報等と組み合わせることにより、制御機器210の設置位置の高度が推定できる。このとき、例えば高度に応じた気圧および気温と制御機器210の寿命との関係を考慮したり、制御盤2や制御機器210の移設の有無を確認したりできる。さらに、不具合発生時に該不具合が、移設を切っ掛けとしたものであるかを推定することができる。また、ユーザが特定の制御機器210を配置図またはリストから選択した場合に、選択した制御機器210の位置をGPS情報にしたがって出力することができる。換言すれば、配置図生成部154およびリスト生成部155は、配置図またはリストにおいてユーザが選択した機種に対応する制御機器210の設置位置を、GPS情報を用いて明示してもよい。そして、GPS情報の履歴を確認することにより、制御機器210がどの制御盤2でどれだけの期間稼働していたかを確認することができる。なお、各制御機器210がどの制御盤2に設置されているかという情報を特定の都度履歴情報として保存することにより、GPS情報を用いることなく前述の各種機能を実現することが可能である。
 §3 変形例
 以下、本発明の一実施形態について、図1、図6~図9を用いて詳細に説明する。
 (情報処理装置の構成)
 本実施形態に係る情報処理装置1の構成について、図1、図6、および図8を用いて説明する。情報処理装置1の基本的な構成は前記構成例と同一であるが、一部構成が異なっている。情報処理装置1は、ユーザが選択した制御機器210を配置図およびリストにおいて明示(強調)して出力することができる。情報処理装置1は、選択済みである制御機器210の詳細情報の取得をユーザが選択した場合に、該制御機器210の詳細情報を生成して出力する。情報処理装置1は、に含まれるIDコード211に基づいて制御機器210を特定すると、特定した制御機器210が設置されている制御盤2を特定することができる。情報処理装置1は、ユーザが制御機器210を選択した後、カメラ110を用いて取得した撮像画像に選択済みである制御機器210が含まれているか否かを判定し、判定結果に応じた通知を行ってもよい。
 記憶部140は、制御機器210の詳細情報を記録している機種データベースをさらに備えてもよい。機種データベースは外部に設けられ、図示しない通信部を介して取得する構成であってもよいし、記憶部140に格納された情報を外部から取得した情報によって更新する構成であってもよい。制御機器210の詳細情報とは、該制御機器210の画像、スペック、代替機の情報を含んでもよい。
 詳細情報生成部156は、制御部150の指示にしたがって、制御機器210の機種に関する詳細情報を記録している機種データベースを参照し、詳細情報として生成する。情報処理装置1は、例えば図6に示すように、詳細情報生成部156が生成した制御機器210の画像(詳細画像)を、撮像画像に重畳させて表示してもよい。これにより、例えば現場が暗い等の理由で制御機器210の視認が困難である場合に、撮像画像に詳細画像を重畳させて明示することによって、情報処理装置1のユーザが該制御機器210を視認しやすくすることができる。
 制御盤特定部157は、撮像中の現在撮像画像から、撮像中である制御盤2を特定する。具体的には制御盤特定部157は、複数の制御盤2に関する、過去に機器特定部152によって特定された各制御機器210の機種情報および設置位置を示す過去情報を取得し、カメラ110によって撮像中の現在撮像画像と過去情報とを比較する。現在撮像画像から特定された制御機器210の機種情報および設置位置の情報と一致する過去情報が存在した場合、制御盤特定部157は、該過去情報が示す制御盤2が撮像中の制御盤2であるとして、その旨を出力する。制御盤特定部157は、特定した制御盤2について、名称や識別子等を出力してもよいし、特定した制御盤2の位置を図8のように地図上に明示してもよい。地図上に制御盤2の位置を明示した場合、ユーザは周囲の実際の風景と地図とを比較することで、制御盤特定部157が特定した結果が妥当であるか否かを評価し、誤っている場合は再度判定させてもよい。
 撮像表示制御部158は、ユーザが選択した制御機器210が、選択後に取得された撮像画像に含まれるか否かを判定する。具体的には、撮像表示制御部158は、過去に機器特定部152によって特定された各制御機器210の機種情報および設置位置を示す過去情報を記憶部140等から取得し、カメラ110によって撮像中の現在撮像画像と該過去情報とを比較する。現在撮像画像から特定された制御機器210の機種情報および設置位置の情報と一致する過去情報が存在した場合、撮像表示制御部158は、選択された制御機器210を撮像画像中に明示する。さらに一致する過去情報が存在した旨を外部に出力する。出力内容は光や音等であってもよい。また、現在撮像画像から特定された制御機器210の機種情報および設置位置の情報と一致する過去情報が存在しなかった場合、撮像表示制御部158は、選択した制御機器210への誘導を行ってもよい。具体的には、撮像表示制御部158は現在撮像画像から特定した制御機器210の設置位置と選択した制御機器210の設置位置とを比較し、選択した制御機器210へ向かう方向を決定し、決定した方向へ誘導する情報を撮像画像中に出力してもよい。
 (選択した撮像機器の検索)
 本変形例において情報処理装置1が撮像表示制御部158を用いて実行する、ユーザが特定の制御機器210を選択した後に撮像画像を用いて該制御機器210を検索する動作の一例について、図7の各図を用いて説明する。図7は、情報処理装置1が実行する、現在撮像画像を用いて選択された制御機器210を認識する動作の一例を示す模式図である。図7の(a)は、リスト上でユーザが特定の制御機器210を選択した例を示し、図7の(b)は、(a)の後に取得した撮像画像の中に選択した制御機器210が含まれていた場合の情報処理装置1の動作を示す。図7の(c)は、(a)の後に取得した撮像画像の中に選択した制御機器210が含まれなかった場合の情報処理装置1の動作を示す。
 図7の(a)は、ユーザが出力部130に出力されている制御機器210のリストの中から1つの制御機器210を選択する例を示す模式図である。図示の例において、点線枠にて示された文字列は、選択された制御機器210の名称を示す。ユーザがリストの中から制御機器210を選択すると、選択された制御機器210の名称を示す文字列が太字で明示される。このとき、文字列は太字で明示されるとともに選択されなかった制御機器210の名称とは別の色で出力されてもよい。なお、制御機器210の選択は、配置図に対して行われてもよい。
 図7の(b)は、図7の(a)の後に取得した撮像画像の中に選択した制御機器210が含まれていた場合に、情報処理装置1が光や音でその旨を出力する例を示す模式図である。図示の例において、情報処理装置1が撮像画像を取得すると、該撮像画像に含まれるIDコード211を画像認識部151が認識し、機器特定部152にてIDコード211に紐付けられた制御機器210を特定する。撮像表示制御部158は、特定した制御機器210が選択された制御機器210である場合、出力部130を用いて光や音で外部にその旨を出力することができる。
 図7の(c)は、図7の(a)の後に取得した撮像画像の中に選択した制御機器210が含まれなかった場合に、情報処理装置1が選択された制御機器210への誘導を行う例を示す模式図である。図示の例において、撮像表示制御部158は、撮像画像に含まれる制御機器210と選択された制御機器210との間の相対位置を特定し、撮像画像から選択された制御機器210へ向かう方向を矢印で、撮像画像に重畳させている。情報処理装置1のユーザは、例えば制御機器210をリストから選択した後、適当な撮像画像を取得することにより、該撮像画像から自身が選択した制御機器210へ向かう方向を確認することができる。なお、制御機器210への誘導は撮像画像に矢印を重畳させる方法に限定されなくてもよい。例えば、現在位置から制御機器210へ向かう方向を「右方向」といったメッセージで示してもよいし、音声で案内してもよい。
 (詳細情報生成処理および撮像表示制御処理の流れ)
 本変形例に係る情報処理装置1が実行する詳細情報生成処理および撮像表示制御処理の流れについて、図9の(a)を用いて説明する。図9の(a)は、本変形例に係る情報処理装置1が実行する詳細情報生成処理および撮像表示制御処理の流れの一例を示すフローチャートである。
 まず、ユーザが出力部130に出力されているリスト等から、特定の制御機器210を選択すると(S21でYES)、配置図生成部154は選択された制御機器210を明示する配置図を生成する(S22)。さらに、リスト生成部155は選択された制御機器210を明示するリストを生成する(S23)。
 S23の後、制御部150は、S21でユーザが選択した制御機器210について、詳細情報の取得が選択されたか否かを判定する(S24)。詳細情報の取得が選択されたと判定した場合(S24でYES)、詳細情報生成部156は、選択された制御機器210に関する詳細情報を生成し、出力部130を用いて出力する(S25)。その後、処理はS26へ進む。一方、詳細情報の取得が選択されなかったと判定した場合(S24でNO)、処理はS26へ直接進む。
 S26において、制御部150は、IDコード211を含む撮像画像を取得したか否かを判定する(S26)。撮像画像を取得したと判定した場合(S26でYES)、図5のS2およびS3と同様に、画像認識部151が該撮像画像に含まれるIDコード211を認識し(S27)、機器特定部152が制御機器210の機種情報および設置位置を特定する(S28)。その後、処理はS29へ進む。一方、撮像画像を取得しなかったと判定した場合(S26でNO)、一連の処理を終了する。
 S29において、撮像表示制御部158は、S28で特定した制御機器210の中に、S21で選択した制御機器210が含まれるか否かを判定する(S29)。含まれると判定した場合(S29でYES)、撮像表示制御部158は、選択された制御機器210が撮像画像に含まれることを光や音で外部に出力するとともに、該制御機器210を撮像画像中に明示する(S30)。その後、一連の処理を終了する。一方、含まれないと判定した場合(S29でNO)、撮像表示制御部158は、S28で特定した制御機器210の設置位置と、S21で選択した制御機器210の設置位置との相対関係から、選択した制御機器210への誘導を矢印等によって行う(S31)。その後、一連の処理を終了する。
 以上の処理によって、情報処理装置1は、ユーザが選択した制御機器210について、詳細情報を生成して出力するとともに、選択後に撮像した撮像画像を用いて該制御機器210を検索することができる。
 (制御盤特定処理の流れ)
 本変形例に係る情報処理装置1が実行する制御盤特定処理の流れについて、図9の(b)を用いて説明する。図9の(b)は、情報処理装置1が実行する制御盤特定処理の流れの一例を示すフローチャートである。
 まず、図5のS1~S3と同様に、撮像画像に含まれる制御機器210を特定する。すなわち制御部150がカメラ110を用いてIDコード211を含む撮像画像を取得し(S41)、画像認識部151にて撮像画像に含まれるIDコード211を認識する(S42)。そして、機器特定部152がS42で認識したIDコード211に紐付けられた制御機器210の機種情報および設置位置を特定する(S43)。
 S43の後、制御盤特定部157は、複数の制御盤2に関する制御機器210の過去情報を記憶部140等から取得し、S43で特定した機種情報および設置位置と一致するものが存在するか否かを判定する(S44)。一致する過去情報が存在すると判定した場合(S44でYES)、制御盤特定部157は、当該の過去情報に対応する制御盤2が、S41で取得した撮像画像を取得元の制御盤2であると特定する(S45)。その後、一連の処理を終了する。一方、一致する過去情報が存在しないと判定した場合(S44でNO)、制御盤特定部157はS41で撮像画像を取得した元である制御盤2を特定できなかった旨のエラーを出力する(S46)。その後、一連の処理を終了する。
 以上の処理によって、本変形例に係る情報処理装置1は撮像画像と過去情報とを用いて、撮像した制御盤2を特定することができる。すなわち、撮像画像に含まれるIDコード211から制御機器210を特定し、特定した制御機器210が設置された制御盤2を特定することができる。これにより、例えば同一機種である制御盤2が複数並んでいた場合に、制御盤2を間違えることなく作業を実施することができる。
 〔ソフトウェアによる実現例〕
 情報処理装置1の制御ブロック(特に画像認識部151、機器特定部152、比較部153、配置図生成部154、リスト生成部155、詳細情報生成部156、制御盤特定部157、および撮像表示制御部158)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
 後者の場合、情報処理装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
 〔まとめ〕
 本発明の態様1に係る情報処理装置(1)は、機種情報を示す機器識別画像(IDコード211)が設けられた複数の制御機器が設置された制御盤(2)を撮像して撮像画像を取得する撮像装置(カメラ110)と、前記撮像画像に含まれる前記機器識別画像を認識する画像認識部(151)と、前記画像認識部によって認識された前記機器識別画像に基づいて、前記各制御機器の機種情報および設置位置を特定する機器特定部と、前記機器特定部によって特定された前記各制御機器の機種情報および設置位置に基づいて、前記制御盤における前記各制御機器の配置図を生成する配置図生成部とを備える構成である。
 この構成によれば、情報処理装置は機器識別画像を認識することで、制御盤において該機器識別画像が設けられた制御機器の配置図を生成することができる。これにより、例えば情報処理装置のユーザは、実際の制御盤の構成に基づいて生成された配置図を用いて作業を実施することができる。したがって、制御盤の実際の構成に応じた配置図を現場で生成する、利便性に優れた情報処理装置を提供することができるという効果を奏する。
 上記態様に係る情報処理装置において、機器特定部が、前記各制御機器と前記機器識別画像とを紐付ける機器識別情報を用いて前記撮像画像に含まれる前記機器識別画像から制御機器を一意に特定する構成を備えていてもよい。
 本発明の態様2に係る情報処理装置(1)は、前記態様1において、前記機器特定部(152)によって特定された前記各制御機器(210)の機種情報および設置位置に基づいて、前記制御盤(2)に設置されている前記制御機器のリストを生成するリスト生成部(155)をさらに備える構成としてもよい。
 この構成によれば、情報処理装置は制御盤に設置された制御機器の配置図に加えて制御機器のリストを生成することができる。これにより、例えば情報処理装置のユーザは、配置図とリストとを組み合わせて作業対象である制御機器を確実に認識することができる。
 本発明の態様3に係る情報処理装置(1)は、前記態様1または2において、前記撮像画像が、前記制御盤(2)の部分的な撮像画像であり、前記機器特定部(152)が、複数の前記撮像画像を組み合わせて前記制御盤の全体構成を認識することによって、前記各制御機器の設置位置を特定する構成としてもよい。
 この構成によれば、情報処理装置は制御盤の部分的な撮像画像を組み合わせて該制御盤の全体構成を認識し、該制御盤における制御機器の配置図を生成することができる。
 本発明の態様4に係る情報処理装置(1)は、前記態様1から3のいずれか一項において、前記画像認識部(151)が、前記各制御機器(210)の外形を画像認識するとともに、前記配置図生成部(154)が、前記各制御機器の外形を用いて前記配置図を生成する構成としてもよい。この構成によれば、情報処理装置は撮像画像から画像認識した制御機器の外形を用いて配置図を生成することができる。
 上記態様に係る情報処理装置において、前記配置図と前記リストとを切り替えて出力する構成を備えていてもよい。
 本発明の態様5に係る情報処理装置(1)は、前記態様1から4のいずれか一項において、所定の状態における、前記各制御機器(210)の機種情報および設置位置を示す参照情報を取得し、該参照情報と、前記機器特定部(152)によって特定された前記各制御機器の機種情報および設置位置を比較し、相違点を抽出する比較部(153)をさらに備え、前記配置図生成部(154)が、前記配置図において、前記比較部によって抽出された前記相違点を明示する構成としてもよい。
 この構成によれば、情報処理装置は相違点を明示するようにした配置図を生成することができる。これにより、例えば相違点が予め予測されていた内容と同一であるか否かを確認することができる。
 本発明の態様6に係る情報処理装置は、前記態様5において、前記参照情報が、ユーザによって予め設計された、前記制御盤(2)における各制御機器(210)の設置状態を示す設計情報、または、過去に前記機器特定部(152)によって特定された前記各制御機器の機種情報および設置位置を示す過去情報である構成としてもよい。
 この構成によれば、情報処理装置は設計情報および過去情報のいずれかと参照情報との間の相違点の有無を抽出し、配置図において明示することができる。これにより、例えば相違点がどの時点で生じたかを推測することができる。
 本発明の態様7に係る情報処理装置(1)は、前記態様5または6において、前記参照情報は、前記各制御機器(210)の設置位置を示すGPS情報を含んでおり、前記配置図生成部(154)は、前記配置図においてユーザによって選択された機種に対応する前記制御機器の前記設置位置の高度を、前記GPS情報を少なくとも用いて明示する構成としてもよい。
 前記の構成によれば、情報処理装置は配置図において相違点を明示するとともに、ユーザが選択した制御機器の設置位置の高度をGPS情報と地図情報等とを組み合わせることで明示することができる。これにより、例えば相違点に該当する制御機器が以前はどの位置にあったかを確認することができる。
 上記態様に係る情報処理装置において、前記相違点の明示を含む前記配置図および前記リストと、含まない前記配置図および前記リストとを切り替えて出力する構成を備えていてもよい。
 上記態様に係る情報処理装置において、前記画像認識部が、前記各制御機器の外形的特徴を画像認識し、前記機器特定部は前記外形的特徴に紐付けられた前記機種情報から制御機器を一意に特定する構成を備えていてもよい。
 上記態様に係る情報処理装置において、前記機種情報が前記各制御機器の外形等の情報を含むとともに、前記配置図生成部が、前記配置図において、前記機種情報に含まれる前記各制御機器の外形等の情報に応じた大きさや形状で前記各制御機器を明示する構成を備えていてもよい。
 本発明の態様8に係る情報処理装置(1)は、前記態様1から7のいずれか一項において、前記配置図生成部(154)が、前記配置図において、ユーザによって選択された機種に対応する前記制御機器(210)を明示する構成としてもよい。
 この構成によれば、情報処理装置は配置図において選択された制御機器を明示することができる。これにより、例えば作業対象である制御機器について、配置図における設置位置および該設置位置に存在する制御機器を確認した後に作業を開始することができる。
 本発明の態様9に係る情報処理装置(1)は、前記態様8において、機種に関する詳細情報を記録している機種データベースを参照することによって、ユーザによって選択された機種に関する詳細情報を生成する詳細情報生成部(156)をさらに備える構成としてもよい。
 この構成によれば、情報処理装置は配置図において選択された制御機器の詳細情報を生成することができる。これにより、例えば作業対象である制御機器について、配置図における設置位置および該制御機器の詳細情報を確認した後に作業を開始することができる。
 上記態様に係る情報処理装置において、前記詳細情報が、前記撮像画像に重畳して明示される構成を備えていてもよい。
 本発明の態様10に係る情報処理装置(1)は、前記態様1から9のいずれか一項において、複数の制御盤(2)に関する、過去に前記機器特定部(152)によって特定された前記各制御機器(210)の機種情報および設置位置を示す過去情報を取得し、前記撮像装置(カメラ110)によって撮像中の現在撮像画像と前記過去情報とを比較することによって、撮像中の前記制御盤を特定する制御盤特定部(157)をさらに備える構成としてもよい。
 この構成によれば、情報処理装置は撮像画像と過去情報とを用いて、撮像した制御盤を特定することができる。すなわち、撮像画像に含まれる機器識別画像から制御機器を特定し、特定した制御機器が設置された制御盤を特定することができる。これにより、例えば同一機種である制御盤が複数並んでいた場合に、制御盤を間違えることなく作業を実施することや、制御盤や制御機器の移設の有無を確認することができる。
 上記態様に係る情報処理装置において、前記制御盤特定部が特定した撮像中の前記制御盤の位置を地図上に明示する構成を備えていてもよい。
 本発明の態様11に係る情報処理装置(1)は、前記態様1から10のいずれか一項において、過去に前記機器特定部(152)によって特定された前記各制御機器(210)の機種情報および設置位置を示す過去情報を取得し、前記撮像装置(カメラ110)によって撮像中の現在撮像画像と前記過去情報とを比較することによって、ユーザによって選択された制御機器を前記現在撮像画像中に明示する撮像表示制御部(158)をさらに備える構成としてもよい。
 この構成によれば、情報処理装置はユーザによって選択された制御機器が撮像画像に含まれていた場合は、該撮像画像中にその旨を明示することができる。これにより、例えば同一機種の制御機器が複数並んでいた場合に、ユーザが選択した制御機器を特定することができる。
 本発明の態様12に係る情報処理方法は、機種情報を示す機器識別画像(IDコード211)が設けられた複数の制御機器(210)が設置された制御盤(2)の撮像画像を取得し、前記撮像画像に含まれる前記機器識別画像を認識する画像認識ステップ(S2)と、前記画像認識ステップによって認識された前記機器識別画像に基づいて、前記各制御機器の機種情報および設置位置を特定する機器特定ステップ(S3)と、前記機器特定ステップによって特定された前記各制御機器の機種情報および設置位置に基づいて、前記制御盤における前記各制御機器の配置図を生成する配置図生成ステップ(S7)とを有する方法である。前記の構成によれば、前記態様1と同様の作用効果を奏する。
 本発明の一態様は、上記いずれかの態様に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記各部としてコンピュータを機能させるための情報処理プログラムである。
 1 情報処理装置
 110 カメラ(撮像装置)
 120 入力部
 130 出力部
 140 記憶部
 150 制御部
 151 画像認識部
 152 機器特定部
 153 比較部
 154 配置図生成部
 155 リスト生成部
 156 詳細情報生成部
 157 制御盤特定部
 158 撮像表示制御部

Claims (20)

  1.  機種情報を示す機器識別画像が設けられた複数の制御機器が設置された制御盤を撮像して撮像画像を取得する撮像装置と、
     前記撮像画像に含まれる前記機器識別画像を認識する画像認識部と、
     前記画像認識部によって認識された前記機器識別画像に基づいて、前記各制御機器の機種情報および設置位置を特定する機器特定部と、
     前記機器特定部によって特定された前記各制御機器の機種情報および設置位置に基づいて、前記制御盤における前記各制御機器の配置図を生成する配置図生成部とを備えることを特徴とする情報処理装置。
  2.  機器特定部は、前記各制御機器と前記機器識別画像とを紐付ける機器識別情報を用いて前記撮像画像に含まれる前記機器識別画像から制御機器を一意に特定する、ことを特徴とする請求項1に記載の情報処理装置。
  3.  前記機器特定部によって特定された前記各制御機器の機種情報および設置位置に基づいて、前記制御盤に設置されている前記制御機器のリストを生成するリスト生成部をさらに備えることを特徴とする請求項1または2に記載の情報処理装置。
  4.  前記配置図と前記リストとを切り替えて出力する、ことを特徴とする請求項3に記載の情報処理装置。
  5.  所定の状態における、前記各制御機器の機種情報および設置位置を示す参照情報を取得し、該参照情報と、前記機器特定部によって特定された前記各制御機器の機種情報および設置位置を比較し、相違点を抽出する比較部をさらに備え、
     前記配置図生成部が、前記配置図において、前記比較部によって抽出された前記相違点を明示することを特徴とする請求項3または4に記載の情報処理装置。
  6.  前記参照情報が、
      ユーザによって予め設計された、前記制御盤における各制御機器の設置状態を示す設計情報、または、
      過去に前記機器特定部によって特定された前記各制御機器の機種情報および設置位置を示す過去情報であることを特徴とする請求項5に記載の情報処理装置。
  7.  前記参照情報は、前記各制御機器の設置位置を示すGPS情報を含んでおり、
     前記配置図生成部は、前記配置図においてユーザによって選択された機種に対応する前記制御機器の前記設置位置の高度を、前記GPS情報を少なくとも用いて明示することを特徴とする請求項5または6に記載の情報処理装置。
  8.  前記相違点の明示を含む前記配置図および前記リストと、含まない前記配置図および前記リストとを切り替えて出力する、ことを特徴とする請求項5から7のいずれか1項に記載の情報処理装置。
  9.  前記撮像画像が、前記制御盤の部分的な撮像画像であり、
     前記機器特定部が、複数の前記撮像画像を組み合わせて前記制御盤の全体構成を認識することによって、前記各制御機器の設置位置を特定することを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。
  10.  前記画像認識部が、前記各制御機器の外形を画像認識するとともに、
     前記配置図生成部が、前記各制御機器の外形を用いて前記配置図を生成することを特徴とする請求項1から9のいずれか一項に記載の情報処理装置。
  11.  前記画像認識部が、前記各制御機器の外形的特徴を画像認識し、
     前記機器特定部は前記外形的特徴に紐付けられた前記機種情報から制御機器を一意に特定する、ことを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。
  12.  前記機種情報が前記各制御機器の外形等の情報を含むとともに、
     前記配置図生成部が、前記配置図において、前記機種情報に含まれる前記各制御機器の外形等の情報に応じた大きさや形状で前記各制御機器を明示する、ことを特徴とする請求項1から11のいずれか一項に記載の情報処理装置。
  13.  前記配置図生成部が、前記配置図において、ユーザによって選択された機種に対応する前記制御機器を明示することを特徴とする請求項1から12のいずれか一項に記載の情報処理装置。
  14.  機種に関する詳細情報を記録している機種データベースを参照することによって、ユーザによって選択された機種に関する詳細情報を生成する詳細情報生成部をさらに備えることを特徴とする請求項13に記載の情報処理装置。
  15.  前記詳細情報は、前記撮像画像に重畳して明示される、ことを特徴とする請求項14に記載の情報処理装置。
  16.  複数の制御盤に関する、過去に前記機器特定部によって特定された前記各制御機器の機種情報および設置位置を示す過去情報を取得し、前記撮像装置によって撮像中の現在撮像画像と前記過去情報とを比較することによって、撮像中の前記制御盤を特定する制御盤特定部をさらに備えることを特徴とする請求項1から15のいずれか一項に記載の情報処理装置。
  17.  前記制御盤特定部が特定した撮像中の前記制御盤の位置を地図上に明示する、ことを特徴とする請求項16に記載の情報処理装置。
  18.  過去に前記機器特定部によって特定された前記各制御機器の機種情報および設置位置を示す過去情報を取得し、前記撮像装置によって撮像中の現在撮像画像と前記過去情報とを比較することによって、ユーザによって選択された制御機器を前記現在撮像画像中に明示する撮像表示制御部をさらに備えることを特徴とする請求項1から17のいずれか一項に記載の情報処理装置。
  19.  機種情報を示す機器識別画像が設けられた複数の制御機器が設置された制御盤の撮像画像を取得し、前記撮像画像に含まれる前記機器識別画像を認識する画像認識ステップと、
     前記画像認識ステップによって認識された前記機器識別画像に基づいて、前記各制御機器の機種情報および設置位置を特定する機器特定ステップと、
     前記機器特定ステップによって特定された前記各制御機器の機種情報および設置位置に基づいて、前記制御盤における前記各制御機器の配置図を生成する配置図生成ステップとを有することを特徴とする情報処理方法。
  20.  請求項1から18のいずれか一項に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記各部としてコンピュータを機能させるための情報処理プログラム。
PCT/JP2019/019605 2018-06-14 2019-05-17 情報処理装置、情報処理方法、およびプログラム WO2019239788A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP19820107.1A EP3809217A4 (en) 2018-06-14 2019-05-17 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-113842 2018-06-14
JP2018113842A JP7143641B2 (ja) 2018-06-14 2018-06-14 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2019239788A1 true WO2019239788A1 (ja) 2019-12-19

Family

ID=68843003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019605 WO2019239788A1 (ja) 2018-06-14 2019-05-17 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
EP (1) EP3809217A4 (ja)
JP (1) JP7143641B2 (ja)
TW (1) TWI703505B (ja)
WO (1) WO2019239788A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7535926B2 (ja) 2020-12-01 2024-08-19 三菱電機株式会社 サーバ装置、機器組み付け場所指示システムおよび機器組み付け場所指示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63305467A (ja) * 1987-06-05 1988-12-13 Meidensha Electric Mfg Co Ltd 制御盤の外形図作成方式
JP2004005639A (ja) * 2003-05-09 2004-01-08 Hitachi Ltd 監視装置
JP2007233566A (ja) 2006-02-28 2007-09-13 Toshiba Corp 制御盤製造支援装置
WO2016163492A1 (ja) * 2015-04-10 2016-10-13 日本電気株式会社 位置特定装置、位置特定方法及びプログラム
EP3229175A1 (en) * 2016-04-08 2017-10-11 Abb Ag Computer system and method to generate input data for building automation configuration from cabinet images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180095522A1 (en) * 2016-10-04 2018-04-05 Mediatek Inc. Scenario-Based Policy For Performance And Power Management In Electronic Apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63305467A (ja) * 1987-06-05 1988-12-13 Meidensha Electric Mfg Co Ltd 制御盤の外形図作成方式
JP2004005639A (ja) * 2003-05-09 2004-01-08 Hitachi Ltd 監視装置
JP2007233566A (ja) 2006-02-28 2007-09-13 Toshiba Corp 制御盤製造支援装置
WO2016163492A1 (ja) * 2015-04-10 2016-10-13 日本電気株式会社 位置特定装置、位置特定方法及びプログラム
EP3229175A1 (en) * 2016-04-08 2017-10-11 Abb Ag Computer system and method to generate input data for building automation configuration from cabinet images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3809217A4

Also Published As

Publication number Publication date
EP3809217A4 (en) 2022-03-16
JP7143641B2 (ja) 2022-09-29
TW202001668A (zh) 2020-01-01
EP3809217A1 (en) 2021-04-21
TWI703505B (zh) 2020-09-01
JP2019215817A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP4876103B2 (ja) 保守点検システム
US10311260B2 (en) Display apparatus, image display system, and information providing server
US20170339770A1 (en) Lighting system and method for registering lighting device
JP4710734B2 (ja) ポインティング装置、ポインティング位置検出方法及びプログラム
US20180027218A1 (en) Work assistance device, work assistance system, work assistance method, and recording medium storing work assistance program
US20170278057A1 (en) Information processing apparatus, shelf label management system, control method, and program
US20150279112A1 (en) Method for generating a content in augmented reality mode
JP2009089020A (ja) 通信装置、保守システム、保守方法、及びコンピュータプログラム
WO2019239788A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106561079B (zh) 电子部件安装系统中的维护支援系统以及维护支援方法
JP2023065371A (ja) 製造支援システム,方法,プログラム
JP2018180868A (ja) 画像処理装置及び製造システム
JP6646843B2 (ja) 照明管理端末及び照明管理方法
JP2019020914A (ja) 物体識別システム
JP2014203382A (ja) 表示装置、表示方法、および表示プログラム
JP2010177628A (ja) 実装部品の検査結果確定方法および検査結果確定システム
EP3812862B1 (en) Information processing device, information processing method, and program
JPWO2019082429A1 (ja) 製造作業支援システム、製造作業支援方法およびプログラム
JP2010273179A (ja) 映像表示装置
JP7149354B2 (ja) 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
CN116363396A (zh) 维修点标识方法、装置、设备、ar眼镜及存储介质
JP2022072964A (ja) 導電性部材抽出装置および導電性部材抽出方法
JP6522165B2 (ja) 空調機制御システム
CN103576040A (zh) 现场电子产品的布线错误诊断排除系统及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19820107

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019820107

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019820107

Country of ref document: EP

Effective date: 20210114