WO2023032087A1 - 部品特定装置、部品特定方法及び部品特定プログラム - Google Patents

部品特定装置、部品特定方法及び部品特定プログラム Download PDF

Info

Publication number
WO2023032087A1
WO2023032087A1 PCT/JP2021/032153 JP2021032153W WO2023032087A1 WO 2023032087 A1 WO2023032087 A1 WO 2023032087A1 JP 2021032153 W JP2021032153 W JP 2021032153W WO 2023032087 A1 WO2023032087 A1 WO 2023032087A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
candidate
unit
control
parts
Prior art date
Application number
PCT/JP2021/032153
Other languages
English (en)
French (fr)
Inventor
英司 山本
勝大 草野
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/032153 priority Critical patent/WO2023032087A1/ja
Priority to JP2023538055A priority patent/JP7333894B2/ja
Priority to DE112021007880.1T priority patent/DE112021007880T5/de
Priority to CN202180101070.4A priority patent/CN117813627A/zh
Priority to TW110145009A priority patent/TW202312095A/zh
Publication of WO2023032087A1 publication Critical patent/WO2023032087A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to technology for identifying candidate parts corresponding to control parts that configure a control panel.
  • the existing control panel realized with hardware operating in factories, etc. is replaced with a control panel realized with a graphic control screen that imitates hardware such as switches and lamps by software.
  • the existing control panel is implemented with an old-style graphic control screen.
  • candidate parts that are control parts prepared to configure a new graphic control screen there is not necessarily a candidate part that matches the appearance of all the control parts that make up the existing control panel. Therefore, when performing replacement, identify candidate parts that are close to the control parts that make up the existing control panel, set various property information for the identified candidate parts, and replace them with the control parts that make up the existing control panel. Work is done to make them look the same.
  • Patent Document 1 by calculating and weighting the importance of a specific position of an image, image retrieval is performed in consideration of not only the similarity between partial areas of the image but also the importance of the partial areas in the image. stated to be done.
  • An object of the present disclosure is to enable appropriate identification of a candidate component close to a control component.
  • the component identification device is an element identifying unit that identifies a plurality of constituent elements that constitute the control component from image data of the control component that constitutes the control panel; For each of the plurality of candidate parts stored in the parts storage unit, each of the plurality of constituent elements identified by the element identifying unit is defined for each constituent element between the target candidate part and the control part. calculating an element similarity using the weights obtained from the plurality of a candidate identification unit that identifies a candidate part corresponding to the control part from the candidate parts of the.
  • the candidate component corresponding to the control component identify. Thereby, it is possible to appropriately identify a candidate component close to the control component.
  • FIG. 1 is a configuration diagram of a component identification device 10 according to Embodiment 1;
  • FIG. 4 is an explanatory diagram of information stored in a component storage unit 31 according to the first embodiment;
  • FIG. 4 is an explanatory diagram of information stored in an element storage unit 32 according to the first embodiment;
  • FIG. 4 is an explanatory diagram of information stored in a weight storage unit 33 according to the first embodiment;
  • FIG. FIG. 4 is an explanatory diagram of a weight setting requirement 1 according to the first embodiment;
  • FIG. 4 is an explanatory diagram of a weight setting requirement 2 according to the first embodiment;
  • FIG. 4 is an explanatory diagram of a weight setting requirement 3 according to the first embodiment;
  • 4 is a flowchart of overall processing of the component identification device 10 according to Embodiment 1;
  • FIG. 4 is an explanatory diagram of information stored in a component storage unit 31 according to the first embodiment;
  • FIG. 4 is an explanatory diagram of information stored in an element storage unit 32 according to the first
  • FIG. 9 is an explanatory diagram of component identification processing (step S12 in FIG. 8) according to the first embodiment;
  • FIG. 9 is an explanatory diagram of component identification processing (step S13 in FIG. 8) according to the first embodiment;
  • 9 is a flowchart of candidate identification processing (step S14 in FIG. 8) according to the first embodiment;
  • FIG. 12 is an explanatory diagram of element evaluation processing (step S21 in FIG. 11) according to the first embodiment;
  • the block diagram of the components identification apparatus 10 which concerns on the modification 1.
  • the block diagram of the components identification apparatus 10 which concerns on the modified example 3.
  • FIG. FIG. 11 is an explanatory diagram of a method of generating setting information according to Modification 3;
  • Embodiment 1 *** Configuration description *** A configuration of a component identification device 10 according to Embodiment 1 will be described with reference to FIG.
  • the component identification device 10 is a computer.
  • the component identification device 10 includes hardware including a processor 11 , a memory 12 , a storage 13 and a communication interface 14 .
  • the processor 11 is connected to other hardware via signal lines and controls these other hardware.
  • the processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the memory 12 is a storage device that temporarily stores data. Specific examples of the memory 12 include SRAM (Static Random Access Memory) and DRAM (Dynamic Random Access Memory).
  • the storage 13 is a storage device that stores data.
  • a specific example of the storage 13 is an HDD (Hard Disk Drive).
  • the storage 13 includes SD (registered trademark, Secure Digital) memory card, CF (Compact Flash, registered trademark), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versatile Disk), etc. It may be a portable recording medium.
  • the communication interface 14 is an interface for communicating with external devices.
  • the communication interface 14 is, for example, an Ethernet (registered trademark), USB (Universal Serial Bus), HDMI (registered trademark, High-Definition Multimedia Interface) port.
  • the component identification device 10 is connected to an image input device 41 and a result display device 42 via a communication interface 14.
  • the image input device 41 is a computer, storage device, or the like in which image data is stored.
  • the result display device 42 is a computer, display, or the like that can display results.
  • the component identification device 10 includes a component identification unit 21, an element identification unit 22, and a candidate identification unit 23 as functional components.
  • the candidate identification unit 23 includes an element evaluation unit 24 , a component evaluation unit 25 and a candidate selection unit 26 .
  • the function of each functional component of the component identification device 10 is realized by software.
  • the storage 13 stores a program that implements the function of each functional component of the component identification device 10 . This program is read into the memory 12 by the processor 11 and executed by the processor 11 . Thereby, the function of each functional component of the component identification device 10 is realized.
  • the storage 13 implements a part storage unit 31, an element storage unit 32, and a weight storage unit 33.
  • processor 11 Only one processor 11 is shown in FIG. However, there may be a plurality of processors 11, and the plurality of processors 11 may cooperate to execute programs that implement each function.
  • FIG. 1 The operation procedure of the component identifying device 10 according to the first embodiment corresponds to the component identifying method according to the first embodiment. Also, a program that realizes the operation of the component identification device 10 according to the first embodiment corresponds to the component identification program according to the first embodiment.
  • the information described below is stored in the component storage unit 31, the element storage unit 32, and the weight storage unit 33.
  • the parts storage unit 31 stores information on candidate parts that are control parts that can be used in the control panel realized by the graphic control screen. As shown in FIG. 2, the part storage unit 31 stores information such as a part type, a part image, and property information for each part identifier.
  • a component identifier is information that can identify a candidate component.
  • the component type is information representing the classification of the component.
  • a component image is image data of the entire candidate component.
  • the property information is information such as size, color, and numerical values assigned to scales.
  • the element storage unit 32 stores information for each component constituting the target candidate part.
  • the element storage unit 32 stores information such as an element name, an element image, a size, and a position for each element identifier for a target candidate part.
  • An element identifier is information that can identify a component.
  • the element name is the name of the element.
  • the element image is image data of the component extracted from the part image of the target candidate part. Size is the size of the component.
  • Position is the position of the component in the candidate part of interest.
  • element images are stored in the element storage unit 32 . However, the element images are not stored in the element storage unit 32, and may be extracted from the component images when necessary.
  • the weight storage unit 33 stores, for each component type and component, a weight for each of one or more attributes related to the component. As shown in FIG. 4, the weight storage unit 33 stores, for each component type and each component, an attribute related to the component and a weight for the attribute. Attributes are items such as tilt, size, and position. A weight is information used in calculating similarity. Here, it is assumed that the larger the weight is, the more important it is, and the smaller the weight is, the less important it is.
  • FIG. 5 (Setting requirement 1)
  • a weighted value is set.
  • 0 is set as a weight for the inclination of the needle of the analog meter.
  • the weight is set to a value that makes light of an attribute that looks different due to differences in design even if the function is the same.
  • the presence or absence of numerical values on the scale, the start and end positions of the rotation of the needle, and the number or position of the scale may differ. be. Therefore, even candidate parts that appropriately correspond to the control parts in the control panel may have a low degree of similarity. Therefore, the presence or absence of display characters of the analog meter, the position of the scale of the analog meter, and the like are set to weight values that are neglected.
  • 0 is set as a weight for the presence/absence of characters displayed on the analog meter and the position of the scale of the analog meter.
  • a weight value is set for an attribute whose appearance can be controlled by the property information of the candidate part.
  • a character string corresponding to the function is displayed on the push button. is not displayed. Since the character string displayed on the push button candidate part is set as property information, the character string is not displayed before operation. Therefore, a weight value is set for the display character of the push button.
  • 0 is set as a weight for the presence or absence of display characters of the push button.
  • Step S11 Image Acquisition Processing
  • the component identification unit 21 acquires image data of an existing control panel. Specifically, when the existing control panel is realized by hardware, the component identification unit 21 converts the image data obtained by photographing the existing control panel with the photographing device into the image of the existing control panel. It is read from the image input device 41 as data. In addition, when the existing control panel is realized by an old-type graphic control screen, the component identification unit 21 uses the image data obtained by capturing the graphic control screen as the image data of the existing control panel, Read out from the image input device 41 .
  • the component identification unit 21 identifies the control components that make up the control panel from the image data of the existing control panel acquired in step S11, and identifies the component image and the component type for the identified control component. Specifically, the component identification unit 21 identifies the control component, the component image, and the component type using an AI such as an object recognition AI (Artificial Intelligence) that has previously learned an object image to be recognized. Alternatively, the component identification unit 21 identifies the control component, the component image, and the component type by performing matching with the object image to be recognized as a template. Alternatively, the component identification unit 21 identifies the control component, the component image, and the component type by comparing the image feature and the feature amount of the object to be recognized.
  • AI object recognition AI
  • control parts whose part types are analog meters, three control parts whose part types are circular lamps, and three control parts whose part types are rectangular push buttons.
  • One control component is identified.
  • Step S13 Element identification process
  • the element specifying unit 22 sets each control component specified in step S12 as a target control component.
  • the element identification unit 22 identifies a plurality of constituent elements forming the target control component together with the element type, which is the type of the constituent element, from the component image identified in step S12 for the target control component.
  • the element identification unit 22 may identify a plurality of constituent elements in consideration of the part type identified in step S12 for the target control part.
  • the element identifying unit 22 identifies a plurality of constituent elements using an AI that has previously learned an object image to be recognized.
  • the element identifying unit 22 identifies a plurality of constituent elements by matching with a template.
  • the element identification unit 22 identifies a plurality of constituent elements by comparing feature amounts.
  • the analog meter shown in FIG. 10 is the target control component, the needle, scale, numerical display, and center circle that make up the analog meter are identified as constituent elements.
  • Step S14 Candidate identification process
  • the candidate identification unit 23 sets each control component identified in step S12 as a target control component.
  • the candidate identification unit 23 selects each candidate part having the same part type as the target control part among the plurality of candidate parts stored in the parts storage unit 31 as the target candidate part, and identifies the target candidate part and the target control part.
  • a candidate part corresponding to the target control part is specified from the candidate parts by calculating the part similarity of .
  • the candidate specifying unit 23 calculates the element similarity between the target candidate part and the target control part by using the weight determined for each component for each of the plurality of components specified in step S13. to calculate the part similarity from the element similarity for each of the plurality of constituent elements.
  • Step S15 result display processing
  • the candidate identification unit 23 outputs information about the candidate parts identified in step S14 to the result display device 42 for display. Specifically, the candidate specifying unit 23 outputs the part type, the part image, and the property information of the candidate part to the result display device 42 for display. At this time, the candidate specifying unit 23 may output image data of the entire control panel in which candidate parts corresponding to each of one or more control parts in the existing control panel are arranged at the positions of the corresponding control parts.
  • step S14 in FIG. 8 The candidate specifying process (step S14 in FIG. 8) according to the first embodiment will be described with reference to FIG.
  • the processing from step S21 to step S22 is executed for each of the candidate parts of the part type of the target control part among the candidate parts stored in the part storage unit 31 .
  • Step S21 Element evaluation process
  • the element evaluation unit 24 sets each component identified in step S13 for the target control component as the target component.
  • the element evaluation unit 24 calculates the element similarity for the target component between the target candidate part and the target control part. Specifically, the element evaluation unit 24 identifies a record in the weight storage unit 33 corresponding to the component type of the target control component.
  • the element evaluation unit 24 reads the weight of the target component from the specified record. Then, the element evaluation unit 24 uses the read weights to calculate the element similarity of the target component between the target candidate part and the target control part.
  • the element evaluation unit 24 sets each attribute of the target component as the target attribute.
  • the element evaluation unit 24 calculates the similarity of the target attribute, multiplies the calculated similarity by the weight of the target attribute, corrects the similarity, and calculates the attribute similarity. Then, the element evaluation unit 24 sets the average value of the attribute similarities calculated for each attribute as the element similarity for the target component.
  • the element similarity is not limited to the average value, and the median value or the total value may be used as the element similarity.
  • the element evaluation unit 24 calculates the element similarity with each of the needle, the scale, the numerical display, and the center circle as the target components.
  • the element evaluation unit 24 calculates the degree of similarity for each of the attributes of the needle, namely presence/absence, inclination, size, and base position, and assigns a weight to each of them. Multiply.
  • the weight is 0 for the slope and the size, and the weight is 100 for the presence/absence and the root position. Therefore, the element evaluation unit 24 multiplies the similarity of the needle by 100, the similarity of the inclination by 0, the similarity of the size by 0, and the root position.
  • the average value of the value obtained by multiplying the similarity by 100 is taken as the element similarity for the needle. Note that in FIG. 12, attributes with a weight of 0 are ignored, and the element evaluation unit 24 calculates a value obtained by multiplying the similarity of the needle presence/absence by 100 and a value obtained by multiplying the similarity of the root position by 100. is used as the element similarity for needles.
  • Step S22 Component evaluation process
  • the component evaluation unit 25 aggregates the element similarities for each component calculated in step S21, and calculates the component similarity between the target candidate component and the target control component. Specifically, the component evaluation unit 25 uses the average value of the element similarities for each component as the component similarity. In addition, not only the average value but also the median value or the total value may be used as the component similarity.
  • Step S23 Candidate selection process
  • the candidate selection unit 26 identifies the candidate part with the highest part similarity calculated in step S22 for each candidate part as the candidate part corresponding to the target control part.
  • the component identification apparatus 10 calculates the element similarity using the weight determined for each component, and calculates the component similarity from the element similarity for each of the plurality of components.
  • a candidate part corresponding to the control part is identified by calculating . Thereby, it is possible to appropriately identify a candidate component close to the control component.
  • each functional component is realized by software. However, as Modification 1, each functional component may be implemented by hardware. Differences between the first modification and the first embodiment will be described.
  • the component identification device 10 includes an electronic circuit 15 instead of the processor 11, memory 12, and storage 13.
  • FIG. The electronic circuit 15 is a dedicated circuit that realizes the functions of each functional component, memory 12 and storage 13 .
  • the electronic circuit 15 includes a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). is assumed. Each functional component may be implemented by one electronic circuit 15, or each functional component may be implemented by being distributed among a plurality of electronic circuits 15. FIG.
  • the processor 11, memory 12, storage 13 and electronic circuit 15 are called a processing circuit. That is, the function of each functional component is realized by the processing circuit.
  • Embodiment 2 differs from Embodiment 1 in that property information of candidate parts is set based on image data of an existing control panel. In the second embodiment, this different point will be explained, and the explanation of the same point will be omitted.
  • the configuration of the component identification device 10 according to the second embodiment will be described with reference to FIG. 14 .
  • the component identification device 10 differs from the component identification device 10 shown in FIG. 1 in that it includes a recognition unit 27 and a property setting unit 28 as functional components.
  • the functions of the recognition unit 27 and the property setting unit 28 are realized by software or hardware, like other functional components.
  • step S31 to step S34 is the same as the processing from step S11 to step S14 in FIG.
  • Step S35 recognition processing
  • the recognizing unit 27 sets, as a character element, a constituent element including character data among the plurality of constituent elements identified in step S13.
  • the recognition unit 27 recognizes character data included in image data for character elements in the component image. Character data can be recognized by using an existing character recognition algorithm. As a specific example, the recognition unit 27 recognizes numerical values assigned to scales when the character element is an analog meter. Further, when the character element is a switch, the recognition unit 27 recognizes character data displayed on or near the switch.
  • Step S36 Property setting process
  • the property setting unit 28 sets the character data recognized in step S35 as property information of the candidate part specified in step S34 for the character element.
  • Step S37 result display processing
  • the candidate identification unit 23 outputs information about the candidate parts identified in step S34 to the result display device 42 for display.
  • the candidate specifying unit 23 displays information about the candidate parts after reflecting the change based on the property information set in step S36.
  • the candidate identification unit 23 may display image data of candidate parts showing character data set in the property information.
  • the component identifying apparatus 10 sets the property information of the candidate component based on the image data of the existing control panel.
  • various property information is set, and work is manually performed to make it look the same as the control components that make up the existing control panel.
  • the recognized character data is set as the property information of the candidate part.
  • the setting information may be generated from the recognized character data, and the setting information may be set as the property information.
  • the component identification device 10 includes a setting information generator 29 as a functional component.
  • the function of the setting information generator 29 is implemented by software or hardware, like other functional components.
  • the setting information generation unit 29 generates setting information from the character data recognized by the recognition unit 27 according to the candidate parts specified in step S34 for the character elements.
  • information to be set in the property information is indicated in the candidate part.
  • the character element is an analog meter, setting the minimum and maximum values, or setting the minimum, median and maximum values as numerical values on the scale is shown.
  • the setting information generation unit 29 determines the minimum and maximum values from the recognized numerical values, as shown in FIG. It is specified and used as setting information.
  • the property setting unit 28 sets the setting information generated by the setting information generating unit 29 as property information.
  • the recognition unit 27 may recognize not only the character data but also at least one of the color and shape of the constituent elements. Note that the recognizing unit 27 may recognize at least one of the color and shape of all the components as target elements, or may recognize only the components of the control parts of some component types. As an element, the color and/or shape of the target element may be recognized. For example, the color of the display button or the like is recognized.
  • the property setting unit 28 sets at least one of color and shape in the property information of the corresponding component.
  • the recognition unit 27 recognizes the moving range of the moving element, which is the moving component, from the image data of the control parts that make up the existing control panel. Specifically, the recognizing unit 27 acquires image data for a control component including a moving element. The length of video data is determined according to the control component. For example, if the moving range of the moving element is assumed to be the same every day, the recognizing unit 27 may acquire video data for one day.
  • the recognition unit 27 specifies the movement range by specifying the position of the moving element at each point in the video data.
  • the property setting unit 28 sets the moving range in the property information of the moving element.
  • the setting information generator 29 may generate the setting information in consideration of the movement range.
  • the arrangement of the scales may be determined from the minimum and maximum values and the range of movement. In other words, if the movement range is limited to a range close to the minimum value, the placement of the scales may be determined so that the intervals between the scales in the range close to the minimum value are widened.
  • unit in the above description may be read as “circuit”, “process”, “procedure”, “processing” or “processing circuit”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Stored Programmes (AREA)

Abstract

要素特定部（２２）は、制御盤を構成する制御部品の画像データから制御部品を構成する複数の構成要素を特定する。候補特定部（２３）は、部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と制御部品との間で、複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算する。候補特定部（２３）は、複数の構成要素それぞれについての要素類似度から対象の候補部品と制御部品との間の部品類似度を計算することにより、複数の候補部品から制御部品に対応する候補部品を特定する。

Description

部品特定装置、部品特定方法及び部品特定プログラム
　本開示は、制御盤を構成する制御部品に対応する候補部品を特定する技術に関する。
　工場等で稼働しているハードウェアで実現された既存の制御盤を、ソフトウェアによってスイッチ及びランプといったハードウェアを模したグラフィック制御画面で実現された制御盤に置き換えることが行われる。なお、既存の制御盤が旧型のグラフィック制御画面で実現されている場合もある。
　新しいグラフィック制御画面を構成するために用意された制御部品である候補部品として、既存の制御盤を構成する全ての制御部品と見た目が一致する候補部品があるとは限らない。そのため、置き換えを行う場合には、既存の制御盤を構成する制御部品に近い候補部品を特定し、特定された候補部品について各種プロパティ情報を設定して、既存の制御盤を構成する制御部品と見た目を同じようにするという作業が行われる。
　特許文献１には、画像の特定の位置についての重要度を算出して重み付けすることにより、画像の部分領域間の類似性だけでなく、画像における部分領域の重要度を考慮して画像検索を行うことが記載されている。
特開２００６－３３８３１３号公報
　既存の制御盤をグラフィック制御画面で実現された制御盤に置き換える場合には、既存の制御盤を構成する制御部品に近い候補部品を特定する必要がある。アナログメータの針のように移動する構成要素等は、画像データの取得タイミングによって位置が異なるといったことが発生する。そのため、単純な画像の比較では、制御部品に近い候補部品を特定することは難しい。また、特許文献１に記載されたように、画像における部分領域の重要度を考慮しても、制御部品に近い候補部品を特定することは難しい。
　本開示は、制御部品に近い候補部品を適切に特定可能にすることを目的とする。
　本開示に係る部品特定装置は、
　制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定部と、
　部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定部によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定部と
を備える。
　本開示では、構成要素毎に定められた重みを用いて要素類似度を計算して、複数の構成要素それぞれについての要素類似度から部品類似度を計算することにより、制御部品に対応する候補部品を特定する。これにより、制御部品に近い候補部品を適切に特定可能である。
実施の形態１に係る部品特定装置１０の構成図。 実施の形態１に係る部品記憶部３１に記憶される情報の説明図。 実施の形態１に係る要素記憶部３２に記憶される情報の説明図。 実施の形態１に係る重み記憶部３３に記憶される情報の説明図。 実施の形態１に係る重みの設定要件１の説明図。 実施の形態１に係る重みの設定要件２の説明図。 実施の形態１に係る重みの設定要件３の説明図。 実施の形態１に係る部品特定装置１０の全体的な処理のフローチャート。 実施の形態１に係る部品特定処理（図８のステップＳ１２）の説明図。 実施の形態１に係る部品特定処理（図８のステップＳ１３）の説明図。 実施の形態１に係る候補特定処理（図８のステップＳ１４）のフローチャート。 実施の形態１に係る要素評価処理（図１１のステップＳ２１）の説明図。 変形例１に係る部品特定装置１０の構成図。 実施の形態２に係る部品特定装置１０の構成図。 実施の形態２に係る部品特定装置１０の全体的な処理のフローチャート。 変形例３に係る部品特定装置１０の構成図。 変形例３に係る設定情報の生成方法の説明図。
　実施の形態１．
　＊＊＊構成の説明＊＊＊
　図１を参照して、実施の形態１に係る部品特定装置１０の構成を説明する。
　部品特定装置１０は、コンピュータである。
　部品特定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
　プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。
　メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。
　ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）といった可搬記録媒体であってもよい。
　通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）のポートである。
　部品特定装置１０は、通信インタフェース１４を介して、画像入力装置４１と、結果表示装置４２と接続されている。画像入力装置４１は、画像データが記憶されたコンピュータ又は記憶装置等である。結果表示装置４２は、結果を表示可能なコンピュータ又はディスプレイ等である。
　部品特定装置１０は、機能構成要素として、部品特定部２１と、要素特定部２２と、候補特定部２３とを備える。候補特定部２３は、要素評価部２４と、部品評価部２５と、候補選択部２６とを備える。部品特定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
　ストレージ１３には、部品特定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、部品特定装置１０の各機能構成要素の機能が実現される。
　ストレージ１３は、部品記憶部３１と、要素記憶部３２と、重み記憶部３３とを実現する。
　図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
　＊＊＊動作の説明＊＊＊
　図２から図１２を参照して、実施の形態１に係る部品特定装置１０の動作を説明する。
　実施の形態１に係る部品特定装置１０の動作手順は、実施の形態１に係る部品特定方法に相当する。また、実施の形態１に係る部品特定装置１０の動作を実現するプログラムは、実施の形態１に係る部品特定プログラムに相当する。
　実施の形態１に係る部品特定装置１０の処理の前提として、部品記憶部３１と要素記憶部３２と重み記憶部３３とには以下に説明する情報が記憶されているものとする。
　図２を参照して、実施の形態１に係る部品記憶部３１に記憶される情報を説明する。
　部品記憶部３１には、グラフィック制御画面で実現される制御盤で使用可能な制御部品である候補部品の情報が記憶される。
　図２に示すように、部品記憶部３１には、部品識別子毎に、部品種別と、部品画像と、プロパティ情報といった情報が記憶されている。部品識別子は、候補部品を識別可能な情報である。部品種別は、部品の分類を表す情報である。部品画像は、候補部品全体の画像データである。プロパティ情報は、サイズと、色と、目盛りに割り当てる数値といった情報である。
　図３を参照して、実施の形態１に係る要素記憶部３２に記憶される情報を説明する。
　要素記憶部３２には、各候補部品を対象として、対象の候補部品を構成する構成要素毎の情報が記憶される。
　図３に示すように、要素記憶部３２には、対象の候補部品について、要素識別子毎に、要素名と、要素画像と、サイズと、位置といった情報が記憶される。要素識別子は、構成要素を識別可能な情報である。要素名は、要素の名称である。要素画像は、対象の候補部品の部品画像から抽出された構成要素の画像データである。サイズは、構成要素のサイズである。位置は、対象の候補部品における構成要素の位置である。
　なお、ここでは、要素記憶部３２に要素画像が記憶されているものとして説明する。しかし、要素画像は、要素記憶部３２には記憶されておらず、必要になった際に部品画像から抽出されてもよい。
　図４を参照して、実施の形態１に係る重み記憶部３３に記憶される情報を説明する。
　重み記憶部３３には、部品種別及び構成要素毎に、その構成要素に関する１つ以上の属性それぞれについての重みが記憶される。
　図４に示すように、重み記憶部３３には、部品種別及び構成要素毎に、その構成要素に関する属性と、属性についての重みとが記憶される。属性は、傾き、サイズ、位置といった項目である。重みは、類似度を計算する際に使用される情報である。ここでは、重みは、値が大きいほど重視され、値が小さいほど軽視されるとする。
　図５から図７を参照して、重みの設定について説明する。
　（設定要件１）
　重みは、画像データの取得タイミングによって異なる見た目の状態となる属性には軽視される値が設定される。
　図５に示すように、アナログメータの針が指す位置は、制御盤が稼働中に変化する。そのため、制御盤の画像データの取得タイミングによって針が指す位置は変わってしまう。したがって、制御盤の画像データの取得タイミングによって、取得された画像データと、要素記憶部３２に記憶されたアナログメータの要素画像とで、アナログメータの針が指す位置が異なってしまう。そこで、アナログメータの針が指す位置を表す“傾き”については、重みとして軽視される値が設定される。図４では、アナログメータの針の傾きは、重みとして０が設定されている。
　（設定要件２）
　重みは、同一機能であってもデザインの違いによって異なる見た目の状態となる属性には軽視される値が設定される。
　図６に示すように、アナログメータのような部品では、同一機能であっても、目盛りの数値の有無と、針の回転の開始位置及び終了位置と、目盛りの数又は位置とが異なる場合がある。そのため、制御盤における制御部品に適切に対応した候補部品であっても、類似度が低くなってしまう可能性がある。そこで、アナログメータの表示文字の有無と、アナログメータの目盛りの位置と等については、重みとして軽視される値が設定される。図４では、アナログメータの表示文字の有無と、アナログメータの目盛りの位置とは、重みとして０が設定されている。
　（設定要件３）
　重みは、候補部品のプロパティ情報により見た目を制御可能な属性には軽視される値が設定される。
　図７に示すように、稼働中の制御盤では、プッシュボタンに機能に応じた文字列が表示されているが、稼働前の候補部品では、プッシュボタンに機能が割り当てられていないため、文字列が表示されていない。プッシュボタンの候補部品では、ボタン上に表示する文字列はプロパティ情報として設定されるため、稼働前には文字列が表示されていない。そこで、プッシュボタンの表示文字については、重みとして軽視される値が設定される。図４では、プッシュボタンの表示文字の有無等については、重みとして０が設定されている。
　図８を参照して、実施の形態１に係る部品特定装置１０の全体的な処理を説明する。
　（ステップＳ１１：画像取得処理）
　部品特定部２１は、既存の制御盤の画像データを取得する。
　具体的には、既存の制御盤がハードウェアで実現されている場合には、部品特定部２１は、撮影装置によって既存の制御盤を撮影されて得られた画像データを既存の制御盤の画像データとして、画像入力装置４１から読み出す。また、既存の制御盤が旧型のグラフィック制御画面で実現されている場合には、部品特定部２１は、グラフィック制御画面をキャプチャーすることによって得られた画像データを既存の制御盤の画像データとして、画像入力装置４１から読み出す。
　（ステップＳ１２：部品特定処理）
　部品特定部２１は、ステップＳ１１で取得された既存の制御盤の画像データから、制御盤を構成する制御部品を特定し、特定された制御部品について部品画像及び部品種別を特定する。
　具体的には、部品特定部２１は、物体認識ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）のような予め認識対象とする物体画像を学習したＡＩを用いて、制御部品と、部品画像及び部品種別とを特定する。あるいは、部品特定部２１は、認識対象の物体画像をテンプレートとして、テンプレートとマッチングを行うことにより、制御部品と、部品画像及び部品種別とを特定する。あるいは、部品特定部２１は、認識対象の物体の画像特徴と特徴量を比較することにより、制御部品と、部品画像及び部品種別とを特定する。
　例えば、図９に示すような制御盤画像の場合には、部品種別がアナログメータの２つの制御部品と、部品種別が円型ランプの３つの制御部品と、部品種別が角型プッシュボタンの３つの制御部品とが特定される。
　（ステップＳ１３：要素特定処理）
　要素特定部２２は、ステップＳ１２で特定された各制御部品を対象の制御部品に設定する。要素特定部２２は、対象の制御部品についてステップＳ１２で特定された部品画像から、対象の制御部品を構成する複数の構成要素を、構成要素の種別である要素種別とともに特定する。この際、要素特定部２２は、対象の制御部品についてステップＳ１２で特定された部品種別を考慮して、複数の構成要素を特定してもよい。
　具体的には、要素特定部２２は、ステップＳ１２と同様に、予め認識対象とする物体画像を学習したＡＩを用いて、複数の構成要素を特定する。あるいは、要素特定部２２は、テンプレートとマッチングを行うことにより、複数の構成要素を特定する。あるいは、要素特定部２２は、特徴量を比較することにより、複数の構成要素を特定する。
　例えば、図１０に示すアナログメータが対象の制御部品である場合には、アナログメータを構成する針と目盛りと数値表示と中心円とが構成要素として特定される。
　（ステップＳ１４：候補特定処理）
　候補特定部２３は、ステップＳ１２で特定された各制御部品を対象の制御部品に設定する。候補特定部２３は、部品記憶部３１に記憶された複数の候補部品のうち対象の制御部品と同じ部品種別の候補部品それぞれを対象の候補部品として、対象の候補部品と、対象の制御部品との部品類似度を計算することにより、候補部品から対象の制御部品に対応する候補部品を特定する。この際、候補特定部２３は、対象の候補部品と対象の制御部品との間で、ステップＳ１３で特定された複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算して、複数の構成要素それぞれについての要素類似度から部品類似度を計算する。
　（ステップＳ１５：結果表示処理）
　候補特定部２３は、ステップＳ１４で特定された候補部品についての情報を結果表示装置４２に出力して表示する。
　具体的には、候補特定部２３は、候補部品についての部品種別と部品画像とプロパティ情報とを結果表示装置４２に出力して表示する。この際、候補特定部２３は、既存の制御盤における１つ以上の制御部品それぞれに対応する候補部品を、対応する制御部品の位置に配置した制御盤全体の画像データを出力してもよい。
　図１１を参照して、実施の形態１に係る候補特定処理（図８のステップＳ１４）を説明する。
　ステップＳ２１からステップＳ２２の処理が、部品記憶部３１に記憶された候補部品のうち対象の制御部品の部品種別の候補部品それぞれを対象として実行される。
　（ステップＳ２１：要素評価処理）
　要素評価部２４は、対象の制御部品についてステップＳ１３で特定された各構成要素を対象の構成要素に設定する。要素評価部２４は、対象の候補部品と対象の制御部品との間における、対象の構成要素についての要素類似度を計算する。
　具体的には、要素評価部２４は、対象の制御部品の部品種別に対応する重み記憶部３３のレコードを特定する。要素評価部２４は、特定されたレコードから対象の構成要素についての重みを読み出す。そして、要素評価部２４は、読み出された重みを用いて、対象の候補部品と対象の制御部品との間における、対象の構成要素についての要素類似度を計算する。
　ここで、図４に示すように、重みは、対象の構成要素に対して属性毎に設定されている。そのため、要素評価部２４は、対象の構成要素について、各属性を対象の属性に設定する。要素評価部２４は、対象の属性について類似度を計算し、計算された類似度に対象の属性についての重みを乗じて類似度を補正して属性類似度を計算する。そして、要素評価部２４は、各属性について計算された属性類似度の平均値を、対象の構成要素についての要素類似度とする。なお、平均値に限らず、中央値又は合計値が要素類似度とされてもよい。
　例えば、図１０に示すアナログメータが対象の制御部品である場合には、要素評価部２４は、針と目盛りと数値表示と中心円とのそれぞれを対象の構成要素として要素類似度を計算する。
　図１２に示すように、針が対象の構成要素の場合には、要素評価部２４は、針の属性である有無と傾きとサイズと根本位置とそれぞれについての類似度を計算して、重みを乗じる。ここで、傾きとサイズとについては重みが０であり、有無と根本位置とについては重みが１００である。そのため、要素評価部２４は、針の有無についての類似度に１００を乗じた値と、傾きの類似度に０を乗じた値と、サイズの類似度に０を乗じた値と、根本位置の類似度に１００を乗じた値との平均値を、針についての要素類似度とする。なお、図１２では、重みが０の属性については無視して、要素評価部２４は、針の有無についての類似度に１００を乗じた値と、根本位置の類似度に１００を乗じた値との平均値を、針についての要素類似度としている。
　（ステップＳ２２：部品評価処理）
　部品評価部２５は、ステップＳ２１で計算された各構成要素についての要素類似度を集計して、対象の候補部品と対象の制御部品との部品類似度を計算する。
　具体的には、部品評価部２５は、各構成要素についての要素類似度の平均値を部品類似度とする。なお、平均値に限らず、中央値又は合計値が部品類似度とされてもよい。
　（ステップＳ２３：候補選択処理）
　候補選択部２６は、各候補部品についてステップＳ２２で計算された部品類似度が最も高い候補部品を対象の制御部品に対応する候補部品として特定する。
　＊＊＊実施の形態１の効果＊＊＊
　以上のように、実施の形態１に係る部品特定装置１０は、構成要素毎に定められた重みを用いて要素類似度を計算して、複数の構成要素それぞれについての要素類似度から部品類似度を計算することにより、制御部品に対応する候補部品を特定する。これにより、制御部品に近い候補部品を適切に特定可能である。
　図５に示すように、アナログメータの針のように、画像データの取得タイミングによって異なる見た目の状態となる構成要素をそのまま比較してしまうと、本来得られるべき値よりも類似度が低くなってしまう可能性がある。図６に示すように、目盛りの数値の有無と、目盛りの数又は位置とのように、同一機能であってもデザインの違いによって異なる見た目の状態となる構成要素をそのまま比較してしまうと、本来得られるべき値よりも類似度が低くなってしまう可能性がある。図７に示すように、プッシュボタンの表示文字のように、候補部品には初期状態では示されていないものがある構成要素をそのまま比較してしまうと、本来得られるべき値よりも類似度が低くなってしまう可能性がある。
　しかし、実施の形態１に係る部品特定装置１０は、構成要素について属性毎に設定された重みを用いて要素類似度を計算するため、適切な部品類似度を計算することが可能である。これにより、制御部品に近い候補部品を適切に特定可能である。
　＊＊＊他の構成＊＊＊
　＜変形例１＞
　実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
　図１３を参照して、変形例１に係る部品特定装置１０の構成を説明する。
　各機能構成要素がハードウェアで実現される場合には、部品特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
　電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）が想定される。
　各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
　＜変形例２＞
　変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
　プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
　実施の形態２．
　実施の形態２は、既存の制御盤の画像データに基づき、候補部品のプロパティ情報を設定する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。
　＊＊＊構成の説明＊＊＊
　図１４を参照して、実施の形態２に係る部品特定装置１０の構成を説明する。
　部品特定装置１０は、機能構成要素として、認識部２７と、プロパティ設定部２８とを備える点が図１に示す部品特定装置１０と異なる。認識部２７及びプロパティ設定部２８の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
　＊＊＊動作の説明＊＊＊
　図１５を参照して、実施の形態２に係る部品特定装置１０の全体的な処理を説明する。
　ステップＳ３１からステップＳ３４の処理は、図８のステップＳ１１からステップＳ１４の処理と同じである。
　（ステップＳ３５：認識処理）
　認識部２７は、ステップＳ１３で特定された複数の構成要素のうち文字データを含む構成要素を文字要素に設定する。認識部２７は、部品画像における文字要素についての画像データに含まれる文字データを認識する。既存の文字認識アルゴリズムを用いることにより、文字データを認識することが可能である。
　具体例としては、認識部２７は、文字要素がアナログメータである場合に、目盛りに割り振られた数値を認識する。また、認識部２７は、文字要素がスイッチである場合に、スイッチ上又はスイッチ付近に表示された文字データを認識する。
　（ステップＳ３６：プロパティ設定処理）
　プロパティ設定部２８は、ステップＳ３５で認識された文字データを、文字要素についてステップＳ３４で特定された候補部品のプロパティ情報として設定する。
　（ステップＳ３７：結果表示処理）
　候補特定部２３は、ステップＳ３４で特定された候補部品についての情報を結果表示装置４２に出力して表示する。
　この際、候補特定部２３は、ステップＳ３６で設定されたプロパティ情報による変更を反映させた上で、候補部品についての情報を表示する。例えば、候補特定部２３は、プロパティ情報に設定された文字データを示した候補部品の画像データを表示するといったことが考えられる。
　＊＊＊実施の形態２の効果＊＊＊
　以上のように、実施の形態２に係る部品特定装置１０は、既存の制御盤の画像データに基づき、候補部品のプロパティ情報に設定する。
　現状では、候補部品が特定された後に、各種プロパティ情報が設定され、既存の制御盤を構成する制御部品と見た目を同じようにするという作業が人手で行われている。既存の制御盤の画像データに基づき候補部品のプロパティ情報に設定することにより、人手で行われている作業を減らすことが可能である。
　＊＊＊他の構成＊＊＊
　＜変形例３＞
　実施の形態２では、認識された文字データが候補部品のプロパティ情報として設定された。しかし、候補部品によっては、認識された文字データをそのままプロパティ情報に設定することが難しい場合もある。そこで、認識された文字データから設定情報を生成し、設定情報をプロパティ情報に設定してもよい。
　この場合には、図１６に示すように、部品特定装置１０は、機能構成要素として、設定情報生成部２９を備える。設定情報生成部２９の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
　設定情報生成部２９は、認識部２７によって認識された文字データから、文字要素についてステップＳ３４で特定された候補部品に応じて、設定情報を生成する。ここで、候補部品には、プロパティ情報に設定すべき情報が示されているものとする。具体例としては、文字要素がアナログメータである場合には、目盛りの数値として、最小値及び最大値を設定する、あるいは、最小値と中央値と最大値とを設定するといったことが示されている。例えば、目盛りの数値として、最小値及び最大値を設定することが示されている場合には、図１７に示すように、設定情報生成部２９は、認識された数値から最小値及び最大値を特定して、設定情報とする。
　プロパティ設定部２８は、設定情報生成部２９によって生成された設定情報をプロパティ情報に設定する。
　＜変形例４＞
　認識部２７は、文字データだけでなく、構成要素の色と形状との少なくともいずれかを認識してもよい。なお、認識部２７は、全ての構成要素を対象要素として、対象要素について色と形状との少なくともいずれかを認識してもよいし、一部の部品種別の制御部品についての構成要素についてのみ対象要素として、対象要素について色と形状との少なくともいずれかを認識してもよい。例えば、表示ボタンの色等が認識される。
　プロパティ設定部２８は、色と形状との少なくともいずれかを、対応する構成要素のプロパティ情報に設定する。
　＜変形例５＞
　構成要素によっては移動するものがある。移動する構成要素としては、例えば、アナログメータの針がある。認識部２７は、既存の制御盤を構成する制御部品の映像データから、移動する構成要素である移動要素の移動範囲を認識する。
　具体的には、認識部２７は、移動要素を含む制御部品についての映像データを取得する。映像データの長さは、制御部品に応じて決められる。例えば、移動要素の移動範囲が毎日同程度と想定される場合には、認識部２７は１日分の映像データを取得すればよい。認識部２７は、映像データにおける各時点の移動要素の位置を特定することにより、移動範囲を特定する。
　プロパティ設定部２８は、移動範囲を移動要素のプロパティ情報に設定する。
　変形例３で説明したように、設定情報生成部２９が設定情報を生成する場合には、設定情報生成部２９は、移動範囲を考慮して設定情報を生成してもよい。例えば、最小値及び最大値と、移動範囲とから、目盛りの配置を決定してもよい。つまり、移動範囲が最小値に近い範囲だけであるような場合には、最小値に近い範囲の目盛りの間隔を広くするように目盛りの配置が決定されてもよい。
　また、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
　以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
　１０　部品特定装置、１１　プロセッサ、１２　メモリ、１３　ストレージ、１４　通信インタフェース、１５　電子回路、２１　部品特定部、２２　要素特定部、２３　候補特定部、２４　要素評価部、２５　部品評価部、２６　候補選択部、２７　認識部、２８　プロパティ設定部、２９　設定情報生成部、３１　部品記憶部、３２　要素記憶部、３３　重み記憶部、４１　画像入力装置、４２　結果表示装置。

Claims (11)

  1. 　制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定部と、
    　部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定部によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定部と
    を備える部品特定装置。
  2. 　前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて定められており、
    　前記候補特定部は、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する
    請求項１に記載の部品特定装置。
  3. 　前記重みは、前記画像データの取得タイミングによって異なる状態となる属性には軽視される値が設定された
    請求項２に記載の部品特定装置。
  4. 　前記重みは、同一機能であってもデザインの違いによって異なる状態となる属性には軽視される値が設定された
    請求項２又は３に記載の部品特定装置。
  5. 　前記重みは、前記候補部品のプロパティ情報により制御可能な属性には軽視される値が設定された
    請求項２から４までのいずれか１項に記載の部品特定装置。
  6. 　前記部品特定装置は、さらに、
    　前記複数の構成要素のうち文字データを含む構成要素を文字要素として、前記文字要素に含まれる前記文字データを認識する認識部と、
    　前記認識部によって認識された前記文字データを、前記文字要素について前記候補特定部によって特定された候補部品のプロパティ情報として設定するプロパティ設定部と
    を備える請求項１から５までのいずれか１項に記載の部品特定装置。
  7. 　前記部品特定装置は、さらに、
    　前記文字要素について前記候補特定部によって特定された候補部品に応じて、前記文字データから設定情報を生成する設定情報生成部
    を備え、
    　前記プロパティ設定部は、前記設定情報生成部によって生成された前記設定情報を前記プロパティ情報として設定する
    請求項６に記載の部品特定装置。
  8. 　前記部品特定装置は、さらに、
    　前記複数の構成要素のうち少なくとも一部の構成要素を対象要素として、前記対象要素の色と形状との少なくともいずれかを認識する認識部と、
    　前記認識部によって認識された色と形状との少なくともいずれかを、前記対象要素について前記候補特定部によって特定された候補部品のプロパティ情報として設定するプロパティ設定部と
    を備える請求項１から５までのいずれか１項に記載の部品特定装置。
  9. 　前記部品特定装置は、さらに、
    　前記複数の構成要素のうち移動する構成要素を移動要素として、制御盤を構成する制御部品の映像データから、前記移動要素の移動範囲を認識する認識部と、
    　前記認識部によって認識された移動範囲を、前記移動要素について前記候補特定部によって特定された候補部品のプロパティ情報として設定するプロパティ設定部と
    を備える請求項１から５までのいずれか１項に記載の部品特定装置。
  10. 　コンピュータが、制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定し、
    　コンピュータが、部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する部品特定方法。
  11. 　制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定処理と、
    　部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定処理によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定処理と
    を行う部品特定装置としてコンピュータを機能させる部品特定プログラム。
PCT/JP2021/032153 2021-09-01 2021-09-01 部品特定装置、部品特定方法及び部品特定プログラム WO2023032087A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2021/032153 WO2023032087A1 (ja) 2021-09-01 2021-09-01 部品特定装置、部品特定方法及び部品特定プログラム
JP2023538055A JP7333894B2 (ja) 2021-09-01 2021-09-01 部品特定装置、部品特定方法及び部品特定プログラム
DE112021007880.1T DE112021007880T5 (de) 2021-09-01 2021-09-01 Teilidentifikationsvorrichtung, teilidentifikationsverfahren und teilidentifikationsprogramm
CN202180101070.4A CN117813627A (zh) 2021-09-01 2021-09-01 部件确定装置、部件确定方法及部件确定程序
TW110145009A TW202312095A (zh) 2021-09-01 2021-12-02 零件特別指定裝置、零件特別指定方法及零件特別指定程式產品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/032153 WO2023032087A1 (ja) 2021-09-01 2021-09-01 部品特定装置、部品特定方法及び部品特定プログラム

Publications (1)

Publication Number Publication Date
WO2023032087A1 true WO2023032087A1 (ja) 2023-03-09

Family

ID=85410819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032153 WO2023032087A1 (ja) 2021-09-01 2021-09-01 部品特定装置、部品特定方法及び部品特定プログラム

Country Status (5)

Country Link
JP (1) JP7333894B2 (ja)
CN (1) CN117813627A (ja)
DE (1) DE112021007880T5 (ja)
TW (1) TW202312095A (ja)
WO (1) WO2023032087A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099129A (ja) * 1998-09-17 2000-04-07 Mitsubishi Heavy Ind Ltd プラント操作盤模擬装置
JP2004139234A (ja) * 2002-10-16 2004-05-13 Toshiba Corp 運転操作装置
JP2006338313A (ja) * 2005-06-01 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
JP2012160134A (ja) * 2011-02-02 2012-08-23 Toshiba Mitsubishi-Electric Industrial System Corp プラント制御システムの模擬装置及び模擬画面の作成方法
WO2017168601A1 (ja) * 2016-03-30 2017-10-05 株式会社日立製作所 類似画像検索方法およびシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099129A (ja) * 1998-09-17 2000-04-07 Mitsubishi Heavy Ind Ltd プラント操作盤模擬装置
JP2004139234A (ja) * 2002-10-16 2004-05-13 Toshiba Corp 運転操作装置
JP2006338313A (ja) * 2005-06-01 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
JP2012160134A (ja) * 2011-02-02 2012-08-23 Toshiba Mitsubishi-Electric Industrial System Corp プラント制御システムの模擬装置及び模擬画面の作成方法
WO2017168601A1 (ja) * 2016-03-30 2017-10-05 株式会社日立製作所 類似画像検索方法およびシステム

Also Published As

Publication number Publication date
JP7333894B2 (ja) 2023-08-25
JPWO2023032087A1 (ja) 2023-03-09
DE112021007880T5 (de) 2024-04-18
TW202312095A (zh) 2023-03-16
CN117813627A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN108701352A (zh) 使用基于三维对象模型的识别的图像修改与增强
WO2017167032A1 (zh) 目标对象展示方法和装置
CN108292358A (zh) 用于识别系统的合成三维对象图像的生成
CN101283328B (zh) 用户界面中活动内容上的可扩展视觉效果
US11080553B2 (en) Image search method and apparatus
US10430457B2 (en) Image processing apparatus, image processing method, search apparatus, search method, and non-transitory computer-readable storage medium
US20220277502A1 (en) Apparatus and method for editing data and program
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
US8244005B2 (en) Electronic apparatus and image display method
KR20210098997A (ko) 자동화된 실시간 하이 다이나믹 레인지 콘텐츠 검토 시스템
US20190053607A1 (en) Electronic apparatus and method for providing makeup trial information thereof
KR101579229B1 (ko) 영상 출력 장치 및 그 제어 방법
CN112328088B (zh) 图像的呈现方法和装置
WO2023032087A1 (ja) 部品特定装置、部品特定方法及び部品特定プログラム
WO2021106855A1 (ja) データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム
JP2011186595A (ja) 情報生成装置、物体検出装置、情報生成方法、物体検出方法、およびプログラム
US20220101545A1 (en) Apparatus, method, and storage medium
US11900258B2 (en) Learning device, image generating device, learning method, image generating method, and program
US20180081951A1 (en) Information generation system, a method and a non-transitory computer readable medium thereof
US20240013360A1 (en) Imaging device, image generation method, and recording medium
KR102300417B1 (ko) 전자 문서에 삽입된 차트 이미지에서 차트 영역과 범례 영역에 대한 자동 매칭을 가능하게 하는 전자 장치 및 그 동작 방법
US20230316731A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
WO2023243185A1 (ja) 学習用データ生成装置
CN118015390A (zh) 训练数据生成方法、图像检测方法、图像分类方法及装置
AU2015203571A1 (en) A method and image processing device for automatically adjusting images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21955977

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023538055

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180101070.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112021007880

Country of ref document: DE