JP7333894B2 - 部品特定装置、部品特定方法及び部品特定プログラム - Google Patents

Description

本開示は、制御盤を構成する制御部品に対応する候補部品を特定する技術に関する。

工場等で稼働しているハードウェアで実現された既存の制御盤を、ソフトウェアによってスイッチ及びランプといったハードウェアを模したグラフィック制御画面で実現された制御盤に置き換えることが行われる。なお、既存の制御盤が旧型のグラフィック制御画面で実現されている場合もある。

新しいグラフィック制御画面を構成するために用意された制御部品である候補部品として、既存の制御盤を構成する全ての制御部品と見た目が一致する候補部品があるとは限らない。そのため、置き換えを行う場合には、既存の制御盤を構成する制御部品に近い候補部品を特定し、特定された候補部品について各種プロパティ情報を設定して、既存の制御盤を構成する制御部品と見た目を同じようにするという作業が行われる。

特許文献１には、画像の特定の位置についての重要度を算出して重み付けすることにより、画像の部分領域間の類似性だけでなく、画像における部分領域の重要度を考慮して画像検索を行うことが記載されている。

特開２００６－３３８３１３号公報

既存の制御盤をグラフィック制御画面で実現された制御盤に置き換える場合には、既存の制御盤を構成する制御部品に近い候補部品を特定する必要がある。アナログメータの針のように移動する構成要素等は、画像データの取得タイミングによって位置が異なるといったことが発生する。そのため、単純な画像の比較では、制御部品に近い候補部品を特定することは難しい。また、特許文献１に記載されたように、画像における部分領域の重要度を考慮しても、制御部品に近い候補部品を特定することは難しい。
本開示は、制御部品に近い候補部品を適切に特定可能にすることを目的とする。

本開示に係る部品特定装置は、
制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定部と、
部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定部によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定部と
を備える。

本開示では、構成要素毎に定められた重みを用いて要素類似度を計算して、複数の構成要素それぞれについての要素類似度から部品類似度を計算することにより、制御部品に対応する候補部品を特定する。これにより、制御部品に近い候補部品を適切に特定可能である。

実施の形態１に係る部品特定装置１０の構成図。 実施の形態１に係る部品記憶部３１に記憶される情報の説明図。 実施の形態１に係る要素記憶部３２に記憶される情報の説明図。 実施の形態１に係る重み記憶部３３に記憶される情報の説明図。 実施の形態１に係る重みの設定要件１の説明図。 実施の形態１に係る重みの設定要件２の説明図。 実施の形態１に係る重みの設定要件３の説明図。 実施の形態１に係る部品特定装置１０の全体的な処理のフローチャート。 実施の形態１に係る部品特定処理（図８のステップＳ１２）の説明図。 実施の形態１に係る部品特定処理（図８のステップＳ１３）の説明図。 実施の形態１に係る候補特定処理（図８のステップＳ１４）のフローチャート。 実施の形態１に係る要素評価処理（図１１のステップＳ２１）の説明図。 変形例１に係る部品特定装置１０の構成図。 実施の形態２に係る部品特定装置１０の構成図。 実施の形態２に係る部品特定装置１０の全体的な処理のフローチャート。 変形例３に係る部品特定装置１０の構成図。 変形例３に係る設定情報の生成方法の説明図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る部品特定装置１０の構成を説明する。
部品特定装置１０は、コンピュータである。
部品特定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。

部品特定装置１０は、通信インタフェース１４を介して、画像入力装置４１と、結果表示装置４２と接続されている。画像入力装置４１は、画像データが記憶されたコンピュータ又は記憶装置等である。結果表示装置４２は、結果を表示可能なコンピュータ又はディスプレイ等である。

部品特定装置１０は、機能構成要素として、部品特定部２１と、要素特定部２２と、候補特定部２３とを備える。候補特定部２３は、要素評価部２４と、部品評価部２５と、候補選択部２６とを備える。部品特定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、部品特定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、部品特定装置１０の各機能構成要素の機能が実現される。

ストレージ１３は、部品記憶部３１と、要素記憶部３２と、重み記憶部３３とを実現する。

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図２から図１２を参照して、実施の形態１に係る部品特定装置１０の動作を説明する。
実施の形態１に係る部品特定装置１０の動作手順は、実施の形態１に係る部品特定方法に相当する。また、実施の形態１に係る部品特定装置１０の動作を実現するプログラムは、実施の形態１に係る部品特定プログラムに相当する。

実施の形態１に係る部品特定装置１０の処理の前提として、部品記憶部３１と要素記憶部３２と重み記憶部３３とには以下に説明する情報が記憶されているものとする。

図２を参照して、実施の形態１に係る部品記憶部３１に記憶される情報を説明する。
部品記憶部３１には、グラフィック制御画面で実現される制御盤で使用可能な制御部品である候補部品の情報が記憶される。
図２に示すように、部品記憶部３１には、部品識別子毎に、部品種別と、部品画像と、プロパティ情報といった情報が記憶されている。部品識別子は、候補部品を識別可能な情報である。部品種別は、部品の分類を表す情報である。部品画像は、候補部品全体の画像データである。プロパティ情報は、サイズと、色と、目盛りに割り当てる数値といった情報である。

図３を参照して、実施の形態１に係る要素記憶部３２に記憶される情報を説明する。
要素記憶部３２には、各候補部品を対象として、対象の候補部品を構成する構成要素毎の情報が記憶される。
図３に示すように、要素記憶部３２には、対象の候補部品について、要素識別子毎に、要素名と、要素画像と、サイズと、位置といった情報が記憶される。要素識別子は、構成要素を識別可能な情報である。要素名は、要素の名称である。要素画像は、対象の候補部品の部品画像から抽出された構成要素の画像データである。サイズは、構成要素のサイズである。位置は、対象の候補部品における構成要素の位置である。
なお、ここでは、要素記憶部３２に要素画像が記憶されているものとして説明する。しかし、要素画像は、要素記憶部３２には記憶されておらず、必要になった際に部品画像から抽出されてもよい。

図４を参照して、実施の形態１に係る重み記憶部３３に記憶される情報を説明する。
重み記憶部３３には、部品種別及び構成要素毎に、その構成要素に関する１つ以上の属性それぞれについての重みが記憶される。
図４に示すように、重み記憶部３３には、部品種別及び構成要素毎に、その構成要素に関する属性と、属性についての重みとが記憶される。属性は、傾き、サイズ、位置といった項目である。重みは、類似度を計算する際に使用される情報である。ここでは、重みは、値が大きいほど重視され、値が小さいほど軽視されるとする。

図５から図７を参照して、重みの設定について説明する。
（設定要件１）
重みは、画像データの取得タイミングによって異なる見た目の状態となる属性には軽視される値が設定される。
図５に示すように、アナログメータの針が指す位置は、制御盤が稼働中に変化する。そのため、制御盤の画像データの取得タイミングによって針が指す位置は変わってしまう。したがって、制御盤の画像データの取得タイミングによって、取得された画像データと、要素記憶部３２に記憶されたアナログメータの要素画像とで、アナログメータの針が指す位置が異なってしまう。そこで、アナログメータの針が指す位置を表す“傾き”については、重みとして軽視される値が設定される。図４では、アナログメータの針の傾きは、重みとして０が設定されている。

（設定要件２）
重みは、同一機能であってもデザインの違いによって異なる見た目の状態となる属性には軽視される値が設定される。
図６に示すように、アナログメータのような部品では、同一機能であっても、目盛りの数値の有無と、針の回転の開始位置及び終了位置と、目盛りの数又は位置とが異なる場合がある。そのため、制御盤における制御部品に適切に対応した候補部品であっても、類似度が低くなってしまう可能性がある。そこで、アナログメータの表示文字の有無と、アナログメータの目盛りの位置と等については、重みとして軽視される値が設定される。図４では、アナログメータの表示文字の有無と、アナログメータの目盛りの位置とは、重みとして０が設定されている。

（設定要件３）
重みは、候補部品のプロパティ情報により見た目を制御可能な属性には軽視される値が設定される。
図７に示すように、稼働中の制御盤では、プッシュボタンに機能に応じた文字列が表示されているが、稼働前の候補部品では、プッシュボタンに機能が割り当てられていないため、文字列が表示されていない。プッシュボタンの候補部品では、ボタン上に表示する文字列はプロパティ情報として設定されるため、稼働前には文字列が表示されていない。そこで、プッシュボタンの表示文字については、重みとして軽視される値が設定される。図４では、プッシュボタンの表示文字の有無等については、重みとして０が設定されている。

図８を参照して、実施の形態１に係る部品特定装置１０の全体的な処理を説明する。
（ステップＳ１１：画像取得処理）
部品特定部２１は、既存の制御盤の画像データを取得する。
具体的には、既存の制御盤がハードウェアで実現されている場合には、部品特定部２１は、撮影装置によって既存の制御盤を撮影されて得られた画像データを既存の制御盤の画像データとして、画像入力装置４１から読み出す。また、既存の制御盤が旧型のグラフィック制御画面で実現されている場合には、部品特定部２１は、グラフィック制御画面をキャプチャーすることによって得られた画像データを既存の制御盤の画像データとして、画像入力装置４１から読み出す。

（ステップＳ１２：部品特定処理）
部品特定部２１は、ステップＳ１１で取得された既存の制御盤の画像データから、制御盤を構成する制御部品を特定し、特定された制御部品について部品画像及び部品種別を特定する。
具体的には、部品特定部２１は、物体認識ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）のような予め認識対象とする物体画像を学習したＡＩを用いて、制御部品と、部品画像及び部品種別とを特定する。あるいは、部品特定部２１は、認識対象の物体画像をテンプレートとして、テンプレートとマッチングを行うことにより、制御部品と、部品画像及び部品種別とを特定する。あるいは、部品特定部２１は、認識対象の物体の画像特徴と特徴量を比較することにより、制御部品と、部品画像及び部品種別とを特定する。

例えば、図９に示すような制御盤画像の場合には、部品種別がアナログメータの２つの制御部品と、部品種別が円型ランプの３つの制御部品と、部品種別が角型プッシュボタンの３つの制御部品とが特定される。

（ステップＳ１３：要素特定処理）
要素特定部２２は、ステップＳ１２で特定された各制御部品を対象の制御部品に設定する。要素特定部２２は、対象の制御部品についてステップＳ１２で特定された部品画像から、対象の制御部品を構成する複数の構成要素を、構成要素の種別である要素種別とともに特定する。この際、要素特定部２２は、対象の制御部品についてステップＳ１２で特定された部品種別を考慮して、複数の構成要素を特定してもよい。
具体的には、要素特定部２２は、ステップＳ１２と同様に、予め認識対象とする物体画像を学習したＡＩを用いて、複数の構成要素を特定する。あるいは、要素特定部２２は、テンプレートとマッチングを行うことにより、複数の構成要素を特定する。あるいは、要素特定部２２は、特徴量を比較することにより、複数の構成要素を特定する。

例えば、図１０に示すアナログメータが対象の制御部品である場合には、アナログメータを構成する針と目盛りと数値表示と中心円とが構成要素として特定される。

（ステップＳ１４：候補特定処理）
候補特定部２３は、ステップＳ１２で特定された各制御部品を対象の制御部品に設定する。候補特定部２３は、部品記憶部３１に記憶された複数の候補部品のうち対象の制御部品と同じ部品種別の候補部品それぞれを対象の候補部品として、対象の候補部品と、対象の制御部品との部品類似度を計算することにより、候補部品から対象の制御部品に対応する候補部品を特定する。この際、候補特定部２３は、対象の候補部品と対象の制御部品との間で、ステップＳ１３で特定された複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算して、複数の構成要素それぞれについての要素類似度から部品類似度を計算する。

（ステップＳ１５：結果表示処理）
候補特定部２３は、ステップＳ１４で特定された候補部品についての情報を結果表示装置４２に出力して表示する。
具体的には、候補特定部２３は、候補部品についての部品種別と部品画像とプロパティ情報とを結果表示装置４２に出力して表示する。この際、候補特定部２３は、既存の制御盤における１つ以上の制御部品それぞれに対応する候補部品を、対応する制御部品の位置に配置した制御盤全体の画像データを出力してもよい。

図１１を参照して、実施の形態１に係る候補特定処理（図８のステップＳ１４）を説明する。
ステップＳ２１からステップＳ２２の処理が、部品記憶部３１に記憶された候補部品のうち対象の制御部品の部品種別の候補部品それぞれを対象として実行される。

（ステップＳ２１：要素評価処理）
要素評価部２４は、対象の制御部品についてステップＳ１３で特定された各構成要素を対象の構成要素に設定する。要素評価部２４は、対象の候補部品と対象の制御部品との間における、対象の構成要素についての要素類似度を計算する。
具体的には、要素評価部２４は、対象の制御部品の部品種別に対応する重み記憶部３３のレコードを特定する。要素評価部２４は、特定されたレコードから対象の構成要素についての重みを読み出す。そして、要素評価部２４は、読み出された重みを用いて、対象の候補部品と対象の制御部品との間における、対象の構成要素についての要素類似度を計算する。

ここで、図４に示すように、重みは、対象の構成要素に対して属性毎に設定されている。そのため、要素評価部２４は、対象の構成要素について、各属性を対象の属性に設定する。要素評価部２４は、対象の属性について類似度を計算し、計算された類似度に対象の属性についての重みを乗じて類似度を補正して属性類似度を計算する。そして、要素評価部２４は、各属性について計算された属性類似度の平均値を、対象の構成要素についての要素類似度とする。なお、平均値に限らず、中央値又は合計値が要素類似度とされてもよい。

例えば、図１０に示すアナログメータが対象の制御部品である場合には、要素評価部２４は、針と目盛りと数値表示と中心円とのそれぞれを対象の構成要素として要素類似度を計算する。
図１２に示すように、針が対象の構成要素の場合には、要素評価部２４は、針の属性である有無と傾きとサイズと根本位置とそれぞれについての類似度を計算して、重みを乗じる。ここで、傾きとサイズとについては重みが０であり、有無と根本位置とについては重みが１００である。そのため、要素評価部２４は、針の有無についての類似度に１００を乗じた値と、傾きの類似度に０を乗じた値と、サイズの類似度に０を乗じた値と、根本位置の類似度に１００を乗じた値との平均値を、針についての要素類似度とする。なお、図１２では、重みが０の属性については無視して、要素評価部２４は、針の有無についての類似度に１００を乗じた値と、根本位置の類似度に１００を乗じた値との平均値を、針についての要素類似度としている。

（ステップＳ２２：部品評価処理）
部品評価部２５は、ステップＳ２１で計算された各構成要素についての要素類似度を集計して、対象の候補部品と対象の制御部品との部品類似度を計算する。
具体的には、部品評価部２５は、各構成要素についての要素類似度の平均値を部品類似度とする。なお、平均値に限らず、中央値又は合計値が部品類似度とされてもよい。

（ステップＳ２３：候補選択処理）
候補選択部２６は、各候補部品についてステップＳ２２で計算された部品類似度が最も高い候補部品を対象の制御部品に対応する候補部品として特定する。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る部品特定装置１０は、構成要素毎に定められた重みを用いて要素類似度を計算して、複数の構成要素それぞれについての要素類似度から部品類似度を計算することにより、制御部品に対応する候補部品を特定する。これにより、制御部品に近い候補部品を適切に特定可能である。

図５に示すように、アナログメータの針のように、画像データの取得タイミングによって異なる見た目の状態となる構成要素をそのまま比較してしまうと、本来得られるべき値よりも類似度が低くなってしまう可能性がある。図６に示すように、目盛りの数値の有無と、目盛りの数又は位置とのように、同一機能であってもデザインの違いによって異なる見た目の状態となる構成要素をそのまま比較してしまうと、本来得られるべき値よりも類似度が低くなってしまう可能性がある。図７に示すように、プッシュボタンの表示文字のように、候補部品には初期状態では示されていないものがある構成要素をそのまま比較してしまうと、本来得られるべき値よりも類似度が低くなってしまう可能性がある。
しかし、実施の形態１に係る部品特定装置１０は、構成要素について属性毎に設定された重みを用いて要素類似度を計算するため、適切な部品類似度を計算することが可能である。これにより、制御部品に近い候補部品を適切に特定可能である。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。

図１３を参照して、変形例１に係る部品特定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、部品特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、既存の制御盤の画像データに基づき、候補部品のプロパティ情報を設定する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図１４を参照して、実施の形態２に係る部品特定装置１０の構成を説明する。
部品特定装置１０は、機能構成要素として、認識部２７と、プロパティ設定部２８とを備える点が図１に示す部品特定装置１０と異なる。認識部２７及びプロパティ設定部２８の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。

＊＊＊動作の説明＊＊＊
図１５を参照して、実施の形態２に係る部品特定装置１０の全体的な処理を説明する。
ステップＳ３１からステップＳ３４の処理は、図８のステップＳ１１からステップＳ１４の処理と同じである。

（ステップＳ３５：認識処理）
認識部２７は、ステップＳ１３で特定された複数の構成要素のうち文字データを含む構成要素を文字要素に設定する。認識部２７は、部品画像における文字要素についての画像データに含まれる文字データを認識する。既存の文字認識アルゴリズムを用いることにより、文字データを認識することが可能である。
具体例としては、認識部２７は、文字要素がアナログメータである場合に、目盛りに割り振られた数値を認識する。また、認識部２７は、文字要素がスイッチである場合に、スイッチ上又はスイッチ付近に表示された文字データを認識する。

（ステップＳ３６：プロパティ設定処理）
プロパティ設定部２８は、ステップＳ３５で認識された文字データを、文字要素についてステップＳ３４で特定された候補部品のプロパティ情報として設定する。

（ステップＳ３７：結果表示処理）
候補特定部２３は、ステップＳ３４で特定された候補部品についての情報を結果表示装置４２に出力して表示する。
この際、候補特定部２３は、ステップＳ３６で設定されたプロパティ情報による変更を反映させた上で、候補部品についての情報を表示する。例えば、候補特定部２３は、プロパティ情報に設定された文字データを示した候補部品の画像データを表示するといったことが考えられる。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る部品特定装置１０は、既存の制御盤の画像データに基づき、候補部品のプロパティ情報に設定する。
現状では、候補部品が特定された後に、各種プロパティ情報が設定され、既存の制御盤を構成する制御部品と見た目を同じようにするという作業が人手で行われている。既存の制御盤の画像データに基づき候補部品のプロパティ情報に設定することにより、人手で行われている作業を減らすことが可能である。

＊＊＊他の構成＊＊＊
＜変形例３＞
実施の形態２では、認識された文字データが候補部品のプロパティ情報として設定された。しかし、候補部品によっては、認識された文字データをそのままプロパティ情報に設定することが難しい場合もある。そこで、認識された文字データから設定情報を生成し、設定情報をプロパティ情報に設定してもよい。

この場合には、図１６に示すように、部品特定装置１０は、機能構成要素として、設定情報生成部２９を備える。設定情報生成部２９の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
設定情報生成部２９は、認識部２７によって認識された文字データから、文字要素についてステップＳ３４で特定された候補部品に応じて、設定情報を生成する。ここで、候補部品には、プロパティ情報に設定すべき情報が示されているものとする。具体例としては、文字要素がアナログメータである場合には、目盛りの数値として、最小値及び最大値を設定する、あるいは、最小値と中央値と最大値とを設定するといったことが示されている。例えば、目盛りの数値として、最小値及び最大値を設定することが示されている場合には、図１７に示すように、設定情報生成部２９は、認識された数値から最小値及び最大値を特定して、設定情報とする。
プロパティ設定部２８は、設定情報生成部２９によって生成された設定情報をプロパティ情報に設定する。

＜変形例４＞
認識部２７は、文字データだけでなく、構成要素の色と形状との少なくともいずれかを認識してもよい。なお、認識部２７は、全ての構成要素を対象要素として、対象要素について色と形状との少なくともいずれかを認識してもよいし、一部の部品種別の制御部品についての構成要素についてのみ対象要素として、対象要素について色と形状との少なくともいずれかを認識してもよい。例えば、表示ボタンの色等が認識される。
プロパティ設定部２８は、色と形状との少なくともいずれかを、対応する構成要素のプロパティ情報に設定する。

＜変形例５＞
構成要素によっては移動するものがある。移動する構成要素としては、例えば、アナログメータの針がある。認識部２７は、既存の制御盤を構成する制御部品の映像データから、移動する構成要素である移動要素の移動範囲を認識する。
具体的には、認識部２７は、移動要素を含む制御部品についての映像データを取得する。映像データの長さは、制御部品に応じて決められる。例えば、移動要素の移動範囲が毎日同程度と想定される場合には、認識部２７は１日分の映像データを取得すればよい。認識部２７は、映像データにおける各時点の移動要素の位置を特定することにより、移動範囲を特定する。
プロパティ設定部２８は、移動範囲を移動要素のプロパティ情報に設定する。

変形例３で説明したように、設定情報生成部２９が設定情報を生成する場合には、設定情報生成部２９は、移動範囲を考慮して設定情報を生成してもよい。例えば、最小値及び最大値と、移動範囲とから、目盛りの配置を決定してもよい。つまり、移動範囲が最小値に近い範囲だけであるような場合には、最小値に近い範囲の目盛りの間隔を広くするように目盛りの配置が決定されてもよい。

また、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

１０ 部品特定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 部品特定部、２２ 要素特定部、２３ 候補特定部、２４ 要素評価部、２５ 部品評価部、２６ 候補選択部、２７ 認識部、２８ プロパティ設定部、２９ 設定情報生成部、３１ 部品記憶部、３２ 要素記憶部、３３ 重み記憶部、４１ 画像入力装置、４２ 結果表示装置。

Claims (17)

1. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定部と、
   部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定部によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定部と
   を備え、
   前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて、前記画像データの取得タイミングによって異なる状態となる属性には軽視される値が設定されることにより定められており、
   前記候補特定部は、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する部品特定装置。
2. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定部と、
   部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定部によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定部と
   を備え、
   前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて、同一機能であってもデザインの違いによって異なる状態となる属性には軽視される値が設定されることにより定められており、
   前記候補特定部は、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する部品特定装置。
3. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定部と、
   部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定部によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定部と
   を備え、
   前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて、前記候補部品のプロパティ情報により制御可能な属性には軽視される値が設定されることにより定められており、
   前記候補特定部は、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する部品特定装置。
4. 前記部品特定装置は、さらに、
   前記複数の構成要素のうち少なくとも一部の構成要素を対象要素として、前記対象要素の色と形状との少なくともいずれかを認識する認識部と、
   前記認識部によって認識された色と形状との少なくともいずれかを、前記対象要素について前記候補特定部によって特定された候補部品のプロパティ情報として設定するプロパティ設定部と
   を備える請求項１から３までのいずれか１項に記載の部品特定装置。
5. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定部と、
   部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定部によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定部と、
   前記複数の構成要素のうち文字データを含む構成要素を文字要素として、前記文字要素に含まれる前記文字データを認識する認識部と、
   前記認識部によって認識された前記文字データを、前記文字要素について前記候補特定部によって特定された候補部品のプロパティ情報として設定するプロパティ設定部と
   を備える部品特定装置。
6. 前記部品特定装置は、さらに、
   前記文字要素について前記候補特定部によって特定された候補部品に応じて、前記文字データから設定情報を生成する設定情報生成部
   を備え、
   前記プロパティ設定部は、前記設定情報生成部によって生成された前記設定情報を前記プロパティ情報として設定する
   請求項５に記載の部品特定装置。
7. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定部と、
   部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定部によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定部と、
   前記複数の構成要素のうち移動する構成要素を移動要素として、制御盤を構成する制御部品の映像データから、前記移動要素の移動範囲を認識する認識部と、
   前記認識部によって認識された移動範囲を、前記移動要素について前記候補特定部によって特定された候補部品のプロパティ情報として設定するプロパティ設定部と
   を備える部品特定装置。
8. コンピュータが、制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定し、
   コンピュータが、部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定し、
   前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて、前記画像データの取得タイミングによって異なる状態となる属性には軽視される値が設定されることにより定められており、
   コンピュータが、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する部品特定方法。
9. コンピュータが、制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定し、
   コンピュータが、部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定し、
   前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて、同一機能であってもデザインの違いによって異なる状態となる属性には軽視される値が設定されることにより定められており、
   コンピュータが、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する部品特定方法。
10. コンピュータが、制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定し、
    コンピュータが、部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定し、
    前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて、前記候補部品のプロパティ情報により制御可能な属性には軽視される値が設定されることにより定められており、
    コンピュータが、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する部品特定方法。
11. コンピュータが、制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定し、
    コンピュータが、部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定し、
    コンピュータが、前記複数の構成要素のうち文字データを含む構成要素を文字要素として、前記文字要素に含まれる前記文字データを認識し、
    コンピュータが、認識された前記文字データを、前記文字要素について特定された候補部品のプロパティ情報として設定する部品特定方法。
12. コンピュータが、制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定し、
    コンピュータが、部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定し、
    コンピュータが、前記複数の構成要素のうち移動する構成要素を移動要素として、制御盤を構成する制御部品の映像データから、前記移動要素の移動範囲を認識し、
    コンピュータが、認識された移動範囲を、前記移動要素について特定された候補部品のプロパティ情報として設定する部品特定方法。
13. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定処理と、
    部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定処理によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定処理と
    を行う部品特定装置としてコンピュータを機能させ、
    前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて、前記画像データの取得タイミングによって異なる状態となる属性には軽視される値が設定されることにより定められており、
    前記候補特定処理では、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する部品特定プログラム。
14. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定処理と、
    部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定処理によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定処理と
    を行う部品特定装置としてコンピュータを機能させ、
    前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて、同一機能であってもデザインの違いによって異なる状態となる属性には軽視される値が設定されることにより定められており、
    前記候補特定処理では、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する部品特定プログラム。
15. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定処理と、
    部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定処理によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定処理と
    を行う部品特定装置としてコンピュータを機能させ、
    前記重みは、構成要素毎に、その構成要素に関する１つ以上の属性それぞれについて、前記候補部品のプロパティ情報により制御可能な属性には軽視される値が設定されることにより定められており、
    前記候補特定処理では、前記１つ以上の属性それぞれについて前記重みを用いて属性類似度を計算して、前記１つ以上の属性それぞれについての前記属性類似度から前記要素類似度を計算する部品特定プログラム。
16. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定処理と、
    部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定処理によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定処理と、
    前記複数の構成要素のうち文字データを含む構成要素を文字要素として、前記文字要素に含まれる前記文字データを認識する認識処理と、
    前記認識処理によって認識された前記文字データを、前記文字要素について前記候補特定処理によって特定された候補部品のプロパティ情報として設定するプロパティ設定処理と
    を行う部品特定装置としてコンピュータを機能させる部品特定プログラム。
17. 制御盤を構成する制御部品の画像データから前記制御部品を構成する複数の構成要素を特定する要素特定処理と、
    部品記憶部に記憶された複数の候補部品それぞれを対象として、対象の候補部品と前記制御部品との間で、前記要素特定処理によって特定された前記複数の構成要素それぞれについて、構成要素毎に定められた重みを用いて要素類似度を計算し、前記複数の構成要素それぞれについての前記要素類似度から前記対象の候補部品と前記制御部品との間の部品類似度を計算することにより、前記複数の候補部品から前記制御部品に対応する候補部品を特定する候補特定処理と、
    前記複数の構成要素のうち移動する構成要素を移動要素として、制御盤を構成する制御部品の映像データから、前記移動要素の移動範囲を認識する認識処理と、
    前記認識処理によって認識された移動範囲を、前記移動要素について前記候補特定処理によって特定された候補部品のプロパティ情報として設定するプロパティ設定処理と
    を行う部品特定装置としてコンピュータを機能させる部品特定プログラム。

Images