JP7216986B2 - 画像生成装置、画像生成表示システム及び画像生成方法 - Google Patents

Description

本発明は三次元モデル画像を生成する画像生成装置、画像生成表示システム及び画像生成方法に関し、詳細には異常部品三次元モデル画像を生成することのできる画像生成装置、画像生成システム及び画像生成方法に関する。

従来、機械装置における異常を検出する際に、当該機械装置の部品レイアウト上に、その異常が発生した部品に相当する箇所をハイライト表示させた画像を生成することにより、異常発生のアラーム画面を表示することのできる画像生成装置がある（特許文献１）。

前記の従来の画像生成装置において、機械装置の部品レイアウトは、当該機械装置を設計する際に作成された、部品の取り付け位置及び向きや部品間の配線に関わる情報を含むＣＡＤデータを流用して作成するため、前記のアラーム画面を容易に表示することができる。

そして、従来の画像生成装置が部品レイアウト上でこうした異常箇所をハイライト表示することにより、作業者は図面を参照することなく容易に異常の発生している位置を把握することができる。

特開２０１７－６８３２４号公報

従来の画像生成装置は、機械装置の部品レイアウト上で異常発生箇所をハイライト表示させたアラーム画面を表示する。

ところで、機械装置の構造が複雑となり、数多くの立体的な部品や部材が組み合わさって当該機械装置を構成するとき、単に部品のレイアウトや配線を示す情報だけでは、異常の発生した箇所の縦、横及び奥行きから成る三次元的な位置や範囲を特定し、または、表示することが困難である。

また、こうした部品や部材が重層的に組み合わさるとき、組み合わさった外側からでは異常の発生した箇所の特定及び表示が殊更に困難である。あるいは、例えば部品が円筒形状であり、異常箇所が内周面側に位置するときなどは、たとえ部品同士が組み合わさった状態でなくとも、その異常箇所を特定し、または、表示することが困難である。

さらに、従来の前記アラーム画面が前記画像生成装置が備える表示処理手段によって表示されるため、前記画像生成装置が前記機械装置に付属して設置されているとき、操作者は、前記異常発生箇所を知るために前記機械装置の傍らに位置しなければならない。

本発明は、このような問題に鑑み、異常の発生する箇所や範囲を容易に特定し、かつ、表示することができ、しかも、前記アラーム画面を前記機械装置よりも遠く離れた遠隔地において見ることができる画像生成装置、画像生成表示システム及び画像生成方法の提供を目的とする。

（１）本発明は複数の部品を含む機械装置に配設される複数の異常センサーに接続する通信手段と、該通信手段に接続する処理手段と、該処理装置に接続する記憶手段とを備え、前記記憶手段は、前記各異常センサーが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の前記部品である異常部品との関係性である第１の関係性を行列データにより格納するネットワークデータベースと、前記各部品の三次元ＣＡＤデータを格納する三次元ＣＡＤデータベースとを記憶し、前記処理手段は、前記通信手段が前記異常信号を受信する際、前記行列データに基づき当該異常信号と関係する前記異常部品の三次元ＣＡＤデータである異常部品ＣＡＤデータを特定するとともに、前記異常部品ＣＡＤデータに基づく異常部品三次元モデル画像を生成することを特徴とする画像生成装置を提供するものである。

すなわち、本発明の画像生成装置は、前記各部品の三次元ＣＡＤデータを格納するとともに、前記行列データに基づいて前記異常部品の三次元ＣＡＤデータを特定するため、異常の発生する箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。

しかも、本発明の画像生成装置は、異常信号の受信時に表示する画像として、前記三次元ＣＡＤデータに基づく三次元モデル画像を生成するため、異常の発生する部品の縦、横及び奥行きから成る三次元的なモデル画像を表示させることができる。

（２）また、前記ネットワークデータベースは、前記異常信号と、前記異常部品のうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の三次元領域である異常原因領域との関係性である第２の関係性を行列データにより格納し、前記処理手段は、前記異常部品のうち前記異常原因領域と前記異常原因領域でない三次元領域である正常領域とが区別して表示される前記異常部品三次元モデル画像を生成してもよい。

すなわち、前記異常信号と、前記異常部品のうち縦、横及び奥行きからなる三次元的な領域である三次元領域の前記異常原因領域との関係性を格納するため、前記異常原因領域の三次元的な位置や範囲を容易に特定することができ、かつ、三次元的なモデル画像を表示させることができる。

（３）また、前記三次元ＣＡＤデータに基づき、前記各部品のうち任意に範囲が指定される一又は複数の三次元領域の表示及び非表示を選択して前記異常部品三次元モデル画像を生成してもよい。

すなわち、前記部品が重層的に組み合わさるときでも、前記異常部品以外の、一若しくは複数の部品又は縦、横及び奥行きから成る三次元的な領域である三次元領域を任意に非表示とすることにより、異常の発生する箇所や範囲の特定及び表示を容易に行うことができる。

さらに、前記異常部品の一部の三次元領域を非表示とすることによっても、異常の発生した箇所や範囲の特定及び表示を容易に行うことができる。例えば異常部品が円筒形状であり、異常原因領域が内周面側に位置するときでも、前記円筒形状の中心軸方向のスリットを形成するように当該異常部品の一部の三次元領域を非表示とすることによって、隠れて見えなかった異常原因領域を容易に特定及び表示することができる。

（４）本発明は複数の部品を含む機械装置に配設された複数の異常センサー、該複数の異常センサーに接続する通信手段、該通信手段に接続する処理手段及び該処理装置に接続する記憶手段を備える画像生成サーバ装置と、前記通信手段に通信回線を介して接続され、かつ、端末表示処理手段を備える外部端末装置とを含む画像生成表示システムであって、前記記憶手段は、前記各異常センサーが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の前記部品である異常部品との関係性である第１の関係性を行列データにより格納するネットワークデータベースと、前記各部品の三次元ＣＡＤデータを格納する三次元ＣＡＤデータベースとを記憶し、前記処理手段は、前記通信手段が前記異常信号を受信する際、前記行列データに基づき当該異常信号と関係する前記異常部品の三次元ＣＡＤデータである異常部品ＣＡＤデータを特定するとともに、前記異常部品ＣＡＤデータに基づく異常部品三次元モデル画像を生成し、前記端末表示処理手段は、前記外部端末装置が前記画像生成サーバ装置から受信する前記異常部品三次元モデル画像を表示することを特徴とする画像生成表示システムを提供するものである。

すなわち、本発明の画像生成表示システムは、前記各部品の三次元ＣＡＤデータを格納するとともに、前記行列データに基づいて前記異常部品の三次元ＣＡＤデータを特定するため、異常の発生する箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。しかも、異常信号の受信時に、前記三次元ＣＡＤデータに基づく三次元モデル画像を生成するため、異常の発生する部品の縦、横及び奥行きから成る三次元的なモデル画像を表示することができる。

さらに、前記異常部品三次元モデル画像が、前記画像生成サーバ装置と通信回線を介して接続される前記外部端末装置に表示されるため、操作者は、このような異常部品三次元モデル画像を前記機械装置の傍らで見る必要がなく、前記外部端末装置により前記機械装置から遠く離れた遠隔地において見ることができる。

例えば、操作者が前記機械装置を設置してある工場の中央制御室や事務棟、その工場の外などに位置している時でも、手元の前記外部端末装置によって前記異常部品三次元モデル画像を容易に見ることができる。

（５）また、前記ネットワークデータベースは、前記異常信号と、前記異常部品のうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の三次元領域である異常原因領域との関係性である第２の関係性を行列データにより格納し、前記処理手段は、前記異常部品のうち前記異常原因領域と前記異常原因領域でない三次元領域である正常領域とが区別して表示される前記異常部品三次元モデル画像を生成してもよい。

すなわち、前記異常信号と、前記異常部品のうち縦、横及び奥行きからなる三次元的な領域である三次元領域の前記異常原因領域との関係性を格納するため、前記異常原因領域の三次元的な位置や範囲を容易に特定することができ、かつ、三次元的なモデル画像を遠隔地において表示させることができる。

（６）また、前記三次元ＣＡＤデータに基づき、前記各部品のうち任意に範囲が指定される一又は複数の三次元領域の表示及び非表示を選択して前記異常部品三次元モデル画像を生成してもよい。

すなわち、前記部品が重層的に組み合わさるときでも、前記異常部品以外の、一若しくは複数の部品又は縦、横及び奥行きから成る三次元的な領域である三次元領域を任意に非表示とすることにより、異常の発生する箇所や範囲の特定及び表示を容易に行うことができる。

さらに、前記異常部品の一部の三次元領域を非表示とすることによっても、異常の発生する箇所や範囲の特定及び表示を容易に行うことができる。

（７）本発明は画像生成装置が備える記憶手段が、複数の部品を含む機械装置に配設された複数の異常センサーが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の前記部品である異常部品との関係性である第１の関係性を行列データにより格納するネットワークデータベースと、前記各部品の三次元ＣＡＤデータを格納する三次元ＣＡＤデータベースとを記憶するデータベース記憶工程と、前記画像生成装置が備える通信手段が、前記異常センサーから前記異常信号を受信する異常信号受信工程と、前記記憶手段及び前記通信手段に接続する処理手段が、前記行列データに基づき当該異常信号と関係する前記異常部品の三次元ＣＡＤデータである異常部品ＣＡＤデータを特定するとともに、前記異常部品ＣＡＤデータに基づく異常部品三次元モデル画像を生成する異常部品三次元モデル画像生成工程とを含むことを特徴とする画像生成方法を提供するものである。

すなわち、本発明の画像生成方法により、前記各部品の三次元ＣＡＤデータを格納するとともに、前記行列データに基づいて前記異常部品の三次元ＣＡＤデータを特定するため、異常の発生する箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。しかも、異常信号の受信時に、前記三次元ＣＡＤデータに基づく三次元モデル画像を生成するため、異常の発生する部品の縦、横及び奥行きから成る三次元的なモデル画像を表示させることができる。

（８）また、前記データベース記憶工程は、前記異常信号と、前記異常部品のうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の三次元領域である異常原因領域との関係性である第２の関係性を行列データにより格納するネットワークデータベースを記憶する工程を含み、前記異常部品三次元モデル画像生成工程は、前記異常部品のうち前記異常原因領域と前記異常原因領域でない三次元領域である正常領域とが区別して表示される前記異常部品三次元モデル画像を生成する工程を含んでもよい。

すなわち、前記異常信号と、前記異常部品のうち縦、横及び奥行きからなる三次元的な領域である三次元領域の前記異常原因領域との関係性を格納するため、前記異常原因領域の三次元的な位置や範囲を容易に特定することができ、かつ、三次元的なモデル画像を表示させることができる。

（９）また、前記各部品のうち一又は複数の三次元領域の範囲を任意に指定する範囲指定工程と、前記指定された範囲の表示及び非表示を選択する表示非表示選択工程とを含んでもよい。

すなわち、前記部品が重層的に組み合わさるときでも、前記異常部品以外の、一若しくは複数の部品又は縦、横及び奥行きから成る三次元的な領域である三次元領域を任意に非表示とすることにより、異常の発生する箇所や範囲の特定及び表示を容易に行うことができる。

さらに、前記異常部品の一部の三次元領域を非表示とすることによっても、異常の発生する箇所や範囲の特定及び表示を容易に行うことができる。

（１０）本発明は複数の部品を含む機械装置と、該機械装置に配設される複数の監視センサーと、該監視センサーに接続する通信手段、人工知能を有するとともに、前記通信手段に接続する処理手段及び該処理装置に接続するとともに、前記機械装置の稼働情報を時刻とともにログデータにより格納するログデータベースを記憶する記憶手段を有する画像生成装置とを備え、前記各監視センサーは、前記機械装置の異常稼働状態を検知する時に異常信号を発し、前記稼働情報は、前記機械装置を稼働させる稼働回ごとの前記機械装置を操作するオペレーターの識別情報と、前記各監視センサーが発する前記機械装置の稼働状態を表す稼働状態情報と、前記異常信号を含む異常稼働状態情報とを含み、前記処理手段は、前記人工知能を学習させ、かつ、該学習によって得られる学習モデルに基づいて、前記異常信号が発生するまでの残り時間を推定するとともに、当該発生が推定される異常信号と関係する異常部品の三次元モデル画像である異常部品三次元モデル画像を生成することを特徴とする画像生成表示システムを提供するものである。

すなわち、本発明の画像生成表示システムにより、前記異常信号が発生するまでの残り時間が推定されるため、前記機械装置、前記画像生成装置、または、前記機械装置及び前記画像生成装置を保有する企業、機関等は、これから発生する異常に備えて交換用の部品を準備しておくなどの事前の対策を講じることができる。人工知能とは、「ＪＩＳ Ｘ ００２８ 情報処理用語―人工知能―基本概念及びエキスパートシステム」により、一般に人間の知性と結び付けて考えられる、推論、学習などの機能を遂行する、機能単位の能力と定義される。

その上で、当該異常信号と関係する異常部品の三次元モデル画像である異常部品三次元モデル画像が生成されるため、異常の発生する箇所や範囲を容易に特定し、かつ、表示することができる。

（１１）本発明は複数の部品を含む機械装置と、該機械装置に配設される複数の監視センサーと、該監視センサーに接続する通信手段、多層式のニューラルネットを学習させるニューラルネット学習部を有するとともに前記通信手段に接続する処理手段、ならびに、該処理装置に接続するとともに、前記機械装置の稼働情報を時刻と共にログデータにより格納するログデータベース及び前記ニューラルネットを記憶する記憶手段を有する画像生成装置とを備え、前記各監視センサーは、前記機械装置の異常稼働状態を検知する時に異常信号を発し、前記稼働情報は、前記機械装置を稼働させる稼働回ごとの前記機械装置を操作するオペレーターの識別情報と、前記各監視センサーが発する前記機械装置の稼働状態を表す稼働状態情報と、前記異常信号を含む異常稼働状態情報とを含み、前記処理手段は、前記ニューラルネットに基づいて、前記異常信号が発生するまでの残り時間を推定するとともに、当該発生が推定される異常信号と関係する異常部品の三次元モデル画像である異常部品三次元モデル画像を生成することを特徴とする画像生成表示システムを提供するものである。

すなわち、本発明の画像生成表示システムにより、前記異常信号が発生するまでの残り時間が推定されるため、前記機械装置、前記画像生成装置、または、前記機械装置及び前記画像生成装置を保有する企業、機関等は、これから発生する異常に備えて交換用の部品を準備しておくなどの事前の対策を講じることができる。ニューラルネットワーク又はニューラルネットとは、「ＪＩＳ Ｘ ００２８ 情報処理用語―人工知能―基本概念及びエキスパートシステム」により、原始的な処理要素が調整可能な重み付きリンクで結合されたネットワークであり、各要素が、複数のリンクからの入力値に非線形関数を適用して値を生成し、それを他の要素へ送信し、又は出力として提供するものと定義される。

その上で、当該異常信号と関係する異常部品の三次元モデル画像である異常部品三次元モデル画像が生成されるため、異常の発生する箇所や範囲を容易に特定し、かつ、表示することができる。

（１２）また、前記記憶手段は、前記異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の前記部品である異常部品との関係性である第１の関係性を行列データにより格納するネットワークデータベースと、前記各部品の三次元ＣＡＤデータを格納する三次元ＣＡＤデータベースとを記憶し、前記処理手段は、前記行列データに基づき前記発生が推定される異常信号と関係する異常部品の三次元ＣＡＤデータである異常部品ＣＡＤデータを特定し、前記異常部品三次元モデル画像は、前記異常部品ＣＡＤデータに基づいてもよい。

すなわち、前記各部品の三次元ＣＡＤデータを格納するとともに、前記行列データに基づいて前記異常部品の三次元ＣＡＤデータを特定するため、異常の発生する箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。

しかも、異常信号の受信時に表示する画像として、前記三次元ＣＡＤデータに基づく三次元モデル画像を生成するため、異常の発生する部品の縦、横及び奥行きから成る三次元的なモデル画像を表示させることができる。

（１３）また、前記ネットワークデータベースは、前記異常信号と、前記異常部品のうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の三次元領域である異常原因領域との関係性である第２の関係性を行列データにより格納し、前記処理手段は、前記異常部品のうち前記異常原因領域と前記異常原因領域でない三次元領域である正常領域とが区別して表示される前記異常部品三次元モデル画像を生成してもよい。

すなわち、前記異常信号と、前記異常部品のうち縦、横及び奥行きからなる三次元的な領域である三次元領域の前記異常原因領域との関係性を格納するため、前記異常原因領域の三次元的な位置や範囲を容易に特定することができ、かつ、三次元的なモデル画像を表示させることができる。

このように、本発明の画像生成装置、画像生成表示システム又は画像生成方法により、異常の発生する箇所や範囲を容易に特定し、かつ、表示することができる。

本発明の第１の実施形態における機能構成図である。 本発明の第１の実施形態におけるネットワークデータベースＮＤＢ１である。 本発明の第１の実施形態におけるフローチャートである。 本発明の第２の実施形態におけるネットワークデータベースＮＤＢ２である。 本発明の第３の実施形態におけるネットワークデータベースＮＤＢ３である。 本発明の第３の実施形態における異常部品Ｐ０１を表す画像である。 本発明の第３の実施形態における正常部品及び異常部品Ｐ０２を表す画像である。 本発明の第３の実施形態における異常部品Ｐ０２を表す画像である。 本発明の第３の実施形態におけるフローチャートである（１／２）。 本発明の第３の実施形態におけるフローチャートである（１／２）。 本発明の第４の実施形態におけるネットワークデータベースＮＤＢ４である。 本発明の第５の実施形態におけるネットワークデータベースＮＤＢ５である。 本発明の第６の実施形態における機能構成図である。 本発明の第７の実施形態における機能構成図である。（ａ）は各機械装置Ｍａ～Ｍｃが画像生成装置２２の近くに所在する場合の機能構成図であり、（ｂ）は各機械装置Ｍａ～Ｍｃ及び画像生成装置２２が互いに離れて所在する場合の機能構成図である。 本発明の第７の実施形態におけるネットワークデータベースＮＤＢ６である。 本発明の第７の実施形態におけるログデータベースＬＤＢである。 本発明の第７の実施形態における第１のニューラルネットＮＮ１である。 本発明の第７の実施形態における異常部品Ｐ１１を表す画像である。

図１～図３は本発明の第１の実施形態を例示している。図１における１が画像生成表示システムである。

画像生成表示システム１は、図１の機能構成図が示すように画像生成装置２を有する。

画像生成装置２は、複数の部品を含む機械装置Ｍに配設される複数の異常センサーＳに接続する通信手段３と、通信手段３に接続する処理手段４と、処理手段４に接続する記憶手段５と、表示処理手段６とを備える。

ここで、機械装置Ｍはさまざまな種類の機械装置でよく、例えば、内閣府が機械受注統計調査において用いる大分類に従えば、原動機、重電機、電子・通信機械、産業機械、工作機械、鉄道車両、道路車両、航空機及び船舶を含む。以下においては、一例として、合成樹脂加工機械をはじめとする産業機械の場合について説明する。

また、各部品はさまざまな種類の部品でよく、機械装置Ｍを構成する部分品であれば、機械部品や電子部品に限らず、構造の部分をなす材である部材、構造の外面をなす板である外板などをも含む。

さらに、各異常センサーＳはさまざまな種類のセンサーでよく、温度、圧力、流量、光、磁気、音、振動、速度、加速度、電流、電圧などの物理量やそれらの変化量を検出する素子を含む。こうした異常センサーＳによって閾値やその閾値に達するまでの経過時間、その閾値に達した回数のような所定の物理量、変化量、時間、回数等が検出されるときに発生される信号を異常信号という。このとき、一つの異常センサーが二種類以上の物理量、変化量、時間、回数等を検出してもよく、また、これに伴い二種類以上の異常信号を発生させてもよい。

通信手段３は、各異常センサーＳと接続しこれらの異常信号を受信する。このとき、各異常センサーＳから常に物理量、変化量等の信号を受信してもよく、また、各異常センサーＳから発生される異常信号だけを受信してもよい。さらに、機械装置Ｍに、通信手段３が常に物理量、変化量等の信号を受信する異常センサーＳと、異常信号のみを受信する異常センサーＳとが併存して配設されていてもよい。

常に物理量、変化量等の信号を受信する異常センサーＳが配設されるときは、通信手段３が異常信号判別部３ａを有する。異常信号判別部３ａは、異常センサーＳから受け取る物理量、変化量等の全ての信号から上で述べた異常信号に該当する信号を判別する。

通信手段３が異常信号判別部３ａを有するとき、通信手段３はネットワークデータベースＮＤＢに書き込まれた異常信号を構成する閾値、その閾値に達するまでの経過時間、その閾値に達した回数の値等を次で述べる処理手段４から受け取る。そして、異常信号判別部３ａは異常センサーＳから受け取る信号と、これらのネットワークデータベースＮＤＢに書き込まれた値とを対比して異常信号に該当する信号を判別する。

処理手段４は、三次元ＣＡＤデータ特定部４ａと三次元モデル画像生成部４ｂとを有する。

三次元ＣＡＤデータ特定部４ａは、通信手段３が異常信号を受信する際、その異常信号と、以下で述べる記憶手段５から読み出すネットワークデータベースＮＤＢとにより、当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の部品である異常部品Ｐを特定する。

三次元モデル画像生成部４ｂは、このように特定された異常部品Ｐを表すための三次元ＣＡＤデータである異常部品ＣＡＤデータＤｐに基づく異常部品三次元モデル画像Ｉｐを生成する。また、正常部品を表すための三次元ＣＡＤデータである正常部品ＣＡＤデータＤｒに基づく正常部品三次元モデル画像Ｉｒ及び機械装置Ｍ全体を表すための三次元ＣＡＤデータである全体ＣＡＤデータＤｍに基づく全体三次元モデル画像Ｉｍを生成することができる。さらに、これらのうちの二以上の三次元モデル画像が重ね合わせられた複合三次元モデル画像Ｉｉを生成する。

ここで、三次元ＣＡＤデータとは、縦、横及び奥行きから成る三次元の座標情報で構成されたＣＡＤデータをいう。

また、三次元モデルとは、三次元形状を表現した形状モデルをいう。日本工業規格ＪＩＳＢ３４０１－１９９３『ＣＡＤ用語』によれば、三次元モデルは、体積情報によるソリッドモデル、面情報によるサーフェスモデル、線情報によるワイヤーフレームモデルに分類できる。そして、三次元モデル画像とは、こうした三次元モデルが一定の表示面上に表された画像をいう。

記憶手段５は、ネットワークデータベース記憶部５ａと三次元ＣＡＤデータベース記憶部５ｂとを有する。

ネットワークデータベース記憶部５ａは、各異常センサーＳが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の異常部品Ｐとの関係性である第１の関係性を図２に示す行列データにより格納するネットワークデータベースＮＤＢ１を記憶する。

図２のネットワークデータベースＮＤＢ１は、左端の列が示す４つの異常センサーＳ０１～Ｓ０４と、中の列が示す、各異常センサーＳ０１～Ｓ０４が発する異常信号と、右端の列が示すこれらの異常信号を生じせしめる異常稼働状態の原因となる異常部品Ｐ０１，Ｐ０２との関係性である第１の関係性を行列データにより格納するデータベースである。

異常センサーＳ０１及びＳ０２は温度を検出する素子を含むセンサーである。また、異常センサーＳ０３及びＳ０４は圧力を検出する素子を含むセンサーである。そして、各異常信号は、それぞれが検出されるときの閾値によって表される。

例えば、ネットワークデータベースＮＤＢ１は、異常センサーＳ０１が閾値である１０００℃以上の温度を検出するとき、その異常信号を生じせしめる異常稼働状態の原因となる部品が異常部品Ｐ０１であることの関係性である第１の関係性を格納している。同様に、異常センサーＳ０２～Ｓ０４がそれぞれの閾値を検出するとき、各異常信号を生じせしめる異常稼働状態の原因となる部品が、それぞれ異常部品Ｐ０１、異常部品Ｐ０１及び異常部品Ｐ０２であることの関係性である第１の関係性を格納している。

これらの第１の関係性により、画像生成装置２は、異常稼働状態毎に異常部品Ｐ０１，Ｐ０２を特定することができる。

三次元ＣＡＤデータベース記憶部５ｂは、機械装置Ｍ全体の三次元ＣＡＤデータと各部品のそれぞれの三次元ＣＡＤデータとを格納する三次元ＣＡＤデータベースＴＤＢ１を記憶する。

三次元ＣＡＤデータベースＴＤＢ１に格納される各部品の三次元ＣＡＤデータは、その座標情報の基準となる縦方向、横方向及び奥行き方向のそれぞれの座標軸が全体ＣＡＤデータＤｍの同じく座標軸と一致し、かつ、その座標情報が機械装置Ｍに組付けられた状態の座標情報と一致する。

そのため、一の三次元ＣＡＤデータの座標情報と他の三次元ＣＡＤデータの座標情報との関係は、縦方向、横方向及び奥行き方向のそれぞれの座標軸に対する実在の部品と機械装置Ｍとの、または、実在の部品どうしの相対的な位置関係を示す。例えば、異常部品Ｐ０１，Ｐ０２を表すための三次元ＣＡＤデータである異常部品ＣＡＤデータＤｐ０１，Ｄｐ０２の座標情報と全体ＣＡＤデータＤｍの座標情報との関係は、座標軸に対する実在の異常部品Ｐ０１，Ｐ０２と機械装置Ｍとの位置関係を示す。

これにより三次元モデル画像生成部４ｂは、異常部品三次元モデル画像Ｉｐ０１，Ｉｐ０２を、正常部品三次元モデル画像Ｉｒ、他の異常部品三次元モデル画像Ｉｐ又は全体三次元モデル画像Ｉｍに重ね合わせる際、これらの位置関係を、実在の異常部品Ｐ０１，Ｐ０２と、正常部品、他の異常部品Ｐ又は機械装置Ｍとの位置関係と一致させることができる。その結果、三次元モデル画像生成部４ｂは、あたかも異常部品Ｐ０１，Ｐ０２が実在の異常部品Ｐ０１，Ｐ０２の組付け位置に組付けられているかのように表される複合三次元モデル画像Ｉｉを生成することができる。

なお、三次元ＣＡＤデータベースＴＤＢには、必ずしも全体ＣＡＤデータＤｍが格納されている必要がなく、その場合は、各部品の三次元ＣＡＤデータの座標情報の基準となる座標軸が一致していればよい。

以下において、正常部品三次元モデル画像Ｉｒ、異常部品三次元モデル画像Ｉｐ、全体三次元モデル画像Ｉｍ及び複合三次元モデル画像Ｉｉを総称して、三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒという。

さらに、三次元モデル画像生成部４ｂは、各三次元ＣＡＤデータに基づき、機械装置Ｍに含まれる任意の一又は複数の部品の表示及び非表示を選択して三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを生成することができる。

これらの三次元ＣＡＤデータとして、機械装置Ｍ及び各部品を製作、組立て、または、製作及び組立てする際に作成するＣＡＤデータを用いることができる。

こうして、画像生成装置２は、異常の発生した箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。また、異常信号の受信時に表示する画像として、三次元ＣＡＤデータＤｍ，Ｄｐ，Ｄｒに基づく三次元モデル画像を生成するため、異常の発生した部品を含む縦、横及び奥行きから成る三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを表示させることができる。

また、画像生成装置２は、機械装置Ｍ全体の一部を構成する、異常の発生した箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。さらに、異常信号の受信時に表示する画像として、三次元ＣＡＤデータＤｍ，Ｄｐ，Ｄｒに基づく三次元モデル画像を生成するため、機械装置Ｍ全体の一部として、異常の発生した部品を含む縦、横及び奥行きから成る三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを表示させることができる。

表示処理手段６は、表示面６ａとアラーム部６ｂとを有する。表示処理手段６は、表示面６ａが露出するように操作パネル（図示せず）に組み込まれる。この操作パネルは、操作者の目線の高さに配置されるとともに、機械装置Ｍと一体に構成される。

表示処理手段６は、通信手段３が異常信号を受信する時、処理手段４が生成する三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを表示面６ａに表示する。また、アラーム部６ｂによってアラーム音を鳴らして操作者の注意を喚起する。

さらに、表示処理手段６は操作部６ｃを有する。操作者は操作部６ｃにより機械装置Ｍの操作、三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒの加工などを行う。

操作部６ｃは、操作者が手指を用いて操作することができれば操作パネル上のキーボードやマウス、トラックボールでよく、また、表示面６ａ上のタッチパネルでもよい。

このとき操作者は、複合三次元モデル画像Ｉｉにおいて例えば異常部品三次元モデル画像Ｉｐ０１が正常な部品の陰に隠れて見え難いとき、この正常な部品を表すための正常部品三次元ＣＡＤデータＤｒに基づく正常部品三次元モデル画像Ｉｒの範囲を任意に指定する操作を行い、かつ、表示及び非表示のうちこの正常な部品を非表示とする選択を行う。

これらにより操作者は、表示面６ａ上において異常部品三次元モデル画像Ｉｐ０１を容易に観察することができ、かつ、機械装置Ｍ全体に占める異常部品Ｐ０１の位置や範囲を容易に把握することができる。

なお、画像生成装置２は機械装置Ｍと一体に構成されるだけでなく、別体に構成されていてもよい。さらに、記憶手段５、表示処理手段６、記憶手段５及び表示処理手段６、または、これらの一部が画像生成装置２の他の部分から離れて配置されていてもよい。

ここで、操作者が機械装置Ｍの操作を開始した後に異常稼働状態が発生し、その異常稼働状態を解消するための処置を開始するまでの概略の流れを、図３に示すフローチャートに沿って説明する。

図３に示すフローチャートは、本実施形態の画像生成方法Ｓ１００を示し、データベース記憶工程Ｓ１１０と異常信号受信工程Ｓ１２０と三次元モデル画像生成工程Ｓ１３０と三次元モデル画像表示工程Ｓ１４０とを含む。ここで、三次元モデル画像生成工程Ｓ１３０を、異常部品三次元モデル画像生成工程と呼んでもよい。

操作者が機械装置Ｍの操作を開始し、データベース記憶工程Ｓ１１０においてネットワークデータベースＮＤＢ１及び三次元ＣＡＤデータベースＴＤＢ１が記憶手段５に記憶される。このとき、ネットワークデータベースＮＤＢ１は第１の関係性を行列データにより格納する。すなわち、データベース記憶工程Ｓ１１０は、第１の関係性を格納するネットワークデータベースＮＤＢ１の記憶工程Ｓ１１１を含んでいる。

データベース記憶工程Ｓ１１０の後、機械装置Ｍの運転が開始される。その後、機械装置Ｍの異常稼働状態が発生する。

異常稼働状態の発生に伴い異常センサーＳ０１～Ｓ０４が異常信号を発し、異常信号受信工程Ｓ１２０において通信手段３がこの異常信号を受信する。

通信手段３による異常信号の受信の後、三次元モデル画像生成工程Ｓ１３０において処理手段４により異常部品三次元モデル画像Ｉｐをはじめとする三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒが生成される。

三次元モデル画像生成工程Ｓ１３０の後、三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒは三次元モデル画像表示工程Ｓ１４０において表示処理手段６によって表示される。このとき、アラーム工程Ｓ１４１においてアラーム音が鳴らされて操作者の注意が喚起される。すなわち、三次元モデル画像表示工程Ｓ１４０はアラーム工程Ｓ１４１を含んでいる。

またこのとき、範囲指定工程Ｓ１４２において、一部の部品の三次元モデル画像の範囲を任意に指定する操作を行うことができる。すわなち、三次元モデル画像表示工程Ｓ１４０は範囲指定工程Ｓ１４２を含んでいる。

さらに表示非表示選択工程Ｓ１４３において、この一部の部品を表示又は非表示とする選択を行うことができる。すわなち、三次元モデル画像表示工程Ｓ１４０は表示非表示選択工程Ｓ１４３を含んでいる。

三次元モデル画像表示工程Ｓ１４０の後、操作者は三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを見た上で機械装置Ｍの該当する異常稼働状態を解消するための処置を開始する。例えば、機械装置Ｍの運転を停止して表示処理手段６に表示されている三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを観察するとともに、表示されている異常部品三次元モデル画像Ｉｐ０１，Ｉｐ０２に相当する異常部品Ｐ０１，Ｐ０２を交換する。

上で述べた三次元モデル画像生成工程Ｓ１３０においては、異常の発生した箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。また、異常信号の受信時に表示する画像として、三次元ＣＡＤデータＤｍ，Ｄｐ，Ｄｒに基づく三次元モデル画像を生成するため、異常の発生した部品を含む縦、横及び奥行きから成る三次元的なモデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを表示させることができる。

また、三次元モデル画像生成工程Ｓ１３０においては、異常の発生した箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。さらに、異常信号の受信時に表示する画像として、三次元ＣＡＤデータＤｍ，Ｄｐ，Ｄｒに基づく三次元モデル画像を生成するため、機械装置Ｍ全体の一部として、異常の発生した部品を含む縦、横及び奥行きから成る三次元的なモデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを表示させることができる。

これによって、例えば部品交換のため、異常部品Ｐ０１，Ｐ０２に関わる立体的な異常稼働状態を容易に把握し、また、異常部品Ｐ０１，Ｐ０２の三次元的な位置や範囲を容易に確認することができる。

さらに、一部非表示化工程Ｓ１４２においては、他の部品などの陰に隠れて見え難い異常部品Ｐ０１，Ｐ０２の異常部品三次元モデル画像Ｉｐ０１，Ｉｐ０２が容易に観察されるため、例えば部品交換のために、より確実に異常部品Ｐ０１，Ｐ０２の三次元的な位置や範囲を確認することができる。

図４は、本発明の第２の実施形態を例示している。

各異常センサーＳが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の異常部品Ｐとの関係性である第１の関係性を図４に示す行列データにより格納するネットワークデータベースＮＤＢ２は、ネットワークデータベース記憶部５ａに記憶される。

図４に示すネットワークデータベースＮＤＢ２は、左端の列が示す第１の異常センサーＳ０１と、その右側の列が示す、第１の異常センサーＳ０１が発する第１の異常信号と、中の列が示す第２の異常センサーＳ０５と、その右側の列が示す、第２の異常センサーＳ０５が発する第２の異常信号と、右端の列が示す、第１の異常信号及び第２の異常信号とを同時に生じせしめる異常稼働状態の原因となる異常部品Ｐ０１，Ｐ０３との関係性である第１の関係性を行列データにより格納するデータベースである。

異常センサーＳ０５は圧力を検出する素子を含むセンサーである。以上で述べた以外の構成は、第１の実施形態と共通とする。

ネットワークＮＤＢ２は、第１の異常センサーＳ０１が閾値である１０００℃以上の温度を検出し、かつ、第２の異常センサーＳ０５が閾値である１ＭＰａ以上の圧力を検出するとき、それらの異常信号を生じせしめる異常稼働状態の原因となる部品が異常部品Ｐ０１及び異常部品Ｐ０３であることの関係性である第１の関係性を格納している。

このように、異常稼働状態が第１の異常センサーの発する異常信号及び第２の異常センサーの発する異常信号のような二以上の異常信号が同時に発せられることによって把握されるため、より正確且つ詳細に異常稼働状態の原因となる異常部品Ｐを特定することができる。

なお、図４には示されていないが、第１の異常信号と第２の異常信号とが、例えば一定未満の秒数の間隔又は一定以上の秒数の間隔を空けて発せられる場合に所定の異常稼働状態が把握されるような第１の関係性を規定してもよい。このように時間の経過をも要件に加えることによって、さらに正確且つ詳細に異常稼働状態の原因となる異常部品Ｐを特定することができる。

図５～図１０は本発明の第３の実施形態を例示している。

本実施形態において三次元ＣＡＤデータ特定部４ａは、通信手段３が異常信号を受信する際、その異常信号と、以下で述べる記憶手段５から読み出すネットワークデータベースＮＤＢとにより、当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の部品である異常部品Ｐと、この異常部品Ｐのうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の三次元領域である異常原因領域Ａとを特定する。

三次元モデル画像生成部４ｂは、当該異常部品Ｐを表すための三次元ＣＡＤデータである異常部品ＣＡＤデータＤｐに基づき、異常部品Ｐのうち、上記のように特定された異常原因領域Ａと、異常原因領域Ａでない三次元領域である正常領域Ｒとが区別して表示される三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを生成する。

また、三次元モデル画像生成部４ｂは、各三次元ＣＡＤデータＤｐ，Ｄｒ，Ｄｍに基づき、異常原因領域Ａ又は正常領域Ｒの別に関わりなく、機械装置Ｍ全体、異常部品Ｐ又は正常部品のうち、一又は複数の三次元領域を任意に指定し、その三次元領域の表示・非表示を選択して三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを生成することができる。

ネットワークデータベース記憶部５ａは、各異常センサーＳが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の異常部品Ｐとの関係性である第１の関係性と、この異常部品Ｐのうち当該異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の異常原因領域Ａとの関係性である第２の関係性とを図５に示す行列データにより格納するネットワークデータベースＮＤＢ３を記憶する。

図５のネットワークデータベースＮＤＢ３は、各異常センサーＳ０１～Ｓ０４が発する異常信号と、これらの異常信号を生じせしめる異常稼働状態の原因となる異常部品Ｐ０１，Ｐ０２との関係性である第１の関係性を行列データにより格納するとともに、同じく各異常センサーＳ０１～Ｓ０４が発する異常信号と、右端から二番目の列が示す、異常部品Ｐ０１，Ｐ０２のうちこれらの異常信号を生じせしめる異常稼働状態の原因となる異常原因領域Ａ０１１，Ａ０１２，Ａ０１３，Ａ０２１，Ａ０２２との関係性である第２の関係性を行列データにより格納するデータベースである。

例えば、ネットワークデータベースＮＤＢ３は、異常センサーＳ０１が閾値である１０００℃以上の温度を検出するとき、その異常信号を生じせしめる異常稼働状態の原因となる部品が異常部品Ｐ０１であることの関係性である第１の関係性を格納している。同様に、異常センサーＳ０２～Ｓ０４がそれぞれの閾値を検出するとき、各異常信号を生じせしめる異常稼働状態の原因となる部品が、それぞれ異常部品Ｐ０１、異常部品Ｐ０１及び異常部品Ｐ０２であることの関係性である第１の関係性を格納している。

また、ネットワークデータベースＮＤＢ３は、異常センサーＳ０２が第１の閾値である１００℃以上の温度を検出するとき、その異常信号を生じせしめる異常稼働状態の原因となる三次元領域が異常部品Ｐ０１のうちの異常原因領域Ａ０１３であることの関係性である第２の関係性と、第２の閾値である３００℃以上の温度を検出するとき、その異常信号を生じせしめる異常稼働状態の原因となる三次元領域が異常部品Ｐ０１のうちの異常原因領域Ａ０１２及び異常原因領域Ａ０１３であることの関係性である第２の関係性とを格納している。

同様に、異常センサーＳ０１，Ｓ０３，Ｓ０４がそれぞれの閾値を検出するとき、各異常信号を生じせしめる異常稼働状態の原因となる三次元領域が、異常部品Ｐ０１又は異常部品Ｐ０２のうちのそれぞれ異常原因領域Ａ０１１，異常原因領域Ａ０１３，異常原因領域Ａ０２１及び異常原因領域Ａ０２２であることの関係性である第２の関係性を格納している。

一例として、機械装置Ｍに含まれる円筒状の異常部品Ｐ０１に、図６に示す画像例のような異常センサーＳ０１及び異常センサーＳ０２が配設されることとする。また、異常部品Ｐ０１は、これらの異常センサーＳ０１，Ｓ０２の配設位置を含む縦断面に示されるような異常原因領域Ａ０１１，Ａ０１２，Ａ０１３を含むこととする。

このとき、ネットワークデータベースＮＤＢ３は、例えば異常センサーＳ０２が第１の閾値である１００℃以上の温度を検出し、かつ、その温度が３００℃未満であるとき、異常稼働状態の原因となる三次元領域が異常原因領域Ａ０１３だけであり、その一方で、例えば異常センサーＳ０２が第２の閾値である３００℃以上の温度を検出するとき、異常稼働状態の原因となる三次元領域が異常原因領域Ａ０１３だけでなく異常原因領域Ａ０１２にまで及ぶという第２の関係性を格納している。

このような第２の関係性により、画像生成装置２は、異常稼働状態毎に異常原因領域Ａ０１１，Ａ０１２，Ａ０１３，Ａ０２１，Ａ０２２を特定することができる。

そして三次元モデル画像生成部４ｂは、それぞれの異常部品Ｐ０１，Ｐ０２のうち、各異常原因領域Ａ０１１，Ａ０１２，Ａ０１３，Ａ０２１，Ａ０２２及び正常領域Ｒが領域毎に区切られて表される三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを生成することができる。あるいは、あたかも異常部品Ｐ０１，Ｐ０２が実在の異常部品Ｐ０１，Ｐ０２の機械装置Ｍにおける組付け位置に組付けられているかのように表すことができる。以上で述べた以外の構成は、第１の実施形態と共通とする。

また、上記の画像例とは異なる例として、図７（ａ）に示す画像例のように、異常部品ＣＡＤデータＤｐに基づく異常部品Ｐ０２の異常部品三次元モデル画像Ｉｐ０２と、異常部品Ｐ０２に外嵌する円筒状の正常部品を表すための三次元ＣＡＤデータである正常部品ＣＡＤデータＤｒに基づく正常部品三次元モデル画像Ｉｒとが重ね合わされた複合三次元モデル画像Ｉ０１が生成されたとき、中心線Ｃと直交する断面を境に画像の左側を表示し、かつ、右側を非表示とする選択を行い、新たに切断画像の複合三次元モデル画像である切断三次元モデル画像Ｉ０２を生成することができる。切断三次元モデル画像Ｉ０２を図７（ｂ）の画像例に示す。

このとき、図５のネットワークデータベースＮＤＢ３に示すように、異常センサーＳ０４が第１の閾値である５００ｋＰａ以上の圧力を検出し、この異常信号を生じせしめる異常稼働状態の原因となる三次元領域である異常原因領域Ａ０２１が異常部品Ｐ０２のうちに存在することが分かっていても、切断三次元モデル画像Ｉ０２からでは、異常原因領域Ａ０２１の占める位置や範囲を把握できない。

そこで操作者は、異常部品Ｐ０２を表示し、かつ、正常部品を非表示とする選択を行い、異常部品Ｐ０２のみの切断画像である異常部品切断三次元モデル画像Ｉ０３を生成することができる。異常部品切断三次元モデル画像Ｉ０３を図８（ａ）の画像例に示す。

しかし、このような異常部品切断三次元モデル画像Ｉ０３からも、異常原因領域Ａ０２１の占める位置や範囲を把握できないため、操作者は、異常部品Ｐ０２のうち中心線Ｃ方向のスリットに相当する範囲の三次元領域を指定し、このスリット状の三次元領域を非表示とし、かつ、スリット状以外の範囲の三次元領域を表示する選択を行って、部分的に三次元領域を非表示とする部分非表示三次元モデル画像Ｉ０４を生成することができる。部分非表示三次元モデル画像Ｉ０４を図８（ｂ）の画像例に示す。

これによって、これまで隠れて見えなかった異常原因領域Ａ０２１を容易に観察することができ、かつ、機械装置Ｍ全体や異常部品Ｐ０２に占める位置や範囲を容易に把握することができる。

図９及び図１０に示すフローチャートは、本実施形態の画像生成方法Ｓ２００の例を示し、データベース記憶工程Ｓ２１０と異常信号受信工程Ｓ２２０と三次元モデル画像生成工程Ｓ２３０と三次元モデル画像表示工程Ｓ２４０とを含む。ここで、三次元モデル画像生成工程Ｓ２３０を、異常部品三次元モデル画像生成工程と呼んでもよい。

データベース記憶工程Ｓ２１０においてネットワークデータベースＮＤＢ３及び三次元ＣＡＤデータベースＴＤＢ１が記憶手段５に記憶される。このとき、ネットワークデータベースＮＤＢ３は第１の関係性及び第２の関係性を行列データにより格納する。すなわち、データベース記憶工程Ｓ２１０は、第１の関係性及び第２の関係性を格納するネットワークデータベースＮＤＢ３の記憶工程Ｓ２１１を含んでいる。

機械装置Ｍの異常稼働状態が発生した後、異常信号受信工程Ｓ２２０を経て、三次元モデル画像生成工程Ｓ２３０に至る。ここでは、正常領域Ｒ及び異常原因領域Ａが区切られて表示される三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを生成することができる。すなわち、三次元モデル画像生成工程Ｓ２３０は正常領域および異常原因領域が区切られて表示される三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒの生成工程Ｓ２３１を含んでいる。

三次元モデル画像生成工程Ｓ２３０の後、三次元モデル画像表示工程Ｓ２４０に至る。三次元モデル画像表示工程Ｓ２４０に含まれる範囲指定工程Ｓ２４２においては、一部の部品の三次元モデル画像の範囲を任意に指定する操作を行うことができるだけでなく、各部品のうちでも、一部の三次元領域を任意に指定する操作を行うことができる。

また、三次元モデル画像表示工程Ｓ２４０に含まれる表示非表示選択工程Ｓ２４３においては、部品全体を表示又は非表示とする選択を行うことができるだけでなく、各部品のうちでも、指定された一部の三次元領域を表示又は非表示とする選択を行うことができる。

複合三次元モデル画像表示工程Ｓ２４０の後、操作者は三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを見た上で機械装置Ｍの該当する異常稼働状態を解消するための処置を開始する。例えば、機械装置Ｍの運転を停止して表示処理手段６に表示されている三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを観察するとともに、正常領域Ｒと区別して表示される異常原因領域Ａ０１１，Ａ０１２，Ａ０１３，Ａ０２１，Ａ０２２を含む異常部品Ｐ０１，Ｐ０２を修理又は交換する。

上で述べた三次元モデル画像生成工程Ｓ２３０においては、異常の発生した箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。また、異常信号の受信時に表示する画像として、三次元ＣＡＤデータＤｍ，Ｄｐ，Ｄｒに基づく三次元モデル画像を生成するため、異常原因領域Ａを含む縦、横及び奥行きから成る三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを表示させることができる。

また、三次元モデル画像生成工程Ｓ２３０においては、機械装置Ｍ全体の一部を構成する、異常の発生した箇所の縦、横及び奥行きから成る三次元的な位置や範囲を容易に特定することができる。さらに、異常信号の受信時に表示する画像として、三次元ＣＡＤデータＤｍ，Ｄｐ，Ｄｒに基づく三次元モデル画像を生成するため、異常原因領域Ａを含む縦、横及び奥行きから成る三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを表示させることができる。

これによって、例えば異常部品Ｐ０１の異常稼働状態を解消するため、図６の場合のように、異常原因領域Ａ０１１，Ａ０１２，Ａ０１３に関わる立体的な異常稼働状態を容易に把握し、また、異常原因領域Ａ０１１，Ａ０１２，Ａ０１３の三次元的な位置や範囲を容易に確認することができる。

さらに一部非表示化工程Ｓ２４２においては、図７及び図８の場合のように、例えば正常部品の陰に隠れて見難く、かつ、異常部品Ｐ０２の別の三次元領域の陰に隠れて見難い異常原因領域Ａ０２１が容易に観察されるため、異常部品Ｐ０２の修理又は交換のために、より確実に異常原因領域Ａ０２１の三次元的な位置や範囲を確認することができる。

図１１は本発明の第４の実施形態を例示している。

ネットワークデータベース記憶部５ａは、各異常センサーＳが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の異常部品Ｐとの関係性である第１の関係性と、その異常信号とこの異常部品Ｐのうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の異常原因領域Ａとの関係性である第２の関係性とを図１１に示す行列データにより格納するネットワークデータベースＮＤＢ４を記憶する。

図１１のネットワークデータベースＮＤＢ４は、異常センサーＳ０１が発する異常信号と、この異常信号を生じせしめる異常稼働状態の原因となる異常部品Ｐ０１との関係性である第１の関係性を行列データにより格納するとともに、同じく異常センサーＳ０１が発する異常信号と、異常部品Ｐ０１のうちこの異常信号を生じせしめる異常稼働状態の原因となる異常原因領域Ａ０１１，Ａ０１４との関係性である第２の関係性を行列データにより格納するデータベースである。以上で述べた以外の構成は第３の実施形態と共通とする。

例えば、温度センサーである異常センサーＳ０１が運転開始後６０分以内に８００℃以上の温度を検出するとき、その異常信号を生じせしめる異常稼働状態の原因となる異常部品Ｐ０１との関係性である第１の関係性を格納している。

また、異常センサーＳ０１が運転開始後６０分以内に８００℃以上の温度を検出するとき、その異常信号を生じせしめる異常稼働状態の原因となる三次元領域が異常部品Ｐ０１のうちの異常原因領域Ａ０１１及び異常原因領域Ａ０１４であることの関係性である第２の関係性を格納している。

このように、異常信号が運転開始後の経過時間のような時間の経過を要因に含むことによって、より正確且つ詳細に異常稼働状態の原因となる異常部品Ｐ及び異常原因領域Ａを特定することができる。

図１２は本発明の第５の実施形態を例示している。

ネットワークデータベース記憶部５ａは、各異常センサーＳが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の異常部品Ｐとの関係性である第１の関係性と、その異常信号とこの異常部品Ｐのうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の異常原因領域Ａとの関係性である第２の関係性とを図１２に示す行列データにより格納するネットワークデータベースＮＤＢ５を記憶する。

図１２のネットワークデータベースＮＤＢ５は、異常センサーＳ０１が発する異常信号と、この異常信号を生じせしめる異常稼働状態の原因となる異常部品Ｐ０１との関係性である第１の関係性を行列データにより格納するとともに、同じく異常センサーＳ０１が発する異常信号と、異常部品Ｐ０１のうちこの異常信号を生じせしめる異常稼働状態の原因となる異常原因領域Ａ０１１との関係性である第２の関係性を行列データにより格納するデータベースである。以上で述べた以外の構成は第３の実施形態と共通とする。

例えば、異常センサーＳ０１が５００℃以上の温度を検出し、かつ、その検出状態が６０秒以上継続しない場合であり、このような場合が３回以上生じるとき、その異常信号を生じせしめる異常稼働状態の原因となる異常部品Ｐ０１との関係性である第１の関係性と、その異常信号を生じせしめる異常稼働状態の原因となる異常原因領域Ａ０１１との関係性である第２の関係性とを格納している。

また、異常センサーＳ０１が５００℃以上の温度を検出し、かつ、その検出状態が６０秒以上継続するとき、その異常信号を生じせしめる異常稼働状態の原因となる異常部品Ｐ０１との関係性である第１の関係性と、その異常信号を生じせしめる異常稼働状態の原因となる異常原因領域Ａ０１１との関係性である第２の関係性とを格納している。

このように、異常信号が１回の継続時間のような時間の経過や生じる回数を要因に含むことによって、より正確且つ詳細に異常稼働状態の原因となる異常部品Ｐ及び異常原因領域Ａを特定することができる。

以上で述べた実施形態により、こうした異常信号、異常信号を生じせしめる異常稼働状態の原因となる異常原因領域Ａ及び同じく異常部品Ｐの履歴である異常履歴を残すことが可能となる。異常履歴を蓄積することにより、その機械装置Ｍに生じがちな異常稼働状態や、その機械装置Ｍを特定の操作員が操作するときに生じがちな異常稼働状態を分析し、機械装置Ｍの改良、操作員の訓練などに生かすことが可能である。

また、異常センサーＳの配置、個数、種類等や、経過時間、継続時間、回数などの異常信号の要因を見直し、より正確且つ詳細な異常稼働状態の把握のための最適化を図ることが可能である。

図１３は本発明の第６の実施形態を例示している。図１３における１１が画像生成表示システムである。

画像生成表示システム１１は、画像生成サーバ装置１２と、画像生成サーバ装置１２にインターネット、無線、電話回線等の通信回線を介して接続する外部端末装置１７とを備える。外部端末装置１７は、専用端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型端末、スマートフォン、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の情報処理端末装置である。

画像生成サーバ装置１２は、複数の部品を含む機械装置Ｍに配設される複数の異常センサーＳに接続する通信手段１３と、通信手段１３に接続する処理手段１４と、処理手段１４に接続する記憶手段１５と、表示処理手段６とを備える。

通信手段１３は受信部１３ｒと送信部１３ｄとを有する。

外部端末装置１７は、受信部１３ｒ及び送信部１３ｄとの間で通信回線を介してデータを送受信する端末受信部１７ｒ及び端末送信部１７ｄと、端末受信部１７ｒ及び端末送信部１７ｄに接続する端末処理手段１８と、端末処理手段１８に接続する端末表示処理手段１９とを有する。

端末表示処理手段１９は、端末表示面１９ａと端末アラーム部１９ｂとを有する。

端末表示処理手段１９は、通信手段１３が異常センサーＳから異常信号を受信する時、処理手段１４が生成する三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを通信手段１３を介して受け取り、端末表示面１９ａに表示する。また、端末アラーム部１９ｂによってアラーム音を鳴らして操作者の注意を喚起する。

このとき、三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒが画像生成サーバ装置１２の表示面１６ａと外部端末装置１７の端末表示面１９ａとの両方に表示されるだけでなく、端末表示面１９ａにだけ表示されてもよい。また、アラーム音は端末アラーム部１９ｂによってだけ鳴らされてもよい。

さらに、端末表示処理手段１９は端末操作部１９ｃを有する。操作者は端末操作部１９ｃにより機械装置Ｍの操作、三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒの加工などを行う。

このとき、機械装置Ｍの操作や三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒの加工が画像生成サーバ装置１２の操作部１６ｃと外部端末装置の端末操作部１９ｃとの両方から行うことが可能なだけでなく、端末操作部１９ｃから行うことだけが可能であってもよい。

端末操作部１９ｃはタッチパネルにより構成される。また、操作者が手指を用いて操作することができればキーボードやマウス、トラックボールでもよい。以上で述べた以外の構成は第３の実施形態、第４の実施形態又は第５の実施形態と共通とする。

このとき操作者は、三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒにおいて例えば図７及び図８の場合のように、異常原因領域Ａ０２１が正常部品や異常部品Ｐ０２の別の三次元領域の陰に隠れて見え難いとき、この異常原因領域Ａ０２１を見え易くするための正常部品三次元ＣＡＤデータＤｒに基づく正常部品三次元モデル画像Ｉｒを非表示とする選択を行い、また、異常部品Ｐ０２のうち任意の範囲の三次元領域を指定するとともに、この三次元領域を非表示とする選択を行うことができる。

これらにより操作者は、端末表示面１９ａ上において異常原因領域Ａ０２１を容易に観察することができ、かつ、異常部品Ｐ０２又は機械装置Ｍ全体に占める異常原因領域Ａ０２１の位置や範囲を容易に把握することができる。

このように、三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒが画像生成サーバ装置１２と通信回線を介して接続される外部端末装置１７に表示されるため、操作者は、三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを機械装置Ｍの傍らで見る必要がなく、外部端末装置１７により機械装置Ｍから遠く離れた遠隔地において見ることができる。

例えば、操作者が機械装置Ｍを設置してある工場の中央制御室や事務棟、その工場の外などに位置している時でも、手元の外部端末装置１７によって三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒを容易に見ることができる。このような用途のため、外部端末装置１７はインターネットに接続されたタブレット型端末やノート型ＰＣのような携帯端末でもよく、また、インターネットに接続され、かつ、事務棟に置かれたデスクトップ型ＰＣのような固定端末でもよい。

また、操作者は三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒにおける部品や三次元領域の指定、表示又は非表示の選択などの操作を機械装置Ｍの傍らで行う必要がなく、外部端末装置１７により機械装置Ｍから遠く離れた遠隔地において行うことができる。そして、このような遠隔地において異常部品Ｐや異常原因領域Ａの位置や範囲を把握した後に、機械装置Ｍの下に駆けつけて異常部品Ｐの修理又は交換のような機械装置Ｍの異常稼働状態の解消のための処置を行うことが可能となる。

さらに、機械装置Ｍの異常稼働状態の種類によって、高温、高圧、発煙、蒸気の噴出、放射能汚染などの理由により直ぐに機械装置Ｍに近づくことが困難な場合であっても、操作者は、外部端末装置１７を通じて、機械装置Ｍから離れた遠隔地において観察や操作を行うことが可能となる。

図１４～図１８は本発明の第７の実施形態を例示している。図１４（ａ）における２１が画像生成表示システムである。

画像生成表示システム２１は、複数の部品を含む三基の機械装置Ｍａ～Ｍｃと画像生成装置２２とを有する。各機械装置Ｍａ～Ｍｃは画像生成装置２２の近くに所在し、例えば、同一の工場内に所在する。

各機械装置Ｍａ～Ｍｃには、第１の監視センサーＳ２１，Ｓ３１，Ｓ４１、第２の監視センサーＳ２２，Ｓ３２，Ｓ４２、第６の監視センサーＳ２６，Ｓ３６，Ｓ４６、第７の監視センサーＳ２７，Ｓ３７，Ｓ４７及び第８の監視センサーＳ２８，Ｓ３８，Ｓ４８が配設されている。なお、第１の監視センサー及び第２の監視センサーは、それぞれ第１の異常センサー及び第２の異常センサーと呼んでもよい。

さらに、各監視センサーＳはさまざまな種類のセンサーでよく、温度、圧力、流量、光、磁気、音、振動、速度、加速度、電流、電圧などの物理量やそれらの変化量を検出する素子を含む。こうした監視センサーＳによって閾値やその閾値に達するまでの経過時間、その閾値に達した回数のような所定の物理量、変化量、時間、回数等が検出されるときに発生される信号を稼働状態信号又は異常信号という。このとき、一つの監視センサーが二種類以上の物理量、変化量、時間、回数等を検出してもよく、また、これに伴い二種類以上の稼働状態信号又は異常信号を発生させてもよい。

画像生成装置２２は、各監視センサーＳ２１～Ｓ４８に接続する通信手段２３と、三次元ＣＡＤデータ特定部２４ａ、三次元モデル画像生成部２４ｂ及び多層式のニューラルネットＮＮを学習させるニューラルネット学習部２４ｃを有するとともに、通信手段２３に接続する処理手段２４とを備える。

このとき、各機械装置Ｍａ～Ｍｃ及び画像生成装置２２は互いに離れて所在してもよく、図１４（ｂ）に示すように通信手段２３が受信部２３ｒを有し、各監視センサーＳ２１～Ｓ４８と受信部２３ｒとがインターネット、無線、電話回線等の通信回線を介して接続してもよい。

また画像生成装置２２は、処理手段２４に接続するとともに、ニューラルネットＮＮと、各機械装置Ｍａ～Ｍｃの稼働情報Ｈ，Ｓｒ，Ｓｉを時刻と共にログデータにより格納するログデータベースＬＤＢとを記憶する記憶手段２５を備える。記憶手段２５は、ネットワークデータベース記憶部２５ａと三次元ＣＡＤデータベース記憶部２５ｂとログデータ記憶部２５ｃと学習モデル記憶部２５ｄとを有し、ログデータ記憶部２５ｃがログデータベースＬＤＢを記憶し、学習モデル記憶部２５ｄがニューラルネットＮＮを記憶する。

ところで、機械装置Ｍを保有する企業、機関等は、特開２０１７－６８３２４号公報が公開する先行技術によって、異常が発生した後に異常発生のアラーム画面を表示することが可能であるのに対し、こうした異常の発生を予め推定し、これから発生する異常に備えて、交換用の部品を準備しておくなどの事前の対策を講じることができない。

しかも、機械装置Ｍの構造が複雑となり、数多くの立体的な部品や部材が組み合わさって当該機械装置を構成するとき、上記の先行技術によって単に部品のレイアウトや配線を示す情報だけでは、異常の発生した箇所の縦、横及び奥行きから成る三次元的な位置や範囲を特定し、または、表示することが困難である。

さらに、こうした部品や部材が重層的に組み合わさるとき、組み合わさった外側からでは異常の発生した箇所の特定及び表示が殊更に困難である。あるいは、例えば部品が円筒形状であり、異常箇所が内周面側に位置するときなどは、たとえ部品同士が組み合わさった状態でなくとも、その異常箇所を特定し、または、表示することが困難である。

本実施形態は、こうした問題に鑑み、異常信号が発生するまでの残り時間を推定し、かつ、当該異常信号と関係する異常部品の三次元モデル画像である異常部品三次元モデル画像が生成されることにより、異常の発生する箇所や範囲を容易に特定し、かつ、表示することができる画像生成システムの提供を目的とする。

図１５のネットワークデータベースＮＤＢ６は、左端の列が示す２つの異常センサー（監視センサー）Ｓ２１，Ｓ２２と、中の列が示す、各異常センサーＳ２１，Ｓ２２が発する異常信号と、右端の列が示すこれらの異常信号を生じせしめる異常稼働状態の原因となる異常部品Ｐ１１との関係性である第１の関係性を行列データにより格納するデータベースである。

図１６に示すログデータベースＬＤＢの例であるログデータベースＬＤＢ１は、左端から右端の列にかけて、順に機械装置名、稼働回、オペレーター識別情報Ｈ、日時、稼働状態情報Ｓｒ及び異常稼働状態情報Ｓｉを示す。図１６には、機械装置ＭａについてのログデータベースＬＤＢが示されている。

移動状態情報Ｓｒの欄には、それぞれの日時における機械装置Ｍａの稼働状態を表すために、各監視センサーＳ２６～Ｓ２８と、それぞれの監視センサーＳ２６～Ｓ２８が発する稼働状態信号とが示される。また、異常稼働状態情報Ｓｉの欄には、同じく機械装置Ｍａの異常稼働状態を表すために、その異常稼働状態を検知した第１の異常センサー（監視センサー）Ｓ２１と、第１の異常センサーＳ２１が発する異常信号とが示される。

例えば、稼働回第１回目において、第１のオペレーターＨ０１が２０１８年７月２０日の９時５分に機械装置Ｍａの図示しないメインスイッチを入れたため、第６の監視センサーＳ２６がそれを検知し、稼働状態信号「ＯＮ」を発した。次に、９時８分３０秒に図示しない第１の駆動装置のスイッチを入れ、かつ、時速１０ｍの速度で駆動させたため、第７の監視センサーＳ２７がそれらを検知し、稼働状態信号「ＯＮ １０ｍ／ｈ」を発した。さらに、９時９分に図示しない第２の駆動装置のスイッチを入れ、かつ、時速１０ｍの速度で駆動させたため、第８の監視センサーＳ２８がそれらを検知し、稼働状態信号「ＯＮ １０ｍ／ｈ」を発した。

その後、９時１４分に至った時、第１の異常センサーＳ２１が１０００℃以上の温度を検知したため、異常信号「１０００℃以上」を発した。

そして、９時１５分に第１の駆動装置のスイッチと第２の駆動装置のスイッチとを切ったため、第７及び第８の監視センサーＳ２７，Ｓ２８がそれらを検知し、何れも稼働状態信号「ＯＦＦ」を発した。さらに、９時１５分３０秒にメインスイッチを切ったため、第６の監視センサーＳ２６がそれを検知し、稼働状態信号「ＯＦＦ」を発した。

１１時３０分以降については、第２のオペレーターＨ０２による機械装置Ｍａの操作により各監視センサーＳ２６～Ｓ２８がそれぞれの稼働状態信号を発した。

ニューラルネット学習部２４ｃはニューラルネットＮＮを学習させる。その上で、ニューラルネットＮＮを学習モデル記憶部２５ｄに記憶させる。

ニューラルネットＮＮの例を図１７に示す。ニューラルネット学習部２４ｃは、例えば機械装置Ｍａについて、図１６のログデータベースＬＤＢ１からオペレーター識別情報Ｈが第１のオペレーターＨ０１であるログデータを、図１７に示す第１のニューラルネットＮＮ１に入力する。

第１のニューラルネットＮＮ１は、階層構造を有するネットワークであり、図１７の左側から順に入力層、中間層及び出力層の３つに分かれている。

中間層がｎ層から成り、第１のニューラルネットＮＮ１はこの中間層に入力層及び出力層を加えたｎ＋２層から成る多層式のニューラルネットである。

入力層へは、例えば図１７の上から順に、第６の監視センサーＳ２６が「ＯＮ」を発してから第７の監視センサーＳ２７が「ＯＮ」を発するまでの秒単位の時間である第１の入力値ｘ１と、第７の監視センサーＳ２７が発するｍ／ｈ単位の速度である第２の入力値ｘ２と、第６の監視センサーＳ２６が「ＯＮ」を発してから第８の監視センサーＳ２８が「ＯＮ」を発するまでの秒単位の時間である第３の入力値ｘ３と、第８の監視センサーＳ２８が発するｍ／ｈ単位の速度である第４の入力値ｘ４とが入力される。

中間層においては、これらの４つの入力値の例に対して、図１７の最も左上に位置する中間層ニューロンである中間層ニューロン０１ａにおいて、第１～第４の入力値ｘ１～ｘ４のそれぞれに対応する４つの結合係数ｗ１～ｗ４が設定される。中間層ニューロン０１ａは、出力値ｙａを出力する。出力値ｙａは連続値でもよく、また、０若しくは１でもよい。

中間層ニューロン０１ａの一段下側に位置する中間層ニューロンである中間層ニューロン０１ｂにおいても、中間層ニューロン０１ａと同様に第１～第４の入力値ｘ１～ｘ４のそれぞれに対応する４つの結合係数ｗが設定され、その出力値ｙｂが出力される。その下側にも同様の中間層ニューロンが続く。

第１列目の各中間層ニューロン０１ｍの一列前側に位置する中間層ニューロンである第２列目の中間層ニューロン０２ｍにおいては、第１列目の各中間層ニューロン０１ｍから出力される各出力値ｙｍのそれぞれに対応する結合係数ｗが設定される。さらにその前側へ第ｎ列まで同様の中間層ニューロンが配置される。

こうして、縦横に配置される各中間層ニューロンによって中間層が形成される。

出力層からは、例えば第６の監視センサーＳ２６が「ＯＮ」を発してから第１の異常センサーＳ２１が１０００℃以上の温度を検知して異常信号を発するまでの秒単位の時間である第１の出力値ｚ１が出力される。

第１のニューラルネットＮＮ１の学習は、ニューラルネット学習部２４ｃが例えば前向き演算と後向き演算とを繰り返すことにより行う。ニューラルネット学習部２４ｃは、機械装置Ｍａの場合にログデータベースＬＤＢ１からオペレーターＨ０１が操作するときの第１～第４の入力値ｘ１～ｘ４と第１の出力値ｚ１を第１のニューラルネットＮＮ１に入力する。例えば、稼働回第１回目については、第１の入力値ｘ１として２１０を、第２の入力値ｘ２として１０を、第３の入力値ｘ３として２４０を、第４の入力値ｘ４として１０を、第１の出力値ｚ１として５４０をそれぞれ入力する。稼働回第１回目後についても、第１のオペレーターＨ０１が操作するときの入力値及び出力値ｘ１～ｘ４，ｚ１を入力する。

また、他の機械装置Ｍｂ，ＭｃがＭａと同型機種の場合、機械装置Ｍｂ及び機械装置Ｍｃの場合の第１のオペレーターＨ０１が操作するときの入力値及び出力値ｘ１～ｘ４，ｚ１をも全て第１のニューラルネットＮＮ１に入力する。

このとき、上で述べたような、第１のオペレーターＨ０１による機械装置Ｍａの稼働回第１回目における第１の出力値ｚ１である５４０は、同じく稼働回第１回目における各入力値ｘ１～ｘ４に対応する教師出力である。そして、第１の出力値ｚ１が５４０となるように各結合係数ｗを決定する。こうして決定された結合係数ｗを用いる前向き演算により入力値から出力値を求める。

また、後向き演算により、前向き演算による出力値と教師出力との間の誤差が小さくなるように結合係数を修正する。例えば、前向き演算により得られた出力値と稼働回第１回目後の教師出力との差の２乗（２乗誤差Ｅ）が小さくなるように各結合係数ｗを繰り返し修正する。

こうして学習された第１のニューラルネットＮＮ１が学習モデル記憶部２５ｄに記憶される。

また、オペレーター識別情報Ｈが第２のオペレーターＨ０２のログデータを図示しない第２のニューラルネットＮＮ２に入力し、ニューラルネット学習部２４ｃは、第１のニューラルネットＮＮ１と同様に第２のニューラルネットＮＮ２を学習する。こうして第２のニューラルネットＮＮ２は学習された後、学習モデル記憶部２５ｄに記憶される。

三次元ＣＡＤデータ特定部２４ａは、例えば第１のオペレーターＨ０１が機械装置Ｍａのメインスイッチを入れた後、記憶手段２５の学習モデル記憶部２５ｄに記憶されている第１のニューラルネットＮＮ１の入力層に、各監視センサーＳ２６，Ｓ２７，Ｓ２８が発する稼働状態信号に基づく第１～第４の入力値ｘ１～ｘ４を入力する。

また、三次元ＣＡＤデータ特定部２４ａは、第１のニューラルネットＮＮ１を用いて出力された第１の出力値ｚ１に従い、例えば第６の監視センサーＳ２６が「ＯＮ」を発してから第１の異常センサーＳ２１が１０００℃以上の温度を検知して異常信号を発するまでの秒単位の時間を推定する。そして、第６の監視センサーＳ２６が「ＯＮ」を発してから既に経過している秒単位の時間を差し引いて、推定時から第１の異常センサーＳ２１が異常信号を発するまでの残りの秒単位の時間を計算して推定する。

例えば、第６の監視センサーＳ２６が「ＯＮ」を発してから第１の異常センサーＳ２１が異常信号を発するまでの時間が５４０秒と推定され、かつ、同じく「ＯＮ」を発してから既に３００秒が経過しているときは、残りの時間が２４０秒と推定される。

さらに、三次元ＣＡＤデータ特定部２４ａは、第１の異常センサーＳ２１が異常信号を発することが推定される際、その異常信号と、図１５に示すネットワークデータベースＮＤＢ６とにより、当該発生が推定される異常信号を生じせしめる異常稼働状態の原因となる異常部品Ｐ１１を特定する。以上で述べた以外の構成は、第３の実施形態と共通とする。

三次元モデル画像生成部２４ｂは、このように特定された異常部品Ｐを表すための三次元ＣＡＤデータである異常部品ＣＡＤデータＤｐに基づく異常部品三次元モデル画像Ｉｐを生成する。また、正常部品を表すための三次元ＣＡＤデータである正常部品ＣＡＤデータＤｒに基づく正常部品三次元モデル画像Ｉｒ及び機械装置Ｍ全体を表すための三次元ＣＡＤデータである全体ＣＡＤデータＤｍに基づく全体三次元モデル画像Ｉｍを生成することができる。さらに、これらのうちの二以上の三次元モデル画像が重ね合わせられた複合三次元モデル画像Ｉｉを生成することができる。

図１８は、三次元モデル画像生成部２４ｂによって生成される、発生が推定される異常信号と関係する異常部品Ｐ１１を表すための三次元ＣＡＤデータである異常部品ＣＡＤデータＤｐ１１に基づく異常部品三次元モデル画像Ｉｐ１１の画像例を示す。このとき、図１８のように異常部品三次元モデル画像Ｉｐ１１だけが表されるのでなく、正常部品三次元モデル画像Ｉｒ、他の異常部品三次元モデル画像Ｉｐ又は全体三次元モデル画像Ｉｍと重ね合わせられる複合三次元モデル画像Ｉｉが表されてもよい。

図１８の画像例では、異常部品三次元モデル画像Ｉｐ１１が、三次元ＣＡＤデータ特定部２４ａによって推定される第１の異常センサーＳ２１が異常信号を発するまでの残りの時間についての「今から２４０秒後に異常信号が生じます。」という表示と共に示されている。

また、操作者は、異常部品Ｐ１１のうち中心線Ｃ方向のスリットに相当する範囲の三次元領域を指定し、このスリット状の三次元領域を非表示とし、かつ、スリット状以外の範囲の三次元領域を表示する選択を行って、部分的に三次元領域を非表示とする部分非表示三次元モデル画像を生成することができる。これによって、図１８の画像例では見えなかった異常原因領域を容易に観察することができ、また、機械装置Ｍａ全体や異常部品Ｐ１１に占める位置や範囲を容易に把握することができる。

このように、異常信号が発生するまでの残り時間が推定され、異常部品三次元モデル画像Ｉｐ１１と共に図１８の画像例のように表示されることによって、機械装置Ｍａ、画像生成装置２２、または、機械装置Ｍａ及び画像生成装置２２を保有する企業、機関等は異常部品Ｐ１１の交換用の部品を準備しておくなどの事前の対策を講じることができる。

また、異常信号の発生が推定される異常部品三次元モデル画像Ｉｐ１１が、正常部品三次元モデル画像Ｉｒ、他の異常部品三次元モデル画像Ｉｐ又は全体三次元モデル画像Ｉｍと重ね合わせられて表されることや、異常原因領域が表されることにより、後に修理や交換を必要とする三次元的な位置や範囲を早期に把握することができる。

さらに、異常信号が発生するまでの残り時間が推定され、表示されることによって、オペレーターＨが駆動装置の駆動速度を落とす、作業を中断して機械装置Ｍのメインスイッチを切るなどによって異常信号の発生を未然に避けることができる場合もある。しかも、オペレーターＨは異常信号が発生しないように稼働状態を調整する、稼働状態情報Ｓｒや異常稼働状態情報Ｓｉの履歴から異常信号が発生する原因を追究する、余裕をもって交換用の部品を準備するなどといった対策を講じることができる。

ニューラルネットＮＮは、オペレーターＨごとに学習され、記憶されるため、異なるオペレーターＨのログデータの影響を受けることなく、特定のオペレーターＨの場合の異常信号が発生するまでの残り時間をより正確に推定することができる。

企業、機関等が同型の機械装置Ｍを複数保有している場合、それらの機械装置Ｍａ，Ｍｂ，Ｍｃの入力値及び出力値ｘ１～ｘ４，ｚ１をも一つのニューラルネットＮＮに入力して学習させることができるため、結合係数ｗを修正する機会をより多く得ることができる。

図１４（ｂ）のように各機械装置Ｍａ～Ｍｂ及び画像生成装置２２が離れて所在する場合は、各機械装置Ｍａ～Ｍｃを画像生成装置２２を保有する企業、機関等とは異なる企業、機関等が保有してもよい。

なお、画像生成表示システム２１が有する機械装置Ｍの基数は、図１４の機能構成図の例に示す基数である三基に限られず、一基若しくは二基でもよく、かつ、四基以上でもよい。

また、オペレーターＨの人数は、図１６のログデータベースＬＤＢの例に示す人数である二人に限られず、これより多くても、また、これよりも少なくてもよい。図１６のログデータベースＬＤＢの例には機械装置Ｍａのログデータだけが入力されているが、機械装置Ｍａ以外の機械装置Ｍのログデータが入力されていてもよい。

さらに、三次元ＣＡＤデータ特定部２４ａは、第１の出力値ｚ１に従い、残りの時間を２４０秒と推定しているが、推定時間を一つに絞らずに、複数の推定値についての確率を示してもよい。この場合、三次元モデル画像生成部２４ｂは、例えば「今から２４０秒後に異常信号が生じる確率は７０％です。」のような表示を含む画像を生成してもよい。

これらの表示とともに、アラーム部２６ｂがアラーム音を鳴らして操作者の注意を喚起してもよい。

画像生成表示システム２１が図１３に示すような外部端末装置を有し、上で述べたような操作、表示、アラーム等がこの外部端末装置の端末表示処理手段によって行われてもよい。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で様々の変更が可能である。

例えば、機械装置Ｍは産業機械や工作機械のような単独の機械装置である必要はなく、複数の部品を含むものであれば、建築物や構造物を構成し、または、建築物や構造物に付属する機械装置であってもよい。

また、異常センサーＳは温度、圧力等の物理量やそれらの変化量を検出する素子を含むセンサーである必要はなく、異常稼働状態によって異常信号を発するものであれば、例えば部品や部品の一部分の欠損を検知するセンサーでもよい。

配設される異常センサーＳの数は各実施形態において例示した数に限られることがなく、これらよりも多くてもよく、また、これらよりも少なくてもよい。第７の実施形態における監視センサーＳの数についても同様である。

さらに、アラーム部６ｂ，１６ｂ，２６ｂ又は端末アラーム部１９ｂがアラーム音を鳴らす必要はなく、例えば、表示面６ａ，１６ａ，２６ａ又は端末表示面１９ａに表される三次元モデル画像Ｉｉ，Ｉｍ，Ｉｐ，Ｉｒの点滅、色変化などにより操作者の注意を喚起する構成であってもよい。また、これらとアラーム音との組み合わせでもよい。

本発明は、異常部品三次元モデル画像を生成する画像生成装置に用いることができる。

１，１１，２１ 画像生成表示システム
２ 画像生成装置，１２ 画像生成サーバ装置，２２ 画像生成装置
３，１３，２３ 通信手段
４，１４，２４ 処理手段
５，１５，２５ 記憶手段
６，１６，２６ 表示処理手段
１７ 外部端末装置
１８ 端末処理手段
１９ 端末表示処理手段
Ｍ，Ｍａ～Ｍｃ 機械装置
Ｓ，Ｓ０１～Ｓ１５ 異常センサー
Ｓ２１，Ｓ２２，Ｓ３１，Ｓ３２，Ｓ４１，Ｓ４２ 監視センサー（異常センサー）
Ｓ２６～Ｓ２８，Ｓ３６～Ｓ３８，Ｓ４６～Ｓ４８ 監視センサー
Ｐ，Ｐ０１，Ｐ０２，Ｐ１１ 異常部品
Ａ，Ａ０１１～Ａ０２２ 異常原因領域
ＬＤＢ，ＬＤＢ１ ログデータベース
ＮＤＢ，ＮＤＢ１～ＮＤＢ６ ネットワークデータベース
ＮＮ，ＮＮ１ ニューラルネット
Ｄｐ，Ｄｐ０１，Ｄｐ０２ 異常部品ＣＡＤデータ（三次元ＣＡＤデータ）
Ｄｒ 正常部品ＣＡＤデータ（三次元ＣＡＤデータ）
Ｄｍ 全体ＣＡＤデータ（三次元ＣＡＤデータ）
Ｉｉ 複合三次元モデル画像（三次元モデル画像）
Ｉｐ，Ｉｐ０１，Ｉｐ０２，Ｉｐ１１ 異常部品三次元モデル画像（三次元モデル画像）
Ｉｒ 正常部品三次元モデル画像（三次元モデル画像）
Ｉｍ 全体三次元モデル画像（三次元モデル画像）
Ｓ１００，Ｓ２００ 画像生成方法
Ｓ１１０，Ｓ２１０ データベース記憶工程
Ｓ１２０，Ｓ２２０ 異常信号受信工程
Ｓ１３０，Ｓ２３０ 三次元モデル画像生成工程（異常部品三次元モデル画像生成工程）
Ｓ１４０，Ｓ２４０ 三次元モデル画像表示工程

Claims (11)

1. 複数の部品を含む機械装置に配設される複数の異常センサーに接続する通信手段と、該通信手段に接続する処理手段と、該処理手段に接続する記憶手段とを備え、
   前記記憶手段は、前記各異常センサーが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の前記部品である異常部品との関係性である第１の関係性を行列データにより格納するネットワークデータベースと、前記各部品の三次元ＣＡＤデータを格納する三次元ＣＡＤデータベースとを記憶し、
   前記処理手段は、前記通信手段が前記異常信号を受信する際、前記行列データに基づき当該異常信号と関係する前記異常部品の三次元ＣＡＤデータである異常部品ＣＡＤデータを特定するとともに、前記異常部品ＣＡＤデータに基づく異常部品三次元モデル画像を生成し、
   前記異常部品三次元モデル画像と、正常部品を表すための三次元ＣＡＤデータである正常部品ＣＡＤデータに基づく正常部品三次元モデル画像とが重ね合わされた複合三次元モデル画像を生成し、
   前記複合三次元モデル画像から切断三次元モデル画像を生成する
   ことを特徴とする画像生成装置。
2. 前記ネットワークデータベースは、前記異常信号と、前記異常部品のうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の三次元領域である異常原因領域との関係性である第２の関係性を行列データにより格納し、
   前記処理手段は、前記異常部品のうち前記異常原因領域と前記異常原因領域でない三次元領域である正常領域とが区別して表示される前記異常部品三次元モデル画像を生成する
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記三次元ＣＡＤデータに基づき、前記各部品のうち任意に範囲が指定される一又は複数の三次元領域の表示及び非表示を選択して前記異常部品三次元モデル画像を生成する
   ことを特徴とする請求項１または２に記載の画像生成装置。
4. 複数の部品を含む機械装置に配設された複数の異常センサー、該複数の異常センサーに接続する通信手段、該通信手段に接続する処理手段及び該処理手段に接続する記憶手段を備える画像生成サーバ装置と、前記通信手段に通信回線を介して接続され、かつ、端末表示処理手段を備える外部端末装置とを含む画像生成表示システムであって、
   前記記憶手段は、前記各異常センサーが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の前記部品である異常部品との関係性である第１の関係性を行列データにより格納するネットワークデータベースと、前記各部品の三次元ＣＡＤデータを格納する三次元ＣＡＤデータベースとを記憶し、
   前記処理手段は、前記通信手段が前記異常信号を受信する際、前記行列データに基づき当該異常信号と関係する前記異常部品の三次元ＣＡＤデータである異常部品ＣＡＤデータを特定するとともに、前記異常部品ＣＡＤデータに基づく異常部品三次元モデル画像を生成し、
   前記異常部品三次元モデル画像と、正常部品を表すための三次元ＣＡＤデータである正常部品ＣＡＤデータに基づく正常部品三次元モデル画像とが重ね合わされた複合三次元モデル画像を生成し、
   前記複合三次元モデル画像から切断三次元モデル画像を生成し、
   前記端末表示処理手段は、前記外部端末装置が前記画像生成サーバ装置から受信する前記異常部品三次元モデル画像を表示する
   ことを特徴とする画像生成表示システム。
5. 前記ネットワークデータベースは、前記異常信号と、前記異常部品のうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の三次元領域である異常原因領域との関係性である第２の関係性を行列データにより格納し、
   前記処理手段は、前記異常部品のうち前記異常原因領域と前記異常原因領域でない三次元領域である正常領域とが区別して表示される前記異常部品三次元モデル画像を生成する
   ことを特徴とする請求項４に記載の画像生成システム。
6. 前記三次元ＣＡＤデータに基づき、前記各部品のうち任意に範囲が指定される一又は複数の三次元領域の表示及び非表示を選択して前記異常部品三次元モデル画像を生成する
   ことを特徴とする請求項４または５に記載の画像生成表示システム。
7. 画像生成装置が備える記憶手段が、複数の部品を含む機械装置に配設された複数の異常センサーが発する異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の前記部品である異常部品との関係性である第１の関係性を行列データにより格納するネットワークデータベースと、前記各部品の三次元ＣＡＤデータを格納する三次元ＣＡＤデータベースとを記憶するデータベース記憶工程と、
   前記画像生成装置が備える通信手段が、前記異常センサーから前記異常信号を受信する異常信号受信工程と、
   前記記憶手段及び前記通信手段に接続する処理手段が、前記行列データに基づき当該異常信号と関係する前記異常部品の三次元ＣＡＤデータである異常部品ＣＡＤデータを特定するとともに、前記異常部品ＣＡＤデータに基づく異常部品三次元モデル画像を生成する異常部品三次元モデル画像生成工程と、
   前記異常部品三次元モデル画像と、正常部品を表すための三次元ＣＡＤデータである正常部品ＣＡＤデータに基づく正常部品三次元モデル画像とが重ね合わされた複合三次元モデル画像を生成する複合三次元モデル画像生成工程と、
   前記複合三次元モデル画像から切断三次元モデル画像を生成する切断三次元モデル画像生成工程とを含む
   ことを特徴とする画像生成方法。
8. 前記データベース記憶工程は、前記異常信号と、前記異常部品のうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の三次元領域である異常原因領域との関係性である第２の関係性を行列データにより格納するネットワークデータベースを記憶する工程を含み、
   前記異常部品三次元モデル画像生成工程は、前記異常部品のうち前記異常原因領域と前記異常原因領域でない三次元領域である正常領域とが区別して表示される前記異常部品三次元モデル画像を生成する工程を含む
   ことを特徴とする請求項７に記載の画像生成方法。
9. 前記各部品のうち一又は複数の三次元領域の範囲を任意に指定する範囲指定工程と、前記指定された範囲の表示及び非表示を選択する表示非表示選択工程とを含む
   ことを特徴とする請求項７または８に記載の画像生成方法。
10. 複数の部品を含む機械装置と、
    該機械装置に配設される複数の監視センサーと、
    該監視センサーに接続する通信手段、人工知能を有するとともに、前記通信手段に接続する処理手段及び該処理手段に接続するとともに、前記機械装置の稼働情報を時刻とともにログデータにより格納するログデータベースを記憶する記憶手段を有する画像生成装置とを備え、
    前記各監視センサーは、前記機械装置の異常稼働状態を検知する時に異常信号を発し、
    前記稼働情報は、前記機械装置を稼働させる稼働回ごとの前記機械装置を操作するオペレーターの識別情報と、前記各監視センサーが発する前記機械装置の稼働状態を表す稼働状態情報と、前記異常信号を含む異常稼働状態情報とを含み、
    前記処理手段は、前記人工知能を学習させ、かつ、該学習によって得られる学習モデルに基づいて、前記異常信号が発生するまでの残り時間を推定するとともに、当該発生が推定される異常信号と関係する異常部品の三次元モデル画像である異常部品三次元モデル画像を生成し、
    前記異常部品三次元モデル画像と、正常部品を表すための三次元ＣＡＤデータである正常部品ＣＡＤデータに基づく正常部品三次元モデル画像とが重ね合わされた複合三次元モデル画像を生成し、
    前記複合三次元モデル画像から切断三次元モデル画像を生成する
    ことを特徴とする画像生成表示システム。
11. 複数の部品を含む機械装置と、
    該機械装置に配設される複数の監視センサーと、
    該監視センサーに接続する通信手段、多層式のニューラルネットを学習させるニューラルネット学習部を有するとともに前記通信手段に接続する処理手段、ならびに、該処理手段に接続するとともに、前記機械装置の稼働情報を時刻と共にログデータにより格納するログデータベース及び前記ニューラルネットを記憶する記憶手段を有する画像生成装置とを備え、
    前記各監視センサーは、前記機械装置の異常稼働状態を検知する時に異常信号を発し、
    前記稼働情報は、前記機械装置を稼働させる稼働回ごとの前記機械装置を操作するオペレーターの識別情報と、前記各監視センサーが発する前記機械装置の稼働状態を表す稼働
    状態情報と、前記異常信号を含む異常稼働状態情報とを含み、
    前記処理手段は、前記ニューラルネットに基づいて、前記異常信号が発生するまでの残り時間を推定するとともに、当該発生が推定される異常信号と関係する異常部品の三次元モデル画像である異常部品三次元モデル画像を生成し、
    前記記憶手段は、前記異常信号とその異常信号を生じせしめる異常稼働状態の原因となる一又は複数の前記部品である異常部品との関係性である第１の関係性を行列データにより格納するネットワークデータベースと、前記各部品の三次元ＣＡＤデータを格納する三次元ＣＡＤデータベースとを記憶し、
    前記処理手段は、前記行列データに基づき前記発生が推定される異常信号と関係する異常部品の三次元ＣＡＤデータである異常部品ＣＡＤデータを特定し、
    前記異常部品三次元モデル画像は、前記異常部品ＣＡＤデータに基づき、
    前記ネットワークデータベースは、前記異常信号と、前記異常部品のうち当該異常信号を生じせしめる異常稼働状態の原因となる一又は複数の三次元領域である異常原因領域との関係性である第２の関係性を行列データにより格納し、
    前記処理手段は、前記異常部品のうち前記異常原因領域と前記異常原因領域でない三次元領域である正常領域とが区別して表示される前記異常部品三次元モデル画像を生成し、
    前記異常部品三次元モデル画像と、正常部品を表すための三次元ＣＡＤデータである正常部品ＣＡＤデータに基づく正常部品三次元モデル画像とが重ね合わされた複合三次元モデル画像を生成し、
    前記複合三次元モデル画像から切断三次元モデル画像を生成する
    ことを特徴とする画像生成表示システム。

Images