JP3210473B2 - ビジュアルフィードバック制御装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、制御対象の観察画像を
得てこの画像データから制御対象の状態を認識し、対応
する制御を行うビジュアルフィードバック制御装置及び
これに関連する装置に関する。

【０００２】

【従来の技術】

(1) 制御対象の画像情報をＴＶカメラを通して取り込
み、画像処理、画像認識により対象の情報を認識し、そ
の結果に応じて操作量を決定するビジュアルフィードバ
ック制御装置が近年注目されている。これは、電圧、電
流、温度、圧力等の従来の一次元センサで計測した観測
量では把握しきれなかった制御対象の内部状態を画像情
報により把握でき、これによって、制御性能を向上させ
ることが期待できるからである。例えば、加熱炉で加熱
対象を赤外線カメラで測定すれば対象物の表面温度分布
が画像データとして得られる。また、ボイラー内部で焼
却物の形状をカメラで測定すれば、燃焼状態が画像デー
タとして得られる。

【０００３】また、操作員が視覚で認識し手動で操作す
る場合の経験的なノウハウをそのまま制御則に反映させ
ることにより、人間による手動と同程度の制御性能を容
易に実現できる可能性がある。

【０００４】さらに、画像データは２次元データ、すな
わち平面的に分布した２次元情報なので、これを対象の
制御量として扱うことにより、従来の一次元センサによ
る観測量であるスカラー量あるいは有限次元のベクトル
量のみを制御量とした制御系よりはるかに高度な制御が
できる可能性がある。例えば、温度制御では、複数の熱
電対を用いて測定される数点の温度データに基づく制御
より、赤外線カメラで測定した二次元の温度分布データ
に基づく制御の方が、対象の状態を細かく、空間的に把
握でき、制御性能は向上する。

【０００５】ビジュアルフィードバック制御には、以上
のような利点があるので、ロボット、工作機械、交通シ
ステムをはじめ、各種プロセス制御において用いること
が検討されている。

【０００６】(2) 各種プラントの起動、停止、銘柄変
更などの運転は、そのプラントの状態に従って、一連の
制御ロジックに基づくシーケンス制御が行われる。そこ
では、膨大な制御ロジック、条件分岐などのステップを
プログラミングできるプログラマブル制御装置が広く用
いられている。図１０は、プログラマブル制御装置の構
成例を示している。プログラマブル制御装置における制
御ロジックは、各種センサの出力が予めプログラムされ
た閾値を超えたか否かという判断結果やタイマーに応じ
て、次の動作を起動したり条件分岐するといった基本的
な動作を連結して行くことによりプログラム化される。
大規模なプロセスでは、これらのロジックの数が数千〜
数万ステップに及ぶため、一般のプログラマブル制御装
置では、プログラム作成や修正、動作確認がプラントの
運転現場で容易に行えるような、ロジックの修正機能、
編集機能が用意されている。

【０００７】(3) 各種プラントの運転は自動化が進ん
でいる。その一方で、未だに熟練オペレータが視覚、聴
覚を通じて感じとったプロセスの内部状態に応じて、経
験に基づく運転を行っているプロセスもある。このよう
な運転経験に左右されるプロセスの制御の自動化に際し
ては、プロセス固有の監視や運転に関するノウハウ、知
識を用いて推論を加味した制御を行う必要がある。この
ような推論にはエキスパートシステムの利用が適してい
る。エキスパートシステムの詳細は、例えば人工知能学
会編「人工知能ハンドブック」オーム社（１９９０年発
行）に述べられている。これは、図１２に示すように、
利用者インターフェイス３１_a 、推論エンジン３１_b 、
構築支援インターフェイス３１_c 及び知識ベース３１_d
によってエキスパートシステム３１を構成する。そし
て、例えば、ｉｆ ｔｈｅｎ形式（プロダクションルー
ル）で記述された知識ベースの追加、修正や推論過程の
追跡等が容易に行えるようになっている。

【０００８】(4) 各種プロセスの状態変化の予測や制
御系の特性解析には、それ等をモデル化したシミュレー
タが用いられる。シミュレータを効率よく開発するため
に、各種のシミュレータ構築ツールが開発されている。
その代表的なものは、対象プロセスの個々の内部状態の
間に成り立つ関係を線形微分方程式で定式化し、一次遅
れ系、二次遅れ系等の線形ダイナミクスの複数のブロッ
クが結合した回路で対象のシミュレータを表現すること
ができる。また、拡張機能として、リレー、飽和要素、
ヒステリシス特性要素等特定の非線形関数や非線形ダイ
ナミクスをブロックとして定義できるものもある。

【０００９】(5) 各種プロセスの制御を行うプロセス
制御装置は、流量、圧力、温度、レベルセンサー等の信
号に基づき制御演算を行って操作量を算出、出力するも
のであった。

【００１０】一方、近年、対象プロセスの画像情報や音
響情報に基づき制御を行うビジュアルフィードバック制
御方式あるいはサウンドフィードバック制御方式が実用
化されつつある。例えばビジュアルフィードバック制御
方式とは、、カメラで直接、制御対象プラントの画像デ
ータを取り込み、それに基づき対象プロセスの状態を認
識した上で、対応した操作量を算出する方式である。こ
れらの方式は人間が視覚、聴覚をたよりに行っている手
動運転を自動化することができ、特に人間の感性や経験
に依存する運転技術に近似する制御を行えるという点
で、ＰＩＤ（比例・積分・微分）制御等の従来型制御方
式に勝る制御効果が期待される。

【００１１】(6) 分散型制御システムは、一般に、図
２６に示すような構成をとり、全ての装置が共通のロー
カル・エリア・ネットワーク（ＬＡＮ）１４６により結
合されている。各種の制御装置であるプロセス・コント
ロール・ステーション（ＰＣＳ）１４７はリアルタイム
で制御演算を実行しながら、時分割で制御量・操作量・
設定値等の諸信号データをオペレータ・インターフェイ
ス・ステーション（ＯＩＳ）１４３にＬＡＮ６を通して
伝送する。このような構成により、ＯＩＳにおける制御
システム全体の監視を容易にすると共に、新たな装置の
付加、システム構成の変更、最小限の配線によるコスト
ダウン等を実現している。通常、このような制御用ＬＡ
Ｎは、制御システムの信頼性が重要であるため、通信速
度を犠牲にしても高い信頼性の確保を優先している。ま
た、これらのＬＡＮには通常、可能な限り多くのデータ
をのせて、制御システムの統合化を図っている。

【００１２】

【発明が解決しようとする課題】

(1) 従来の技術(1) で述べたビジュアルフィードバッ
ク制御では、取り込んだ画像データから対象の現在の状
態を推定・認識し、それに応じて操作量の制御を行って
いる。別言すれば、現在の瞬間的な出力（画像）状態を
プラントの運転パラメータにフィードバックする方式に
ついて考察している。そこには、制御対象のモデル化と
いう考えがなく、ビジュアルフィードバック制御におけ
る制御則を試行錯誤的に作成しなければならず、各種制
御パラメータのチューニングに多くの時間がかかってい
た。また、操作員が手動で操作を行う場合、現在までの
制御対象の動きから頭の中で未来の動きを経験的に予測
した上で、それを考慮した操作を選択する場合がある
が、操作員の運転のノウハウに基づいて制御則を作成す
る場合に、それらの予測型の制御則が巧く作成できなか
った。その結果、例えば、むだ時間の長い対象において
は、制御が良好にできない場合があった。よって、本願
の第１の目的は、未来の状態を予測して制御を行うビジ
ュアルフィードバック制御装置を提供することである。

【００１３】(2) 従来の技術(2) で述べたプログラマ
ブル制御装置における制御ロジックにおいては、プラン
ト運転員の運転ノウハウや直観的な判断に基づく手動の
運転手順に基づいてプログラミングされる場合が多い。
特に、運転員はプラントの挙動を目で見たりプラントが
発生する音を耳で聞くことによりプラントの内部状態を
判断し、それに応じて運転を行っている。しかし、現状
のプログラマブル制御装置では、それらの視覚情報や聴
覚情報を制御ロジックに含めることはできず、対象の状
態判断は既設の各種センサー出力に基づく簡素な条件判
断ロジックのみであった。よって、本願の第２の目的
は、より人間の感覚に近い判断ロジックによる制御動作
を実現するために、制御対象の状態をＴＶカメラから取
り込んだ画像情報や音声マイクから取り込んだ音情報に
基づいて判断するロジックを容易にプログラミングでき
るプログラマブル制御装置を提供することである。

【００１４】(3) 従来の技術(3) で述べたエキスパー
トシステムにおいては、プロセスの監視や運転、制御に
おける推論は、第１にリアルタイムで推論できること、
第２に運転員の視覚・聴覚情報を用いた直観的な推論が
できること、等が必要となる。このためにファジィ推論
等の曖昧論理による推論方法等が試みられている。しか
しながら、人間の直観とよばれるものは、全てプロダク
ションルールで記述できるものではなく、視覚、聴覚情
報の複雑な情報処理に基づく認識という過程が必要とな
る。ところが、これまでのエキスパートシステムでは、
特に、画像情報や音情報に対し人間を模擬した認識機能
がなかった。

【００１５】その一方で、単独の画像、文字、音声等に
対し、ニューラルネットワークを用いて認識を行わせる
試みがなされている。しかし、ニューラルネットワーク
単独の判断では画像や音に対する表面的な判断しかでき
ず、人間の持つ深い知識に基づく推論は困難であった。

【００１６】よって、本願第３の目的は、より人間の感
覚に近い判断ロジックによる推論を実現するために、Ｔ
Ｖカメラから取り込んだ画像情報や音声マイクから取り
込んだ音情報に基づいてプロセスの状態を判断するロジ
ックを知識ベースに容易に取り込めるエキスパートシス
テムを提供することである。

【００１７】(4) 従来の技術(4) で述べた、ビジュア
ルフィードバック制御方式、あるいはサウンドフィード
バック制御方式は、システマティックな設計法が確立さ
れておらず、シミュレーションに基づく試行錯誤的な設
計に頼らざるを得ないのが実情である。例えば、図１９
に示す燃焼プロセスの制御系においては、炎の状態に応
じて燃料、空気量を調整するビジュアルフィードバック
制御を行っている。この例では、燃焼プロセス４１内の
炎をＴＶカメラ４２、インターフェイス４３を通じて画
像データとして取り込み、画像データから火炎情報部分
を抽出する前処理を前処理部４４で施した後、３種類の
ニューラルネットワーク４５_a 、４５_b 及び４５_c を用
いて、夫々炎の大きさ、輝度及び火炎の色を別々に認識
する。認識された炎の大きさ等の各特徴パラメータの確
信度をニューラルネットワーク４５_d に与えて炎の安定
度を総合的に判断し、この判断に基づいて最適な操作量
信号を制御ロジック４６から出力し、インターフェイス
４７を介して、燃料バルブ４８_a 、空気バルブ４８_b の
弁開度を制御することにより、燃焼状態を良好に保とう
とするものである。この制御系構成例では画像データか
ら複数の特徴パラメータを複数の並列なニューラルネッ
トワークにより認識し、更に、それ等の特徴パラメータ
を総合する直列のニューラルネットワークで総合的な判
断を行うという、ニューラルネットワークの階層構造に
よる認識回路が使われている。このような階層構造のニ
ューラルネットワークの場合、個々のニューラルネット
ワークブロックをどのように組み合わせれば最も認識性
能が上がるのか、試行錯誤的にしか判らない。

【００１８】しかしながら、従来のシミュレータ構築支
援システムは、上述のように一般的な線形、非線形の機
能ブロックを結合した回路としてシミュレータを構築す
るに止まるので、ビジュアルフィードバック制御に必要
な画像認識ブロック、画像生成モデルブロック、サウン
ドフィードバック制御に必要な音声認識ブロック、音声
生成モデルブロック等が用意されていない。また、これ
等の新規のブロックを定義することができる機能を持っ
ていない。そのため、個々の制御アルゴリズムを新たに
プログラミングせねばならずシミュレータの構築が非効
率的であった。

【００１９】よって、本願第４の目的は、これらのビジ
ュアルフィードバック制御あるいはサウンドフィードバ
ック制御の記述に必要な機能ブロックを定義できるよう
にすることによって、画像データや音声データを含んだ
制御系シミュレータを容易に構築できる構築支援システ
ムを提供し、ビジュアルフィードバック制御系、サウン
ドフィードバック制御系の設計を迅速に行える環境を実
現することである。

【００２０】(5) 従来の技術(5) で述べた、ビジュア
ルフィードバック制御装置において、カメラからの画像
データに基づき制御を行っているが、画像を測定する環
境が悪くなると、画像データそのものの信頼性がなくな
り、画像認識結果に対する信頼性も低下する。このよう
な場合、それを制御に用いるのは制御系の信頼性確保の
意味で危険であるという問題点があった。また、それを
回避するために、プラント運転員が制御系の状態を時々
監視する必要があった。よって、本願第５の目的は、画
像を測定する環境が悪化したときにビジュアルフィード
バック制御装置の信頼性を確保することである。

【００２１】(6) 従来の技術(6) で述べた、分散型制
御においては、新しい制御システムとして、ＴＶカメラ
により制御対象の画像データを取り込み、それをフィー
ドバックするビジュアルフィードバック制御装置（ＶＦ
ＢＣ）が用いられるようになってきた。ところが、これ
を図２６のような分散型制御システムにそのまま取り込
んだ場合、制御性能を向上するためには、多量の画像デ
ータをＴＶカメラ１４１から取り込み、ＶＦＢＣ１４４
へ逐次伝送する必要がある。それと同時に、オペレータ
・インタフェース（ＯＩＳ）１４３ではこれらの画像デ
ータをセンサ信号の一つとして監視する必要があり、そ
のために画像データをＬＡＮ１４６にのせる必要があ
る。ところが、制御システム用のＬＡＮ１４６では、前
述のように伝送速度が遅い上、多くのデータが時分割通
信されており、ここへ大量の画像データをのせること
は、制御システム全体の性能低下を引き起こす。一方、
これを解決するために通信速度を高速化すると、ＬＡＮ
の信頼性、ひいては各種制御の信頼性を低下させてしま
う。よって、本願の第６の目的は、ビジュアルフィード
バック制御装置を含む分散型制御システムに好適なデー
タ通信構造を提供することである。

【００２２】

【課題を解決するための手段】

(1) 上記第１の目的を達成するため、本願第１発明の
ビジュアルフィードバック制御装置は、制御対象を観察
して画像データを発生する撮影手段と、少なくとも上記
画像データ及び上記制御対象に供給される操作量データ
を経時的に記憶する記憶手段と、記憶された画像デー
タ、操作量データ及び未来の操作量を上記制御対象の未
来の画像を予測する予測モデルに与えて未来の予測画像
を得る画像予測手段と、設定された制約条件を満たしな
がら設定された目標画像に上記予測画像を近付ける操作
量を算出する最適操作量演算手段と、を備える。

【００２３】(2) 上記第２の目的を達成するため、本
願第２発明のプログラマブル制御装置は、予め設定され
たプラントの制御プログラムに従って制御対象の制御を
実行するプログラマブル制御装置であって、上記制御対
象を撮影する撮影手段から供給される画像データ及び上
記制御対象の発音を聴取する音・電気変換手段から供給
される音データのうち少なくともいずれか一方をニュー
ラルネットワークに与えて制御対象の状態を判定する手
段と、上記制御プログラム中のプロダクションルールの
条件部から上記判定の結果を引用する関数引用手段と、
を備えることを特徴とする。

【００２４】(3) 上記第３の目的を達成するため、本
願第３発明のエキスパートシステムは、制御対象の画像
データ及び音データのうち少なくともいずれか一方が供
給されて、与えられるプロダクションルールに記述され
たパラメータに対応する結合係数を設定して上記制御対
象の状態を認識するニューラルネットワークと、上記認
識の結果、操作員が入力した対象に関する情報、及び上
記制御対象に配置された各種のセンサ群からの信号に基
づいて上記制御対象の状態及び適切な制御対象の運転方
法を推論する推論エンジンと、上記推論に用いるプロダ
クションルールを格納する知識ベースと、上記操作員に
推論結果を提示し、推論過程を説明する利用者インター
フェイス部と、制御対象に関する専門家の知識を入力
し、或いは既存のプロダクションルールを修正する構築
支援インターフェイス部と、を有する。

【００２５】(4) 上記第４の目的を達成するため、本
願の第４発明のシミュレータ構築支援システムでは、複
数の機能ブロックの特性と夫々の機能ブロックの結合関
係をコンピュータ画面上で定義することにより、対象プ
ロセスの静特性、動特性を模擬したシミュレータを構築
する支援システムであって、上記機能ブロックとして、
線形関数ブロック、線形ダイナミクスブロツク、非線形
関数ブロック、非線形ダイナミクスブロック、任意定義
ブロック、論理ブロックを含み、更に、上記コンピュー
タ画面上でニューラルネットワーク演算回路のブロック
を定義する機能を備えることを特徴とする。

【００２６】(5) 上記第４の目的を達成するため、本
願第５発明のビジュアルフィードバック制御装置は、制
御対象を撮影して得られた画像データに基づいて前記制
御対象の状態を判別し、上記制御対象に与える操作量を
調整するビジュアルフィードバック制御装置であって、
上記画像データに基づいて推定した上記制御対象の状態
に応じて上記操作量を算出する第１の制御演算手段と、
上記画像データを含まない上記制御対象の状態を表す状
態量に基づいて上記操作量を算出する第２の制御演算手
段と、上記画像データに基づく推定の信頼性を判定し、
判定した信頼性の程度に対応して上記第１の制御演算手
段及び第２の制御演算手段のうちいずれか一方の選択を
指令する信頼性判定手段と、を備えることを特徴とす
る。

【００２７】(6) 上記第６の目的を達成するために、
本願第６発明の分散型制御システムは、制御対象の画像
情報を取り込むための撮影装置と、上記画像情報の認識
結果に応じて上記制御対象の操作量を決定するビジュア
ルフィードバック制御装置とをローカルエリアネットワ
ークによって接続した分散型制御システムであって、上
記撮影装置及びコンピュータが接続される高速伝送ＬＡ
Ｎと、上記コンピュータ及び上記ビジュアルフィードバ
ック制御装置が接続される低速伝送ＬＡＮと、を含み、
上記コンピュータは上記撮影装置が上記高速伝送ＬＡＮ
に送出する画像情報を処理して上記低速伝送ＬＡＮに転
送することを特徴とする。

【００２８】

【作用】

(1) 第１発明のビジュアルフィードバック制御では、
予測モデルを有し、それに基づく予測画像が設定した制
約条件を満たしながら設定した目標画像になるべく一致
するような最適な操作量を自動的に決定できる。そのた
めの最適制御則を試行錯誤的に、あるいは操作員の運転
ノウハウと比較しながら作成する手間が省ける。また、
制御対象の未来の動きを考慮した制御を行うため、むだ
時間の長い制御対象に対して良好な制御ができる。目標
画像や制約条件を操作員が容易に設定でき、それに合わ
せた制御が行われるので、操作員が意図した細かな制御
仕様を容易に反映させることができる。予測モデルに
は、ニューラルネットワークを用いることにより、対象
の非線形で複雑な画像ダイナミクスを表現でき、予測精
度を向上し、高い制御性能を確保できる。また、誤差逆
伝搬学習によるニューラルネットワークの学習機能によ
り、過去の画像データ、操作量データから画像の予測モ
デルを自動的に学習でき、予測モデルを作成する手間が
省け、さらに対象の特性が徐々に変化する場合も学習動
作を繰り返すことにより高い予測精度を保つことができ
る。

【００２９】(2) 第２発明のプログラマブル制御装置
では、制御対象の画像情報や音情報に基づいて状態を判
断し、対応する制御動作を実行できるため、操作員の感
性に基づく運転手順やノウハウを容易にプログラム化で
き、人間の手動運転に近い制御動作が実現できる。ま
た、画像、音等の情報認識にニューラルネットワークを
用いることにより、曖昧かつ抽象的な判断を簡単に学習
させ、従来の閾値によるif then型のロジックと同レベ
ルで簡単にプログラムに盛り込むことができる。ニュー
ラルネットワーク自体は、別の補助ツールを用いて学習
させておき、その結果係数のみ制御装置内のメモリに記
憶させ、必要なときに読み出してＣＰＵ或いは専用のニ
ューラルネットワーク演算装置上でニューラルネットワ
ーク演算をエミュレートすることにより、用途の違う複
数のニューラルネットワークを基準的な関数としていつ
でも呼出し利用することができる。

【００３０】(3) 第３発明のエキスパートシステム
が、特に、従来のエキスパートシステムと異なるのは、
ニューラルネットワーク演算による画像認識、音認識機
能を標準関数として持ち、プロダクションルールの中で
簡単に記述できることである。このような環境を提供す
ることにより、プラント運転員の視覚・聴覚情報による
直観的判断、推論をエキスパートシステムで容易に自動
化でき、人間に近いプラントの監視、運転支援を実現で
きる。

【００３１】また、構築支援インターフェイスとして、
従来の知識ベース編集機能の他に、ニューラルネットワ
ークの学習機能を持たせることにより、新たなニューラ
ルネットワークによる認識機能を容易に付け加えること
ができる。データベースとしては、知識ベースの他に、
情報認識機能群の複数のニューラルネットワークを結合
係数、認識項目の形で格納する認識関数データベース、
過去から現在までの対象プロセスの画像情報、音情報、
各種センサー情報を格納するプロセス情報データベース
を有するため、各種の認識を担うニューラルネットワー
クを標準関数ライブラリとしていつでも引用することが
できる。また、画像情報、音情報、各種センサー信号を
逐次取り込み、対象プロセスの状態や最適運転方法の推
論を逐次実行、表示し最適操作量を逐次出力するといっ
たリアルタイム性を持たせることにより、プロセスの自
動監視、自動運転を可能とし、運転員の労力低減、運転
自動化、無人化を実現できる。ハードウェア面ではＣＰ
Ｕ以外にニューラルネットワーク演算専用のプロセッサ
を有することにより、認識の速度を向上させ、ＣＰＵへ
の負荷を軽減させられ、リアルタイム性や信頼性を高め
ることができる。

【００３２】(4) 第４発明では、ビジュアルフィード
バック制御やサウンドフィードバック制御では、ＴＶカ
メラや音声マイクから取り込んだ制御対象の画像デー
タ、音声データの特徴を人間と同レベルの精度で認識す
る機能が必要不可欠である。この機能は、ニューラルネ
ットワークを用いて実現される可能性が大きい。そこ
で、シミュレータ構築支援システムにニューラルネット
ワーク演算ブロックを定義する機能を設けることによ
り、これらの認識機能モデルを含んだ制御回路のシミュ
レータを容易に構築できるようにする。特に、制御対象
の特徴パラメータが複合的な場合、複数のニューラルネ
ットワークによる認識回路を構成することが有効である
場合がある。従って、本発明のようなニューラルネット
ワークのブロックを定義できるシミュレータ構築支援シ
ステムを用いれば、多くのケースを短時間で試行錯誤的
に評価でき、複数ニューラルネットワークの有効なブロ
ック構造を容易に得ることができる。また、個々のニュ
ーラルネットワークブロックは、実際の画像データ、音
声データに基づくバックプロパゲーション学習を行う機
能により、簡単にチューニングできるので、シミュレー
タや認識・制御アルゴリズムを簡単にチューニングでき
る。更に、プロセスの内部状態に対応した画像データ、
音声データを生成するモデルを定義する機能により、制
御対象を模擬し、ビジュアルフィードバック、サウンド
フィードバック制御系の全体をシミュレータのみで構築
することができ、机上レベルでの制御性能評価を可能に
する。その他の効果として、このようなシミュレータ構
築環境の実現により、ビジュアルフィードバック制御、
サウンドフィードバック制御系の開発以外の用途におい
ても、ニューラルネットワークを含んだ複雑なモデリン
グや制御アルゴリズムの検証、評価が容易にできる。モ
デリングにおいては、対象プロセスの複雑な振る舞いを
ニューラルネットワークにより模擬することにより精度
の高いシミュレータが得られる。

【００３３】(5) 第５発明の構成によれば、画像認識
結果に対する信頼性をチェックする機能を備える。これ
により、画像認識結果の信頼性が高い場合にはビジュア
ルフィードバック制御動作を実行し、画像認識結果の信
頼性が低い場合には、画像認識結果を用いないフィード
バック制御動作を実行する。

【００３４】この結果、ビジュアルフィードバック制御
のみに依存することにより、生じる制御系の誤制御を防
ぐことができる。

【００３５】(6) 画像信号は高速伝送ＬＡＮで送出さ
れてコンピュータで画像信号処理され、処理済みのデー
タ容量の減少した画像データが低速伝送ＬＡＮに転送さ
れる。このため、大量の画像データをビジュアルフィー
ドバック制御装置与えると同時に、低速伝送ＬＡＮの飽
和を抑制して、他の制御信号を従来どおりの高い信頼性
を保ちながら伝送することが可能となる。

【００３６】

【実施例】以下、本発明の実施例を図面を参照して説明
する。 (1) 図１は、第１発明のビジュアルフィードバック制
御装置の実施例を示している。この制御装置の構成及び
動作について説明する。まず、制御対象であるプラント
１をＴＶカメラ２によって連続的に撮影し、制御対象の
画像データを得る。この画像データは、その時点の操作
量と共に画像・操作量データ記憶部３に記憶され、ま
た、画像ダイナミクスシミュレータ４に供給される。画
像ダイナミクスシミュレータ４は制御対象の未来の予測
画像５ａを出力する予測モデルを有する。この予測モデ
ルに、現在の画像データ、データ記憶部３に記憶蓄積さ
れた過去の所定時点から現在までの画像データ及び操作
量の履歴データ等を与えて、未来の画像データ５を予測
する。操作員は、後述するヒューマンインターフェイス
部１２を通じて目標画像７ａ、制約条件６ａを設定す
る。制御性能判定手段８は、予測画像５ａ、制約条件６
ａ及び目標画像７ａに基づいて制御性能を評価する。こ
の評価が、未来を予測した操作量の調整を必要とするも
のであるときは、スイッチ１０における選択ルートを端
子ａ側に設定し、繰り返し演算ループを形成する。評価
の結果は操作量最適化手段９に与えられる。操作量最適
化手段９では、非線形最適化手法を用いて、制御性能が
向上する方向に最適操作量Δｕを算出し、現在の操作量
ｕを△ｕだけ変化させる。この△ｕは仮想操作量として
繰り返し演算ループを介して再び画像ダイナミクスシミ
ュレータ４に入力され、新たな操作量ｕに対する予測画
像が出力される。このような画像の予測と制御性能の評
価、操作量の最適化が繰り返される。これ以上の制御性
能の改善が見られなくなった時点で、制御性能判定部８
はスイッチ１０における選択ルートを端子ａ側から端子
ｂ側に切替え、操作量の変化分△ｕが最適操作量△ｕ^＊
としてプラントのアクチュエータ１１に出力される。以
上の動作は、あらかじめ設定された制御周期毎に実行さ
れる。もし制御周期内で操作量の更新が収束しなかった
場合には、その時点で最も適切な操作量を出力する。以
上が、本発明の制御装置の構成及び動作の全体的な説明
である。

【００３７】次に、操作員による制約条件、目標画像の
設定方法を説明する。図２は、ヒューマンインターフェ
イス部１２の構成を示している。同図において、予測画
像５ａは、予測画像表示部５から表示制御部１２ｃを介
してＣＲＴ１２ａの画面に表示される。操作員はそれを
見ながら、マウス、タッチパネル、電子ペン等の入力装
置１２ｂを用いて、制約条件６ａ、目標画像７ａを入力
する。それらの情報は、ＣＲＴ１２ａの画面に反映され
ると同時に入力制御部１２ｄを通じて制約条件設定部
６、目標画像設定部７に送られる。これらのデータの伝
送、制御には、データバス１２ｇ、ＣＰＵ１２ｅ、メモ
リー１２ｆが介在する。

【００３８】画像ダイナミクスシミュレータ４として
は、一般的な微分方程式モデルや非線形関数を用いるこ
とができるが、本実施例ではニューラルネットワークに
より構成される。その結果、誤差逆伝搬学習法（バック
プロパゲーション学習法、以下ＢＰ学習法と略す）によ
り、予測モデルを過去の画像データから自動的に学習さ
せることが可能となる。

【００３９】図３は、画像ダイナミクスシミュレータの
学習動作を説明している。同図において、まず、Ｎp ス
テップ分未来の予測画像を算出するニューラルネットワ
ークの学習動作は、現時刻をｋとして、画像・操作量デ
ータ記憶部３から過去の画像データｖ（k-Np-i），i=0,
…,n及び過去の操作量△ｕ（k-i)， i= 1,…, Np+mを読
みだし、シミュレータ用ニューラルネットワーク４ａに
入力する。その結果、ニューラルネットワークから出力
された予測画像ｖ_P (k) とＴＶカメラ２から取り込んだ
現時点の画像ｖ(k) との差分画像△ｖ(k) ＝ｖ(k) −ｖ
_P (k) を求め、ＢＰ学習制御部４ｂへ入力する。ＢＰ学
習制御部４ｂでは、この差分画像が小さくなる方向にＢ
Ｐ学習アルゴリズムに従ってニューラルネットワーク４
ａ内の結合係数を修正する。これにより、ニューラルネ
ットワーク４ａによる画像の予測精度が高められる。

【００４０】次に、画像ダイナミクスシミュレータ４の
予測動作について、図４を参照して説明する。ＴＶカメ
ラ２から取り込んだ現時点の画像データｖ(k) 及び画像
・操作量データ記憶部３から読み出した過去の画像デー
タｖ(k-i) ，i=1,…, n 及び過去の操作量履歴△ｕ(k-
i) ，i=1,…, m 更に、操作量最適化部９によって算出
された未来の仮想操作量△ｕ(k+i) ，i=0,…,Np-1 をシ
ミュレータ用ニューラルネットワーク４ａに入力し、そ
の結果の出力として予測画像ｖ(k+i) ，i=1,…,Np を得
る。

【００４１】次に、プラントの制御仕様を表す目標画像
及び制約条件の設定方法の詳細を説明する。図５は、前
述したヒューマンインターフェイス部１２のＣＲＴ表示
器１２ａによって表示されるインタフェース画面の例を
示している。この画面左上には、予測画面を表示したＮ
ｐ枚のウインドウ画面１２_a1が重なっている。マウス１
２ｂ等の操作により、カーソル１２_a2を、予測画面のｉ
番目のウインドウ上に移動し、例えば、マウスボタンの
クリック操作によって指示すると、そのウインドウ１２
_a3が画面中央に拡大表示され、予測画像ｖ(k+i) が表示
される。そこで、画面左下にアイコン表示されている
「目標設定」ボタン１２_a4を指示すると目標画像設定モ
ードになる。このモードにおいて、中央画面１２_a3上に
マウスカーソルを移動し、クリック操作によって複数の
点をプロットすると、それらの点を結ぶことによりでき
る輪郭線が画面上に目標画像Ｖr(k+i)として設定され
る。また、画面左下の「制約条件」ボタン１２_a5をマウ
スボタンのクリック操作によって指示すると制約条件設
定モードになる。このモードにおいて、中央画面上にマ
ウスカーソルを移動し、複数の点を指示すると、それら
の点を結ぶことによりできる領域を禁止領域、あるいは
許容領域等の制約領域Ｖc(k+i)として設定することがで
きる。このようにして設定された画像Ｖr(k+i)及びＶc
(k+i)は、前述したように入力制御部１２ｄを介して目
標画像設定部７及び制約条件設定部６に与えられる。

【００４２】制御動作時は、以下の処理を逐次的に実行
する。

【００４３】

【数１】 従って、上式右辺第１項は、予測画像と目標画像の差の
２乗積分を、第２項は予測画像が制約条件として設定し
た禁止領域を侵している部分のペナルティコストを表し
ている。この制御性能指数Ｊが小さいほど制御性能は良
いことになる。そこで、操作量最適化部９では、非線形
最適化手法を用いて、Ｊが最小となる最適操作量△ｕ(k
+i) ，i=0,…,Np-1 を逐次計算により求める。 具体的には、Ｊの減少する操作量変化分△ｕ(k+i) ，i=
0,…,Np-1 を求め、これを仮想操作量として再び画像ダ
イナミクスシミュレータ４に入力し、そのときの予測画
像から再び制御性能指数Ｊを求め、さらにＪの減少する
操作量変化分△ｕ(k+i) ，i=0,…,Np-1 を再計算してい
く。このような繰り返し計算の過程で、制御性能判定部
８では制御性能指数Ｊを監視しており、Ｊの減少が止ま
った時点で、それ以上の操作量の改善はできないと判断
し、操作量最適化を中止し、そのときの操作量変化分△
ｕ(k) を最適操作量△ｕ^＊(k) として、アクチュエータ
１１へ出力する。

【００４４】アクチュエータ１１では、保持していた操
作量ｕ(k-1) を、 ｕ^＊（ｋ）＝ｕ(k-1) ＋△ｕ(k) に修正し、プラント１へ出力する。同時に、そのときの
操作量は画像・操作量データ記憶部３へ記憶される。な
お、操作量ｕおよび△ｕは一変数とは限らず、多変量か
らなるベクトル量であってもよい。

【００４５】こうして、上述したビジュアルフィードバ
ック制御装置においは、制御対象の観察画像の未来の動
きを予測し、予測される画像を考慮したビジュアルフィ
ードバック制御が実現可能である。特に、制御対象の画
像情報が制約条件を満たしながら目標画像になるべく一
致するような最適制御が可能である。最適制御則を作成
する手間が省ける。無駄時間の長い制御対象に対して良
好な制御が可能となる。目標画像や制約条件を操作員が
容易に設定でき、この設定に合わせた制御が行われるの
で、操作員が意図した細かな制御仕様を容易に反映させ
ることが可能となる。予測モデルには、ニューラルネッ
トワークを用いることにより、対象の非線形で複雑な画
像ダイナミクスを表現でき、予測精度を向上し、高い制
御性能を確保できる。誤差逆伝搬学習によるニューラル
ネットワークの学習機能により、過去の画像データ、操
作量データから画像の予測モデルを自動的に学習でき、
予測モデルを作成する手間が省ける。さらに対象の特性
が徐々に変化する場合も学習動作を繰り返すことにより
高い予測精度を保つことができる。以上が第１発明の制
御装置による具体的な制御動作の説明である。

【００４６】(2) 第２発明の実施例を図６を参照して
説明する。同図において、プログラマブルコントローラ
２２は、各種センサ信号の入力インターフェイス２２_a1
〜２２_a3、ＣＰＵ２２_b 、信号バス２２_c 、プログラム
メモリ２２_d1、ファンクションメモリ２２_d2、データメ
モリ２２_d3、コプロセッサ２２_e 、プロセスＩ／Ｏ２２
_f 及びゲートウェイターミナル２２_g によって構成され
る。更に、プログラマブルコントローラ２２には、プロ
グラミングツール２３、学習ツール２４等の支援ツール
が接続される。

【００４７】図示しない制御対象はＴＶカメラ１ａによ
って撮影される。ＴＶカメラ１ａからの映像信号はビデ
オインタフェース２２_a1によって画像データに変換され
る。また、制御対象が発生する音響は音声マイク２１_b
によって音響信号に変換され、音響インタフェース２２
_a1によって音データに変換される。温度計、圧力計、燃
料計等の制御対象の物理量を測定するその他のセンサ２
１_c の出力信号はインターフェイス２２_a3によってデー
タ信号に変換される。画像データ、音声データ等の各種
センサ信号はデータバス２２_c を介して一旦データメモ
リ２２_d3に記憶される。ＣＰＵ２２_b は、プログラムメ
モリ２２_d1に格納されたプログラムに従って順次、制御
信号を生成し、プロセスＩ／Ｏ２２_f を通じて制御対象
へ出力する。

【００４８】ＣＰＵ２_b が実行するプログラム中には、
後述する画像データ、音データに対する判断ロジックが
記述されている。当該サブルーチンにくると、ＣＰＵ２
_b はファンクションメモリ２２_d2から判断ロジックとし
て用いるニューラルネットワークを選択し、ニューラル
ネットワーク内の各層のノード各々におけるノード相互
間の結合係数の係数行列をコプロセッサ２２_e にロード
する。コプロセッサ２２_e はニューラルネットワーク演
算をＣＰＵ２２_b に負担をかけずに高速に処理するため
のもので、ニューラルネットワーク専用チップ或いは通
常の数値演算用マイクロプロセッサを用いている。コプ
ロセッサ２２_e は、データメモリ２２_d3に格納された画
像データ、或いは音データを読込み、ニューラルネット
ワーク演算を実行して演算結果をＣＰＵ２２_b に返す。
ＣＰＵ２２_b は、演算結果の解釈を実行し、プログラム
メモリ２２_d1に記述された内容に基づいて対応する制御
動作を実行する。

【００４９】次に、コントローラの支援ツールについて
説明する。プログラマブルコントローラ２２は、プログ
ラミングツール２３及び学習ツール２４を補助機能とし
て備える。図７は、プログラミングツール２３の詳細を
示す。表示部２３_a ではプログラムの内容をＣＲＴ２３
_e に出力する。キーボード２３_f 、マウス２３_g により
入力したプログラムは、入力部２３_b を介してファイル
２３_c に格納され、更に、プログラマブルコントローラ
２２本体のプログラムメモリ２２_d1に転送される。これ
らの信号の流れは、制御用ＣＰＵ２３_d により制御され
ている。

【００５０】図７のＣＲＴ画面に表示されたプログラム
の一例をここで説明する。これは、図８に示すようなボ
イラの燃焼制御系において、制御系を制御対象たる炎の
燃焼状態を検知するＴＶカメラ２１_a とプログラマブル
コントローラ２２とによって構成した例である。炎の状
態をＴＶカメラ１ａで画像情報として入力し、その状態
をニューラルネットワークにより認識し、結果に応じて
燃料バルブ２５_c 、空気バルブ２５_d を調整するもので
ある。ここで、プログラムの一行目、 ｉｆ ｆｉｒｅ１ ｉｓ ｂｉｇ （ＮＮ１） は、ｆｉｒｅ１という名前のファイルに格納された炎の
画像情報を、ＮＮ１というタグ名の付いたニューラルネ
ットワーク結合係数のデータファイルを用いてニューラ
ルネットワーク演算し、判定結果が「炎が大きい（ｂｉ
ｇ）」であれば次の行すなわち、 ｇｏ ｔｏ ＳＴＥＰ５ のジャンプ命令を実行し、そうでなければ、２行先の、 ｅｌｓｅ ｕ１＝１０．０ を実行し、プラントＩ／Ｏ２２ｆの操作出力ポートｕ１
に１０％という値を出力せよ、という意味になる。この
ように、複雑な判断を必要とする画像情報や音情報に対
するニューラルネットワークを使った判断ロジックを通
常のプログラムと同様に簡単に記述することができる。

【００５１】図９は、ニューラルネットワークの学習ツ
ールを示している。プログラマブルコントローラ２２本
体或いは他の媒体を介して入力された画像データ、音デ
ータがファイル２４_d に記憶されると同時にＣＲＴ２３
_e の画面上に表示され、或いはスピーカ２３_h によって
再生される。音データの場合には振動波形を画面に示す
ことができる。操作員はこれを認識して、判断基準をキ
ーボード２３_f 或いはマウス２３_g によって入力する。
例えば、上述のボイラ制御の例では、ＣＲＴ画面上に表
示された炎が大きいか、中くらいか、小さいかを操作員
が判断し入力することになる。その判断結果が教示信号
として学習ツール２４へ送られ、学習制御部２４_e によ
ってニューラルネットワーク２４_a の結合係数を修正す
る。修正方法は、ニューラルネットワークで広く用いら
れているバックプロパゲーション学習法を用いる。すな
わち、ファイル２４_d から読み出した画像データをニュ
ーラルネットワーク２４a に入力し、その出力と教示信
号との差が小さくなる方向に結合係数の修正を逐次繰り
返していく。結合係数が収束した時点で、各結合係数の
情報がファイル２４_d に格納され、更に、プログラマブ
ルコントローラ２２のファンクションメモリ２２_d2に転
送される。

【００５２】このようにして、制御対象の様々な状態に
対する判断を操作員が入力することにより、夫々の状態
に対する複数のニューラルネットワークの結合係数が学
習され、学習済みの結合係数が何時でも使用できるよう
に結合係数のファイルとしてファンクションメモリ２２
_d2内に準備される。以上が本発明のプログラマブルコン
トローラである。

【００５３】(3) 第３発明の実施例を図１１を参照し
て説明する。同図において、図１２に示されるエキスパ
ートシステムと対応する部分には同一符号を付してい
る。エキスパートシステム３１には、制御対象であるプ
ロセス３２の状態を撮影しているＴＶカメラ３３_a から
画像信号が供給される。プロセス３２の発音を聴取して
いる音声マイク３３_b から音響信号が供給される。熱電
対や流量計、圧力計等の各種センサー３３_c の検出信号
が供給される。プロセス３２は、例えば、ボイラであ
り、ＴＶカメラ３３_a により炎の燃焼状態を画像信号と
して取り込み、沸騰、蒸発する蒸気から発生する音をマ
イクにより取り込んでいる。取込み部分であるインター
フェイス部３１_g では、これ等の信号のノイズ成分をフ
ィルタを介して除去し、抽出した情報成分をサンプリン
グしてデータ信号に変換する。データ信号は、プロセス
情報データベース３１_d2に蓄積される。プロセス情報デ
ータベース３１_d2を用いて判別を行うニューラルネット
ワーク３１_e の結合計数を記憶するため、認識関数デー
タベース３１_d3が用意される。認識関数データベース１
_d3には、情報認識の項目と認識に用いるニューラルネッ
トワークの結合係数がテーブル状に記憶されており、タ
グ名のみで該係数テーブルを自由に引き出すことができ
る。ニューラルネットワークにおける演算は一つ以上の
専用プロセッサ３１_e で実行され、画像あるいは音情報
から知識ベース３１_d1内で指定された特定のニューラル
ネットワークにより認識が行われ、結果が推論エンジン
３１_bへ送られる。推論エンジン３１_b では、知識ベー
ス３１_d1内に記述された「ｉｆ条件 ｔｈｅｎ 結論／
行動 」型のプロダクションルールに従い、通常のＣＰ
Ｕにより推論を実行する。また、従来のエキスパートシ
ステムと同様に、利用者インターフェイス３１_a を介し
て、利用者であるプラント運転員にプロセスの情報や運
転仕様を質問したり、プロセスの内部状態や最適な運転
方法に関する推論結果の表示、アドバイス、理由説明を
行う。もう一方の構築支援インターフェイス３１_c で
は、従来型エキスパートシステムと同様の知識ベース編
集機能や推論動作の検証、デバッグ機能の他に、各種の
認識で用いるニューラルネットワークの学習機能３１_f
を有する。学習機能３１_f では、プラント専門家あるい
は運転員が画像データ、音データに対する認識結果を入
力すると、それを教示信号として、ニューラルネットワ
ークの出力信号との差からバックプロパゲーション学習
法によってニューラルネットワーク内の結合係数の修正
を行う。これにより、新しい認識機能のニューラルネッ
トワークを学習させて、新たな情報認識機能関数として
認識関数データベース３１_d3に登録したり、認識能力が
思わしくないニューラルネットワークを再学習により修
正したりすることができる。

【００５４】推論エンジン３１_b は、利用者インターフ
ェイス３１_a を通じて操作員に表示する機能と、最適運
転方法を設定値信号あるいは操作量信号の形で直接出力
する機能を備えている。出力された操作量信号はプロセ
スコントローラ３４へ設定値として入力され、プロセス
制御系がリアルタイムで駆動される。図１１に示す例で
は、制御対象の画像信号、音信号の認識結果に基づき推
論されたボイラの燃焼状態に応じて、知識ベースに用意
された運転に関する知識、ロジックに従い最適な燃料流
量設定値と空気流量設定値が出力される。これらは、ロ
ーカルなプロセスコントローラ３４が受取り、実際の燃
料バルブ開度、空気流量開度が操作信号として各々のバ
ルブへ送られ、バルブ開度が制御されることにより、適
切な燃焼状態を保つ運転ができる。また、推論の結果、
燃焼状態が異常となった時点で、利用者インターフェイ
ス３１_a を通じて警報により運転員へ知らせたり、プロ
セスコントローラ４へプロセスの緊急停止指令を出力
し、ボイラ３２を自動シャットダウンさせることがで
き、異常状態の回避、安全な運転の確保ができる。

【００５５】次に、知識ベースに基づいて推論エンジン
にて推論が実行される様子を説明する。ここで、例え
ば、図１１のボイラの炎に対し、色、大きさ、安定度
（揺れ動きの大きさ）を認識し、また、蒸気発生時の音
に対し、音程、音の大きさを認識し、夫々の認識結果に
基づいて、炎の状態を良好、やや不安定、不安定、火力
大、火力小などのクラスに分け、夫々に対応した最適な
運転方法を推論する過程を説明する。例えば炎の画像情
報に対し、 色を判定するニューラルネットワーク ＮＮ１ 大きさを判定するニューラルネットワーク ＮＮ２ 安定度を判定するニューラルネットワーク ＮＮ３ 蒸気発生の音情報に対し、 音程を判定するニューラルネットワーク ＮＮ４ 音の大きさを判定するニューラルネットワーク ＮＮ５ を定義し、それぞれ運転データと運転員の判断結果に基
づき学習機能によりニューラルネットワークを学習さ
せ、汎用の情報認識関数ＮＮ１〜ＮＮ５というタグ名に
て認識関数データベースに登録する。

【００５６】次に、構築支援インターフェイス３１_c に
おける知識ベース編集エディタを起動すると、図１３に
示すようにＣＲＴ表示器３５の画面上に各種の情報が表
示される。まず、画面左上の画像再生ウィンドウ３５_a
の領域には、過去から現在までの対象プロセスの任意の
時点あるいは期間の画像情報をプロセス情報データベー
ス３１_d2から検索して表示することができる。同様に、
対象プロセスの音情報も検索してスピーカ３６から再生
することができる。画面左下の情報認識関数ライブラリ
ウィンドウ３５_b では、登録されている標準の情報認識
関数、すなわち、ニューラルネットワークの一覧が表示
され、マウスでクリックすることによりこれを呼び出す
ことができる。更に、検索したデータを呼び出した情報
認識関数であるニューラルネットワークに与え、ＣＲＴ
画面上で特定の認識関数がある画像データに対しどのよ
うな認識結果を出すかをシミュレートすることができ
る。画面右側のプロダクションルールウィンドゥ３５_c
では、知識ベースに相当するプロダクションルールが表
示され、入力、削除、修正、推論動作シミュレーション
等ができるようになっている。

【００５７】図１４は、上記プロダクションルールの一
例を示している。同図第１行目の、 ｉｆ（ｆｉｒｅ１）ｉｓ（ｂｉｇ，ＮＮ２） はファイル名ｆｉｒｅ１に格納された画像データがタグ
名ＮＮ２というニューラルネットワークによりｂｉｇ
（大きい）と判断された場合を条件部としている。同様
に、第２行目の、 ａｎｄ（ｆｉｒｅ１）ｉｓ（ｒｅｄ，ＮＮ１） は、同じ画像情報ファイルｆｉｒｅ１をタグ名ＮＮ１の
ニューラルネットワークにより判定された結果がｒｅｄ
（赤い）であることを条件部としている。第３行〜第５
行目の、 ｔｈｅｎ ｂｉｇｆｉｒｅ＝０．７ ｕｎｓｔａｂｌｅ＝０．５ はそれぞれ「炎が大きい」という状態が確信度０．７、
「炎が不安定である」という状態が確信度０．５である
と結論づけている。ここ迄で、対象プロセスの状態推定
に関する一つのプロダクションルールになっている。

【００５８】続く、第６行〜第７行目の、 ｉｆ（ｂｉｇｆｉｒｅ≧０．５） ａｎｄ（ｕｎｓｔａｂｌｅ≧０．２） はそれぞれ「炎が大きい」という状態が確信度０．５以
上、「炎が不安定」という状態が確信度０．２以上とい
う条件部になっている。両者が成立した場合最下行の、 ｔｈｅｎ（ｃｌｏｓｅ ｆｖａｌｖｅ、Δｕ） は、ｆｖａｌｖｅ（燃料バルブ）をΔｕだけ閉じるとい
う制御動作を表す結論部である。従って、第６行目以降
が対象プロセスの運転方法に関する一つのプロダクショ
ンルールになっている。

【００５９】上記実施例のように、知識ベースにおけ
る、ｉｆ…ｔｈｅｎ…形式で記述されるプロダクション
ルールにおいては、選択されたニューラルネットワーク
ＮＮ_nによって行われる情報認識演算によって得られる
特定のデータの認識結果を引用して条件部の記述をする
ことが簡単にできる。このようなプロダクションルール
が多数ある場合、推論過程で評価が必要となった条件部
にあるデータに対する特定の認識結果が記述されていた
場合は、自動的に対応するニューラルネットワークの結
合係数が認識関数データベース３１_d3から読み出され、
ニューラルネットワーク演算専用プロセッサ３１_e のプ
ログラムに組込まれてニューラルネットワーク演算が実
行され、出力が認識結果として推論エンジン３１_b に返
され、次の推論ステップへ進んでいく。

【００６０】このようにして、プラントの操作員が手動
運転時に視覚や聴覚により対象プロセスの状態を認識
し、それに応じて経験に基づいた最適運転方法を選択し
ながら運転を実行していくという過程を本エキスパート
システムにより代替することが可能となり、プロセスの
異常監視や最適運転の自動化を実現することが可能とな
る。以上が本発明のエキスパートシステムである。

【００６１】(4) 第４発明の実施例について図面を参
照して説明する。図１５は、本発明のシミュレータ構築
支援システムのハードウエア構成を示しており、ＣＲＴ
端末装置５１_a にはキーボード、マウス等のポインティ
ングデバイスが接続されている。支援装置５３には、Ｃ
ＲＴ端末装置５１a 、スピーカ５１_b 、イメージリーダ
５２_a 、ＶＴＲ５２_b 、テープレコーダ５２_c 等の画像
データ、音データ記録再生装置、入力装置が接続されて
いる。支援装置５３は、ＣＰＵ５３_f 、外部装置とＣＰ
Ｕ５３_f とを仲介するインターフェイス５３_a 〜５
３_e 、メモリ５３_g、ニューラルネットワーク演算専用
プロセッサ５３_h 、磁気ディスク或いは光ディスク等の
大容量記憶装置５３_i によって構成される。

【００６２】図１６は、シミュレータ構築支援システム
の機能ブロック図を示す。同図において、ブロック定義
入力部６１では、個々のブロックをＣＲＴ画面上で定義
し、その結合関係を定義する。その結果、ブロック結合
マップ６６が出来上がり、シミュレータ作成部７０にて
用いられる。また、個々のブロックに機能を定義、プロ
グラミングするファンクション登録部６２があり、例え
ばユーザ定義の関数をプログラムすることができる。こ
の結果はブロックファンクションライブラリ６７へ登録
される。また、対象プロセスの応答データを格納した対
象データファイル６５からデータを読みだし、ブロック
関数モデリング部６３では最小２乗法によるパラメータ
推定機能により線形時系列モデルが推定され、ブロック
ファンクションライブラリ６７へ登録される。同様に、
ニューラルネットワーク学習部６４では対象プロセスデ
ータのうちの画像データ、音声データ等からバックプロ
パゲーション学習法によりニューラルネットワークの重
み係数を学習し、結果をニューラルネットワークライブ
ラリ６９へ登録する。この他、標準の各種関数ブロック
が標準ファンクションライブラリに登録されている。な
お、対象データファイル６５は、対象プロセスの応答デ
ータ、画像データ、音声データ等をデータ入力インター
フェイス７１を介して入力、記憶する。

【００６３】一方、対象データファイルの画像データ、
音声データから、対象プロセスの特定の運転状態におけ
る画像や音声を画像合成部７２、音声合成部７３にて合
成し、それぞれ画像モデルライブラリ７４、音声モデル
ライブラリ７５に登録することができる。例えば、図１
９の燃焼プロセスの例では、任意の燃料流量、空気流量
に対応した炎の画像データを、観測された複数の画像デ
ータを部分合成、補間することにより算出する画像モデ
ルが構築される。

【００６４】シミュレータ作成機能７０では、ブロック
結合マップ６６に記述された個々のブロックの機能属性
に応じてブロックファンクションライブラリ６７、標準
ファンクションライブラリ６８、ニューラルネットワー
クライブラリ６９、画像モデルライブラリ７４、音声モ
デルライブラリ７５から対応する関数やモデルを引き出
し、ブロック結合マップ６６に記述された結合関係に基
づいてシミュレータ全体を記述するシミュレータソース
ファイル７６を発生する。ソースファイルは例えばＦＯ
ＲＴＲＡＮ言語等で記述されている。これをコンパイラ
およびリンカ７７によりコンパイルとリンクし、シミュ
レータ実行ファイル７８が生成され、シミュレーション
実行機能８２にてシミュレーション演算が実行され、結
果がシミュレーション結果ファイル８３へ記述される。
なお、シミュレーションは、時間応答シミュレーション
機能７９、周波数応答シミュレーション機能８０、論理
シミュレーション機能８１等により制御され、それぞれ
対応したシミュレーションが実行される。

【００６５】図１７は、ブロック定義入力機能により、
ＣＲＴ画面上でシミュレータを構築する様子を示してい
る。ＣＲＴ画面下方には、各種ブロックのアイコンが表
示されている。例えば、ロジックレコーダ１００、応答
レコーダ９６、周波数レコーダ１０１はそれぞれ論理回
路の出力、時間応答、周波数応答を記録する場所を指定
する機能ブロックである。また、カメラ９７、マイク１
０２はそれぞれ画像モデルから発生する画像データや音
声モデルから発生する音声データを信号として取り込む
機能ブロックである。この他にもニューラルネットワー
クブロックを含む各種ブロックのアイコンが表示されて
おり、何れもマウス等のポインティングデバイスで指示
するだけで画面上の任意の位置に配置できる。例えば、
図中の例では、ステップ関数、白色ノイズ等の信号を発
生するファンクションジェネレータ９１、伝達関数で定
義される線形ブロック９２、リレー、リミッター、ヒス
テリシス特性等の非線形ブロック９３、ユーザがＦＯＲ
ＴＲＡＮ言語等でプログラミングしたユーザ定義関数９
４等を結合することにより制御対象の動特性モデルを構
成している。また、結合線の途中に応答レコーダ９６を
配置することにより、この結合線の信号の時間応答がシ
ミュレーション実行の際に記録される。また、制御対象
の内部状態を入力とした画像モデル９５からは状態に対
応した画像データが合成され出力される。これをカメラ
９７が受取り、ニューラルネットワーク９８により画像
認識が行われ、その認識結果から論理ブロック９９で定
義されたｉｆ…ｔｈｅｎ…型のプロダクションルールに
より対象プロセス内部状態が推定され、ロジックレコー
ダ１００へ記録される。このように、個々のブロックの
属性、配置、結合関係、記録媒体等を定義すれば、画像
データ、音声データ、ニューラルネットワークを含むシ
ミュレータが容易に定義できる。

【００６６】図１８は、構築されたシミュレータがコン
パイル、リンクされ、シミュレーションを実行した後、
結果をＣＲＴ画面上に表示した例を示している。種々の
シミュレーション結果が属性毎に異なるウィンドゥに表
示されている。例えば、論理シミュレーションウィンド
ゥ１１１では、ロジックレコーダ１００に記録された論
理ブロック９９内におけるｉｆ…ｔｈｅｎ…ブロックの
推論結果が発火したルールの系列で表示されている。時
間応答ウィンドゥ１１３では、応答レコーダ９６に記録
された信号波形の時間トレンドが表示されている。ここ
で、時刻指定カーソル１１６により特定の時刻を指定す
ると、そのときカメラ９７のとらえた画像データが画像
表示ウィンドゥ１１２に表示される。同様にそのときマ
イク１０２に入力された音声データがスピーカ５１_b に
て再生される。また、周波数応答シミュレーションを行
った場合は、周波数応答ウィンドゥ１１４にボード線図
等の形で表示される。これらの各種ウィンドゥはアイコ
ン１１５化したり、開いたりすることができる。

【００６７】上述したシミュレータ構築支援システム
は、ニューラルネットワークや画像モデル音声モデルを
含む複数の機能ブロックの結合からなるシミュレータを
容易に構築できるので、ビジュアルフィードバック制御
系やサウンドフィードバック制御系など画像データ、音
声データのニューラルネットワークによる認識機能を含
む制御ロジックの検証、制御性能評価が容易にできる。
また、個々のニューラルネットワークのブロックに対し
てはバックプロパゲーション学習機能、画像モデルや音
声モデルに対しては、それらの合成機能が用意されてお
り、個々のブロックを実際の対象プロセスに合わせて容
易にチューニングすることができる。特にニューラルネ
ットワークの階層構造化による信号認識回路の動作確認
が容易にできる。また、ニューラルネットワークを用い
た非線形特性モデリングなどの他の用途にも利用するこ
とができる。以上が本発明のシミュレータ構築支援シス
テムの実施例である。

【００６８】(5) 第５発明の実施例を図２０を参照し
て説明する。同図において、本願のビジュアルフィード
バック制御装置は、制御対象を撮影して得られる画像デ
ータの認識結果に基づき操作量を決定する第１制御演算
部１２４と、画像データ以外の制御対象のセンサ信号に
基づき操作量を決定する第２制御演算部１２５の二つの
制御演算部を備えている。第１制御演算部１２４に対し
ては、ＴＶカメラ１２９から入力された画像データがＬ
ＡＮを通じて入力インターフェイス１２１ａに取り込ま
れ、画像認識部１２２にて認識された結果を用いて、第
１制御演算部１２４にて最適な操作量が決定され、再び
出力インターフェイス１２７からＬＡＮを通してプラン
トのアクチュエータ１３０へ伝送される。

【００６９】一方、第２制御演算部１２５に対しては、
流量センサ、圧力センサ、温度センサ、レベルセンサ等
従来のプロセス制御に用いられていたセンサ信号が各種
センサ１３１からＬＡＮを通じて入力インターフェイス
部１２１ｂから取り込まれ、その信号に基づき第２制御
演算部１２５で最適な操作量が決定され、再び出力イン
ターフェイス１２７からＬＡＮを通してアクチュエータ
１３０へ伝送される。

【００７０】ここで、上述した、ＴＶカメラ１２９、入
力インタフェース部１２１_a 、画像認識部１２２、第１
制御演算部１２４、出力インタフェース部１２７及びア
クチュエータ１３０等からなるビジュアルフィードバッ
ク制御を第１制御モードと称する。また、各種センサ１
３１、入力インタフェース部１２１_b 、第２制御演算部
１２５、出力インタフェース部１２７及びアクチュエー
タ１３０等からなるフィードバック制御を第２制御モー
ドと称する。第１制御モードでは、観察画像から制御対
象の状態を判別するために図２１に示すようなニューラ
ルネットワークによる画像認識が画像認識部１２２で行
われる。まず、画像データに対し事前処理部１２２_a で
は、ノイズを除去し、特徴量（特徴パラメータ）を抽出
するために、平均化、エッジ検出等の事前画像処理が行
われる。次に、ニューラルネットワーク１２２_b におい
ては、予め数種類の画像タイプが仮定されており、事前
処理された画像データをニューラルネットワーク１２２
_b に入力すると、その画像がどのタイプに適合するかを
判定する。具体的には、タイプ１からタイプｎまでに対
する適合度が出力され、第１制御演算部１２４にて用い
られる。

【００７１】第２制御モードでは、第２制御演算部１２
５は、例えば図２２に示すように各種センサ１３１の出
力と目標値との差である制御偏差に対しＰＩＤ（比例、
積分、微分）演算を施すことにより操作量を算出するＰ
ＩＤ制御演算機能を持つ。また、この他に、最適レギュ
レータやファジィ制御やルールベースト制御などの制御
アルゴリズムを用いることも勿論可能である。

【００７２】次に、上述した２つの制御モードの切替動
作について説明する。図２０に示す画像認識確信度判定
部１２３では、図２３に示す制御切替アルゴリズムを実
行して第１及び第２の制御モードのうちいずれかの選択
を決定する。まず、ステップ１０１では画像データを取
り込む。ステップ１０２では、事前画像処理部１２２_a
の中で画像データの平均輝度Ｌ１および輝度分散Ｌ２を
求める。これらの量が、閾値Ｌ１_min ，Ｌ１_max ，Ｌ２
_min ，Ｌ２_max に対し、 Ｌ１_min ＜Ｌ１＜Ｌ１_max Ｌ２_min ＜Ｌ２＜Ｌ２_max を満たすなら画像データは正常であると判断して次ステ
ップ１０３へ、満たさなければ画像データは異常である
と判断してステップ１０５に移行する。ステップ１０３
では、事前画像処理部１２２_a の中で画像データの差分
処理によりエッジを検出した結果に対し、検出したエッ
ジの長さの合計Ｅｇを算出する。閾値Ｅｇ_min ，Ｅｇ
_max に対し、 Ｅｇ_min ＜Ｅｇ＜Ｅｇ_max を満たせば画像データは正常である判断して次ステップ
１０４へ、満たさなければ画像データは異常であると判
断してステップ１０５に移行する。ステップ１０４で
は、ニューラルネットワーク１２２_a の出力結果である
タイプ１〜ｎの夫々に対する適合度ｘ_i （ｉ＝1,…,
n）、及び閾値Ｘ_min に対し、 Ｘ_min ＜Ｘ_i を満たすＸ_i が一つ以上あれば、画像データは正常であ
る判断し、満たさなければ異常であると判断し、ステッ
プ１０５に移行する。ステップ１０５では、図２０のオ
ペレータ表示部１２８に対し、画像データの正常／異常
の判定結果の表示を指令する。同時に、現在が第１制御
モードで、結果が正常であれば、第１制御モードを継続
するべく、ステップ１０８において第１制御演算部１２
４に動作指令を発令する。同様に、現在が第２制御モー
ドで、結果が異常であれば、そのモードを継続するべ
く、ステップ１０９で第２制御演算部１２５に動作指令
を発令する。それ以外の場合は、ステップ１０６でオペ
レータ表示部１２８へ警告メッセージを表示し、運転員
に制御モードの切替えを促す。運転員は状況を確認した
上でステップ１０７においてモード切替指令を入力す
る。このとき、いままでの制御モードが他のモードへ切
替えられる。

【００７３】なお、運転員の確認をとらずに、図２０に
示すように画像認識確信度判定部１２３の出力によって
自動的に制御モードを切り替えることもできる。モード
が切替えられた後は、ステップ１０８または１０９にて
対応する制御演算部に動作指令を発令し、他方の動作の
停止を指令して、再びステップ１０１へ戻り、制御状態
の異常の発生を監視する。また、他方の制御演算部の動
作の停止を指令することなく、選択された一方の制御演
算部の出力をのみを信号スイッチ１２６を介して出力イ
ンタフェース部１２７に中継する構成としても勿論良
い。

【００７４】こうして、テレビカメラの撮影画像に汚れ
や画面の曇り等によってノイズが増大し、正確なビジュ
アルフィードバック制御が困難な状態になると、他の制
御態様に切替えられてプラント運転の安全確保やエラー
操作の防止が図られる。

【００７５】以上が本発明の制御装置および制御モード
切替方式である。

【００７６】(6) 第６発明の実施例を図２４に示す。
同図においては、高速伝送ＬＡＮ１４５と、信頼性を重
視している低速伝送ＬＡＮ１４６とを有する。高速伝送
ＬＡＮ１４５はＴＶカメラ１４１、中・大型コンピュー
タ１４２、ＯＩＳ１４３等が接続されている。一方、低
速伝送ＬＡＮ１４６には、中・大型コンピュータ１４
２、ＯＩＳ１４３、ＶＦＢＣ１４４及び、その他の制御
機器が接続されている。

【００７７】ＴＶカメラ１４１から取り込んだ高密度の
画像データは、高速ＬＡＮ１４５を通じて中・大型コン
ピュータ１４２へ渡され、そこで画像データの事前処
理、認識などの大容量演算が行われ、処理結果が低速伝
送ＬＡＮ１４６を通じてＶＦＢＣ１４４へ伝送される。
この処理結果は、もとの高密度画像データに比べ、情報
を圧縮、加工したものになっており、データの総量は低
減されている。ＶＦＢＣ１４４では、画像データの処理
結果を受け、それに応じた操作量を演算し、制御対象の
アクチュエータに伝送する。同時に、操作量信号を低速
伝送ＬＡＮ６を通じてＯＩＳ１４３へ伝送する。ＯＩＳ
１４３では、低速伝送ＬＡＮ１４６から分散制御システ
ム全体の情報を集め、集中管理すると同時に、高速伝送
ＬＡＮ１４５から高密度画像データを取り込み、モニタ
画面に再生することにより、運転員に高密度画像を提示
することができる。

【００７８】他の第２の実施例を図２５に示す。同図に
おいては、ＴＶカメラ１４１とＶＦＢＣ１４４が一体化
しており、低速伝送ＬＡＮ１４６に接続されている。そ
の他の制御機器であるＯＩＳ１４３、ＰＣＳ１４７等が
接続されている。ＴＶカメラ１４１から取り込んだ高密
度画像データは、直接ＶＦＢＣ１４４に引き渡され、画
像の事前処理、認識処理を行った後、情報圧縮、加工し
た画像データを低速伝送ＬＡＮ１４６にのせて、ＯＩＳ
１４３へ送る。ＯＩＳ１４３では、画像データを再生す
ることにより、操作員がモニタすることができる。

【００７９】

【発明の効果】

(1) 第１発明のビジュアルフィードバック制御装置に
おいては、制御対象の観察画像の未来の動きを予測し、
予測される画像を考慮したビジュアルフィードバック制
御が実現可能である。特に、制御対象の画像情報が制約
条件を満たしながら目標画像になるべく一致するような
最適制御が可能である。

【００８０】(2) 第２発明のプログラマブルコントロ
ーラにおいては、制御対象の画像情報や音情報に基づい
て状態を判断し、対応する制御動作を実行できるため、
操作員の感性に基づく運転手順やノウハウを容易にプロ
グラム化でき、人間の手動運転に近い制御動作の実現が
可能となる。また、画像、音等の情報認識にニューラル
ネットワークを用いることにより、曖昧かつ抽象的な判
断を簡単に学習させ、従来の閾値によるｉｆ…ｔｈｅｎ
…型のロジックと同レベルで簡単にプログラムに組込む
ことが可能になる。

【００８１】(3) 第３の発明のエキスパートシステム
では、知識ベースとして用いるプロダクションルールの
中で、人間の視覚、聴覚による判断ロジックを簡単に記
述できる。推論過程で、これらの判断すなわち、画像デ
ータ、音データの認識をニューラルネットワークにより
処理するため、複雑な情報認識を自動化できる。従って
プラント運転員の視覚・聴覚情報による直観的判断、推
論をエキスパートシステムでリアルタイムに実行するこ
とにより、人間に近いプラントの監視、運転支援を実現
できる。また、学習機能により新たな認識機能を容易に
追加したり、既存の認識機能を修正したりでき、メンテ
ナンス効率がよい。情報認識機能群の複数のニューラル
ネットワークを格納する認識関数データベースにより、
各種の認識機能を標準化し、プロダクションルール構築
の段階で自由に引用し使うことができ、エキスパートシ
ステムの構築の効率化が図れる。

【００８２】(4) 第４の発明のシミュレータ構築支援
システムは、ニューラルネットワークや画像モデル音声
モデルを含む複数の機能ブロックの結合からなるシミュ
レータを容易に構築できるので、ビジュアルフィードバ
ック制御系やサウンドフィードバック制御系など画像デ
ータ、音声データのニューラルネットワークによる認識
機能を含む制御ロジックの検証、制御性能評価が容易に
できる。

【００８３】(5) 第５の発明の制御装置では、画像デ
ータの信頼性を常にチェックすることにより、ビジュア
ルフィードバック制御系の信頼性が低下したとき、従来
型制御則に切替えることでビジュアルフィードバック制
御系の異常動作を防止することが可能となる。また、従
来制御方式の状態で、画像データの信頼性が回復した時
点で、ビジュアルフィードバック制御動作を再起動する
ことができ、総合的に信頼性の高いフィードバック制御
系の実現が可能となる。

【００８４】(6) 第６の発明の分散型制御システムで
は、高速及び低速の二つのＬＡＮを用い、リアルタイム
の画像データを高速ＬＡＮを介してコンピュータに与え
て画像処理し、処理された後の容量の減少した画像デー
タを低速ＬＡＮを介してビジュアルフィードバック制御
装置に与える構成としているので、大量の画像データの
伝送をスムーズに行うと同時に、他の制御信号を従来ど
おりの高い信頼性を保ちながら伝送することができる。

【図面の簡単な説明】

【図１】本発明のモデル予測型ビジュアルフィードバッ
ク制御装置の構成例を示すブロック図。

【図２】ヒューマンインターフェイス部の構成を示すブ
ロック図。

【図３】画像ダイナミクスシミュレータの学習動作を表
す説明図。

【図４】画像ダイナミクスシミュレータの予測動作を表
す説明図。

【図５】目標画像、制約条件の設定を行うインタフェー
ス画面を示す説明図。

【図６】本発明のプログラマブルコントローラの構成例
を示すブロック図。

【図７】プログラミングツールを説明する説明図。

【図８】ボイラ制御系に対する本コントローラの適用例
を示すブロック図。

【図９】学習ツールを説明する説明図。

【図１０】従来のプログラマブルコントローラの構成例
を示すブロック図。

【図１１】本発明のエキスパートシステムの構成例を示
すブロック図。

【図１２】従来型エキスパートシステムの構成例を示す
ブロック図。

【図１３】構築支援インターフェイス画面の例を示す説
明図。

【図１４】プロダクションルールの概要を示す説明図。

【図１５】シミュレータ構築支援システムのハードウェ
ア構成を示すブロック図。

【図１６】シミュレータ構築支援システムのソフトウェ
ア構成を示すブロック図。

【図１７】ブロック図定義用のインタフェース画面の例
を示す説明図。

【図１８】シミュレーションの結果を表示するインタフ
ェース画面の例を示す説明図。

【図１９】燃焼プロセスにおけるビジュアルフィードバ
ック制御系の構成を示すブロック図。

【図２０】ビジュアルフィードバック制御ループ及び非
ビジュアルフィードバック制御ループを持つ制御装置の
構成例を示すブロック図。

【図２１】画像認識部１２２の構成例を示すブロック
図。

【図２２】従来型制御演算部１２５の構成例を示すブロ
ック図。

【図２３】画像認識確信度判定部１２３における判定ア
ルゴリズムを示すのフローチャート。

【図２４】分散型制御システムの構成例を示すブロック
図。

【図２５】分散型制御システムの他の構成例を示すブロ
ック図。

【図２６】従来の分散型制御システムの構成例を示すブ
ロック図。

【符号の説明】

１ プラント（制御対象） ２ ＴＶカメラ ３ 画像・操作量データ記憶部 ４ 画像ダイナミクスシミュレータ（ニューラルネット
ワーク） ５ 予測画像表示部 ６ 制約条件設定部 ７ 目標画像設定部 ８ 制御性能判定部 ９ 操作量最適化部 １０ スイッチ １１ アクチュエータ １２ ヒューマンインターフェイス部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 篠 原 和太郎 神奈川県川崎市幸区小向東芝町１ 株式 会社東芝 研究開発センター内 (72)発明者 大 矢 純 子 神奈川県川崎市幸区小向東芝町１ 株式 会社東芝 研究開発センター内 (72)発明者 千 田 有 一 神奈川県川崎市幸区小向東芝町１ 株式 会社東芝 研究開発センター内 (72)発明者 村 井 雅 彦 神奈川県川崎市幸区小向東芝町１ 株式 会社東芝 研究開発センター内 (56)参考文献 特開 平４−73286（ＪＰ，Ａ) 特開 昭60−245001（ＪＰ，Ａ) 林真司、外２名、「回収ボイラインテ リジェント制御」、東芝レビュー、株式 会社オーム社、平成３年12月１日、第46 巻、第12号、Ｐ．943−946 稲葉則夫、「ニューラル・ネットをパ ターン認識，信号処理，知識処理に使 う」、日経エレクトロニクス、昭和62 年、1987年８月10日号（Ｎｏ．427）、 Ｐ．115−124、特にＰ．119の記載を参 照 岡本嗣男、外３名著、「生物にやさし い知能ロボット工学」、第１刷、実教出 版株式会社、平成４年４月１日、Ｐ．43 −50 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05B 11/00 - 13/04 G06N 3/00 C21B 5/00 H04L 11/00

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】制御対象を観察して画像データを発生する
   撮影手段と、 少なくとも前記画像データ及び前記制御対象に供給され
   る操作量データを経時的に記憶する記憶手段と、 記憶された画像データ、操作量データ及び未来の操作量
   を前記制御対象の未来の画像を予測する予測モデルに与
   えて未来の予測画像を得る画像予測手段と、 前記予測画像の、目標画像に対する差分及び制約条件に
   対するペナルティーコストから、制御性能指数を求める
   と共に、この制御性能指数に基く操作量を求め、前記制
   御性能指数が改善の余地ありと判断した場合は、この求
   めた操作量を前記画像予測手段に未来の操作量として与
   え、改善の余地なしと判断した場合は制御対象に対する
   操作量として出力させる操作量演算手段と、 を備えるビジュアルフィードバック制御装置。