JP3240808B2 - マルチメディア・プロセス監視・制御装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、各種産業分野で使用さ
れているマルチメディア・プロセス監視・制御装置に関
する。

【０００２】

【従来の技術】従来、マルチメディアによるプロセス監
視装置として各種のものが提案されている。例えば、谷
正之他による論文「映像への直接操作を用いたプラン
ト運転監視用マン・マシンインターフェース」（電気学
会論文誌Ｄ，１１１巻１２号，平成３年，１０２３〜１
０３０頁）に記載のものや、本出願人がすでに出願した
特開平５−３３４４３８号「カメラ映像内の物体位置の
マッピング方法及び物体同定方法」がある。また、マル
チメディア・プロセス監視・制御装置の一例としては、
図２０に示すプラント監視システムがある。

【０００３】これは図示されるように、カメラ１とマイ
ク２がプラント現場の状況を映像と音により監視するた
めに設置され、カメラ１により撮像された映像信号は画
像録画装置３へ送られ、マイク２により採取された音声
信号は音声録音装置４へ送られる。画像録画装置３は、
入力された映像信号をそのまま重畳器５へ送るととも
に、映像信号を録画し、必要に応じて再生する。音声録
音装置４は、入力された音声信号をそのままスピーカ１
２へ送り再生するとともに、音声信号を録音する。プロ
セスデータコントローラ６は、プラントに関するプロセ
スデータの入出力の制御を行う。

【０００４】計算機８は、ＣＰＵ９，補助記憶装置１
０，コンソール１１，プロセスデータ入出力部２０等か
らなり、プロセスデータコントローラ６により入出力さ
れるプロセスデータをプロセスデータ入出力部２０を経
由して補助記憶装置１０へ一時格納するとともに、プロ
セスデータを重畳器５へ送る。重畳器５は、映像信号と
プロセスデータを重畳して、マルチウィンドウディスプ
レイ７へ送り表示させる。その結果、操作員はコンソー
ル１１を操作しながらディスプレイ７およびスピーカ１
２によりプロセスの監視を行うことができる。

【０００５】図２１は上記のディスプレイ７に、トレン
ドデータをグラフ１３として表示した例であり、図２２
はさらにカメラ１により撮像された画像１４を加えて表
示したものである。操作員はこれらのディスプレイ７を
監視し、異常が発生した場合、ディスプレイ７に表示さ
れているプラント系統図やプロセスデータから異常箇所
を探して復旧等の処理を行うことができる。

【０００６】

【発明が解決しようとする課題】しかしながら、これら
の管理システムでは、次のような欠点があった。 （１）異常が発生した場合に異常箇所に対する復旧処理
を実行してしまうと、詳細な原因解析が困難となり、異
常についての原因解析がその場限りとなっていた。これ
は画像データ、音声データ、プロセスデータが、各々独
立して記録されていることにより、異常発生時前後のデ
ータを単独で個々に再生することは容易であるものの、
各データを互いに同期させて再現することが困難である
からである。 （２）マルチメディアによる構成であるため、画像・音
声データを蓄積する場合、大容量の記憶装置を必要と
し、またその処理も大規模になる。

【０００７】（３）監視対象から採取された各種データ
は互いに関連があるにもかかわらず、異常の有無の判別
等に有効に活用されていない。 （４）オペレータは入力データの異常の有無を検出しよ
うとすると、常にディスプレイを監視しなければなら
ず、ディスプレイから目を離したときに異常が発生して
しまうと、異常への対応が遅れてしまうことがある。 （５）また、オペレータが完全にディスプレイ等の監視
装置から席を外している間に異常が発生した場合は、監
視区域にいる侵入者に対して異常発生について警告する
ことができない。

【０００８】（６）オペレータがマイクにより音声を入
力する場合は、その都度、入力操作をしてからでないと
音声入力ができないという煩わしさがある。 （７）監視対象に多数のセンサを設置して、監視対象に
関する状態量を検知することがあるが、その場合、検知
された状態量は単に画面に数値表示されるだけで、監視
対象画面上に効果的に表示されることがない。 本発明は上記各問題点をそれぞれ解決するためになされ
たもので、その目的とするところは、マルチメディアを
活用した各種機能を付加するとともに使い勝手にすぐれ
た高性能なマルチメディア・プロセス監視・制御装置を
提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、監視対象を撮像して得た画像データ
および監視対象に関して入出力されるプロセスデータを
ディスプレイに表示するとともに、監視対象から採取し
た音声データをスピーカから再生するマルチメディア・
プロセス監視・制御装置において、前回入力されたプロ
セスデータと最新のプロセスデータとを比較し同一か否
かを判別してプロセスデータの状態変化を検出する手段
と、プロセスデータの状態変化が検出された場合には、
同時に取得された画像データ、プロセスデータおよび音
声データを一組とするフレーム単位で、また、プロセス
データの状態変化が検出されない場合には、同時に取得
された画像データおよび音声データを一組とするフレー
ム単位で、リアルタイムかつサイクリックに主記憶装置
へ格納する手段と、異常検出によりデータを退避する場
合、プロセスデータがあるフレームはそのまま主記憶装
置に格納された画像データ、プロセスデータおよび音声
データをフレーム単位で補助記憶装置へ格納して退避さ
せ、また、プロセスデータがないフレームには最後にプ
ロセスデータが格納された他のフレームからプロセスデ
ータを読み取って、画像データおよび音声データと共に
フレーム単位で補助記憶装置へ格納して退避させる手段
と、補助記憶装置に格納退避された各データをフレーム
単位で読み取り、各データをそれぞれ同期させてディス
プレイおよびスピーカにより再生する手段とを備えたこ
とを特徴とする。

【００１０】第２の発明は、第１の発明において、画像
データ、音声データおよびプロセスデータごとに、正常
状態から異常状態までの複数段階のリファレンスデータ
を記憶した記憶手段と、入力された各データとリファレ
ンスデータを比較演算し得られた類似度から入力データ
の異常度を算出する手段と、入力データの異常度を予め
設定されている閾値と比較して入力データが正常か異常
かを判別して異常の場合に異常検出信号を出力する手段
とを備えたことを特徴とする。

【００１１】第３の発明は、第２の発明において、入力
データの異常度ごとに異常発生報知用の音声パターンを
予め記憶した記憶手段と、異常検出信号が出力されると
入力データの異常度に対応する異常発生報知用の音声パ
ターンを記憶手段から読み出してスピーカで再生する手
段とを備えたことを特徴とする。

【００１２】第４の発明は、第２の発明において、マイ
クを介して入力された入力データの異常度ごとの警告用
音声メッセージを記憶手段へ記憶しておく手段と、異常
検出信号が出力されると入力データの異常度に対応する
警告用音声メッセージを記憶手段から読み出して監視対
象側に設置されたスピーカで再生する手段とを備えたこ
とを特徴とする。

【００１３】第５の発明は、第１の発明から第４の発明
において、オペレータ用マイクから入力された音声デー
タを順次蓄える音声データ記憶手段と、最新の音声デー
タとそれ以前の音声データとの相関値を算出する演算手
段と、相関値が所定値以下の場合に、オペレータ用マイ
クから入力された音声データを内部の音声データ処理部
へ取り込む手段とを備えたことを特徴とする。

【００１４】第６の発明は、第１の発明から第５の発明
において、監視対象に設置された複数のセンサと、セン
サ位置とセンサ検知量からディスプレイに表示される監
視対象画面に対応する検知量の二次元分布グラフを作成
する手段と、二次元分布グラフをディスプレイの監視対
象画面に重畳表示する手段とを備えたことを特徴とす
る。

【００１５】これら第１〜第６の発明は何れもマルチメ
ディアを活用するものであり、使い勝手の向上が計られ
ている。

【００１６】

【作用】第１の発明においては、監視対象を撮像して得
られた画像、監視対象に関して入出力されるプロセスデ
ータおよび監視対象から採取された音声がリアルタイム
かつサイクリックに主記憶装置へ格納される。監視対象
に異常が検出された場合、その前後の一定期間に主記憶
装置に格納された各データがいったん補助記憶装置へ退
避され、次に退避された各データが読み取られディスプ
レイおよびスピーカに互いに同期して再生される。

【００１７】第２の発明においては、監視対象に関して
入出力されるプロセスデータとすでに入力されて主記憶
装置に格納されている最新のプロセスデータとが比較さ
れ同一か否かが判別される。こうしてプロセスデータの
状態変化が検出された場合にのみプロセスデータが主記
憶装置へ格納される。それにより、同一のプロセスデー
タが連続して主記憶装置へ格納されることがなくなる。

【００１８】第３の発明においては、画像、音声および
プロセスデータごとに、正常状態から異常状態までの複
数段階のリファレンスデータが予め記憶され、入力され
た各データとリファレンスデータが比較演算され得られ
た類似度から入力データの異常度が算出される。次に、
入力データの異常度が予め設定されている閾値と比較さ
れて入力データが正常か異常かが判別される。

【００１９】第４の発明においては、入力データの異常
度ごとに異常発生報知用の音声パターンが予め記憶手段
に記憶されており、異常検出信号が出力されると入力デ
ータの異常度に対応する異常発生伝達用の音声パターン
が記憶手段から読み出されてスピーカにより再生され
る。それにより、オペレータは聴覚により異常の発生お
よびその程度を認識することができる。

【００２０】第５の発明においては、入力データの異常
度ごとの警告用音声メッセージがマイクを介して入力さ
れると記憶手段へ記憶される。それにより、異常検出信
号が出力されたとき、入力データの異常度に対応する警
告用音声メッセージが記憶手段から読み出されて監視対
象側に設置されたスピーカにより再生されて、監視区域
の侵入者へ異常発生の警告が与えられる。

【００２１】第６の発明においては、オペレータ用マイ
クから入力された音声データが音声データ記憶手段に順
次蓄えられ、その最新の音声データとそれ以前の音声デ
ータとの相関値が算出される。得られた相関値が所定値
以下の場合に、オペレータ用マイクから入力された音声
データが内部の音声データ処理部へ取り込まれる。

【００２２】第７の発明においては、監視対象に複数の
センサが設置され、そのセンサ位置とセンサ検知量から
ディスプレイに表示される監視対象画面に対応する検知
量の二次元分布グラフが作成される。さらに、作成され
た二次元分布グラフがディスプレイの監視対象画面に重
畳表示される。

【００２３】

【実施例】以下、図に沿って本発明の実施例を説明す
る。図１は第１の発明に係る第１の実施例の全体構成を
示すブロック図である。図において、監視カメラ１は監
視対象を撮像し、画像信号を計算機８内の画像処理装置
１７へ送る。マイク２は監視対象から音声を採取し、音
声信号を計算機８内の音声処理装置１８へ送る。プロセ
スデータコントローラ６は計算機８に接続され、監視対
象のプロセスに関して入出力されるデータの制御を行う
とともに、そのデータを計算機８内のプロセスデータ入
出力部２０へ送る。マルチウィンドウディスプレイ７
は、計算機８内の画像処理装置１７から送られた画像信
号を表示する。

【００２４】スピーカ１２は計算機８内の音声処理装置
１８から送られた音声信号を再生する。計算機８は、バ
ス１９に接続されたＣＰＵ９、主記憶装置１６、補助記
憶装置１０、画像処理装置１７、音声処理装置１８、プ
ロセスデータ入出力部２０およびコンソール１１からな
り、各データの入出力を管理する。すなわち、計算機８
は監視カメラ１から画像処理装置１７へ入力された画像
信号、およびコントローラ６から得られるプロセスデー
タをディスプレイ７に表示させるとともに、主記憶装置
１６へ両データを格納する。また、計算機８はマイク２
から音声処理装置１８へ入力された音声信号をスピーカ
１２へ送るとともに、主記憶装置１６へ格納する。

【００２５】図２は、画像処理装置１７の内部構成を示
すブロック図である。画像処理装置１７は、Ａ／Ｄ変換
器２１，画像データ圧縮復元装置２２，イメージメモリ
２３，Ｄ／Ａ変換器２４からなる。Ａ／Ｄ変換器２１
は、監視カメラ１からの画像信号をディジタル信号に変
換して、画像データ圧縮復元装置２２およびイメージメ
モリ２３へ送る。

【００２６】画像データ圧縮復元装置２２はＡ／Ｄ変換
器２１からの画像データを圧縮してバス１９へ出力する
とともに、データ再現時にバス１９から入力される圧縮
画像データを復元してイメージメモリ２３へ送る。イメ
ージメモリ２３には入力された画像データが格納される
とともに、所定のタイミングで画像データがＤ／Ａ変換
器２４へ送られる。Ｄ／Ａ変換器２４はディジタル信号
からなる画像データをアナログの画像信号に変換してデ
ィスプレイ７へ出力する。

【００２７】図３は、音声処理装置１８の内部構成を示
すブロック図である。音声処理装置１８は、Ａ／Ｄ変換
器２５，音声データ圧縮復元装置２６，Ｄ／Ａ変換器２
７，音声データメモリ２８からなる。Ａ／Ｄ変換器２５
は、マイク２からの音声信号をディジタル信号に変換し
て、音声データ圧縮復元装置２６へ送る。音声データ圧
縮復元装置２６はＡ／Ｄ変換器２５からの音声データを
そのままＤ／Ａ変換器２７へ送るとともに、音声データ
を圧縮してバス１９へ出力し、さらに、圧縮復元装置２
６はデータ再現時にバス１９から入力される圧縮音声デ
ータを復元してＤ／Ａ変換器２７へ送る。

【００２８】上記構成の装置において、コントローラ６
に入力されるプロセスデータ等から異常が検出された場
合、異常検出前後の一定期間に主記憶装置１６へ格納さ
れた各データを補助記憶装置１０へ退避させる。次い
で、退避した各データを同時にしかも同期させながらデ
ィスプレイ７およびスピーカ１２へ送り再現する。

【００２９】図４は主記憶装置１６への各データの格納
手順を示す説明図である。主記憶装置１６内のデータ格
納領域２９は、画像データ、音声データ、プロセスデー
タがフレームごとに１組として格納される領域である。
主記憶装置１６内のデータ管理領域３０は、データ格納
領域２９に格納される画像データ、音声データ、プロセ
スデータの主記憶アドレスが１組（フレーム）ごとに格
納されるとともに、最新格納フレーム番号および最終格
納フレーム番号が格納される。最新格納フレーム番号の
初期値は１であり、このフレーム１に該当する画像格納
アドレスにはデータ格納領域２９の先頭アドレスが格納
される。これら領域２９，３０への格納処理は次のよう
に行われる。

【００３０】先ず、データ管理領域３０内に示される最
新格納フレーム番号に該当する画像再格納アドレスが示
すデータ格納領域２９のアドレスに画像データを格納す
る。格納後、データ管理領域３０内の同じフレーム番号
に該当する音声格納アドレス領域に、データ格納領域２
９に格納された最後尾画像データの次のアドレスを格納
する。次に、同じフレーム番号に該当する音声格納アド
レスが示すデータ格納領域２９のアドレスに音声データ
を格納する。格納後、データ管理領域３０内の同じフレ
ーム番号に該当プロセスデータ格納アドレス領域にデー
タ格納領域２９に格納された最後尾音声データの次のア
ドレスを格納する。次に、同じフレーム番号に該当する
プロセスデータ格納アドレスが示すデータ格納領域２９
のアドレスにプロセスデータを格納する。

【００３１】プロセスデータ格納後、主記憶格納装置１
６のデータ格納限界アドレスと最後尾プロセスデータの
次のアドレスを比較する。その結果、画像データ、音声
データ、プロセスデータの１組分が格納可能であれば、
データ管理領域２９内の最新格納フレーム番号を更新し
その番号に該当する画像データ格納アドレス領域に今比
較した最後尾プロセスデータの次のアドレスを格納す
る。また比較の結果が格納不可能であれば、データ管理
領域２９内の最新格納フレーム番号を１にし、最終フレ
ーム番号領域に最終フレーム番号を格納する。このよう
に、最終フレームまでデータが格納されたならば、次は
先頭フレーム番号へ戻り、各データは、データ格納領域
２９へサイクリックに格納するように管理する。

【００３２】この実施例では、監視対象のプロセスに異
常が検出された場合、オペレータがコンソール１１等に
よりデータ再現の命令を入力すると、異常の検出と同時
に主記憶装置１６から補助記憶装置１０へ退避された異
常発生時点前後の各データが、画像処理装置１７および
音声処理装置１８により復元されてディスプレイ７およ
びスピーカ１２に送られて再現される。このとき各デー
タは同期しながら再現されるため、異常の原因を多面的
に解析することが可能となる。その結果、従来に比べ異
常発生時における対応処理を効率よくしかも的確に行う
ことが可能になる。さらに、復旧操作の妥当性について
の再調査も的確に行うことが可能になる。

【００３３】図５は第１の発明に係る第２の実施例の全
体構成を示すブロック図である。この実施例は、監視対
象とオペレータ側の装置本体とが離れているため、両者
の間を時分割多重伝送装置（ＴＤＭ）３２，４０を介し
て伝送路３８で接続したものである。すなわち、図にお
いて、監視カメラ１からの画像信号およびマイク２から
の音声信号は、それぞれＴＤＭ３２内の動画像圧縮部３
３および音声圧縮部３４に入力され、ディジタル信号に
変換されて圧縮される。同様に、プロセスデータコント
ローラ６も、ＴＤＭ３２内のプロセスデータ入出力部３
６に接続されて計測データや機器の設定データ等のプロ
セスデータの入出力が行われる。圧縮された画像デー
タ、音声データおよびプロセスデータは伝送制御部３７
で時分割により多重化されて伝送路３８に出力される。

【００３４】次に、伝送路３８の他端に接続されている
ＴＤＭ４０および計算機５０について、図６により説明
する。図６はＴＤＭ４０および計算機５０を詳細に示し
たブロック図であり、伝送路３８を介してＴＤＭ４０に
入力されたデータは、伝送制御部４１により分離され
る。分離された画像データは、時分割多重バス４６を介
し動画像圧縮・伸長部４７へ送られ、同じく、音声デー
タは音声圧縮・伸長部４８へ送られ、プロセスデータは
プロセスデータ送受信部４９へ送られる。

【００３５】動画像圧縮・伸長部４７は入力された画像
データを伸長して、計算機５０内のフレームメモリ５４
へ送る。音声圧縮・伸長部４８は入力された音声データ
を伸長して外部のスピーカ１２へ送り再生するととも
に、マイク３９に入力された音声が入力される。また、
動画像圧縮・伸長部４７および音声圧縮・伸長部４８は
計算機５０内のディジタルインターフェース（ＩＦ）５
５と接続されているため、画像・音声データが計算機５
０内に取り込まれるとともに、計算機５０から画像・音
声データがＴＤＭ４０へ送出されることも可能である。

【００３６】さらに、プロセスデータ送受信部４９は計
算機５０内のプロセスデータ入出力部５６と接続され、
相互間でプロセスデータの送受信が行われる。これらフ
レームメモリ５４、ディジタルＩＦ５５、プロセスデー
タ入出力部５６は、バスを介してＣＰＵ５１、主記憶装
置５２、補助記憶装置５３と接続されている。また、フ
レームメモリ５４には、マルチウィンドウディスプレイ
７および大型ディスプレイ５８が接続されて、監視対象
の映像やプロセスデータ等が表示される。

【００３７】図７はディジタルＩＦ５５の内部構成を示
すブロック図である。ディジタルＩＦ５５は、制御部６
１，６２およびＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓ
ｔＯｕｔ）機能を有する入出力バッファ６３，６４から
構成され、ＴＤＭ４０および計算機５０のＣＰＵ５１の
双方からアクセス可能である。すなわち、ＴＤＭ４０か
らアクセスするときは、ＴＤＭ４０の同期クロックによ
り、ＣＰＵ５１がアクセスするときは、ＣＰＵ５１のア
クセスクロックにより制御部６１，６２を作動させて入
出力バッファ６３，６４をアクセスする。

【００３８】図８はＴＤＭ４０内の動画像圧縮・伸長部
４７の内部構成を示すブロック図である。動画像圧縮・
伸長部４７は、時分割多重インターフェース（ＩＦ）６
５，シリアル制御部６６，切替え器（ＭＵＸ）６７，伸
長部６８，Ｄ／Ａ変換器６９，圧縮部７０，Ａ／Ｄ変換
器７１により構成されており、切替え器６７を切替える
ことにより、時分割多重バス４６から時分割多重ＩＦ６
５を介して入力されたデータと計算機５０から入力され
たデータのいずれかが選択されてから、伸長部６８，Ｄ
／Ａ変換器６９を介してアナログ出力される。また、音
声圧縮・伸長部４８についても、その内部構成が上述し
た動画像圧縮・伸長部４７と同一である。

【００３９】以上のように構成された第２の実施例で
は、ＴＤＭ３２において圧縮された音声・画像データが
時間的に連続して伝送路３８、ＴＤＭ４０を介して、計
算機５０内のディジタルＩＦ５５に入力されると、ディ
ジタルＩＦ５５内の入出力バッファ６３，６４にいった
ん蓄えられた後に、ＣＰＵ５１のアクセスにより主記憶
装置５２上に格納される。格納手順および異常時の補助
記憶装置５３への退避については、第１の実施例と共通
であるので説明を省略する。

【００４０】また、補助記憶装置５３へ退避したデータ
を再現する場合は、ＴＤＭ４０内の動画像圧縮・伸長部
４７，音声圧縮・伸長部４８のそれぞれの切替え器６７
を切替えることにより、データ経路が計算機５０からの
ディジタル入力に切替えられて、補助記憶装置５３から
読み出された画像・音声データがマルチウィンドウディ
スプレイ７または大型ディスプレイ５８、スピーカ１２
に同期して再現される。その結果、この実施例について
も、第１の実施例と同様な効果が得られる。

【００４１】次に、第１の発明に係る第３の実施例につ
いて説明する。この実施例は、第１、第２の実施例にお
いて、計算機８，５０内の主記憶装置１６，５２にプロ
セスデータを格納する際のＣＰＵ９，５１の処理に関す
る。図９は第３の実施例の動作を示す説明図である。図
において、主記憶装置１６，５２のデータ格納領域２９
にはフレーム単位で採取された画像データ、音声デー
タ、プロセスデータがフレームごとに全て格納される。
最初のフレーム１に関しては、画像データ、音声デー
タ、プロセスデータが全て格納される。

【００４２】次のフレーム２については、採取されたプ
ロセスデータをフレーム１のプロセスデータと比較し、
同じであるか否かを判別する。同じである場合は、フレ
ーム２についてはプロセスデータを格納することなく画
像データ、音声データだけを格納する。以下、フレーム
３についても、プロセスデータをフレーム１と比較す
る。図示例ではフレーム３の場合もフレーム１と変わら
ないため、格納を省略する。次のフレーム４で、初めて
プロセスデータに変化が認められプロセスデータが格納
される。

【００４３】次からは、新たに格納されたフレーム４の
プロセスデータとの変化が監視される。なお、プロセス
データが格納されなかったフレームについては、プロセ
スデータがその前に最後に変化があって格納されている
プロセスデータと同一であるため、データ管理領域３０
のプロセス格納アドレスに、同一のプロセスデータが格
納されているデータ格納領域２９のアドレスを書き込ん
でおく。それにより、後にデータを補助記憶装置１０，
５３へ退避させる場合に、格納が省略されたプロセスデ
ータを他のフレームから読み取ることによりフレーム単
位で各データを退避させることができる。

【００４４】なお、データ管理領域３０とデータ格納領
域２９との関係は、図４に示される第１の実施例と同じ
であるので説明を省略する。この実施例では上述したよ
うに、プロセスデータに変化があった場合のみプロセス
データがデータ格納領域２９に格納され、その分、多量
の画像データが格納可能となり、データ格納領域２９が
有効に用いられることになる。特に、画像については、
符号化された画像データが多いほど高画質となり、異常
発生時の原因解析に使用される画像データの情報量が増
し、異常原因の解明が容易になる。

【００４５】次に、第２の発明に係る第４の実施例につ
いて説明する。この実施例は第２の実施例において、計
算機５０に入力された画像・音声、プロセスデータに基
づき、ＣＰＵ５１の処理により監視対象の異常およびそ
の程度を自動的に検出するようにしたものである。図１
０は第４の実施例の処理動作を概念的に示したブロック
図である。図において、画像データ、音声データが入力
されると、予め用意されているリファレンス画像データ
８１、リファレンス音声データ８２と演算部８４，８５
においてそれぞれ比較演算される。

【００４６】リファレンス画像データ８１、リファレン
ス音声データ８２は、それぞれの正常な状態から異常な
状態までをＮ段階に分けて作成されたデータである。こ
こで正常データは実際に正常に動作している状態から採
取されたデータが用いられ、異常データは過去に実際に
発生したデータや異常を想定して人為的に作成したデー
タが用いられる。また、プロセスデータが入力される
と、演算部８６において予め用意されているリファレン
スプロセスデータ８３と比較演算される。リファレンス
プロセスデータ８３は基準となる数値の上限値と下限値
とからなる。

【００４７】さらに、演算部８４，８５では、入力され
た現在のデータと各リファレンスデータについて、各サ
ンプルごとの差分の絶対値の総和を比較し、相関演算に
よってどのパターンに近いかが演算される。なお、演算
部８４，８５での演算結果はおおよその結果で良いた
め、画像データについてはＤＣＴ（離散コサイン変換）
の低域成分あるいは直流成分のみを用いて演算し、ま
た、音声データについては帯域分割された低域のみのデ
ータを用いて演算することにより、演算時間を短縮する
ことが可能である。また、演算部８６では、入力された
現在のプロセスデータと各リファレンスプロセスデータ
の基準値とが比較演算される。

【００４８】こうして各演算部８４〜８６において比較
演算結果として得られた各段階のリファレンスデータと
の類似度は、それぞれ重み付け部８７〜８９へ送られて
各リファレンスデータに重み付けされてから異常検出部
９０へ送られる。異常検出部９０は、重み付けされたリ
ファレンスデータごとの類似度から、入力データの異常
レベルを決定し、異常検出レベルとして出力し、さらに
入力データの異常検出レベルを予め設定しておいた閾値
と比較し、入力データの異常レベルが閾値を越えた場合
は、監視対象に異常が発生したものとみなして、異常検
出信号を出力する。異常検出信号はＯＲ回路９１を経
て、補助記憶装置５３へのデータ退避のトリガ信号とな
る。

【００４９】図１１は、上述した図１０の処理動作の手
順を示した説明図である。図では、演算部において、入
力された画像・音声データと、各リファレンスデータと
の相関値が得られ、その中の相関の高いリファレンスデ
ータの番号とその度合いを示す相関情報値が出力され
る。また、入力されたプロセスデータについては、その
プロセスデータの上下限範囲内であるか否かが判別され
る。次の重み付け部では、画像データ、音声データ、プ
ロセスデータ相互の重要度（信頼度）とリファレンスデ
ータに対する重み付けが行われる。

【００５０】異常検出部では重み付けされた３種のデー
タに基づき、異常のレベルを段階的に出力するととも
に、予め設定しておいた基準値を閾値として比較し、閾
値を越えた場合に異常検出信号を出力する。この異常検
出信号が出力されたこと、またはオペレータの指示によ
る取り込み要求により、主記憶装置５２上に格納されて
いるデータが補助記憶装置５３へ退避される。上述した
ようにこの実施例では、入力された画像・音声・プロセ
スデータから監視対象の異常の有無およびその程度を自
動的に判別することができるため、オペレータへの負担
が軽減されるとともに信頼性が向上する。

【００５１】次に、第３の発明に係る第５の実施例につ
いて説明する。この実施例は第４の実施例において、異
常が検出された際にその異常の程度を音声によりオペレ
ータに報知するようにしたものである。図１２は第５の
実施例の構成を示すブロック図である。図において、計
算機５０内に音声データ１〜Ｎが格納される音声情報メ
モリ９２が設けられるとともに、計算機５０とＴＤＭ４
０内の伝送制御部４１との間がＲＳ−２３２Ｃ等のシリ
アルインターフェイス（ＩＦ）９３により接続されてい
る。なお、この音声データ１〜Ｎは検出される異常レベ
ルに対応してオペレータに報知される音声パターンであ
る。

【００５２】また、ＴＤＭ４０内の音声圧縮・伸長部４
８の構成は、図８のブロック図と共通であり、シリアル
制御部６６が時分割多重ＩＦ６５を介して伝送制御部４
１と通信を行い、各種モード設定やステータスが通知さ
れる。これらの構成において、計算機５０内の異常検出
部９０（図１０に表示）が入力データから異常を検出す
ると、トリガ信号がシリアルＩＦ９３を介して、ＴＤＭ
４０内の伝送制御部４１，時分割多重ＩＦ６５を介して
シリアル制御部６６へ送られる。

【００５３】次いで、トリガ信号を受け取ったシリアル
制御部６６が切替え器６７を切替えることにより、音声
伸長部６８へのデータ経路が、計算機５０からのディジ
タル出力に切替えられる。同時に、計算機５０は異常検
出部９０からの異常検出レベルに該当する音声データを
音声情報メモリ９２から読み取り、ディジタルＩＦ５
５、切替え器６７を介して音声伸長部６８へ送る。それ
により、異常の程度を表す音声データがＤ／Ａ変換器６
９を介してスピーカ１２へ送られて再生され、オペレー
タは異常の発生とその程度を音声により報知される。

【００５４】上述したようにこの実施例では、オペレー
タがマルチウィンドウディスプレイ７または大型ディス
プレイ５８から目を離している間に異常が発生しても、
直ちに異常の発生およびその程度を確認して速やかに対
応処置をすることができ、装置の使い勝手が向上してオ
ペレータへの負担が軽減される。

【００５５】次に、第４の発明に係る第６の実施例につ
いて説明する。この実施例は、第４の実施例において異
常が検出された際に監視区域にいる侵入者に対し、その
異常の程度に応じて音声メッセージからなる警告を与え
るようにしたものである。図１３は第６の実施例の構成
を示すブロック図である。図において、計算機５０内
に、音声データ１〜Ｎが格納される音声情報メモリ９２
が設けられるとともに、計算機５０とＴＤＭ４０内の伝
送制御部４１との間がシリアルＩＦ９３により接続され
ている。なお、この音声データ１〜Ｎは検出される異常
レベルに対応して監視区域において再生される音声メッ
セージである。

【００５６】また、ＴＤＭ４０内の音声圧縮・伸長部４
８は、図８の構成に切替え器（ＭＵＸ）９４，９５を新
たに接続したものであり、これら切替え器９４，９５
は、計算機５０側からシリアルＩＦ９３、伝送制御部４
１、時分割多重ＩＦ６５を介してシリアル制御部６６へ
送られる指示により切替えられる。さらに、シリアル制
御部６６は時分割多重ＩＦ６５を介して伝送制御部４１
と通信を行い、各種モード設定やステータスが通知され
る。これらの構成において、最初に切替え器９４を切り
換え、マイク３９からＡ／Ｄ変換器７１、音声圧縮部７
０、切替え器９４、ディジタルＩＦ５５へのデータ入力
経路を形成する。

【００５７】次に、マイク３９を用いて、複数の音声メ
ッセージを入力して、計算機５０内の音声情報メモリ９
２へ音声データ１〜Ｎとして格納する。この音声メッセ
ージは、異常発生時に監視区域にいる侵入者に対して、
異常の程度に応じて異なる内容の警告を音声により与え
るためのものである。異常の程度に応じた複数の音声メ
ッセージが録音されたら、再び、切替え器９４を切り換
えて、時分割多重ＩＦ６５へ伝送制御部４１を介して入
力される監視対象側のＴＤＭ３２からのデータを計算機
５０内へ入力させる。

【００５８】また、切替え器９５を切り替えることによ
り、音声情報メモリ９２から読み出された音声メッセー
ジ、またはマイク３９へ入力された音声のデータのいず
れか一方が、時分割多重ＩＦ６５、伝送制御部４１を介
して伝送路３８へ送られる。すなわち、監視対象側のＴ
ＤＭ３２に接続されているスピーカ３１から、音声メッ
セージまたはマイク３９からの入力音声を再生すること
ができる。

【００５９】これらの構成において、計算機５０内の異
常検出部９０（図１０に表示）が入力データから異常を
検出すると、トリガ信号がシリアルＩＦ９３を介して、
ＴＤＭ４０内の伝送制御部４１，時分割多重ＩＦ６５を
介してシリアル制御部６６へ送られる。次いで、トリガ
信号を受け取ったシリアル制御部６６が切替え器９５を
切替えることにより、計算機５０からのディジタル出力
が時分割多重ＩＦ６５、伝送制御部４１を介して伝送路
３８へ送られるようにデータ経路が形成される。

【００６０】同時に、計算機５０は異常検出部９０から
の異常検出レベルに該当する音声メッセージを音声情報
メモリ９２中の音声データ１〜Ｎから読み取り、ディジ
タルＩＦ５５を介して、音声圧縮・伸長部４８へ入力す
る。次いで、音声メッセージは切替え器９５、時分割多
重ＩＦ６５、伝送制御部４１を介して伝送路３８へ送ら
れ、監視対象側のＴＤＭ３２に接続されているスピーカ
３１より再生される。また、第５の実施例と同様に、異
常が検出された際に切替え器６７を切り替えると、スピ
ーカ１２から音声メッセージが再生されるため、オペレ
ータも異常発生およびその程度を音声により認識するこ
とができる。

【００６１】上述したようにこの実施例では、異常が発
生すると、その異常の程度に応じた内容の音声メッセー
ジが自動的に監視区域の侵入者に警告として報知され
る。それによって、オペレータが装置を離れた場合に異
常が発生しても確実に監視区域の侵入者に警告が与えら
れ、オペレータの負担が軽減されるとともにシステムの
安全性、信頼性が向上する。なお、オペレータがマイク
３９の近くにいる場合は、切替え器９５等を切り替え
て、監視対象側のスピーカ３１へ直接オペレータが音声
により警告等のメッセージを伝えることができる。

【００６２】次に、第５の発明に係る第７の実施例につ
いて説明する。図１４は第７の実施例の構成を示すブロ
ック図であり、図１５は図１４の要部の内部構成を示す
ブロック図である。この実施例は図１４に示されるよう
に、第６の実施例の構成の音声圧縮・伸長部４８内に音
声認識部９６を新たに設置することにより、マイク３９
からの音声データの入力を検知して切替え器９５を自動
的に切り替えるようにしたものである。他の構成および
作用は図１３と同じであるので同一部には同一符号を付
して説明を省略する。

【００６３】音声認識部９６は図１５に示されるように
構成され、マイク３９からＡ／Ｄ変換器７１を介して入
力された音声データが、カレント音声データバッファ９
７に入力された後、リファレンス音声データバッファ９
８および相関演算部９９へ入力される。また、リファレ
ンス音声データバッファ９８に入力された音声データは
次に相関演算部９９へ送られる。ここで相関演算部９９
には、現在入力された音声データがカレント音声データ
として入力されるとともに、その前に入力された音声デ
ータがリファレンス音声データとして入力されることに
なる。

【００６４】なお、リファレンス音声データは、時間的
に連続する複数のカレント音声データを加重平均して作
成することも可能である。これら２つのデータが入力さ
れた相関演算部９９は、これら２つのデータの相関演算
を行い相関値を求める。すなわち、マイク３９から入力
がない状態が続くと、両データがほぼ一致して相関値が
高くなる。また、音声入力が開始されると、両データが
異なり相関値が低くなる。なお、相関演算部９９への重
み係数は調整用に入力される。

【００６５】さらに、相関演算部９９は得られた相関値
を監視し、予め設定されている値以下であればマイク３
９からの入力を有効とし、設定値よりも大きくなると計
算機５０側からの音声データを有効とするように、切替
え器９５を切り替える。それにより、オペレータはマイ
ク３９から音声を入力するだけで、なんら操作を加える
ことなく音声の入力が受け付けられ、計算機５０の音声
情報メモリ９２へ音声データ１〜Ｎを格納したり、直接
入力した音声により監視対象側のスピーカ３１から警告
等のメッセージをリアルタイムで再生することができ
る。

【００６６】また、マイク３９から音声が入力されない
場合は、自動的に切替え器９５が元の状態に復帰して監
視対象においてマイク２により採取した音声データがス
ピーカ１２により再生される。なお、第３〜第６の発明
については、第２の実施例を基本構成とした実施例につ
いて説明したが、同様に第１の実施例の構成を基本にし
て適用することも可能である。

【００６７】次に、第６の発明に係る第８の実施例につ
いて説明する。この実施例は危険物である塩素ボンベの
保管倉庫を監視対象とし、倉庫内をカメラにより監視
し、図１６に示す監視映像を得る。図中の番号を囲む円
図形がボンベ位置を示す。さらに、保管倉庫内に塩素漏
れを検知するための塩素濃度センサが複数個配置されて
おり、図１６の監視画像フレームに対応して塩素濃度セ
ンサの配置を×印により示したのが図１７である。これ
らセンサにより塩素漏れが検知されると、オペレータは
危険であることを認識して装置を構成する計算機に対し
て危険情報表示を指示する。

【００６８】すると、計算機はセンサからの塩素濃度に
基づき、倉庫内の汚染濃度分布データを作成し、さらに
その濃度分布から濃度の等高線を求める。図１８がその
濃度分布を示す等高線である。この等高線を示す画像を
図１６の監視映像に重ねて表示させると図１９の画像が
得られる。この画像がディスプレイに表示されることに
より、オペレータは塩素漏れの発生とその汚染の濃度お
よび拡がりが一目で把握でき、その後の対応処置が容易
となる。なお、実施例は密閉室内の塩素濃度分布を可視
化したが、他には酸素濃度の分布や、高圧電流が流れて
いる施設の電磁場の強度分布等を可視化することもでき
る。

【００６９】

【発明の効果】以上述べたように第１の発明によれば、
異常が検出された際にその前後の各データをディスプレ
イおよびスピーカによりそれぞれ同期して再現すること
が可能となる。その結果、発生した異常についての原因
解析が容易になる。また、プロセスデータの状態変化が
検出された場合にのみプロセスデータを主記憶装置へ格
納することにより、同一のプロセスデータが連続して主
記憶装置へ格納されることがなくなり、主記憶装置が有
効に運用され、相対的に画像データ量が増大して高画質
となり、トラブル時の原因解析が容易になる。

【００７０】第２の発明によれば、画像、音声およびプ
ロセスデータごとに、正常状態から異常状態までの複数
段階のリファレンスデータを予め用意しておき、入力さ
れた各データとリファレンスデータとを比較演算して類
似度を求めてから入力データの異常度を算出し、さら
に、入力データの異常度を予め設定されている閾値と比
較して入力データが正常か異常かを判別する。このよう
に、監視対象から採取されたデータにもとづき監視対象
の異常を自動的に検出することにより、オペレータの負
担が軽減されるとともに、異常の判定が客観的に行われ
るようになる。

【００７１】第３の発明によれば、入力データの異常度
ごとに異常発生報知用の音声パターンを予め記憶手段に
記憶しておき、異常検出信号が出力されたときに、入力
データの異常度に対応する異常発生報知用の音声パター
ンを記憶手段から読み出してスピーカに再生する。オペ
レータがディスプレイから目を離したときに異常が発生
した場合であっても、オペレータは音声により異常の発
生およびその程度が報知されて発生した異常に対して速
やかに対応することができる。

【００７２】第４の発明によれば、予めマイクを介して
入力データの異常度ごとの警告用音声メッセージを記憶
手段に入力しておくことにより、異常が発生した場合に
異常度に対応する警告用音声メッセージを監視対象側に
設置されたスピーカで再生することができる。そのた
め、オペレータが完全にディスプレイ等の監視装置から
席を外している間に異常が発生しても、監視区域にいる
侵入者に対して自動的に異常発生についての警告が与え
られ、装置の安全性および信頼性が向上する。

【００７３】第５の発明によれば、マイクから入力され
た音声の変化を監視することにより、オペレータによる
音声入力の開始を検知し、入力された音声データの取り
込みを開始する。それにより、オペレータはマイクへの
音声入力に先立つ装置への操作が不要になり、操作性が
向上する。

【００７４】第６の発明によれば、監視対象に設置され
た複数のセンサの検知量をディスプレイの監視対象画面
に二次元分布グラフとして重ねて表示することにより、
監視対象の状態が二次元上で把握でき、装置の使い勝手
が向上する。

【００７５】

【図面の簡単な説明】

【図１】第１発明に係る第１の実施例の全体構成を示す
ブロック図である。

【図２】図１の画像処理装置の内部構成を示すブロック
図である。

【図３】図１の音声処理装置の内部構成を示すブロック
図である。

【図４】図１の主記憶装置へのデータの格納手順を示す
説明図である。

【図５】第１発明に係る第２の実施例の全体構成を示す
ブロック図である。

【図６】図５の要部の内部構成を示すブロック図であ
る。

【図７】図６の要部の内部構成を示すブロック図であ
る。

【図８】図６の要部の内部構成を示すブロック図であ
る。

【図９】第１発明に係る第３の実施例の処理手順を示す
説明図である。

【図１０】第２発明に係る第４の実施例の処理動作を概
念的に示すブロック図である。

【図１１】図１０の具体的な処理方法を示す説明図であ
る。

【図１２】第３発明に係る第５の実施例の構成を示すブ
ロック図である。

【図１３】第４発明に係る第６の実施例の構成を示すブ
ロック図である。

【図１４】第５発明に係る第７の実施例の構成を示すブ
ロック図である。

【図１５】図１４の要部の内部構成を示すブロック図で
ある。

【図１６】第６発明に係る第８の実施例で表示される画
像である。

【図１７】図１６の画像に対応する説明図である。

【図１８】第８の実施例で作成された等高線を表す画像
である。

【図１９】第８の実施例で表示される画像である。

【図２０】従来例を示すブロック図である。

【図２１】従来のディスプレイ表示例である。

【図２２】従来のディスプレイ表示例である。

【符号の説明】

１ 監視カメラ ２ マイク ６ プロセスデータコントローラ ７ マルチウィンドウディスプレイ ８ 計算機 ９ ＣＰＵ １０ 補助記憶装置 １２ スピーカ １６ 主記憶装置 １７ 画像処理装置 １８ 音声処理装置 １９ バス ２０ プロセスデータ入出力部 ２１ Ａ／Ｄ変換器 ２２ 画像データ圧縮復元装置 ２３ イメージメモリ ２４ Ｄ／Ａ変換器 ２５ Ａ／Ｄ変換器 ２６ 音声データ圧縮復元装置 ２７ Ｄ／Ａ変換器 ２８ 音声データメモリ ２９ データ格納領域 ３０ データ管理領域 ３１ スピーカ ３２ 時分割多重伝送装置（ＴＤＭ） ３３ 動画像圧縮部 ３４ 音声圧縮部 ３６ プロセスデータ入出力部 ３８ 伝送路 ３９ マイク ４０ 時分割多重伝送装置（ＴＤＭ） ４１ 伝送制御部 ４６ 時分割多重バス ４７ 動画像圧縮・伸長部 ４８ 音声圧縮・伸長部 ４９ プロセスデータ送受信部 ５０ 計算機 ５１ ＣＰＵ ５２ 主記憶装置 ５３ 補助記憶装置 ５４ フレームメモリ ５５ ディジタルインターフェース（ＩＦ） ５６ プロセスデータ入出力部 ５８ 大型ディスプレイ ６１，６２ 制御部 ６３，６４ 入出力バッファ ６５ 時分割多重インターフェース（ＩＦ） ６６ シリアル制御部 ６７ 切替え器（ＭＵＸ） ６８ 伸長部 ６９ Ｄ／Ａ変換器 ７０ 圧縮部 ７１ Ａ／Ｄ変換器 ８１ リファレンス画像データ ８２ リファレンス音声データ ８３ リファレンスプロセスデータ ８４〜８６ 演算部 ８７〜８９ 重み付け部 ９０ 異常検出部 ９１ ＯＲ回路 ９２ 音声情報メモリ ９３ シリアルインターフェイス（ＩＦ） ９４，９５ 切替え器 ９６ 音声認識部 ９７ カレント音声データバッファ ９８ リファレンス音声データバッファ ９９ 相関演算部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中峠 史朗 東京都日野市富士町１番地 富士ファコ ム制御株式会社内 (72)発明者 藤原 正裕 神奈川県川崎市川崎区田辺新田１番１号 富士電機株式会社内 (72)発明者 片田 祐司 東京都日野市富士町１番地 富士ファコ ム制御株式会社内 (72)発明者 柄沢 隆 東京都日野市富士町１番地 富士ファコ ム制御株式会社内 (56)参考文献 特開 昭60−262094（ＪＰ，Ａ) 特開 昭58−37712（ＪＰ，Ａ) 特開 昭64−14697（ＪＰ，Ａ) 特開 平４−330576（ＪＰ，Ａ) 特開 平２−121008（ＪＰ，Ａ) 特開 昭63−4396（ＪＰ，Ａ) 特開 平４−214948（ＪＰ，Ａ) 特開 昭57−161907（ＪＰ，Ａ) 特開 昭54−118856（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05B 23/02 H02B 15/00 H02J 13/00

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 監視対象を撮像して得た画像データおよ
   び監視対象に関して入出力されるプロセスデータをディ
   スプレイに表示するとともに、監視対象から採取した音
   声データをスピーカから再生するマルチメディア・プロ
   セス監視・制御装置において、前回入力されたプロセスデータと最新のプロセスデータ
   とを比較し同一か否かを判別してプロセスデータの状態
   変化を検出する手段と、 プロセスデータの状態変化が検出された場合には、同時
   に取得された画像データ、プロセスデータおよび音声デ
   ータを一組とするフレーム単位で、また、プロセスデー
   タの状態変化が検出されない場合には、同時に取得され
   た画像データおよび音声データを一組とするフレーム単
   位で、リアルタイムかつサイクリックに主記憶装置へ格
   納する手段と、 異常検出によりデータを退避する場合、プロセスデータ
   があるフレームはそのまま主記憶装置に格納された画像
   データ、プロセスデータおよび音声データをフレーム単
   位で補助記憶装置へ格納して退避させ、また、プロセス
   データがないフレームには最後にプロセスデータが格納
   された他のフレームからプロセスデータを読み取って、
   画像データおよび音声データと共にフレーム単位で補助
   記憶装置へ格納して退避させる手段と、 補助記憶装置に格納退避された各データをフレーム単位
   で読み取り、各データをそれぞれ同期させてディスプレ
   イおよびスピーカにより再生する手段と、 を備えたことを特徴とするマルチメディア・プロセス監
   視・制御装置。
2. 【請求項２】 請求項１記載のマルチメディア・プロ
   セス監視・制御装置において、画像データ、音声データおよびプロセスデータごとに、
   正常状態から異常状態までの複数段階のリファレンスデ
   ータを記憶した記憶手段と、 入力された各データとリファレンスデータを比較演算し
   得られた類似度から入力データの異常度を算出する手段
   と、 入力データの異常度を予め設定されている閾値と比較し
   て入力データが正常か異常かを判別して異常の場合に異
   常検出信号を出力する手段と、 を備えたことを特徴とするマルチメディア・プロセス監
   視・制御装置。
3. 【請求項３】 請求項２記載のマルチメディア・プロ
   セス監視・制御装置において、入力データの異常度ごとに異常発生報知用の音声パター
   ンを予め記憶した記憶手段と、 異常検出信号が出力されると入力データの異常度に対応
   する異常発生報知用の音声パターンを記憶手段から読み
   出してスピーカで再生する手段と、 を備えたことを特徴とするマルチメディア・プロセス監
   視・制御装置。
4. 【請求項４】 請求項２記載のマルチメディア・プロ
   セス監視・制御装置において、マイクを介して入力された入力データの異常度ごとの警
   告用音声メッセージを記憶手段へ記憶しておく手段と、 異常検出信号が出力されると入力データの異常度に対応
   する警告用音声メッセージを記憶手段から読み出して監
   視対象側に設置されたスピーカで再生する手段と、 を備えたことを特徴とするマルチメディア・プロセス監
   視・制御装置。
5. 【請求項５】 請求項１から請求項４のいずれか１項
   に記載のマルチメディア・プロセス監視・制御装置にお
   いて、オペレータ用マイクから入力された音声データを順次蓄
   える音声データ記憶手段と、 最新の音声データとそれ以前の音声データとの相関値を
   算出する演算手段と、 相関値が所定値以下の場合に、オペレータ用マイクから
   入力された音声データを内部の音声データ処理部へ取り
   込む手段と、 を備えたことを特徴とするマルチメディア・プロセス監
   視・制御装置。
6. 【請求項６】 請求項１から請求項５のいずれか１項
   に記載のマルチメディア・プロセス監視・制御装置にお
   いて、監視対象に設置された複数のセンサと、 センサ位置とセンサ検知量からディスプレイに表示され
   る監視対象画面に対応する検知量の二次元分布グラフを
   作成する手段と、 二次元分布グラフをディスプレイの監視対象画面に重畳
   表示する手段と、 を備えたことを特徴とするマルチメディア・プロセス監
   視・制御装置。