JPH08202436A - 監視制御方式 - Google Patents

Abstract

(57)【要約】 【目的】 表示サイズに応じて処理内容を変更可能とす
ることにより、オペレータインタフェースを改善する。 【構成】 カメラ制御部３により、例えばズーム制御可
能なＩＴＶカメラ１によって対象物を撮像してこれをデ
ィスプレイ２に表示し、ディスプレイ２で対象物の指示
操作をしたり、対象物に関する情報を重ね合わせ表示す
る場合に、予め記憶されている対象物の物体モデルと、
カメラ制御部３よりのカメラパラメータとから、表示サ
イズ計算部４で表示されている対象物の表示サイズを計
算した後、処理内容判定部５で、この表示サイズとメモ
リ７に予め記憶されている処理内容とを比較して実行可
能な処理レベルがあるか否かを判定し、存在する場合は
最も大きい処理可能レベルを出力することで、オペレー
タの操作を容易にする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、映像を表示可能な計
算機や制御機器の操作や状態表示の監視制御方式に関す
る。

【０００２】

【従来の技術】この種の従来例として、例えば電学論
（Ｔ．ＩＥＥ）Ｄ，１１１巻１２号，平成３年，ｐｐ１
０２３〜１０２９「映像への直接操作を用いたプラント
運転監視用マン・マシンインタフェース」に示すものが
ある。

【０００３】これは、物体モデルを３次元座標系上の３
次元図形または画面に透視投影された対象の２次元形状
として定義し、物体モデルをもとに画面座標からその位
置に投影される対象物体を検出することによって、映像
上を直接指示した場合に対象に関する情報の表示や対象
の制御を実行したり、映像上に重ね合わせて情報を表示
するものである。

【０００４】

【発明が解決しようとする課題】上記のような従来例に
おいては、下記のような問題がある。 （１）上記従来例では、対象物体の画面上の表示サイズ
が大きいか小さいかに関わらず、処理を実行する。しか
し、映像をズームすることが可能なシステムにおいて
は、ズームをしたときに適当な大きさになる対象でも、
ズームしていないときには点のような表示サイズとなる
ことがある。このような場合には、オペレータは対象機
器を確認できず、本来オペレータが指示しようとしてい
る内容と、実際に処理される内容に食い違いが生じるこ
とになる。また、対象の表示サイズによって重ね合わせ
て表示できる情報量が変わるため、常に同じ情報を重ね
合わせて表示しようとすると、ズームしない場合には表
示するスペースがない、と言った事態が発生する。

【０００５】（２）上記（１）項の不具合点に対する対
策として、例えばズームの異なる各シーンごとに、操作
対象となる物体モデルを定義することも考えられるが、
連続的な多くのシーンに対して物体モデルを定義するこ
とは、多大な労力を必要とする。したがって、この発明
の課題は簡単な定義をするだけで、映像をズームする場
合でも、しない場合でも人の感覚に適したオペレータイ
ンタフェース制御を実現することにある。

【０００６】

【課題を解決するための手段】このような課題を解決す
るため、請求項１の発明では、撮像手段により撮像され
た対象の映像をディスプレイに表示し、映像内の対象物
の位置，形状に関する物体モデルとカメラ視線およびズ
ーム率に関するカメラパラメータとにもとづき映像が映
っている画面座標と対象物体とを対応付けることによ
り、映像上を直接指示した場合に対象に関する情報の表
示，対象の制御、カメラ制御時および情報表示処理時に
映像上の対象に重ね合わせて情報を表示する重ね合わせ
表示をそれぞれ実行するに当たり、前記表示サイズと処
理内容の関係を記憶する記憶手段と、前記対象の表示サ
イズを算出する算出手段と、前記表示サイズから処理内
容を判定する判定手段と、判定された処理内容に応じた
処理を実行する実行手段と、を備え、対象の表示サイズ
に応じて直接指示した場合の処理内容，対象への重ね合
わせ表示内容の変更を可能にしたことを特徴としてい
る。

【０００７】上記請求項１の発明では、処理レベル毎の
処理可能サイズを定義して保持しておき、前記判定手段
において対象の表示サイズと処理可能サイズを比較し、
表示サイズよりも小さな処理可能サイズを持つ実行可能
な処理レベルがない場合には実行不能を出力し、実行可
能な処理レベルがある場合には最も大きい処理可能サイ
ズを持つ実行可能な処理レベルを出力することができ
（請求項２の発明）、または、前記物体モデルを階層構
造で保持する保持手段と、前記判定手段にて実行不能と
判定された場合に、実行不能と判定された対象を部品と
して持つ上位の階層の対象を処理対象として選択し、再
度処理内容判定を実行する繰り返し処理手段とを設ける
ことをができ（請求項３の発明）、もしくは、前記表示
サイズとして、物体を囲む最も小さい矩形のＸ（水平方
向）サイズ，Ｙ（垂直方向）サイズを用いることができ
る（請求項４の発明）。

【０００８】

【作用】請求項１，２のように、対象物の指示操作や情
報の重ね合わせ表示が可能かどうかの基準として、表示
サイズと処理内容の関係、具体的には処理可能サイズを
処理内容（処理レベル）に応じて記憶しておくことで、
対象の表示サイズが処理可能サイズよりも小さい時は、
処理は実行不能と判定することができる。処理レベルが
複数ある場合は、対象物の表示サイズが大きければ大き
い程指示がし易くなり、重ね合わせ表示が可能な空間も
広くなるので、実行可能な処理の中で最も大きい処理可
能サイズに対応する処理レベルを検出することで、実行
可能限界の処理レベルを見つけることができる。実行可
能限界の処理を行なうことで、オペレータにより多くの
操作や情報を提供できるため、良好なオペレータインタ
フェースを実現することが可能となる。

【０００９】ズーム可能なシステムで、ズームした映像
を見たときにはその部品を把握できるが、ズームしない
映像を見ているときには全体が把握できるような場合
に、ズームせずに部品に対する処理を実行しようとする
と、請求項１，２ではその部品に対する処理は不能とさ
れる。このような場合に、請求項３のように、対象を全
体とその部品の階層構造で定義し、実行不能と判定され
た対象を部品に持つ上位の階層の対象を処理対象として
選択し、再度処理レベル判定を実行する繰り返し処理手
段を設けることで、オペレータが把握できる大きさの物
体に対する情報の表示が可能となる。また、部品が指示
されたとしても全体を指示したと認識して処理が実行さ
れるようになり、人の視覚により近いオペレータインタ
フェースを実現できる。

【００１０】また、映像に映る物体の形は様々であり、
必ずしも数値情報として定義できるとは限らない。ま
た、定義できたとしても、映像上に映る形を定義するこ
とは容易ではない。そこで、請求項４のように、簡易的
に物体を囲む矩形として物体の表示サイズを定義するこ
とで、容易に直観的に把握できる情報として表示サイズ
の定義が可能となる。

【００１１】

【実施例】図１はこの発明の実施例を示すブロック図で
ある。すなわち、ＩＴＶ（工業用テレビジョン）カメラ
１、ディスプレイ２、カメラ制御部３、表示サイズ計算
部４、処理内容判定部５、処理実行部６、メモリ７など
から構成される。図２は図１の動作を説明するための説
明図である。以下、図２について図３〜図５を参照して
説明する。

【００１２】物体モデルａは図３（ロ）のような構造を
持ち、その座標値はカメラをズームしないときに物体が
映る画面座標で定義される。また、各物体を例えば図３
（イ）のような階層構造で定義する。処理可能サイズ定
義ｂは、図４に示すような構造を持ち、各処理レベルご
とに処理するために必要とされる表示サイズを、矩形サ
イズ（水平方向を示すＸサイズ，垂直方向を示すＹサイ
ズ）で定義する。

【００１３】カメラパラメータｃとしては、ここではズ
ーム率を格納する。表示サイズテーブルｄは図５（イ）
に示すような構造を持ち、表示中の各物体の表示サイズ
（表示位置を囲む最も小さな矩形のサイズ：図５（ロ）
参照）を格納するテーブルである。なお、物体モデル
ａ，処理可能サイズ定義ｂおよび表示サイズテーブルｄ
などは、例えば図１に示すメモリ７内に格納しておく。

【００１４】カメラ処理ｅではカメラがズーム制御され
たときに、カメラ制御ｅ−１でカメラのズーム制御をす
るとともに（図１のカメラ制御部３による制御）、カメ
ラパラメータｃのズーム率を更新し、表示サイズ計算処
理ｅ−２でズーム率と物体モデルから、表示サイズを算
出して表示サイズテーブルを更新する（表示サイズ計算
部４の処理）。表示中の物体ｉの表示サイズは、次の
（１）式のような演算をすることで、物体を囲む最も小
さい矩形のＸサイズ，Ｙサイズとして簡単に計算でき
る。

【００１５】 ＸＳｉ＝Ｚ｛ＭＡＸ（物体ｉの４点のＸ座標値）−ＭＩＮ（物体ｉの４点のＸ 座標値）｝ ＹＳｉ＝Ｚ｛ＭＡＸ（物体ｉの４点のＹ座標値）−ＭＩＮ（物体ｉの４点のＹ 座標値）｝ （物体ｉのＸサイズ＝ＸＳｉ，物体ｉのＹサイズ＝ＹＳｉ，ズーム率＝Ｚ） …（１）

【００１６】対象処理ｆでは、映像上を直接指示された
場合や、対象情報を重ね合わせ表示する場合に起動され
て、処理が実行される（処理内容判定部５，処理実行部
６による処理）。これらの処理の詳細を下記に示す。 （１）処理レベル判定ｆ−１ 対象物体の処理可能サイズと表示サイズを比較し、Ｘサ
イズ，Ｙサイズとも表示サイズよりも小さい処理可能サ
イズを持つ実行可能処理レベルがない場合には実行不能
を出力し、実行可能処理レベルがある場合には最も大き
い処理可能サイズを持つ実行可能処理レベルを出力す
る。

【００１７】（２）処理実行ｆ−２ 処理レベル判定で判定された実行可能処理レベルに対応
する、重ね合わせ表示処理または指示操作処理を実行す
る。 （３）上位対象選択ｆ−３ 処理レベル判定で実行不能と判定された場合に、実行さ
れる。すなわち、実行不能と判定された対象を部品にも
つ上位階層の対象を処理対象として選択し、再度処理レ
ベル判定ｆ−１へ戻る。もし、上位階層がない場合に
は、実行不能として何も処理せずに終了する。

【００１８】次に、図６に示すような物体モデルと図７
に示すような処理可能サイズが定義されている場合に、
カメラのズーム制御（Ｚ＝５，Ｚ＝１０，Ｚ＝１）によ
って図８のように表示された場合の制御盤上のメータを
対象とする場合の処理について、具体的に説明する。 １）表示サイズの算出ｅ−２ ズームされたとき、ズーム率と物体モデルの座標値から
表示サイズを計算し、その計算値を表示サイズテーブル
に格納する。先の（１）式から表示サイズ（ＸＳ，Ｙ
Ｓ）を算出すると、図８（イ）のような例ではＸＳ＝２
０，ＹＳ＝２０、図８（ロ）ではＸＳ＝４０，ＹＳ＝４
０、図８（ハ）ではＸＳ＝４，ＹＳ＝４となる。

【００１９】２）重ね合わせ表示処理可能レベル判定ｆ
−１ メータの映像上にメータの情報を重ね合わせ表示すると
き、メータのサイズに応じて以下のように処理レベルを
判定する。 （ａ）図８（イ）の場合 表示サイズ（ＸＳ＝２０，ＹＳ＝２０）と図７の処理可
能サイズとを比較すると、重ね合わせ表示処理レベル１
よりもＸＳ，ＹＳは大きいが、重ね合わせ表示処理レベ
ル２よりもＸＳは小さいので、処理可能レベルは１とな
る。

【００２０】（ｂ）図８（ロ）の場合 表示サイズ（ＸＳ＝４０，ＹＳ＝４０）と処理可能サイ
ズとを比較すると、重ね合わせ表示処理レベル１，２い
ずれのレベルよりもＸＳ，ＹＳは大きいので、処理可能
レベルは２となる。 （ｃ）図８（ハ）の場合 この場合には、表示サイズ（ＸＳ＝４，ＹＳ＝４）と処
理可能サイズとを比較すると、重ね合わせ表示処理レベ
ル１，２いずれのレベルよりもＸＳ，ＹＳは小さいの
で、処理可能レベルは「不能」となる。

【００２１】３）重ね合わせ表示処理不能時の処理 図８（ハ）の場合には、上位対象選択処理ｆ−３で、上
位の物体である制御盤が対象として選択され、再度処理
レベル判定処理ｆ−１を実行する。処理レベル判定処理
では、重ね合わせ表示処理レベルはレベル１しかないの
で、制御盤の表示サイズ（ＸＳ＝４０，ＹＳ＝４０）と
重ね合わせ表示処理レベル１の処理可能サイズとを比較
し、重ね合わせ表示処理レベル１のサイズよりもＸＳ，
ＹＳは大きいので、処理可能レベル１を出力する。

【００２２】４）重ね合わせ表示処理実行ｆ−２ メータの重ね合わせ表示レベル１はメータ値の表示、メ
ータの重ね合わせ表示レベル２は名称とメータ値の表
示、また、制御盤の重ね合わせ表示レベルは制御盤の名
称の表示をするようにしておくことで、図９のようにズ
ーム率に従った表示が行なわれる。３）項において、上
位対象である制御盤が定義されていない場合には、処理
を行なわないで対象処理ｆを終了する。

【００２３】以上では、重ね合わせ表示制御を行なう場
合について説明したが、映像上を指示したときにその座
標がどの物体を指示しているかを算出して、指示物体に
対する詳細情報表示や制御処理をする場合も同様にし
て、実行すべき処理が判定され処理が実行される。ま
た、上記ではカメラの制御をズームのみとしているが、
カメラ台を制御することで、パン，チルトまたは移動な
どの動作が可能なシステムについてもこの発明を適用す
ることができる。この場合は、表示サイズの算出処理ｅ
−２を、カメラ視線の変化を考慮した表示サイズの算出
処理に代えることにより、容易に対応可能である。

【００２４】

【発明の効果】この発明によれば、下記のような効果を
期待することができる。 映像のズームが可能な場合に、対象の表示サイズに応
じて直接指示したときの処理内容を変更することができ
るので、映像上で把握できない対象を間違って選択する
おそれをなくすことができる。 映像のズームが可能な場合に、対象の表示サイズに応
じて対象の重ね合わせ表示内容を変更することができる
ので、映像上で把握できる対象に対する情報のみをオペ
レータに表示することができ、より分かりやすいオペレ
ータインタフェースを実現できる。

【００２５】映像のズームが可能な場合に、対象の表
示サイズに応じて対象の重ね合わせ表示内容を変更でき
るので、表示する空間を考慮して対象物体の重ね合わせ
表示の情報量を増減することが可能となり、分かりやす
いオペレータインタフェースを実現することができる。 物体モデルをシーンごとに定義せず、対象の表示サイ
ズごとの処理内容を定義するだけで上記〜が可能と
なるので、システム構築が容易となる。 表示サイズとして物体を囲む最も小さい矩形のＸサイ
ズ，Ｙサイズを用いることで、表示サイズの算出や処理
可能サイズの定義が簡単になり、システム構築が容易に
なる。

【図面の簡単な説明】

【図１】この発明の実施例を示すブロック図である。

【図２】図１の動作を説明するための説明図である。

【図３】物体モデル構造の説明図である。

【図４】処理可能サイズ定義構造の説明図である。

【図５】表示サイズと表示サイズテーブルの関係を説明
する説明図である。

【図６】物体モデルの具体例の説明図である。

【図７】処理可能サイズ定義構造の具体例を示す説明図
である。

【図８】ディスプレイ表示画面の具体例の説明図であ
る。

【図９】ディスプレイへの重ね合わせ表示の具体例の説
明図である。

【符号の説明】

１…ＩＴＶカメラ、２…ディスプレイ、３…カメラ制御
部、４…表示サイズ計算部、５…処理内容判定部、６…
処理実行部、７…メモリ。

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０５Ｂ 23/02 Ｘ 7716−3Ｈ Ｇ０６Ｔ 1/00 Ｈ０４Ｎ 5/232 Ｚ Ｇ０６Ｆ 15/66 ４５０

Claims (4)

【特許請求の範囲】
1. 【請求項１】 撮像手段により撮像された対象の映像を
   ディスプレイに表示し、映像内の対象物の位置，形状に
   関する物体モデルとカメラ視線およびズーム率に関する
   カメラパラメータとにもとづき映像が映っている画面座
   標と対象物体とを対応付けることにより、映像上を直接
   指示した場合に対象に関する情報の表示，対象の制御、
   カメラ制御時および情報表示処理時に映像上の対象に重
   ね合わせて情報を表示する重ね合わせ表示をそれぞれ実
   行するに当たり、 前記表示サイズと処理内容の関係を記憶する記憶手段
   と、 前記対象の表示サイズを算出する算出手段と、 前記表示サイズから処理内容を判定する判定手段と、 判定された処理内容に応じた処理を実行する実行手段
   と、を備え、対象の表示サイズに応じて直接指示した場
   合の処理内容，対象への重ね合わせ表示内容の変更を可
   能にしたことを特徴とする監視制御方式。
2. 【請求項２】 処理レベル毎の処理可能サイズを定義し
   て保持しておき、前記判定手段において対象の表示サイ
   ズと処理可能サイズを比較し、表示サイズよりも小さな
   処理可能サイズを持つ実行可能な処理レベルがない場合
   には実行不能を出力し、実行可能な処理レベルがある場
   合には最も大きい処理可能サイズを持つ実行可能な処理
   レベルを出力することを特徴とする請求項１に記載の監
   視制御方式。
3. 【請求項３】 前記物体モデルを階層構造で保持する保
   持手段と、前記判定手段にて実行不能と判定された場合
   に、実行不能と判定された対象を部品として持つ上位の
   階層の対象を処理対象として選択し、再度処理内容判定
   を実行する繰り返し処理手段とを設けたことを特徴とす
   る請求項１に記載の監視制御方式。
4. 【請求項４】 前記表示サイズとして、物体を囲む最も
   小さい矩形のＸ（水平方向）サイズ，Ｙ（垂直方向）サ
   イズを用いることを特徴とする請求項１に記載の監視制
   御方式。