JP3608940B2 - 映像探索表示方法及び映像探索表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ映像（以下、単に映像と呼ぶ）を利用したマンマシンインタフェース（以下、単にマンマシンと呼ぶ）に関し、特にビデオカメラから入力された映像（以下、単にカメラ映像と呼ぶ）に対して操作を施すことにより、遠隔にある事物を監視，操作するに適した映像操作方法及び装置，映像探索方法及び装置，映像処理定義方法及び装置、および、発電プラント，化学プラント，鉄鋼圧延機，ビル，道路，上下水システムなどの遠隔運転監視方法及びシステムに関する。
【０００２】
【従来の技術】
原子力発電所に代表される大規模なプラントシステムを安全に運転していくためには、適切なマンマシンをもった運転監視システムが不可欠である。プラントは、操作者の「監視」「判断」「操作」の３つの作業によって運転維持される。運転監視システムは操作者のこうした３つの作業が円滑にできるようなマンマシンを備えている必要がある。「監視」作業では、プラントの状態が即座にまた正確に把握できる必要がある。「判断」時には、判断の材料，根拠となる情報を操作者が素早く参照できなければならない。「操作」時には、操作の対象，操作の結果が直感的にわかり、操作者の意図する操作が正確かつ迅速に実行できるような操作環境が不可欠である。
【０００３】
従来の運転監視システムのマンマシンを、「監視」「判断」「操作」の各作業ごとに概観してみる。
【０００４】
（１）監視
プラント内の状態は、圧力や温度などを検知する各種のセンサからのデータと、プラントの各所に配置されたビデオカメラからの映像とを監視することによって把握できる。各種センサからの値は、グラフィックディスプレイなどに様々な形態で表示される。トレンドグラフやパーグラフなども多く利用されている。一方、ビデオカメラからの映像は、グラフィックディスプレイとは別な専用のモニタに表示されることが多い。プラント内には４０個以上のカメラが設置されることも少なくない。操作者はカメラを切り替えたり、カメラの方向やレンズを制御しながらプラント各所の監視を行う。通常の監視業務では、カメラからの映像を操作者が見ることは滅多に無く、カメラ映像の利用率は低いのが現状である。
【０００５】
（２）判断
プラントに何か異常が発生したときには、操作者はセンサやカメラから得られる多量の情報を総合的に調べて、プラント内で何が起きているかを素早く的確に判断しなければならない。現状の運転監視システムでは、各種センサからのデータや、カメラからの映像が独立に管理されているため、それらを関連づけながら参照するのが難しく、操作者に大きな負担をかけている。
【０００６】
（３）操作
操作は操作盤上のボタンやレバーを用いて行う。最近では、グラフィックディスプレイとタッチパネルを組み合わせて、画面上に表示したメニューや図形を選択することによって、操作を行えるようなシステムも多くなってきた。しかしながら、操作盤上のボタンやレバー、またはディスプレイ上のメニューや図形といったものは、現場の事物とは切り離された抽象的な形態であり、操作者がそれらの機能や、操作の結果を想起するのが困難な場合がある。すなわち、所望の操作がどのレバーを引けば可能なのかがすぐわからなかったり、あるボタンを押すとプラント内のどの機器にどんな操作指令が送られるのかが直感的につかみにくいといった問題がある。また、操作盤がカメラなどのモニタとは独立に構成されているため装置が大型化するという問題もある。
【０００７】
【発明が解決しようとする課題】
上述のように、従来技術には下記の問題があった。
【０００８】
（１）操作盤上のキー，ボタン，レバーによる遠隔操作や、画面上のメニューやアイコンを使った遠隔操作では、現場の臨場感が伝わりにくいため、実際の操作対象や操作結果を直感的につかみにくく、誤操作する可能性が高い。
【０００９】
（２）操作者が直接カメラの切り替や、遠隔操作をしなければならず、多数のカメラを用いて監視を行う場合、見たいところを映してくれるカメラを簡単に選択できない。また、遠隔にあるカメラを操作して、見たいところがよく見えるようにするのに手間がかかる。
【００１０】
（３）ビデオカメラからの映像を映す画面と、他のデータを参照する画面と、操作するための画面または装置とが別になったり、全体の装置が大きくなる、映像と他のデータとの相互参照がやりにくいなどの問題がある。
【００１１】
（４）カメラ映像は臨場感を伝える効果は高いが、情報量が多く、抽象化されていないため、操作者がカメラ映像内の構造を直感的につかみにくいという欠点がある。一方、グラフィックスによる表示は、重要な部分を強調し、不必要な部分を簡略化し、本質的な部分だけを抽象化して表示することができるが、実際の事物や事象と切り離された表現となり、操作者がグラフィック表現と実際の事物，事象との関係を容易に想起できなくなる恐れがある。
【００１２】
（５）カメラからの映像情報と、他の情報（例えば、圧力や温度などのデータ）とが全く独立に管理されており、相互参照が簡単にできない。このため状況の総合判断することが難しい。
【００１３】
本発明の目的は、前記従来技術の問題を解決し、下記（１）から（６）の少なくとも一つを達成することにある。
【００１４】
（１）遠隔運転監視システム等において、運転員が操作の対象や操作結果を直感的に把握できるようにすること。
【００１５】
（２）カメラの選択や、カメラの遠隔操作に煩わされることなく、監視したいところの映像を簡単に見れるようにすること。
【００１６】
（３）遠隔運転監視システムなどの小型化，省スペース化を図ること。
【００１７】
（４）カメラ映像とグラフィックスそれぞれの長所を生かし、短所を補うこと。
【００１８】
（５）異種の情報を素早く相互参照できるようにすること。例えば、カメラ映像で現在監視している部分の温度をすぐに参照できるようにすることなど。
【００１９】
（６）上記目的を達成するようなマンマシンを簡単に設計，開発できるようにすること。
【００２０】
【課題を解決するための手段】
本発明によれば前記目的（１）〜（５）は下記ステップを有する方法によって解決される。
【００２１】
（１）オブジェクト指定ステップ
画面上に表示されたビデオ映像内の事物（以下では、オブジェクトと呼ぶ）をポインティングデバイス（以下、ＰＤと呼ぶ）などの入力手段を使って指定する。ビデオ映像は遠隔に置かれたビデオカメラから入力したり、蓄積媒体（光ビデオディスク，ビデオテープレコーダ，計算機のディスクなど）から再生したりする。ポインティングデバイスとしては、例えばタッチパネル，タブレット，マウス，アイトラッカ，ジェスチャ入力装置などを用いる。オブジェクトの指定前に、映像内の指定可能なオブジェクトを、グラフィックスの合成表示により明示してもよい。
【００２２】
（２）処理実行ステップ
前記オブジェクト指定ステップによって指定されたオブジェクトに基づいて処理を実行する。処理の内容には例えば下記がある。
【００２３】
・指定されたオブジェクトを動作させるまたは動作した場合と同様の結果になるような操作指令を送る。例えば、指定されたオブジェクトがボタンである場合、実際にそのボタンを押し下げるまたは、押し下げられた場合と同様の結果に
なるような操作指令を送る。
【００２４】
・指定されたオブジェクトに基づいて映像を切り替える。例えば、遠隔にあるカメラを操作して、指定されたオブジェクトがもっとよく見えるようにする。カメラの向きを動かして、映像の中央に指定されたオブジェクトが映るようにしたり、レンズを制御して指定されたオブジェクトが大きく映るようにする。他の例では、指定されたオブジェクトを別な角度から捉えるカメラの映像に切り替えたり、指定されたオブジェクトに関連するオブジェクトを映っているカメ
ラ映像に切り替えたりする。
【００２５】
・指定されたオブジェクトが明示されるように、グラフィックスを映像上に合成表示する。
【００２６】
・指定されたオブジェクトに関連する情報を表示する。例えば、指定されたオブ
ジェクトのマニュアル，メンテナンス情報，構造図などを表示する。
【００２７】
・指定されたオブジェクトに関して実行可能な処理の一覧をメニューで表示する。メニューを図形で表現することもできる。すなわち、いくつかの図形を映像上に合成表示し、合成表示された図形をＰＤで選択し、選択された図形に基づ
いて次の処理を実行する。
【００２８】
また、本発明によれば前記目的（２）はテキストまたはグラフィックスを入力して探索キー指定する探索キー指定ステップと、前記探索キー指定ステップによって指定された探索キーに適合する事物が表示されているビデオ映像を表示する映像探索ステップを有する方法によっても解決される。
【００２９】
本発明によれば前記目的（６）は、ビデオカメラから入力された映像を表示する映像表示ステップと、前記映像表示ステップによって表示された映像上で領域を指定する領域指定ステップと、領域指定ステップによって指定された領域に処理を定義する処理定義ステップとを有する方法によって解決される。
【００３０】
画面上のビデオ映像内のオブジェクトを直接指定して、指定したオブジェクトに操作指令を送る。操作者はオブジェクトの実写の映像を見ながら、操作指示を行う。操作指示によって、オブジェクトに目に見えるような動きがあれば、その動きはカメラ映像にそのまま反映される。このように、実写の映像に対して直接操作を行うことによって、操作者は実際に現場で作業している感覚で遠隔操作できる。これによって、操作者は操作の対象や操作の結果を直感的に把握でき、誤操作を減らすことができる。
【００３１】
画面上で指定された映像内のオブジェクトに基づいて、カメラを選択したり、カメラに操作指令を送る。これによって、映像内のオブジェクトを指定するだけで、そのオブジェクトを監視するのに最適な映像を得ることができる。すなわち、操作者は見たいものを指定するだけでよく、カメラを選択したり、カメラを遠隔操作したりする必要がない。
【００３２】
映像内のオブジェクトに直接操作を加える際に、映像に適宜グラフィックスを合成表示する。例えば、ユーザがオブジェクトを指定したら、どのオブジェクトが指定されたのかを明示するようなグラフィックス表示を行う。これによって、操作者は自分の意図する操作が確実に行われていることを確認できる。また、指定したオブジェクトに対して複数の処理を実行可能な場合は、所望の処理を選択するためのメニューを表示する。このメニューは、図形によって構成される場合もある。メニューとして表示された図形を選択することにより、操作者は実際にオブジェクトを操作しているという感覚をより強く持つことができる。
【００３３】
画面上で指定された映像内のオブジェクトに基づいて、情報を表示する。これによって、映像内のオブジェクトに関連する情報を、オブジェクトを指定するだけで、参照することができる。映像と他の情報とを同時に参照しながら、状況判断を下すことが容易にできる。
【００３４】
テキストまたは図形を探索キーとして入力し、前記入力した探索キーに適合する事物が映っている映像を表示する。テキストは、キーボードなどの文字入力装置，音声認識装置，手書き文字認識装置などから入力する。また図形はＰＤを用いて入力するか、すでに何らかの方法で作成された図形データを入力する。また、映像内にあるテキストまたは図形を探索キーとして指定してもよい。探索対象の映像がカメラ映像の場合は、探索キーに基づいて、カメラを選択し、さらにカメラの向きやレンズの制御を行い、探索キーが映るようにする。探索キーに適合する事物が映っている映像にグラフィックスを適宜合成することによって、探索キーに適合する部分が映像内のどこにあるかを明示してもよい。このように、探索キーに基づいて映像を表示することにより、操作者は見たいものを言葉や図形で示すだけで、見たい映像を得ることができる。
【００３５】
映像を表示し、前記映像上で領域を指定し、前記指定した領域に対して処理を定義することによって、映像内の事物が指定されたときに実行すべき処理の内容を定義する。これによって、映像内の事物を直接操作するようなマンマシンを作成できる。
【００３６】
【発明の実施の形態】
本発明の一実施例であるプラント運転監視システムを図１から図２４までを用いて説明する。
【００３７】
本実施例の全体構成を図１を用いて説明する。図１において、１０はグラフィックスや映像を表示する表示手段となるディスプレイ、１２はディスプレイ１０の全面に取付けられた入力手段となる感圧タッチパネル、１４は音声を出力するためのスピーカ、２０は操作者がプラントの監視、および運転操作を行うためのマンマシンを提供するマンマシンサーバ、３０は複数の映像入力および複数の音声入力から一つの映像入力および音声入力を選択するためのスイッチャ、５０はプラント内の機器を制御したり、センサからのデータを収拾する制御用計算機、５２は制御用計算機５０と、マンマシンサーバ２０やその他の端末，計算機類とを接続する情報系ローカルエリアネットワーク（以下ＬＡＮと称す）（例えば ＩＥＥＥ８０２．３ で規定されるようなＬＡＮ）、５４は制御用計算機５０と、制御対象である各種機器、および各種センサとを接続する制御系ＬＡＮ（例えばＩＥＥＥ８０２．４で規定されるようなＬＡＮ）、６０，７０，８０はプラント内の各所に置かれ、被制御物となるオブジェクトを撮像し、入力するための産業用ビデオカメラ（以下単にカメラと呼ぶ）、６２，７２，８２は、制御用計算機５０からの指令に従って、それぞれカメラ６０，７０，８０の向きやレンズを制御するためのコントローラ、６４，７４，８４は、それぞれカメラ６０，７０，８０に取付けられたマイク、９０，９２はプラント各部の状態を知るための各種センサ、９４，９６は制御用計算機５０の指令に従って、プラント内の各種の機器を制御するアクチュエータである。
【００３８】
感圧タッチパネル１２はＰＤの一種である。タッチパネル１２上の任意の位置を指で押すと、押された位置座標と、押された圧力をマンマシンサーバに報告する。タッチパネル１２はディスプレイ１０の全面に取付けられる。タッチパネル１２は透明で、タッチパネル１２の後ろにあるディスプレイ１０の表示内容を見ることができる。これにより、操作者はディスプレイ１０上に表示されたオブジェクトを指で触る感覚で指定することができる。本実施例では、タッチパネル １２の操作として、（１）軽く押す、（２）強く押す、（３）ドラッグするの３種類を用いる。ドラッグするとは、タッチパネル１２を指で押したまま指を動かすことをいう。本実施例ではＰＤとして感圧タッチパネルを用いたが、他のデバイスを用いてもよい。例えば、感圧でないタッチパネル，タブレット，マウス，ライトペン，アイトラッカ，ジェスチャ入力装置，キーボードなどを用いてもよい。
【００３９】
カメラ６０，７０，８０で撮影されている複数の映像は、スイッチャ３０で一つに選択されマンマシンサーバ２０を介してディスプレイ１０上に表示される。マンマシンサーバ２０はＲＳ２３２Ｃなどの通信ポートを介してスイッチャ３０を制御し、所望のカメラからの映像を選択する。本実施例では、映像を選択すると、同時にマイク６４，７４，８４などからの入力音声も選択される。すなわち、カメラを選択すると、選択されたカメラに付随するマイクからの入力に音声も切り替わる。マイクから入力された音声はスピーカ１４から出力される。もちろん、マイクとカメラからの入力を独立に切り替えることもできる。マンマシンサーバ ２０はカメラからの映像にグラフィックスを合成することができる。また、マンマシンサーバ２０は情報系ＬＡＮ５２を介して制御用計算機に操作指令を送りカメラの向きやレンズの制御を指定する。このカメラの向きやレンズの制御をカメラワークと呼ぶことにする。
【００４０】
さらに、マンマシンサーバは、操作者の指令に従って、制御用計算機５０を介して、センサ９０，９２などからデータを入力したり、アクチュエータ９４， ９６などを遠隔操作する。マンマシンサーバ２０は、アクチュエータに操作指令を送ることによって、プラント内の各種機器の動きや機能を制御する。
【００４１】
図２を用いてマンマシンサーバの構成を説明する。図２において、３００は ＣＰＵ、３１０はメインメモリ、３２０はディスク、３３０はＰＤ、タッチパネル１２，スイッチャ３０などを接続するためのＩ／Ｏ、３４０はＣＰＵ３００によって生成された表示データを格納するグラフィックス用フレームバッファ、３６０は入力されたアナログの映像情報をデジタル化するデジタイザ、３７０はデジタイザ３６０の出力であるデジタル化された映像情報を記憶するビデオ用フレームバッファ、３８０はグラフィック用フレームバッファ３４０とビデオ用フレームバッファの内容を合成してディスプレイ１０に表示するブレンド回路である。
【００４２】
カメラから入力した映像情報はマンマシンサーバ２０で生成したグラフィックスと合成した後、ディスプレイ１０に表示する。グラフィック用フレームバッファ３４０にはディスプレイ１０上の各画素に対応して、Ｒ，Ｇ，Ｂ各色のデータと、α値と呼ばれるデータを持つ。α値は、ビデオ用フレームバッファ３７０内の映像情報と、グラフィック用フレームバッファ３４０内のグラフィック表示データとの合成の仕方をディスプレイ１０の各画素ごとに指定する。ブレント回路３８０の機能は、
ｄ＝ｆ（ｇ，ｖ，α）
で表せる。ただし、ｇとαはそれぞれグラフィック用フレームバッファ３４０内の一つの画素の色情報とα値であり、ｖはビデオ用フレームバッファ３７０内のｇに対応する画素の色情報、ｄはｇとｖとを合成した結果の画素の色情報である。本システムでは関数ｆとしては下式を用いる。
【００４３】
ｆ（ｇ，ｖ，α）＝２５５｛αｇ＋（１−α）ｖ｝
もちろん、関数ｆとして他のものを用いてもよい。
【００４４】
グラフィック用フレームバッファ３４０はいわゆるダブルバッファと呼ばれる構成になっている。ダブルバッファは、２画面分のバッファをもち、ディスプレイ１０に表示するバッファを随時選択できる。ディスプレイ１０に表示されている方のバッファを表バッファ、表示されていない方のバッファを裏バッファと呼ぶことにする。表バッファと裏バッファとの切り替えは瞬時にできる。裏バッファにグラフィックスを描画し、描画が終了した時点で裏バッファを表バッファに切り替えることにより描画時のちらつきをすくなくできる。どちらのバッファの内容もＣＰＵから随時読み出したり書き出したりできる。
【００４５】
図３にディスプレイ１０の表示画面構成の一例を示す。図３において、１００はディスプレイ１０の表示画面、１１０はシステム全体に関するコマンドを指定するためのメニュー領域、１５０はセンサからのデータや、プラントに関する様々な資料やデータを表示するためのデータ表示領域、１３０はプラント全体や、各部分の構成図，構造図，設計図面などを表示する画面表示領域、２００はカメラから入力された映像を表示する映像表示領域である。
【００４６】
図４は図面表示領域１３０の表示形態の一例である。図４において、１３２はセンサのある位置を明示するコマンドを発行するためのメニュー、１３４は操作者が指定した図面上の一つのオブジェクトである。操作者が画面表示領域１３０に表示された図面内のオブジェクトを選択すると、そのオブジェクトに関連するセンサからの情報がデータ表示領域１５０または映像表示領域２００上に表示される。例えば、指定したオブジェクトに関連するセンサとして、カメラが定義されていると、そのカメラから入力された映像が映像表示領域２００に表示される。また、例えば、指定されたオブジェクトに関連するセンサとして油圧センサが定義されている場合には、現在の油圧値を明示するグラフィックスや、これまでの油圧値の変化を示すトレンドグラフがデータ表示領域１５０に表示される。タッチパネル１２上を指で強く押すと、押した位置に表示されている図面上のオブジェクトが指定される。指定したオブジェクトに関連するセンサが定義されていない場合は何も起こらない。図４ではオブジェクト１３４の表示位置を指で強く押したところを示している。オブジェクトは指で押されると、オブジェクトが指定されたことを操作者が確認できるように強調表示される。図４に示す例では、オブジェクト１３４にはオブジェクト１３４を映すカメラ６０と、オブジェクト１３４の周囲の音を入力するためのマイク６４が、関連するセンサとして定義されており、オブジェクト１３４が指定されると、映像表示領域２００にオブジェクト１３４を映す映像が表示され、スピーカ１４からはオブジェクト１３４の周囲の音が出力される。
【００４７】
図５に、オブジェクト１３４が図面表示領域１３０上で指定されたときの映像表示領域２００の一表示形態と、プラント内に配置されたオブジェクト１３４との対応関係を示す。図５において、２０２〜２１０は、現在表示されている映像を撮影しているカメラのカメラワークを設定するためのメニュー、２２０は映像内の指定可能なオブジェクトを明示するためのメニューである。２０２はカメラの向きを設定するためのメニューである。メニュー２０２を選択することにより、カメラを左右にパンさせたり、上下にパンさせたりできる。２０４はカメラのレンズを制御して映像をズームインするためのメニュー、２０６はカメラのレンズを制御して映像をズームアウトするためのメニュー、２０８はカメラワークを一つ前のカメラワークに設定しなおすためのメニュー、２１０は最初のカメラワークに設定しなおすためのメニューである。
【００４８】
４００〜４２４はオブジェクト１３４に付随する。または周辺にある各種オブジェクトである。４００はバルブ、４１０，４２０は、オブジェクト１３４上に書かれた文字表示、４１２は電圧を示すメータ、４１４は電源を入れるためのボタン、４１６は電源を切るためのボタン、４２２は油圧を示すメータ、４２４は油圧を調節するスライダのつまみである。バルブ４００，ボタン４１４，４１６、つまみ４２４は実際に手で操作することのできる操作器であるとともに、マンマシンサーバ２０から操作指令を出すことによって遠隔操作もできる操作器である。
【００４９】
映像表示領域２００内を操作者が指で軽く押すと、指の位置に表示されているオブジェクトが見やすくなる様にカメラワークが設定される。図６は、映像表示領域２００で、メータ４１２に指で軽く触ると、メータ４１２が映像の真ん中にくるようにカメラワークが設定される様子を示している。図６左図のようにメータ４１２が操作者に指定されると、メータ４１２が映像の中央に映るようにカメラ６０の向きが設定され、さらにメータ４１２がズームインされるようにカメラ６０のレンズが制御され、映像が図６右図に示すように変化する。操作者は単に画面上でオブジェクトに触れるだけで、そのオブジェクトがよりはっきり見えるようなカメラワークを設定でき、カメラの遠隔操作に煩わされることがない。図６において、５０２はメータ４１２が指定されたことを明示するためのグラフィックエコーである。グラフィックエコー５０２は操作者がタッチパネル１２から指をはなすと消去される。このように、カメラ映像上にグラフィックの表示を合成することにより、マンマシンを改善できる。
【００５０】
図７は、映像表示領域２００は、バルブ４００に指で軽く触ると、バルブ４００ が映像の真ん中にくるようにカメラワークが設定される様子を示している。図７左図のようにバルブ４００が操作者に指定されると、図６右図に示すようにバルブ４００が中央に大きく映るような映像に変化する。図７において、５０４はバルブ４００が指定されたことを明示するためのグラフィックエコーである。グラフィックエコー５０４は操作者がタッチパネル１２から指をはなすと消去される。他のオブジェクト４１０，４１４，４１６，４２０，４２２，４２４に関しても同様の操作が可能である。
【００５１】
映像表示領域２００内を操作者が指で強く押すと、指の位置に表示されているオブジェクトを操作できる。図８〜図１０にオブジェクトを操作する例を示す。図８はボタン４１４を操作する例を示している。映像表示領域２００上で、ボタン４１４が表示されている位置を指で強く押すと、マンマシンサーバ２０から制御用計算機５０を介して、遠隔にあるボタン４１４を操作するアクチュエータに、ボタン４１４を押し下げるという操作指令が送られ、遠隔の現場にあるボタン４１４が実際に押し下げられる。ボタン４１４が押し下げられ、その結果としてメータ４１２の針がふれる様子はカメラ６０によって映像表示領域２００に映しだされる。これによって、操作者は画面上で実際にボタンを押し下げたかのような感覚を得る。
【００５２】
図９はタッチパネル１２上での指のドラッグによってスライダのつまみ４２４を操作する例を示している。映像表示領域２００上で、ボタン４１４が表示されている位置を強く指で押しながら指を横に動かすと、映像に映しだされているつまみ４２４も指の動きに合わせて動く。つまみ４２４が動いた結果、メータ４２２ の針も動く。このとき、マンマシンサーバ２０は、指が動く度に、制御用計算機５０を介してつまみ４２４を制御するアクチュエータに指令を出し、指の動きにあわせてつまみ４２４を実際に動かす。これによって、操作者は自分の指でつまみ４２４を実際に動かしているような感覚を得る。
【００５３】
図１０は、オブジェクトに対して複数の操作が可能な場合に、映像上に合成表示した図形を選択することによって、所望の操作を選択する例を示す。図１０において、５１０，５２０は、操作者がバルブ４００の表示位置を指で強く押したときに映像に合成表示される図形である。操作者が図形５１０を強く押すと、マンマシンサーバ２０は、制御用計算機５０を介して、アクチュエータに操作指令を出し、バルブ４００を左に回転させる。逆に、図形５１２を強く指で押すと、マンマシンサーバはバルブ４００を右に回転させる操作指令をアクチュエータに送る。バルブ４００の回転する様子はカメラ６０によって撮影される映像表示領域２００に映しだされる。バルブ４００の回転に合わせて、図形５１０，５１２の表示を回転させてもよい。
【００５４】
図１１に操作可能なオブジェクト明示する方法を示す。映像に映っている事物すべてが操作可能とは限らないので、操作可能なオブジェクトを明示する手段が必要になる。図１１において、５１４〜５２４は、それぞれオブジェクト４００，４１２，４１４，４１６，４２２，４２４が操作可能なことを明示するために表示されたグラフィックスである。本実施例の場合は、オブジェクトの外挿矩形を表示している。もちろん、オブジェクトの明示には、もっと実物に近いグラフィックスを表示するなど、他の様々な表示方法が考えられる。
【００５５】
図１２は、テキストを入力して、そのテキストが表示されている映像を探索する例を示す。図１２において、５３０は映像に合成表示されたグラフィックス、６００はテキスト探索を実行するための探索シート、６１０は探索キーによって適合する別の映像を探索するための次メニュー、６２０は探索を終了することを指定するための終了メニュー、６３０は探索メニューに入力するためのテキスト入力領域である。メニュー領域１１０で探索を指定するメニューを選択すると、探索シート６００が表示画面１００上に表示される。テキスト入力領域６３０にキーボードから探索キーとなるテキストを入力し、リターンキーを押すと、探索が開始される。マンマシンサーバは探索キーを含むような事物を映せるカメラを探索し、探索したカメラを探索キーがはっきり見えるようなカメラワークに設定し、探索したカメラからの映像を映像表示領域２００に表示する。映像内の探索キーに適合する部分にはグラフィックス５３０を合成表示して、探索キーに適合する部分を明示する。テキストを探索キーとした映像探索によって、操作者は言葉によって、監視したい事物を映しだすことができる。この方法では、カメラを切り替えたり、カメラの遠隔操作をすることがなく、すばやく監視対象をみつけることができる。本実施例ではテキストの入力にキーボードを用いているが、音声認識装置や手書き文字認識装置など他の入力手段を用いてもよい。また、本実施例では、探索キーとしてテキストを用いたが、探索キーとして図形を用い、探索キーの図形と適合するような図形が表示されているような映像を探索するようにしてもよい。
【００５６】
本実施例の実現方法を図１３から図２４を用いて説明する。本実施例の主たる機能は、映像内のオブジェクトを指定して、そのオブジエクトに基づいた動作を実行する機能にある。この機能を実現するプログラムの流れ図を図１７に示す。映像表示領域２００上でタッチパネル１２が押されると、その押された位置（操作者がタッチパネルなどのＰＤを使って指定した画面上の位置をイベント位置と呼ぶことにする）に映っているオブジェクトを同定する（ステップ１０００）。オブジェクトが同定できた場合（イベント位置にオブジェクトが存在する場合）（ステップ１０１０）、そのオブジェクトに対応して定義されている動作を実行する（ステップ１０２０）。
【００５７】
イベント位置に映っているオブジェクトは、撮影対象のモデルとカメラ情報とを参照して同定する。撮影対象のモデルは、撮影対象となっているオブジェクトの形状や、位置に関するデータである。カメラ情報は、撮影対象のオブジェクトをカメラがどのように撮影しているか、すなわちカメラの位置，姿勢，画角，向きなどのデータである。
【００５８】
撮影対象のモデル化の方法には様々なものが考えられる。本実施例では、（１）３次元モデル，（２）２次元モデルの２つのモデルを併用する。前記２つのモデルの概要と、長所，短所を下記にまとめる。
【００５９】
（１）３次元モデル
撮影対象の形状や位置を３次元座標系で定義したモデル、長所は任意のカメラワークに対応してオブジェクトを同定できる点。すなわち、カメラを自由に操作しながらオブジェクトを操作できる。短所は、モデルを３次元空間で定義しなければならないため、モデルの作成及びオブジェクトの同定処理が２Ｄモデルに比べて複雑になる点。ただし、最近では、プラントの設計や、プラント内の装置の設計，配置にＣＡＤを利用する場合も多く、それらのデータを流用すれば３次元モデルの作成を容易にできる。
【００６０】
（２）２次元モデル
特定のカメラワークごとに、２次元座標系（ディスプレイ平面）でオブジェクトの形状や位置を定義するモデル。長所はモデルの作成が容易な点。画面上で図形を描く要領でモデルを定義できる。短所は、あらかじめモデルを定義してあるカメラワークの映像に対してしか操作できない点。カメラ操作の自由度を上げるには、より多くのカメラワークごとに、対応する平面上でオブジェクトの形状や位置を定義する必要がある。多くの運転監視システムでは、あらかじめ監視する場所が何ヶ所かに決っている場合が多い。その場合には、カメラワークも何種類かに決まるため、２次元モデルの短所は問題にならない。
【００６１】
３次元モデルに基づいてオブジェクトを同定する方法を図１３から図１６を用いて説明する。図５に示したカメラ６０の撮影対象を、３次元直交座標系ｘｙｚ（世界座標系と呼ぶ）でモデル化した例を図１３に示す。ここでは、各オブジェクトの形状を平面，直方体，円筒などでモデル化している。もちろん、球や四面体などより多くの種類の３次元基本形状を用いてもよい。また、基本形状の組み合せだけでなくより精密な形状モデルを用いてもよい。操作対象となるオブジェクト４００，４１０，４１２，４１４，４１６，４２０，４２２，４２４は、モデル上ではそれぞれ平面８００，８１０，８１２，８１４，８１６，８２０， ８２２，８２４としてモデル化されている。
【００６２】
図１４を用いて、カメラによって撮影された映像と、３次元モデルとの対応関係を説明する。カメラによる撮影は、３次元空間内に配置されたオブジェクトを２次元平面（映像表示領域２００）に投影する操作である。すなわち、映像表示領域２００に表示された映像は、３次元空間内に配置されたオブジェクトを２次元平面に透視投影したものである。画面上にとられた２次元直交座標系ＸｓＹｓを画面座標系と呼ぶことにすると、カメラによる撮影は、世界座標系上の一点 （ｘ，ｙ，ｚ）を画面座標系上の一点（Ｘｓ，Ｙｓ）へ写像する数（１）として定式化できる。
【００６３】
【数１】

【００６４】
数（１）における行列Ｔをビュー変換行列と呼ぶ。ビュー変換行列Ｔの各要素は、カメラ情報（カメラの位置，姿勢，向き，画角）および映像表示領域２００の大きさが与えられれば一意に決定される。カメラ情報は世界座標系で与える。図１４において、カメラの位置はレンズの中心Ｏｅの座標、カメラの姿勢はベクトルＯｅＹｅ、カメラの向きはベクトルＯｅＺｅ、に対応する。
【００６５】
オブジェクトの同定処理は画面座標系上の一点Ｐが指定されたときに、世界座標系上のどの点が画面座標系上の点Ｐに投影されたのかを決定する処理である。図１５に示すように、カメラのレンズの中心Ｏｃと画面座標系上の点Ｐとを結んだ直線の延長線上にある点は、全て点Ｐに投影される。その直線上の点の内、カメラによって実際に映像表示領域２００上に投影される点は、レンズの中心Ｏｅに最も近いオブジェクト１と直線との交点である。図１５においては、オブジェクト１と直線８４０との交点Ｐ１が、カメラによって、映像表示領域２００上の一点Ｐに投影される。すなわち、イベント位置がＰであるとすると、オブジェクト１が同定されることになる。
【００６６】
カメラ情報からビュー変換行列Ｔを求める技術や、ビュー変換行列Ｔに基づいて世界座標系で定義されたモデルを画面座標系に透視投影して表示する技術はグラフィックス分野ではよく知られた技術である。また、透視投影に当り、カメラに近いオブジェクトの面を画面に投影し、他のオブジェクトによってカメラから隠されている面を画面に投影しない処理は、陰面除去（ｈｉｄｄｅｎ
ｓｕｒｆａｃｅｅｌｉｍｉｎａｔｉｏｎ）または可視面決定（Ｖｉｓｉｂｌｅ−Ｓｕｒｆａｃｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ）と呼ばれ、すでに多くのアルゴリズムが開発されている。これらの技術は、例えば、Ｆｏｌｅｙ．ｖａｎＤａｍ．Ｆｅｉｎｅｒ．Ｈｕｇｈｅｓ著、”Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄＰｒａｃｔｉｃｅ”Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ発行（１９９０）や、Ｎｅｗｍａｎ．Ｓｐｒｏｕｌｌ著、“Ｐｒｉｎｃｉｐｌｅｓｏｆ Ｉｎｔｅｒａｃｔｉｖｅ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ”、ＭｃＧｒａｗ−Ｈｉｌｌ発行（１９７３）などに詳しく解説されている。また、多くのいわゆるグラフィックワークステーションでは、カメラ情報からビュー変換行列の設定，透視投影，陰面除去などのグラフィック機能がハードウエアやソフトウエアによってあらかじめ組み込まれており、それらを高速に処理することができる。
【００６７】
本実施例ではこれらのグラフィック機能を利用してオブジェクトの同定処理を行う。３次元モデルにおいて、操作の対象となるオブジェクトの面をあらかじめ色分けし、色によってその面がどのオブジェクトに属するのかを識別できるようにしておく。例えば、図１３において、平面８００，８１０，８１２，８１４，８１６，８２０，８２２，８２４にそれぞれ別な色を設定しておく。オブジェクトごとに設定された色をＩＤ色と呼ぶことにする。このＩＤ色付３次元モデルを用いた同定処理の手順を図１６に示す。まず、現在のカメラ情報を問い合わせ （ステップ１３００）、問い合わせたカメラ情報に基づいてビュー変換行列を設定する（ステップ１３１０）。マンマシンサーバ２０では常に現在のカメラの状態を管理しておき、カメラ情報の問い合わせがあると、現在のカメラ状態に応じてカメラ情報を返す。もちろん、現在のカメラ状態をカメラ制御用コントローラで管理するようにしてもよい。ステップ１３２０では、ステップ１３１０で設定されたビュー変換行列に基づいて、色分けしたモデルをグラフィック用フレームバッファ３４０の裏バッファに描画する。この描画では透視投影および陰面除去処理が行われる。裏バッファに描画するため、描画した結果はディスプレイ１０には表示されない。描画が終了したら、イベント位置に対応する裏バッファの画素値を読み出す（ステップ１３３０）。画素値は、イベント位置に投影されたオブジェクトのＩＤ色になっている。ＩＤ色はオブジェクトと一対一に対応しており、オブジェクトを同定できる。
【００６８】
図１８から図２４を用いて、２次元モデルに基づいてオブジェクトを同定する方法を説明する。２次元モデルでは、世界座標系から画面座標系に投影された後のオブジェクトの位置や形状を定義する。カメラの向きや画角が変れば、画面座標系に投影されたオブジェクトの位置や形状が変化する。従って、２次元モデルでは、個々のカメラワークごとに、オブジェクトの形状や位置のデータを持つ必要がある。本実施例では、オブジェクトを矩形領域でモデル化する。すなわち、あるカメラワークにおけるオブジェクトは、画面座標系における矩形領域の位置と大きさによって表現される。もちろん、他の図形（例えば、多角形や自由曲線など）を用いてモデル化してもよい。
【００６９】
図１８，図１９，図２０にカメラワークと２次元モデルとの対応関係を示す。各図の左図に、個々のカメラワークに対する映像表示領域２００の表示形態を示す。また、各図の右図に個々のカメラワークに対応するオブジェクトの２次元モデルを示す。図１８左図において、映像上のオブジェクト４１０，４１２，４１４，４１６，４２０，４２２，４２４は、右図の２次元モデルではそれぞれ矩形領域７１０，７１２，７１４，７１６，７２０，７２２，７２４として表現される。一つのカメラワークに対応して、オブジェクトをモデル化した矩形の集まりを領域フレームと呼ぶ。カメラワーク１に対応する領域フレーム１は矩形領域７１０ ，７１２，７１４，７１６，７２０，７２２，７２４から構成される。図１９，図２０に異なるカメラワークに対する領域フレームの例を示す。図１９において、カメラワーク２に対応する領域フレーム２は、矩形領域７４０，７４２，７４６，７４８から構成される。矩形領域７４０，７４２，７４６，７４８はそれぞれオブジェクト４１２，４１６，４２４，４２２に対応する。同様に、図２０において、カメラワーク３に対応する領域フレーム３は、矩形領域７３０から構成される。矩形領域７３０はオブジェクト４００に対応する。同じオブジェクトでも、カメラワークが異なれば、別な矩形領域に対応する。例えば、オブジェクト ４１６は、カメラワーク１の時には、矩形領域７１６に対応し、カメラワーク２の時には７４２に対応する。
【００７０】
図２２，図２３，図２４に２次元モデルのデータ構造を示す。図２２において、１３００は各カメラに対応するデータを格納するカメラデータテーブルである。カメラデータテーブル１３００には、映像内の事物に対して操作が可能なカメラワークのデータと、個々のカメラワークに対応する領域フレームのデータが格納される。
【００７１】
図２３において、１３２０はカメラワークのデータである。カメラワークのデータは、カメラの水平方向の向きである水平角，カメラの垂直方向の向きである垂直角，ズームの度合を表す画角からなる。ここでは、カメラの姿勢や、カメラの位置は固定であることを想定している。カメラの姿勢や、カメラの位置を遠隔操作できる場合は、それらを制御するためのデータもカメラワークデータ１３２０に追加すればよい。カメラワークデータ１３２０は、カメラをあらかじめ定義したカメラワークに設定するために使われる。すなわち、マンマシンサーバ２０はカメラワークデータをカメラ制御用コントローラに送り、カメラを遠隔操作する。カメラワークデータ１３２０はオブジェクトの同定処理に直接必要な訳ではない。
【００７２】
図２４に領域フレームのデータ構造を示す。領域フレームデータは、領域フレームを構成する領域の個数と、各矩形領域に関するデータからなる。領域データには、画面座標系における矩形領域の位置（ｘ，ｙ），矩形領域の大きさ（ｗ，ｈ），オブジェクトの活性状態，動作，付加情報からなる。オブジェクトの活性状態は、オブジェクトが活性か不活性かを示すデータである。オブジェクトが不活性状態にあるときには、そのオブジェクトは同定されない。活性状態にあるオブジェクトだけが同定される。動作には、イベント／動作対応テーブル１３４０へのポインタが格納される。イベント／動作対応テーブル１３４０には、オブジェクトがＰＤによって指定された時に、実行すべき動作が、イベントと対になって格納される。ここで、イベントとは、ＰＤの操作種別を指定するものである。例えば、感圧タッチパネル１２を強く押した場合と、軽く押した場合ではイベントが異なる。イベントが発生すると、イベント位置にあるオブジェクトが同定され、そのオブジェクトに定義してあるイベント／動作対の内、発生したイベントと適合するイベントと対になっている動作が実行される。領域フレームの付加情報には、矩形領域としてだけでは表しきれない、オブジェクトの付加的な情報 １３５０へのポインタが格納される。付加情報には様々なものがある。例えば、オブジェクトに描かれテキスト，色，オブジェクトの名前，関連情報（例えば、装置のマニュアル，メンテナンス情報，設計データなど）がある。これによって、オブジェクトに描かれたテキストに基づいて、オブジェクトを検索したり、指定されたオブジェクトの関連情報を表示したりできる。
【００７３】
図２１に、２次元モデルを使ってオブジェクトを同定する手順を示す。まず、現在のカメラワークに対応する複数フレームをカメラデータテーブル１３００から検索する（ステップ１２００）。次に領域フレームを構成する領域のなかから、イベント位置を含む領域を検索する。すなわち、複数フレームデータに格納されている各領域の位置と大きさのデータと、イベント位置とを比較し（ステップ１２２０）、イベント位置にある領域が見つかったらその番号を上位の処理系に返す。上位の処理系は、見つかった複数が活性状態か否かを調べ、活性状態だったら、イベントに対応して定義されている動作を実行する。ステップ１２２０は、イベント位置を含む領域が見つかるか、領域フレーム内の全領域を調べ終るまで繰り返される（ステップ１２１０）。
【００７４】
２次元モデルは２次元モデル定義ツールを使って定義する。２次元モデル定義ツールは下記機能からなる。
【００７５】
（１）カメラ選択機能
プラント内に配置してある任意のカメラを選択し、そのカメラからの映像を画面に表示する機能。カメラの選択方法として、下記がある。
【００７６】
・画面上に表示されたプラントの配置図上でオブジェクトを指定することにより、そのオブジェクトを映すカメラを指定する。
【００７７】
・画面上に表示されたプラントの配置図上でカメラの配置されている場所を指定する。
【００７８】
・カメラの番号や名前などの識別子を指定する。
【００７９】
（２）カメラワーク設定機能
前記カメラ選択機能によって、選択されたカメラを遠隔操作して、カメラの向きや画角を設定する機能。
【００８０】
（３）図形作画機能
画面上に表示された映像上で、図形を作画する機能。作画は、矩形，円，折れ線，自由曲線などの基本図形要素を組み合わせて描く。本機能によって、オブジェクトの映像を下敷にして、オブジェクトの概形を描く。
【００８１】
（４）イベント／動作対定義機能
図形作画機能で描いた少なくとも一つの図形を指定して、それに対してイベント／動作の対を定義する機能。イベントは、メニューを選択するか、イベント名をテキストとして入力するかして定義する。動作はあらかじめ定義された動作をメニューから選択するか、記述言語用いて記述する。こうした記述言語としては例えば、情報処理学会論文誌，第３０巻，第９号，１２００ページから１２１０ページに記載の「メタユーザインタフェースを有するユーザインタフェース構築支援システム」に書かれている記述言語ＵＩＤＬを用いる。
【００８２】
前記２次元モデル定義ツールでは下記手順により２次元モデルを作成する。
【００８３】
手順１：カメラおよびカメラワークの指定
前記（１）カメラ選択機能を用いて、カメラを選択し、画面上にその映像を表示する。次に前記（２）カメラワーク設定機能を用いて、カメラワークを設定し、所望の場所の映像を得る。
【００８４】
手順２：オブジェクトの概形を定義
手順１で表示した映像内の事物の中でオブジェクトとして定義したいオブジェクトの概形を前記（２）図形作画機能を用いて作画する。
【００８５】
手順３：イベントと動作の対を定義
前記（４）イベント／動作対定義機能を用いて、手順２で作画した少なくとも一つの図形を選択して、イベントと動作の対を定義する。
【００８６】
手順４：定義内容の保存
必要に応じて定義内容を保存する。定義内容は図２２，図２３，図２４に示したデータ構造を保存される。他のカメラや、他のカメラワークに対して２次元モデルを作成したいときは、手順１から手順４までを繰り返す。
【００８７】
オブジェクトのモデルを持つことによって、あるオブジェクトが映像内のどこにどのように表示されているかがわかる。これによって、オブジェクトに関連する情報を映像内のオブジェクトの位置や形状に基づいてグラフィックスを表示したり、オブジェクトの映像を検索したりできる。下記に、例を挙げる。
【００８８】
・オブジェクトの名前，機能，操作マニュアル，メンテナンス方法などをオブジェクトの上、または付近に合成表示する。例えば、あるコマンドを発行すると
映像に映っている各機能の名前を表示するなど。
【００８９】
・グラフィックスで作成したオブジェクトを実際にカメラで映されているかのように実写の映像に合成表示する。
【００９０】
・オブジェクトの付加情報を入力されたキーワードに基づいて検索し、該当するオブジェクトを映すようにカメラとカメラワークを設定する。
【００９１】
・カメラでは映すことのできないオブジェクト内部の構造を、映像内のオブジェクトに合成表示する。例えば、配管内の水流の様子を他のセンサから得られたデータに基づいてシミュレーションし、その結果を実写の映像に映っている配管の上に合成表示する。同様に、ボイラの中の火炎の様子（例えば、センサから得られた情報に基づいて作成された温度分布図）を表すグラファックスを映像内のボイラに合成表示する。
【００９２】
・現在注目すべきオブジェクトを、グラフィックスにより明示する。例えば、センサによって異常が検知されたと映像内のオブジェクトにグラフィックスを合成表示する。また、トレンドグラフに表示されているデータに関連する映像内のオブジェクトにグラフィックスを合成して、データと映像内のオブジェクトの関連がすぐわかるようにする。
【００９３】
【発明の効果】
本発明の効果は、下記（１）から（６）の少なくとも一つを達成することである。
【００９４】
（１）遠隔運転監視システムなどにおいて、運転員が操作の対象や操作結果を直感的に把握できるようになり、誤操作が減る。
【００９５】
（２）カメラの選択や、カメラの遠隔操作に煩わされることなく、監視したいところの映像を簡単に見ることができる。
【００９６】
（３）監視用映像上で操作を行うことができる。このため、監視モニタと操作盤とを分ける必要がなくなり、遠隔運転監視システムの小型化，省スペース化を図ることができる。
【００９７】
（４）カメラ映像にグラフィックスを合成表示することにより、それぞれの長所を生かし、短所を補うことができる。すなわち、現場の臨場感を伝えながら、重要な部分を強調することができる。
【００９８】
（５）異種の情報を素早く相互参照できる表示。例えば、カメラ映像で現在監視している部分を指定するだけで、その部分に関連するセンサの値を示すトレンドグラフを表示させることができる。これにより、現場の状況を総合的に判断できるようになる。
【００９９】
（６）映像に対して直接操作を加えるようにマンマシンを簡単に設計，開発できるようになる。
【図面の簡単な説明】
【図１】本発明によるプラント運転監視システムの全体構成である。
【図２】マンマシンサーバのハードウエア構成である。
【図３】本発明によるプラント運転監視システムの画面構成例である。
【図４】図面表示領域の画面表示形態である。
【図５】映像表示領域の画面表示形態と現場との対応を示す図である。
【図６】オブジェクト指定によるカメラワーク設定の一例を示す図である。
【図７】オブジェクト指定によるカメラワーク設定の一例を示す図である。
【図８】オブジェクト指定によるボタン操作の一例を示す図である。
【図９】オブジェクト指定によるスライダ操作の一例を示す図である。
【図１０】図形選択による操作の一例を示す図である。
【図１１】操作可能オブジェクトの明示例を示す図である。
【図１２】探索キーによる映像探索の例を示す図である。
【図１３】３次元モデルの例を示す図である。
【図１４】３次元モデルと画面上の映像との関係を示す図である。
【図１５】画面上の点とオブジェクトとの関係を示す図である。
【図１６】３次元モデルを用いたオブジェクト同定処理の手順を示す図である。
【図１７】実施例の実現方法の手順を示す図である。
【図１８】２次元モデルとカメラワークとの関係を示す図である。
【図１９】２次元モデルとカメラワークとの関係を示す別な図である。
【図２０】２次元モデルとカメラワークとの関係を示すさらに別な図である。
【図２１】２次元モデルを用いたオブジェクト同定処理の手順を示す図である。
【図２２】カメラデータテーブルの構造を示す図である。
【図２３】カメラワークデータの構造を示す図である。
【図２４】領域フレームのデータ構造を示す図である。
【符号の説明】
１０…ディスプレイ、１２…感圧タッチパネル、１４…スピーカ、２０…マンマシンサーバ、３０…スイッチャ、４０…キーボード、５０…制御用計算機、 ６０…ビデオカメラ、６２…カメラ制御用コントローラ、６４…マイク、９０，９２…センサ、９４，９６…アクチュエータ、１００…表示画面、１３０…図面表示領域、１５０…データ表示領域、２００…映像表示領域、６００…テキスト探索シート。

Claims (6)

1. 複数のカメラのそれぞれと、それぞれのカメラが撮影可能な事物に関する情報とを対応付けて計算機に記憶し、
   前記複数のカメラで撮影されるカメラ映像を前記計算機を用いて探索し、前記探索結果を表示部に表示する映像探索表示方法であって、
   テキストを探索キーとして受付ける探索キー指定ステップと、
   前記探索キー指定ステップによって指定された前記テキストに適合する前記事物に関する情報を探索する事物情報探索ステップと、
   前記事物情報探索ステップによって探索された事物に関する情報と対応付けて記憶されているカメラを特定するカメラ特定ステップと、
   前記カメラ特定ステップにより特定されたカメラの映像を表示する表示ステップとを備えることを特徴とする映像探索表示方法。
2. 請求項１の映像探索表示方法において、
   前記映像探索ステップにより探索した映像上にグラフィックスを合成表示する合成表示ステップを有する映像探索表示方法。
3. 請求項１又は２の映像探索表示方法において、
   前記探索キー指定ステップが、音声によって探索キーを受付けることを特徴とする映像探索表示方法。
4. 複数のカメラで撮影されるカメラ映像を計算機を用いて探索し、前記探索結果を表示部に表示する映像探索表示装置であって、
   前記計算機は、
   前記複数のカメラのそれぞれと、それぞれのカメラが撮影可能な事物に関する情報とを対応付けて記憶する記憶部と、
   テキストを探索キーとして受付ける探索キー指定部と、
   前記探索キー指定部によって受付けた前記テキストに適合する前記事物に関する情報を探索する事物情報探索部と、
   前記事物情報探索部によって探索された事物に関する情報と対応付けて前記記憶部に記憶されているカメラを特定するカメラ特定部と、
   前記カメラ特定部により特定されたカメラの映像を表示する表示部とを備えることを特徴とする映像探索表示装置。
5. 請求項４の映像探索表示装置において、
   前記情報探索部により探索した映像上にグラフィックスを合成表示する合成表示部を備えた映像探索表示装置。
6. 請求項４又は５の映像探索表示装置において、
   前記探索キー指定部が、音声によって探索キーを受付けることを特徴とする映像探索表示装置。

Images