JP3608940B2 - 映像探索表示方法及び映像探索表示装置 - Google Patents
映像探索表示方法及び映像探索表示装置 Download PDFInfo
- Publication number
- JP3608940B2 JP3608940B2 JP09567898A JP9567898A JP3608940B2 JP 3608940 B2 JP3608940 B2 JP 3608940B2 JP 09567898 A JP09567898 A JP 09567898A JP 9567898 A JP9567898 A JP 9567898A JP 3608940 B2 JP3608940 B2 JP 3608940B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- video
- search
- display
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02B90/20—Smart grids as enabling technology in buildings sector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/40—Display of information, e.g. of data or controls
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S20/00—Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
Landscapes
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は、ビデオ映像(以下、単に映像と呼ぶ)を利用したマンマシンインタフェース(以下、単にマンマシンと呼ぶ)に関し、特にビデオカメラから入力された映像(以下、単にカメラ映像と呼ぶ)に対して操作を施すことにより、遠隔にある事物を監視,操作するに適した映像操作方法及び装置,映像探索方法及び装置,映像処理定義方法及び装置、および、発電プラント,化学プラント,鉄鋼圧延機,ビル,道路,上下水システムなどの遠隔運転監視方法及びシステムに関する。
【0002】
【従来の技術】
原子力発電所に代表される大規模なプラントシステムを安全に運転していくためには、適切なマンマシンをもった運転監視システムが不可欠である。プラントは、操作者の「監視」「判断」「操作」の3つの作業によって運転維持される。運転監視システムは操作者のこうした3つの作業が円滑にできるようなマンマシンを備えている必要がある。「監視」作業では、プラントの状態が即座にまた正確に把握できる必要がある。「判断」時には、判断の材料,根拠となる情報を操作者が素早く参照できなければならない。「操作」時には、操作の対象,操作の結果が直感的にわかり、操作者の意図する操作が正確かつ迅速に実行できるような操作環境が不可欠である。
【0003】
従来の運転監視システムのマンマシンを、「監視」「判断」「操作」の各作業ごとに概観してみる。
【0004】
(1)監視
プラント内の状態は、圧力や温度などを検知する各種のセンサからのデータと、プラントの各所に配置されたビデオカメラからの映像とを監視することによって把握できる。各種センサからの値は、グラフィックディスプレイなどに様々な形態で表示される。トレンドグラフやパーグラフなども多く利用されている。一方、ビデオカメラからの映像は、グラフィックディスプレイとは別な専用のモニタに表示されることが多い。プラント内には40個以上のカメラが設置されることも少なくない。操作者はカメラを切り替えたり、カメラの方向やレンズを制御しながらプラント各所の監視を行う。通常の監視業務では、カメラからの映像を操作者が見ることは滅多に無く、カメラ映像の利用率は低いのが現状である。
【0005】
(2)判断
プラントに何か異常が発生したときには、操作者はセンサやカメラから得られる多量の情報を総合的に調べて、プラント内で何が起きているかを素早く的確に判断しなければならない。現状の運転監視システムでは、各種センサからのデータや、カメラからの映像が独立に管理されているため、それらを関連づけながら参照するのが難しく、操作者に大きな負担をかけている。
【0006】
(3)操作
操作は操作盤上のボタンやレバーを用いて行う。最近では、グラフィックディスプレイとタッチパネルを組み合わせて、画面上に表示したメニューや図形を選択することによって、操作を行えるようなシステムも多くなってきた。しかしながら、操作盤上のボタンやレバー、またはディスプレイ上のメニューや図形といったものは、現場の事物とは切り離された抽象的な形態であり、操作者がそれらの機能や、操作の結果を想起するのが困難な場合がある。すなわち、所望の操作がどのレバーを引けば可能なのかがすぐわからなかったり、あるボタンを押すとプラント内のどの機器にどんな操作指令が送られるのかが直感的につかみにくいといった問題がある。また、操作盤がカメラなどのモニタとは独立に構成されているため装置が大型化するという問題もある。
【0007】
【発明が解決しようとする課題】
上述のように、従来技術には下記の問題があった。
【0008】
(1)操作盤上のキー,ボタン,レバーによる遠隔操作や、画面上のメニューやアイコンを使った遠隔操作では、現場の臨場感が伝わりにくいため、実際の操作対象や操作結果を直感的につかみにくく、誤操作する可能性が高い。
【0009】
(2)操作者が直接カメラの切り替や、遠隔操作をしなければならず、多数のカメラを用いて監視を行う場合、見たいところを映してくれるカメラを簡単に選択できない。また、遠隔にあるカメラを操作して、見たいところがよく見えるようにするのに手間がかかる。
【0010】
(3)ビデオカメラからの映像を映す画面と、他のデータを参照する画面と、操作するための画面または装置とが別になったり、全体の装置が大きくなる、映像と他のデータとの相互参照がやりにくいなどの問題がある。
【0011】
(4)カメラ映像は臨場感を伝える効果は高いが、情報量が多く、抽象化されていないため、操作者がカメラ映像内の構造を直感的につかみにくいという欠点がある。一方、グラフィックスによる表示は、重要な部分を強調し、不必要な部分を簡略化し、本質的な部分だけを抽象化して表示することができるが、実際の事物や事象と切り離された表現となり、操作者がグラフィック表現と実際の事物,事象との関係を容易に想起できなくなる恐れがある。
【0012】
(5)カメラからの映像情報と、他の情報(例えば、圧力や温度などのデータ)とが全く独立に管理されており、相互参照が簡単にできない。このため状況の総合判断することが難しい。
【0013】
本発明の目的は、前記従来技術の問題を解決し、下記(1)から(6)の少なくとも一つを達成することにある。
【0014】
(1)遠隔運転監視システム等において、運転員が操作の対象や操作結果を直感的に把握できるようにすること。
【0015】
(2)カメラの選択や、カメラの遠隔操作に煩わされることなく、監視したいところの映像を簡単に見れるようにすること。
【0016】
(3)遠隔運転監視システムなどの小型化,省スペース化を図ること。
【0017】
(4)カメラ映像とグラフィックスそれぞれの長所を生かし、短所を補うこと。
【0018】
(5)異種の情報を素早く相互参照できるようにすること。例えば、カメラ映像で現在監視している部分の温度をすぐに参照できるようにすることなど。
【0019】
(6)上記目的を達成するようなマンマシンを簡単に設計,開発できるようにすること。
【0020】
【課題を解決するための手段】
本発明によれば前記目的(1)〜(5)は下記ステップを有する方法によって解決される。
【0021】
(1)オブジェクト指定ステップ
画面上に表示されたビデオ映像内の事物(以下では、オブジェクトと呼ぶ)をポインティングデバイス(以下、PDと呼ぶ)などの入力手段を使って指定する。ビデオ映像は遠隔に置かれたビデオカメラから入力したり、蓄積媒体(光ビデオディスク,ビデオテープレコーダ,計算機のディスクなど)から再生したりする。ポインティングデバイスとしては、例えばタッチパネル,タブレット,マウス,アイトラッカ,ジェスチャ入力装置などを用いる。オブジェクトの指定前に、映像内の指定可能なオブジェクトを、グラフィックスの合成表示により明示してもよい。
【0022】
(2)処理実行ステップ
前記オブジェクト指定ステップによって指定されたオブジェクトに基づいて処理を実行する。処理の内容には例えば下記がある。
【0023】
・指定されたオブジェクトを動作させるまたは動作した場合と同様の結果になるような操作指令を送る。例えば、指定されたオブジェクトがボタンである場合、実際にそのボタンを押し下げるまたは、押し下げられた場合と同様の結果に
なるような操作指令を送る。
【0024】
・指定されたオブジェクトに基づいて映像を切り替える。例えば、遠隔にあるカメラを操作して、指定されたオブジェクトがもっとよく見えるようにする。カメラの向きを動かして、映像の中央に指定されたオブジェクトが映るようにしたり、レンズを制御して指定されたオブジェクトが大きく映るようにする。他の例では、指定されたオブジェクトを別な角度から捉えるカメラの映像に切り替えたり、指定されたオブジェクトに関連するオブジェクトを映っているカメ
ラ映像に切り替えたりする。
【0025】
・指定されたオブジェクトが明示されるように、グラフィックスを映像上に合成表示する。
【0026】
・指定されたオブジェクトに関連する情報を表示する。例えば、指定されたオブ
ジェクトのマニュアル,メンテナンス情報,構造図などを表示する。
【0027】
・指定されたオブジェクトに関して実行可能な処理の一覧をメニューで表示する。メニューを図形で表現することもできる。すなわち、いくつかの図形を映像上に合成表示し、合成表示された図形をPDで選択し、選択された図形に基づ
いて次の処理を実行する。
【0028】
また、本発明によれば前記目的(2)はテキストまたはグラフィックスを入力して探索キー指定する探索キー指定ステップと、前記探索キー指定ステップによって指定された探索キーに適合する事物が表示されているビデオ映像を表示する映像探索ステップを有する方法によっても解決される。
【0029】
本発明によれば前記目的(6)は、ビデオカメラから入力された映像を表示する映像表示ステップと、前記映像表示ステップによって表示された映像上で領域を指定する領域指定ステップと、領域指定ステップによって指定された領域に処理を定義する処理定義ステップとを有する方法によって解決される。
【0030】
画面上のビデオ映像内のオブジェクトを直接指定して、指定したオブジェクトに操作指令を送る。操作者はオブジェクトの実写の映像を見ながら、操作指示を行う。操作指示によって、オブジェクトに目に見えるような動きがあれば、その動きはカメラ映像にそのまま反映される。このように、実写の映像に対して直接操作を行うことによって、操作者は実際に現場で作業している感覚で遠隔操作できる。これによって、操作者は操作の対象や操作の結果を直感的に把握でき、誤操作を減らすことができる。
【0031】
画面上で指定された映像内のオブジェクトに基づいて、カメラを選択したり、カメラに操作指令を送る。これによって、映像内のオブジェクトを指定するだけで、そのオブジェクトを監視するのに最適な映像を得ることができる。すなわち、操作者は見たいものを指定するだけでよく、カメラを選択したり、カメラを遠隔操作したりする必要がない。
【0032】
映像内のオブジェクトに直接操作を加える際に、映像に適宜グラフィックスを合成表示する。例えば、ユーザがオブジェクトを指定したら、どのオブジェクトが指定されたのかを明示するようなグラフィックス表示を行う。これによって、操作者は自分の意図する操作が確実に行われていることを確認できる。また、指定したオブジェクトに対して複数の処理を実行可能な場合は、所望の処理を選択するためのメニューを表示する。このメニューは、図形によって構成される場合もある。メニューとして表示された図形を選択することにより、操作者は実際にオブジェクトを操作しているという感覚をより強く持つことができる。
【0033】
画面上で指定された映像内のオブジェクトに基づいて、情報を表示する。これによって、映像内のオブジェクトに関連する情報を、オブジェクトを指定するだけで、参照することができる。映像と他の情報とを同時に参照しながら、状況判断を下すことが容易にできる。
【0034】
テキストまたは図形を探索キーとして入力し、前記入力した探索キーに適合する事物が映っている映像を表示する。テキストは、キーボードなどの文字入力装置,音声認識装置,手書き文字認識装置などから入力する。また図形はPDを用いて入力するか、すでに何らかの方法で作成された図形データを入力する。また、映像内にあるテキストまたは図形を探索キーとして指定してもよい。探索対象の映像がカメラ映像の場合は、探索キーに基づいて、カメラを選択し、さらにカメラの向きやレンズの制御を行い、探索キーが映るようにする。探索キーに適合する事物が映っている映像にグラフィックスを適宜合成することによって、探索キーに適合する部分が映像内のどこにあるかを明示してもよい。このように、探索キーに基づいて映像を表示することにより、操作者は見たいものを言葉や図形で示すだけで、見たい映像を得ることができる。
【0035】
映像を表示し、前記映像上で領域を指定し、前記指定した領域に対して処理を定義することによって、映像内の事物が指定されたときに実行すべき処理の内容を定義する。これによって、映像内の事物を直接操作するようなマンマシンを作成できる。
【0036】
【発明の実施の形態】
本発明の一実施例であるプラント運転監視システムを図1から図24までを用いて説明する。
【0037】
本実施例の全体構成を図1を用いて説明する。図1において、10はグラフィックスや映像を表示する表示手段となるディスプレイ、12はディスプレイ10の全面に取付けられた入力手段となる感圧タッチパネル、14は音声を出力するためのスピーカ、20は操作者がプラントの監視、および運転操作を行うためのマンマシンを提供するマンマシンサーバ、30は複数の映像入力および複数の音声入力から一つの映像入力および音声入力を選択するためのスイッチャ、50はプラント内の機器を制御したり、センサからのデータを収拾する制御用計算機、52は制御用計算機50と、マンマシンサーバ20やその他の端末,計算機類とを接続する情報系ローカルエリアネットワーク(以下LANと称す)(例えば IEEE802.3 で規定されるようなLAN)、54は制御用計算機50と、制御対象である各種機器、および各種センサとを接続する制御系LAN(例えばIEEE802.4で規定されるようなLAN)、60,70,80はプラント内の各所に置かれ、被制御物となるオブジェクトを撮像し、入力するための産業用ビデオカメラ(以下単にカメラと呼ぶ)、62,72,82は、制御用計算機50からの指令に従って、それぞれカメラ60,70,80の向きやレンズを制御するためのコントローラ、64,74,84は、それぞれカメラ60,70,80に取付けられたマイク、90,92はプラント各部の状態を知るための各種センサ、94,96は制御用計算機50の指令に従って、プラント内の各種の機器を制御するアクチュエータである。
【0038】
感圧タッチパネル12はPDの一種である。タッチパネル12上の任意の位置を指で押すと、押された位置座標と、押された圧力をマンマシンサーバに報告する。タッチパネル12はディスプレイ10の全面に取付けられる。タッチパネル12は透明で、タッチパネル12の後ろにあるディスプレイ10の表示内容を見ることができる。これにより、操作者はディスプレイ10上に表示されたオブジェクトを指で触る感覚で指定することができる。本実施例では、タッチパネル 12の操作として、(1)軽く押す、(2)強く押す、(3)ドラッグするの3種類を用いる。ドラッグするとは、タッチパネル12を指で押したまま指を動かすことをいう。本実施例ではPDとして感圧タッチパネルを用いたが、他のデバイスを用いてもよい。例えば、感圧でないタッチパネル,タブレット,マウス,ライトペン,アイトラッカ,ジェスチャ入力装置,キーボードなどを用いてもよい。
【0039】
カメラ60,70,80で撮影されている複数の映像は、スイッチャ30で一つに選択されマンマシンサーバ20を介してディスプレイ10上に表示される。マンマシンサーバ20はRS232Cなどの通信ポートを介してスイッチャ30を制御し、所望のカメラからの映像を選択する。本実施例では、映像を選択すると、同時にマイク64,74,84などからの入力音声も選択される。すなわち、カメラを選択すると、選択されたカメラに付随するマイクからの入力に音声も切り替わる。マイクから入力された音声はスピーカ14から出力される。もちろん、マイクとカメラからの入力を独立に切り替えることもできる。マンマシンサーバ 20はカメラからの映像にグラフィックスを合成することができる。また、マンマシンサーバ20は情報系LAN52を介して制御用計算機に操作指令を送りカメラの向きやレンズの制御を指定する。このカメラの向きやレンズの制御をカメラワークと呼ぶことにする。
【0040】
さらに、マンマシンサーバは、操作者の指令に従って、制御用計算機50を介して、センサ90,92などからデータを入力したり、アクチュエータ94, 96などを遠隔操作する。マンマシンサーバ20は、アクチュエータに操作指令を送ることによって、プラント内の各種機器の動きや機能を制御する。
【0041】
図2を用いてマンマシンサーバの構成を説明する。図2において、300は CPU、310はメインメモリ、320はディスク、330はPD、タッチパネル12,スイッチャ30などを接続するためのI/O、340はCPU300によって生成された表示データを格納するグラフィックス用フレームバッファ、360は入力されたアナログの映像情報をデジタル化するデジタイザ、370はデジタイザ360の出力であるデジタル化された映像情報を記憶するビデオ用フレームバッファ、380はグラフィック用フレームバッファ340とビデオ用フレームバッファの内容を合成してディスプレイ10に表示するブレンド回路である。
【0042】
カメラから入力した映像情報はマンマシンサーバ20で生成したグラフィックスと合成した後、ディスプレイ10に表示する。グラフィック用フレームバッファ340にはディスプレイ10上の各画素に対応して、R,G,B各色のデータと、α値と呼ばれるデータを持つ。α値は、ビデオ用フレームバッファ370内の映像情報と、グラフィック用フレームバッファ340内のグラフィック表示データとの合成の仕方をディスプレイ10の各画素ごとに指定する。ブレント回路380の機能は、
d=f(g,v,α)
で表せる。ただし、gとαはそれぞれグラフィック用フレームバッファ340内の一つの画素の色情報とα値であり、vはビデオ用フレームバッファ370内のgに対応する画素の色情報、dはgとvとを合成した結果の画素の色情報である。本システムでは関数fとしては下式を用いる。
【0043】
f(g,v,α)=255{αg+(1−α)v}
もちろん、関数fとして他のものを用いてもよい。
【0044】
グラフィック用フレームバッファ340はいわゆるダブルバッファと呼ばれる構成になっている。ダブルバッファは、2画面分のバッファをもち、ディスプレイ10に表示するバッファを随時選択できる。ディスプレイ10に表示されている方のバッファを表バッファ、表示されていない方のバッファを裏バッファと呼ぶことにする。表バッファと裏バッファとの切り替えは瞬時にできる。裏バッファにグラフィックスを描画し、描画が終了した時点で裏バッファを表バッファに切り替えることにより描画時のちらつきをすくなくできる。どちらのバッファの内容もCPUから随時読み出したり書き出したりできる。
【0045】
図3にディスプレイ10の表示画面構成の一例を示す。図3において、100はディスプレイ10の表示画面、110はシステム全体に関するコマンドを指定するためのメニュー領域、150はセンサからのデータや、プラントに関する様々な資料やデータを表示するためのデータ表示領域、130はプラント全体や、各部分の構成図,構造図,設計図面などを表示する画面表示領域、200はカメラから入力された映像を表示する映像表示領域である。
【0046】
図4は図面表示領域130の表示形態の一例である。図4において、132はセンサのある位置を明示するコマンドを発行するためのメニュー、134は操作者が指定した図面上の一つのオブジェクトである。操作者が画面表示領域130に表示された図面内のオブジェクトを選択すると、そのオブジェクトに関連するセンサからの情報がデータ表示領域150または映像表示領域200上に表示される。例えば、指定したオブジェクトに関連するセンサとして、カメラが定義されていると、そのカメラから入力された映像が映像表示領域200に表示される。また、例えば、指定されたオブジェクトに関連するセンサとして油圧センサが定義されている場合には、現在の油圧値を明示するグラフィックスや、これまでの油圧値の変化を示すトレンドグラフがデータ表示領域150に表示される。タッチパネル12上を指で強く押すと、押した位置に表示されている図面上のオブジェクトが指定される。指定したオブジェクトに関連するセンサが定義されていない場合は何も起こらない。図4ではオブジェクト134の表示位置を指で強く押したところを示している。オブジェクトは指で押されると、オブジェクトが指定されたことを操作者が確認できるように強調表示される。図4に示す例では、オブジェクト134にはオブジェクト134を映すカメラ60と、オブジェクト134の周囲の音を入力するためのマイク64が、関連するセンサとして定義されており、オブジェクト134が指定されると、映像表示領域200にオブジェクト134を映す映像が表示され、スピーカ14からはオブジェクト134の周囲の音が出力される。
【0047】
図5に、オブジェクト134が図面表示領域130上で指定されたときの映像表示領域200の一表示形態と、プラント内に配置されたオブジェクト134との対応関係を示す。図5において、202〜210は、現在表示されている映像を撮影しているカメラのカメラワークを設定するためのメニュー、220は映像内の指定可能なオブジェクトを明示するためのメニューである。202はカメラの向きを設定するためのメニューである。メニュー202を選択することにより、カメラを左右にパンさせたり、上下にパンさせたりできる。204はカメラのレンズを制御して映像をズームインするためのメニュー、206はカメラのレンズを制御して映像をズームアウトするためのメニュー、208はカメラワークを一つ前のカメラワークに設定しなおすためのメニュー、210は最初のカメラワークに設定しなおすためのメニューである。
【0048】
400〜424はオブジェクト134に付随する。または周辺にある各種オブジェクトである。400はバルブ、410,420は、オブジェクト134上に書かれた文字表示、412は電圧を示すメータ、414は電源を入れるためのボタン、416は電源を切るためのボタン、422は油圧を示すメータ、424は油圧を調節するスライダのつまみである。バルブ400,ボタン414,416、つまみ424は実際に手で操作することのできる操作器であるとともに、マンマシンサーバ20から操作指令を出すことによって遠隔操作もできる操作器である。
【0049】
映像表示領域200内を操作者が指で軽く押すと、指の位置に表示されているオブジェクトが見やすくなる様にカメラワークが設定される。図6は、映像表示領域200で、メータ412に指で軽く触ると、メータ412が映像の真ん中にくるようにカメラワークが設定される様子を示している。図6左図のようにメータ412が操作者に指定されると、メータ412が映像の中央に映るようにカメラ60の向きが設定され、さらにメータ412がズームインされるようにカメラ60のレンズが制御され、映像が図6右図に示すように変化する。操作者は単に画面上でオブジェクトに触れるだけで、そのオブジェクトがよりはっきり見えるようなカメラワークを設定でき、カメラの遠隔操作に煩わされることがない。図6において、502はメータ412が指定されたことを明示するためのグラフィックエコーである。グラフィックエコー502は操作者がタッチパネル12から指をはなすと消去される。このように、カメラ映像上にグラフィックの表示を合成することにより、マンマシンを改善できる。
【0050】
図7は、映像表示領域200は、バルブ400に指で軽く触ると、バルブ400 が映像の真ん中にくるようにカメラワークが設定される様子を示している。図7左図のようにバルブ400が操作者に指定されると、図6右図に示すようにバルブ400が中央に大きく映るような映像に変化する。図7において、504はバルブ400が指定されたことを明示するためのグラフィックエコーである。グラフィックエコー504は操作者がタッチパネル12から指をはなすと消去される。他のオブジェクト410,414,416,420,422,424に関しても同様の操作が可能である。
【0051】
映像表示領域200内を操作者が指で強く押すと、指の位置に表示されているオブジェクトを操作できる。図8〜図10にオブジェクトを操作する例を示す。図8はボタン414を操作する例を示している。映像表示領域200上で、ボタン414が表示されている位置を指で強く押すと、マンマシンサーバ20から制御用計算機50を介して、遠隔にあるボタン414を操作するアクチュエータに、ボタン414を押し下げるという操作指令が送られ、遠隔の現場にあるボタン414が実際に押し下げられる。ボタン414が押し下げられ、その結果としてメータ412の針がふれる様子はカメラ60によって映像表示領域200に映しだされる。これによって、操作者は画面上で実際にボタンを押し下げたかのような感覚を得る。
【0052】
図9はタッチパネル12上での指のドラッグによってスライダのつまみ424を操作する例を示している。映像表示領域200上で、ボタン414が表示されている位置を強く指で押しながら指を横に動かすと、映像に映しだされているつまみ424も指の動きに合わせて動く。つまみ424が動いた結果、メータ422 の針も動く。このとき、マンマシンサーバ20は、指が動く度に、制御用計算機50を介してつまみ424を制御するアクチュエータに指令を出し、指の動きにあわせてつまみ424を実際に動かす。これによって、操作者は自分の指でつまみ424を実際に動かしているような感覚を得る。
【0053】
図10は、オブジェクトに対して複数の操作が可能な場合に、映像上に合成表示した図形を選択することによって、所望の操作を選択する例を示す。図10において、510,520は、操作者がバルブ400の表示位置を指で強く押したときに映像に合成表示される図形である。操作者が図形510を強く押すと、マンマシンサーバ20は、制御用計算機50を介して、アクチュエータに操作指令を出し、バルブ400を左に回転させる。逆に、図形512を強く指で押すと、マンマシンサーバはバルブ400を右に回転させる操作指令をアクチュエータに送る。バルブ400の回転する様子はカメラ60によって撮影される映像表示領域200に映しだされる。バルブ400の回転に合わせて、図形510,512の表示を回転させてもよい。
【0054】
図11に操作可能なオブジェクト明示する方法を示す。映像に映っている事物すべてが操作可能とは限らないので、操作可能なオブジェクトを明示する手段が必要になる。図11において、514〜524は、それぞれオブジェクト400,412,414,416,422,424が操作可能なことを明示するために表示されたグラフィックスである。本実施例の場合は、オブジェクトの外挿矩形を表示している。もちろん、オブジェクトの明示には、もっと実物に近いグラフィックスを表示するなど、他の様々な表示方法が考えられる。
【0055】
図12は、テキストを入力して、そのテキストが表示されている映像を探索する例を示す。図12において、530は映像に合成表示されたグラフィックス、600はテキスト探索を実行するための探索シート、610は探索キーによって適合する別の映像を探索するための次メニュー、620は探索を終了することを指定するための終了メニュー、630は探索メニューに入力するためのテキスト入力領域である。メニュー領域110で探索を指定するメニューを選択すると、探索シート600が表示画面100上に表示される。テキスト入力領域630にキーボードから探索キーとなるテキストを入力し、リターンキーを押すと、探索が開始される。マンマシンサーバは探索キーを含むような事物を映せるカメラを探索し、探索したカメラを探索キーがはっきり見えるようなカメラワークに設定し、探索したカメラからの映像を映像表示領域200に表示する。映像内の探索キーに適合する部分にはグラフィックス530を合成表示して、探索キーに適合する部分を明示する。テキストを探索キーとした映像探索によって、操作者は言葉によって、監視したい事物を映しだすことができる。この方法では、カメラを切り替えたり、カメラの遠隔操作をすることがなく、すばやく監視対象をみつけることができる。本実施例ではテキストの入力にキーボードを用いているが、音声認識装置や手書き文字認識装置など他の入力手段を用いてもよい。また、本実施例では、探索キーとしてテキストを用いたが、探索キーとして図形を用い、探索キーの図形と適合するような図形が表示されているような映像を探索するようにしてもよい。
【0056】
本実施例の実現方法を図13から図24を用いて説明する。本実施例の主たる機能は、映像内のオブジェクトを指定して、そのオブジエクトに基づいた動作を実行する機能にある。この機能を実現するプログラムの流れ図を図17に示す。映像表示領域200上でタッチパネル12が押されると、その押された位置(操作者がタッチパネルなどのPDを使って指定した画面上の位置をイベント位置と呼ぶことにする)に映っているオブジェクトを同定する(ステップ1000)。オブジェクトが同定できた場合(イベント位置にオブジェクトが存在する場合)(ステップ1010)、そのオブジェクトに対応して定義されている動作を実行する(ステップ1020)。
【0057】
イベント位置に映っているオブジェクトは、撮影対象のモデルとカメラ情報とを参照して同定する。撮影対象のモデルは、撮影対象となっているオブジェクトの形状や、位置に関するデータである。カメラ情報は、撮影対象のオブジェクトをカメラがどのように撮影しているか、すなわちカメラの位置,姿勢,画角,向きなどのデータである。
【0058】
撮影対象のモデル化の方法には様々なものが考えられる。本実施例では、(1)3次元モデル,(2)2次元モデルの2つのモデルを併用する。前記2つのモデルの概要と、長所,短所を下記にまとめる。
【0059】
(1)3次元モデル
撮影対象の形状や位置を3次元座標系で定義したモデル、長所は任意のカメラワークに対応してオブジェクトを同定できる点。すなわち、カメラを自由に操作しながらオブジェクトを操作できる。短所は、モデルを3次元空間で定義しなければならないため、モデルの作成及びオブジェクトの同定処理が2Dモデルに比べて複雑になる点。ただし、最近では、プラントの設計や、プラント内の装置の設計,配置にCADを利用する場合も多く、それらのデータを流用すれば3次元モデルの作成を容易にできる。
【0060】
(2)2次元モデル
特定のカメラワークごとに、2次元座標系(ディスプレイ平面)でオブジェクトの形状や位置を定義するモデル。長所はモデルの作成が容易な点。画面上で図形を描く要領でモデルを定義できる。短所は、あらかじめモデルを定義してあるカメラワークの映像に対してしか操作できない点。カメラ操作の自由度を上げるには、より多くのカメラワークごとに、対応する平面上でオブジェクトの形状や位置を定義する必要がある。多くの運転監視システムでは、あらかじめ監視する場所が何ヶ所かに決っている場合が多い。その場合には、カメラワークも何種類かに決まるため、2次元モデルの短所は問題にならない。
【0061】
3次元モデルに基づいてオブジェクトを同定する方法を図13から図16を用いて説明する。図5に示したカメラ60の撮影対象を、3次元直交座標系xyz(世界座標系と呼ぶ)でモデル化した例を図13に示す。ここでは、各オブジェクトの形状を平面,直方体,円筒などでモデル化している。もちろん、球や四面体などより多くの種類の3次元基本形状を用いてもよい。また、基本形状の組み合せだけでなくより精密な形状モデルを用いてもよい。操作対象となるオブジェクト400,410,412,414,416,420,422,424は、モデル上ではそれぞれ平面800,810,812,814,816,820, 822,824としてモデル化されている。
【0062】
図14を用いて、カメラによって撮影された映像と、3次元モデルとの対応関係を説明する。カメラによる撮影は、3次元空間内に配置されたオブジェクトを2次元平面(映像表示領域200)に投影する操作である。すなわち、映像表示領域200に表示された映像は、3次元空間内に配置されたオブジェクトを2次元平面に透視投影したものである。画面上にとられた2次元直交座標系XsYsを画面座標系と呼ぶことにすると、カメラによる撮影は、世界座標系上の一点 (x,y,z)を画面座標系上の一点(Xs,Ys)へ写像する数(1)として定式化できる。
【0063】
【数1】
【0064】
数(1)における行列Tをビュー変換行列と呼ぶ。ビュー変換行列Tの各要素は、カメラ情報(カメラの位置,姿勢,向き,画角)および映像表示領域200の大きさが与えられれば一意に決定される。カメラ情報は世界座標系で与える。図14において、カメラの位置はレンズの中心Oeの座標、カメラの姿勢はベクトルOeYe、カメラの向きはベクトルOeZe、に対応する。
【0065】
オブジェクトの同定処理は画面座標系上の一点Pが指定されたときに、世界座標系上のどの点が画面座標系上の点Pに投影されたのかを決定する処理である。図15に示すように、カメラのレンズの中心Ocと画面座標系上の点Pとを結んだ直線の延長線上にある点は、全て点Pに投影される。その直線上の点の内、カメラによって実際に映像表示領域200上に投影される点は、レンズの中心Oeに最も近いオブジェクト1と直線との交点である。図15においては、オブジェクト1と直線840との交点P1が、カメラによって、映像表示領域200上の一点Pに投影される。すなわち、イベント位置がPであるとすると、オブジェクト1が同定されることになる。
【0066】
カメラ情報からビュー変換行列Tを求める技術や、ビュー変換行列Tに基づいて世界座標系で定義されたモデルを画面座標系に透視投影して表示する技術はグラフィックス分野ではよく知られた技術である。また、透視投影に当り、カメラに近いオブジェクトの面を画面に投影し、他のオブジェクトによってカメラから隠されている面を画面に投影しない処理は、陰面除去(hidden
surfaceelimination)または可視面決定(Visible−Surface Determination)と呼ばれ、すでに多くのアルゴリズムが開発されている。これらの技術は、例えば、Foley.vanDam.Feiner.Hughes著、”Computer Graphics Principles andPractice”Addison Wesley発行(1990)や、Newman.Sproull著、“Principlesof Interactive Computer Graphics”、McGraw−Hill発行(1973)などに詳しく解説されている。また、多くのいわゆるグラフィックワークステーションでは、カメラ情報からビュー変換行列の設定,透視投影,陰面除去などのグラフィック機能がハードウエアやソフトウエアによってあらかじめ組み込まれており、それらを高速に処理することができる。
【0067】
本実施例ではこれらのグラフィック機能を利用してオブジェクトの同定処理を行う。3次元モデルにおいて、操作の対象となるオブジェクトの面をあらかじめ色分けし、色によってその面がどのオブジェクトに属するのかを識別できるようにしておく。例えば、図13において、平面800,810,812,814,816,820,822,824にそれぞれ別な色を設定しておく。オブジェクトごとに設定された色をID色と呼ぶことにする。このID色付3次元モデルを用いた同定処理の手順を図16に示す。まず、現在のカメラ情報を問い合わせ (ステップ1300)、問い合わせたカメラ情報に基づいてビュー変換行列を設定する(ステップ1310)。マンマシンサーバ20では常に現在のカメラの状態を管理しておき、カメラ情報の問い合わせがあると、現在のカメラ状態に応じてカメラ情報を返す。もちろん、現在のカメラ状態をカメラ制御用コントローラで管理するようにしてもよい。ステップ1320では、ステップ1310で設定されたビュー変換行列に基づいて、色分けしたモデルをグラフィック用フレームバッファ340の裏バッファに描画する。この描画では透視投影および陰面除去処理が行われる。裏バッファに描画するため、描画した結果はディスプレイ10には表示されない。描画が終了したら、イベント位置に対応する裏バッファの画素値を読み出す(ステップ1330)。画素値は、イベント位置に投影されたオブジェクトのID色になっている。ID色はオブジェクトと一対一に対応しており、オブジェクトを同定できる。
【0068】
図18から図24を用いて、2次元モデルに基づいてオブジェクトを同定する方法を説明する。2次元モデルでは、世界座標系から画面座標系に投影された後のオブジェクトの位置や形状を定義する。カメラの向きや画角が変れば、画面座標系に投影されたオブジェクトの位置や形状が変化する。従って、2次元モデルでは、個々のカメラワークごとに、オブジェクトの形状や位置のデータを持つ必要がある。本実施例では、オブジェクトを矩形領域でモデル化する。すなわち、あるカメラワークにおけるオブジェクトは、画面座標系における矩形領域の位置と大きさによって表現される。もちろん、他の図形(例えば、多角形や自由曲線など)を用いてモデル化してもよい。
【0069】
図18,図19,図20にカメラワークと2次元モデルとの対応関係を示す。各図の左図に、個々のカメラワークに対する映像表示領域200の表示形態を示す。また、各図の右図に個々のカメラワークに対応するオブジェクトの2次元モデルを示す。図18左図において、映像上のオブジェクト410,412,414,416,420,422,424は、右図の2次元モデルではそれぞれ矩形領域710,712,714,716,720,722,724として表現される。一つのカメラワークに対応して、オブジェクトをモデル化した矩形の集まりを領域フレームと呼ぶ。カメラワーク1に対応する領域フレーム1は矩形領域710 ,712,714,716,720,722,724から構成される。図19,図20に異なるカメラワークに対する領域フレームの例を示す。図19において、カメラワーク2に対応する領域フレーム2は、矩形領域740,742,746,748から構成される。矩形領域740,742,746,748はそれぞれオブジェクト412,416,424,422に対応する。同様に、図20において、カメラワーク3に対応する領域フレーム3は、矩形領域730から構成される。矩形領域730はオブジェクト400に対応する。同じオブジェクトでも、カメラワークが異なれば、別な矩形領域に対応する。例えば、オブジェクト 416は、カメラワーク1の時には、矩形領域716に対応し、カメラワーク2の時には742に対応する。
【0070】
図22,図23,図24に2次元モデルのデータ構造を示す。図22において、1300は各カメラに対応するデータを格納するカメラデータテーブルである。カメラデータテーブル1300には、映像内の事物に対して操作が可能なカメラワークのデータと、個々のカメラワークに対応する領域フレームのデータが格納される。
【0071】
図23において、1320はカメラワークのデータである。カメラワークのデータは、カメラの水平方向の向きである水平角,カメラの垂直方向の向きである垂直角,ズームの度合を表す画角からなる。ここでは、カメラの姿勢や、カメラの位置は固定であることを想定している。カメラの姿勢や、カメラの位置を遠隔操作できる場合は、それらを制御するためのデータもカメラワークデータ1320に追加すればよい。カメラワークデータ1320は、カメラをあらかじめ定義したカメラワークに設定するために使われる。すなわち、マンマシンサーバ20はカメラワークデータをカメラ制御用コントローラに送り、カメラを遠隔操作する。カメラワークデータ1320はオブジェクトの同定処理に直接必要な訳ではない。
【0072】
図24に領域フレームのデータ構造を示す。領域フレームデータは、領域フレームを構成する領域の個数と、各矩形領域に関するデータからなる。領域データには、画面座標系における矩形領域の位置(x,y),矩形領域の大きさ(w,h),オブジェクトの活性状態,動作,付加情報からなる。オブジェクトの活性状態は、オブジェクトが活性か不活性かを示すデータである。オブジェクトが不活性状態にあるときには、そのオブジェクトは同定されない。活性状態にあるオブジェクトだけが同定される。動作には、イベント/動作対応テーブル1340へのポインタが格納される。イベント/動作対応テーブル1340には、オブジェクトがPDによって指定された時に、実行すべき動作が、イベントと対になって格納される。ここで、イベントとは、PDの操作種別を指定するものである。例えば、感圧タッチパネル12を強く押した場合と、軽く押した場合ではイベントが異なる。イベントが発生すると、イベント位置にあるオブジェクトが同定され、そのオブジェクトに定義してあるイベント/動作対の内、発生したイベントと適合するイベントと対になっている動作が実行される。領域フレームの付加情報には、矩形領域としてだけでは表しきれない、オブジェクトの付加的な情報 1350へのポインタが格納される。付加情報には様々なものがある。例えば、オブジェクトに描かれテキスト,色,オブジェクトの名前,関連情報(例えば、装置のマニュアル,メンテナンス情報,設計データなど)がある。これによって、オブジェクトに描かれたテキストに基づいて、オブジェクトを検索したり、指定されたオブジェクトの関連情報を表示したりできる。
【0073】
図21に、2次元モデルを使ってオブジェクトを同定する手順を示す。まず、現在のカメラワークに対応する複数フレームをカメラデータテーブル1300から検索する(ステップ1200)。次に領域フレームを構成する領域のなかから、イベント位置を含む領域を検索する。すなわち、複数フレームデータに格納されている各領域の位置と大きさのデータと、イベント位置とを比較し(ステップ1220)、イベント位置にある領域が見つかったらその番号を上位の処理系に返す。上位の処理系は、見つかった複数が活性状態か否かを調べ、活性状態だったら、イベントに対応して定義されている動作を実行する。ステップ1220は、イベント位置を含む領域が見つかるか、領域フレーム内の全領域を調べ終るまで繰り返される(ステップ1210)。
【0074】
2次元モデルは2次元モデル定義ツールを使って定義する。2次元モデル定義ツールは下記機能からなる。
【0075】
(1)カメラ選択機能
プラント内に配置してある任意のカメラを選択し、そのカメラからの映像を画面に表示する機能。カメラの選択方法として、下記がある。
【0076】
・画面上に表示されたプラントの配置図上でオブジェクトを指定することにより、そのオブジェクトを映すカメラを指定する。
【0077】
・画面上に表示されたプラントの配置図上でカメラの配置されている場所を指定する。
【0078】
・カメラの番号や名前などの識別子を指定する。
【0079】
(2)カメラワーク設定機能
前記カメラ選択機能によって、選択されたカメラを遠隔操作して、カメラの向きや画角を設定する機能。
【0080】
(3)図形作画機能
画面上に表示された映像上で、図形を作画する機能。作画は、矩形,円,折れ線,自由曲線などの基本図形要素を組み合わせて描く。本機能によって、オブジェクトの映像を下敷にして、オブジェクトの概形を描く。
【0081】
(4)イベント/動作対定義機能
図形作画機能で描いた少なくとも一つの図形を指定して、それに対してイベント/動作の対を定義する機能。イベントは、メニューを選択するか、イベント名をテキストとして入力するかして定義する。動作はあらかじめ定義された動作をメニューから選択するか、記述言語用いて記述する。こうした記述言語としては例えば、情報処理学会論文誌,第30巻,第9号,1200ページから1210ページに記載の「メタユーザインタフェースを有するユーザインタフェース構築支援システム」に書かれている記述言語UIDLを用いる。
【0082】
前記2次元モデル定義ツールでは下記手順により2次元モデルを作成する。
【0083】
手順1:カメラおよびカメラワークの指定
前記(1)カメラ選択機能を用いて、カメラを選択し、画面上にその映像を表示する。次に前記(2)カメラワーク設定機能を用いて、カメラワークを設定し、所望の場所の映像を得る。
【0084】
手順2:オブジェクトの概形を定義
手順1で表示した映像内の事物の中でオブジェクトとして定義したいオブジェクトの概形を前記(2)図形作画機能を用いて作画する。
【0085】
手順3:イベントと動作の対を定義
前記(4)イベント/動作対定義機能を用いて、手順2で作画した少なくとも一つの図形を選択して、イベントと動作の対を定義する。
【0086】
手順4:定義内容の保存
必要に応じて定義内容を保存する。定義内容は図22,図23,図24に示したデータ構造を保存される。他のカメラや、他のカメラワークに対して2次元モデルを作成したいときは、手順1から手順4までを繰り返す。
【0087】
オブジェクトのモデルを持つことによって、あるオブジェクトが映像内のどこにどのように表示されているかがわかる。これによって、オブジェクトに関連する情報を映像内のオブジェクトの位置や形状に基づいてグラフィックスを表示したり、オブジェクトの映像を検索したりできる。下記に、例を挙げる。
【0088】
・オブジェクトの名前,機能,操作マニュアル,メンテナンス方法などをオブジェクトの上、または付近に合成表示する。例えば、あるコマンドを発行すると
映像に映っている各機能の名前を表示するなど。
【0089】
・グラフィックスで作成したオブジェクトを実際にカメラで映されているかのように実写の映像に合成表示する。
【0090】
・オブジェクトの付加情報を入力されたキーワードに基づいて検索し、該当するオブジェクトを映すようにカメラとカメラワークを設定する。
【0091】
・カメラでは映すことのできないオブジェクト内部の構造を、映像内のオブジェクトに合成表示する。例えば、配管内の水流の様子を他のセンサから得られたデータに基づいてシミュレーションし、その結果を実写の映像に映っている配管の上に合成表示する。同様に、ボイラの中の火炎の様子(例えば、センサから得られた情報に基づいて作成された温度分布図)を表すグラファックスを映像内のボイラに合成表示する。
【0092】
・現在注目すべきオブジェクトを、グラフィックスにより明示する。例えば、センサによって異常が検知されたと映像内のオブジェクトにグラフィックスを合成表示する。また、トレンドグラフに表示されているデータに関連する映像内のオブジェクトにグラフィックスを合成して、データと映像内のオブジェクトの関連がすぐわかるようにする。
【0093】
【発明の効果】
本発明の効果は、下記(1)から(6)の少なくとも一つを達成することである。
【0094】
(1)遠隔運転監視システムなどにおいて、運転員が操作の対象や操作結果を直感的に把握できるようになり、誤操作が減る。
【0095】
(2)カメラの選択や、カメラの遠隔操作に煩わされることなく、監視したいところの映像を簡単に見ることができる。
【0096】
(3)監視用映像上で操作を行うことができる。このため、監視モニタと操作盤とを分ける必要がなくなり、遠隔運転監視システムの小型化,省スペース化を図ることができる。
【0097】
(4)カメラ映像にグラフィックスを合成表示することにより、それぞれの長所を生かし、短所を補うことができる。すなわち、現場の臨場感を伝えながら、重要な部分を強調することができる。
【0098】
(5)異種の情報を素早く相互参照できる表示。例えば、カメラ映像で現在監視している部分を指定するだけで、その部分に関連するセンサの値を示すトレンドグラフを表示させることができる。これにより、現場の状況を総合的に判断できるようになる。
【0099】
(6)映像に対して直接操作を加えるようにマンマシンを簡単に設計,開発できるようになる。
【図面の簡単な説明】
【図1】本発明によるプラント運転監視システムの全体構成である。
【図2】マンマシンサーバのハードウエア構成である。
【図3】本発明によるプラント運転監視システムの画面構成例である。
【図4】図面表示領域の画面表示形態である。
【図5】映像表示領域の画面表示形態と現場との対応を示す図である。
【図6】オブジェクト指定によるカメラワーク設定の一例を示す図である。
【図7】オブジェクト指定によるカメラワーク設定の一例を示す図である。
【図8】オブジェクト指定によるボタン操作の一例を示す図である。
【図9】オブジェクト指定によるスライダ操作の一例を示す図である。
【図10】図形選択による操作の一例を示す図である。
【図11】操作可能オブジェクトの明示例を示す図である。
【図12】探索キーによる映像探索の例を示す図である。
【図13】3次元モデルの例を示す図である。
【図14】3次元モデルと画面上の映像との関係を示す図である。
【図15】画面上の点とオブジェクトとの関係を示す図である。
【図16】3次元モデルを用いたオブジェクト同定処理の手順を示す図である。
【図17】実施例の実現方法の手順を示す図である。
【図18】2次元モデルとカメラワークとの関係を示す図である。
【図19】2次元モデルとカメラワークとの関係を示す別な図である。
【図20】2次元モデルとカメラワークとの関係を示すさらに別な図である。
【図21】2次元モデルを用いたオブジェクト同定処理の手順を示す図である。
【図22】カメラデータテーブルの構造を示す図である。
【図23】カメラワークデータの構造を示す図である。
【図24】領域フレームのデータ構造を示す図である。
【符号の説明】
10…ディスプレイ、12…感圧タッチパネル、14…スピーカ、20…マンマシンサーバ、30…スイッチャ、40…キーボード、50…制御用計算機、 60…ビデオカメラ、62…カメラ制御用コントローラ、64…マイク、90,92…センサ、94,96…アクチュエータ、100…表示画面、130…図面表示領域、150…データ表示領域、200…映像表示領域、600…テキスト探索シート。
Claims (6)
- 複数のカメラのそれぞれと、それぞれのカメラが撮影可能な事物に関する情報とを対応付けて計算機に記憶し、
前記複数のカメラで撮影されるカメラ映像を前記計算機を用いて探索し、前記探索結果を表示部に表示する映像探索表示方法であって、
テキストを探索キーとして受付ける探索キー指定ステップと、
前記探索キー指定ステップによって指定された前記テキストに適合する前記事物に関する情報を探索する事物情報探索ステップと、
前記事物情報探索ステップによって探索された事物に関する情報と対応付けて記憶されているカメラを特定するカメラ特定ステップと、
前記カメラ特定ステップにより特定されたカメラの映像を表示する表示ステップとを備えることを特徴とする映像探索表示方法。 - 請求項1の映像探索表示方法において、
前記映像探索ステップにより探索した映像上にグラフィックスを合成表示する合成表示ステップを有する映像探索表示方法。 - 請求項1又は2の映像探索表示方法において、
前記探索キー指定ステップが、音声によって探索キーを受付けることを特徴とする映像探索表示方法。 - 複数のカメラで撮影されるカメラ映像を計算機を用いて探索し、前記探索結果を表示部に表示する映像探索表示装置であって、
前記計算機は、
前記複数のカメラのそれぞれと、それぞれのカメラが撮影可能な事物に関する情報とを対応付けて記憶する記憶部と、
テキストを探索キーとして受付ける探索キー指定部と、
前記探索キー指定部によって受付けた前記テキストに適合する前記事物に関する情報を探索する事物情報探索部と、
前記事物情報探索部によって探索された事物に関する情報と対応付けて前記記憶部に記憶されているカメラを特定するカメラ特定部と、
前記カメラ特定部により特定されたカメラの映像を表示する表示部とを備えることを特徴とする映像探索表示装置。 - 請求項4の映像探索表示装置において、
前記情報探索部により探索した映像上にグラフィックスを合成表示する合成表示部を備えた映像探索表示装置。 - 請求項4又は5の映像探索表示装置において、
前記探索キー指定部が、音声によって探索キーを受付けることを特徴とする映像探索表示装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09567898A JP3608940B2 (ja) | 1991-04-08 | 1998-04-08 | 映像探索表示方法及び映像探索表示装置 |
JP2002196651A JP2003067048A (ja) | 1998-04-08 | 2002-07-05 | 情報処理装置 |
JP2004160431A JP2004334897A (ja) | 1998-04-08 | 2004-05-31 | 情報処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07492791A JP3375644B2 (ja) | 1991-04-08 | 1991-04-08 | 処理の実行方法およびバルブ遠隔操作方法 |
JP09567898A JP3608940B2 (ja) | 1991-04-08 | 1998-04-08 | 映像探索表示方法及び映像探索表示装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07492791A Division JP3375644B2 (ja) | 1991-04-08 | 1991-04-08 | 処理の実行方法およびバルブ遠隔操作方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002196651A Division JP2003067048A (ja) | 1998-04-08 | 2002-07-05 | 情報処理装置 |
JP2004160431A Division JP2004334897A (ja) | 1998-04-08 | 2004-05-31 | 情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10320095A JPH10320095A (ja) | 1998-12-04 |
JP3608940B2 true JP3608940B2 (ja) | 2005-01-12 |
Family
ID=13561482
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07492791A Expired - Fee Related JP3375644B2 (ja) | 1991-04-08 | 1991-04-08 | 処理の実行方法およびバルブ遠隔操作方法 |
JP09567898A Expired - Fee Related JP3608940B2 (ja) | 1991-04-08 | 1998-04-08 | 映像探索表示方法及び映像探索表示装置 |
JP2000271476A Pending JP2001134357A (ja) | 1991-04-08 | 2000-09-04 | 映像操作方法,映像探索方法,映像処理定義方法,遠隔運転監視方法、および装置またはシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07492791A Expired - Fee Related JP3375644B2 (ja) | 1991-04-08 | 1991-04-08 | 処理の実行方法およびバルブ遠隔操作方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000271476A Pending JP2001134357A (ja) | 1991-04-08 | 2000-09-04 | 映像操作方法,映像探索方法,映像処理定義方法,遠隔運転監視方法、および装置またはシステム |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP3375644B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3388034B2 (ja) * | 1994-08-31 | 2003-03-17 | 株式会社東芝 | 分布計測データによる機器状態の監視方法 |
US6654060B1 (en) | 1997-01-07 | 2003-11-25 | Canon Kabushiki Kaisha | Video-image control apparatus and method and storage medium |
JP2003219389A (ja) * | 2002-01-18 | 2003-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体 |
JP2003271993A (ja) * | 2002-03-18 | 2003-09-26 | Hitachi Ltd | モニタ画像処理方法及び画像モニタシステム並びに保全作業システム |
JP2004062444A (ja) * | 2002-07-26 | 2004-02-26 | Ntt Docomo Inc | 遠隔監視システム、監視用通信端末、プログラムおよび記録媒体 |
JP5202425B2 (ja) * | 2009-04-27 | 2013-06-05 | 三菱電機株式会社 | 映像監視システム |
JP4934228B2 (ja) * | 2010-06-17 | 2012-05-16 | 新日鉄ソリューションズ株式会社 | 情報処理装置、情報処理方法及びプログラム |
SG182514A1 (en) | 2010-03-30 | 2012-08-30 | Ns Solutions Corp | Information processing apparatus, information processing method, and program |
JP4950348B2 (ja) * | 2010-03-30 | 2012-06-13 | 新日鉄ソリューションズ株式会社 | 情報提供装置、情報提供方法、及びプログラム |
JP5312525B2 (ja) * | 2011-06-09 | 2013-10-09 | 中国電力株式会社 | 情報集配信装置の対向試験装置および対向試験方法 |
US9588515B2 (en) * | 2012-12-31 | 2017-03-07 | General Electric Company | Systems and methods for remote control of a non-destructive testing system |
WO2021131666A1 (ja) | 2019-12-27 | 2021-07-01 | 住友重機械工業株式会社 | システム、装置及び方法 |
WO2022102315A1 (ja) | 2020-11-11 | 2022-05-19 | 住友重機械工業株式会社 | 表示装置、制御装置、制御方法及びコンピュータプログラム |
WO2022102349A1 (ja) | 2020-11-16 | 2022-05-19 | 住友重機械工業株式会社 | 表示装置、制御装置、制御方法及びコンピュータプログラム |
-
1991
- 1991-04-08 JP JP07492791A patent/JP3375644B2/ja not_active Expired - Fee Related
-
1998
- 1998-04-08 JP JP09567898A patent/JP3608940B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-04 JP JP2000271476A patent/JP2001134357A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2001134357A (ja) | 2001-05-18 |
JP3375644B2 (ja) | 2003-02-10 |
JPH04308895A (ja) | 1992-10-30 |
JPH10320095A (ja) | 1998-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100318330B1 (ko) | 감시장치 | |
JP3608940B2 (ja) | 映像探索表示方法及び映像探索表示装置 | |
JP3419050B2 (ja) | 入力装置 | |
JP5167523B2 (ja) | 操作入力装置および操作判定方法並びにプログラム | |
US7136093B1 (en) | Information presenting apparatus, operation processing method therefor, storage medium storing program for executing operation processing | |
JP5807686B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4768196B2 (ja) | 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 | |
O'Hagan et al. | Visual gesture interfaces for virtual environments | |
US20150035752A1 (en) | Image processing apparatus and method, and program therefor | |
US20040240709A1 (en) | Method and system for controlling detail-in-context lenses through eye and position tracking | |
WO2012039140A1 (ja) | 操作入力装置および方法ならびにプログラム | |
WO1999040562A1 (en) | Video camera computer touch screen system | |
US20030227556A1 (en) | Method and system for generating detail-in-context video presentations using a graphical user interface | |
CN112527112B (zh) | 一种多通道沉浸式流场可视化人机交互方法 | |
US20070216642A1 (en) | System For 3D Rendering Applications Using Hands | |
JP2006209563A (ja) | インターフェース装置 | |
JP2001128057A (ja) | カメラ制御用ユーザインタフェースシステム | |
JP2013016060A (ja) | 操作入力装置および操作判定方法並びにプログラム | |
US20120313968A1 (en) | Image display system, information processing apparatus, display device, and image display method | |
JP2013214275A (ja) | 三次元位置指定方法 | |
CN113849112A (zh) | 适用于电网调控的增强现实交互方法、装置及存储介质 | |
JP2003067048A (ja) | 情報処理装置 | |
JP2006302316A (ja) | 情報処理装置 | |
JP2004334897A (ja) | 情報処理装置 | |
JP5665608B2 (ja) | 画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041012 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071022 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |