JPH09153069A

JPH09153069A - 情報収集装置、情報収集再生装置およびパトロール端末装置

Info

Publication number: JPH09153069A
Application number: JP7280909A
Authority: JP
Inventors: Shuichi Tsujimoto; 修一辻本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-29
Filing date: 1995-10-27
Publication date: 1997-06-10

Abstract

(57)【要約】【課題】現場の状況を簡単に収集し、センタやオフィ
スなどにおいて効率よく再生できるような携帯型の情報
収集装置を提供すること。【解決手段】本発明に係る情報収集装置は、入力され
た映像情報を記憶する手段と、前記映像情報を表示画面
に表示する手段と、前記映像情報が表示された前記表示
画面上にてペン操作されたペンストローク情報を入力す
る手段と、音情報を入力する手段と、前記ペンストロー
ク情報と前記音情報とを、入力時刻に基づいて対応付け
て記憶する手段と、対応付けられた前記ペンストローク
情報および前記音情報と、これら情報が入力された際に
表示中であった前記映像情報との対応を管理する手段と
を具備することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プラント現場など
にて情報収集を行なうための情報収集装置、情報収集再
生装置およびパトロール端末装置に関する。

【０００２】

【従来の技術】従来、プラント現場における機器の状況
や異常を検査する方法として、ハンディ型のデータ入力
装置をパトロール端末として用いる方法があった。これ
は紙と鉛筆にとって代わるものであり、現場の機器の状
況をその場で計算機にデータ入力できるものであった。
しかし、映像や音は収集できないため、映像はカメラや
ビデオで撮り、音はテープレコーダで録音していた。よ
って、データはハンディターミナルにあり、映像は写真
やビデオテープ、音はカセットテープと分かれて保存さ
れているため、後日、オフィスにおいて現場の状況を再
生することは非常に煩雑な作業であった。特開平６−３
４３１４６号公報では、会議のメモ用にペン入力情報と
音情報を対応付けて記録する技術を開示しているが、映
像は扱っていない。

【０００３】一方、パトロール自体をセンタでコントロ
ールすることを目指したプラントシステムの構築も行わ
れつつある。プラント現場の各所にビデオカメラを設置
し、センタでビデオカメラを操作することにより現場の
状況を管理しようとするものである。しかし、現場の状
況をビデオカメラで全て収集することは不可能であり、
ビデオカメラが映らない場所の状況は専門の作業員が出
向いていく必要があった。

【０００４】

【発明が解決しようとする課題】従来は、現場の状況を
簡単に収集し、センタやオフィスにおいて現場の状況を
効率良く再生することは困難であった。本発明は、上記
事情を考慮してなされたもので、現場の状況を簡単に収
集し、センタやオフィスなどにおいて効率よく再生でき
るような携帯型の情報収集装置、情報収集再生装置およ
びパトロール端末装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明に係る情報収集装
置は、入力された映像情報を記憶する手段と、前記映像
情報を表示画面に表示する手段と、前記映像情報が表示
された前記表示画面上にてペン操作されたペンストロー
ク情報を入力する手段と、音情報を入力する手段と、前
記ペンストローク情報と前記音情報とを、入力時刻に基
づいて対応付けて記憶する手段と、対応付けられた前記
ペンストローク情報および前記音情報と、これら情報が
入力された際に表示中であった前記映像情報との対応を
管理する手段とを具備することを特徴とする。

【０００６】本発明に係る情報収集再生装置は、入力さ
れた映像情報を記憶する手段と、前記映像情報を表示画
面に表示する手段と、前記映像情報が表示された前記表
示画面上にてペン操作されたペンストローク情報を入力
する手段と、音情報を入力する手段と、前記ペンストロ
ーク情報と前記音情報とを、入力時刻に基づいて対応付
けて記憶する手段と、対応付けられた前記ペンストロー
ク情報および前記音情報と、これら情報が入力された際
に表示中であった前記映像情報との対応を管理する手段
と、記憶された所望の映像情報と、該映像情報の表示中
に入力された前記ペンストローク情報とを重ねて前記表
示画面に表示する手段と、対応付けられた前記映像情報
および前記ペンストローク情報が表示された前記表示画
面上にてペン操作された指示位置の座標を検出する手段
と、検出された前記指示位置の座標に対応する前記ペン
ストローク情報を特定する手段と、特定された前記ペン
ストローク情報に対応付けられている前記音情報を再生
する手段とをさらに具備することを特徴とする。

【０００７】本発明は、プラント現場にて情報収集を行
なうためのパトロール端末装置において、入力された映
像情報を記憶する手段と、前記映像情報を表示画面に表
示する手段と、前記映像情報が表示された前記表示画面
上にてペン操作されたペンストローク情報を入力する手
段と、音情報を入力する手段と、前記ペンストローク情
報と前記音情報とを、入力時刻に基づいて対応付けて記
憶する手段と、対応付けられた前記ペンストローク情報
および前記音情報と、これら情報が入力された際に表示
中であった前記映像情報との対応を管理する手段とを具
備することを特徴とする。

【０００８】また、記憶された所望の映像情報と、該映
像情報の表示中に入力された前記ペンストローク情報と
を重ねて前記表示画面に表示する手段と、対応付けられ
た前記映像情報および前記ペンストローク情報が表示さ
れた前記表示画面上にてペン操作された指示位置の座標
を検出する手段と、検出された前記指示位置の座標に対
応する前記ペンストローク情報を特定する手段と、特定
された前記ペンストローク情報に対応付けられている前
記音情報を再生する手段とをさらに具備することを特徴
とする。

【０００９】また、前記音情報の再生にあたっては、前
記ペンストローク情報の入力開始時刻と入力終了時刻と
の間に入力された音情報を再生するだけでなく、該入力
開始時刻以前に入力された音情報および該入力終了時刻
以後に入力された音情報の少なくとも一方を所定時間再
生することを特徴とする。

【００１０】また、前記音情報の再生にあたっては、前
記ペンストローク情報の入力開始時刻と入力終了時刻と
の間に入力された部分を持つ一纏まりの有音情報を再生
することを特徴とする。

【００１１】本発明によれば、本装置を携帯する使用
者、例えば現場保守員は、現場パトロール時に異常箇所
を発見したときなど、記録しておきたい被写体をカメラ
で撮影し、その映像を携帯型パトロール端末に転送し、
表示し、そして、ペンや音声でコメントや所見、記事等
を簡単に入力することができる。

【００１２】また、センタやオフィスなどにおいて写真
・音声・メモを合体して表示することができるようなイ
ンタフェースにより、効率よく現場の状況を再生するこ
とができる。

【００１３】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。図１は、本発明の実施形態に係
る携帯型パトロール端末システム１０のハードウエア構
成を表す。

【００１４】本実施形態の携帯型パトロール端末システ
ム１０の本体１（以下、携帯型パトロール端末１と言
う）には、例えばペン入力機能付き携帯用コンピュータ
を使用する。入力装置には、ペン２、マイク３およびカ
メラ４を用いる。ペン２は、キーボードと異なり、現場
の状況や絵や文字で簡単に入力できると同時にポインテ
ィングデバイスとしての役割も果たすことができる。ま
た、マイク３やカメラ４により、現場の状況を視聴覚的
な情報の形で入力できるようにしている。スピーカ５
は、マイク３により入力された音声や予め格納されてい
る参照音などを出力するためのものである。

【００１５】なお、カメラ４は静止画を撮影するもので
も動画像を撮影するものでも良いが、本実施形態では静
止画を撮影するものを中心に説明する。マイク３やスピ
ーカ５はそれぞれ１ｃｈでも複数ｃｈ設けても良いが、
本実施形態では１ｃｈとして説明する。

【００１６】これらのハードウエア構成により、作業員
はパトロール端末システム１０を現場に携帯し、現場の
状況をカメラ４やペン２、マイク３を用いて収集するこ
とが可能となる。

【００１７】また、本実施形態では、カメラ４やペン
２、マイク３で収集した情報を互いに関連づけて管理・
保存するものであり、後に、現場の状況を簡単に再生す
ることもできる。特に、本実施形態では、その場で撮影
した映像をすぐに再生し、使用者がその映像を背景とし
てペン入力できるようにしているとともに、入力ペン情
報と入力音情報とは入力時刻によって直接対応付けてい
るので、映像情報と音情報、あるいは映像中に存在する
所望のオブジェクトとペン情報とを対応付けられるだけ
でなく、映像中のオブジェクトと録音した音声や環境音
等とを、ペン情報を介して対応付けることができる。

【００１８】図２は、本実施形態に係るパトロール端末
１の内部構成の一例を示す。このパトロール端末１は、
ペンストローク入力部１２、音声入力部１３、画像入力
部１４、時刻発生部２１、グルーピング処理部２２、表
示部２４、位置情報指定部２５、再生制御部２６、記憶
部３０、および図示しない記録制御部を備えている。

【００１９】表示部２４は、ペン情報／画像情報を表示
画面に表示し、また音情報をスピーカ５から再生する。
時刻発生部２１は、現在の時刻を発生する。

【００２０】ペンストローク入力部１２は、ペン２によ
り描かれる文字・図形情報を入力する。上記の表示画面
はタブレットにもなっており、使用者はペン２を表示画
面上で操作することにより、文字・図形情報を入力する
ことができる。ペンストローク入力部１２では、ペンス
トローク（例えばペン入力されたｘ，ｙ座標あるいはそ
の変化量δｘ，δｙの系列）を検出し、時刻発生部２１
により発生された時刻に基づき、ペンストロークとその
入力時刻（検出時刻）を対応付けてる。例えば、時刻と
ｘ，ｙ座標からなる情報を１組とする時系列データを生
成する。あるいは、一続きと認識できるペンストローク
に対して入力開始時刻と入力終了時刻の情報を付加す
る。

【００２１】グルーピング処理部２２は、予め決められ
た方法に従い、入力されたペンストロークをいくつかに
分類（グルーピング）する。音声入力部１３は、マイク
３からの音信号を入力し、必要に応じ所定の形式のデジ
タル音情報、例えばｗａｖデータに変換する。言うまで
もなく音情報は時系列データであり、時刻発生部２１に
よる時刻と対応付られる。

【００２２】なお、本明細書及び図面における音声と
は、言うまでもなく、いわゆる人間の発する音声だけを
意味するのではなく、マイク２により集音される環境音
等を初めとする様々な音をも意味するものである。

【００２３】画像入力部１４は、カメラ４からの画像信
号を入力し、必要に応じて所定の形式のデジタル情報に
変換する。記憶部３０には、画像データ２０、時系列統
合データ２３、対応テーブル２９が格納される。

【００２４】画像データ２０は、ここでは、画像入力部
１４から出力される画像データである。時系列統合デー
タ２３は、時刻発生部２１からの時刻情報に基づき、文
字・図形情報を時系列情報であるペンストロークに変換
しさらにグルーピングしたペン情報と、該ペン情報の入
力時刻に対応する音情報とを、統合した形で格納したも
のである。該ペン情報と音情報との時間的な対応付けの
方法は種々考えられるが、後にその主なもの示す。

【００２５】対応テーブル２９は、互いに関連する画像
データと時系列統合データとを対応付けるためのテーブ
ルであり、例えば画像データを特定する識別情報と時系
列統合データを特定する識別情報とが組にして登録され
ている。

【００２６】記録制御部は、画像、音声、ペンストロー
クを入力し、これらを対応付けて格納するための制御を
行なう。再生制御部２６は、対応付けられた画像情報と
ペン情報を表示するための制御を行なうとともに、位置
情報指定部２５により検出されたペン４の位置情報に基
づき指示されたペン情報に対応する音情報を再生するた
めの制御を行なう。

【００２７】次に、本実施形態の動作を情報収集時と情
報再生時に分けて説明する。まず、情報収集時の動作に
ついて説明する。図３は、情報収集時の動作の一例を示
すフローチャートである。

【００２８】例えば、作業員がこれからパトロールに向
かうプラントをプラントＡとする。プラントＡにおいて
情報を収集する場合、まず、初期画面として、図４に示
すようなプラントＡの映像を画面表示するものとする。
図４によると、プラントＡは加圧器２０１、蒸気発生器
２０２、減圧器２０３、加水器２０４、洗浄器２０５が
接続されたプラントであり、中央部にモータ１２１
１、モータ２２１２が設置されていることがわかる。

【００２９】作業員は、このようなプラントＡのパトロ
ール中に異常箇所を発見すると、携帯型パトロール端末
システム１０を用いて、その状況に関する情報収集・記
録を行なう。

【００３０】例えば、蒸気発生部２０２において蒸気漏
れがあったとすると、使用者は、まず、その映像をカメ
ラ４で撮影し、携帯型パトロール端末１に転送する。な
お、カメラ４にはデジタルスチールカメラを用いること
ができる。デジタルスチールカメラで撮影した映像情報
は、イメージキャプチャーカード（ＰＣカード）を用い
て簡単にパトロール端末１に転送することができる。ま
た、デジタルスチールカメラの代わりにビデオを用いて
もよい。

【００３１】携帯型パトロール端末１では、カメラ４か
らの映像情報を画像入力部１４から入力し、必要に応じ
て所定の形式のデジタル情報に変換した後、所定の識別
情報（例えばファイル名）を付して、記憶部３０の画像
データ２０に格納する（ステップＳ１１）。

【００３２】また、本実施形態のように初期画面を用い
る場合、記憶部３０に格納された画像データ２０が図５
（ａ）に示すような蒸気加圧器を撮影した映像であるな
らば、例えば図４のプラントＡの地図情報の蒸気発生器
２０２をペン２で指示することにより、画像データ２０
と蒸気発生器を表す情報とをリンクづけて管理、保存す
ることができる。

【００３３】このようにして画像データ２０が取り込ま
れると、携帯型パトロール端末１では、該画像データ２
０を、ペン入力のための背景（バックグラウンド）とし
て画面表示する。例えば、図５（ａ）のように、カメラ
４により撮影された、蒸気漏れが発生している異常箇所
の映像（入力画像）が表示される。

【００３４】次に、携帯型パトロール端末１では、該画
像データ２０に対応付けるペン情報と音情報を収集する
ため、音声入力とペンストローク入力受付とを開始する
（ステップＳ１２）。

【００３５】以下、ペンによる所見や異常音などを同時
に収集する操作を例として説明する。音情報の収集につ
いては、パトロール端末１の動作中、音声入力部１３か
ら常時取り込み、保存しておく方法と、図６のように画
面上に録音スタート４１、終了ボタン４２を設け、ペン
２による指示入力に従って記録する方法、あるいは、ペ
ン入力を検出すると自動的に音声記録をスタートさせ、
ペン入力が終了したものと判断した場合に音声記録を終
了する方法などが考えられる。その際、音声情報を常時
取り込み、ある容量を持ったメモリバッファに保存し、
順次書き換えていき、ペン入力がスタートしたらメモリ
バッファに保存されている音声情報を利用するようにし
てもよい。

【００３６】一方、ペン２によるペン入力は、使用者に
より必要に応じて行なわれる。パトロール端末１では、
ペン２により文字・図形情報がペン入力されると（ステ
ップＳ１３）、入力された文字・図形情報を、既に背景
として表示している映像の上に重ねて表示するととも
に、ペン情報と音情報を統合して格納する処理を行な
う。すなわち、文字・図形情報をペンストロークの時系
列情報として検出し、このペンストローク情報にグルー
ピング処理を施していくつかのペン情報に分類し（ステ
ップＳ１４）、分類された１纏まりのペン情報とこれに
時間的に対応する音声情報とを対応付けて時系列統合デ
ータとして格納する（ステップＳ１５）。本実施形態で
は、後述するように、対応するペン情報と音声情報とそ
の同期情報（例えば開始時刻と終了時刻）とを組にす
る。ペン情報と音声情報と同期情報の組はまとめて時系
列統合データ２３とし、これに所定の識別子を付して格
納する。

【００３７】また、画像データ２０と、これに対応する
時系列統合データ２３とを対応付けるために、対応テー
ブル２９に、画像データ２０の識別子と、時系列統合デ
ータ２３の識別子が、組にして登録される（ステップＳ
１５）。

【００３８】ステップＳ１６で終了するまで、ペン情報
・音声情報の入力、対応付け、格納が繰り返される。例
えば、図５（ｂ）の画面例のように、使用者は、背景と
して表示中の蒸気漏れを撮影した映像のところに、「漏
れている」と矢印付きでペン入力を行なうとともに、ペ
ン入力を行なっている際の蒸気漏れによる音を同時に収
集する。そして、「漏れている」「→」からなるペン情
報と、その際に入力された蒸気漏れによる音とが対応付
けて格納される。さらに、これらと、蒸気発生器の様子
を撮影した図５（ａ）のような映像とが、対応付けられ
る。また、映像中の１つのオブジェクトである蒸気発生
器の蒸気漏れを起こしている箇所と蒸気漏れによる音と
が、「漏れている」「→」からなるペン情報を介して対
応付けられることになる。

【００３９】同様に、圧力計３１の数値を読みとり、
「圧力」と矢印付きでペン入力を行なうと同時に、
「３．５４ｋｇ／ｍ² 」と音声により圧力計の数値を入
力し、これらを対応付けて記録することができる。

【００４０】以下では、上記した処理や時系列統合デー
タについてさらに詳しく説明する。まず、ステップＳ１
４のグルーピング処理について説明する。ペンストロー
ク入力部１２では、ペン情報を時系列情報である音情報
と対応付けるために、ペン２により描かれた文字・図形
情報をペンストロークとして入力し、これに時刻発生部
２１による時刻を対応付けている。

【００４１】図７は、ペンストロークの時間列表現の例
である。図７では、［ｔ１，ｔ２］、［ｔ３，ｔ４］、
［ｔ５，ｔ６］にペン２が操作されたことを表してい
る。グルーピング処理部２２では、これらの情報のどの
ストロークを一つの塊と判断するかを判定し、その結果
により分類を行なう。

【００４２】その１つの方法として、ペンストローク間
の時間ｔｉの長さに応じて相前後する２つのペンストロ
ークを合体させるかどうかを判定する方法がある。その
基準があらかじめαと定められていたとすると、図７の
例では、ｔ３−ｔ２、ｔ５−ｔ４を計算し、それらがα
より小さければ合体し、大きければ異なるペンストロー
クと判定する。今、ｔ３−ｔ２＜α＜ｔ５−ｔ４であっ
たとすると、第１のペンストロークと第２のペンストロ
ークが合体され、その結果、［ｔ１，ｔ４］が生成され
る。そのペンストロークと第３のペンストローク［ｔ
５，ｔ６］は別のものと取り扱われる。

【００４３】他の方法としては、ペンストロークを入力
した２次元位置情報に基づいてグルーピングする方法が
考えられる。この方法では、ペンストローク間の距離を
測定し、あらかじめ定められた距離βよりも小さければ
それらのペンストロークを合体させ、距離βよりも大き
ければそれらのペンストロークは異なるものとして取り
扱う。

【００４４】すなわち、ペンストロークＡについて、ｘ
座標の最小値をＡｘｍｉｎ、ｙ座標の最小値をＡｙｍｉ
ｎ、ｘ座標の最小値をＡｘｍａｘ、ｙ座標の最小値をＡ
ｙｍａｘとし、ペンストロークＢについて、ｘ座標の最
小値をＢｘｍｉｎｙ座標の最小値をＢｙｍｉｎｘ座標の
最小値をＢｘｍａｘｙ座標の最小値をＢｙｍａｘとす
る。

【００４５】もし、ｍａｘ（Ａｘｍａｘ，Ｂｘｍａｘ）
−ｍｉｎ（Ａｘｍｉｎ，Ｂｘｍｉｎ）＜（Ａｘｍａ
ｘ−Ａｘｍｉｎ）＋（Ｂｘｍａｘ−Ｂｘｍｉｎ）＋β
かつｍａｘ（Ａｙｍａｘ，Ｂｙｍａｘ）−ｍｉｎ（Ａｙ
ｍｉｎ，Ｂｙｍｉｎ）＜（Ａｙｍａｘ−Ａｙｍｉｎ）
＋（Ｂｙｍａｘ−Ｂｙｍｉｎ）＋β であれば、ペンス
トロークＡとペンストロークＢを合体させる。

【００４６】例えば、図８のようにペン入力された場
合、ペンストローク「調査」（図中６１１）とペンスト
ローク矢印（６１２）は近辺にあるので一つの塊（６
１）と判定され、同様に、ペンストローク「会議」（６
２１）とペンストローク「１０月」（６２２）は一つの
塊（６２）、ペンストローク「メディア」（６３１）と
ペンストローク「クラブ」（６３２）は一つの塊（６
３）と判定される。

【００４７】さらに他の方法としては、図８の例におい
て、ペンストロークが図中の６１，６２１，６３１，６
３２，６２２の順序で入力された場合、時間情報を用い
ることにより、ペンストローク６３１と６３２は合体さ
せ（６３）、ペンストローク６２１とペンストローク６
２２を別々のものとして取り扱うこともできる。ペンス
トローク６２１とペンストローク６２２は画面上での距
離β（画面上での距離しきい値）よりも近い距離に入力
されているが、その間にペンストローク６３１，６３２
が時間的に割り込んでいるからである。

【００４８】次に、ステップＳ１５のグルーピングされ
たペン情報と音情報との対応付け処理について説明す
る。図９では、グルーピングされた１纏まりのペンスト
ローク情報Ａは時刻［ｔ１，ｔ４］に入力され、もう１
つの１纏まりのペンストローク情報Ｂは時刻［ｔ５，ｔ
６］に入力されたことを表している。

【００４９】対応付け処理の方法としては、種々のもの
が考えられるが、以下にそのいくつかを示す。第１の方
法は、ペンストロークが入力された時刻に録音された音
をペンストロークに対応づける方法である。この方法に
より、時刻［ｔ１，ｔ４］の音はペンストローク情報Ａ
に、時刻［ｔ５，ｔ６］の音はペンストローク情報Ｂに
対応づけられて保存される。

【００５０】第２の方法は、ペンが入力された時刻の前
後もあらかじめ定められた範囲だけ対応づける方法であ
る。予め、時間γ１，γ２だけ余分に対応づけるとする
と、ペンストローク情報Ａには時刻［ｔ１−γ１，ｔ４
＋γ２］に録音された音が対応付き、ペンストローク情
報Ｂには時刻［ｔ５−γ１，ｔ６＋γ２］に録音された
音が対応付けられる。ｔ４＋γ２＞ｔ５−γ１の場合は
ｔ４＋γ２の代わりにｔ５−γ１を用いたり、または、
ｔ４＋γ２＞ｔ５の場合はｔ４＋γ２の代わりにｔ５を
用いたりしてもよい。

【００５１】第３の方法は、音情報を解析し、その結果
に基づきペン情報と音情報を対応づける方法である。ま
ず、音情報を無音部と有音部に分ける。そして、予め定
めた閾値αよりも音情報信号レベルが大きければ有音部
と判定し、それ以下であれば無音部と判定する。図９の
例では、時刻［ｔａ，ｔｂ］、［ｔｃ，ｔｄ］、［ｔ
ｅ，ｔｆ］が有音部と判定され、それ以外は無音部と判
定されている。この場合、ペンストロークが入力された
時刻に存在する有音情報をペンストロークに対応づける
ことができる。図９の例では、ペン１には時刻［ｔａ，
ｔｄ］に録音された音情報が対応付き、ペン２には時刻
［ｔｅ，ｔｆ］に録音された音情報が対応づけられる。

【００５２】次に、ペン情報や音情報を統合して登録す
る時系列統合データの構造例につて説明する。図１０
（ａ），（ｂ）は、ペンや音データを格納するためのデ
ータ構造の一例を表している。このデータ構造では、先
頭にフラグ（図中９０）があり、次いでそのフラグ（９
０）に関するデータ（９１）がある。フラグとデータが
対になって管理されるが（９００，９０１）が、一つの
塊を表現するものとして同期データ（９２）を付加して
ある。つまり、同期データ（９２）の検出により、セク
タ（９００）とセクタ（９０１）が１つのセクタ群（９
００１）を構成していることが検出できる。フラグ（９
０）は、音情報なら０、ペン情報なら１といったように
データの内容を区別するために用意されるものである。
データ（９１）は、音ならｗａｖデータで記述され、ペ
ンならペンストローク情報で記述される。同期情報（９
２）には、前の同期情報からの間に収納されているデー
タの同期を取るために用意されるものであり、例えば時
間情報を用いてもよい。

【００５３】図１０（ｂ）は、音とペン情報を格納した
例である。まず、先頭のデータはフラグが０であるので
続くデータが音情報であることを示している。音情報は
ｗａｖデータで格納される。ｗａｖデータに続き、フラ
グとして１が記述されているので、次ぐデータがペン情
報であることが分かる。ペン情報の構造は、最初に先頭
位置座標（ｘ０，ｙ０）があり、次ぎに予め定められた
サンプリング時間ｔ毎の変化量（δｘ，δｙ）が保存さ
れる。同期情報（９２）は、前記音データとペンデータ
が記憶された時間（ｔ１，ｔ２）が保存される。これよ
り、時刻ｔ１から時刻ｔ２の間に、前記ｗａｖデータが
録音され、前記ペンデータが入力されたことが分かる。
ｗａｖデータの長さは（ｔ２−ｔ１）×サンプリング周
波数である。

【００５４】図１０（ｂ）の例では、これらのデータに
続くデータとして音データが記録されている。フラグが
０であるからである。それに続くデータは同期データで
あり、この場合、ペンデータは記録されていない。これ
より、時刻ｔ３から時刻ｔ４の間ではｗａｖデータが録
音されたペン入力はなかったことが分かる。

【００５５】本実施形態では、現場の計器からの情報は
直接パトロール端末１に入力し保存することもできる。
この一つの実施形態として、図１０（ａ）のフラグ（９
０）として予め計器の種類を登録しておくだけでよい。
データは計器データをＡＤ変換した結果が保存される。

【００５６】なお、上記では、画像データ２０と時系列
統合データ２３とを別ファイルにして格納し、画像デー
タ２０の識別子と時系列統合データ２３の識別子との対
応を対応テーブル２９に登録するようにしていたが、図
１２のように、時系列統合データ２３の先頭部に対応す
る画像データ２０を連結するなどして、１つの統合ファ
イルとしても良い。この場合、対応テーブル２９は不要
となる。

【００５７】次に、情報再生時の動作について説明す
る。情報再生時の動作として、対応付けられた画像情報
とペン情報を表示するものと、ペンにより指示されたペ
ン情報に対応する音情報を再生するものとについて説明
する。

【００５８】図１３は、画像／ペン情報再生時の動作の
一例を示すフローチャートである。まず、表示情報の指
示が行なわれる（ステップＳ２１）。例えば、プラント
Ａにおいて収集された情報を再生する場合、まず、初期
画面として、図４に示すようなプラントＡの映像を画面
表示するものとする。

【００５９】ここで、蒸気発生器２０２に関する情報を
見たい場合、使用者は、例えば図４のプラントＡの地図
情報の蒸気発生器２０２をペン２で指示したり、あるい
はダブルクリックすることにより、再生・表示する情報
を選択する。

【００６０】なお、上記のように保存された映像が存在
する部分（ここでは蒸気発生器２０２）は、色を変えて
表示したり枠をつけて表示したりすると、情報再生時に
どの部分に映像情報が保存されているかを一目で識別す
ることができるので便利である。

【００６１】次に、パトロール端末１では、指示された
画像データを再生する（ステップＳ２２）。例えば、初
期画面の「蒸気発生部２０２」を指示すると、図５
（ａ）の映像が表示される。

【００６２】次に、対応テーブル２９を参照し、表示中
の画像データ２０に対応する時系列統合データ２９の識
別子を検索する（ステップＳ２３）。そして、特定され
た時系列統合データ２３からペン情報を検索する（ステ
ップＳ２４）。

【００６３】ペン情報の検索では、例えば、図１０のよ
うな時系列統合データ２３中にフラグが１であるデータ
が存在するか否か検索する。フラグが１であるデータが
存在すれば、それがペン情報である。

【００６４】ペン情報が存在するならば（ステップＳ２
５）、再生中の画像上にペン情報を重ねて表示する（ス
テップＳ２６）。例えば、図５（ｂ）のように、蒸気漏
れを撮影した映像のところに、「漏れている」「→」か
らなるペン情報と、「圧力」からなるペン情報の２つが
表示される。

【００６５】次に、音声情報再生時の動作について説明
する。図１４は、音声情報再生時の動作の一例を示すフ
ローチャートである。まず、パトロール端末１は、自動
的にまたは使用者の明示的な指示操作により、音情報再
生モードになる。

【００６６】映像上にペン情報が表示されている場合、
使用者はペン２により表示画面上の所望のペン情報を指
示する。位置情報指定部２５では、ペン２による指示入
力があった場合（ステップＳ３１）、指示された座標を
検出する（ステップＳ３２）。

【００６７】次に、この指示座標に基づき、指示された
時系列統合データ２９中のペン情報を検索する（ステッ
プＳ３３）。例えば、ペン情報の全ストロークの座標を
包含する矩形を仮定し、指示座標をこの矩形内に包含す
るようなペン情報が存在するか否かを調べる。そのよう
なペン情報が存在する場合、そのペン情報がペン２によ
り指示されたものと判断する。

【００６８】指示されたペン情報が特定できたならば
（ステップＳ３４）、そのペン情報に対応付けられた音
情報を検索する（ステップＳ３５）。例えば、そのペン
情報と同じ同期情報を持つセクタ群内で、フラグが０で
あるデータが存在するか否か検索する。フラグが０であ
るデータが存在すれば、それが音情報である。

【００６９】音情報が存在するならば（ステップＳ３
６）、その音情報を再生する（ステップＳ３７）。ステ
ップＳ３８で終了するまで、上記処理が繰り返される。

【００７０】例えば、図５（ｂ）の画像が表示されてい
る場合、その画面上において、「漏れている」と記入さ
れた文字をペンで指示することにより、異常音が再生さ
れる。

【００７１】また、「圧力」と記入された文字をペンで
指示すると、「３．５ｋｇ／ｍ² 」という音声所見が再
生される。この場合、ペンの指示以外に、タッチパネル
による指示を用いてもよいし、ＰＣ上で情報を再生して
いる場合には、キーボードやマウスを用いてペン情報を
指示してもよい。

【００７２】ところで、ペン情報に対応する音情報を再
生する場合、時系列統合データ２３中で指示されたペン
情報と同じセクタ群内に存在する音情報だけを再生する
と、ペン情報と音情報が前述した第１の方法で対応づけ
られている場合、ペンストロークが入力された時刻に録
音された音だけが再生され、その前後の音は再生されな
い。このような場合に、音情報の再生に先だって、時系
列統合データ２３中のペン情報と音情報と同期情報をも
とにして、前述した第２の方法（ペンが入力された時刻
の前後もあらかじめ定められた範囲だけ対応づける方
法）、あるいは第３の方法（音情報を解析し、その結果
に基づきペン情報と音情報を対応づける方法）による対
応付けに従ったときの音情報を再構築し、または第２の
方法あるいは第３の方法による対応付けに従ったときの
音情報再生時刻範囲に該当する音情報を検索し、これを
再生するようにしても良い。

【００７３】また、上記では、１つの画像データ２０と
１つ時系列統合データ２３とを対応付けていたが、例え
ば、１つの画像データ２０に複数の時系列統合データ２
３を対応付けることもである。例えば、対応テーブル２
９に、画像データ２０の識別子と、複数の時系列統合デ
ータ２３の識別子との対応を登録すれば良い。このよう
にすれば、背景として表示されている１つの画像データ
２０に対して、複数ページ分、ペン・音声による記録を
とることができる。

【００７４】次に、テキスト情報をペン入力情報や音情
報と同時に登録する例を図１０（ｃ）を用いて説明す
る。本実施形態では、テキストデータも音データやペン
データと同様にして格納することができる。図１０
（ｃ）は、セクタ群（９００３）内に、テキストデータ
のフラグを２として格納した例である。このテキストデ
ータとして、例えばパトロールすべき箇所の正常な数値
データ格納したり、操作手順を書き込んだりすることが
できる。

【００７５】図１１は、その再生・表示例である。現場
の映像の上にペン情報として矢印付きの「正常値」が記
入されており、その部分を指示すると、正常値としての
正常音が再生され、正常値としての状態、この場合、
「圧力：１ｋｇ／ｍ² 」がテキストで現れる。テキスト
の表示には例えばホップアップウインドを用いてもよ
い。このようにすれば、現場の圧力計からの数値を監視
員が読みとり、簡単にその数値を評価することが可能と
なる。また、異常時の対策などのマニュアル的なことが
らもテキストで登録しておくこともできる。この場合、
「圧力が２ｋｇ／ｍ² を越える場合はバルブを閉める」
と書かれている。

【００７６】また、チェック項目に関する再生・表示と
現場の状況収集とを同時に行なうこともできる。チェッ
ク項目に従って現場の状況をチェックすると同時に現場
の状況をカメラや音、ペンで収集し、センタにおいてそ
れらを比較することも可能である。

【００７７】これまでは、携帯型パトロール端末システ
ム１０を携帯して、現場に向かい、現場の状況を収集し
てくる例を説明した。現場の状況は、ペンや音、映像を
ハイパーリンク構造で結びつけて収集される。それとは
逆に、現場のチェック項目を予めペンや音、映像で登録
しておき、作業員は現場において、それらの情報に基づ
き現場の状況をチェックすることも考えられる。以下で
は、そのような例を説明する。

【００７８】図１５（ａ）は、現場状況チェック装置と
して携帯型パトロール端末システム１０を利用する場合
の初期画面であり、プラントＡの地図が表示されてい
る。ここでは、現場パトロール員がチェックすべき現場
箇所は、センタにおいて予め入力されるものとする。図
１５（ａ）では、二重枠により「蒸気発生器」２０２を
チェックするように明示している。もちろん、チェック
すべき箇所とそうでない箇所を色分け表示するなど、他
の方法を用いても良い。

【００７９】利用者が「蒸気発生器」２０２の部分をダ
ブルクリックなどの方法により指示すると、予め登録さ
れた現場の映像と予め入力しておいたペン情報が表示さ
れる。そのような画面の例を図１５（ｂ）に示す。図１
５（ｂ）では、「圧力」と「正常音」という文字が映像
に予め入力されている。現場において作業員が「圧力」
項目を指示すると、「標準値は２ｋｇ／ｍ² 」と音声で
話しかける。「正常音」を指示すると、パイプを流れる
蒸気の正常な音が流れる。これにより作業員は、現場に
おいて、センタで予め登録した所望の音や数値と現場の
音や計器の数値とを簡単に比較することが可能となる。

【００８０】ここでは、ペン入力や音情報によりチェッ
ク状況をセンタ登録することを行なったが、テキスト情
報で登録してもよい。つまり、図１５（ｂ）の映像の任
意の箇所、あるいは予め登録した箇所を指示すると、例
えば図１１のようにその箇所のチェック項目や正常な状
態の数値データが得られる。

【００８１】次に、本実施形態の携帯型パトロール端末
システムの操作性に関して説明する。本実施形態の携帯
型パトロール端末システムのハードウエアは、携帯性・
操作性を考慮することで、より効果的なものとなる。

【００８２】例えば、本実施形態の携帯型パトロール端
末システムを携帯して実際にパトロールを行なう際に
は、手袋を着用しているためにペンの操作が困難なこと
がある。このような場合、タッチパネル式のタブレット
を用いることができる。しかし、手袋が油などで汚れて
いる場合、その汚れがタブレットに付着することも発生
する。そのような場合、手袋の先に小型ペンを接続し、
それにより入力操作を行なうことも考えられる。

【００８３】また、携帯型パトロール端末を保持しつつ
現場の状況をカメラで撮影したり、計器を読み取ったり
所見をペン入力したりするためにはハードウエアを身体
に固定するのが望ましい。そのために、例えば、本実施
形態の携帯型パトロール端末システム１０の本体１に肩
掛け紐をとりつけ、首にぶら下げられるようにすると同
時に、携帯型パトロール端末１を身体に固定するために
ベルトフックを取り付けベルトに固定すると良い。これ
により、携帯型パトロール端末１の表示部を眺めると同
時にペン入力やカメラ動作、計器の読みとりを行なうこ
とが可能となる。また、情報収集の後、次のパトロール
地点へ移動する際は、携帯型パトロール端末をベルトフ
ックから取り外し、サイドバックの感覚で持ち運びする
ことができる。

【００８４】前述した例では、初期画像として、パトロ
ール現場の地図を用いた場合を説明したが、これは地図
に限らず、水道管の配管図や電力線の送電線図であった
りしてもよく、様々な画像を適用可能である。例えば、
工程管理表をベース画像として用いることが考えられ
る。工程管理表の項目のそれぞれがペン、音がハイパー
リンクで関連づけられたマルチメディア情報に相当す
る。また、ベース画像はビットマップ画像であっても表
計算ソフトのような表形式のセル構造のものであっても
よい。

【００８５】前述した例では、監視員がパトロール端末
を現場に携帯し、その場で情報収集し、センタに戻って
から現場情報の共有や蓄積、利用を行なうことを説明し
たが、ＰＨＳやＬＡＮなどの通信やネットワークを利用
し、現場とセンタで逐一情報のやりとりを行なうことも
考えられる。そのような利用においては、パトロールの
最中に異状が発見された場合、異常状態をカメラや音で
収集すると同時にそれらの情報をセンタに送信すること
により、センタにおいても現場の状況を直ちに知ること
ができ、現場とセンタの間で情報を共有することが可能
となる。また、異常に対する対策や指示をセンタから即
座に受けることが可能となる。

【００８６】前述した例では、パトロールを行なってい
る箇所は監視員が自分で入力する必要があった。例え
ば、図４では、プラントＡに出向いたときにはプラント
Ａの地図を指示し、その中で、蒸気発生器２０２の状態
を調べ状況を入力する際には「蒸気発生器」２０３の項
を指定する必要があった。他の実施形態として、ＧＰＳ
を利用することにより監視員のパトロール場所を自動的
に検出し、それに基づき自動的に監視項目を選択するこ
とも可能となる。図１６は、その一例である。図１６に
おいて星印１２００は、作業員が現在パトロールしてい
る場所を示している。作業員は任意の場所でマルチメデ
ィア情報収集装置を動作させると、動作させた位置をＧ
ＰＳを通して受け取り、地図上の位置に前記マルチメデ
ィア情報を張り付けることが可能となる。この際、地図
上には、マルチメディア情報が張り付けられている箇所
を明示する記号や印や記入される。

【００８７】本実施形態によれば、映像を基本情報とし
て、その映像の上に書いたペンによるメモ書きと監視員
の音声による所見、機器の動作音などの音情報を時間軸
で関連づけて記録し、工程表などにハイパーメディアと
して張り付けてデータベース化する携帯型パトロール端
末が実現できるため、効率よく現場の状況を把握でき
る。

【００８８】ところで、本実施形態では携帯型パトロー
ル端末を説明したが、本発明は他の用途に用いる情報収
集装置あるいは情報収集再生装置にも適用することがで
きる。

【００８９】例えば、会議等の様子を記録し後に参照す
るようなシステム、記者等が情報収集のために使用する
ようなシステムとして利用することができる。また、本
実施形態では、前述したような記録機能および再生・表
示機能を持つ携帯型パトロール端末を説明したが、記録
機能だけを持つシステム、あるいは再生・表示機能だけ
を持つシステムとして構成することも可能である。

【００９０】次に、別の実施形態を説明する。別の実施
形態として、電話のメモ書き用に、前述したような音声
とペンストロークとの対応付けを用いることもできる。
その実施形態を図１７を用いて説明する。利用者が電話
１１５を受信し、話を行なっている際、メモを取るため
のタブレット１１０が電話１１５に付随されたり、ある
いは電話機近辺に設置されたりしている。利用者がペン
を用いてメモを取るとペンストロークと会話音声が対に
なって保存される。その実施形態は前述したような方法
で実現される。そして会話終了後、ペンストロークをタ
ッチすればペンストロークに結びつけられた音声情報が
再生される。図１７の例であると、「１０：００渋谷
北」というペンストロークには、そのペン入力を行なっ
た際の会話の内容「それでは８月１０日、１０時にＪＲ
渋谷駅北口で待ち合わせましょう」が紐付けされる。ま
た、「０４５−１２３−４５６７」というペンストロー
クには、会話の内容「もし都合が悪くなったら山本さん
まで電話してね。番号は０４５−１２３−４５６７です
から。」が紐付けされる。これによりこれらのペンスト
ロークにタッチするとその音声情報が再生される。本発
明は、上述した実施の形態に限定されるものではなく、
その技術的範囲において種々変形して実施することがで
きる。

【００９１】

【発明の効果】本発明によれば、簡単に、現場の状況を
映像・音声・ストローク情報として収集し、これらを対
応付けて記録することができる。また、本発明によれ
ば、簡単な操作で、現場で収集した映像・音声・ストロ
ーク情報を関連づけて再生・表示することができる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る携帯型パトロール端末
システムのハードウェア構成を示す図

【図２】同実施形態に係る携帯型パトロール端末の内部
構成の一例を示す図

【図３】情報収集時の動作の一例を示すフローチャート

【図４】携帯型パトロール端末の初期画面の表示例を示
す図

【図５】携帯型パトロール端末での入力画面例および再
生画面例を示す図

【図６】携帯型パトロール端末での音声情報入力画面例
を示す図

【図７】ペンストロークの時間列の一例を示す図

【図８】ペンストロークによるグルーピング処理の一例
を説明するための図

【図９】ペンストロークと音声情報との対応付け処理の
一例を説明するための図

【図１０】時系列統合データのデータ構造の一例を示す
図

【図１１】携帯型パトロール端末システムを用いた現場
状況チェックの画面例を示す図

【図１２】時系列統合データのデータ構造の他の例を示
す図

【図１３】画像／ペン情報再生時の動作の一例を示すフ
ローチャート

【図１４】音声情報再生時の動作の一例を示すフローチ
ャート

【図１５】携帯型パトロール端末システムを用いた現場
状況チェックの画面例を示す図

【図１６】携帯型パトロール端末システムに作業員の位
置を表示した画面例を示す図

【図１７】ペンストロークと音声情報との対応付け技術
を用いた装置の一例を示す図

【符号の説明】

１…携帯用パトロール端末２…ペン３…マイク４…カメラ１０…携帯用パトロール端末システム１２…ペンストローク入力部１３…音声入力部１４…画像入力部２０…画像データ２１…時刻発生部２２…グルーピング処理部２３…時系列統合データ２４…表示部２５…位置情報指定部２６…再生制御部２９…対応テーブル３０…記憶部

Claims

【特許請求の範囲】

【請求項１】入力された映像情報を記憶する手段と、前記映像情報を表示画面に表示する手段と、前記映像情報が表示された前記表示画面上にてペン操作
されたペンストローク情報を入力する手段と、音情報を入力する手段と、前記ペンストローク情報と前記音情報とを、入力時刻に
基づいて対応付けて記憶する手段と、対応付けられた前記ペンストローク情報および前記音情
報と、これら情報が入力された際に表示中であった前記
映像情報との対応を管理する手段とを具備することを特
徴とする情報収集装置。
【請求項２】入力された映像情報を記憶する手段と、前記映像情報を表示画面に表示する手段と、前記映像情報が表示された前記表示画面上にてペン操作
されたペンストローク情報を入力する手段と、音情報を入力する手段と、前記ペンストローク情報と前記音情報とを、入力時刻に
基づいて対応付けて記憶する手段と、対応付けられた前記ペンストローク情報および前記音情
報と、これら情報が入力された際に表示中であった前記
映像情報との対応を管理する手段と、記憶された所望の映像情報と、該映像情報の表示中に入
力された前記ペンストローク情報とを重ねて前記表示画
面に表示する手段と、対応付けられた前記映像情報および前記ペンストローク
情報が表示された前記表示画面上にてペン操作された指
示位置の座標を検出する手段と、検出された前記指示位置の座標に対応する前記ペンスト
ローク情報を特定する手段と、特定された前記ペンストローク情報に対応付けられてい
る前記音情報を再生する手段とをさらに具備することを
特徴とする情報収集再生装置。
【請求項３】プラント現場にて情報収集を行なうための
パトロール端末装置において、入力された映像情報を記憶する手段と、前記映像情報を表示画面に表示する手段と、前記映像情報が表示された前記表示画面上にてペン操作
されたペンストローク情報を入力する手段と、音情報を入力する手段と、前記ペンストローク情報と前記音情報とを、入力時刻に
基づいて対応付けて記憶する手段と、対応付けられた前記ペンストローク情報および前記音情
報と、これら情報が入力された際に表示中であった前記
映像情報との対応を管理する手段とを具備することを特
徴とするパトロール端末装置。
【請求項４】記憶された所望の映像情報と、該映像情報
の表示中に入力された前記ペンストローク情報とを重ね
て前記表示画面に表示する手段と、対応付けられた前記映像情報および前記ペンストローク
情報が表示された前記表示画面上にてペン操作された指
示位置の座標を検出する手段と、検出された前記指示位置の座標に対応する前記ペンスト
ローク情報を特定する手段と、特定された前記ペンストローク情報に対応付けられてい
る前記音情報を再生する手段とをさらに具備することを
特徴とする請求項３に記載のパトロール端末装置。
【請求項５】前記音情報の再生にあたっては、前記ペン
ストローク情報の入力開始時刻と入力終了時刻との間に
入力された音情報を再生するだけでなく、該入力開始時
刻以前に入力された音情報および該入力終了時刻以後に
入力された音情報の少なくとも一方を所定時間再生する
ことを特徴とする請求項４に記載のパトロール端末装
置。
【請求項６】前記音情報の再生にあたっては、前記ペン
ストローク情報の入力開始時刻と入力終了時刻との間に
入力された部分を持つ一纏まりの有音情報を再生するこ
とを特徴とする請求項４に記載のパトロール端末装置。