JP6157170B2 - 監視支援システム - Google Patents

Description

本発明は、監視者による監視対象領域の監視状態を評価する監視支援システムに関する。

建築現場やケーブル敷設作業現場などの危険な作業位置で作業をする作業員に携帯させ、現場の危険性を回避する指示を与えるとともに、現場作業を克明に記録することができるウェアラブル監視カメラシステムが、特許文献１から知られている。このウェアラブル監視カメラシステムは、身体前方に指向する撮像レンズとこの撮像レンズの近傍に配置したボタン動作のレーザ光発生手段とを有する身体装着型ＣＣＤカメラ手段と、ヘッドセットとを備え、ＣＣＤカメラ手段からの映像信号とヘッドセットからの音声信号とが記録され、その際、映像に日時情報がスーパーインポーズされる。このウェアラブル監視カメラシステムにより、固定の領域ではなく、作業員が作業するすべての領域の撮像及び録画、さらに音声も記録することができる。このシステムでは、作業員が作業する作業現場の撮影画像には、撮像レンズの近傍に配置したレーザ光発生手段から撮影方向に向けたレーザビームの軌跡も含まれ、このレーザビームの軌跡から作業員の顔の向き（大まかな視線の方向）を読み取ることができる。しかしながら、レーザビーム軌跡は顔の向きに依存しているだけなので、実際に作業者が注視している箇所を把握することができない。したがって、このウェアラブル監視カメラシステムの記録からは、監視対象領域における監視上優先的に重要とされる箇所を作業員が注視しているかどうかは判定することができない。

空間の任意の点を基準とした視線ベクトルを演算することで、ユーザの注視点を空間座標で得ることができる頭部搭載型視線検出装置が特許文献２から知られている。この視線検出装置は、眼球を照明撮影する撮影手段から得られる眼の画像から、照明光が角膜で反射して作る反射像の位置と、頭部から離れた位置に配置された照明手段からの照明光が角膜で反射して作る反射像の位置と、瞳孔の位置とを検出する手段と、この検出結果を用いて空間座標における視線を演算する演算手段を備えている。この特許文献２には、スーパーインポーザを用いて、演算手段から与えられたデータに従い視野カメラ５の出力画像の上に視線情報を重ね合わせた視線映像をディスプレイ装置に表示させることが開示されているが、そのような視線情報付視線映像の記録方法や記録された視線情報付視線映像の利用に関する技術は開示されていない。

特定の画像に対するユーザの注視状態を解析し、この画像内の注視点の密度に基づいてこの画像における未注視領域を識別し、この未注視領域に対するユーザの注意を喚起する画像分析手法が、特許文献３から知られている。しかしながら、この手法は、Ｘ線画像における腫瘍の識別、航空写真における軍事目標の識別、物理的構造画像における構造欠陥の識別などのように、１つの注目画像に対して精密に注視を繰り返し、その注視の繰り返しにおいてなお存在する未注視領域を探し出そうとするものである。したがって、この技術を、監視者による監視対象領域の見回りにおける監視状態を撮影画像とそこでの注視点とに基づいて評価する技術に対して適用するのは困難である。

特開２００６−１４８８４２号公報（図１、図６） 特開２００２−１４３０９４号公報（図１、図２） 特開２０１１−１７５６２０号公報（図１、図２）

上記実情に鑑み、監視者による監視対象領域の見回りにおける監視状態を、特に監視者が注視した監視対象部位を簡単かつ的確に評価することが可能な監視支援システムが望まれている。

本発明による監視支援システムは、監視対象領域を監視する監視者の視線方向を撮影方向とする視野撮影カメラと、前記視野撮影カメラによる撮影画像上の前記監視者の視点である注視点を当該撮影画像上の位置データとして演算する注視点演算ユニットと、前記撮影画像と前記注視点とを関係付けて前記注視点の変移履歴を示す注視点履歴データを生成する注視点履歴データ生成部と、前記撮影画像と前記注視点履歴データとを記録するデータ記録部と、異なる日時でのあるいは異なる監視者での同一監視対象領域に関する前記撮影画像と前記注視点履歴データとを前記データ記録部から読み出し、読み出された前記撮影画像と前記注視点履歴データとを画像合成し、注視点履歴付き撮影画像として出力する画像出力部とを備えている。

この構成によれば、監視対象領域に監視時に撮影された監視者の視線方向のシーンは、その撮影画像として取得される。さらに、その撮影時における監視者の注視点が当該撮影画像上の位置データとして順次求められ、その注視点の動きを表す変移履歴が注視点履歴データとして生成され、撮影画像と関係づけて記録される。その後、特定の監視対象領域に対する日頃の監視実態を評価するために、異なる日時での同一監視対象領域に関する前記撮影画像と前記注視点履歴データとがデータ記録部から読み出され、これらが画像合成された注視点履歴付き撮影画像が出力される。この出力から、異なる日時で繰り返し監視された監視対象領域における注視点の時系列分布が把握でき、所定期間にわたって監視者が重要な箇所を注視しているかどうかがチェックできる。

なお上記構成では、出力時に撮影画像と注視点履歴データとが画像合成され、注視点履歴付き撮影画像として出力されていたが、先に注視点履歴付き撮影画像を生成してデータ記録部に記録しておいてもよい。そのような構成を採用した本発明による監視支援システムは、監視対象領域を監視する監視者の視線方向を撮影方向とする視野撮影カメラと、前記視野撮影カメラによる撮影画像上の前記監視者の視点である注視点を当該撮影画像上の位置データとして演算する注視点演算ユニットと、前記撮影画像と前記注視点とを関係付けて前記注視点の変移履歴を示す注視点履歴データを生成する注視点履歴データ生成部と、前記注視点履歴データを当該注視点履歴データに対応する前記撮影画像に画像合成し、前記撮影画像を注視点履歴付き撮影画像として記録するデータ記録部と、同一監視対象領域に関する前記注視点履歴付き撮影画像を前記データ記録部から読み出して出力する画像出力部とを備えている。この監視支援システムも先の監視支援システムと実質的に同様な作用効果を有する。

注視点ないしは注視点の集合体である注視点履歴データと撮影画像との合成処理の好適な形態は、注視点履歴データを、対応する撮影画像に対して人的に識別可能でかつ画像処理的に識別可能に合成することである。ここでの「人的に識別可能」とは、画像出力部を通じて出力されたモニタ画面やプリント面からユーザが撮影画像から容易に注視点を識別できるという意味である。また「画像処理的に識別可能」とは、コンピュータによる画像処理を通じて注視点履歴付き撮影画像から注視点を容易に識別できるというという意味である。例えば、撮影シーンにはあまり存在しないような赤色や白色などの注目色を注視点に与えることで画像処理的に識別可能な注視点が得られる。

例えば、プラント設備などの監視対象領域では、少なくとも定期的には監視する必要のある機器が存在する。このような機器が配置されている領域を撮影画像上で設定しておけば、そのような領域を監視者がどの程度注目していたかどうかを、撮影画像における注視点履歴から推定することができると、次回の監視のための重要な指導となる。このため、本発明の好適な実施形態の１つでは、前記監視対象領域において前もって設定されている重要監視箇所と当該監視対象領域の撮影画像上の前記注視点の位置とに基づいて監視不十分箇所を推定する監視判定部が備えられている。

監視者による監視対象領域の見回りにおける監視状態をより簡単かつ的確に評価するためには、適正な監視によって得られた注視点履歴付き撮影画像を比較評価のためのリファレンスとして同時に出力すると効果的である。したがって、本発明の好適な実施形態の１つでは、前記監視対象領域に対する適正な監視に基づく適正注視点履歴付き撮影画像が前もって記録されており、評価対象となる前記注視点履歴付き撮影画像と前記適正注視点履歴付き撮影画像とが比較可能な形態で前記画像出力部から出力される。

監視対象領域がプラント設備などの場合、監視者は制限された空間を歩き回る必要があり、また時には、何らかの操作を行わなければならない。このため、監視者に搭載しなければならない機器は監視者の監視行動の邪魔にならないことが好ましい。このため、監視者に搭載される機器がコンパクトであることが重要である。その一例として、スウェーデンのＴｏｂｉｉ社から発売されているメガネ型の視線追跡システム「Ｔｏｂｉｉグラス」が挙げられる。また、視野撮影カメラと一体化された眼球監視カメラと当該眼球監視カメラによって取得された眼球画像から注視点を演算する演算モジュールから構成されるような視線追跡システムを採用する場合、ヘッドセットとして視野撮影カメラと眼球監視カメラが監視者の頭部に装着され、演算モジュールは胴に装着するとよい。また、ヘッドセットに無線通信機能を持たせることで、演算モジュールを遠隔地に配置することも好適である。

本発明による監視支援システムの基本原理を示す模式図である。 図1で示した基本原理の変形を示す模式図である。 本発明による監視支援システムの具体的な実施形態を示す機能ブロック図である。 監視支援システムのウェアラブル監視ユニットを示す斜視図である。 注視点履歴付き撮影画像の一例を示すモニタ画像図である。 生成された注視点履歴付き撮影画像と登録されている適正注視点履歴付き撮影画像を並列した監視構造評価用のモニタ画像図である。

本発明による監視支援システムの具体的な実施形態を説明する前に、図１と図２とを用いて本発明の基本原理を説明する。
監視対象領域Ａ、Ｂ・・・を監視する監視者の視界を撮影するために、監視者の視線方向を撮影方向とする視野撮影カメラ２が監視者に装着されている。さらに、この視野撮影カメラ２による撮影画像上の監視者の視点である注視点を当該撮影画像上の位置データとして演算する注視点演算ユニット３も、通常は監視者に装着されている。注視点演算ユニット３は、監視者の眼球つまり瞳孔の動きを解析して、その瞳孔の向きから注視点を演算する機能を有する。この注視点を順次求めていくことで視線追跡（アイトラッキング）が行われる。

視野撮影カメラ２によって継時的に連続して取得された撮影画像と、同様に継時的に連続して演算された注視点とを関係付けて、特定の監視対象領域Ａ、Ｂ・・・に対する撮影画像における注視点の動きである変移履歴を示す注視点履歴データが生成される。この注視点履歴データには、対応する撮影画像の撮影場所である監視対象領域Ａ、Ｂ・・・を特定するＩＤや日時コードが属性データとして付随する。特に、日時コードとして、撮影画像と共通するタイムスタンプが用いられると、撮影画像との関係付けに好都合である。なお、撮影画像が動画であり、毎秒数十コマの撮影画像が生成されるような場合では、各コマの撮影画像に１つの注視点が割り当てられるような注視点位置データを注視点履歴データとしてもよい。いずれにせよ、順次生成される撮影画像と注視点履歴データとは、少なくとも一時的にメモリに記録される。このような撮影画像と注視点履歴データの記録は、監視対象領域Ａ、Ｂ・・・毎に、あるいは日時を変えて繰り返し行われる監視毎に、行われる。

監視対象領域Ａ、Ｂ・・・に対する監視状態の評価の際には、異なる日時で記録されている同一監視対象領域に関する撮影画像と注視点履歴データとがメモリから読み出される。読み出された撮影画像と注視点履歴データと画像合成することにより注視点履歴付き撮影画像が生成される。この注視点履歴付き撮影画像とは、注視点を示す識別マークを撮影画像上に描画した撮影画像である。識別マークは、背景となる撮影画像の中に紛れ込んでしまわないように、白色など識別力のある色で塗りつぶされる。注視点履歴付き撮影画像は、動画として、あるいは所定時間間隔に表示される静止画としてモニタに表示される。もちろん、ハードコピーとして、注視点履歴付き撮影画像をプリント出力することも可能である。

同一監視対象領域で日時を変えて繰り返し同様な監視が行われている場合、同一監視対象領域における複数の注視点履歴付き撮影画像が存在することになる。そのような複数の注視点履歴付き撮影画像はそれぞれに対して所定の透明化処理を施して重ね合わせて１つの注視点履歴付き撮影画像として、モニタ出力することで、同一箇所を継時的に繰り返して行われる監視における注視点の密度が容易に把握できる。

図２で示された発明の原理は、図１で示されたものに比べて、撮影画像と注視点履歴データとの合成を行うタイミングが異なっている。つまり、図１の原理では、撮影画像と注視点履歴データとをそれぞれ別個に（合成されずに）メモリに記録されているのに対して、図２の原理では、メモリに記録する前に、撮影画像と注視点履歴データとを合成し、注視点履歴付き撮影画像としてメモリに記録されている。

次に、図面を用いて、本発明による監視支援システムの具体的な実施形態の１つを説明する。図３は、監視支援システムの機能ブロック図である。
この監視支援システムでは、図４で例示するように、視野撮影カメラ２と眼球監視カメラ３１がヘッドセットＨＳとして一体的に構成されており、演算モジュール３２と注視点履歴データ生成部４１とデータ記録部４２がポーチセッＰＳとして一体的に構成されている。つまり、監視支援システムのデータ収集機器は、ヘッドセットＨＳとポーチセットＰＳとに集約されて、監視者が身に着けるウェアラブル監視ユニットとして構成されている。

視野撮影カメラ２は、パソコンや携帯電話に搭載されているような小型カメラである。眼球監視カメラ３１は、直接的にまたはミラーを介して監視者の目を撮影するカメラであり、視野撮影カメラ２よりさらに小型のものでよい。演算モジュール３２は、それ自体は公知のアルゴリズムを用いて眼球監視カメラ３１からの眼球撮影画像を解析して、視野撮影カメラによる撮影画像に写されている監視者の視線方向に広がるシーンにおける監視者の注視点を演算する。その際、その注視点は撮影画像上の位置データとして演算される。注視点履歴データ生成部４１は、演算モジュール３２から時系列的に順次出力される注視点を示す位置データから連続する撮影画像における注視点位置、つまり注視点の撮影画像上での動きを示す注視点履歴データを生成する。データ記録部４２は、注視点履歴データ及び視野撮影カメラ２の撮影画像そのものを記録するメモリであり、ハードディスクや半導体メモリなどによって構成される。

図３に示すように、監視支援システムは、さらに画像合成部４３、画像出力部４４、参照画像登録部５０、監視判定部５１、判定結果出力部５２、モニタ６１、プリンタ６２を備えている。画像合成部４３は、データ記録部４２から読み出した撮影画像と注視点履歴データとを合成して、注視点履歴付き撮影画像を生成する。画像出力部４４は、注視点履歴付き撮影画像を出力先の出力デバイス、モニタ６１またはプリンタ６２に応じたフォーマットに変換して出力する。図５に、モニタ６１に表示された注視点履歴付き撮影画像が示されているが、撮影画像上に、ここでは二重丸で表示された複数の識別マークＭが注視点として表示されている。

画像合成部４３、画像出力部４４、参照画像登録部５０、監視判定部５１、判定結果出力部５２は、実質的には、コンピュータにインストールされ、その実行によって機能を実現するコンピュータプログラムとして構成されるが、もちろん部分的にはハードウエアによって構成することも可能である。上述したヘッドセットＨＳとポーチセットＰＳとからなるウェアラブル監視ユニットとのデータ交換のために、データ記録部４２を外部記憶装置としてコンピュータのＩ／Ｏインターフェースに接続する。

参照画像登録部５０には、監視対象領域に対する適正な監視に基づく適正注視点履歴付き撮影画像が前もって読み出し可能に記録されている。ユーザは、参照した管理対象領域を指定することで、当該管理対象領域に対する適正な監視では、監視者の注視点がどこにあるのか、どのように動くのかを確認することができる。また、この参照画像登録部５０には、適正な監視に基づく適正注視点履歴付き撮影画像に基づいて生成された、適正な監視者の注視点の分布状態や分布エリアを示すデータが適正監視リファレンスとして登録されている。適正注視点履歴付き撮影画像は、要求に応じて、通常に実施されている同一監視対象領域での監視作業における注視点履歴付き撮影画像と組み合わされて、画像出力部４４を通じて出力される。そのような適正注視点履歴付き撮影画像と通常の注視点履歴付き撮影画像とを対比可能にしたモニタ画面の一例が図６に示されている。図６のモニタ画面には、参照画像登録部５０に登録されている適正監視リファレンスに基づく、適正な監視者の適正注視点ＲＰの分布状態や適正管理エリアを示す枠線ＲＬも表示されている。また、ここでも複数の注視点が黒丸表示の識別マークＭとして表示されている。

監視判定部５１は、監視対象領域において前もって設定されている重要監視箇所と当該監視対象領域の撮影画像上の前記注視点の位置とに基づいて監視不十分箇所を推定するものである。この実施形態の監視判定部５１では、データ記録部４２から読み出された注視点履歴付き撮影画像における注視点分布が、参照画像登録部５０から読み出された同一監視対象領域における適正管理エリアを示す枠線ＲＬ内にどの程度入っているかどうかをチェックして、この監視の適正度が判定される。この判定結果は、判定結果出力部５２を通じてデータ化され、モニタ６１またはプリンタ６２を通じて監視可能な形態で出力される。

〔別実施の形態〕
（１）上述した具体的な実施形態では、図１で説明された原理が採用されていたが、実質的には画像合成部４３とデータ記録部４２とを交換することで、図２で説明された原理を採用した監視支援システムを構築することができる。また、図１で説明された原理と図２で説明された原理の両方を採用した監視支援システムを構築することも可能である。
（２）
上述した具体的な実施形態では、ヘッドセットＨＳとポーチセットＰＳとからなるウェアラブル監視ユニットとのデータ交換のために、データ記録部４２を外部記憶装置としてコンピュータのＩ／Ｏインターフェースに接続したが、これ以外の方法でのデータ交換も可能である。例えば、無線データ通信を用いてデータ交換することも可能である。この場合、監視員の監視中に、注視点履歴付き撮影画像を出力することや、その監視状態を判定して、リアルタイムに監視者に監視助言を行うことも可能である。さらに、この監視支援システム全体をウェアラブル監視ユニットとして構築することも可能である。

本発明による監視支援システムは、都市ガスプラント設備、火力発電プラント設備、ガス管敷設作業現場など、種々の監視が要求される場所に出向かう監視員による、その作業の様子や機器の状態などの監視状態を評価するために利用することができる。

２：視野撮影カメラ
３：注視点演算ユニット
３１：眼球監視カメラ
３２：演算モジュール
４１：注視点履歴データ生成部
４２：データ記録部
４３：画像合成部
４４：画像出力部
５０：参照画像登録部
５１：監視判定部
５２：判定結果出力部
６１：モニタ
６２：プリンタ

Claims (5)

1. 監視対象領域を監視する監視者の視線方向を撮影方向とする視野撮影カメラと、
   前記視野撮影カメラによる撮影画像上の前記監視者の視点である注視点を当該撮影画像上の位置データとして演算する注視点演算ユニットと、
   前記撮影画像と前記注視点とを関係付けて前記注視点の変移履歴を示す注視点履歴データを生成する注視点履歴データ生成部と、
   前記撮影画像と前記注視点履歴データとを記録するデータ記録部と、
   異なる日時でのあるいは異なる監視者での同一監視対象領域に関する前記撮影画像と前記注視点履歴データとを前記データ記録部から読み出し、読み出された前記撮影画像と前記注視点履歴データとを画像合成し、注視点履歴付き撮影画像として出力する画像出力部と、
   を備えた監視支援システム。
2. 監視対象領域を監視する監視者の視線方向を撮影方向とする視野撮影カメラと、
   前記視野撮影カメラによる撮影画像上の前記監視者の視点である注視点を当該撮影画像上の位置データとして演算する注視点演算ユニットと、
   前記撮影画像と前記注視点とを関係付けて前記注視点の変移履歴を示す注視点履歴データを生成する注視点履歴データ生成部と、
   前記注視点履歴データを当該注視点履歴データに対応する前記撮影画像に画像合成し、前記撮影画像を注視点履歴付き撮影画像として記録するデータ記録部と、
   同一監視対象領域に関する前記注視点履歴付き撮影画像を前記データ記録部から読み出して出力する画像出力部と、
   を備えた監視支援システム。
3. 前記注視点履歴データは、対応する撮影画像に対して人的に識別可能でかつ画像処理的に識別可能に合成される請求項１または２に記載の監視支援システム。
4. 前記監視対象領域において前もって設定されている重要監視箇所と当該監視対象領域の撮影画像上の前記注視点の位置とに基づいて監視不十分箇所を推定する監視判定部が備えられている請求項３に記載の監視支援システム。
5. 前記監視対象領域に対する適正な監視に基づく適正注視点履歴付き撮影画像が前もって記録されており、評価対象となる前記注視点履歴付き撮影画像と前記適正注視点履歴付き撮影画像とが比較可能な形態で前記画像出力部から出力される請求項１から４のいずれか一項に記載の監視支援システム。

Images