JPH09163192A

JPH09163192A - 遠隔監視装置

Info

Publication number: JPH09163192A
Application number: JP7320397A
Authority: JP
Inventors: Shigeru Tajima; 茂田島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-12-08
Filing date: 1995-12-08
Publication date: 1997-06-20

Abstract

(57)【要約】【課題】撮像部２を高所等の危険場所に設置し、該撮
像部２からの映像情報を安全な場所に居る人間に装着さ
れた光学視覚部１で受信して映像表示することにより、
該危険場所の目的物等を監視する遠隔監視装置におい
て、人間の頭の動きのみならず、目の動きにも対応して
上記撮像部２の撮像位置を可変制御する。【解決手段】光学視覚部本体３に、ＣＣＤラインセン
サ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂を設けてユーザの目を撮
像する。マイコン６は、各撮像データに基づいてユーザ
の瞳の位置を検出し、これを瞳位置検出信号として撮像
部２側に無線送信する。撮像部２側に設けられているシ
ステムコントローラ１２は、上記瞳位置検出信号に基づ
いて撮像部本体１６の撮像位置を可変制御する。この撮
像情報は、上記光学視覚部１側に赤外線送信され、各デ
ィスプレイ３Ｒ，３Ｌに表示される。これにより、ユー
ザの目の動きに応じた映像を表示することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば高所等のよ
うな危険な場所にある監視物を、該危険な場所から離れ
た場所で監視する場合や、工場で生産される生産物及び
生産機器の監視を、離れた場所で行う場合等に用いて好
適な遠隔監視装置に関する。

【０００２】

【従来の技術】今日において、バーチャル・リアリティ
・システムが知られている。このバーチャル・リアリテ
ィ・システムは、ユーザが装着する、例えば眼鏡型（或
いは、ヘルメット型）の光学視覚装置と、ユーザが移動
可能な範囲に磁界を発生するとともに、ユーザの移動に
応じた映像情報を供給するコントロール部とを接続ライ
ンを介して接続することにより構成されている。

【０００３】上記光学視覚装置には、磁気センサと、上
記コントロール部からの映像情報を表示するディスプレ
イとを有している。上記磁気センサは、Ｘ軸方向，Ｙ軸
方向及びＺ軸方向の３軸にそれぞれ設けられており、ユ
ーザの移動位置及び移動方向に応じた上記コントロール
部が発生する磁界の方向及び強さをそれぞれ検出し、こ
の各検出出力を上記接続ラインを介して上記コントロー
ル部に供給する。上記コントロール部は、上記磁気セン
サからの検出出力に基づいてユーザの移動位置及び移動
方向を検出し、この検出結果に応じた映像情報を上記接
続ラインを介して上記光学視覚装置のディスプレイに供
給する。

【０００４】これにより、上記ディスプレイに、ユーザ
の移動位置や移動方向に応じた映像情報を表示すること
ができる。ユーザは、自分の移動した位置や方向に応じ
た映像を上記ディスプレイを介して認識することができ
るため、あたかも自分がその空間に存在しているような
錯覚を覚える。これにより、仮想的な空間の提供が実現
される。

【０００５】ここで、このような技術は、例えば工場で
生産される生産物及び生産機器等の監視を遠隔から行う
遠隔監視装置に適用することができる。すなわち、上記
生産物及び生産機器等の近辺に、ユーザの移動（頭の動
き等）に応じて撮像位置が可変可能なカメラ装置を設
け、このカメラ装置からの撮像出力が上記光学視覚装置
に供給されるとともに、該光学視覚装置からの移動情報
が上記カメラ装置に供給されるように、該カメラ装置と
光学視覚装置とをライン接続する。そして、上記光学視
覚装置を装着したユーザが、上記生産物等の監視を行う
位置に磁界を発生する。

【０００６】これにより、ユーザが頭等を動かす毎に上
記磁気センサがこれを検出し、この移動情報を上記接続
ラインを介してカメラ装置に供給する。上記カメラ装置
は、上記移動情報に応じて撮像位置を可変し、この可変
した移動位置に応じた映像情報を上記接続ラインを介し
て上記光学視覚装置のディスプレイに供給する。従っ
て、ユーザの移動に応じた映像を上記ディスプレイに表
示して該ユーザに認識させることができ、離れた場所に
居ながら上記生産物の生産状況や生産機器の動作具合等
を監視可能とすることができる。

【０００７】

【発明が解決しようとする課題】従来の遠隔監視装置
は、磁気センサでユーザの動きを検出するようになって
いるため、ユーザの頭が動かない場合には、上記ディス
プレイに同じ映像が表示されることとなる。言い換えれ
ば、遠隔監視装置を装着したユーザの頭の動きに追従し
て映像表示を行っていることとなる。

【０００８】しかし、人間が頭を動かして物を見るよう
な場合は、大きく視野を移動させる場合であり、それ以
外の比較的小さな視界の移動は、頭を動かすことなく眼
球のみを動かして行うものである。このため、従来の遠
隔監視装置は、頭の動きがなければ眼球の動きがあって
もディスプレイに表示されている映像は変わらないとい
う不都合があった。

【０００９】本発明は上述の問題点に鑑みてなされたも
のであり、眼球の動きに応じてディスプレイに表示され
ている映像を変えることができるような遠隔監視装置の
提供を目的とする。

【００１０】

【課題を解決するための手段】本発明に係る遠隔監視装
置は、ユーザの目の動きを検出する瞳位置検出手段と、
上記瞳位置検出手段からの瞳位置検出情報を送信する送
信手段と、上記瞳位置検出情報に応じて外部から供給さ
れる映像情報を表示する表示手段と、上記瞳位置検出手
段をユーザの目の動きが検出可能な位置に配すると共
に、表示される映像を目視可能なように上記表示手段を
ユーザの目の近傍に配するための装着手段を備える光学
視覚部を有する。また、被写体を撮像する撮像手段と、
上記光学視覚部から送信された瞳位置検出情報に応じて
上記撮像手段の撮像位置を可変制御する制御手段と、上
記撮像手段で撮像された被写体の映像情報を上記光学視
覚部側に送信する映像送信手段とを備える撮像部を有す
る。

【００１１】このような遠隔監視装置は、例えば危険地
帯にある目的物の監視をする場合等に用いることがで
き、この場合、上記撮像部は、該危険地帯の目的物を監
視できる位置に設置され、光学視覚部は、上記目的物の
監視を安全に行うことができる位置においてユーザによ
り装着される。

【００１２】上記光学視覚部は、ユーザが装着可能な、
例えば眼鏡型（或いはヘルメット型）となっており、瞳
位置検出手段がユーザの目の動きを検出し、この瞳位置
検出情報を送信手段に供給する。上記送信手段は、上記
瞳位置検出情報が供給されると、これを撮像部側に送信
する。

【００１３】一方、上記撮像部側に設けられている制御
手段は、上記瞳位置検出情報が供給されると、これに応
じて被写体を撮像する撮像手段の撮像位置を可変制御す
る。映像送信手段は、上記撮像手段により撮像された被
写体の映像情報を上記光学視覚部側に送信する。そし
て、上記光学視覚部側に設けられている表示手段が、上
記映像送信手段から送信された被写体の映像情報を表示
する。

【００１４】これにより、ユーザの目の動きに応じて上
記撮像手段の撮像位置を可変制御することができ、ユー
ザの目の動きに応じた映像情報を上記表示手段に表示す
ることができる。従って、ユーザは、安全な場所にいな
がらにして、上記危険地帯の目的物の監視を行うことが
できる。

【００１５】ここで、人間の目視という動作は、実際に
は眼球の動きと、頭部の動きが重なって行われるもので
ある。このため、本発明に係る遠隔監視装置には、上記
瞳位置検出手段と共に、ユーザの頭の動きを検出する頭
部動検出手段が設けられている。上記頭部動検出手段
は、ユーザの頭の動きを検出し頭部動検出情報を送信手
段に供給する。これにより、上記頭部動検出情報が瞳位
置検出情報と共に上記撮像部側に供給される。

【００１６】上記撮像部側に設けられている制御手段
は、上記瞳位置検出情報及び頭部動検出情報が供給され
ると、これらに応じて被写体を撮像する撮像手段の撮像
位置を可変制御する。この映像情報は、上記光学視覚部
側に設けられ、表示手段により表示される。これによ
り、ユーザの目の動きに及び頭の動きに応じた映像情報
を上記表示手段に表示することができる。

【００１７】

【発明の実施の形態】以下、本発明に係る遠隔監視装置
の好ましい実施の形態について図面を参照しながら詳細
に説明する。本発明に係る遠隔監視装置は、例えば工場
で生産される生産物及び生産機器等の監視を遠隔から行
う工業用の監視システムに適用することができる。この
工業用の監視システムは、図１に示すように光学視覚部
１と、該光学視覚部１から送信されるユーザの目の動き
を示す瞳位置検出信号に応じて目的物の撮像を行い、こ
の映像情報を上記光学視覚部１側に送信する撮像部２と
で構成されている。

【００１８】上記光学視覚部１は、眼鏡型の光学視覚部
本体３の内側（ユーザに装着された状態でユーザの目と
相対向する側）に、右目用の映像情報を表示するための
右目用ディスプレイ３Ｒと、左目用の映像情報を表示す
る左目用ディスプレイ３Ｌと、ユーザの右目の水平方向
の動きを検出するための第１のＣＣＤラインセンサ４Ｒ
₁と、ユーザの右目の垂直方向の動きを検出するための
第２のＣＣＤラインセンサ４Ｒ₂と、ユーザの左目の水
平方向の動きを検出するための第３のＣＣＤラインセン
サ５Ｒ₁と、ユーザの左目の垂直方向の動きを検出する
ための第４のＣＣＤラインセンサ５Ｒ₂とを設けて構成
されている。また、上記光学視覚部１は、上記光学視覚
部本体３に、上記撮像部２からの映像情報等を受光する
受光部８と、上記各ＣＣＤラインセンサ４Ｒ₁，４Ｒ₂，
５Ｒ₁，５Ｒ₂からの各検出出力に基づいて、ユーザの目
の移動位置を算出するマイクロコンピュータ（マイコ
ン）６と、上記マイコン６からの検出出力を上記撮像部
２側に無線送信する送信部７とを設けて構成されてい
る。

【００１９】上記右目用ディスプレイ３Ｒ及び左目用デ
ィスプレイ３Ｌは、それぞれ液晶表示板（ＬＣＤ）或い
は小型陰極線管（ＣＲＴ）により構成されており、上記
撮像部２側から供給されるＮＴＳＣ方式に準じたコンポ
ジット信号により表示駆動されるようになっている。な
お、映像方式は、この他、ＰＡＬ方式，ＳＥＣＡＭ方式
等の他の映像方式を用いるようにしてもよく、さらに、
信号形態も、この他、ＲＧＢ，ＹＵＶ等の他の信号形態
を用いるようにしてもよい。

【００２０】一方、上記撮像部２は、上記光学視覚部１
から送信されるユーザの目の位置検出信号を受信する受
信部１１と、目的物の撮像を行う撮像部本体１６と、上
記受信部１１で受信された位置検出信号に基づいて、可
動台ドライバ１４を介して上記撮像部本体１６を駆動制
御するシステムコントローラ１２と、上記撮像部本体１
６からの映像情報に対して所定の情報処理を施す映像処
理回路１３と、上記映像処理回路１３からの映像情報を
上記光学視覚部１側に赤外線送信する発光部１５とで構
成されている。

【００２１】上記撮像部本体１６は、右目用カメラ１６
ａ及び左目用カメラ１６ｂと、上記各カメラ１６ａ，１
６ｂを上下に移動させる可動軸１６ｃと、上記可動軸１
６ｃを介して上記各カメラ１６ａ，１６ｂを左右及び斜
め方向に回転させる回転台１６ｄとで構成されている。

【００２２】次に、このような構成を有する工業用の監
視システムの動作説明をする。まず、このような監視シ
ステムは、例えば高所や危険環境下のような、人間が居
ては危険な場所にある目的物の監視を行う際に用いるこ
とができ、上記撮像部２は、上記危険地帯の目的物を監
視可能な位置に設置され、上記光学視覚部１は、安全な
場所に居る人間により装着される。

【００２３】上記光学視覚部１側に設けられているマイ
コン６において、ユーザの目の正確な動きを検出するに
は、該マイコン６に絶対位置を教える必要がある。この
ため、上記撮像部２側に設けられているシステムコント
ローラ１２は、目的物の監視に先立って絶対位置を示す
位置リセットデータを上記発光部１５に供給する。上記
発光部１５は、例えば複数の赤外線発光ダイオードで構
成されており、上記位置リセットデータに応じて発光駆
動されるようになっている。これにより、上記位置リセ
ットデータが赤外線信号として上記光学視覚部１側に赤
外線送信される。上記光学視覚部１は、受光部８により
上記赤外線信号として送信される位置リセットデータを
受光し、これをマイコン６に供給する。これにより、上
記マイコン６は、絶対位置を知ることができ、以後、上
記各ＣＣＤラインセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂か
らの各検出出力に基づいて、ユーザの目の正確な移動方
向の検出が可能となる。

【００２４】次に、上記撮像部２のシステムコントロー
ラ１２は、ユーザの目の動きの検出動作の開始を指示す
るスタート信号，この瞳位置検出信号の送信速度を設定
するための送信速度選択信号，上記光学視覚部１から送
信される各検出信号を連続出力とするか単出力とするか
を選択するための出力モード選択信号、及び、上記各検
出信号の送信同期をとるための同期信号をそれぞれ上記
発光部１５に供給する。これにより、上記発光部１５が
上記各信号に応じて発光駆動され、該各信号が光学視覚
部１側に赤外線送信される。この赤外線送信された上記
各信号は、光学視覚部１側の受光部８により受光され上
記マイコン６に供給される。上記マイコン６は、上記ス
タート信号が供給されると、ユーザの目の動きの検出動
作の開始を認識し、以後、上記第１〜第４のＣＣＤライ
ンセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂からの各撮像信号
に基づいて、ユーザの目の動きを検出する。

【００２５】すなわち、上記第１のＣＣＤラインセンサ
４Ｒ₁は、図２（ａ）に示すようにユーザの右目の前方
に位置するように設けられている略々長方形状の右目用
ディスプレイ３Ｒの上側の長手辺に沿って設けられてお
り、第２のＣＣＤラインセンサ４Ｒ₂は、上記右目用デ
ィスプレイ３Ｒの目頭側の短手辺に沿って設けられてい
る。また、上記第３のＣＣＤラインセンサ５Ｒ₁は、ユ
ーザの左目の前方に位置するように設けられている略々
長方形状の左目用ディスプレイ３Ｌの上側の長手辺に沿
って設けられており、第４のＣＣＤラインセンサ５Ｒ₂
は、上記左目用ディスプレイ３Ｌの目頭側の短手辺に沿
って設けられている。上記第１，第２のＣＣＤラインセ
ンサ４Ｒ₁，４Ｒ₂は、ユーザの右目をそれぞれ撮像し、
この撮像信号を出力する。また、第３，第４のＣＣＤラ
インセンサ５Ｒ₁，５Ｒ₂は、ユーザの左目をそれぞれ撮
像し、この撮像信号を出力する。この各撮像信号は、以
下に第１のＣＣＤラインセンサ４Ｒ₁からの撮像信号の
信号処理を例に挙げて説明するようにそれぞれ信号処理
される。

【００２６】すなわち、図３において、上記第１のＣＣ
Ｄラインセンサ４Ｒ₁には、クロックジェネレータ３２
からのドレインパルス，読み出しパルス等が供給されて
おり、該第１のＣＣＤラインセンサ４Ｒ₁からの撮像信
号は、上記読み出しパルスの供給タイミングで自動利得
制御回路（ＡＧＣ）３０に供給される。上記ＡＧＣ３０
の利得は、上記マイコン６により制御されるようになっ
ており、該ＡＧＣ３０は、この制御された利得で上記撮
像信号を増幅し、これをＡ／Ｄ変換器３１に供給する。
上記Ａ／Ｄ変換器３１は、アナログ信号として供給され
る上記撮像信号をデジタル化することにより撮像データ
を形成し、これを上記マイコン６に供給する。

【００２７】上記マイコン６は、このように各ＣＣＤラ
インセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂から撮像データ
が供給されると、例えばソフトウエア制御による図４に
示すような演算を行い、ユーザの瞳の位置を示す瞳位置
検出信号を形成する。すなわち、上記撮像データは、入
力端子３５を介して速度信号抽出回路３６に供給され
る。上記速度信号抽出回路３６は、上記撮像データを微
分処理することにより、瞳の移動速度を示す速度信号を
形成し、これをフィルタリング回路３７に供給する。上
記フィルタリング回路３７は、所定のカットオフ周波数
のローパスフィルタとなっており、上記速度信号の高周
波ノイズ成分を除去し、これを積分回路３８に供給す
る。

【００２８】ここで、上記フィルタリング回路３７のカ
ットオフ周波数等は、当該光学視覚装置１を長時間使用
しても疲労が少なく、また、より自然に近い状況（映
像）を提供可能なように予め定められているのである
が、当該光学視覚装置の使用状態や、要求条件（速い動
きを重視するか，画像の安定性を重視するか等）等の違
いを１つのフィルタリング定数で満たすのは困難であ
る。このため、図４中点線で示すように外部からの制御
信号により、或いはフィルタリング定数の切換えスイッ
チを設け、上記フィルタリング定数を可変制御するよう
にしてもよい。これにより、場合に応じて上記フィルタ
リング回路３７のフィルタリング特性を可変制御するこ
とができ、最適な映像表示を可能とすることができる。

【００２９】次に上記積分回路３８は、上記フィルタリ
ング回路３７からの速度信号を積分処理することによ
り、ユーザの瞳の位置を示す瞳位置検出信号を形成し、
これを出力端子３３を介して送信部７に供給する。

【００３０】このような演算処理は、各ＣＣＤラインセ
ンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂からの各撮像データ毎
に行われる。従って、このような演算処理を行うことに
より、右目及び左目の各目毎に２次元情報としての瞳位
置検出信号が形成されることとなる。

【００３１】上記送信部７は、上記瞳位置検出信号が供
給されると、これを撮像部２側に無線送信する。この無
線送信された瞳位置検出信号は、撮像部２側の受信部１
１により受信され、システムコントローラ１２に供給さ
れる。システムコントローラ１２は、上記各目毎の瞳位
置検出信号に基づいて、図２（ａ）に示す白目Ｉ，虹彩
（アイリス）Ｏ，瞳Ｐからなる眼球の該瞳Ｐの位置を各
目毎に検出し、この検出出力を可動ドライバ１４に供給
する。

【００３２】上記可動台ドライバ１４は、上記検出出力
に応じて撮像部本体１６に設けられている可動軸１６ｃ
を上下及び斜め移動させるとともに、回転台１６ｄを左
右に回転駆動する。また、上記可動軸１６ｃには、右目
用及び左目用の各カメラ１６ａ，１６ｂが設けられてい
る。このため、ユーザの目の動きを検出した上記検出出
力を上記可動ドライバ１４に供給することにより、該ユ
ーザの目の動きに応じて上記各カメラ１６ａ，１６ｂの
撮像位置を可変制御することができる。この各カメラ１
６ａ，１６ｂにより撮像された目的物等の映像信号は、
それぞれ映像処理回路１３に供給される。上記映像処理
回路１３は、上記各映像信号に所定のプロセス処理を施
し、これを発光部１５に供給する。これにより、上記発
光部１５が上記各映像信号に応じて発光駆動され、該各
映像信号が上記光学視覚部１側に赤外線送信される。

【００３３】上記赤外線送信された上記各映像信号は、
上記光学視覚部１側の受光部８により受光され、光学視
覚部本体３に設けられている上記各ディスプレイ３Ｒ，
３Ｌに供給される。これにより、上記各ディスプレイ３
Ｒ，３Ｌに、ユーザの目の動きに応じた上記目的物等の
映像を表示することができる。従って、ユーザは、安全
な場所に居ながらにして、上記目的物等を監視すること
ができる。なお、このような監視は、上記システムコン
トローラ１２から監視終了を示すストップ信号が上記マ
イコン６に供給されるまで続けられる。

【００３４】このように、当該遠隔監視装置は、ユーザ
の瞳の動きを検出し、この検出結果に応じて撮像部２の
撮像位置を可変制御して各ディスプレイ３Ｒ，３Ｌに表
示する映像をユーザの瞳の動きに応じたものとすること
ができる。このため、目的物の、より細かな監視を可能
とすることができる。また、ユーザの瞳の動きを検出す
ることで形成した上記瞳位置検出信号を上記撮像部２側
に無線送信し、該撮像部２側からの映像情報等を赤外線
送信するようにしているため、磁界方式のように発生磁
界との同期をとる必要がなく、外部磁界に影響を受ける
ことがないうえ、同時に複数人数での使用を可能とする
ことができる。このため、ユーザの動きを束縛すること
なく自由に動き回ることを可能とすることができ、実用
的な遠隔監視装置を提供することができる。

【００３５】また、ユーザの瞳の検出手段として設けら
れている各ＣＣＤラインセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，
５Ｒ₂は、半導体で形成することができるため、小型，
軽量且つ光学視覚部本体３に設ける際に設置面積をとら
ないことから、当該監視システムの小型軽量化及びロー
コスト化を図ることができる。

【００３６】なお、人間が物を見る場合、両目の動きが
同じとなるのが普通である。このため、上述の実施の形
態の説明では、左右の瞳の動きを２次元的（上記第１，
第２のＣＣＤラインセンサ４Ｒ₁，４Ｒ₂及び第３，第４
のＣＣＤラインセンサ５Ｒ₁，５Ｒ₂）に検出することと
したが、これは、右目或いは左目の何れか片方の動きの
みを検出するようにしてもよい。これにより、上記光学
視覚部本体３に設けるＣＣＤラインセンサを右目のみの
１セット或いは左目のみの１セットとすることができ、
部品点数の削減及び構成の簡略化を通じて当該監視シス
テムのさらなる小型軽量化及びローコスト化を図ること
ができる。

【００３７】また、上述のように人間が物を見る場合
に、両目の動きが同じとなるのが普通であるため、上記
右目の動きを検出した検出出力及び左目の動きを検出し
た検出出力を平均化し、これを上記瞳位置検出信号とし
て用いるようにしてもよい。これにより、上記瞳位置検
出信号の検出精度の向上を図ることができる。また、こ
の平均化を行う際、右目或いは左目の各検出出力の何れ
かに重み付けを行ったうえで平均化するようにしてもよ
い。これにより、上記位置検出信号の最適化を図ること
ができる。

【００３８】次に、上述の実施の形態の説明では、ユー
ザの瞳の動きのみ検出して撮像位置を制御したが、実際
に人間が物を見る動作は、目の動きに頭の動きが加わっ
て行われるものである。このため、以下に説明する他の
実施の形態に係る工業用の監視システムでは、図５に示
すように上記光学視覚部１に瞳位置検出用の上記各ＣＣ
Ｄラインセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂を設けると
共に、加速度センサ２４及び圧電ジャイロ２５を設け、
ユーザの瞳位置と共に頭の動きを検出するようにした。
なお、この他の実施の形態は、上記加速度センサ２４及
び圧電ジャイロ２５を設けた以外は上述の実施の形態と
同様であるため、該上述の実施の形態と同じ動作を示す
箇所に同じ符号を付し、その詳細な説明を省略すること
とする。

【００３９】すなわち、この他の実施の形態に係る工業
用の監視システムにおける光学視覚部１には、上記各Ｃ
ＣＤラインセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂の他に、
ユーザの頭の動きに応じた加速度及び回転方向を検出
し、加速度信号及び回転信号（角速度信号）を出力する
加速度センサ２４及び圧電ジャイロ２５とが設けられて
いる。上記加速度センサ２４は、図６に示すようにＸ軸
方向の加速度（Ｘ）を検出する第１の加速度センサ２４
Ｘと、Ｙ軸方向の加速度（Ｙ）を検出する第２の加速度
センサ２４Ｙと、Ｚ軸方向の加速度（Ｚ）を検出する第
３の加速度センサ２４Ｚとで構成されており、各加速度
センサ２４Ｘ，２４Ｙ，２４Ｚからの各加速度信号は、
それぞれ増幅回路２０を介してＡ／Ｄ変換器２１に供給
されデジタル化されて上記マイコン６に供給される構成
となっている。

【００４０】また、上記圧電ジャイロ２５は、図６に示
すようにＸ軸方向の回転方位（ｒ）を検出する第１の圧
電ジャイロ２５Ｘと、Ｙ軸方向の回転方向（θ）を検出
する第２の圧電ジャイロ２５Ｙと、Ｚ軸方向の回転方向
（φ）を検出する第３の圧電ジャイロ２５Ｚとで構成さ
れており、各圧電ジャイロ２５Ｘ，２５Ｙ，２５Ｚから
の各角速度信号は、それぞれ増幅回路２０を介してＡ／
Ｄ変換器２１に供給されデジタル化されて上記マイコン
６に供給される構成となっている。

【００４１】次に、このような構成を有する当該監視シ
ステムの動作説明をする。まず、当該監視システムは、
上述のように監視に先だって上記撮像部２のシステムコ
ントローラ１２からの位置リセットデータにより、光学
視覚部１側のマイコン６の絶対位置及び絶対方位がリセ
ットされる。そして、上記システムコントローラ１２か
らのスタート信号により目的物の監視が開始される。

【００４２】監視が開始されると、上記各加速度センサ
４Ｘ，４Ｙ，４Ｚは、それぞれユーザの動きにより生じ
たＸ軸方向の加速度，Ｙ軸方向の加速度及びＺ軸方向の
加速度を検出し、この各加速度信号を上記マイコン６に
供給する。また、上記各圧電ジャイロ５Ｘ，５Ｙ，５Ｚ
は、それぞれユーザの動きにより生じたＸ軸方向の回転
方向，Ｙ軸方向の回転方向及びＺ軸方向の回転方向を検
出し、この各角速度信号を上記マイコン６に供給する。
また、上記各ＣＣＤラインセンサ４Ｒ₁，４Ｒ₂,5R₁，５
Ｒ₂は、ユーザの右目及び左目を撮像し、この各撮像信
号を上記マイコン６に供給する。

【００４３】上記マイコン６は、上記各圧電ジャイロ５
Ｘ，５Ｙ，５Ｚからの各角速度信号が供給されると、該
各角速度信号に基づいてユーザの移動した方位を算出し
て方位検出信号を形成する。また、上記マイコン６は、
上記各ＣＣＤラインセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂
から撮像データ、及び、各加速度センサ４Ｘ，４Ｙ，４
Ｚからの各加速度信号が供給されると、これらに基づい
て例えばソフトウエア制御による図７に示すような演算
を行い、ユーザの頭の位置を示す頭部位置検出信号及び
ユーザの瞳の位置を示す瞳位置検出信号を形成する。

【００４４】すなわち、上記図７に示すマイコン６の機
能ブロック図において、上記各加速度センサ４Ｘ，４
Ｙ，４Ｚからの各加速度信号は、入力端子４０を介して
速度信号検出回路４１に供給される。上記速度信号検出
回路４１は、上記加速度信号を積分処理することにより
速度信号を形成し、これをフィルタリング回路４２に供
給する。上記フィルタリング回路４２は、予め定められ
た所定のフィルタリング定数で上記速度信号にフィルタ
リング処理を施すことにより、高周波成分及びノイズ成
分を除去し、これを積分回路４３に供給する。上記積分
回路４３は、上記高周波成分及びノイズ成分の除去され
た速度信号に対して積分処理を施すことにより、ユーザ
の頭部の位置を示す頭部位置検出信号を形成し、これを
出力端子４３を介して上記送信部７に供給する。

【００４５】一方、上記各ＣＣＤラインセンサ４Ｒ₁，
４Ｒ₂，５Ｒ₁，５Ｒ₂から撮像データは入力端子４５を
介して速度信号抽出回路４６に供給される。上記速度信
号抽出回路４６は、上記撮像データに対して微分処理を
施すことにより、ユーザの瞳の移動速度を示す速度信号
を形成し、これをフィルタリング回路４７に供給する。
上記フィルタリング回路４７は、予め定められた所定の
フィルタリング定数で上記速度信号にフィルタリング処
理を施すことにより、高周波成分及びノイズ成分を除去
し、これを積分回路４８に供給する。上記積分回路４８
は、上記高周波成分及びノイズ成分の除去された速度信
号に対して積分処理を施すことにより、ユーザの目の瞳
の位置を示す瞳位置検出信号を形成し、これを出力端子
４９を介して上記送信部７に供給する。

【００４６】上記送信部７は、上記頭部位置検出信号及
び瞳位置検出信号が供給されると、これを撮像部５２側
に無線送信する。上記撮像部５２側に設けられているシ
ステムコントローラ１２は、上記頭部位置検出信号及び
瞳位置検出信号が供給されると、該各信号に基づいて上
記撮像部本体１６の撮像位置を可変制御する。上記撮像
部本体１６により撮像された目的物の映像信号は、上記
光学視覚部５１側に赤外線送信され、各ディスプレイ３
Ｒ，３Ｌに表示される。これにより、ユーザの頭部位置
及び瞳位置に応じた映像を上記各ディスプレイ３Ｒ，３
Ｌに表示して目的物の監視を行うことができる。

【００４７】ここで、上記フィルタリング回路４２，４
７のカットオフ周波数等は、当該光学視覚部１を長時間
使用しても疲労が少なく、また、より自然に近い状況
（映像）を提供可能なように予め定められているのであ
るが、当該監視システムの使用状態や、要求条件（速い
動きを重視するか，画像の安定性を重視するか等）等の
違いを１つのフィルタリング定数で満たすのは困難であ
る。このため、図７中点線で示すように外部からの制御
信号により、或いはフィルタリング定数の切換えスイッ
チを設け、上記各フィルタリング定数を可変制御するよ
うにしてもよい。これにより、場合に応じて上記フィル
タリング回路４２，４７のフィルタリング特性を可変制
御することができ、最適な映像表示を可能とすることが
できる。

【００４８】次に、上記図７で説明したマイコン６にお
ける演算動作は、ユーザの頭部の位置及び瞳の位置を別
々に検出するものであったが、上述のように瞳の動きは
頭部の動きに大きく左右されるものである。このため、
瞳の位置を検出する際に、上述瞳位置検出信号を頭部位
置検出信号を用いて補正することにより、該瞳位置検出
信号をさらに正確なものとすることができる。

【００４９】すなわち、この場合、図７中点線のブロッ
クで示すように瞳位置検出系のフィルタリング回路４７
及び積分回路４８の間に速度ベクトル演算回路５０を設
け、この速度ベクトル演算回路５０に、上記頭部位置検
出系のフィルタリング回路４２からの出力信号を供給す
る構成とする。これにより、図７中一点鎖線で示すよう
にフィルタリング回路４２からの頭部位置検出に係る速
度信号が上記速度ベクトル演算回路５０に供給される。
そして、上記速度ベクトル演算回路５０が上記頭部位置
検出に係る速度信号に基づいて、上記フィルタリング回
路４７からの瞳位置検出に係る速度信号を補正して上記
積分回路４８に供給する。

【００５０】具体的には、上記速度ベクトル演算回路５
０は、瞳の水平方向の速度信号の補正を行う場合、頭部
のヨー速度情報及び頭部の横方向の速度情報を用いて補
正を行い、瞳の上下方向の速度信号の補正を行う場合、
頭部のピッチ速度情報及び頭部の縦方向の速度情報を用
いて補正を行う。これにより、上記瞳位置検出信号をさ
らに正確なものとすることができる。この補正された瞳
の速度信号は、上記積分回路４８に供給され積分処理に
より瞳位置検出信号とされ上述のように撮像部２側に無
線送信される。このような補正処理により瞳位置検出信
号をさらに正確なものとすることができるため、ユーザ
の頭部及び瞳の動きに応じたより正確な映像を上記各デ
ィスプレイ３Ｒ，３Ｌに表示することができる。

【００５１】なお、人間が物を見る場合、両目の動きが
同じとなるのが普通である。このため、この他の実施の
形態においても、左右の瞳の動きを２次元的に検出する
のではなく、右目或いは左目の何れか一方のみの動きを
検出するようにしてもよい。これにより、上記光学視覚
部本体３に設けるＣＣＤラインセンサを右目のみの１セ
ット或いは左目のみの１セットとすることができ、部品
点数の削減及び構成の簡略化を通じて当該監視システム
のさらなる小型軽量化及びローコスト化を図ることがで
きる。

【００５２】また、上述のように人間が物を見る場合
に、両目の動きが同じとなるのが普通であるため、上記
右目の動きを検出した検出出力及び左目の動きを検出し
た検出出力を平均化し、これを上記瞳位置検出信号とし
て用いるようにしてもよい。これにより、上記位置検出
信号の精度の向上を図ることができる。また、この平均
化を行う際、右目或いは左目の各検出出力の何れかに重
み付けを行ったうえで平均化するようにしてもよい。こ
れにより、上記位置検出信号の最適化を図ることができ
る。

【００５３】次に、上述の他の実施の形態の説明では、
監視開始に先立って、上記撮像部５２のシステムコント
ローラ１２から絶対位置及び絶対方位を知らせるための
位置リセットデータを出力して光学視覚部１側のマイコ
ン６の位置方位検出をリセットすることとしたが、これ
は、図８に示すように地磁気センサ２６を用いて上記マ
イコン６の位置方位検出を自動的にリセットするように
してもよい。

【００５４】上記地磁気センサ２６は、例えば磁気抵抗
効果素子（ＭＲ素子）で構成されており、地磁気を検出
しこの検出出力を上記位置リセットデータとして上記マ
イコン６に供給する。これにより、上記マイコン６が、
監視開始に先立って位置方位検出を自動的にリセットす
ることができる。

【００５５】なお、上記地磁気センサ２６の検出出力
は、地球の緯度により変化するため、監視開始に先立っ
て、上記撮像部５２側のシステムコントローラ１２から
マイコン６に緯度情報を供給することが好ましい。ま
た、上記地磁気センサ２６は、その伏角により検出角度
に誤差を生ずる虞れがあるが、この誤差の補正は、上記
加速度センサ２４及び圧電ジャイロ２５からの各検出出
力で行うようにすればよい。

【００５６】最後に、上述の各実施の形態の説明では、
本発明に係る遠隔監視装置は眼鏡型であることとした
が、これはヘルメット型とする等、ユーザが装着可能な
型であればどのような型でも適用可能である。また、上
記撮像部２（５２）側からは、各カメラ１６ａ，１６ｂ
で撮像された映像情報のみを送信することとしたが、こ
れは、該撮像部２（５２）側にマイクロホンを設けると
ともに、上記光学視覚部１（５１）側にイヤホンを設
け、上記映像情報とともに音声情報をも送信するように
してもよい。また、上記映像情報は、左右共同じ映像情
報とするのではなく、立体視が可能なように右目用及び
左目用にそれぞれ加工された映像情報を赤外線送信して
各ディスプレイ３Ｒ，３Ｌに表示するようにしてもよ
い。これにより、いわゆる３Ｄ（Three Dimensions：３
次元）による映像表示を可能とすることができる。

【００５７】また、「瞳位置検出手段」としてユーザの
目を撮像するＣＣＤラインセンサを設けることとした
が、これは、ユーザの目の動きが検出できるようなもの
であれば何でもよい。具体的には、上記ＣＣＤラインセ
ンサを用いる方式に代えて、例えば図９（ａ）〜（ｄ）
に示す検出方式を採用してもよい。

【００５８】まず、図９（ａ）に示す検出方式は、眼球
の白目と虹彩（アイリス）とに跨るようにスポット状の
光ＳＰを照射し、この反射光量を検出して瞳の動きを検
出する検出方式である。上記光ＳＰの光源としては、白
熱光源や赤外線光源等を用いることができる。この検出
方式では、瞳と共にアイリスが移動することで反射光量
が変化するため、この光量変化を検出することにより、
ユーザの目の動きを検出することができる。

【００５９】次に、図９（ｂ）に示す検出方式は、眼球
の白目と虹彩（アイリス）とに跨るように照射するスポ
ット状の光ＳＰを、目頭側及び目尻側の両方に照射し、
この各反射光量の差分を検出して瞳の動きを検出する検
出方式である。この検出方式では、上記スポット状の光
ＳＰを２個用いているため、目の動きを正確に検出する
ことができるうえ、リニアリティ及びＳ／Ｎ比の改善を
図ることができる。

【００６０】次に、図９（ｃ）に示す検出方式は、４本
の光のバーＢＡを、眼球の白目と虹彩（アイリス）とに
跨るように、且つ、何れのバーＢＡも瞳には照射されな
いように十字状に照射し、この各バーＢＡの反射光量の
差分を検出して瞳の動きを検出する検出方式である。こ
の検出方式では、ユーザの目の水平方向及び垂直方向の
動きを正確に検出することができる。

【００６１】次に、図９（ｄ）に示す検出方式は、２本
の光のバーＢＡを、眼球の白目と虹彩（アイリス）とに
跨るように、且つ、何れのバーＢＡも瞳には照射されな
いように「ハ」の字状に照射し、この各バーＢＡの反射
光量の差分を検出して瞳の動きを検出する検出方式であ
る。この検出方式では、少ない本数のバーＢＡでユーザ
の目の動きを検出することができる。このような各検出
方式は、設計等に応じて何れを採用してもよい。

【００６２】また、上述の他の実施の形態の説明では、
上記圧電ジャイロ２５は、角速度を検出することとした
が、これは、角加速度を検出するようにしても上述と同
じ効果を得ることができる。また、各軸方向に、それぞ
れ３つずつ加速度センサ２４Ｘ，２４Ｙ，２４Ｚ及び圧
電ジャイロ２５Ｘ，２５Ｙ，２５Ｚを設け、計６次元の
動き検出を行うこととしたが、これは、例えばＸ軸方向
の加速度のみを検出したり、Ｘ軸方向及びＹ軸方向の加
速度及び回転方向を検出する等のように、そのシステム
が必要とする動き検出に応じて１次元，２次元，３次元
等の検出を行うように適宣変更可能であることは勿論で
ある。

【００６３】

【発明の効果】本発明に係る遠隔監視装置は、ユーザの
目の動きに応じた映像情報を光学視覚部に設けられてい
る表示手段に表示することができる。このため、当該遠
隔監視装置の実用性の向上を図ることができる。

【図面の簡単な説明】

【図１】本発明に係る遠隔監視装置を適用した工業用の
監視システムの構成図である。

【図２】上記監視システムの光学視覚部に設けられてい
る瞳撮像用のＣＣＤラインセンサの設置位置を説明する
ための模式図である。

【図３】上記ＣＣＤラインセンサの撮像信号の信号処理
を説明するためのブロック図である。

【図４】上記ＣＣＤラインセンサからの撮像信号に基づ
いて、上記光学視覚部に設けられているマイコンで行わ
れる演算処理を説明するための機能ブロック図である。

【図５】本発明に係る遠隔監視装置を適用した工業用の
監視システムの他の実施の形態の構成図である。

【図６】上記他の実施の形態に係る監視システムに設け
られている加速度センサ及び圧電ジャイロを説明するた
めの図である。

【図７】上記他の実施の形態に係る監視システムの光学
視覚部に設けられているマイコンで行われる演算処理を
説明するための機能ブロック図である。

【図８】上記他の実施の形態に係る監視システムの光学
視覚部に位置リセット用の地磁気センサを設けた場合の
ブロック図である。

【図９】ユーザの目の動きを検出するために設けること
ができる、上記ＣＣＤラインセンサ以外の瞳位置検出手
段を説明するための図である。

【符号の説明】

１光学視覚部２撮像部３光学視覚部本体３Ｒ右目用ディスプレイ３Ｌ左目用ディスプレイ４Ｒ₁，４Ｒ₂ 右目の動き検出用のＣＣＤラインセンサ５Ｒ₁，５Ｒ₂ 左目の動き検出用のＣＣＤラインセンサ６マイクロコンピュータ（マイコン）７光学視覚部の送信部８光学視覚部の受信部１１撮像部の受信部１２システムコントローラ１３映像処理回路１４可動台ドライバ１５発光部１６撮像部本体１６ａ右目用カメラ１６ｂ左目用カメラ１６ｃ撮像部本体の可動軸１６ｄ撮像部本体の回転台２４加速度センサ２５圧電ジャイロ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 7/60 Ｇ０６Ｆ 15/62 ３８０Ｈ０４Ｎ 5/64 ５１１ 15/70 ３５０Ｂ

Claims

【特許請求の範囲】

【請求項１】ユーザの目の動きを検出する瞳位置検出
手段と、上記瞳位置検出手段からの瞳位置検出情報を送
信する送信手段と、上記瞳位置検出情報に応じて外部か
ら供給される映像情報を表示する表示手段と、上記瞳位
置検出手段をユーザの目の動きが検出可能な位置に配す
ると共に、表示される映像を目視可能なように上記表示
手段をユーザの目の近傍に配するための装着手段を備え
る光学視覚部と、被写体を撮像する撮像手段と、上記光学視覚部から送信
された瞳位置検出情報に応じて上記撮像手段の撮像位置
を可変制御する制御手段と、上記撮像手段で撮像された
被写体の映像情報を上記光学視覚部側に送信する映像送
信手段とを備える撮像部とを有する遠隔監視装置。
【請求項２】上記光学視覚部は、ユーザの頭の動きを
検出する頭部動検出手段を有し、上記送信手段は、上記
瞳位置検出情報と共に上記頭部動検出手段からの頭部位
置検出情報を撮像部側に送信し、上記制御手段は、上記光学視覚部から送信された瞳位置
検出情報及び頭部位置検出情報に応じて上記撮像手段の
撮像位置を可変制御することを特徴とする請求項１記載
の遠隔監視装置。
【請求項３】上記頭部動検出手段からの頭部位置検出
情報に基づいて、上記瞳位置検出手段からの瞳位置検出
情報を補正する補正手段を有することを特徴とする請求
項２記載の遠隔監視装置。
【請求項４】上記瞳位置検出手段からの瞳位置検出情
報をフィルタリング処理する第１のフィルタリング回路
と、上記頭部動検出手段からの頭部位置検出情報をフィルタ
リング処理する第２のフィルタリング回路と、上記各フィルタリング回路のフィルタリング定数を使用
目的に応じて制御するフィルタリング定数制御手段とを
有することを特徴とする請求項３記載の遠隔監視装置。
【請求項５】上記頭部動検出手段は、Ｘ軸方向，Ｙ軸
方向或いはＺ軸方向のいずれか一方向に設けられ、該設
けられた軸方向の加速度を検出して加速度情報を出力す
る少なくとも１つの加速度センサ、及び／又は、Ｘ軸方
向，Ｙ軸方向或いはＺ軸方向のいずれか一方向に設けら
れ、該設けられた軸方向の回転方向を検出して回転情報
を出力する少なくとも１つの圧電ジャイロで構成されて
いることを特徴とする請求項４記載の遠隔監視装置。
【請求項６】上記瞳位置検出手段は、ユーザの右目或
いは左目の動きを検出することを特徴とする請求項５記
載の遠隔監視装置。
【請求項７】上記瞳位置検出手段は、ユーザの両目の
動きを検出することを特徴とする請求項５記載の遠隔監
視装置。