JPH0476698A - 画像監視装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的コ （産業上の利用分野） 本発明は被観察者の画像から上記被観察者の様子を効果
的に監視することのできる画像監視装置に関する。

（従来の技術） 寝たきりの老人や病人等の様子を観察するシステムとし
て、上記老人や病人等の被観察者をテレビカメラにより
撮像入力し、その画像をナースステーション等の観察場
所に伝送して画像表示し、これをモニタするようにした
システムが開発されている。また同時に、電子血圧計や
心電計等の電子的診断装置により求められる被観察者の
生体観察情報を伝送して、上記画像と共にモニタリング
に供することも行われている。

このようなシステムによれば、例えば複数の被観察者を
遠隔的に、しかも同一場所にて一括して観察することか
可能となる ところがこの種のシステムにあって被観察者に対する完
全な観察を行う為には、観察者側では絶えずモニタ画面
を見ていなければならず、その観察に相当な負担か掛か
ることが否めない。逆に被観察者（観察される側）とし
ても、常に他人（観察者）から見られていることを意識
せざるを得す、プライバシーまでが侵害されていると云
う感じを受は易い。この為、上述した観察者のみならす
、被観察者にとっても大きな精神的負担が加わることが
否めない。

（発明か解決しようとする課題） このように従来の監視システムでは、被観察者の画像を
常時伝送して観察に供するので、これをモニタリングす
る観察者側も、また観察される側の被観察者にとっても
その負担か大きいと云う問題があった。

本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、被観察者のプライバシーを尊重
しながら、観察が必要と思われる場合にだけ上記被観察
者を効果的に観察することのできる画像監視装置を提供
することにある。

つまり観察者による常時観察の負担を取り除いた上で、
従来の常時観察と同様な効果を期待することのできる実
用性の高い画像監視装置を提供することにある。

［発明の構成］ （課題を解決するための手段） 本発明に係る画像監視装置は、被観察者を撮像した画像
を伝送して画像表示し、上記被観察者の観察に供するに
際し、例えば前記画像に対する画像処理によってその観
察の必要性の有無を判定し、観察が必要であると判定さ
れた場合には、前記被観察者の画像を観察場所に伝送し
て画像表示するようにしたことを特徴とするものである
。

また観察が必要である場合には、前記被観察者に対して
観察を開始する旨を通知して被観察者の同意を求める手
段を備え、この通知に対して前記被観察者が同意したと
きにのみ、前記被観察者の画像を観察場所に伝送して画
像表示するようにしたものである。

（作　用） 本発明によれば、被観察者に対する観察の必要性の有無
を、例えば被観察者の画像に対する画像処理結果から判
定し、観察の必要性があると判断されたときにたけ前記
被観察者の画像を観察場所に伝送し、これを画像表示し
てモニタリングに供するので、被観察者を観察すること
か必要な時点では、ときを逃がすことなくその観察を行
うことができる。つまり被観察者を常時連続的（継続的
）に観察することなく、観察か必要なときにだけ被観察
者の画像をモニタリングしてその観察を行うことができ
、観察者の負担を大幅に低減することができる。

また被観察者の画像を伝送するに先立って観察を開始す
る旨を通知し、被観察者の意思を確認した上で画像の伝
送を行って観察に供するので、被観察者の人格やプライ
バシーを尊重しながらその観察を行うことが可能となる
。この結果、画像により観察されると云う被観察者の精
神的な負担を小さくすることが可能となる。

しかも被観察者としては常時観察されるのではなく、観
察の必要性が生した場合にたけ確実に観察して貰うこと
か可能となるので、プライバシーを守りなから安心して
観察者に見守って貰えることになる。

（実施例） 以下、図面を参照して本発明に係る画像監視装置の一実
施例について説明する。

第１図は実施例装置の全体的な概略構成図で、被観察者
部１と観察者部２とを信号伝送路３を介して相互に結び
、更に情報処理・制御部４を設けて構成される。上記被
観察者部１は、例えば第３図に模式的に示すように被観
察者の居住空間である病室内に、被観察者に直接的に応
対する部分としてのロボット５を上記病室内を移動自在
に設けると共に、その壁や天井等の部位にカメラや照明
灯、スピーカ等を設け、更には必要に応じて心電計や電
子血圧計等の電子的診断装置を設けて構成される。

二のロボット５は、例えば第４図に示すように、主とし
てその頭部に搭載されたＴＶカメラにて被観察者を撮像
入力すると共に、そこに搭載されたマイクロフォンとス
ピーカとを介して被観察者と対話する機能を有する。ま
たその胴体部に組み込まれたデイスプレィを用いて各種
のメツセージ等を表示出力する機能等を具備する。この
ようなロボット５の動作制御と、各種信号の受は渡しは
病室内に固定設置された無線通信手段を介して行われる
。

また前記観察者部２は、例えば第５図に例示するような
集中監視コンソール装置により実現され、前記被観察者
部ｌにより撮像入力され、信号伝送路３を介して伝送さ
れてくる被観察者の画像や種々の診断情報等を、そのモ
ニタデイスプレィに表示して画像観察に供するものとな
っている。

尚、前記情報処理・制御部４は、前記被観察者部１にて
求められる被観察者に関する種々の情報を処理し、その
処理結果に従って前記被観察者部１および前記観察者部
２の処理動作をそれぞれ制御する。この情報処理・制御
部４は、ここでは前記信号伝送路３に接続して前記被観
察者部１および観察者部２とは独立に設けられているが
、物理的には前記被観察者部１または観察者部２に付属
させて設けるようにしても良い。

第２図は上述した如く構成されるこの実施例装置の基本
的な処理動作の流れを示す図である。

この装置では、先ず前記被観察者部１０ロボット５に搭
載されたカメラ、或いは部屋に固定設置されたカメラに
より撮像入力される被観察者の画像を前記情報処理・制
御部４における画像処理装置にて画像処理し、或いは前
記部屋に設けられた心電計や電子血圧計等の電子的診断
装置により求められる前記被観察者の生体観察情報を前
記情報処理・制御部４にて処理し、その処理結果に基づ
いて被観察者を観察する必要性があるが否かを絶えず監
視して観察の必要性の検知を行う（ステップＡ）。

この処理手続きにて観察の必要性があるとして判定検知
された場合、次に前記ロボット５のスビ力から音や音声
を出力して、或いは前記ロボット５に組み込まれたデイ
スプレィに確認メツセージを表示出力するなとして、被
観察者が画像により観察されてもよいと思っているか否
かの意思を確認する為の提示を行う（ステップＢ）。つ
まり被観察者に対し、例えば前記ロボット５に搭載され
たカメラによって撮像される被観察者の画像を観察者に
伝送して観察者による観察に供しても良いか否かの確認
を行う。

しかる後、この確認提示に対する前記被観察者の反応を
検知する（ステップＣ）。この反応の検知は、例えば前
記被観察者が操作する被観察者用スイッチによる応答情
報を検出したり、前記被観察者か音声・身振り・手振り
・視線の向きなどで反応するような場合には、その反応
動作を確認することにより検出する。具体的には、その
意思表示か音声ならば前記情報処理・制御部４に設けら
れた音声認識装置を用いて反応を検出する。また身振り
・手振り・視線などで意思表示されるような場合は、前
記カメラを用いて°撮像入力される前記被観察者の画像
を前記情報処理・制御部４に設けられた画像処理装置に
て画像処理してその反応を検出する。この際、一定時間
に亘って反応がなければ、特に不同意の意思表示がなけ
れば、これを同意として判定する。

しかして確認提示に対する反応が前述した被観察者用ス
イッチの操作によって行われる場合には問題ないか、上
述した他の意思表示の形態を認識処理して反応確認を行
うような場合には、特にその認識の結果に曖昧性がある
ような場合、つまり認識結果があまり確かでないと判定
されるような場合には、その確認を行う（ステップＤ）
。この確認処理は、前述した確認提示とその反応検知と
同様な手順により行われる。尚、この確認処理の手続き
については、前述した反応検知の処理手続きにである程
度の情報が得られることがら、これをその全体的な処理
手続きの流れがら省くようにしても良い。

さて上述した確認提示に対して被観察者か見て貰いたい
と云う意思表示をした場合、或い被観察者からの反応か
ない場合は、情報処理・制御部４はこれを検出して観察
者に対して観察要求があった旨を通知し、注意を喚起す
る（ステップＥ）。

この注意の喚起は、観察者部２に設けられた要求表示ラ
ンプを点灯したり、モニタデイスプレィにメツセージを
表示したり、或いはスピーカから名や音声を発してその
通知を行ったりたり、更には所謂ポケットベルを鳴動す
る等して、観察者に観察必要性か生じたことを通知する
。

しかしてこの通知に対して観察者か前記観察部２の伝送
スタートスイッチを押下し、被観察者の観察を開始する
べく、被観察者を撮像した画像の伝送を指示すると（ス
テップＦ）、前記情報処理・制御部４はこれを検出して
被観察者を撮像した画像信号の伝送を開始する（ステッ
プＧ）。

この際、例えば観察者と被観察者は、ロボット５に組み
込まれたデイスプレィ、および観察者部２に設けられた
モニタを見て相互に相手の姿を確認しながら、スピーカ
とマイクロフォンを通して、或いは電話機を通じて相互
に会話することかてきるようになっている。そして被観
察者に対する観察は、生として前述した如く伝送される
画像を用いて行われる。

さてこの画像による被観察者の観察は次のようにして行
われる。

被観察者部Ｊにはカメラによる被観察者の撮像の為に各
種の照明（光源）が用意されている。具体的には人工的
な照明光源として天上灯や枕許灯が設けられ、窓からの
入射光が不足する場合等、適宜点灯されるようになって
いる。また就寝時等、照明スイッチにより上記天上灯や
枕許灯が消されたような場合には、赤外照明灯が点灯駆
動されるようになっている。つまり窓からの入射光や、
天上灯５枕許灯による照明条件下でカメラによる被観察
者の画像が良好に得られないような場合には赤外光照明
が行われ、これにより被観察者の像を赤外画像として入
力するものとなっている。

尚、赤外照明灯を常時点灯するようにし、常に赤外画像
を入力して画像処理するようにしても良い。このように
した方が画像の切り替えが行われないので、後述する環
境変化に対しての対応が容易になる。但し、この場合は
カメラに可視光を遮断し、赤外光たけを通すフィルタを
カメラレンズに装着しておくことか必要となる。またこ
のようにすると、後述するように被観察者を観察する為
の画像か得られなくなるので、適宜上記フィルタを切り
替えるようにしておくか、被観察者を観察する為のカメ
ラを別に設置しておく等の工夫が必要となる。

一方、画像処理を確実に行う為に、その環境条件に応じ
た適切な画像か得られるように、例えばカメラ制御装置
を用いてカメラの露出を、その絞りやシャッター速度を
制御して調整することが必要となる。尚、病室内が主に
人工照明されており、カメラの視野全体の明るさが定常
的に略々均一な場合には、露出固定として上述した制御
を不要とすることも可能である。また照明条件の変化が
少ないような場合には、通常のテレビカメラで用いられ
ているような自動露出制御たけで十分に対処することか
できる。

しかし窓から太陽光か差し込んだりして、病室内の明る
さかその視野範囲内で大きく変化するような環境では、
以下に説明するような、より複雑なカメラ制御が必要と
なる。

さて被観察者の画像を入力する為のカメラの使用形態と
しては種々の態様を取ることができ、この実施例では前
記ロボット５に搭載されたカメラと、病室の壁面に固定
設置されたカメラとを用いて被観察者を観察するものと
なっている。前者のロボット５に搭載されたカメラは、
被観察者かベットに横たわっているとき、被観察者の顔
を主として観察する為に用いられる。また後者の壁面に
固定設置されたカメラは被観察者の病室内での動きの全
体を観察する為に用いられる。

しかしてこれらの両カメラによりそれぞれ撮像入力され
る画像信号は、例えば前記情報処理・制御部４における
画像処理装置により処理される。

この画像処理装置としては高速に画像を処理できるディ
ジタル計算機ならばどのようなものでもよいが、この実
施例では、例えば第６図に示すように構成された装置か
用いられる。

この第６図に示す画像処理装置について説明すると、前
記カメラにより撮像入力された画像信号（ビデオ信号）
はＡ／Ｄ変換器６ａを介してディジタル化され、入力画
像バス６ｂに流される。複数台のカメラか用いられる場
合には、これらのカメラを適宜切り替えてその画像信号
が入力画像ハス６ｂに流される。

しかして入力画像バス６ｂにはｎ台のローカルモジュー
ル７−１．７−２．〜７−ｎか接続されている。これら
のローカルモジュール７−１．７−２．〜７−ｎは、例
えば第７図に示すようにローカルプロセッサ（マイクロ
プロセッサ）とウィンドウメモリ等から構成されており
、前記入力画像バス６ｂに流れている画像の任意の部分
をウィンドウメモリに取り込み、これをローカルプロセ
ッサ（マイクロプロセッサ）で処理するものとなってい
る。しかしてこれらのローカルモジュール７−１．７−
２．〜７−ｎは制御バス６ｃを通じてホストコンピュー
タ６ｄに繋がれている。

このホストコンピュータ６ｄは画像処理装置における全
体的な処理の流れを制御するものである。そして前記各
ローカルモジュール７−１　、７−２、〜７−ｎは通信
用バス６ｅを介して相互に情報交換しながらそれぞれ画
像処理を実行し、その画像処理結果を出力画像ハス６ｆ
に出力する。この出力画像バス６ｆに出力された画像処
理結果かＤ／Ａ変換器６ｇを介してアナログ信号にされ
、画像モニタ６ｈに与えられて画像表示される。

尚、ローカルモジュール７−１．７−２．〜７−ｎは、
それぞれ第７図に示すように構成される。そしてウィン
ドウコントローラ７ａのレジスタに画像の取り込みたい
部分の位置（アドレス）が設定されたとき、前記入力画
像バス６ｂに流れている画像の該当部分をウィンドウメ
モリ７ｂに取り込み入力する。

ローカルプロセッサ７ｃは、このようにしてウィンドウ
メモリ７ｂに取り込まれた画像を処理する。

しかして上記ウィンドウコントローラ７ａのレジスタへ
のアドレス設定は、前述したホストコンピュータ６ｄと
上記ローカルプロセッサ７ｃの双方から選択的に行われ
る。この切り替えはバスインターフェース７ｄにて制御
される。具体的にはバスインターフェース７ｄにて前記
制御バス６Ｃとローカルバス７ｅとを結ぶことにより、
前記ホストコンピュータ６ｄによる前記ウィンドウコン
トローラ７ａへのアドレス設定か行われる。これに対し
て前記ローカルプロセッサ７Ｃにて前記ウィンドウコン
トローラ７ａへのアドレス設定を行う場合には、バスイ
ンタルフェース７ｄにて前記制御バスＢｅとローカルバ
ス７ｅとを切り離し、この状態でローカルプロセッサ７
ｃからウィンドウコントローラ７ａのレジスタへの書き
込みを行うことによってなされる。

しかしてこのように構成される複数のローカルモジュー
ル７〜１．７−２．〜７−ｎは、それぞれ独立に、且つ
並列に動作をすることができる。この実施例では複数台
（２台）のカメラにてそれぞれ撮像された画像信号に対
する処理は、これらのローカルモジュール７−１　、７
−２、〜７−ｎをそれぞれ独立に機能させて実行される
。更に１台のカメラから得られた画像信号に対する処理
として複数のプロセスが同時に走ることがある。このよ
うな場合には、そのプロセス毎にそれぞれ別のローカル
モジュール７−１．７−２．〜７−ｎに処理を割当てる
ことにより、その処理を高速に実行することか可能であ
る。更に高速処理が必要な場合には、例えば１つの処理
を複数のローカルモジュール７−１．７−２．〜７−ｎ
で分担して実行させるようにすることもできる。

次に前記ロボット５に搭載されたカメラにより撮像入力
される画像に対する処理について説明する。

ロボット５は、通常はベツド上にいる被観察者を観察し
易い一定の位置に移動される。この際、上記ロボット５
は病室内に設けられたロボット用固定局５ａに連結され
、その連結部を通して信号のやり取りが行われる。同時
にこの連結部を通してロボット用固定局５ａからロボッ
ト５への電力供給が行われ、また当該ロボット５の駆動
源であるバッテリーの充電が行われる。

第８図はこのような状態にあるロボット５により、そこ
に搭載されたカメラにより撮像される画像に対する処理
の流れを示している。しかしてロボット５に搭載された
カメラはベツド上の被観察者だけを見る（撮像する）の
で、通常はその画面内の明るさの変化は大きくない。従
ってこの、場合には、通常のカメラの自動露出機構によ
りその露出を決定しくステップａ１）、被観察者の画像
を入力することから開始される（ステップａ２）。この
ような自動露出制御の条件下での画像入力に問題がある
場合には、後述するようにカメラ制御装置を通じてその
語用条件（絞り・シャッター速度）を変更した上で再度
画像入力か行われる（ステ・ノブａ３）。

ここでの画像処理はメインプロセスと、このメインプロ
セスの中から起動されるサブプロセスとからなる。この
メインプロセスは第９図（ａ）に示すように一定の時間
間隔て絶えず画像を入力しながら処理を実行し、サブプ
ロセスは必要なときに上記メインプロセスから起動され
、第９図（ｂ）に示すように自己の処理に必要なタイミ
ングで画像を入力してその処理を実行する。

しかしてここでの画像処理は、概略的には前記メインプ
ロセスにて一定の時間間隔て入力される画像から被観察
者の頭・顔部分の画像を取り出し、頭・顔の部分に大き
な動きがないかを調べる。ここで寝返り等で時々大きな
動きがあるのは正常と考えられるが、大きな動きが頻発
している場合には異常の虞れがあるので、これを要観察
状態と判定する。また頭・顔の部分に大きな動きかない
場合はサブプロセスを起動する。そしてこのサブプロセ
スにて前記類・顔の部分画像中から目・鼻・口等を抽出
し、その表情を調べ、通常のパターン以外のものがよく
出現する場合は、これを要観察と判定する。またこのサ
ブプロセスでは頭・顔の輪郭や目・鼻・口等のエツジ成
分を抽出し、このエツジ成分を一定時間積算して呼吸等
に伴う動きによるエツジ位置の変動を検出する。そして
エツジ位置の変動があれば良いが、それが観察されない
ような場合にも、これを要観察と判定する。

しかしてメインプロセスでは、先ず入力画像に対する領
域分割により概略的に被観察者の頭・顔部分を抽出する
（ステップａ４）。この処理は、具体的には第１０図に
示すように、先ず画素或いは小領域の特徴量により頭・
顔部分としての可能性のある画素を抽出する（ステップ
ｃｌ）。この処理は寝具等の背景とは異なる性質の画素
を抽出する処理と考えてもよい。この際、画像入力にカ
ラーカメラを使うような場合には、皮膚の色に対応する
色相の部分を抽出するようにする。

尚、カラー情報が利用できないような場合には、明るさ
やテクスチャの情報を利用するようにすれば良い。

また寝具等の画素の性質については、寝具自体は一定で
あるから予めその特徴情報を得ておくこともできる。或
いは前時点の処理で背景となった部分から、寝具等の背
景部の特徴を求めるようにしても良い。そうでなくとも
−船釣には寝具は画像中の大きな部分を占めているので
、例えば特徴量のヒストグラムで大きな割合の部分を求
めることで、当該部分を識別することができる。いずれ
にせよ画素の特徴の違いにより画像を分割し、頭や顔で
あると考えられる部分を抽出する処理を実行する。

実際にはこれらの手法のうち、観察対象の環境で良好に
動作するものを選択的に使用するか、幾つかの手法を併
用し、その結果を統合して入力画像中から被観察者の頭
・顔部分を選択的に抽出するようにすれば良い。具体的
には寝具の画像上での性質は予め分かるし、また入力画
像からも簡単に求められるので、予め使用する寝具に適
した手法を選ぶか、時々画像処理にて寝具の性質を求め
、適切な処理を選択するようにすれば良い。この選択法
は寝具の性質と適切な方法の関係を、予めルール化して
選択アルゴリズム中に入れておくことにより実現できる
。

また或いは考え得る全ての手法でそれぞれ処理を実行し
、その処理結果を利用して被観察者の頭・顔部分を抽出
する。即ち、複数の観点からの画素特徴を要素として各
画素の特徴ベクトルを考え、それらの特徴ベクトルをパ
ターン認識における分類の手法を利用して頭・顔と背景
とに分類する。

或いは複数の特徴量をそれぞれ適当に数値化し、これら
結合した数値を所定の閾値を基準として弁別して被観察
者の頭・顔部分を判定するようにしてもよい。

その他の手法としては特徴量のヒストグラムをとり、背
景と他の部分とが明確に２つに別れる特徴を選び、その
結果を利用する手法もある。またそれぞれの特微量毎に
確実に背景と違うと判定できる部分だけを取り出し、全
特徴量に対する結果を１つの画像上に書き込んで行くこ
とにより被観察者の頭・顔部分を検出するようにしても
良い。

この場合、個々の結果は小さな領域になり易いか、複数
の特徴量の結果を全て合わせると１つのまとまった領域
となるか、或いは分離はしているか近接した領域群とな
る。後者の場合はそれらを統合して１つの領域とすれば
被観察者の頭・顔部分を効果的に検出することが可能と
なる。

或いは全ての結果に対して後述するステップｃ５まての
処理を行い、その時点で頭・顔領域か求められているも
のを採用するようにしても良い。この場合には、複数の
手法において矛盾する結果か出た場合には、多数決処理
や、ヒストグラムの背景と他部分の分離度に応じてどの
結果を採用するかの優先度を決めたりして結論を出すよ
うにしておけば良い。或いは上述した矛盾が生じた場合
には、これを頭・顔部分の抽出処理失敗として、再度画
像入力を行うようにしても良い。

以上のような処理の手法の内、その環境に応じた適当な
ものを選んで頭・顔部分の抽出処理が実行される。また
この実施例では、複数の特徴量に関する処理を別のロー
カルモジュールで実行することにより、複数の特徴量を
用いる場合であっても高速にその処理が実行されるよう
になっている。

以上のようにして、例えば第１１図（ａ）に示すような
入力画像中から頭・顔部分の候補画素が第１１図（ｂ）
に示すように抽出された後には、次にその抽出結果の画
像に対して、連結領域のラベル付は処理を行う（ステッ
プｅ２）。そしてこのラベリングされた各領域に対して
、例えば第１１図（Ｃ）に示すようにその外接長方形を
求める（ステップｃ３）。この際、ノイズと看做し得る
ような小さい領域や、寝具の皺に対応するような細長い
領域を処理対象領域から除外する。

しかる後、上述した如く第１１図（Ｃ）に示すように求
められた外接長方形のうち、隣接するものがあればこれ
らの外接長方形を統合し、これらを内包する大きな長方
形を第１１図（ｄ）に示すように求める（ステップＣ４
）。この統合処理の結果、頭・顔の部分と考えられるよ
うな大きさの長方形か得られれば、これを頭・顔領域の
部分として決定する（ステップｃ５）。この頭・顔の領
域の大きさは大体分かっているので、それより少し小さ
い領域が求められたような場合には、求められた領域よ
りも少し大きめの領域を頭・顔の部分であるとして、求
めた領域の大きさを拡大しておく。

さて上述した画像処理によって入力画像中から被観察者
の頭・顔部分が抽出できた場合は、被観察者がベツド内
にいるという判定のフラグを出しておく。そしてこのフ
ラグを参照して、頭・顔部分の抽出処理が成功したか否
かを判定する（ステップａ５）。

抽出処理に失敗した場合には、後述する再度の抽出処理
の試みであったか否かを調べる処理（ステップａ６＞を
経て、後述する固定カメラにより得られる画像に対する
処理結果について被観察者の動きを尋ねる（ステップａ
７）。この時点で固定カメラからの画像に対する処理結
果として被観察者がベット外にいることが示されるなら
ば、ロボット５に搭載されたカメラにて撮像入力された
画像から頭・顔か検出できなくても問題ないので、最初
の処理手続きに戻ってベツド上の観察を続ける（ステッ
プａ８）。

これに対して固定カメラから得られた画像に対する処理
から、被観察者がベツド内にいることか検出されている
にも拘らず、ロボット５に搭載されたカメラにて撮像入
力された画像から頭・顔が検出てきなかった場合には（
ステップａ８）、画像入力およびその処理法について再
検討する（ステップａ３）。

このようなケースは、例えばカメラの視野内に太陽光が
直接当たる高輝度な箇所と物体の影になった低輝度な箇
所とか生じたようなときに起こり得る。従ってこのよう
な場合には、上述したステップａ３における画像入力・
処理法に対する再検討処理として、第１２図に示すよう
な処理手続きを行う。

即ち、この処理では入力画像中の各点について、通常よ
り明るすぎる部分、または暗すぎる部分か多いかを調べ
る（ステップｄｉ）。そして完全に露出オーバで飽和し
ている画素か一定値以上であるとき、或いは逆に露出ア
ンダーで漬れている画素か一定値以上あれば、これを露
出設定が大幅に狂っている［ＹＥＳ］　と判定する。ま
た露出外れの量目体がさほどでもないが、通常の適正露
出範囲より外れている画素部分か多い場合にも、これを
露出設定が狂っていると判定する。そしてその他の場合
は、露出設定に若干の狂いかある［ＮＯ］と判定する。

しかしてこの判定処理にて［ＮＯ，ｌなる判定結果が得
られた場合には、頭・顔の部分に対する露出が少し不適
当であると考えられる。即ち、前述したステップａ５の
処理で頭・顔領域を検出することはできなかったが、成
る程度の候補画素が検出されていると云える。そこでこ
のような場合には、その候補画素の周辺の画素の明るさ
を調べ、全体的に暗すぎたのか明るすぎたのかを調べる
（ステップｄ２）。そして明るすぎた場合はカメラの絞
りを前回より絞るように、逆の場合は絞りを開けるよう
に決定する。そして前記カメラ制御装置に指令を送り、
次回の画像入力条件を修正する（ステップｄ３）。

これに対して上記判定処理にて［ＹＥＳ］なる判定結果
か得られた場合には、そのカメラ視野内にかなりの明る
さの変化があると判定できる。従ってこのような場合に
は、複数の露出条件で画像を人力し、これらの画像から
前述した頭・顔部分の検出処理を行うようにする。具体
的には、入力画像がその適性露出よりオーバーの部分だ
けならば、標準露出と露出を切り詰めた画像をそれぞれ
入力するようにする。また入力画像が適正露出よりアン
ダーの部分だけならば、標準露出と露出をより掛けた画
像をそれぞれ入力するようにする。

そして入力画像中に露出オーバーな部分と露出アンダー
な部分の両者が存在するような場合には、標準露出の画
像に加えて、露出をより掛けた画像、および露出を切り
詰めた画像の３種類をそれぞれ入力するようにする（ス
テップｄ４）。

しかしてこの場合、前記ロボット５に搭載されたカメラ
は１台なので、これらの露出条件の異なる複数の画像に
ついては、例えば第１３図に示すように短い時間間隔て
、前記カメラ制御装置の制御の下でその露出条件を変え
ながら撮影した複数時点の画像を用いるようにする。こ
の場合には複数のローカルモジュールを用い、露出条件
を異ならせた上記各画像を上記各ローカルモジュールに
てそれぞれ並列的に処理するように、その画像処理を制
御すれば良い。

このような場合、前述したステップａ４における頭・顔
部分の抽出処理としては、例えば第１４図に示すように
実行すれば良い。即ち、予め指定された第１のローカル
モジュールにおいて、先ず標準露出で撮影した画像から
（ステップｅ１）、通常より明るい場所と暗い場所を求
め、露出条件を異ならせた複数枚の画像を用いて頭・顔
部分の抽出処理を実行するか否かを判定する（ステップ
ｅ２）。

そして上記標準露出で撮像した画像の明るさか、略々適
正な露出範囲であり、適正露出範囲を外れている部分が
一定値以下であるような場合には、前述した通常の１枚
の画像を用いた頭・顔部分の抽出処理を行うことを決定
する。

これに対して適正露出範囲を外れている部分が多いよう
な場合には、その明るい場所については露出を切り詰め
た画像を、また暗い場所については露出をかけた画像を
、そしてその他の部分については標準露出の画像をそれ
ぞれ用いて画像処理することを決定する。そしてこの場
合には指定された領域に対して、予め指定された複数の
ローカルモジュールを用い、前述した如く露出条件を異
ならせた複数枚の画像から（ステップｅｌ　、　ｅ３　
、　ｅ４）、それぞれ頭・顔候補画素を求める（ステッ
プｅ５゜ｅ６．ｅ７　）。そしてこれらの各画像から求
められた頭・顔候補画素を統合処理したものを候補画素
と看做し、１枚の画像を処理した場合と同様にして頭・
顔の部分を求める（ステップｅ８）。

このようにして露出条件を異ならせた複数枚の画像から
頭・顔部分の候補か求められた後には、前述した１枚の
画像から頭・顔部分の候補を求めた場合と同様に、次の
処理ステップａ５に進み、その抽出処理か成功したか否
かを判定する。

但し、このような手法を採用した場合には、上述した複
数の画像か完全に同一時点の画像ではない為、被観察者
が非常に速く動くような場合には前記類・顔部分の候補
画素領域か広かる可能性かある。従ってこのような場合
は、後述する前時点との変化の検出処理手続き（ステッ
プａ９）を飛ばして次の処理に進み、上述した候補画素
領域か広かった状態を大きな変化かあると判定する（ス
テップａｌｏ　）。

前述した画像抽出処理の失敗か再度の試みか否かを判定
する処理（ステップａ８）はこのような露出に対する検
討を行った後でなお頭・顔の領域か検出できなかった場
合、これを被観察者の状態が不明であることを検出し、
不明である旨の信号を出力するものである。このような
不明状態は、固定設置されたカメラによる病室内全体像
から、またロボット５に搭載されたカメラからも被観察
者を捕らえられなくなったことを意味する。この不明の
場合の対応については後述する。

さて入力画像中から頭・頓と思われる部分が検出できた
場合には、次に前時点との間で変化が生しているか否か
を調べる（ステップａ９）。この判定処理では、前述し
た候補領域の外接長方形の位置に一定値以上のずれが生
じている場合、これを大きな変化かあると判定する。そ
して前時点との間で格別に大きな変化が生じていないこ
とが判定された場合には、後述するサブプロセスを起動
する（ステップａ１１）。

しかして大きな変化があった場合には、仮にこの時点で
サブプロセスが稼働している場合には、そのサブプロセ
スでの処理を停止させ（ステップａ＋、２　）　、この
サブプロセスにおいて被観察者の小さな動きを調べる為
に機能している後述する加算メモリをクリアする（ステ
ップａ１３）。そして次に上述した大きな変化が一定時
間の間に多数起こるか否かを調べ（ステップａ１４）、
大きな動きが頻発しているようならば、これを要観察と
判定する（ステップａ１５）。しかし大きな動きが散発
的であるような場合には、これを所謂寝返り等に起因す
るものであると看做し、ステップａｌがらの処理に戻っ
て次の時点での処理手続きに移行する。

さて前述した如くして入力画像中から被観察者の頭・顔
部分が検出され、その大きな変化がないことが判定され
た場合にはサブプロセスが起動される。このサブプロセ
スは、先ず初期設定を行った上で起動される（ステップ
ｂｌ）。このサブプロセスにおける初期設定は、入力画
像がら被観察者の顔の向きを求めると共に、目・鼻・口
等の調査領域を定め、これらの各部位において目・鼻・
口等をそれぞれ検出するべくその特徴毎に前述したロー
カルモジュール７−１．７−２．〜７−ｎをそれぞれ割
り当てると云う処理からなる。

第１５図はこの初期設定の処理手続きの流れを示す図で
ある。この初期設定処理は、先ず前述した如く検出され
た頭・顔部分を示す長方形領域の中で、そのエツジ成分
を検出し、長方形の外周から内側を調べて行くことによ
り頭・顔の輪郭を抽出することから開始される（ステッ
プｒｌ）。この輪郭を含む領域に対する処理に、成る１
つのロカルモジュールを割り当てる。

しかる後、上述した輪郭の情報に基づき、目・鼻等の特
徴が存在する可能性のある領域をそれぞれ定める（ステ
ップｆ２）。尚、この時点では顔の向きが分かっていな
いので、各領域はそれほど限定されていない。このよう
にして目・鼻・口等の特徴毎に前記ローカルモジュール
をそれぞれ割り当てた後、これらの各ローカルモジュー
ルに前述した各特徴の存在可能領域をそれぞれ調査させ
る（ステップｆ３）。

しかして各ローカルモジュールでは、指定された領域内
において上述した如く指定された特徴を探し出す処理を
それぞれ実行する（ステップｆ４）。

この各ローカルモジュールでの特徴探索処理は、そのエ
ツジ成分を検出し、指定された特徴に当てはまる形のエ
ツジ部分を検出することにより一行われる。そして前記
各ローカルモジュールは、指定された特徴が検出できた
場合、その特徴の検出位置を、例えば特定のローカルモ
ジュール或いはホストコンピュータ６ｄに送り、全体的
な整合性の検討処理に供する。

この処理モジュールでは、目・皐・口等の特徴は、顔の
中で特定の位置関係を保っていることを利用し、前述し
た各ローカルモジュールでそれぞれ検出された特徴の整
合性を調べたり、顔の向きを判定する（ステップｆ５）
。そして未た検出されていない特徴の存在可能位置を限
定したり、場合によっては検出対象の見え方等の未検出
特徴の調査に有効な情報を、その担当ローカルモジュ−
）しに連絡する さて目・鼻・口等の特徴には、例えば第１６図のように
近隣の特徴との間に所定の拘束関係がある。この拘束関
係は、例えば知識ベースとして与えられるもので、具体
的には各部の上下・左右のような位置関係と、これらの
各部間の距離の程度を記述した情報として与えられる。

前述したように各ローカルモジュールにて目・鼻Ｑ口等
の各部の特徴が検出された場合、これらの位置・距離が
上述した関係が満足しているか否かチエツクすることに
より全体的な特徴の整合性が判断される。

尚、上述した拘束条件は、頭を上方とした場合の一般的
な各部の上下・左右等の位置・距離関係を示しているに
過ぎない。従って実際に入力画像中から目・鼻・口等の
各部の特徴を求める場合には、頭・顔の輪郭から顔の中
心線を検出し、頭の位置を上として入力画像の向きを定
める。

つまり計算機内の処理では、上述した顔の中心線と頭の
位置とを基準として向きを規定して前述した各部の位置
関係を調べるようにする。この際、位置条件を満たさな
い特徴が検出されるような場合には、取り敢えずその特
徴検出結果をそのままにしておき、他の特徴が検出され
た時点で、改めてチエツクし直すようにすれば良い。そ
して他の結果と矛盾するものかあれば、その再調査をロ
ーカルモジュールに命じるようにすれば良い。

即ち、第１６図に示す目・鼻・口等の各部についての位
置・距離関係は、顔を正面から見た場合の特徴を示して
いる。しかしこの位置・距離関係に示される特徴は、実
際には顔の向きにより変化し、顔の向きによっては画像
上で見えなくなる（現れなくなる）特徴も出てくる。ま
たその特徴の形も変わってくる。

しかしこれらの各特徴の形や位置・距離についての関係
の変化は、その特徴が頭・顔の輪郭内のどこで検出され
たかにより、顔の向きに対してその特徴毎に成る程度拘
束される。例えば第１７図（ａ）に示すように人間の顔
を円筒近似して考えると、仮に第１７図（ｂ）のように
口としての特徴が、その中心線より少し左側で検出され
れば、顔は少し右側を向いていることが判定される。そ
の他の部位の特徴についても、その特徴か画像上で検出
される位置を顔の向きに対して関係付けることができる
。

従ってこのような各部の特徴と、その検出位置、および
顔の向きとの関係を予めルール（知識）として前記ホス
トコンピュータ６ｄに登録しておけば、このルールを利
用して顔の各部の特徴をそれぞれ総合判定し、顔の向き
を特定することか可能となる。そして最終的には、多数
の特徴が示す方向を顔の向きとして決定するようにすれ
ば良い。

尚、成る向きにおいては決して見えることのない特徴も
存在する。従ってその特徴が検出できない場合には、逆
にその特徴を見ることのできない向きに顔が向いている
と判定することも可能である。例えば顔における目・鼻
・口等の主要部分の特徴が検出されない場合、或いは耳
の特徴しか検出できないような場合には、これを俯せに
なっている状態であると判定するようにすれば良い。

また顔の向きが幾つかの特徴、或いは１つの特徴であっ
てもその確実性の高いものから推定できるような場合に
は、特徴が見えない場合も含めて、その推定された顔の
向きから他の特徴の存在位置を限定して調査することが
できる。また鼻のように、横向きの場合と、正面向きの
場合とでその特徴の形か大幅に変わるような部分につい
ては、上述した如く推定される顔の向きに従ってその特
徴の調べ方を限定することができる。従ってこのような
顔の向きについての情報か得られた場合には、その情報
を前記各ローカルモジュールに通知して、その特徴検出
処理に利用するようにすれば良い。

また目等のように左右−組として存在する特徴について
は、その一方が見つかったたけではどちら側の特徴であ
るかを明確に判断し難い。従ってこのような場合には、
他方の特徴が検出されるか、或いは別の部位の特徴の見
え方から顔の向きか特定され、どちら側の特徴であるか
が分かるまで、その断定しないでおく。即ち、成るロー
カルモジュールの役割を左目の特徴検出としても、その
ローカルモジュールで検出された特徴か以後の処理で右
目であると判定されることもある。このような場合には
、例えばそのローカルモジュールを、以後は右目検出用
として役割変更する。或いは左目の特徴検出用として別
のローカルモジュールを割り当てるか、既に右目検出用
として割り当てたローカルモジュールが存在する場合に
は、これを左目検出用として割り当て変更する。

この特徴抽出処理については、上述したように全ての特
徴についての抽出処理を対等に扱うことに変えて、例え
ば見つけ易く、顔の向きを大きく拘束するような特徴か
ら優先的に探し出し、他の特徴については先に見出され
た特徴についての処理結果を利用しながら順に調べてい
くようにしても良い。例えば口としての特徴を最初に見
出せば、その特徴から顔の向きや他の部位の特徴につい
ての存在可能性位置に大きな拘束を与えることができる
。従ってこのような拘束に従って、他の部位の特徴を順
に検出していくようにすれば良い。

以上のような初期設定の処理手続きを行った後、サブプ
ロセスでの画像処理を実行する。

このサブプロセスでは、前述したようにメインプロセス
での画像入力の周期に比較して短い時間間隔で画像入力
を行う（ステップｂ２）。そして前の時点で求めた頭・
顔の外形と、顔の各部について検出された特徴（最初は
初期設定で求めた結果）部分の周囲を前記各ローカルモ
ジュール７−１．７−２゜〜７−ｎにてそれぞれ調べ、
前述した初期設定の場合と同様にしてそれらの特徴部分
の検出を行う（ステップｂ３）。

しかして特徴部分か検出されたならば、これらの個々の
特徴について、またこれらの特徴部分間の位置関係につ
いて異常の疑いかあるか否かを調べる（ステップｂ４）
。しかしてこのサブプロセスは前述したように被観察者
の小さい動きを観察することを目的としており、具体的
には被観察者の安静時・睡眠時における観察と云うこと
になる。

従って、例えば被観察者の通常の安静時・睡眠時におけ
る上述した各部の特徴を予め調べておき、この通常時の
特徴とのずれが大きい場合、これを異常の疑いがあると
して検出するようにすれば良い。この際、被観察者か口
を開いた場合、「口の形が丸（なる」　［口の中心部分
の暗い部分が大きくなる」等の幾つかの点を、同時にチ
エツクするようにしても良い。

しかしてこのような表情パターンのチエツクに従い、異
常の疑いがあるパターン変化が頻繁に起こっているか否
かを判定する（ステップｂ５）。そして異常の疑いがあ
るパターン変化が頻繁に起こっているならば、これを要
観察であると判定する（ステップｂ６）。逆にパターン
変化の発生頻度が少ないならば、次に頭・顔の輪郭と各
特徴部分のエツジ成分を、これらの特徴部分に対応付け
て用意したメモリに第１８図に示すように順次書き加え
る（ステップｂ７）。つまり第１８図に示すように口に
ついての特徴を、その検出時点毎に順次メモリに書き込
んでいく。

そしてこのようなメモリ加算処理が一定時間経過した場
合（ステップｂ８）、上記加算メモリを調へる。そして
上述した加算処理時間の間の前記加算メモリに書き込ま
れたエツジ成分の全体が占める画素数か、成る１つの時
点のエツジ成分の画素数に比べてどの程度であるかを判
定する（ステップｂ９）。そして加算メモリに書き込ま
れたエツジ成分の全体が占める画素数がそれ程多くない
場合には、これを呼吸等に伴う小さな動きも乏しいと看
做し、要観察と判定する（ステップｂ１０）。尚、上述
したエツジ成分の画素数の判定から被観察者の動き（小
さな動き）が観察された場合は、これを正常であると判
断する。そして前述した加算用のメモリをクリアしくス
テップｂｌｌ　）　Ｌ、前述した画像入力の処理に戻っ
てサブプロセスの処理を続行する。

ところで前述した固定カメラにより撮像入力された病室
全体の画像に対する処理手続きは、例えば第１９図に示
すようにして実行される。この固定カメラによる画像監
視は、前記ロボット５に搭載されたカメラによるベツド
上の被観察者の頭・顔部の観察のみならず、病室内の全
体を見渡すことにより、被観察者の身体全体の動きにつ
いて観察することを目的とする。

しかしてこの固定カメラによる画像入力は、広い視野を
撮像対象とすることになるので、一般的にその視野内の
明るさの変化が大きい。特に窓から外光が入るような場
合には、日の当たる場所と日陰となる場所との明るさの
差が大きい。しかも−日の時間的な経過による明るさの
変化も大きい。

そこで固定カメラによる入力画像を処理する場合には、
先ず画像の入力条件の検討から開始する（ステップｇｌ
）。そして視野内の明暗差か大きい場合には、前述した
ように露出条件を異ならせた複数の画像を入力し、各画
像についての処理結果を統合して用いるようにする。こ
の手法としては、前述したロボットカメラにおける複数
画像を用いた処理手続きと同様な手法を採用すれば良い
。

しかしこのような明暗差の大きい画像入力条件下にあっ
ても、例えば家具などの静物については、被観察者等の
他の物体に遮られない限り、入力画像中の一定の場所に
必ず見えるはずである。従ってこれらの静物が良好に確
認できるように、つまり入力画像中で上記静物が見える
ように画像入力に対する露出条件を調節するようにして
も良い。

具体的には第２０図に示すように、固定的に撮像入力さ
れる画像中から、静止している部分で、且つ明確なエツ
ジ成分が存在する部分を斜線部に示すように予め求めて
おき、この斜線部を調査領域としてその明るさを調べて
画像入力における露出を制御するようにすれば良い。

具体的には第２１図に示すような処理手続きに従って固
定カメラによる画像の入力条件の決定する。即ち、先ず
標準的な露出で固定カメラによる画像を入力する（ステ
ップｈｌ）。そしてこの入力画像中の前述した如く指定
した小領域について、そこに存在しているはずのエツジ
が正しく検出されるか否かをそれぞれ調べる（ステップ
ｈ２）。

この処理は近隣の幾つかの小領域の画像信号を１つのロ
ーカルモジュールで処理することにより行う。しかして
エツジを正しく検出したと云うことは、必要なエツジか
検出され、且つ不要なエツジ成分が存在していないこと
を云う。従って上記ローカルモジュールとしては、小領
域の画像信号に対してエツジ検出のオペレータを施した
、その後、所定の閾値で２値化処理してエツジ検出を行
い、その結果に対して適当な評価量を設定して判定する
ようにすれば良い。この評価判定は、例えば正しく検出
されたエツジの長さから不要なエツジの長さを引いた値
と、本来のエツジの長さの比を評価値とすることにより
達成できる。そしてこの評価値が所定の閾値以上ならば
、これをエツジが正しく検出されたものとする。尚、こ
のような各小領域についてのエツジ検出の評価量につい
ては、入力画像全体についての最終的な判定を行う為に
記憶しておく。

しかして小領域の成る部分については、被観察者等の動
く物体に遮られて見えないこともあり得る。従って所定
数以上の小領域で、それぞれエツジが正しく求められて
いるか否かを判定する（ステップｈ３）。そしてエツジ
成分が正しく求められた小領域の数が少ない場合には、
露出条件を変更して画像入力を再度行い、適正露出条件
を求める為の調査を繰り返し続ける（ステップｈ４）。

このような露出条件の変更処理を伴った入力画像に対す
る処理において、所定数以上の小領域において正しくエ
ツジが求められていると判定されたならば、次に入力画
像の各部について、以後の処理で使用すべき画像の各部
を決定する（ステ、／プｈ５）。即ち、この決定処理は
前記各小領域について前述した如く記憶しておいた評価
値を調べ、その評価値の最大の条件を求めることから行
われる。原則的にはこの評価値か最大となる条件の画像
を、その小領域周辺についての画像処理に用いる。

但し、近隣の小領域の最適条件か少し違う部分もある。

しかしその条件か略々同一であり、成る条件を選べば最
適ではないところも多少はあるが、エツジ検出を正しく
てきるという場合には、これらの小領域については同一
の条件を用いるようにする。またエツジを正しく求めら
れる条件がなかった小領域については、その周辺の小領
域について決定された条件を用いるようにする。モして
各小領域については、そこに対して決定された条件の画
像を用いる周辺領域をそれぞれ予め定めておく　。

尚、このようにして成る条件の画像に対してその小領域
を調べてから次の画像に移るのではなく、最初に幾つか
の条件で画像をそれぞれ入力しておいてから、これらの
各画像の小領域をそれぞれ処理するようにしてもよい。

またこの例では露出条件の決定にエツジの情報を使用し
たが、小領域の明るさが予め指定された範囲になるよう
に、その露出条件を選ぶようにしても良い。或いはカラ
ーカメラを用いるような場合には、予め指定した色相（
ＲＧＢの濃度の関係）となる条件を選ぶようにしても良
い。これらの場合には、エツジの存在部分よりは、むし
ろ一定の明るさや色の面の中に上述した小領域を設定す
るようにすれば良い。そして上述した判定処理の結果、
複数の画像を使うようになった場合には、それ以後の処
理では、各場所毎に適当と決定された画像をそれぞれ使
用する。

またこの処理では、被観察者の大きな動きの検出を目的
としている。従って画像の処理は数秒から数十秒程度の
適当な時間間隔で画像を入力しながら行われる。これ故
、上述したような画像入力条件の決定処理については、
新たな画像を入力する都度、毎回行うようにしても良い
し、或いは適当な時間間隔毎に行うようにしても良い。

さて適当な露出条件の画像が入力されたら、その入力画
像に対する処理を開始する。第１９図に示す処理手続き
の流れにおいては、画像入力の全てが終了してから処理
が始まるようにしか記述てきないが、実際には１つ１つ
の画像が入力され次第、その入力画像中から必要部分を
ローカルモジュールに取り出し、その処理を開始すれば
良い。

ここでの最初の処理としては、先ず状態変化の検出を行
う（ステップｇ２）。この変化検出の手法としては、一
般的には幾つかのものを用意することができる。それら
の内、装置の使用環境において成る手法にて確実に変化
検出の処理ができる場合は、それを選んで使用すれば良
い。また単独の手法だけでは確実性の乏しい環境では、
複数の手法を並列的に実行し、これらの処理結果を総合
して状態変化を検出するようにする。或いは環境および
画像入力の条件に応じて、適当と思われる手法を選択し
て使用して状態変化を検出するようにしても良い。

さてこの実施例において変化検出の手法として用意され
ているものは、基本的には次の３つである。

［前時点と現時点の画像間の差分処理コこの手法は、時
点を異にする画像間の差の絶対値の大きい部分を変化領
域として取り出す処理からなる。この処理は、画像の撮
像条件が２つの時点間で変化がなく、動いている物体と
背景とのコントラストが大きい場合に有効である。

尚、対象画像に平滑化や微分等の処理を施し、その結果
画像の差分を用いることも可能である。

［色相の比較処理］ この手法については、カラーカメラを使う場合には色の
変化も利用することができる。しかしてこの手法は現時
点の各点におけるＲＧＢ成分の比弔をそれぞれ求め、前
時点の比率値と大きく異なる部分を変化領域とする処理
からなる。この処理は、動いている物体と背景の色が違
うような場合、仮に画像入力条件が変わっていても有効
である。

［エツジの比較処理］ この手法は画像を、例えば基盤の目状の小領域に分割し
、分割された各領域について前時点と現時点のエツジの
存在を比較する。そしてエツジの存在に変化かあった部
分を変化領域とする処理からなる。この手法は画像入力
条件の変化等に対しては前述した差分を求める処理より
も有効である。

但し、背景と運動物体との双方が、沢山のエツジかでる
模様が存在するようなテクスチャを持つような場合、単
純に小領域内でエツジが存在するか調べるだけではその
運動を検出することはできない。従ってこのような場合
にも対処できるように、例えばテクスチャを構成する要
素の大きさ以上に前述した分割領域の大きさを設定し、
その上で各テクスチャの構成要素を求め、それに違いが
あるかをそれぞれ判定する必要がある。

このように変化検出の処理は、上述したように動く物と
背景の性質がその有効性に大きく関係してくる。しかし
てこの実施例装置では被観察者の大きな動きを知ること
が目的である。従って動く部分は、被観察者の頭・顔と
、被観察者の衣服であり、一方、背景の大きな部分は壁
や床、それに寝具等と云うことになる。この内、変化す
る可能性のあるものは衣服と寝具であり、他の物の性質
は予め分かっている。即ち、明るさ・色・テクスチャの
情報については予め入力しておける。これは人間がマニ
ュアル的に入力してもよいが、画像処理によっても容易
に与えることができる。具体的には入力画像の各点の濃
度から、その明るさを適当な段階に分ける。同時に色に
ついてもＲＧＢ成分の比率から適当な数の色に割り当て
る。その上でこの画像からエツジの検出を行い、細かい
エツジの存在する部分をテクスチャ領域とすることによ
って達せられる。

尚、寝具についてはそれを変更したときに、その性質を
人手により入力してもよい。しかし一般的には画像中に
おける寝具の位置は略々法まっているので、入力画像か
らその部分を取り出し、他の背景の場合と同様な画像処
理によりその性質を決定することができる。この処理に
ついては寝具を変えたとき、操作者からの指示に従って
行うか、適当な時間間隔、或いは予め定めた時刻毎に実
行するようにしておけば良い。

また被観察者の頭・顔についての情報も予め入力してお
くことができる。但し、被観察者の頭・顔の情報につい
てはカメラに対する顔の向き、即ち、頭部を見る方向に
より変わってくる性質もあるので、それらについては予
め指定しておくことはできない。

更には被観察者の衣服に関する情報についても、衣服を
取り替えたときに人手で入力してもよい。

この場合、予め被観察者が着る複数種の衣服を登録して
おいて、その中のどれを着たのかを指示するようにして
も良い。またこの登録については人手により行っても良
いが、衣服の画像を入力して自動的に登録するようにし
ても良い。或いは衣服を着替えた時点で指示を与え、そ
の時点での被観察者の画像を入力して衣服の情報を自動
的に求めるようにしても良い。

この場合、被観察者に予め定めた特定の位置にて着替え
をして貰うようにする。すると略々衣服の領域が画像内
のどこにくるかわかるので、その部分の性質を求めるだ
けで良くなる。またこのような負担を避けるには、例え
ば被観察者にその衣服が寝具に隠れないようにして貰い
、このような状態で画像を入力する。そして既にその性
質か分かっている寝具や背景と異なる性質を持つ部分を
求め、その中から人間の一部と考えられる程度の大きさ
となる領域を切り出し、この領域部分の性質を衣服の性
質として検出するようにすれば良い。

以上のように動くものと背景の性質が分かった場合には
、被観察者の動きを検出する為の具体的な処理法として
の前述した変化検出の手法の選択・組み合わせ方として
は、例えば次のような４通りの手法が採用できる。

■　どれか１つの手法を選択的に用いる。例えば背景が
明るく、衣服が黒っぽいならば、前述した差分処理の処
理法たけを用いる。また背景がクリーム色で衣服が赤や
青や緑であるようにその色の差が大きいような場合には
、前述した色情報を用いた処理法を採用して被観察者の
動きを検出する。

■　領域毎にその処理法を変える。例えば背景の性質か
視野内で変わるような場合には、入力画像の部分領域毎
に適切な処理法を個々に選択して利用して被観察者の動
きを検圧する。

■　全ての処理法を実行する。この場合には、個々の処
理法毎にそれぞれ横比閾値を定め、いづれかの処理結果
か閾値を越えたとき、これを変化ありとして判定する。

或いは単独では閾値を設けず、変化の程度に適当な重み
を付けておく。

そして全ての処理結果の和か一定値を越えｔ：ら、これ
を変化ありとして判定する。重み付けを行うに際しては
、部分領域毎にその背景と運動対象の性質の比較から、
その変化か検出し易い処理法があれば、その処理法の結
果に対して大きな重みを付けるようにすれば良い。

■　■と■の処理法を組合せて実行する。この場合には
、領域毎に成る１つの処理法で十分な結果が得られたと
きにはその結果を用い、そうてない場合に複数の処理法
を用いることになる。

尚、上記■に示す処理法において、部分領域に応して重
みを変えない場合には、運動対象に対する知識を利用し
ないでその処理が実行される。またこの実施例では画像
処理に並列計算機を用いており、複数のローカルモジュ
ールを用いて画像の位置によりその処理を分担するだけ
でなく、同じ領域に対しで異なる処理を行うことにより
、高速処理を行うことが可能となっている。従ってこの
実施例装置によれば上述した■の処理法をそのまま実行
することができる。この場合でも処理対象に対する知識
を利用して重みを変えれば、その処理の信頼性を向上さ
せることができる。

またローカルモジュール７−１．７−２．〜７−ｎの数
が限られている場合や、画像処理に他の計算機を用いる
場合には、処理対象の性質とその処理に用いるべき処理
法との関係を予めルール化しておき、このルールに従っ
て処理対象の性質に応じた適切な処理法を選択的に用い
るようにすれば良い。

尚、上述した説明は、衣服や寝具が与えられたとき、そ
れに対してとのようにして適切な処理法を選ぶかという
アプローチであったが、衣服や寝具については比較的自
由に選べることができるので、例えば簡単な処理で確実
に正しい結果が得られるような衣服や寝具を被観察者に
用いて貰うようにしても良い。この場合には、被観察者
に多少の拘束を与えることになるか、本人の承諾かえら
れるような場合には、これによって処理負担の大幅な軽
減と処理の確実性の向上を実現することが可能となる。

具体的には、例えば衣服と寝具の性質にコントラストを
つけ、個々の物の中ではその性質を均一化する。また衣
服については、背景となる壁・床・家具等に対してコン
トラストがつくようにする。

これらの性質については一般的には変更し難いが、例え
ば壁の塗り替えや壁紙の変更、カーペットの変更、家具
の変更等で変更可能な場合には、衣服や寝具の場合と同
様の配慮を払ってその性質を設定するようにすれば良い
。

また上述したコントラストを付けると云う意味は、白黒
カメラを用いて白黒画像を処理するような場合には明る
さに差をつけることを示し、カラカメラを用いてカラー
画像を処理するような場合には、その色相に差をつける
ことを示す。このようにした入力画像にコントラストを
付ければ、明るさの違いや色の違いに注目した処理を行
うだけで良くなり、その画像処理を大幅に簡略化するこ
とか可能となる。

次に上述した処理にて変化の大きい部分が検出された後
には、その変化の大きい部分か大きな領域を形成してい
るか否かを調べる（ステップｇ３）。

この領域は１つにまとまったものでなくても良く、この
場合にはその近隣のものをまとめて１つの領域として考
える。またここでは大きい領域としては、例えば画像中
で人間が一番小さく写る大きさの数分の１以上の領域と
して定義しておけば良い。

但し、被観察者が通常の状態で眠っているような場合で
あって、その頭部が動く範囲に対応する画像の部分（−
膜内には一定の領域であり、予め定めておくことができ
る）だけに存在する変化部分については、これを変化領
域とは考えない。

しかして上述した判定処理において大きな変化領域か検
出されなければ、前述したようにロボット５に搭載され
たカメラから求められる画像に対する処理にて、被観察
者かベツドにいると判定されているか否かを間合わせる
（ステップｇ４）。この間合わせは前述した第８図に示
したステップａ５の判定結果を参照するようにすれば良
い。この間合わせ結果から、被観察者かベツド内にいる
か否かを判定する（ステップｇ５）。そして被観察者か
ベツド内にいるならば、その観察はロボットカメラによ
る役割なので、メインプロセスの処理に復帰する。これ
に対して被観察者がベツド内にいない場合には、サブプ
ロセス１を起動してベツドの外での被観察者の動きを観
察する（ステップｇ１４）。

そしてベツド外で被観察者が動いていれば良いが、動き
が検出されないような場合には、これを要観察と判定す
る。

さてこのサブプロセス］は、入力画像中のエツジを検出
する処理から開始される（ステップ１１）。

二の場合、静止物体に対するエツジの存在位置は前述し
たように予め分かっているので、それ以外の部分のエツ
ジを検出し、これをメモリに記録する（ステップｉ２）
。この処理は予め静止物体だけの画像に対してエツジ検
出を行い、その検出結果のエツジ部分を少し拡大したマ
スク画像を作っておく。そして現在の画像のエツジ検出
結果の内、上記マスク部分以外のエツジを取り出すこと
により実現される。このようにして取り出されたエツジ
を少し拡大し、これを加算用メモリに加算する。

即ち、拡大したエツジに相当する部分の値を［１］増加
させる。但し、加算用メモリは、処理の最初に［０］に
リセットされているものとする。

このサブプロセス１は前述したメインプロセスより短い
時間間隔で画像を入力しながら行われ、予め定めた一定
の時間に亘ってエツジ検出・加算の処理か行われていな
ければ、その状態を判定検出しくステップｊ３）、次の
画像を人力して（ステップｊ４）上述したエツジ検出と
その加算処理を繰り返し実行する。

尚、前述したメインプロセスにおけるカメラ制御計画（
ステップｇｌ）において、複数画像を使って被観察者の
動きの検出処理を行うと決定されている場合には、この
処理手続き時にも短い時間間隔で複数の画像を入力し、
その適正露出の画像に対して領域ごとにエツジ検出・加
算処理を実行する。

しかしてエツジの一定時間に亘る加算処理が終了した場
合には、次にその入力画像中に静止物体以外のものが存
在するか否かを判定する（ステップ＋５）。そして上記
加算結果にエツジ部分（０以外の部分）があり、その大
きさが小さければ、前述したステップａ６の場合と同様
に不明の信号を出力する（ステップｉ６）。この不明状
態の場合の対応については後述する。

一方、入力画像中に静止物体以外のものがあった場合は
、次にその物体が動いているか否かを判定する（ステッ
プｉ７）。この判定は前記加算用メモリの中の［０］以
外の画素のうち、値の小さい画素の割合を調べることに
より達せられる。そして値の小さい画素か大部分を占め
れば、入力画像全体（シーン）の中で成る物体が動いて
いると判定する。つまり予め存在の分かつている静止物
以外の物体があったとしても、それが上記調査を行って
いる間に動いていなければ、その工・ソジの位置かあま
り変わらないので前記加算用メモリにおいては成る程度
大きな値の画素を作る。従って上述したように値の小さ
い画素が大部分を占めているか否かを判定することで、
シーン中で動いている物体を確実に検出することか可能
となる。

そしてこの判定処理にて物体は存在するか、その動きが
検出されないような場合には、これを要観察と判定しく
ステップ１８）、動いている物体か検出されたならば、
ベツドの外における観察を続けるべく前記加算メモリを
［０コにリセットした後（ステップ１９）、次の画像を
入力して上述した処理を継続して実行する（ステップ１
１０）。

ところで前述したメインプロセスにおけるステップｇ３
の処理にて大きな変化領域が検出された場合には次のよ
うな処理手続きに進む。この場合、その後の処理条件に
よってはサブプロセス２を起動することになるので、先
ずそのサブプロセス２か既に起動されているか否かをチ
エツクする（ステップｇ６）。そしてサブプロセス２が
動いているような場合には、前述した如くステップｇ２
の処理にて検出された変化領域が、既に動いている前記
プロセス２の処理結果と矛盾していないか否かを調べる
（ステップｇ７）。

尚、このサブプロセス２については後で詳しく説明する
が、基本的には頭部の動きを追跡している。従って検出
された変化領域が、サブプロセス２にて追跡している頭
部を含むならば、そのサブプロセス２ての処理をそのま
ま続行する。しかし検出された変化領域か頭部を含まな
いような場合には、サブプロセス２による頭部追跡に間
違いかあるかもしれないので、前述した判定処理により
サブプロセス２が動いていないことが確認された場合も
含めて上記変化領域の形状を調べる処理を行う　（ステ
ップｇ８）。

この変化領域の形状を調べる為には、その変化領域をも
とにして現時点の人力画像中から物体部分を切り出すこ
とか必要となる。この物体の動きと変化領域との典型的
な関係は、例えば第２２図（ａ）　（ｂ）　（ｃ）に示
すように表現される。

尚、第２２図（ａ）は物体がカメラの光軸に対して垂直
な面内て動き、その動きが大きい場合を示している。ま
た第２２図（ｂ）は同様な運動で、その動きが小さい場
合を示しており、第２２図（ｅ）は光軸方向に物体が運
動する場合を示している。

この第２２図（ａ）　（ｂ）　（ｅ）に示す物体の動き
と変化領域との典型的な関係から明らかなように、第２
２図（ａ）のような場合には、２つの時点における各物
体部分にそれぞれ斜線を付して示したように変化領域か
現れる。また第２２図（ｂ）のような場合には、２つの
時点でずれを生じた物体部分が変化領域として検出され
る。この場合、物体の内部が一様でなければ、これらの
物体部分を結合した全体領域が変化領域として検出され
る可能性もある。また第２２図（ｅ）に示すような場合
には、画像上での物体の大きさが変わることになるので
、その変化分か変化領域として検出されることになる。

この場合、上述した第２２図（ｂ）に示す場合と同様に
、物体の内部か一様でなければ、大きい方の物体部分の
全体か変化領域として検出される可能性もある。

実際には、物体の運動は上述した典型的な動きの組合せ
として示され、しかも回転しながら、またその形を変化
させながら動く場合もあるので、その変化領域の形は複
雑になる。例えば被観察者としては向きを変えながら移
動したり、手足を動かしなから動くことがあるので、そ
の変化領域の形は複雑に変化する。また変化検出処理の
方でも、例えば適当な閾値を設定して変化の有無を判定
しているので、１つの物体に対する変化部分が必ずしも
１つの連結した領域にならないこともある。

さて、このように種々の形に変化する変化領域から物体
を切り出す為には、前述したステップｇ８に示す領域形
状の調査処理としては、代表的には次の２種類の手法を
選択的に用いるようにすれば良い。

第１の手法としてはその処理手続きの流れを第２３図に
示すように、先ず細切れになっている虞れのある変化領
域を統合するべく、変化領域を拡大する（ステップｊｌ
）。この拡大処理は２値画像に対する拡大、或いは膨脂
と呼ばれる処理により実現される。しかる後、拡大処理
された結果に示される領域の内部の穴を埋める（ステッ
プｊ２）。

このようにして得られた領域の内部に対して、現時点の
画像についてのエツジ検出処理を行う（ステップｊ３）
。そして検出されたエツジの内、予め蓄えてあった静止
物体に対するエツジ検出結果、具体的には予めその線分
を多少太らせておいた正しい物体のエツジ成分と重なる
部分を除去する（ステップｊ４）。この処理により前述
した第２２図（ａ）に示すように変化領域が検出された
ような場合には、過去の位置に対応する１つの領域には
運動物体に対するエツジは出ないことになる。そして他
の場合には、現在の位置に対する運動物体のエツジか得
られることになる。このようにして求められるエツジを
取り出し、これを物体とじて検出する（ステップｊ５）
。

また第２の手法としては、第２４図に示すような処理手
続きの流れに沿って物体検出を行う−。尚、この場合に
は、短い時間間隔で入力した所定枚数の画像を用いて処
理か進められ、画像入力については変化領域か多く含ま
れる部分により規定される露出条件で行う。しかしてこ
の処理は、先ず第１の時点の画像を入力した後（ステッ
プに１）、続いて次の時点の画像を入力しくステップに
２）、この入力画像について前時点の入力画像との差分
を検出する（ステップに３）。そしてその差分値の大き
い部分を取り出し、これを記録する（ステップに４）。

このような処理手続きを順次画像を入力しなから所定の
フレーム数に亘って繰り返す（ステップに５）。

尚、ここでは短い時間間隔て画像を入力しているから、
画像間の差分は前述した第２２図（ｂ）に示すように検
圧され、差分の大きい部分は移動物体の輪郭に生じる。

しかして数フレームに亘って上述した処理を行うと、例
えば第２５図に示すように運動物体の輪郭か記録データ
として明確に求められることになる。従って上述した如
く記録された情報を運動物体として取り出すようにする
（ステップに８）。

以上のような手法を採用して運動物体か検出できたなら
ば、次にその移動物体が人間であるかを判定した後（ス
テップｇ９）、次の処理手続きに進む。この検出された
移動物体が人間（被観察者）であるか否かの判定は、こ
こでは、例えば検出されたエツジか作る領域の大きさが
所定の範囲に入っているか否かを調べることによってな
される。

そして人間（被観察者）であると石像し得る物体が検出
されない場合には、前述した大きな変化領域か検出され
ない場合と同様な処理に進む。

しかして検出された移動物体が人間（被観察者）である
と判定された場合には、被観察者がベツドの外にいると
の判定結果を出し、移動物体中の頭部の検出処理を行う
（ステップｇ１０）。尚、この時点で前述したサブプロ
セス１が動いている場合には、物体か大きく運動してお
り、且つ細かい動きを観察する必要がないことから、サ
ブプロセス１の実行を停止する（ステップｇｌｌ）。ま
た運動を検討する為の前述した加算用メモリについても
同時にリセットしておく　（ステップｇ１２）。

しかしてステップｇｌＯに示す頭部検出処理では、先ず
切り出された物体のエツジの中から長円形の一部と考え
られる弧状の部分を頭部として検出し、それを含む長方
形領域を設定する。尚、この処理では必ずしも頭部を取
り出す必要かある訳ではなく、これから追跡処理をする
のに適当な領域を検出するようにすれば十分である。そ
の対象としてここでは頭部を選んでいるに過ぎない。従
って頭部と考えられるような部分が複数箇所見出される
ような場合には、これらの全てを頭部として選んでもよ
いし、適当なものを選択してその後の処理に用いるよう
にしても良い。

そして上述した如くして頭部が検出されたならば前記サ
ブプロセス２を起動する（ステップｇ１３）。

そしてこのサブプロセス２では、短い時間間隔て画像を
入力しくステップｌ１１１）、その入力画像から頭部を
追跡する（ステップｍ２）。そしてその追跡結果に従っ
て頭部が動いているかを観察する。この場合の画像入力
は、前時点で頭部が存在する部分に対して適切な露出条
件で、或いは平均的な露出条件で行う。

しかしてこのサブプロセス２における頭部の追跡は、例
えば切り出された頭部の部分をテンプレトとし、前時点
の画像での頭部の周辺に対してテンプレートマツチング
処理を施して最も良くマツチングする部分を求め、これ
を今回の頭部の位置とする（ステップｍ２）。上述した
マツチング処理には相関係数を使っても良いし、濃度値
の差の絶対値の総和を用いてもよい。またテンプレート
としては最初の切り出された頭部の情報を用いても良い
し、毎回検出される頭部の情報にてテンプレートを逐次
更新していくようにしても良い。或いは上述したマツチ
ング処理に代えて現時点の頭部の位置の周辺画素を調べ
、頭部の輪郭を求めることにより頭部の位置を決定して
いくようにしても良い。

しかして頭部が前時点の頭部の位置の周辺で検出てきな
いような場合、具体的には前述したマツチング処理にお
いて予め定めた値より大きな照合度をもつ点か検出され
ないような場合には、これを頭部の追跡処理失敗として
このサブプロセス２における処理を終了する（ステップ
ｍ４）。この追跡処理の失敗は、頭部に大きな動きかあ
ったことに起因すると考えられるが、この場合には前述
したメインプロセスにて物体の大きな変化か検出される
ので、その時点て頭部の位置か求め直される。

この結果、再度このプロセス２か起動されることになる
ので、実質的には何等不具合か生しることはない。

これに対して頭部が検出された場合には、頭部の追跡処
理が順調に行われていると判定する。そしてこの場合に
は、検出された頭部の位置か適当な時点前の位置と変化
しているかを調べる（ステップｍ５）。この判定処理に
て頭部の変化か検出されない場合には、前述したサブプ
ロセス１を起動しくステップ１Ｉ６）、頭部の動きか検
出された場合は、上述した頭部の動きの追跡処理を繰り
返し継続する。

さて以上の処理手続きにおいて「要観察」という判定結
果が求められた場合には、被観察者に対する観察が必要
であることか示されるので、観察の為の次の処理段階に
進む。これに対して「不明」という判定結果が得られた
場合には、画像処理部において被観察者を見失ったこと
を意味する。この場合も「要観察」と同じ処理手続きを
進めるようにしても良いが、例えば被観察者を捕らえ直
す為にメツセージを出力する等して、被観察者に協力を
お願いするようにしても良い。

尚、不明になった場合、直ぐにこのような対策を講じる
ことなく、何度か被観察者検出の為の上述した処理を試
行し、このような処理の繰り返し試行にも拘らず被観察
者を捕らえることができなかったときに始めて、被観察
者の協力を求めるようにしても良い。

尚、被観察者の観察必要状態の検知については、上述し
た画像処理にて行うことのみならず、他の幾つかの手法
を併用することもてきる。

即ち、被観察者が病気等の場合には必要に応して、心電
図・血圧・体温等を常時、電子的観測装置により計測し
ている。従ってこのような電子的観測装置による計測情
報を利用するようにすれば、これらの観測値や画像によ
る被観察者の様子が正常でないときにも、要観察の状態
を確実に判定することか可能となる。この場合、電子的
観測装置による観測結果によっては、緊急事態の発生を
速やかに検出し、前述したように被観察者の同意を求め
ることなく、被観察者の画像伝送を開始するようにして
も良い。

また被観察者が被観察者用スイッチの操作や、後述する
反応の検知で利用する音声や身振り・手振り等により、
自ら画像伝送（画像監視）の要求を発するようにするこ
ともできる。この場合には、当然のことながら被観察者
の意思の確認作業は不要となる。

また定時検診のような場合や、その他必要に応じて看護
者側から被観察者呼出しスイッチか操作されたような場
合には、前述したようにして観察必要状態が検知された
場合と同様にして、画像伝送による観察を開始できるよ
うにしておけば良い。

特に定時検診のように予め定まったものについては、例
えば被観察者の希望に応じて、画像伝送する旨を提示す
ると同時に、その同意をとることなく画像伝送を開始し
て観察を行うようにしても良い。

また睡眠時等であって、被観察者が意思の確認をしなく
てもよいと了承しているような場合には、前述した画像
伝送を行っても良いか否かの応答手続き自体を省略する
ようにしても良い。

尚、被観察者か検知オフスイッチを操作することで、前
述した観察必要状態の検知を適当な時間たけ止めること
かできるようにしておいても良い。

例えば来客時等において余計なことについてまでも観察
者に煩わしさを与えたくないと思った場合等、このスイ
ッチを操作するようにすればよい。

但し、検知オフスイッチを操作したままで忘れてしまう
ことのないように、例えばその操作時点から一定時間以
後に、自動的にオンになるようにしておくことか観察の
目的からして好ましい。このような処理機能については
、装置全体の制御計算機の中にプログラムとして入れる
ことにより実現できる。

またこの実施例の拡張として、例えば来客者や看護者が
在室しているような場合、自動的に観察検知をオフにす
るような機能を設けておいても良い。このような機能を
実現するには、例えば病室の入退室をドア、またはその
周辺に取り付けたセンサにて来客者や看護者の入室を検
知したり、固定カメラからの画像処理にて上記ドアの部
分の大きな変化を検出し、これにより来客者や看護者の
入退室を検知するようにすることで実現できる。

この場合、誤動作をすると危険である。従って状態検知
をオフすると決定した場合には、後述する被観察者の同
意を求める為の手法を用いてその旨を被観察者に知らせ
、これに対して被観察者か同意したときたけ、状態検知
をオフにするようにする。当然のことなから被観察者か
拒否したり、何の応答も得られないような場合には状態
検知をオフにはせず、そのまま状態検知の処理を継続す
る。

そしてこのような特別な場合を除き、前述した状態検知
の処理手続きを定常的に実行する。そして「要観察」の
必要性か判定された場合には、速やかに被観察者の画像
を伝送するが否かを被観察者に尋ねると云う処理手続き
を次のようにして行つＯ さて被観察者の意思を確認する為には、被観察者に対し
て何等かの提示を行い、これに対する被観察者の反応を
検知することが必要となる。この提示・反応・検知には
、被観察者の状態や好みに応じて種々の手法を採用する
ことができる。従って装置としては、被観察者に大きな
負担を掛けることのないような手法の１種、或いは複数
種を選んで実装しておくようにすれば良い。

提示については基本的には人間の五感に働きがければよ
いので、多様な手法を取り得る。−殻内な手法としては
、聴覚・視覚・触覚を利用すれば良く、代表的には以下
に示すような手法を単独、或いは適当に組み合わせて用
いるようにすれば良い。

即ち、聴覚を利用する場合には、音や音声を用いて被観
察者に意思を問い合わせるようにする。

具体的には音声合成装置を用いてメツセージ音声を生成
し、これをロボット５に内蔵されたスピーカから音声出
力するようにする。この音声出力については、ベットサ
イドに組み込まれたスピーカを用いるようにしてもよい
。また音声メツセージとして出力する文は何でもよいが
、例えば［ご気分はいかかですか。

○○さんに連絡致しましょうか？」 と云うようなメッセージ文とすれば良い。

この際、メツセージ出力する合成音の音声を被観察者の
好みに合わせて設定しておくようにしてもよい。例えば
被観察者の親族の声を音声合成により生成するようにし
、娘の声で 「おかあさん、気分はどう？・・・・・・」とか、孫の
声で 「おばあちゃん、元気？・・・・・」 とか云うように音声メツセージを出力するようにする。

また−人の声に固定せずに、色々な人の声を混ぜるよう
にしても良いし、適宜これらの複数人の声を使い分ける
ようにしても良い。

また視覚を利用する場合にも様々な手法を利用すること
ができる。例えば前記ロボット５に搭載されたデイスプ
レィ上に文字や画像を媒体としてメツセージ表示するよ
うにしても良い。或いは天井灯や枕許灯を点灯・消灯・
点滅駆動してその状態を変化させ、これによって合図を
送るようにしても良い。またロボット５の腕や手を動が
し、これを合図とすることもできる。

尚、夜間で天井灯や枕元灯が消えているような場合には
、原則的には照明をつけた上で合図やメツセージを送る
ようにする。但し、被観察者が夜間煩わされたくないと
望むような場合には、照明をつけることなく合図やメツ
セージを送ることのできる提示の手法を採用する。この
ような場合には、その応答・確認を暗いところでも確実
に行い得る手法を採用することは勿論のことである。

また被観察者が確認作業を不要としているような場合に
は、当然照明はっけないで上述した手法によりその提示
だけを行う。しかし観察者か照明の必要性を判断したよ
うな場合には、観察者部２の機器制御盤を操作して遠隔
的に病室内の照明をつけることができるようにしておく
ことか望ましい。

一方、触覚を利用する場合には、例えば前記ロボット５
の腕や手により、ヘッドや被観察者に接触するようにす
れば良い。この他にも枕やベツドに振動を与えるように
したり、これらを突突くような動作を行う機構を設ける
ようにすれば良い。

このような手法は、被観察者の状態に応して適宜行うよ
うにすれば良い。

また画像処理以外の状態検知の手段にて、具体的には前
述した電子的観測装置にて要観察か判定されたような場
合には、先に説明したように被観察者の同意なしで画像
の伝送を開始する場合もある。このような場合には、上
述した提示・反応・検知の処理手続きを完全に省略して
も良いが、例えば画像による観察を開始する旨の提示だ
けは行うようにしておくことが望ましい。

しかして上述したようにして画像による観察を開始する
旨の提示を行った場合には、次に被観察者の反応に対す
る検知処理を行う。この反応検知においては、基本的に
は上述した提示を行った時点から一定時間の間に反応を
検知できないような場合には、これを異常事態の発生と
して判定検出し、被観察者か画像の伝送を認めたものと
石像して取り扱う。

また反応・検知の手法としては、以下に示すような代表
的な幾つかの手法が考えられ、前述した提示の場合と同
様に、その手法を選択的に、或いは組み合わせて利用す
るようにすれば良い。

この反応・検知の最も簡単な手法は、被観察者に何等か
のスイッチを操作して貰うことである。

具体的には被観察者の枕許に被観察者用スイッチを準備
しておき、これを操作して貰うようにすれば良い。この
スイッチの操作法としても色々の形態が考えられ、前述
したように返答がなければ画像伝送を認めたものと判定
することから、例えば拒否する場合たけスイッチを操作
するように決めておけば良い。また許諾・拒否をそれぞ
れ指定する為の操作ボタンを準備しておいたり、スイッ
チの押し方で両者を区別するようにすれば良い。またこ
の実施例では手で操作するスイッチを用いているか、被
観察者の状態によっては、身体の他の部分を利用して操
作されるスイッチを利用するようにしても良い。

また反応手段としては上述したスイッチ操作のみならず
音声や音を用いることもてきる。この場合には、ロボッ
ト５やベツドサイドに設けられたマイクロフォンを用い
て音や音声を入力し、これを音声認識装置にて認識処理
するようにすれば良い。或いは手を叩いたり、手でどこ
かを打つ等して発生される音を予め符号として定めてお
き、これを検知するようにしてもよい。

更には画像処理を通して反応を検知するようにしても良
い。即ち、被観察者の身振りや手振り、表情等による意
思の伝達表示を、被観察者の画像から求めるようにして
も良い。具体的にはロボットカメラや固定カメラに対し
て手を振って貰ったり、必要ならば何等かのサインを手
で作って貰うようにする。この場合には、被観察者の画
像を適当な間隔て入力し、その入力画像から被観察者の
手振りやサインが検出されるか否かを調べるようにすれ
ば良い。

その画像処理としては入力画像における濃度の情報、或
いは色情報に基づいて手の部分を切り出し、その形を調
べるようにすれば良い。また被観察者の画像を短い時間
間隔で入力し、前述した第２４図に示すような画像処理
手続きと同様にして運動物体の輪郭を検出し、その輪郭
情報がら手を検出するようにしても良い。この場合、手
の形を検出するのではなく、例えば手振り等の手の運動
を検出し、これを反応検知情報とすることもてきる。こ
のような反応検知を行う場合であっても、前述した第２
４図に示すような画像処理手続きと同様にして、入力画
像（シーン）中に運動物体があるか否かを調べるように
すれば良い。

また手振りだけではなく、顔の向きゃその表情を意思伝
達の手段として利用することかできる。

このような顔の向きやその表情については、前述したロ
ボットカメラから得られた画像に対する処理のサブプロ
セスで用いた手法を実行することにより検出することが
できる。この場合には、例えば被観察者がロボットの方
を向いたら、つまりロボットと視線を合わせたら同意す
ることを示し、そうでなければ拒否することを示す等と
して、被観察者との間で意思伝達の形態を予め定めてお
けば良い。また顔の表情としては、口や目を開ける、ま
たは閉しる等の形態を予め意思伝達のサインとして決め
ておけば、その表情を検出することで被観察者の意思を
判断することか可能となる。

ところで前述した画像処理の結果として「不明」の判定
結果か求められた場合、「要観察」なる判定結果が得ら
れた場合と同様に扱ってもよいか、被観察者に提示する
内容を変え、被観察者に対して要求する反応についても
別なものにしても良い。

即ち、上記「不明」の判定結果は、画像処理において被
観察者を認識することができなくなったことを示してい
る。従って被観察者に対する提示内容としては、画像処
理にて再度被観察者を捕らえることか可能となるような
、或いは捕らえ易くなるような要求を与えるようにする
。具体的には、被観察者にロボット（カメラ）の方を向
いて貰うような要求を発するようにする。また病室内を
自由に動けるような被観察者の場合には、例えば−定の
場所（例えばベツドの中）に戻ってもらうような要求を
発するようにし、要すれば被観察者に観察用のカメラの
視野に入って貰い、且つその視野内の所定の部分に大き
く入って貰うような要求を出すようにすれば良い。

このような提示を行った後、前述した画像処理を再開す
れば、−膜内には上述した要求に従って被観察者がその
カメラ視野内に移動して（れるがら、画像処理において
再び被観察者を捕らえ直すことが可能となる。

尚、要求に従って被観察者が所定の場所に移動すること
から、被観察者が移動すると予想される画像部分を調べ
、そこに変化が起こるか否かを判定して被観察者を捕ら
え直すようにしても良い。

或いは前述した表情の認識処理のように、入力画像中に
おいて予想される部分に移動物体（被観察者）の特徴が
存在するか否かを調べて被観察者を捕らえ直すようにし
ても良い。いづれの手法を採用するにせよ、画像処理に
て被観察者を再び認識できたら、その被観察者の画像が
ら通常の観察を続ける。仮に上述した提示を行った後に
も被観察者を認識することかできないような場合には、
この時点で「要観察」の場合と同様な処理を起動するよ
うにすれば良い。この際、改めて被観察者に対するメツ
セージの提示処理の手続きから行っても良いが、先の提
示に対する反応がないことがらこれをｒ観察許諾」と石
像してそれ以降の処理手続きを進めるようにしても良い
。

尚、前述したスイッチを用いた反応検知のように、その
検知に失敗のない手法を採用した場合には反応に対する
確認処理は不要である。しがし音声や画像を用いて反応
検８を行うような場合には、誤検出（誤認識）の可能性
もあるので必要に応じてその確認処理を行うことか望ま
しい。この確認処理については、その認識結果を上述し
た提示の手法を用いて被観察者に示し、それでよいか否
かの反応を上述した検知の手法を用いて調べるようにす
れば良い。

但し、音声や画像に対する認識の確度が高い場合は、−
船釣にはこの確認処理は不要である。従って音声認識に
て音を検知したか、その認識結果か不確かであるような
場合や、画像認識にて手らしきものは切り出せたか、手
であると確信できないような場合等、その認識結果が曖
昧な場合にたけこの確認処理を行うようにすれば良い。

或いは認識結果か疑わしい場合には、これを同意と石像
して確認処理を省くようにしても良い。

さて画像による監視について被観察者が同意したならば
、画像伝送を開始する旨を前述した提示手段を用いて被
観察者に提示し、要観察の状態が生じたことを観察者に
通知する。この観察者への通知は、観察者部２に設けら
れている観察要求表示ランプを点灯したり、監視制御卓
（第５図に示す機器制御盤）のモニタ上に注意を喚起す
るメツセージの表示を行ったり、スピーカを介して音声
や音でその旨を知らせることにより実現される。

尚、観察者が携帯する所謂ポケットベルを利用して、そ
の通知を行うようにしても良い。

しかして被観察者を撮像した画像の伝送は、被観察者が
同意した時点で開始しても良いが、観察者か観察を開始
する時点で前記観察者部２における伝送スタートスイッ
チを操作するようにし、このスイッチ操作時点から開始
するようにしても良い。この際、画像伝送が始まること
を、前記被観察者に対して同時に提示（通知）するよう
にしても良い。

このようにして被観察者の画像の伝送が開始された後、
観察者は送られてくる画像をモニタ上で見ながら被観察
者の状態を観察することになる。

この際、観察者は機器制御盤を操作し、適宜監視対象と
する画像を切り替える。つまりロボットカメラにより得
られる画像と、固定カメラにより得られる画像とを選択
的に切り替えたり、その露出条件を適宜変更したり、更
にロボットカメラの画像を観察する場合には、そのカメ
ラの向きを変えたり、ロボット自体の位置を変る等の制
御指示を与える。

またこの画像による被観察者の観察状態時には、観察者
と被観察者とは互いの姿を前記ロボット５に搭載された
デイスプレィ、および機器制御盤上のモニタを用いてみ
ることができるようになっている。更には被観察者側で
はスピーカやマイクロフォン、また電話機を用いて観察
者との間で会話することかできるようになっている。尚
、観察者の画像は機器制御盤に組み込まれたカメラにて
撮影される。

尚、被観察者がロボット５の胴体部に組み込まれたデイ
スプレィを見た場合、上記ロボット５の頭部に組み込ま
れたカメラにより撮像される画像からは、仮にロボット
の首を縮めたとしても、被観察者の顔を上方位置から見
下げることになるので、その表情が分かり難くなること
がある。従ってこのような場合には、ロボット５の胴体
部に組み込まれたカメラにて撮像される被観察者の画像
から、その観察を行うようにすれば良い。

また上述したように画像の伝送を開始する際の最初の提
示・反応・確認の処理手続き時だけではなく、画像伝送
中においても現在画像を伝送していることを被観察者に
提示することも非常に有用である。

そこでこの実施例では、観察者が観察に用いている画像
の全て、或いは機器制御盤のメインモニタに表示して注
目している画像を、同時にこれを前記ロボット５に設け
られたデイスプレィ上で、所謂子画面として表示するよ
うにしている。即ち、画像として伝送している被観察者
の姿を、デイスプレィ上で子画面として表示することに
より、その画像が観察者側に伝送されて観察されている
こと、およびどのような画像が伝送されて観察者により
観察されているかが、被観察者に提示されるようになっ
ている。かくしてこのような画像表示によれば、観察さ
れている画像自体を被観察者が知ることができるので、
被観察者としてはどのような態様が監視されているが分
からないと云う不安感がなく、また自分の状態が確実に
観察されている、つまり見守って貰っていることを確認
できるので安心感を持つことが可能となる。

ところでこの実施例装置には１．観察画像を記録する為
の記録装置が設けられている。この記録装置による画像
の記録は、所謂ビデオテープレコダを用いることにより
実現される。しかし画像の何を記録するか、また画像を
どのようにして記録するかについては種々選択すること
が可能であり、その手法について、例えば次のようにし
て実行することができる。

■　一定の時間間隔で少しの時間づつ、入力画像を間欠
的に記録する。

■　画像処理において、前述したように物体の大きな変
化が検出された時点から、予め定められた時間に亘って
入力画像を記録する。

■　「要観察」、或いは「不明」の判定結果か得られた
とき、その時点から観察者か観察を始めるまての期間に
亘って、或いは観察者か観察不要と判断するまでの期間
に亘って入力画像を記録する。

■　絶えず連続的に入力画像の記録を続け、現時点の前
の少しの時間、例えば数分から十数分程度に亘る画像を
保持するようにしておく。モして「要観察」、或いは「
不明」の判定結果か得られた場合、必要に応して上述し
た如く現時点から所定の時間に亘って遡って保持されて
いる画像を見られるようにする。そして観察者か必要と
判断した場合には、上述した如（保持した画像部分につ
いては、これを消去することなく残しておくようにする
。或いは「要観察」　「不明」の場合は常に上述した保
持部分の画像を残すようにしておく。

このような画像の記録処理を行う記録装置は、例えば第
２６図に示すように構成される。即ち、長時間録画装置
１１．短時間録画装置１２を記録部とし、長時間録画制
御部１３．短時間録画制御部＋４゜タイマ一部１５、そ
して再生同意判定部１６を具備して構成される。そして
このような構成を持つ記録装置は前述したカメラからの
画像（映像）信号や、必要に応して音声信号を入力し、
前記画像処理装置からの状態変化ありの信号、「要観察
」　ｒ不明」を示す信号、更には観察者からの指示信号
を受けて動作する。

しかして前記タイマーＭＩ５は、予め定められた一定時
間間隔毎に、一定時間のタイマー信号を出力して長時間
録画装置制御部１３の基本的な動作を制御する。長時間
録画制御部Ｉ３では、例えば上記タイマー信号に基づい
て長時間録画装置１１の記録動作をオンオフ制御すれば
、上述した■に示される画像の間欠的な記録処理が実現
できる。また長時間録画制御部Ｉ３では前記画像処理装
置から状態変化ありの信号か与えられたときに長時間録
画装置１１の記録動作を開始させるようにすれば、前述
した■に示される形態の画像信号記録を実現することが
できる。更に長時間録画制御部Ｉ３では前記画像処理装
置から「要観察」　「不明」の信号が与えられたときに
長時間録画装置１１の記録動作を開始させることで、前
述した■に示される形態の画像信号記録を実現すること
ができる。

しかしてこのような長時間録画装置１１による画像の記
録は、前記長時間録画制御部１３に対して前述した画像
伝送の開始指示かあった場合、その時点から適当な時間
か経過した後に停止される。或いは長時間録画制御部１
３に対して観察者からの記録停止指示かなされた時点で
停止される。従って状態変化か検出された場合や、「要
観察」　「不明」の信号か与えられたときにおける長時
間録画装置ＩＪによる画像の記録は、上述した停止の指
示か与えられるまで継続的に行われることになる。

一方、短時間録画装置１２は入力される画像信号を絶え
ず記録しており、現時点から所定の時間に亘って遡った
期間の画像信号を記録保持するものとなっている。この
ような所定時間に亘る画像の記録保持は、例えば上記所
定時間分の記録手段を持ち、新しい画像が入ってきた時
点て、記録保持されている最も古い画像を上記最新の画
像に更新していくことで実現される。或いは、通常の録
画装置を２台用意し、１台目の録画装置による画像の記
録時間か終了した時点で２台目の録画装置に切り替えて
画像の記録を行うようにし、２台目の録画装置にて画像
を記録している間に、１台目の録画装置で次の画像を再
度記録できるように準偏するようにしても実現すること
ができる。

そして前記「要観察」　「不明」の信号か与えられたと
きには、前記短時間録画制御部１４の制御の下で、一定
の過去の時点から現時点に至るまでの前記短時間録画装
置１２に記録されている画像を、必要に応して前記長時
間録画装置１１に転送記録し、これを保存するようにす
る。

尚、上述した実施例のように複数台のカメラを用いて複
数種の画像を同時に得ているような場合には、１台の録
画装置を用いて上述した複数種の画像を時分割で録画す
るようにしたり、変化ありゃ要観察の指示が与えられた
ような場合には、その判定結果を得た画像を選択的に録
画するようにしても良い。また複数の録画装置を用いて
全てのカメラからの画像を並列的に録画するようにして
も良いことは勿論のことである。

またこのような画像の記録に際しては、例えば使用カメ
ラやその時刻の情報、更には前述した画像処理による判
定結果等についても、これを属性情報として同時に記録
するようにしておくことか望ましい。

一方、上述した如く記録された画像を再生する場合、原
則的には前述したように観察用の画像を伝送する場合と
同様に被観察者の同意を求めてから行うようにすること
が望ましい。このような同意の判定は再生同意判定部１
６により、前述した観察用の画像伝送の場合と同様な手
法を用いて行われる。但し、この再生同意判定部１６に
ついては、観察者が記録画像の再生を行おうとするとき
に起動されるようにしておく。そして同意を求める為の
提示処理については、実施例装置における１つの処理機
能として自動的に行っても良いが、観察者側から被観察
者を呼び出して直接的に被観察者の同意を求めるように
しても良い。但し、画像伝送を行う時点で既に同意が得
られているような場合には、これを省略しても良いこと
は勿論可能であり、被観察者の要望に応じて適宜同意確
認の為の手続きを行うようにしても良い。また被観察者
かこのような手続きを不要であると思うような場合には
、これを省略しても良いことは勿論のことである。

尚、前述した如く画像観察の同意が得られた時点より、
一定時間遡って記録している画像部分を再生するに際し
ては、前述したように画像の観察についての同意を求め
ると云う趣旨からすれば、上記過去の画像部分について
も、その再生を行っても良いか否かを被観察者に尋ねる
ことが望ましい。従ってこのような場合には、例えば観
察者が再生を希望する画像部分を先ず被観察者側のデイ
スプレィに表示した後に成る程度の時間遅れをもたせて
上記画像部分を観察者各側に伝送するようにしておき、
被観察者か画像再生を拒否したような場合、上記観察者
側への再生画像の出力を楚止するようにすれば良い。つ
まり被観察者の同意が得られたときにだけ、観察者に対
する画像再生を許可するようにすれば良い。

ところでこの実施例では被観察者を観察する為のカメラ
の１つをロボット５に搭載している。しかして−船釣な
画像処理、特にこの実施例装置における画像処理では単
眼的に入力された画像を取り扱っているたけなので、こ
こでのロボットカメラとしては人間ならば鼻に相当する
ような感じで前記ロボット５の頭部に取り付けられてい
る。しかしてこの頭部は胴体部の上に首部を介して乗せ
られたように取り付けられている。しかしてこの首部に
は、前述した第４図に模式的に示すように左右回転運動
機構５ａ、前後回転運動機構５ｂ、それに上下運動機構
５０が設けられており、これらの機構によりその姿勢が
変えられるようになっている。

またロボット５自体は移動機構を有し、所定の領域内で
移動できるようになっている。

しかしてこのようなロボット５の動きや姿勢は前記機器
制御盤からの遠隔操作により制御される。

このロボット５の動きや姿勢の制御により、前記ロボッ
トカメラの位置・姿勢を制御して被観察者を観察しやす
い位置から画像入力が行われる。尚、上述した画像処理
では、観察の場合にはカメラを固定した状態で動きのあ
る物体を検出しているが、動きのある物体を検出した後
には前記首の運動機構を利用して、常に画像処理対象物
をその視野の中心に捕らえるようにカメラを移動制御す
るようにしても良い。

尚、カメラだけを単独で用いた場合には、監視されてい
るという観念を被観察者に与え易いが、上述したように
ロボット化しておけば被観察者に親しみを持たせること
ができる。しかも上述したように音声認識装置や音声合
成装置を用いて被観察者との間での対話的な処理を可能
としておけば、更に親しみ感を強めることが可能となる
。

またこの実施例では被観察者の動きが殆どないときや、
その表情がおかしいときに要観察と判定し、前述したよ
うに被観察者に対して問い掛けを行うようにしている。

しかしこのような場合以外でも、例えば時々被観察者に
対して「気分はいかがですか」と云うような問い掛けを
行うような機能を持たせておけば、被観察者の気晴らし
の助けになる。このような機能については、被観察者か
望む場合にのみ付加したり、或いは作用するようにして
も良い。

この場合の呼び掛けについては、例えば被観察者か眠っ
ていないことを条件として時々行うように設定しておけ
ば良い。その制御については、前述した画像処理装置の
処理結果を利用することにより、比較的簡単に実現する
ことかできる。具体的には前述した画像処理手続きにお
いて移動の大きな部分や大きな変化領域か検出された場
合等、ロボットカメラのサブプロセスが暫くの間、起動
されることかないような場合であって、前に呼び掛けを
行った時点から適当な時間が経過しているような場合に
話し掛けるようにすれば良い。

更には自然言語理解装置を設けておき、自然言語の形態
で適当な会話が行えるようにすれば、親しみを更に増大
させて違和感を減少させることが可能となる。

尚、完全な自然言語理解装置を準備しなくても、例えば
被観察者の言葉の中で認識できたものを繰り返したり、
被観察者が発する話の切れ目に、適当な相槌を打つよう
な機能を持たせるだけでも相当の効果が期待される。こ
のような場合、ロボット５側から話し掛けるだけでなく
、被観察者か話し掛けてきた場合にも、被観察者の音声
を検知して応対処理を起動するようにしておけば良い。

またロボット５に組み込まれたデイスプレィを通常はテ
レビ受像機として機能させ、また電話機についても観察
者との間でのインターホン的な役割だけてはなく、通常
の電話機として使えるようにしておけば、被観察者にと
って便利でもあり、またロボット５の存在の必要悪を更
に高め得る効果も奏せられる。

また上述したロボット５を用いた場合、上述した機構部
以外のロボット機構部により、例えば被観察者に対する
各種の介沿え作業を行い得るようにすることもできる。

例えばロボット５に設けられた移動機構と手・腕の機構
を用い、例えば流しから水を汲んでくるような作業を行
なわせることも可能である。また手・腕の機構を利用し
て食事の補助をさせたり、読書時に本を持たせるような
作業を行なわせることも可能となる。

更には第２７図に例示するように、ロボット５に電動車
イスの機能を組み合わせれば、被観察者の移動を補助さ
せることか可能となる。被観察者がベツドに寝たきりで
ある場合には、被観察者をベットから持ち上げるような
機構、更には持ち上げてから運ぶような機構等をロボッ
ト５に組み込めば、ロボット５としての有効性・必要性
を更に高めることか可能となる。

尚、この実施例に示すロボット５は、普段はロボット用
固定局に接続されており、必要に応じて上記ロボット用
固定局から切り離されて移動できるものとなっている。

このロボットの移動制御については、自律移動と前記機
器制御盤からの観察者による遠隔操縦とがある。遠隔操
縦の場合には、被観察者を観察しやすいようにロボット
５を動かすだけならば、ロボットカメラからの画像を見
るだけでもその制御に大きな支障はない。しかし口ボッ
ト５を病室内で移動させようとする場合には、ロボット
カメラから求められる画像だけでは、他の物体とロボッ
ト５との位置関係を正確に把握することか困難である。

従ってこのような場合には、病室内の略々全体を見渡せ
るように設けられた固定カメラからの画像を同時にモニ
タすることができるようにしておけば、観察者は室内全
体とロボット５との位置関係を適確に把握することか可
能となるので、その操縦を容易に、且つ適確に行うこと
か可能となる。

またこのような固定カメラの画像を併用する場合には、
ロボットカメラがどの部位を撮像しているのかを容易に
把握することか可能となる。逆にこのような画像情報か
ら、どのようにロボット５を移動し、その姿勢を制御す
れば前記ロボットカメラにて所望とする部位の画像を撮
像することができるかも理解することか可能となる。更
にロボット５の腕や手を遠隔操縦し作業をする場合であ
っても、ロボットカメラにて作業対象部位の画像を得な
がら、固定カメラにてより広い視野を見ることかできる
ので、その作業性を高めることか可能となる。

尚、ロボット５を頻繁に遠隔操縦するような場合には、
ロボットカメラとして所謂ステレオカメラを用いたり、
或いはステレオカメラを増設して、その作業環境をステ
レオ立体視てきるようにしておけば良い。

ところでロボット５の自律移動の制御法としては、ロボ
ットカメラの画像を処理して自分の位置を認識したり、
また障害物を検出したりしながら行っても良いが、この
実施例では固定カメラが準備されているのてこの固定カ
メラの画像を積極的に利用するようにすれば良い。

具体的にはロボット５の頭頂部に、画像処理において検
出し易い、例えば赤外発光ダイオードにより構成される
ようなマークを付けておき、このマークを固定カメラで
得られる画像から求めてロボット５の位置を検出するよ
うにすれば良い。即ち、ロボット５の首の長さが既知で
、頭部か水平ならば第２８図に示すように前記マークの
床からの高さｈが明らかとなる。また固定カメラは一定
位置に取り付けである。従って上記高さｈに存在するマ
ークの位置は、そのマークの前記固定カメラにより求め
られる画像上での位置が分かれば、次のような計算処理
により簡易に求めることができる。

即ち、第２８図に一次元的な位置関係を例示するように
、固定カメラか高さＨであり、その先軸が垂直線に対し
てαの角度を持つとする。しかして上記固定カメラにて
撮像された画像上で上記マークが検出されれば、第２８
図に示すように上記マークの光軸からの方向θが上記画
像から求められたことになる。従ってマークの水平位置
Ｘはｘ　−（Ｈ−ｈ）　ｊａｎ（α＋θ）（１）なる計
算処理にて求められる。この説明は１次元的なものであ
るが、同様にして上記Ｘ方向と垂直な水平位置ｙについ
ても計算することができ、この結果、前記マークの２次
元平面内での位置を特定することが可能となる。

尚、この例では頭部か水平であるとしているが、首部か
傾いているならば当然前記高さｈの値に傾きに起因する
誤差が入る。またマークが付された位置によっても傾き
に起因する高さｈの誤差は変ってくる。これらの傾きに
起因する誤差はマークを首部の前後回転軸に近いところ
につけた方が小さくなる。従ってこれらの誤差について
は上記（１）式から考えてロボット５の位置決めに問題
ない程度の場合には無視すれば良い。

しかし位置決めに問題がある場合や、正確さを高めたい
ような場合には、マークの取り付は位置とマーク形状か
予め分かっていることから、例えばマークの各部につい
て首部の傾きを考慮し、その点の床からの高さを求めた
上で前述した（１）式を利用してロボット５の位置を求
めるようにすれば良い。

尚、マークの形状としては、これを検出し易く、またロ
ボット５の向きを決め易いようなものであればどのよう
なものでも良い。具体的には首部の前後の傾きに起因す
る誤差が小さくなるように、例えば第２９図に示すよう
に首部の前後回転軸（−点鎖線）上に一直線状に複数の
マークを、その距離を変えて配置するようにすれば良い
。

しかしてロボット５を移動させるときは、現時点でのマ
ークの位置を求める。例えば流し台の前と云うような目
標点にロボット５が移動した時点の、上記マークの画像
上での位置を求める。この画像上でのマークの位置は、
部屋のレイアウト構造とマークの高さが既知であり、前
述した（１）式においてＸか既知であって、θたけが未
知であることから容易に求めることが可能である。

しかる後、ロボット５の行き先を、前記固定カメラから
得られた画像上でマニュアル的に指示する。この場合に
はロボット５に移動して貰いたい点の床位置を前記画像
中で指示し、その位置にロボット５か移動した場合の前
記マークの見える位置を前記画像上で求める。この画像
上でのマーク位置の検出についても、上述したように（
１）式に従って同様に行われる。

実際にロボット５を移動させるに際しては、病室内の様
子については固定カメラより求められる画像から明らか
であることから、現在位置と目標点との間を、他の物体
にぶつかることのないようにその経路を決定した上で、
ロボット５の移動機構を遠隔操縦する。具体的には、画
像からマークの位置を求める処理を短い時間間隔て繰り
返し行いなから、設定した経路を辿って目標位置にマク
が移動するようにロボット５の移動機構を制御する。し
かしてこの実施例では前記ロボット５の周囲には超音波
センサが組み込まれており、その周囲に障害物があるか
逐次調べられている。そして前述したように画像上で概
略的なロボット５の移動経路の指針を定め、その目標位
置へ向かう為の移動制御を行うに際しては、前記超音波
センサの情報を用いてその移動途中において他の物体に
ぶつからないような移動制御か行われる。

またこの実施例では２つの固定カメラを設けて病室内の
状況を観察しているが、更に多くの固定カメラを用いる
ようにしても良い。この場合に用いるカメラについては
、ロボット５の移動範囲をカバーできるように、その台
数・配置をその環境に応じて決定する。例えば複数台の
カメラを利用する場合は、それぞれのカメラについてロ
ボット５の移動を制御する担当領域を予め決めておく。

この場合、全てのカメラからの画像に対する処理を絶え
ず行っていても良いが、一般にはロボット５が成る１つ
のカメラの領域から他の領域に移動したとき、その領域
を担当するカメラからの画像に対する処理を開始させる
ようにする。

またロボット５の自律移動には、ロボット５に搭載され
たカメラからの画像を処理しながら行っても良いが、床
や壁に所定の位置検出用マークを貼っておき、これを利
用してその移動を制御するようにしても良く、また床面
等に所定の信号線を張り巡らしておき、この信号線から
の電磁誘導を利用して位置検出しなからロボット５の移
動を制御すると云うような手法を採用することもできる
。

特に第２７図に示したような車椅子型のロボット５を用
いるような場合には、室外に出たときにもその移動制御
を行い得るように、ロボット内部のセンサ情報を用いて
自律移動できるようにしておくことか便利であり、ロボ
ット５の有用性を高めることかできる。

またこの実施例ではロボット５に搭載されたカメラと、
室内に固定設置されたカメラの両方を用いて被観察者を
観察するようにしているか、この観察用のカメラの設置
の仕方には色々の方法がある。実施例の場合には、ロボ
ットカメラおよび固定カメラとしてそれぞれ２台づつ設
けているか、ロボット５の胴体部に組み込まれたカメラ
は被観察者かロボット５のデイスプレィを見たときに、
観察者か被観察者の顔の表情を見易いように補助的に設
けられたものであるから、ロボット５の頭部に組み込ま
れたカメラだけを用いるようにしても、さほど大きな支
障は生しない。また固定カメラとして２台のカメラを用
いているが、病室内（部屋）の大きさや家具の配置等に
応じて部屋の中を観察するのに適当な台数を設置するよ
うにすれば十分である。

また前述した実施例では固定カメラによりベツド方向か
らの画像を得、部屋の中における被観察者の動く範囲の
全てを観察できるものとして、上記１台のカメラからの
画像信号だけを処理した。

しかし観察範囲の全てをカバーする為に複数台のカメラ
か必要な場合は、全てのカメラからの画像に対して同し
処理を絶えず行うか、被観察者の運動を検出して、その
物体か存在する部分の画像を得るカメラに対する画像処
理だけを行うようにしても良い。特に後者の処理を行う
に際しては、被観察者を見失った場合には全てのカメラ
からの画像を処理し、被観察者か検出てきた時点てその
検出位置を担当するカメラからの画像だけを処理するよ
うな配慮が必要である。また被観察者が他のカメラの観
察範囲へ動いたことか検出された場合には、移動した領
域を担当するカメラからの画像に対する処理に切り替え
るようにすれば良い。尚、異なるカメラの観察領域間に
は一般的には重なり領域か設定されるので、運動物体を
追跡していれば、その運動物体が次にどのカメラの視野
に入るかは、一般的には容易に判断することができる。

従ってこの判断結果に従って処理対象画像を切り替える
ようにすれば良い。

一方、ロボット５に搭載されたカメラたけを用いて被観
察者を観察するようにすることも可能である。この場合
には、ロボット５の首を、被観察者がベツド内にいると
きはベツドの方へ向け、他の場合は被観察者の存在する
方向に向けるようにすれば良い。この場合、固定カメラ
かないので前述した実施例て述べたロボソｈ　５の移動
法を用いることかできない。従ってロボット５を移動さ
せたい場合には、ロボットカメラの画像をもちいてロボ
ット５の移動制御を行うか、或いは他の制御手段を併用
するようにする。またこのように構成した場合には、固
定カメラの設置の必要かないので、全体構成を簡略化す
る上で好都合である。

尚、ロボット５を用いた場合には前述したような種々の
利点があるが、被観察者を観察するだけであるならば、
その観察を固定カメラだけを用いても実現することかで
きる。この場合、被観察者との間で応答する為の部分で
ある、デイスプレィマイクロフォン・スピーカ等の部分
たけについてもロボットのような形に、その外観だけを
まとめておくようにすることか可能である。そしてその
上で、ベツド上の被観察者を観察する為のカメラを固定
設置するようにすれば良い。この場合のカメラの台数に
ついても、必要に応じて設定する。

特にこの際、カメラのレンズとしてズームレンズを用い
、被観察者がベツド上に横になっているようなときには
、被観察者の顔の部分を拡大して画像入力するようにし
、被観察者が病室内を動いているようなときには上記ズ
ームレンズを広角側にして広い視野を撮像入力するよう
にすれば好都合である。

さてここまでの説明では、固定カメラは天井や壁等に完
全に固定設置するものとしていたが、前述したロボット
５の筒機構と同じような運動機構を介して固定カメラを
取り付けるようにしてもよい。この場合には被観察者の
運動を検知し、検知された被観察者の存在位置側にカメ
ラを向けるようにすれば、少ない台数の固定カメラで大
きな視野範囲をカバーすることが可能となる。

ところで前述した実施例では、複数の露出条件で画像入
力する場合、１つのカメラによる露出条件を時間的に変
えるようにしている。このような露出条件の制御は、検
出対象の動きか遅い場合、カメラか１台で済むことから
非常に有効である。

またこの場合には、一般的に検出対象の速い動きを正確
に求める必要はなく、検圧対象か適当に動いていること
か判定できれば十分である。むしろより詳しく観察しよ
うとしている目的は、被観察者の小さな動きである。従
って基本的には実施例のように１台のカメラを時分割的
に露出制御して用いるようにしても特に問題は生しない
。

しかし複数の露出条件の画像を同時に入力できるような
手段を用いることも勿論可能である。このような手段を
用いれば、被写体の速い動きにも正しく対処することか
可能となる。具体的な実現法としては、例えば複数台の
カメラを使用するようにすれば良い。但し、この場合に
は複数台のカメラの設置位置が丘かづつ違う為、これら
の画像が正確に一致することはない。従って一般的には
各カメラが視野する担当領域を分けて各カメラの注目部
分をそれぞれ分担するようにすればよいか、対象物か複
数の領域に跨がっているような場合等、これらの画像間
のずれが問題となることが否めない。

このような問題を避ける為には、同じ部分を複数の撮像
手段にてそれぞれ撮像できるような光学系を用意する必
要かある。従って、例えば第３０図に示すような光学系
を用いて同じ部分の画像を複数の撮像手段にてそれぞれ
画像入力するようにすれば良い。

即ち、３板式・３管式のカラーカメラでは、光学系（ダ
イクロイックプリズム）を用いて１つのレンズから得ら
れる像をＲＧＢの３色成分に色分解し、各色成分にそれ
ぞれ対応する３つの撮像素子上にその像を結像してカラ
ー画像を得ている。

つまり光学系のプリズム面上で色成分に対する選択的な
反射・透過を行うことにより、ＲＧＢのそれぞれの色成
分を分解し、分解された各色成分を３つの撮像素子にそ
れぞれ導くものとなっている。

この例に示されるように適当な光学系を用いることによ
り、１つのレンズを介する像を幾つかに分けることがで
きる。従って上述したようにレンズを介した像をＲＧＢ
の３つの色成分に分解するのではなく、ハーフミラ−等
を用いて単純に入力像を幾つかの像に分解するように光
学系を構成すれば、位置ずれのない複数の画像を同時に
得ることか可能となる。

尚、この第３０図に示す例ではレンズ２１を介して得ら
れた画像を光学系２２により３つの撮像素子２３ａ、２
３ｂ、２３ｃに同じ像を作るように分解している。

そして各撮像素子２３ａ、２３ｂ、２３ｃの撮像面上に
濃度の異なるＮＤフィルタ２４ａ、２４ｂ、２４ｃを設
けることで、各撮像素子２３ａ　、　２３ｂ　、　２３
ｃによる露出条件が相互に異ならせである。

例えばここではＮＤフィルタ２４ｂが中間の濃さで、Ｎ
Ｄフィルタ２４ａかそれより透過率が良く（或いはフィ
ルタなしの素通してもよい）　、ＮＤフィルタ２４ｃの
透過率か低く押えられている。尚、レンズ２１に組み込
まれた絞り２５は、ＮＤフィルタ２４ｂを通過して撮像
素子２３ｂにて撮像される像か標準的な露出条件になる
ように制御される。このような光学系２２とＮＤフィル
タ２４ａ、　２４ｂ、　２４ｃとを備える結果、撮像素
子２３ｂては標準露出の画像、撮像素子２３ａでは露出
オーバーな画像、そして撮像素子２３ｃでは露出アンダ
ーな画像がそれぞれ同時に撮像入力されるようになって
いる。そして撮像素子２３ａ、２３ｂ、２３ｃとして白
黒のものを用いれば露出条件の異なる３つの濃淡画像が
求められ、撮像素子２３ａ、２３ｂ、２３ｃとして単板
式のカラーカメラ用のものを用いれば、露出条件の異な
る３つのカラー画像が得られることになる。

尚、ＮＤ７（ルタ２４ａ、２４ｂ、２４ｃについては撮
像素子２３ａ、２３ｂ、２３ｃの撮像面ではなく、光学
系２２のプリズム面に取り付けることもできる。或いは
プリズム自体の透過性や反射性を変えることにより、分
解された像の明るさを変えるようにすることもできる。

また複数の露出条件の画像を入力する手法として、上述
したように時分割で行う例と、複数撮像手段で行う例と
について述べたが、これらの両者を組み合わせることも
勿論可能である。即ち、複数の撮像手段の露出条件を、
更に時間経過に応して可変するようにする。このような
手法を採用すれば、より多様な露出条件で画像入力を行
ことが可能となり、様々な環境に効果的に対応すること
か可能となる。

以上、種々の実施態様について説明したように、本発明
はその要旨を逸脱しない範囲で種々変形して実施するこ
とができる。

［発明の効果］ 以上説明したように本発明によれば、被観察者の観察必
要な状態を検知し、被観察者を撮像入力した画像を伝送
して観察者による観察に供しても良いか否かの同意を被
観察者に求めた後、上記画像の伝送を開始するものとな
っている。従って被観察者に常時監視されていると云う
精神的負担を与えることがなくなり、そのプライバシー
を十分確保した上で、必要な場合にのみ安心して自己の
状態を観察して貰うことが可能となる。また観察者側に
とっても四六時中画像をモニタリングして被観察者の状
態を観察する必要がなくなるので、その肉体的・精神的
負担を大幅に軽減することが可能となる等の実用上多大
なる効果が奏せられる。

【図面の簡単な説明】

図は本発明の一実施例に係る画像監視装置について示す
もので、第１図は実施例装置の概略構成図、第２図は実
施例装置の概略的な処理手続きの流れを示す図、第３図
は被観察者側の概略的な構成を示す図、第４図はロボッ
トの概略的な構成を示す図、第５図は観察者側の概略的
な構成を示す図である。 そして第６図は画像処理装置の概略的な構成例を示す図
、第７図は第６図に示す画像処理装置におけるローカル
モジュールの構成例を示す図、第８図はロボットに搭載
されたカメラから得られる画像に対する処理手続きの流
れを示す図、第９図は第８図に示す処理手続きでのメイ
ンプロセスとサブプロセスの画像入力タイミングの例を
示す図、第１０図は頭・顔部分の抽出処理手続きの流れ
を示す図、第１１図（ａ）〜（ｄ）は頭・顔部分の抽出
処理の概念を模式的に示す図、第１２図は画像入力・処
理法を再検討する処理手続きの流れを示す図である。 また第１３図は露出条件を異ならせた画像入力タイミン
グを示す図、第１４図は露出条件を異ならせた複数の画
像に対する処理手続きの流れを示す図、第１５図はロボ
ットカメラからの画像に対するサブプロセス初期段階で
の処理手続きの概念を示す図、第１６図は顔の各部の特
徴間の位置関係を説明する為の図、第１７図は顔の向き
と特徴の位置の関係について説明する為の図、第１８図
は顔の特徴の動きを調べる為の加算メモリへの特徴デー
タの加算処理を説明する為の図である。 更には第１９図は固定カメラから得られる画像に対する
処理手続きの流れを示す図、第２０図は固定カメラから
得られる画像と画像入力条件を決定する為の領域との関
係を示す図、第２１図はカメラ制御計画の処理手続きの
流れを示す図、第２２図（ａ）　（ｂ）　（ｃ）は画像
上での基本的な物体の動きと変化領域の形との関係を示
す図、第２３図および第２４図はそれぞれ画像からの物
体の切出し処理手続きの流れを示す図、第２５図は物体
の切出し処理における差分結果の蓄積処理の概念を説明
する為の図である。 そして第２６図は観察画像を記録する為の記録装置の概
略構成を示す図、第２７図は車椅子ロボットの外観構造
を模式的に示す図、第２８図はロボットの位置認識処理
の概念を説明する為の図、第２９図はロボットに設けら
れるマークの例を示す図、第３０図は露出条件の異なる
複数の画像を同時に得るカメラの構成例を示す図である
。 １・・被観察者部、２・・・観察者部、３・・・信号伝
送路、４・・情報処理・制御部、５・・ロボット、６ｄ
・・ホストコンピュータ、７−１．７−２．〜７−ｎ・
・・ローカルモジュール、７ｃ・・ローカルプロセッサ
、１１・・・長時間録画装置、１２・短時間録画装置、
１３・・・長時間録画制御部、１４・・短時間録画制御
部、１５・・・タイマー部、１６・・・再生同意判定部
。 出願人代理人　弁理士　鈴江武彦 第１図 第２図 第 図 第 図 第 図 （ｂ） 第８！゛゛” 第１１ 図 第 図 第１８ 図 第１７ 図 （ａ） 第１９図 第２４ 図 第２５ 図 第 ２６図 第２７ 図

Claims (6)

【特許請求の範囲】
1. （１）被観察者の画像を入力する画像入力部と、前記被
   観察者に対する観察の必要性の有無を検知する手段と、
   この手段により観察の必要性が検知されたとき、前記画
   像入力部で求められる前記被観察者の画像を観察場所に
   伝送して画像表示する手段とを具備したことを特徴とす
   る画像監視装置。
2. （２）被観察者の画像を入力する画像入力部と、前記被
   観察者に対する観察の必要性の有無を検知する手段と、
   この手段により観察の必要性が検知されたとき、前記被
   観察者に対して観察を開始する旨を通知して被観察者の
   同意を求める手段と、この通知に対して前記被観察者が
   同意したとき、前記画像入力部で求められる前記被観察
   者の画像を観察場所に伝送して画像表示する手段とを具
   備したことを特徴とする画像監視装置。
3. （３）被観察者の観察の必要性の有無の検知は、画像入
   力部にて求められる被観察者とその周辺の画像に対する
   画像処理により、前記被観察者の大きな動きの有無と小
   さな動きの有無を検出して行われることを特徴とする請
   求項（１）または（２）に記載の画像監視装置。
4. （４）被観察者の観察の必要性の有無の検知は、画像入
   力部にて求められる被観察者とその周辺の画像に対する
   画像処理により、前記被観察者の顔の特徴についての予
   め定められた変化パターンを検出して行われることを特
   徴とする請求項（１）または（２）に記載の画像監視装
   置。
5. （５）被観察者の観察の必要性の有無の検知は、画像入
   力部にて求められる被観察者とその周辺の画像に対する
   画像処理結果と、電子的診断装置により求められる前記
   被観察者の生体観察情報とを判定して行われることを特
   徴とする請求項（１）または（２）に記載の画像監視装
   置。
6. （６）観察開始の通知に対する被観察者の同意は、画像
   入力部にて求められる被観察者とその周辺の画像に対す
   る画像処理により、前記被観察者の予め定められた変化
   パターンを検出して確認することを特徴とする請求項（
   ２）に記載の画像監視装置。