以下、本発明にかかる実施形態を図面に基づいて説明する。図1は、本実施形態における見守りシステムの全体構成を示す図である。図2は、本実施形態の見守りシステムにおけるセンサボックスの構成を示す図である。図3は、本実施形態のセンサ装置に用いるソフトウエアの階層構造を模式化して示す図である。図4は、本実施形態の見守りシステムにおける管理サーバの構成を示す図である。図5は、本実施形態の見守りシステムにおける携帯端末の構成を示す図である。図6は、本実施形態の見守りシステムにおける送信先情報テーブルの構成を示す図である。本明細書中、「介護」とは「看護」も含む概念である。又、OS(Operating System),アプリケーション、プロセスを総称してソフトウエアと呼ぶ。
本実施形態における見守りシステムは、見守り対象である被監視者(以下、対象者という)Obの状態を、それぞれ対応するセンサボックスSBにより検知することで対象者Obを見守って、介護を支援する機能を有するものである。
このような見守りシステムMSは、例えば、図1に示すように、対象者の居室にそれぞれ備えられたセンサボックスSB(SB−1〜SB−4)と、管理サーバSVと、固定端末装置SPと、介護士がそれぞれ管理する携帯端末TA(TA−1、TA−2)とを有し、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続されて構成されている。ネットワーク(ここではローカルネットワークとする)NWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数のセンサボックスSB−1〜SB−4、管理サーバSV、固定端末装置SPおよび複数の携帯端末TA−1、TA−2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。センサボックスSBは、センサ装置の一例に相当し、固定端末装置SPおよび携帯端末TAそれぞれは、端末の一例に相当する。管理サーバSVは、インターネットなどの広域ネットワークGNWに有線又は無線で接続されており、また広域ネットワークGNWにモニタ装置MDが接続されている。
対象者Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、対象者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、見守りシステムMSは、対象者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、見守りシステムMSは、複数の対象者Obが入居する複数の居室RMや、ナースステーションST等の複数の部屋を備える介護施設の建物に配設されている。
まず、センサボックスSBについて説明する。センサボックスSBは、対象者Obの居室RMの天井や壁等にそれぞれ配置され、ネットワークNWを介して管理サーバSV等と通信する通信機能を備えている。より具体的に、センサボックスSBは、図2に示すように、センサ部11と、SB音入出力部12と、ナースコール入力部13と、SB制御処理部14と、SB通信IF部15と、SB記憶部16とを備える。
センサ部11は、SB制御処理部14に接続され、SB制御処理部14の制御に従って、対象者Obの状態を検知して、対応する状態データを出力する装置である。本実施形態では、対象者Obの状態としては、対象者Obの起床、離床、転倒、転落および微体動異常であり、これらを検知するために、センサ部11は、例えば、ドップラセンサ111と、カメラ112とを備える。
ドップラセンサ111は、送信波を送信し、物体で反射した前記送信波の反射波を受信し、前記送信波と前記反射波とに基づいてドップラ周波数成分のドップラ信号を出力する体動センサである。前記物体が動いている場合、いわゆるドップラ効果により前記物体の動いている速度に比例して反射波の周波数がシフトするため、送信波の周波数と反射波の周波数とに差(ドップラ周波数成分)が生じる。ドップラセンサ111は、このドップラ周波数成分の信号をドップラ信号として生成し、SB制御処理部14へ出力するものである。前記送信波は、超音波やマイクロ波等であって良いが、本実施形態では、マイクロ波である。マイクロ波は、着衣を透過して対象者Obの体表で反射できるため、対象者Obが衣服を着ていても体表の動きを検知でき、好ましい。
カメラ112は、SB制御処理部14に接続され、SB制御処理部14の制御に従って、画像(画像データ)を生成する装置である。カメラ112は、監視すべき対象者Obが所在を予定している空間(図1に示す例では居室RM内の空間)を監視可能に配置され、前記空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像をSB制御処理部14へ出力する。好ましくは、対象者Ob全体を撮像できる蓋然性が高いことから、カメラ112は、対象者Obが横臥する寝具(例えばベッド等)における、対象者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように配設される。センサボックスSBは、このセンサ部11のカメラ112によって、対象者Obを、対象者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。
このようなカメラ112は、可視光の画像を生成する装置であって良いが、比較的暗がりでも対象者Obを監視できるように、本実施形態では、赤外線の画像を生成する機能を有する。このようなカメラ112は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。カメラ112の結像光学系は、本実施形態では、対象者Obの居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。また、前記空間を赤外線で照明する赤外線照明装置がさらに設けられても良い。
SB音入出力部12は、SB制御処理部14に接続され、外部の音を取得してセンサボックスSBに入力するための回路であって、SB制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するものである。SB音入出力部12は、例えば、音の音響振動を電気信号に変換するマイクロホン等と、音の電気信号を音の音響振動に変換するスピーカ等とを備えて構成される。SB音入出力部12は、外部の音を表す電気信号をSB制御処理部14へ出力し、また、SB制御処理部14から入力された電気信号を音の音響振動に変換して出力する。尚、SB音入出力部12はセンサボックスSB本体と分離でき、SB制御処理部14に無線もしくは有線で接続され、居室内の任意の場所に置かれるようになっていると好ましい。更に、SB音入出力部12をSB制御処理部14に無線で接続する場合、SB音入出力部12内の電池残量をモニタして操作者等に知らせる装置を設けるのが好ましい。又、SB音入出力部12をSB制御処理部14に有線で接続する場合、適切な接続が行われているか否かを操作者等に知らせる装置を設けるのが好ましい。
ナースコール入力部13は、SB制御処理部14に接続された押しボタン式スイッチ等である。居住者がナースコールしたい場合に、ナースコール入力部13が入力操作されると、ナースコールを受け付けた旨を示す電気信号がナースコール入力部13からSB制御処理部14へ出力され、これにより介護士等の携帯端末TAに信号が送信される。このとき、ナースコール入力部13に付随したランプが点灯するなどして、信号送信中であることが分かると好ましい。
SB通信IF部15は、SB制御処理部14に接続され、SB制御処理部14の制御に従って通信を行うための通信回路である。SB通信IF部15は、SB制御処理部14から入力された転送すべきデータを収容した通信信号を、この見守りシステムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して管理サーバSV等へ送信する。又、SB通信IF部15は、ネットワークNWを介して管理サーバSV等から通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSB制御処理部14が処理可能な形式のデータに変換してSB制御処理部14へ出力する。なお、SB通信IF部15は、さらに、例えば、携帯電話通信網、WiFi規格、Bluetooth(登録商標)規格、IrDA(Infrared Data Asscoiation)規格およびUSB(Universal Serial Bus)規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェース回路を備えても良い。
SB記憶部16は、SB制御処理部14に接続され、SB制御処理部14の制御に従って、各種のプログラム(後述するOS,アプリケーション、プロセス等)および各種のデータを記憶する回路である。前記各種のプログラムには、例えば、対象者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、所定のイベント(事象)が生じた場合に外部に通知する通知処理プログラム、カメラ112で撮像した画像(動画)を、その画像を要求した固定端末装置SPや携帯端末TAへ配信する処理プログラム、および、SB音入出力部12等を用いることで固定端末装置SPや携帯端末TAとの間で音声通話を行うナースコール処理プログラム等が含まれる。前記各種のデータには、カメラ112で撮像した動画のデータや、ドップラセンサ111により取得した微体動データ等の状態データの他、各プログラムを実行する上で必要なデータや、対象者Obを監視する上で必要なデータ等が含まれる。SB記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、SB記憶部16は、前記プログラムの実行中に生じるデータ等を記憶するいわゆるSB制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。
SB制御処理部14は、ナースコールを受け付け、動画を生成し、対象者Obにおける予め設定された所定の行動を検知するための回路である。SB制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SB制御処理部14を制御する各種のソフトウエアは、モジュール化されて階層構造を形成している。具体的には、図3(a)に示すように、SB制御処理部14内のOS500上で、複数のアプリケーション501、502,503が動作し、更に各アプリケーション上で,複数のプロセス501a〜503c等が動作するようになっている。或いは、図3(b)に示すように、SB制御処理部14内のOS500上で、単一(又は複数)のアプリケーション501が動作し、更にアプリケーション上で,複数のプロセス501a〜501i等が動作するようになっている。尚、アプリケーションやプロセスはそれぞれ単一であっても良いし、或いは図3(a)からプロセスを削除し、OS上に複数のアプリケーションのみ階層させた構成も含む。
例えば図3(a)に挙げた階層構造を例にとると、アプリケーション501は、カメラ112の制御アプリケーションであり、アプリケーション502は、ドップラセンサ111の制御アプリケーションであり、アプリケーション503は、ナースコール入力部13等の制御アプリケーションである。更に、アプリケーション501により作動するプロセスとしては、イベント発生時の動画配信プロセスなどがあり、アプリケーション502により作動するプロセスとしては、イベント発生時の微体動データ発信プロセスなどがあり、アプリケーション503により作動するプロセスとしては、ナースコール作動時におけるナースコール処理プロセス等がある。以上は一例であって、種々の形態を取り得る。SB制御処理部14は、前記ソフトウエアが実行されることによって、センサ制御部(SB制御部)141、行動検知処理部142、通知処理部143、ストリーミング処理部144およびナースコール処理部145としてそれぞれ機能させることができる。但し、各機能毎に、共通するOS上でアプリケーションを独立して動作させても良い。
SB制御部141は監視部を構成し、センサボックスSBの全体制御を司るものである。尚、「監視部」としては、ソフトウエアにより構成しても良いし、上記機能を発揮する回路と兼用するか、或いは独立した回路などのハードウエアから構成しても良い。
行動検知処理部142は、センサ部11の出力に基づいて対象者Obにおける、予め設定された所定のイベントを検知するものである。本実施形態では、上述したように、前記所定のイベントは、対象者Obの起床、離床、転倒、転落および微体動異常であり、行動検知処理部142は、センサ部11の出力に基づいて対象者Obにおける起床、離床、転倒、転落および微体動異常をイベントとして検知し、通知処理部143へ通知する。行動検知処理部142は、センサ部11の出力に基づいて対象者Obの起床、離床、転倒、転落および微体動異常を分別して検知できる。例えば、行動検知処理部142は、センサ部11のカメラ112によって取得した画像から対象者Obの人体領域として動体領域を抽出し、この抽出した動体領域の縦横比から対象者Obの姿勢(例えば立位、座位および横臥等)を判断し、この検出した動体領域の位置を検出し、これら判断、検出した対象者Obの姿勢および位置に基づいて前記起床、離床、転倒および転落の別を判断する。また、行動検知処理部142は、ベッド領域内で横臥姿勢から座位姿勢への移行を検知した場合、起床と判断し、起床のイベント(起床イベント)が発生したと判断する。更に、行動検知処理部142は、ベッド領域内からベッド領域外へ座位姿勢から立位姿勢への移行を検知した場合、離床と判断し、離床のイベント(離床イベント)が発生したと判断する。また、行動検知処理部142は、ベッド領域内からベッド領域外への移行であってベッド領域外での横臥姿勢を検知した場合、転落と判断し、転落のイベント(転落イベント)が発生したと判断する。また例えば、行動検知処理部142は、ベッド領域外で座位姿勢や立位姿勢から横臥姿勢への移行を検知した場合、転倒と判断し、転倒のイベント(転倒イベント)が発生したと判断する。また、行動検知処理部142は、センサ部11のドップラセンサ111によって対象者Obの呼吸動作に伴う胸部の体動(胸部の上下動)を検出し、その胸部の体動における周期の乱れや予め設定された閾値以下である前記胸部の体動における振幅を検知すると、前記微体動異常と判断し、微体動異常のイベント(微体動異常イベント)が発生したと判断する。行動検知処理部142は、記憶された対象者の日常行動に基づいて判断する機能を有し、記憶した正常な行動とは異なる行動をとったとき、或いは記憶した認知症等による行動をとったときなど、異常イベントが発生したと判断して、後述するように携帯端末TAに通知するようにしても良い。尚、行動検知処理部142の判断基準(判断アルゴリズム)は、全てのセンサボックスSBで統一されていることが好ましい。これにより、居住者が変っても判断基準を変える必要がなくなり、手間がかからない。但し、センサボックスSB毎に行動検知処理部142の判断基準をカスタマイズできるようにしてもよい。
ナースコール処理部145は、ナースコール入力部13で入力操作を受け付けた場合に、イベント、より具体的にはナースコールの操作(ナースコールイベント)を通知処理部143へ通知するものである。そして、ナースコール処理部145は、SB通信IF部15およびネットワークNWを介して、固定端末装置SPまたは携帯端末TAとの間で音声通話を可能にするものである。
通知処理部143は、ナースコール入力部13によるナースコールイベントと、センサ部11で対象者Obにおける所定の行動を検知した所定のイベント(本実施形態では、起床、離床、転倒、転落の各イベント)がセンサボックスSBで生じた場合に、外部に通知するものである。より具体的には、通知処理部143は、生じたイベントの種別を表す情報(本実施形態ではナースコールイベント、或いは所定の検知イベント(起床、離床、転倒、転落及び微体動異常を識別する情報、すなわち所定の状態を分類してその種類を示す情報)と、前記対象者Obを検知しているセンサボックスSBを特定し識別するための識別子情報とからなる通知信号を生成し、SB通信IF部15からネットワークNWを介して管理サーバSVへ送信する。又、外部よりリクエスト(状態データリクエスト信号の送信)があれば、通知処理部143は、画像データ等の状態データを収容した通信信号を生成し、SB通信IF部15からネットワークNWを介して管理サーバSVへ送信する。
尚、後述する梯子チャートの動作では用いないが、ストリーミング処理部144は、ネットワークNWおよびSB通信IF部15を介して固定端末装置SPまたは携帯端末TAからストリーミング動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末TAへ、センサ部11のカメラ112で生成した動画(例えばライブの動画)をストリーミング再生でSB通信IF部15およびネットワークNWを介して配信するものである。
図1には、一例として、4個の第1ないし第4センサボックスSB−1〜SB−4が示されており、第1センサボックスSB−1は、対象者Obの一人であるAさんOb−1の居室RM−1に配設され、第2センサボックスSB−2は、対象者Obの一人であるBさんOb−2の居室RM−2に配設され、第3センサボックスSB−3は、対象者Obの一人であるCさんOb−3の居室RM−3に配設され、そして、第4センサボックスSB−4は、対象者Obの一人であるDさんOb−4の居室RM−4に配設されている。
このようなセンサボックスSBでは、その稼働を始めると、センサ部11は、所定のフレームレートで所在空間を上方から撮像して生成した画像およびドップラ信号をSB制御処理部14へ出力する。SB制御処理部14の行動検知処理部142は、所定の時間おきに、これら画像およびドップラ信号に基づいて対象者Obにおける所定の行動の有無を検知し、前記所定の行動を検知イベントとして検知すると、その検知イベントの種別を含めて検知イベントを通知処理部143へ通知する。通知処理部143は、前記検知イベントの通知を受けると、通知信号をSB通信IF部15から管理サーバSVへ送信する。
尚、後述する梯子チャートの動作では用いないが、ナースコール処理部145は、ナースコール入力部13で入力操作を受け付けると、ナースコールの受付イベントを通知処理部143へ通知する。通知処理部143は、前記受付イベントの通知を受けると、通知信号をSB通信IF部15から管理サーバSVへ送信する。管理サーバSVは、ナースコールが生じた居室を担当する介護士の持つ携帯端末TAに、ナースコールが生じたことを通知する。
次に、管理サーバSVについて説明する。図1において、管理サーバSVは、ネットワークNWを介して他のセンサボックスSBと、固定端末SPと、携帯端末TAと、更には広域ネットワークGNWを介してモニタ装置MDと、独立して通信する通信機能を備えている。管理サーバSVは、センサボックスSBから通知を受けて、イベントが生じた居室を担当する介護士の持つ携帯端末TA、及び/又は固定端末装置SPに情報を提供する機能を有する。このような管理サーバSVは、例えば、図4に示すように、SV制御処理部21と、SV記憶部22と、SV通信IF部23とを備える。
SV通信IF部23は、SB通信IF部15と同様に、SV制御処理部21に接続され、SV制御処理部21の制御に従って通信を行うための通信デバイスである。SV通信IF部23は、SV制御処理部21から入力された転送すべきデータを収容した通信信号を、この見守りシステムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介してセンサボックスSB等へ送信する。SV通信IF部23は、ネットワークNWを介してセンサボックスSB等から通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSV制御処理部21が処理可能な形式のデータに変換してSV制御処理部21へ出力する。
SV記憶部22は、SV制御処理部21に接続され、SV制御処理部21の制御に従って、各種のプログラムおよび各種のデータを記憶する回路である。前記各種のプログラムには、例えば、クライアント(本実施形態では固定端末装置SPおよび携帯端末TA等)の要求に応じたデータを前記クライアントに提供するサーバプログラム等の制御処理プログラムが含まれる。前記各種のデータには、対象者Obに対する監視に関する監視情報、イベントの通知先に関する通知先情報等の、上述の各プログラムを実行する上で必要なデータや、対象者Obを監視する上で必要なデータ等が含まれる。SV記憶部22は、SB記憶部16と同様に、例えばROMやEEPROM等を備える。そして、SV記憶部22は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSV制御処理部21のワーキングメモリとなるRAM等を含む。加えて、SV記憶部22は、センサボックスSB−1〜SB−4に対応づけて、OS、アプリケーション、プロセスのソフトウエアプログラムを記憶している。
SV記憶部22は、通知先情報を記憶する通知先情報記憶部221を備える。通知先情報記憶部221は、イベントの通知先に関する通知先情報を記憶する。前記通知先情報は、センサボックスSBから通知信号を受信した場合に、この受信した通知信号に収容されたイベントを通知する通知先を表す情報である。前記通知先情報は、例えば、本実施形態では、通知信号を送信した送信元のセンサボックスSBと、センサボックスSBから受信した通知信号を送信する携帯端末TAとの対応関係を表す情報であり、例えば、図6に示すようにテーブル形式で通知先情報記憶部221に記憶されている。この図6に示す通知先情報テーブル41は、通知信号の送信元であるセンサボックスSBの通信アドレスを登録する通知元アドレスフィールド411と、通知イベント情報として、対象者がこの状態になった場合に通知する通知イベントフィールド412と、前記通知元アドレスフィールド411に登録されたセンサボックスSBの通信アドレスに対応付けられ前記通信アドレスを持つ前記センサボックスSBから受信した通知信号に収容されたイベントを通知する携帯端末TAの通信アドレスを登録する通知先アドレスフィールド413とを備え、センサボックスSBごとにレコードを持つ。なお、センサボックスSBの通信アドレスは、前記センサIDとされて良く、また、通知元アドレスフィールド411は必ずしも設ける必要はないが、設ける場合にはセンサボックスSBを配設した部屋番号が登録されても良い。また、携帯端末TAの通信アドレスは、携帯端末TAを特定し識別するための端末識別子(端末ID)とされて良く、また、通知先アドレスフィールド413には、携帯端末TAを持つ例えば介護士名等の監視者の名前が登録されても良い。通知イベントフィールド412における通知イベントの項目(通知イベント情報)は、センサボックスSBが設置された居室の対象者Obに応じて、管理サーバSV側から設定可能である。図6の例では、Aさん及びBさんの場合には、転倒、転落のイベントが生じたら通知すべきであり、Cさんの場合には、転倒、転落、起床のイベントが生じたら通知すべきであり、Dさんの場合には、転倒、転落、起床、離床が生じたら通知すべきであることを意味している。例えば、対象者の状態(起床後は殆ど問題がないので、対応が不要と判断できる人、そうでない人がいること)、過去の対応情報(過去に離床と入床を数回繰り返し習慣があるので、1回の離床では対応が不要と判断できる人がいること)などの理由で、対象者に応じて通知イベントを分けることが望ましい。
SV制御処理部21は、センサボックスSBから通知を受けて、受けた通知を固定端末装置SPおよび対応する携帯端末TAそれぞれへ転送する回路である。SV制御処理部21は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。
SV制御処理部21のSV制御部211は、管理サーバSVの全体制御を司るものである。
なお、管理サーバSVは、図4に破線で示すように、必要に応じて、さらにSV制御処理部21に接続され例えば各種コマンドや各種データ等を入力するサーバ入力部(SV入力部)24、SV入力部24で入力された各種コマンドや各種データおよび対象者Obに対する監視に関する情報等を出力するサーバ出力部(SV出力部)25、および、外部機器との間でデータの入出力を行うサーバインターフェース部(SVIF部)26等を備えても良い。このような管理サーバSVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末装置SPは、ナースステーションSTに設置されており、ネットワークNWを介して管理サーバSV等と通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバSVや携帯端末TAに与える所定の指示やデータを入力したり、センサボックスSBで得られた検知結果や画像を表示したりすることによって、見守りシステムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。固定端末装置SPは、センサボックスSBが設置された全ての居室において、センサボックスSBの機能を通じて居室内の状態を把握できるようになっていると好ましい。
次に、携帯端末TAについて説明する。携帯端末TAは、ネットワークNWを介して管理サーバSV等と通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバSVやセンサボックスSBに与える所定の指示やデータを入力し、前記所定のイベントがセンサボックスSBで生じた場合に前記所定のイベントの通知を受け、センサボックスSBとの間で通話し、センサボックスSBで生成された動画を表示するための機器である。
このような携帯端末TAは、本実施形態では、例えば、図5に示すように、TA制御処理部31と、TA記憶部32と、TA通信IF部33と、TA音入出力部34と、TA入力部35と、TA表示部36と、TAIF部37とを備える。
TA音入出力部34は、TA制御処理部31に接続され、外部の音を取得して携帯端末TAに入力するためのデバイスであって、TA制御処理部31の制御に従って音を表す電気信号に応じた音を生成して出力するものである。TA音入出力部34は、SB音入出力部12と同様に、例えば、音響振動を電気信号に変換するマイクロホン等と、音の電気信号を音の音響振動に変換するスピーカ等とを備えて構成される。TA音入出力部34は、外部の音を表す電気信号をTA制御処理部31へ出力し、また、TA制御処理部31から入力された電気信号を音の音響振動に変換して出力する。
TA入力部35は、TA制御処理部31に接続され、例えば、所定の操作を受け付け、携帯端末TAに入力するデバイスであり、所定の機能を割り付けられた複数の入力スイッチ等である。前記所定の操作には、例えば、ログインするためのIDの入力操作や、通知されたナースコールに対応する応答操作や、動画の要求操作や、通知された対象者Obに対する例えば救命、看護、介護および介助等の対応を実行する意思がある旨(復旧)の入力操作等の、監視する上で必要な各種操作等が含まれる。情報の提示部であるTA表示部36は、TA制御処理部31に接続され、TA制御処理部31の制御に従って、TA入力部35から入力された所定の操作内容、および、見守りシステムMSによって監視されている対象者Obに対する監視に関する前記監視情報(例えばセンサボックスSBで生じたイベントや対象者Obの画像等)等を表示するデバイスであり、例えばLCDおよび有機ELディスプレイ等の表示装置である。そして、本実施形態では、TA入力部35およびTA表示部36はタッチパネルから構成されている。この場合において、TA入力部35は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力デバイスである。このタッチパネルでは、TA表示部36の表示面上に位置入力デバイスが設けられ、TA表示部36に入力可能な1または複数の入力内容の候補が表示され、例えば介護士等のユーザ(監視者)が、入力したい入力内容を表示した表示位置を触れると、位置入力デバイスによってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として携帯端末TAに入力される。
TAIF部37は、TA制御処理部31に接続され、TA制御処理部31の制御に従って、外部機器との間でデータの入出力を行うデバイスであり、例えば、携帯電話通信網、WiFi規格、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA規格等の赤外線通信を行うインターフェース回路、および、USB規格を用いたインターフェース回路等である。
TA通信IF部33は、SB通信IF部15と同様に、TA制御処理部31に接続され、TA制御処理部31の制御に従って通信を行うための通信デバイスである。TA通信IF部33は、TA制御処理部31から入力された転送すべきデータを収容した通信信号を、この見守りシステムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して管理サーバSV等へ送信する。TA通信IF部33は、ネットワークNWを介して管理サーバSV等から通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをTA制御処理部31が処理可能な形式のデータに変換してTA制御処理部31へ出力する。
TA記憶部32は、SB記憶部16と同様に、TA制御処理部31に接続され、TA制御処理部31の制御に従って、各種のプログラムおよび各種のデータを記憶する回路である。前記各種のプログラムには、表示に関する動作を処理する表示処理プログラム等が含まれる。前記各種のデータでは、TA表示部36に表示される画面情報等の各データが含まれる。TA記憶部32は、例えばROMやEEPROM等を備える。TA記憶部32は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるTA制御処理部31のワーキングメモリとなるRAM等を含む。そして、TA記憶部32は、上述の各情報を記憶するために、機能的に表示画面記憶部321を備えている。
表示画面記憶部321は、TA制御処理部31における後述の表示処理部3121の制御に従って、TA表示部36に表示するための画面情報を記憶するものである。
TA制御処理部31は、情報を処理するための回路である。TA制御処理部31は、SB制御処理部14と同様に、例えば、CPUおよびその周辺回路を備えて構成される。TA制御処理部31は、制御処理プログラムが実行されることによって、TA制御部311およびTA処理部312を機能的に備え、TA処理部312は、表示処理部3121を機能的に備える。
TA制御部311は、携帯端末TAの全体制御を司るものである。
表示処理部3121は、TA表示部36の表示に関する動作を処理するものである。より具体的には、表示処理部3121は、必要に応じてTA表示部36に動画を表示する。
このような携帯端末TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、実施形態における見守りシステムの動作について説明する。図7は、本実施形態の見守りシステムにおける制御動作を示す梯子チャート図である。図8は、本実施形態の携帯端末の表示画面の例を示す図である。
このような構成の見守りシステムMSでは、起動されると、センサボックスSBでは、OSの実行によって各種アプリケーション及び各種プロセスが順次立ち上がり、これによりSB制御処理部14には、SB制御部141、行動検知処理部142,通知処理部143、ストリーミング処理部144およびナースコール処理部145が機能的に構成される。又、管理サーバSVでは、その制御処理プログラムの実行によって、SV制御処理部21には、SV制御部211が機能的に構成され、そして、携帯端末TAでは、その制御処理プログラムの実行によって、TA制御処理部31には、TA制御部311、表示処理部3121を機能的に備えるTA処理部312が機能的に構成される。
見守りシステムMSの動作について説明するが、ナースコールイベントについては省略する。携帯端末TAでは、例えば介護士等のログイン操作を受け付けると、携帯端末TAは、TA処理部312によって、自機宛の通信信号を待ち受ける待受け画面をTA表示部36に表示する。この待受け画面は、例えば、図8(a)に示すように、メニューバーを表示するメニューバー領域611と、待ち受け中であることを表すメッセージ(例えば「未対応通知はありません」)、日付や現在時刻、当該携帯端末TAにログインしているユーザ名(介護士)などを表示する待受けメイン領域612とを備える。このような待受け画面を表示すると、携帯端末TAは、TA制御部311によって、TA通信IF部33で通信信号の受信を待つ。
センサボックスSBは、図7のステップS101において、SB制御部141によって、所定のフレームレートに応じたサンプリング周期でセンサ部11のドップラセンサ111の出力データをサンプリングするとともにカメラ112で画像データを取得し、不図示のリングバッファに記憶しつつ、行動検知処理部142によって、このサンプリングおよび取得したドップラセンサ111の出力データおよびカメラ112の画像データを解析する。この解析の結果、ステップS102で、SB制御部141が所定のイベント(起床、離床、転倒、転落および微体動異常)を検出しない場合には、フローをステップS101へと戻して検知動作を続行する。一方、SB制御部141が所定のイベントを検出したときは、ステップS103で、イベント前後の画像データ及び/又は微体動データを、リングバッファから切り出してSB記憶部16に記憶する。尚、例えば固定端末SPを介して設定した時間帯に限り、センサボックスSBの検知動作を中断させることもできる。又、例えば固定端末SPを介して、センサボックスSB内のプログラムを変更することもできる。
更にセンサボックスSBは、通知処理部143によって、どの種類の通知イベントが発生したかを示すイベント情報と、通信アドレスを含む通知信号を、ネットワークNWを介して管理サーバSVへ送信する(C11)。かかる通知信号は、対象者の画像データを含まないので情報量が少ない。
このような通知信号がセンサボックスSBから送信されると、管理サーバSVは、ステップS104で、通知信号に含まれている情報を、通知先情報記憶部221に記憶されている通知先情報テーブル41と照合して、送信元の通信アドレスに対応する送信先の通信アドレスから居住者が誰か(ここではBさん)を判断し、更に、通知信号のイベント情報から、その居住者(Bさん)に対応する通知イベントの種類(ここでは転倒又は転落)に該当するかを判断する。そして、受信した通知信号のイベント情報が通知イベントを示している場合には、端末への通知を行うことを決定する。一方、受信した通知信号のイベント情報が通知イベントを示していない場合(Bさんの場合、起床又は離床)、端末への通知を行わないことを決定し、次の通知信号を待ち受ける。
管理サーバSVが、端末への通知を決定した場合、通知先情報記憶部221に記憶されている通知先情報テーブル41と照合して、送信元の通信アドレスに対応する送信先の通信アドレスから、送信先の携帯端末TAを選定する。より具体的には、通知先情報記憶部221に記憶されている通知先情報テーブル41において、通知元アドレスフィールド411に、前記受信した通知信号の送信元の通信アドレスを登録しているレコードにおける通知先アドレスフィールド413に登録されている通知先の通信アドレスを取り出す。例えば、RM−2号室に配設された通信アドレス「192.168.10.121」を持つセンサボックスSB−2からの通知信号を受信した場合には、この通知信号の送信元の通信アドレス「192.168.10.121」を登録している2行目のレコードにおける通知先アドレスフィールド413に登録されている通知先の3個の通信アドレス「192.168.10.25」、「192.168.10.26」、「192.168.10.27」が取り出される。なお、この例では、通信アドレス「192.168.10.25」は、介護士NAさんが持つ携帯端末TA−1に付与された通信アドレスであり、通信アドレス「192.168.10.26」は、介護士NBさんが持つ携帯端末TA−2に付与された通信アドレスであり、そして、通信アドレス「192.168.10.27」は、図略の介護士NCさんが持つ携帯端末TA−3に付与された通信アドレスである。
そして、管理サーバSVは、RM−2号室で転倒又は転落が生じた情報を含む通知信号(イベント信号すなわち見守りアラーム)を、選定した携帯端末TA−1〜TA−3及び固定端末SPへ送信する(C12)。
このような通知信号が管理サーバSVから送信されると、携帯端末TAは、TA処理部312によってTA表示部36の画面表示を、例えば図8(b)に示すものに切り替える。このとき、提示部としてのTA音入出力部34を介して、音や音声などの出力(例えば「RM−2号室で転落発生」などの音声メッセージ)を行ったり、或いは振動等により介護士に通知信号の受信を知らせても良い。
図8(b)に示す例では、メイン領域612に、イベントが生じた居室名(RM−2号室、すなわち通知を送信したセンサボックスに関する情報)と,当該居室の居住者の氏名(B様)と、転倒又は転落を示すアイコンIC1(すなわちイベント信号(通知)を受信したことを示す情報)と、通知時間と現在との時間差(0分)が表示される(ステップS105)。同時に、メイン領域612に、ボタンB1(対応する),B2(話す),B3(記憶映像を見る)、B4(ライブ映像を見る)が表示される。
ここで、介護士がボタンB3又はB4にタッチすると、携帯端末TAのTA入力部35が反応し、ステップS106で、TA制御部311が画像のリクエストがなされたと判断して、TA通信IF部からネットワークNWを介して管理サーバSVにリクエスト信号(状態データリクエスト信号)が送信される(C13)。ここでリクエスト信号には、要求種別(記憶映像又はライブ映像)が含まれる。管理サーバSVは、リクエスト信号を中継して対象となるセンサボックスSBに送信する。尚、リクエスト信号は、直接センサボックスSBに送信されても良い。
リクエスト信号を受信したセンサボックスSBは、ステップS107で、リクエスト信号中の要求種別を判別する。介護士がボタンB3をタッチした場合、携帯端末TAから、記憶画像を要求するリクエスト信号が出力されるので、管理サーバSVを介してこれを受信したセンサボックスSBが記憶映像を要求されていると判断して、ステップS109でSB記憶部16から画像データを読み出して、SB通信IF部15からネットワークNWを介して管理サーバSVに送信する(C14)。或いは、介護士がボタンB4をタッチした場合、携帯端末TAから、ライブ映像を要求するリクエスト信号が出力されるので、管理サーバSVを介してこれを受信したセンサボックスSBがライブ映像を要求されていると判断して、ステップS108でカメラ112で撮像してなるライブ映像をエンコードして、SB通信IF部15からネットワークNWを介して管理サーバSVに送信する(C14)。ライブ映像はリングバッファから切り出されても良い。管理サーバSVは、画像データを中継してリクエスト信号を送信した携帯端末TAに送信する。尚、画像データは、直接携帯端末TAに送信されても良い。
画像データを受信した携帯端末TAは、TA処理部312によってTA表示部36の画面表示を、例えば図8(c)に示すものに切り替える。記憶映像を要求した図8(c)に示す例では、メイン領域612に、RM−2号室で転倒した前後のBさんの画像(映像)IMGが表示されるので、かかる画像IMGを見た介護士は、すぐに対応すべき状態か否かを判断することができる。又、画像IMGを見ただけでは判断できない場合、介護士がボタンB2をタッチすることで、センサボックスSBのSB音入出力部12を介して、Bさんと介護士とが直接会話できるため、状況を正確に判断することができる。又、ライブ映像を要求した場合、携帯端末TAに表示される画像は、現在のストリーミング画像である。上記の例では、携帯端末TAに通知信号を送信するようにしているが、及び/又は固定端末SPに通知信号を送信するようにしても良い。尚、画像のリクエストは、通知信号にかかわらず任意で行うことができる。
尚、ステップS105で表示されたアイコンIC1を見た介護士が、イベントが生じたRM−2号室に近い場所にいるときは、画像を見ることなく直ちに駆けつけることができる。従って、そのような場合、ボタンB1をタッチすることで、固定端末SPに、介護士が直接対応する旨の情報が送信されることとなる。ボタンB1をタッチすることで、通知信号を送信されたその他の携帯端末TA及び/又は固定端末SPにおいて、通知信号に応じた表示が解除されて図8(a)の表示に戻るか、或いは「担当介護士、対応中」の表示がなされると好ましい。
図9は、携帯端末の別な表示画面例を示す図である。以上述べた例では、センサボックスSBが,取得した画像データから対象者が転倒又は転落したと判断して、管理サーバSVに通知信号を送信しているが、例えば微体動の異常を検出して、管理サーバSVに通知信号を送信することもできる。かかる場合、上述した例と同様に、管理サーバSVから選定した携帯端末TAへ、微体動異常であることを示す通知信号を送信し、受信した携帯端末TAにて、微体動異常であることを示すアイコンIC2を表示するようにしても良い。この場合、介護士がボタンB3をタッチすることで、居室内の画像転送(或いは微体動データの転送)をリクエストすることが出来、また介護士がボタンB2をタッチすることで、センサボックスSBのSB音入出力部12を介して、対象者と介護士とが直接会話できるため、状況を正確に判断することができる。カメラで撮像した画像の解析と、ドップラセンサにより検知した微体動の状態とを総合して、イベント判断に用いても良い。
次に、監視部としてのSB制御部141が行う監視動作について説明する。図10は、監視動作の制御にかかる梯子チャートを示す図である。図10に示す制御動作は、図7に示す動作と並行して実行されると好ましい。SB制御部141は、自己診断プログラムに基づいて、現在動作中のOS,アプリケーション及びプロセスのいずれかのソフトウエアに障害が発生していないかを,所定のタイミングで繰り返し検出する。図10のステップS201で、OS,アプリケーション及びプロセスのいずれかに障害が発生したと判断したときは、続くステップS202で,SB制御部141は障害が発生したソフトウエアを特定する。障害の特定はモジュール毎に行うと好ましい。尚、「障害」とは、例えば正しいデータ等が出力されなくなったことをいう。
ここで、SB制御部141は、障害が発生したソフトウエアが例えばプロセス501a(図3)だけであると判断した場合、プロセス501aのみを個別に再起動することを決定する。但し、プロセス501aで出力したデータをプロセス501bで用いている場合など、相互に関連性のあるプロセスがある場合、プロセス501bに障害がなくてもプロセス501aと共に再起動することとする。
又、SB制御部141は、障害が発生したソフトウエアが例えばアプリケーション501(図3)であると判断した場合、プロセス501a〜501cを含めたアプリケーション501を個別に再起動することを決定する。つまり、「個別に再起動させる」とは、プロセスを持つアプリケーションを再起動させる場合、そのプロセスも含めて当該アプリケーションを再起動させることも含む。好ましくは、モジュール一体で再起動するとよい。プロセスと同様に、アプリケーション501で出力したデータをアプリケーション502で用いている場合など、相互に関連性のあるアプリケーションがある場合、アプリケーション503に障害がなくてもアプリケーション501と共に再起動することとする。
更にSB制御部141は、OS500全体に障害が発生したと判断した場合、OS500を再起動することを決定する。
ステップS203で、SB制御部141は、SB記憶部16から、再起動すべきソフトウエアのプログラムを読み出して、対象となるソフトウエアのみを再起動する。これにより、復旧までの時間を短く抑えることができる。尚、再起動で複数のアプリケーション又はプロセスを起動させる場合、予め決められた「起動項目」設定ファイルに従って、順番に起動することが好ましい。又、一部のソフトウエアを再起動する場合において、再起動するソフトウエアと,再起動しないソフトウエアとの間でデータの授受を行うようになっている場合、受け渡すべきデータを再起動前に不揮発性メモリ等に記憶しておき、再起動後に使用することが望ましい。
その後、ステップS204で、SB制御部141は、対象となるソフトウエアが障害から復旧したか否か判断する。ここで、対象となるソフトウエアが障害から復旧したと判断した場合、SB制御部141は、再起動で復旧した障害の内容と、自身のセンサボックスSBの固有の識別子情報(例えば通信アドレス「192.168.10.121」等、製品番号等でも良い)とを,管理サーバSVに送信する(C21)。管理サーバSVは、これに応じてステップS205で、再起動で復旧した障害の内容と,センサボックスSBの識別子情報とを対応づけて、SV記憶部22内のデータベースに記憶する。このようなデータベースを構築することで、将来の障害に対する対処が容易になる。
一方、対象となるソフトウエアが障害から復旧しなかったと判断した場合、SB制御部141は、ステップS206で、復旧できなかったソフトウエアの情報を含む自律復旧不能メッセージを作成し、自身のセンサボックスSBの識別子情報と共に,管理サーバSVに送信する(C22)。管理サーバSVは、かかるメッセージに応じてステップS207で、障害が生じたセンサボックスSBの識別子情報に基づいて、SV記憶部22内を検索し、障害が生じたソフトウエアのプログラムを読み出して、障害が生じたセンサボックスSBに送信する(C23)。尚、この時点で管理サーバSVが自動応答することなく、管理サーバSV側のモニタに「自律復旧不能メッセージに基づく警報」を表示することもできる。かかる場合、警報表示を見た作業者が手動にて、障害が生じたソフトウエアのプログラムを読み出して、障害が生じたセンサボックスSBに送信し、再起動の指示を行うことができる。
続くステップS208で、SB制御部141は、管理サーバSVから送信されたソフトウエアのプログラムをSB記憶部16に上書きした上で、かかるプログラムに基づいて、対象となるソフトウエアのみを再起動する。これにより、SB記憶部16に記憶されていたプログラムに不具合があった場合でも、ソフトウエアの適切な復旧が可能になる。
その後、ステップS209で、SB制御部141は、再度自己診断プログラムを実行して、対象となるソフトウエアが障害から復旧したか否か判断する。ここで、対象となるソフトウエアが障害から復旧したと判断した場合、SB制御部141は、再起動で復旧した障害の内容と、自身のセンサボックスSBの識別子情報とを,管理サーバSVに送信する(C24)。管理サーバSVは、これに応じてステップS210で、再起動に用いたプログラム名と、再起動で復旧した障害の内容と,センサボックスSBの識別子情報とを対応づけて、SV記憶部22内のデータベースに記憶する。
一方、対象となるソフトウエアが障害から復旧しなかったと判断した場合、SB制御部141は、ステップS211で、復旧に失敗したことを示すメッセージを作成し、自身のセンサボックスSBの識別子情報と合わせて,管理サーバSVに送信する(C25)。管理サーバSVは、これに応じてステップS212で、障害が発生したセンサボックスSB名と共に、障害が発生した旨の警報を発令する。かかる警報を見た作業者が、障害の発生したセンサボックスSBにアクセスし、適切な作業により復旧を行うことができる。
図11は、監視動作の別な制御にかかる梯子チャートを示す図であるが、図10の制御と並行して行えるものである。ここでは、監視部が、管理サーバSV又はモニタ装置MDにある例について説明する。図11に示す制御動作も、図7、10に示す動作と並行して実行されると好ましい。
図11において、SV制御部211(又はモニタ装置MD)は、所定のタイミングで、ネットワークNW(及び広域ネットワークGNW)を介して全てのセンサボックスSBに、データの転送を要求する(C31)。かかるデータとしては、センサボックスSBにおける自己診断結果、動作の履歴、採取した状態データなどがある。
データの転送要求に応じてセンサボックスSBは、要求されたデータをSV制御部211(又はモニタ装置MD)に転送する(C32)。SV制御部211(又はモニタ装置MD)は、ステップS301で、センサボックスSBから転送されたデータに基づいて,当該センサボックスSBに障害が発生したか否かを判断する。障害が発生したと判断するまで、SV制御部211(又はモニタ装置MD)は上記動作を繰り返す。
尚、SV制御部211(又はモニタ装置MD)のデータの転送を要求に対して、センサボックスSBから返信がない場合も、障害が発生したと判断する。又、センサボックスSBから対応する携帯端末TAに送信されたデータを、SV制御部211(又はモニタ装置MD)で一時的に記憶した上で解析し、障害が発生したと判断することもできる。更には、図11に点線で示すように、携帯端末TAから画像データの転送要求があったとき(C33)、所定時間内にセンサボックスSBから画像データの転送がなかった場合、携帯端末TAから自動的にSV制御部211(又はモニタ装置MD)に、画像データが転送されない情報が発信され(C34)、これを受信した時点でSV制御部211(又はモニタ装置MD)が、対応するセンサボックスSBに障害が発生したと判断することもできる。
ステップS301で、データを転送したセンサボックスSBに障害が発生したと判断した場合、SV制御部211(又はモニタ装置MD)は、ステップS302で、転送されたデータを解析して、OS,アプリケーション及びプロセスのいずれかに障害が発生したかを特定する。その後、SV制御部211(又はモニタ装置MD)は、障害が発生したソフトウエアのみを再起動させる指示を、障害が発生したセンサボックスSBへと送信する(C35)。尚、SV制御部211が、センサボックスSBに障害が発生したと判断した時点で警報発令を行い、これに接した作業者が手動で「再起動」のコマンドを当該センサボックスSBに送信することもできる。又、SV制御部211(又はモニタ装置MD)が、障害が起きたソフトウエアを特定することなく、センサボックスSBに自己診断の指示を送信し、センサボックスSBが自己診断することで、障害が起きたソフトウエアを特定して再起動をかけるようにしても良い。
ステップS303で、SV制御部211(又はモニタ装置MD)からの指示を受信したセンサボックスSBのSB制御部141は、SB記憶部16から、再起動すべきソフトウエアのプログラムを読み出して、対象となるソフトウエアのみを再起動する。尚、SV制御部211(又はモニタ装置MD)から送信される指示に、再起動すべきソフトウエアのプログラムを同梱していても良い。かかる場合、SB制御部141は、同梱されたプログラムを用いて再起動を実行する。
その後、SB制御部141は、自己診断プログラムを実行して、再起動したソフトウエアに障害がないかを確認して、その診断結果をSV制御部211(又はモニタ装置MD)に送信する。診断結果を受信したSV制御部211(又はモニタ装置MD)は、ステップS304で、センサボックスSBの障害が復旧したか否かを判断する。対象となるセンサボックスSBが障害から復旧したと判断した場合、SV制御部211(又はモニタ装置MD)は、ステップS306で、再起動で復旧した障害の内容と,センサボックスSBの識別子情報とを対応づけて、SV記憶部22内のデータベースに記憶する。
一方、対象となるセンサボックスSBが障害から復旧しなかったと判断した場合、SV制御部211(又はモニタ装置MD)は、ステップS305で、障害が発生したセンサボックスSB名と共に、障害が発生した旨の警報を発令する。かかる警報を見た作業者が、障害の発生したセンサボックスSBにアクセスし、適切な作業により復旧を行うことができる。
本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施形態・変形例を含むことは、本明細書に記載された実施形態や技術思想から本分野の当業者にとって明らかである。明細書の記載及び実施形態は、あくまでも例証を目的としており、本発明の範囲は後述するクレームによって示されている。例えば、監視部がセンサボックスのOSに障害が生じたことを検出したときは、そのOSを,関連するアプリケーション及びプロセスと共に再起動させることが好ましい。