以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。
図1は、本実施形態における被監視者監視システムMSの構成を示す図である。被監視者監視システムMSは、複数の検知ユニットSU(SU−1〜SU−4)と、管理サーバユニットSVと、固定端末ユニットSPと、1または複数の携帯端末ユニットTA(TA−1、TA−2)とを備え、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数の検知ユニットSU−1〜SU−4、管理サーバユニットSV、固定端末ユニットSPおよび複数の携帯端末ユニットTA−1、TA−2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)のネットワークNWによって互いに通信可能に接続されている。
被監視者監視システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSは、複数の被監視者Obが入居する複数の部屋RMや、ナースステーションST等を備える介護施設の建物に配設されている。
検知ユニットSUは、ネットワークNWを介して他のユニットSV、SP、TAと通信する通信機能を備え、被監視者Obを撮像して画像を生成しこの生成した画像から被監視者Obが所定の行動をしたか否かを判定する機器である。より具体的には、検知ユニットSUは、例えば、ネットワークを介して他のユニットSV、SP、TAと通信するための通信インターフェース回路(例えばLANカード等)、被監視者Obを撮像して画像を生成する画像センサ、前記画像センサの出力(画像)に基づいて被監視者Obの状態(状況)を判定するデータ処理回路、これらを制御する制御回路およびその周辺回路を備えて構成され、判定結果を示す判定結果情報を管理サーバユニットSVへ送信する。また、検知ユニットSUは、所定の他のユニットSV、SP、TAに前記生成した画像(静止画および動画を含む)を送信する。さらに、本実施形態では、検知ユニットSUは、固定端末ユニットSPや携帯端末ユニットTA等に対してナースコールを通知するナースコール回路、および、固定端末ユニットSPや携帯端末ユニットTA等との間で音声通話を行う通話回路を備え、ナースコールおよび音声通話が可能となっている。図1には、一例として、4個の第1ないし第4検知ユニットSU−1〜SU−4が示されており、第1検知ユニットSU−1は、被監視者Obの一人であるAさんOb−1の部屋RM−1に配設され、第2検知ユニットSU−2は、被監視者Obの一人であるBさんOb−2の部屋RM−2に配設され、第3検知ユニットSU−3は、被監視者Obの一人であるCさんOb−3の部屋RM−3に配設され、そして、第4検知ユニットSU−4は、被監視者Obの一人であるDさんOb−4の部屋RM−4に配設されている。
管理サーバユニットSVは、ネットワークNWを介して他のユニットSU、TA、SPと通信する通信機能を備え、検知ユニットSUから被監視者Obに関する判定結果情報および前記被監視者Obの画像を受信して、被監視者Obに対する監視に関する情報(監視情報)を管理する機器である。管理サーバユニットSVは、検知ユニットSUから被監視者Obに関する判定結果情報および前記被監視者Obの画像を受信すると、被監視者Obに対する監視に関する前記監視情報を収容した通信信号(監視情報通信信号)を固定端末ユニットSPおよび携帯端末ユニットTAに送信する。また、管理サーバユニットSVは、クライアント(本実施形態では固定端末ユニットSPおよび携帯端末ユニットTA等)の要求に応じたデータを前記クライアントに提供する。このような管理サーバユニットSVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末ユニットSPは、ネットワークNWを介して他のユニットSU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバユニットSVや携帯端末ユニットTAに与える所定の指示やデータを入力したり、検知ユニットSUで得られた判定結果や画像を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末ユニットSPは、例えば、通信機能付きのコンピュータによって構成可能である。
携帯端末ユニットTAは、ネットワークNWを介して他のユニットSV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバユニットSVや検知ユニットSUに与える所定の指示やデータを入力したり、管理サーバユニットSVからの通知によって検知ユニットSUで得られた前記判定結果や画像を表示したり等することによって、被監視者Obに対する監視に関する前記監視情報を受け付けて表示する機器である。
このような携帯端末ユニットTAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、本実施形態の動作について説明する。このような構成の被監視者監視システムMSでは、各ユニットSU、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。
そして、上記構成の被監視者監視システムMSは、大略、次の動作によって、各被監視者Obそれぞれを監視している。検知ユニットSUは、所定のサンプリング周期で前記画像センサの出力をサンプリングし、このサンプリングした前記画像センサの出力に基づいて被監視者Obの状態(状況)を判定し、この判定の結果、被監視者Obが所定の行動をしたと判定すると、自機の検知ID、被監視者Obの状態として判定された判定結果を表す判定結果情報、その判定時刻を表す判定時刻情報、その判定の際に用いられた被監視者Obの静止画(複数の画像を用いて判定した場合にはそのうちの1つ(例えば最終の画像))の画像データ、および、動画像をダウンロードする通信先として自機の通信アドレス(例えばIPアドレス)等を収容した通信信号(監視情報通信信号)をネットワークNWを介して管理サーバユニットSVへ送信する。前記自機の通信アドレスは、ヘッダに収容された送信元の通信アドレスが兼用されても良い。検知ユニットSUは、公知技術によって被監視者Obの状態(状況)を判定できる。例えば、検知ユニットSUは、前記画像センサによって被監視者Obの画像を取得し、この取得した画像から被監視者Obの人物領域を検出し、この検出した人物領域の縦横比から被監視者Obの姿勢(例えば立位、座位および横臥等)を判定し、この検出した人物領域の位置を検出し、これら判定、検出した被監視者Obの姿勢および位置に基づいて立位、座位および転倒転落の別を判定する。
管理サーバユニットSVは、前記監視情報通信信号をネットワークNWを介して検知ユニットSUから受信すると、この監視情報通信信号に収容された検知ID、判定結果情報、判定時刻情報、静止画の画像データおよび動画像を得るための通信アドレスを互いに対応付けて記憶(記録)する。そして、管理サーバユニットSVは、この監視情報通信信号を固定端末ユニットSPおよび携帯端末ユニットTAに向け、例えばブロードキャストやマルチキャストの同報通信で送信する。これによって被監視者Obの状態(状況)が報知される。なお、送信元の通信アドレスが動画を得るための通信アドレスとして兼用されている場合には、管理サーバユニットSVによる監視情報通信信号の転送によって送信元の通信アドレスは、管理サーバユニットSVの通信アドレスとなるので、管理サーバユニットSVは、ヘッダに収容されている送信元の検知ユニットSUの通信アドレスを、監視情報通信信号のペイロードに収容してから前記監視情報通信信号を同報通信する。また、管理サーバユニットSVは、前記監視情報通信信号を、前記監視情報通信信号を送信した検知ユニットSUに予め対応付けされた携帯端末ユニットTAにユニキャストで送信しても良い。
固定端末ユニットSPおよび携帯端末ユニットTAは、前記監視情報通信信号をネットワークNWを介して管理サーバユニットSVから受信すると、この監視情報通信信号に収容された被監視者Obの監視に関する前記監視情報を表示する。このような動作によって、被監視者監視システムMSは、各検知ユニットSU、管理サーバユニットSV、固定端末ユニットSPおよび携帯端末ユニットTAによって、大略、各被監視者Obを検知して各被監視者Obを監視している。
図2は、検知ユニットSU(被監視者監視装置の一例)の機能ブロック図である。図3は、部屋RMにおいて、検知ユニットSUと被監視者Obとの位置関係の一例を示す模式図である。図3において、部屋RMの床FLの略中央領域にベッドBTが配置されており、ベッドBTの傍らに被監視者Obが立っている様子が示されている。検知ユニットSUは、部屋RMの天井CEにおいて、その中央に取り付けられている。検知ユニットSUは、撮像部10、人数判定部11、行動判定部12、通信部13および停止制御部14を備える。
撮像部10は、所定のエリアARを被写体として撮影し、その被写体を示す画像を生成する。撮像部10は、所定のエリアARを被写体とする動画を撮影してもよいし、所定のエリアARを被写体とする静止画を所定間隔で撮影してもよい。
撮像部10は、例えば、ウェブカメラのようなデジタルカメラである。デジタルカメラは、例えば、エリアARの光学像を所定の結像面上に結像する結像光学系、結像面に受光面を一致させて配置され、エリアARの光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することでエリアARの画像(画像データ)を生成する画像処理部等を備える。
撮像部10を備える検知ユニットSUは、部屋RMの天井CEの中央に取り付けられており、撮像部10の死角は、部屋RMの上部の空間となり、これ以外の空間がエリアARとなる。これにより、検知ユニットSUは、部屋RMにいる被監視者Obの行動を監視することができる。本実施形態において、エリアAR内にいる被監視者Obの所定の行動を監視するとは、部屋RMにいる被監視者Obの所定の行動を監視することを意味する。なお、部屋RMの全体でなく、ベッドBTおよびその周辺をエリアARとして被監視者Obを監視してもよい。
なお、撮像部10は、可視光のカメラであって良いが、夜間等の暗がりでも撮影できるように、近赤外光を投光する赤外線投光器と組み合わせた赤外線カメラであっても良い。
行動判定部12は、部屋RM(エリアAR内)にいる1人の被監視者Obを対象とし、撮像部10が生成した画像を基にして、部屋RMで被監視者Obが所定の行動をしたか否かを判定し、所定の行動をしたと判定したとき、判定結果を示す判定結果情報JIを生成する。行動判定部12は、所定の行動として二種類以上の行動を区別して判定する。行動判定部12は、例えば、被監視者Obが立位した状態、座位した状態、転倒転落した状態をそれぞれ判定することができる。この判定の詳細は、後で説明する。
行動判定部12は、撮像部10が撮影した二次元画像を用いて、所定の行動を判定するが、これに限らず、撮像部10の替わりに、測距センサを配置し、行動判定部12は、TOF(Time of Flight)方式による.三次元形状認識技術を利用して、所定の行動をしたか否かを判定してもよい。測距センサに用いる光は、被監視者Obが認知できるように、赤外線が好ましい。
上記2つの技術を組み合わせた行動判定部12でもよい。
通信部13は、行動判定部12が所定の行動をしたと判定したとき、所定の情報を送信する。所定の情報とは、行動判定部12が作成した判定結果情報JI(例えば、被監視者Obが転倒転落したことを示す情報)、その判定をしたときの判定時刻、このときの静止画等である。所定の情報の送信先は、管理サーバユニットSV(図1)である。管理サーバユニットSVは、サーバ装置の一例であり、受信した所定の情報を記憶し、かつ、固定端末ユニットSPおよび全ての携帯端末ユニットTAに一斉送信する。これにより、固定端末ユニットSPの画面および全ての携帯端末ユニットTAの画面に、判定結果、判定時刻および静止画等が表示される。
以下では、説明の便宜のため、上記所定の情報を、単に、判定結果情報JIと記載するが、判定結果情報JIとは、所定の情報を意味する。
人数判定部11は、部屋RMにいる人の数を判定する。詳しくは、人数判定部11は、撮像部10が撮影した画像、すなわち、行動判定部12において、被監視者Obが所定の行動をしたか否かの判定に用いられる画像を基にして、エリアAR内の動体の数を検出し、検出した数を、部屋RMにいる人の数と判定する。これは、例えば、背景差分法やフレーム間差分法によって実現できる。
背景差分法を例にして、人数の判定について簡単に説明する。人数判定部11は、背景画像を予め記憶している。背景画像は、エリアAR内に人がいない状態のとき、撮像部10でエリアARを被写体として撮影することにより得られた静止画である。人数判定部11は、行動判定部12が、被監視者Obが所定の行動をしたか否かの判定に用いる動画像を、入力画像とし、背景画像と入力画像とを照合し、動体の数を検知する。人数判定部11は、動体の数が1つのとき、エリアAR内にいる人の数を1と判定し、動体の数が、2つ以上のとき、エリアAR内にいる人の数を2以上と判定する。本実施形態では、部屋RMの上部の空間を除く空間がエリアARとなるので、エリアAR内にいる人の数は、部屋RMにいる人の数を意味する。
本実施形態によれば、部屋RM内で被監視者Obが所定の行動をしたか否かを判定するのに用いる画像を用いて、部屋RMにいる人の数を判定する。よって、部屋RMにいる人の数を判定するために、新たなセンサを設ける必要がない。
人数判定部11は、上記構成に限定されず、例えば、次の構成でもよい。部屋RMの出入口付近において、部屋RMの外部に人体を検知できる第1のセンサを配置し、部屋RMの内部に人体を検知できる第2のセンサを配置する。第1のセンサが人体を検知し、次に、第2のセンサが人体を検知したとき、1人が部屋RMに入ったと判定し、第2のセンサが人体を検知し、次に、第1のセンサが人体を検知したとき、1人が部屋RMから出て行ったと判定し、これらにより、部屋RMにいる人の数を判定する。
停止制御部14は、人数判定部11が、部屋RMにいる人の数が2以上と判定したとき、行動判定部12が被監視者Obが所定の行動をしたことを判定する機能、および、通信部13が判定結果情報JIを送信する機能の少なくとも一方を停止させる制御をする。または、停止制御部14は、人数判定部11が、部屋RMにいる人の数が2以上と判定したとき、通信部13を制御して、一斉送信を停止する命令を管理サーバユニットSVに送信させる制御をする。以上のような停止制御部14の制御により、部屋RMにいる人の数が2人以上と判定されたとき、判定結果が表示装置(携帯端末ユニットTA、固定端末ユニットSP)に届くことを阻止できる。停止制御部14は、阻止制御部(不図示)として機能する。停止制御部14および阻止制御部については、後で詳しく説明する。
人数判定部11、行動判定部12および停止制御部14は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)等のハードウェア、並びに、CPUにより実行されるプログラム等のソフトウェアにより実現される。通信部13は、アンテナおよび通信制御回路等により実現される。
管理サーバユニットSV(図1)が、人数判定部11、行動判定部12および停止制御部14の機能を有してもよい。この場合、撮像部10および管理サーバユニットSVにより、被監視者監視装置が構成される。停止制御部14は、人数判定部11が、部屋RMにいる人の数が2以上と判定したとき、行動判定部12が、被監視者Obが所定の行動をしたことを判定する機能を停止させる。
被監視者監視システムMSは、阻止制御部(不図示)を備える。阻止制御部は、部屋RMにいる人の数が2以上と判定されたとき、判定結果情報JIが、携帯端末ユニットTAおよび固定端末ユニットSPに届くことを阻止する制御をし、部屋RMにいる人の数が1と判定されたとき、上記阻止する制御を解除する。阻止制御部には、停止制御部14が阻止制御部となる態様(態様1、態様2)と、停止制御部14および管理サーバユニットSVの組み合わせが阻止制御部となる態様(態様3)とがある。
阻止制御部について詳しく説明する。図4は、人数判定部11が、部屋RMにいる人の数が1と判定した状態で、部屋RMにいる被監視者Obが所定の行動をしたとき、被監視者監視システムMSの動作を説明する説明図である。図5は、人数判定部11が、部屋RMにいる人の数が2以上と判定した状態で、部屋RMにいる被監視者Obが所定の行動をしたとき、被監視者監視システムMSの動作を説明する説明図である。図5では、被監視者Obおよび被監視者以外の1人の者Otが示されている。
図2および図4を参照して、人数判定部11が、部屋RMにいる人の数が1と判定したとき、阻止制御部は、上記阻止する制御を解除する。従って、行動判定部12は、被監視者Obが所定の行動をしたと判定し、それを示す判定結果情報JIを生成し、通信部13は、判定結果情報JIを、管理サーバユニットSV(図1)に送信する。管理サーバユニットSVは、上述したように、受信した判定結果情報JIを、固定端末ユニットSPおよび全ての携帯端末ユニットTAに一斉送信する。これにより、固定端末ユニットSPの画面および全ての携帯端末ユニットTAの画面に、判定結果が表示される。
図2および図5を参照して、人数判定部11が、部屋RMにいる人の数が2以上と判定したとき、阻止制御部は、上記阻止する制御をする。上述したように、阻止制御部には、三つの態様がある。
態様1は、停止制御部14が阻止制御部となる態様である。すなわち、阻止制御部が検知ユニットSUに含まれる態様である。停止制御部14は、部屋RMにいる人の数が2以上と判定されたとき、検知ユニットSU(被監視者監視装置)が有する機能のうち、被監視者Obが所定の行動をしたことを判定する機能を停止させる制御をする。すなわち、検知ユニットSUは、行動判定部12を停止させる。態様1によれば、被監視者Obが所定の行動をしたか否かが判定されないので、判定結果情報JIが作成されない。この結果、判定結果情報JIが携帯端末ユニットTAおよび固定端末ユニットSPに届くことを阻止できる。態様1によれば、部屋RMにいる人の数が2以上と判定されたとき、判定結果情報JIがネットワークNWに送られないので、ネットワークNWのトラフィックを低減できる。
態様2は、態様1と同様に、停止制御部14が阻止制御部となる態様である。停止制御部14は、部屋RMにいる人の数が2以上と判定されたとき、検知ユニットSUが有する機能のうち、判定結果情報JIを送信する機能を停止させる制御をする。すなわち、検知ユニットSUは、通信部13を停止させる。態様2によれば、行動判定部12が、被監視者Obが所定の行動をしたと判定し、判定結果情報JIを作成しても、通信部13が判定結果情報JIを送信しないので、判定結果情報JIが携帯端末ユニットTAおよび固定端末ユニットSPに届くことを阻止できる。態様2によれば、態様1と同様に、部屋RMにいる人の数が2以上と判定されたとき、判定結果情報JIがネットワークNWに送られないので、ネットワークNWのトラフィックを低減できる。
態様3は、停止制御部14および管理サーバユニットSVの組合せが阻止制御部となる態様である。検知ユニットSUは、部屋RMにいる人の数が2人以上と判定されたとき、停止制御部14が通信部13を制御して、一斉送信を停止する命令を管理サーバユニットSVに送信する。管理サーバユニットSVは、その命令を受信したとき、その後、判定結果情報JIを受信しても、この判定結果情報JIを記憶するが、判定結果情報JIを携帯端末ユニットTAおよび固定端末ユニットSPに一斉送信しない。態様3によれば、検知ユニットSUが、被監視者Obが所定の行動をしたと判定し、判定結果情報JIを管理サーバユニットSVに送信しても、管理サーバユニットSVは、携帯端末ユニットTAおよび固定端末ユニットSPに判定結果情報JIを送信しないので、判定結果情報JIが携帯端末ユニットTAおよび固定端末ユニットSPに届くことを阻止できる。
態様1から態様3のいずれにおいても、阻止制御部が、判定結果情報JIが携帯端末ユニットTAおよび固定端末ユニットSPに届くことを阻止する制御をしている状態で、人数判定部11によって、部屋RMにいる人の数が1と判定されたとき、阻止制御部は、上記阻止する制御を解除する。また、阻止制御部が、上記阻止する制御を解除している状態で、人数判定部11によって、部屋RMにいる人の数が2以上と判定されたとき、阻止制御部は、上記阻止する制御をする。従って、本実施形態によれば、阻止する制御とこれの解除とを自動で切り替えることができる。
阻止制御部が、上記阻止する制御をしているとき、管理サーバユニットSVは、上記阻止する制御をしていることをログとして記憶し、かつ、上記阻止する制御をしている情報を固定端末ユニットSPに送信する。固定端末ユニットSPの画面には、上記阻止する制御がされていることが表示される。
所定の行動のうち、予め定められた行動を例外とし、部屋RMにいる人の数が、2以上であっても、判定結果情報JIが携帯端末ユニットTAおよび固定端末ユニットSPに届くようにしてもよい。すなわち、検知ユニットSUは、例えば、起床、離床、転倒転落のうち、転倒転落を予め定められた行動とし、被監視者Obが転倒転落をしたと判定したとき、阻止制御部は、人数判定部11が、人の数が1または2以上のいずれの判定をしても、阻止する制御を解除する。
被監視者Obの所定の行動のうち、転倒転落は、重大である。部屋RM内に2人以上おり、誤判定の可能性があっても、例外として、転倒転落を示す判定結果については携帯端末ユニットTAおよび固定端末ユニットSPに届くようにする。
本実施形態では、携帯端末ユニットTAおよび固定端末ユニットSPを表示装置として説明しているが、管理サーバユニットSVを表示装置にすることもできる。
図1に示す被監視者監視システムMSは、図2から図5を用いて説明した検知ユニットSUを複数備え、複数の検知ユニットSUは、複数の部屋RMのそれぞれに配置されている。被監視者監視システムMSは、1人の被監視者Obに1つの部屋RMを割り当てて、複数の被監視者Obを監視するシステムである。人数判定部11は、複数の部屋RMのそれぞれについて人の数を判定する。阻止制御部は、人数判定部11が、人の数が2以上と判定している部屋RMに配置された検知ユニットSUからの判定結果情報JIが、携帯端末ユニットTAおよび固定端末ユニットに届くことを阻止する制御をする。
本実施形態に係る検知ユニットSUの動作を、態様2を例にして説明する。図6は、その動作を説明するフローチャートである。図2、図3および図6を参照して、撮像部10は、部屋RMのエリアARを被写体とする動画の撮影をする。人数判定部11は、現時点から所定期間前(例えば、現時点から1分前)までに、撮像部10が撮影した動画のデータを取得する(S11)。
人数判定部11は、S11で得られた動画データを利用して、部屋RMにいる人の数を判定する(S12)。
人数判定部11が、部屋RMにいる人の数が、2以上と判定したとき(S13でNo)、検知ユニットSUは、発報フラグを無効にする(S14)。これにより、通信部13は、行動判定部12が判定結果情報JIを生成しても、判定結果情報JIを管理サーバユニットSVに送信しない。
人数判定部11が、部屋RMにいる人の数が、1人と判定したとき(S13でYes)、検知ユニットSUは、発報フラグを有効にする(S15)。これにより、通信部13は、行動判定部12が判定結果情報JIを生成したとき、判定結果情報JIを管理サーバユニットSVに送信する。
行動判定部12は、S11で得られた動画を基にして、被監視者Obが所定の行動をしたか否かを判定する(S16)。
行動判定部12が、被監視者Obが所定の行動をしていないと判定したとき(S16でNo)、S11へ戻る。
行動判定部12が、被監視者Obが所定の行動をしたと判定したとき(S16でYes)、行動判定部12は、その判定結果を示す判定結果情報JIを生成する。そして、行動判定部12は、発報フラグが有効か否かを判定する(S17)。S14のとき、行動判定部12は、発報フラグが無効と判定する(S17でNo)。通信部13は、行動判定部12が生成した判定結果情報JIを管理サーバユニットSVに送信しない。そして、S11へ戻る。
S15の場合、行動判定部12は、発報フラグを有効と判定する(S17でYes)。通信部13は、行動判定部12が生成した判定結果情報JIを管理サーバユニットSVに送信する(S18)。そして、S11へ戻る。
図1に示す管理サーバユニットSVは、送信されてきた判定結果情報JIを受信し、判定結果情報JIを、固定端末ユニットSPおよび全ての携帯端末ユニットTAに一斉送信する。これにより、固定端末ユニットSPおよび全ての携帯端末ユニットTAの画面に、判定結果が表示される。
被監視者監視システムMSは、図1に各部屋RMについて、上述したS11からS18の処理を実行する。
態様2で説明したが、態様1の場合、検知ユニットSUは、S14、S15およびS17の処理を省略する。検知ユニットSUは、部屋RMにいる人の数が2以上と判定したとき、S11に戻る。
態様3の場合、検知ユニットSUは、S14、S15およびS17の処理を省略する。検知ユニットSUは、部屋RMにいる人の数が2以上と判定したとき、S16に進むと共に、一斉送信を停止する命令を管理サーバユニットSVに送信する。上述したように、管理サーバユニットSVは、その命令を受信したとき、その後、判定結果情報JIを受信しても、判定結果情報JIを固定端末ユニットSPおよび全ての携帯端末ユニットTAに一斉送信しない。
本実施形態の主な効果を説明する。図1を参照して、1人の被監視者Ob(例えば、要介護者)が所定の行動(例えば、起床、離床、転倒転落)をしたかを監視するシステムの場合、1人の被監視者Obがいる部屋RM(エリアARの一例)に、2人以上いれば、1人の被監視者Obが所定の行動をしたか否かの判定おいて、誤判定される可能性がある。特に、1人の被監視者Obが所定の行動をしたか否かの判定に画像を用いる場合、画像に2人以上の人が含まれていると、誤判定が生じやすい。また、その部屋RMに2人以上いれば、被監視者以外の者(例えば、介護士や付添人)が被監視者Obの近くにいることを意味し、表示装置(携帯端末ユニットTA、固定端末ユニットSP)に表示された判定結果を見た監視者(例えば、介護士)が、被監視者Obがいる部屋RMに行く必要がない。
誤判定の判定結果や監視者が対応不要な判定結果が、監視者に通知されることを防止するために、被監視者以外の者が部屋RMにいる場合、その者が検知ユニットSUのスイッチを手動でオフにして、検知ユニットSUを作動させないようにし、部屋RMにいない場合、その者が検知ユニットSUのスイッチを手動でオンにして、検知ユニットSUを作動させることが考えられる。
しかし、被監視者以外の者が、部屋RMを出るときに、検知ユニットSUをオフからオンに切り替えることを忘れることがある。検知ユニットSUは、被監視者Obが所定の行動をしたか否かの監視を再開する必要があるのに、再開することができない。これを防止するために、被監視者以外の者が、検知ユニットSUをオフしたとき、タイマーを用いて、所定時間の経過後、検知ユニットSUが自動でオンすることが考えられる。しかし、所定時間の経過後、検知ユニットSUが自動でオンしたときに、被監視者以外の者が部屋RMにいれば、検知ユニットSUは、誤判定する可能性がある。
以上の観点から、本実施形態に係る被監視者監視システムMSでは、被監視者Obの行動を監視する部屋RMに2人以上いるとき、その被監視者Obを監視の対象から外す。すなわち、検知ユニットSUが、1人の被監視者Obが所定の行動をしたかを判定する部屋RMにおいて、人数判定部11が、人の数が2以上と判定したとき、阻止制御部(不図示)は、判定結果が表示装置(固定端末ユニットSP、携帯端末ユニットTA)に届くことを阻止する制御をする。従って、本実施形態に係る被監視者監視システムMSによれば、被監視者Obが所定の行動をしたと判定したときに、その判定結果を監視者に通知するシステムにおいて、誤判定の判定結果や監視者が対応不要な判定結果が監視者に通知されることを防止できる。
また、本実施形態によれば、図1に示す複数の部屋RMのうち、人数判定部11によって、人の数が2以上と判定された部屋RMについて、監視の対象から外す。従って、被監視者Obが複数いる場合、監視する必要がある被監視者Obの数を減らすことができる。
図1を参照して、検知ユニットSU、管理サーバユニットSV、固定端末ユニットSPおよび携帯端末ユニットTAが、同じネットワークNWで接続されている例で、本実施形態を説明しているが、これに限定されない。例えば、検知ユニットSUと管理サーバユニットSVとが第1のネットワークで接続されており、管理サーバユニットSV、固定端末ユニットSPおよび携帯端末ユニットTAが、第1のネットワークと異なる第2のネットワークで接続されていてもよい。
次に、被監視者Obが所定の行動をしたか否かの判定について、図3および図7を参照して詳しく説明する。所定の行動として、被監視者Obの立位、座位、転倒転落で説明するが、これに限らず、例えば、被監視者Obの起床、離床、転倒転落でもよい。図7は、行動判定部12の機能ブロック図である。行動判定部12は、制御部21、頭部抽出部22、姿勢判定部23および最終判定部24を備える。行動判定部12は、被監視者Obの姿勢を検知することにより、被監視者Obが所定の行動をしたか否かを判定する。
制御部21は、行動判定部12の各部を当該各部の機能に応じてそれぞれ制御するためのものである。
頭部抽出部22は、撮像部10によって取得されたエリアARの画像から頭部(画像中における頭部を写した画像の領域、頭部の画像)を抽出するものである。頭部の抽出には、公知の画像処理技術が利用される。例えば、頭部の形状が楕円形状と仮定され、エリアARの画像がいわゆる一般化ハフ変換され、これによってエリアARの画像中における楕円形状、すなわち、頭部が抽出される。このような画像処理技術は、例えば、文献;“村上真、「人物頭部認識における特徴量表現および領域抽出に関する研究」、2003年3月、早稲田大学“に開示されている。また例えば、頭部の輪郭形状あるいはその概略形状の楕円や円形状等の頭部形状を予め用意されたテンプレートとしたテンプレートマッチングによって、あるいは、いわゆるSnake等の閉曲線をフィッティングする方法によって、エリアARの画像から頭部が抽出されても良い。また抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報や、動きの有無によって人物か否かを判定する動き情報等が組み合わされて利用されても良い。あるいは、画像処理時間を短縮する観点から、エリアARの画像の中から画像処理を実施する領域を人物の存在する蓋然性の高い領域に制限するために、これら色情報や動き情報等が利用されても良い。頭部抽出部22は、この抽出した頭部(頭部の画像領域)を姿勢判定部23へ通知する。
姿勢判定部23は、頭部抽出部22によって抽出された前記頭部における所定のパラメータを求め、この求めた前記パラメータに基づいて、予め規定された所定の姿勢であるか否かを判定するものである。より具体的には、姿勢判定部23は、頭部抽出部22によって抽出された前記頭部における所定のパラメータが所定の閾値th以上であるか否かによって、前記所定の姿勢であるか否かを判定するものである。本実施形態では、姿勢判定部23は、パラメータ演算部231と、仮判定部232とを機能的に備える。
パラメータ演算部231は、頭部抽出部22によって抽出された前記頭部における所定のパラメータを求めるものである。前記所定のパラメータには、監視対象の姿勢を判定できる適宜なパラメータが利用できる。例えば、転倒転落であるか否かを判定する場合、転倒転落の姿勢と立位および座位等の他の姿勢それぞれで頭部の高さが異なることから、前記パラメータとして頭部の高さが利用できる。また例えば、監視対象が立位であるか否か、座位であるか否か、転倒転落であるか否かを判定する場合、この場合も、立位、座位および転倒転落の各姿勢それぞれで頭部の高さが異なることから、前記パラメータとして頭部の高さが利用できる。また、監視対象に対する高さ方向上方からエリアARを見込んでエリアARを撮像した場合、画像上での頭部の大きさ(頭部を写した画像の領域における短辺の長さ)は、頭部の高さに応じた大きさとなる。すなわち、平面上の同じ位置では、頭部の高さが高いほど画像上では頭部の大きさが大きく写る。したがって、上述の各場合において、前記パラメータとして頭部の大きさが利用できる。つまり、前記パラメータとして頭部の大きさを用いることで頭部の高さを推定することができ、この推定した頭部の高さに基づいて、立位、座位および転倒転落等の監視対象の姿勢を判定できる。
仮判定部232は、パラメータ演算部231で求められた前記頭部における所定のパラメータが所定の閾値th以上であるか否かによって、前記所定の姿勢であるか否かを判定するものである。これによれば、前記パラメータが閾値th以上であるか否かを判定するだけで、簡単に、前記所定の姿勢であるか否かを判定できる。より具体的には、例えば、前記パラメータとして頭部の高さを用い、転倒転落であるか否かを判定する場合、転倒転落の姿勢と立位および座位等の他の姿勢とを区別できる頭部の高さが前記所定の閾値(第1閾値、転倒転落判定頭部高さ閾値)th1として予め設定される。あるいは、完全に倒れている姿勢のみを検知したい場合には、ベッドBTの高さが前記閾値th1とされても良い。また例えば、前記パラメータとして頭部の高さを用い、監視対象が立位であるか否か、座位であるか否か、転倒転落であるか否かを判定する場合、立位の姿勢と座位の姿勢とを区別できる頭部の高さが前記所定の閾値(第2−1閾値、立位座位判定頭部高さ閾値)th21として予め設定され、座位の姿勢と転倒転落の姿勢とを区別できる頭部の高さが前記所定の閾値(第2−2閾値、座位転倒転落頭部高さ閾値)th22として予め設定される。前記パラメータとして頭部の大きさが用いられる場合も頭部の高さを頭部の大きさに置き換えて同様に各閾値th1、t21、th22が予め設定される。これら各閾値th1、th21、th22の設定には、予め複数のサンプルを用意して統計処理することによって適宜に設定されてよい。
ここで、転倒転落を判定する閾値th1、th22を設定する場合、座位の高さは、立位の高さ、すなわち、身長に応じて異なる。したがって、前記閾値th1、th22は、立位の高さに基づいて設定されていることが好ましい。立位の高さ(身長)に基づいて座位の高さより低い高さとなるように、前記閾値th1、th22を設定することによって、このような行動判定部12は、監視対象の姿勢が転倒転落であるか否かを判定できるようになる。また、前記閾値th1、th22は、座位の高さに基づいて設定されていることが好ましい。座位の高さに基づいて前記座位の高さより低い高さとなるように、前記閾値th1、th22を設定することによって、このような行動判定部12は、監視対象の姿勢が転倒転落であるか否かを判定できるようになる。
そして、仮判定部232は、その判定結果を姿勢判定部23の判定結果として最終判定部24へ通知する。
ここで、本実施形態では、撮像部10は、互いに異なる時刻におけるエリアARの複数の画像を取得し、頭部抽出部22は、撮像部10によって取得された前記エリアARの複数の画像それぞれについて、前記画像から頭部を抽出し、姿勢判定部23は、撮像部10によって取得された前記エリアARの複数の画像それぞれについて、頭部抽出部22によって抽出された前記頭部における所定のパラメータに基づいて所定の姿勢であるか否かを判定する。
そして、最終判定部24は、姿勢判定部23によって判定された複数の判定結果に基づいて、前記所定の姿勢であるか否かを最終的に判定するものである。例えば、最終判定部24は、姿勢判定部23によって判定された複数の判定結果が所定回数連続的に(すなわち、所定の一定時間常に)、前記所定の姿勢であると判定している場合に、最終的に前記所定の姿勢であると判定する。最終判定部24は、最終的に前記所定の姿勢であると判定した場合に、その旨を制御部21へ通知する。制御部21は、最終判定部24から、監視対象の姿勢が最終的に前記所定の姿勢である旨の通知を受けると、監視対象の姿勢が最終的に前記所定の姿勢である旨の情報を出力する。
(実施形態の纏め)
本実施形態の第1の局面に係る被監視者監視システムは、所定のエリア内にいる1人の被監視者を対象とし、前記エリア内で前記被監視者が所定の行動をしたと判定した場合、判定結果を示す判定結果情報を送信する被監視者監視装置と、前記被監視者監視装置が送信した前記判定結果情報を、ネットワークを経由して受信し、受信した前記判定結果情報を送信するサーバ装置と、前記サーバ装置が送信した前記判定結果情報を、前記ネットワークまたは前記ネットワークと異なる他のネットワークを経由して受信し、前記判定結果情報で示される前記判定結果を表示する表示装置と、前記エリア内にいる人の数を判定する人数判定部と、前記被監視者監視装置または前記サーバ装置に含まれ、前記人の数が2以上と判定された場合、前記判定結果情報が前記表示装置に届くことを阻止する制御をし、前記人の数が1と判定された場合、前記阻止する制御を解除する阻止制御部と、を備える。
1人の被監視者(例えば、要介護者)が所定の行動(例えば、起床、離床、転倒転落)をしたかを監視するシステムの場合、1人の被監視者がいるエリア(例えば、部屋)に、2人以上いれば、1人の被監視者が所定の行動をしたか否かの判定おいて、誤判定する可能性がある。特に、1人の被監視者が所定の行動をしたか否かの判定に画像を用いる場合、画像に2人以上の人が含まれていると、誤判定が生じやすい。また、そのエリア内に人が2人以上いれば、被監視者以外の者(例えば、介護士や付添人)が被監視者の近くにいることを意味し、表示装置で表示された判定結果を見た監視者(例えば、介護士)が、被監視者がいるエリアに行く必要がない。
以上の観点から、本実施形態の第1の局面に係る被監視者監視システムでは、被監視者の行動を監視するエリア内に2人以上いる場合、その被監視者を監視の対象から外す。すなわち、被監視者監視装置が、1人の被監視者が所定の行動をしたかを判定するエリア内において、人数判定部が、人の数が2以上と判定した場合、阻止制御部は、判定結果情報が表示装置に届くことを阻止する制御をする。従って、本実施形態の第1の局面に係る被監視者監視システムによれば、被監視者が所定の行動をしたと判定した場合に、その判定結果を監視者に通知するシステムにおいて、誤判定の判定結果や監視者が対応不要な判定結果が監視者に通知されることを防止できる。
阻止制御部の態様として、例えば、以下の3つがある。
(態様1)阻止制御部は、エリア内にいる人の数が2以上と判定された場合、被監視者監視装置が有する機能のうち、被監視者が所定の行動をしたことを判定する機能を停止させる制御をする。この阻止制御部は、被監視者監視装置に含まれる。態様1によれば、被監視者が所定の行動をしたか否かが判定されないので、判定結果情報が作成されない。この結果、判定結果情報が表示装置に届くことを阻止できる。
(態様2)阻止制御部は、エリア内にいる人の数が2以上と判定された場合、被監視者監視装置が有する機能のうち、判定結果を送信する機能を停止させる制御をする。この阻止制御部は、被監視者監視装置に含まれる。態様2によれば、被監視者監視装置が、被監視者が所定の行動をしたと判定し、判定結果情報を作成しても、判定結果情報を送信しないので、判定結果情報が表示装置に届くことを阻止できる。態様1および態様2によれば、エリア内にいる人の数が2以上と判定された場合、判定結果情報がネットワークに送られないので、ネットワークのトラフィックを低減できる。
(態様3)阻止制御部は、エリア内にいる人の数が2人以上と判定された場合、サーバ装置が判定結果情報を表示装置に送信する機能を停止させる制御をする。この阻止制御部は、サーバ装置に含まれる。態様3によれば、被監視者監視装置が所定の行動をしたと判定し、判定結果情報をサーバ装置に送信しても、サーバ装置は表示装置に判定結果情報を送信しないので、判定結果情報が表示装置に届くことを阻止できる。
上記構成において、前記被監視者監視装置は、前記エリアを被写体とする撮影をし、前記被写体を示す画像を生成する撮像部と、前記撮像部が生成した前記画像を基にして、前記エリア内の動体の数を検出し、検出した数を、前記人の数と判定する前記人数判定部と、前記画像を基にして、前記エリア内で前記被監視者が前記所定の行動をしたか否かを判定する行動判定部と、前記行動判定部が前記所定の行動をしたと判定した場合、前記判定結果情報を送信する通信部と、を備える。
この構成では、エリア内で被監視者が所定の行動をしたか否かを判定するのに用いる画像を用いて、エリア内にいる人の数を判定する。これは、例えば、背景差分法やフレーム間差分法によって実現できる。この構成によれば、エリア内にいる人の数を判定するために、新たなセンサを設ける必要がない。
上記構成において、前記被監視者監視装置は、前記所定の行動として、二種類以上の行動を区別して判定でき、前記阻止制御部は、前記被監視者監視装置が、前記二種類以上の行動のうち予め定められた行動をしたと判定した場合、前記人数判定部が、前記人の数が1または2以上のいずれの判定をしても、前記阻止する制御を解除する。前記被監視者監視装置は、前記被監視者の転倒転落を、前記予め定められた行動と判定する。
被監視者の所定の行動のうち、転倒転落は、重大である。エリア内に2人以上おり、誤判定の可能性があっても、例外として、転倒転落を示す判定結果については表示装置に届くようにする。
上記構成において、前記被監視者監視システムは、1人の前記被監視者に対して、前記エリアとして1つの部屋を割り当てて、複数の前記被監視者を監視するシステムであり、複数の前記被監視者監視装置が、複数の前記部屋のそれぞれに配置され、前記人数判定部は、複数の前記部屋のそれぞれについて前記人の数を判定し、前記阻止制御部は、前記人数判定部が、前記人の数が2以上と判定している前記部屋に配置された前記被監視者監視装置からの前記判定結果情報が前記表示装置に届くことを阻止する制御をする。
この構成によれば、複数の部屋のうち、人数判定部によって、人の数が2以上と判定された部屋について、監視の対象から外す。従って、被監視者が複数いる場合、監視する必要がある被監視者の数を減らすことができる。
本実施形態の第2の局面に係る被監視者監視装置は、所定のエリアを被写体とする撮影をし、前記被写体を示す画像を生成する撮像部と、前記エリア内にいる1人の被監視者を対象とし、前記撮像部が生成した前記画像を基にして、前記エリア内で前記被監視者が所定の行動をしたか否かを判定する行動判定部と、前記行動判定部が前記所定の行動をしたと判定した場合、判定結果を示す判定結果情報を送信する通信部と、前記画像を基にして、前記エリア内の動体の数を検出し、検出した数を、前記人の数と判定する人数判定部と、前記人の数が2以上と判定された場合、前記行動判定部が前記被監視者が前記所定の行動をしたことを判定する機能、および、前記通信部が前記判定結果情報を送信する機能の少なくとも一方を停止させる制御をし、前記人の数が1と判定された場合、前記停止させる制御を解除する停止制御部と、を備える。
本実施形態の第2の局面に係る被監視者監視装置によれば、本実施形態の第1の局面に係る被監視者監視システムと同様の作用効果を有する。
本実施形態の第3の局面に係る被監視者監視方法は、所定のエリア内にいる1人の被監視者を対象とし、前記エリア内で前記被監視者が所定の行動をしたと判定した場合、判定結果を示す判定結果情報を送信するステップと、ネットワークを経由して前記判定結果情報を表示装置に受信させ、前記表示装置に前記判定結果情報で示される前記判定結果を表示させるステップと、を備える被監視者監視方法であって、前記エリア内にいる人の数を判定する第1のステップと、前記第1のステップにおいて、前記人の数が2以上と判定された場合、前記判定結果情報が前記表示装置に届くことを阻止する制御をし、前記人の数が1と判定された場合、前記阻止する制御を解除する第2のステップと、を備える。
本実施形態の第3の局面に係る被監視者監視方法によれば、本実施形態の第1の局面に係る被監視者監視システムと同様の作用効果を有する。
この出願は、2015年8月7日に出願された日本国特許出願特願2015−157418を基礎とするものであり、その内容は、本願に含まれるものである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。