以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
実施形態における被監視者監視システムは、監視対象(見守り対象)である被監視者(見守り対象者)における所定の行動を検出し、この検出した前記被監視者における所定の行動が異常であると判定された場合に、前記異常を外部に報知する被監視者監視装置と、前記被監視者監視装置と通信可能に接続され、前記被監視者監視装置が報知した前記異常を受けて出力する端末装置とを備えるシステムである。この実施形態における被監視者監視システムに用いられる被監視者監視装置は、前記被監視者における所定の行動が異常であるか否かを判定するために用いられる所定のパラメータを記憶するパラメータ情報記憶部と、前記被監視者における前記所定の行動を検出する第1検出部と、前記第1検出部で検出した前記被監視者における所定の行動と前記パラメータ情報記憶部に記憶された前記所定のパラメータとに基づいて、前記被監視者における所定の行動が異常であるか否かを判定する異常判定部と、前記所定のパラメータに関わる所定の状態を検出する第2検出部と、前記第2検出部で所定の期間に亘って検出した複数の前記所定の状態に基づいて前記所定のパラメータの値を求め、この求めた所定のパラメータの値を前記異常判定部で用いる前記所定のパラメータとして前記パラメータ情報記憶部に記憶するパラメータ設定部とを備える。このような被監視者監視システムおよび被監視者監視装置について、以下、第1および第2実施形態の各形態を用いて説明する。
(第1実施形態)
図1は、実施形態における被監視者監視システムの構成を示す図である。図2は、第1実施形態におけるセンサ装置の構成を示すブロック図である。
第1実施形態における被監視者監視システムMSaは、例えば、図1に示すように、1または複数のセンサ装置SUa(SUa−1〜SUa−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備え、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SUa−1〜SUa−4、管理サーバ装置SV、固定端末装置SPおよび複数の携帯端末装置TA−1、TA−2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。
被監視者監視システムMSaは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSaは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSaは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
センサ装置SUaは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obにおける所定の行動を検出し、この検出した被監視者Obにおける所定の行動が異常であると判定された場合に、前記異常を、管理サーバ装置SVを介して固定端末装置SPおよび携帯端末装置TA(端末装置SP、TA)に報知する装置である。このセンサ装置SUaは、被監視者監視装置の一例であり、例えば、図2に示すように、撮像部11と、センサ側音入出力部(SU音入出力部)12と、ナースコール入力部13と、センサ側制御処理部(SU制御処理部)14aと、センサ側通信インターフェース部(US通信IF部)15と、センサ側記憶部(SU記憶部)16aとを備える。
撮像部11は、SU制御処理部14aに接続され、SU制御処理部14aの制御に従って、撮像対象の画像(画像データ)を生成する装置である。撮像部11は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室RM)を監視可能に前記所在空間の上方に配置され、前記所在空間を前記撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像をSU制御処理部14aへ出力する。撮像部11は、本実施形態では、静止画および動画を生成する。このような撮像部11は、被監視者Ob全体を撮像できる蓋然性が高いことから、被監視者Obの横臥する例えばベッド等の寝具BTにおける、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように、配設されることが好ましい。実際には、撮像部11は、部屋のサイズ(大きさ)や形状等に応じて、適宜な位置、例えば天井や壁の上方等に配設される。
このような撮像部11は、本実施形態では、例えば、可視光の画像を生成する装置である。このような撮像部11は、例えば、本実施形態では、撮像対象における可視光の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における可視光の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における可視光の画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラである。撮像部11の結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
なお、撮像部11は、比較的暗がりでも被監視者Obを監視できるように、赤外光の画像を生成する装置であっても良い。このような撮像部11は、例えば、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。
センサ装置SUaは、被監視者Obにおける所定の行動の1つとして微体動異常を検知するために、ドップラセンサをさらに備えても良い。このドップラセンサは、送信波を送信し、物体で反射した前記送信波の反射波を受信し、前記送信波と前記反射波とに基づいてドップラ周波数成分のドップラ信号を出力する体動センサである。前記物体が動いている場合、いわゆるドップラ効果により前記物体の動いている速度に比例して反射波の周波数がシフトするため、送信波の周波数と反射波の周波数とに差(ドップラ周波数成分)が生じる。ドップラセンサは、このドップラ周波数成分の信号をドップラ信号として生成し、SU制御処理部14aへ出力する。前記送信波は、超音波やマイクロ波等であって良いが、マイクロ波は、着衣を透過して被監視者Obの体表で反射できるため、被監視者Obが衣服を着ていても体表の動きを検知でき、好ましい。SU制御処理部14aは、前記ドップラセンサのドップラ信号に基づいて被監視者Obの呼吸動作に伴う胸部の体動(胸部の上下動)を求め、その胸部の体動における周期の乱れや予め設定された閾値以下である前記胸部の体動における振幅を検知すると、前記微体動異常であると判定する。
SU音入出力部12は、SU制御処理部14aに接続され、外部の音を取得してセンサ装置SUaに入力するための回路であって、SU制御処理部14aの制御に従って音を表す電気信号に応じた音を生成して出力するための回路である。SU音入出力部12は、例えば、音の音響振動を電気信号に変換するマイクロホン等と、音の電気信号を音の音響振動に変換するスピーカ等とを備えて構成される。SU音入出力部12は、外部の音を表す電気信号をSU制御処理部14aへ出力し、また、SU制御処理部14aから入力された電気信号を音の音響振動に変換して出力する。
ナースコール入力部13は、SU制御処理部14aに接続され、被監視者Ob等からナースコールを当該センサ装置SUaに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。ナースコール入力部13は、有線でSU制御処理部14aに接続されて良く、また、無線でSU通信IF部15を介してSU制御処理部14aに接続されて良い。
SU通信IF部15は、SU制御処理部14aに接続され、SU制御処理部14aの制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14aから入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSaのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14aが処理可能な形式のデータに変換してSU制御処理部14aへ出力する。なお、SU通信IF部15は、さらに、例えば、Bluetooth(登録商標)規格、IrDA(Infrared Data Asscoiation)規格およびUSB(Universal Serial Bus)規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェース回路を備えても良い。
SU記憶部16aは、SU制御処理部14aに接続され、SU制御処理部14aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、撮像部11で撮像した前記対象領域の画像(対象画像)に基づいて被監視者Obにおける予め設定された所定の行動を検出する行動検出処理プログラムや、撮像部11で撮像した対象画像に基づいて被監視者Obの行動軌跡を、所定の状態の1つとして求める行動軌跡検出処理プログラムや、撮像部11で撮像した対象画像に基づいてカーテンの移動軌跡を前記所定の状態の他の1つとして求める移動軌跡検出処理プログラムや、撮像部11で撮像した対象画像における各画素の各輝度を前記所定の状態のさらに他の1つとして求める輝度検出処理プログラムや、これら前記行動軌跡検出処理プログラム、前記移動軌跡検出処理プログラムおよび前記輝度検出処理プログラムで所定の期間に亘って求めた各結果に基づいて、監視対象である被監視者における所定の行動が異常であるか否かを判定するために用いられる所定のパラメータを求め、この求めた所定のパラメータの値を後述の異常判定処理プログラム(異常判定処理部143a)で用いるパラメータとしてSU記憶部16aに記憶するパラメータ設定プログラムや、前記行動検出処理プログラムで求めた被監視者Obにおける所定の行動とUS記憶部16aに記憶された前記所定のパラメータとに基づいて、被監視者Obにおける所定の行動が異常であるか否かを判定する異常判定処理プログラムや、前記異常判定処理プログラムで判定した前記異常を外部に通知する通知処理プログラムや、撮像部11で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム、および、SU音入出力部12等を用いることで固定端末装置SPや携帯端末装置TAとの間で音声通話を行うナースコール処理プログラム等の制御処理プログラムが含まれる。これら前記行動軌跡検出処理プログラム、前記移動軌跡検出処理プログラムおよび前記輝度検出処理プログラムにおける前記所定の状態は、前記所定のパラメータに関わる状態であり、本実施形態では、上述のように、被監視者Obの行動軌跡、カーテンの移動軌跡、対象画像における各画素の各輝度である。前記所定のパラメータは、本実施形態では、監視対象である被監視者Obにおける所定の行動が異常であるか否かを判定する際に、前記判定の対象となる判定領域である。前記各種の所定のデータには、例えば、自機の、センサ装置SUaを特定し識別するための識別子であるセンサ装置識別子(センサID)、管理サーバ装置SVの通信アドレス、前記所定のパラメータ、および、前記所定のパラメータに関わる状態等のこれら上述の各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。このようなSU記憶部16aは、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、SU記憶部16aは、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部14aのワーキングメモリとなるRAM(Random Access Memory)等を含む。
SU記憶部16aは、前記所定のパラメータおよび前記所定のパラメータに関わる状態それぞれを記憶するために、パラメータ情報記憶部161aおよび検出状態情報記憶部162aを機能的に備える。パラメータ情報記憶部161aは、監視対象である被監視者Obにおける所定の行動が異常であるか否かを判定するために用いられる前記所定のパラメータ(本実施形態では前記判定領域)を記憶するものである。検出状態情報記憶部162aは、前記所定の状態としての前記所定のパラメータに関わる状態(本実施形態では被監視者Obの行動軌跡、カーテンの移動軌跡、対象画像における各画素の各輝度)を記憶するものである。
SU制御処理部14aは、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、撮像部11によって被監視者Obをその上方から撮像した対象画像を取得し、この取得した対象画像に基づいて被監視者Obにおける所定の行動を検出し、この検出した被監視者Obにおける所定の行動が異常であると判定された場合に、前記異常を外部に報知するために、前記異常を管理サーバ装置SVへ送信するための回路である。SU制御処理部14aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部14aは、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、行動検出処理部142、異常判定処理部143a、行動軌跡検出処理部144a−1、移動軌跡検出処理部144a−2、輝度検出処理部144a−3、パラメータ設定部145a、通知処理部146、ストリーミング処理部147およびナースコール処理部148を機能的に備える。
SU制御部141は、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUaの全体制御を司るものである。
行動検出処理部142は、撮像部11で撮像した対象画像に基づいて被監視者Obにおける予め設定された所定の行動を検出するものである。前記所定の行動は、本実施形態では、例えば、被監視者Obの起床、離床、転倒および転落である。より具体的には、行動検出処理部142は、例えば、撮像部11で撮像した対象画像に基づいて被監視者Obの頭部を検出し、この検出した被監視者Obの頭部における大きさの時間変化に基づいて被監視者Obの起床、離床、転倒および転落を検出する。より詳しくは、寝具BTの所在領域、寝具BTの所在領域内における横臥姿勢の頭部の大きさと座位姿勢の頭部の大きさとを識別するための第1閾値Th1、寝具BTの所在領域を除く居室RM内における立位姿勢の頭部の大きさであるか否かを識別するための第2閾値Th2、および、寝具BTの所在領域を除く居室RM内における横臥姿勢の頭部の大きさであるか否かを識別するための第3閾値Th3が前記各種の所定のデータの1つとして予めSU記憶部16aが記憶される。行動検出処理部142は、まず、対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人体領域として動体領域を抽出する。次に、行動検出処理部142は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を抽出する。そして、行動検出処理部142は、この抽出した頭部の位置および大きさから起床、離床、転倒および転落を検出する。例えば、行動検出処理部142は、この抽出した頭部の位置が寝具BTの所在領域内であって、前記抽出した頭部の大きさが前記第1閾値Th1を用いることによって横臥姿勢の大きさから座位姿勢の大きさへ時間変化した場合には、起床と判定し、前記起床を検出する。例えば、行動検出処理部142は、この抽出した頭部の位置が寝具BTの所在領域内から寝具BTの所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第2閾値Th2を用いることによって或る大きさから立位姿勢の大きさへ時間変化した場合には、離床と判定し、前記離床を検出する。例えば、行動検出処理部142は、この抽出した頭部の位置が寝具BTの所在領域内から寝具BTの所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転落と判定し、前記転落を検出する。例えば、行動検出処理部142は、この抽出した頭部の位置が寝具BTの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th1を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒と判定し、前記転倒を検出する。
行動軌跡検出処理部144a−1は、撮像部11で撮像した対象画像に基づいて被監視者Obの行動軌跡を、所定の状態の1つとして求め、この求めた被監視者Obの行動軌跡を検出状態情報記憶部162aに記憶するものである。より具体的には、行動軌跡検出処理部144a−1は、撮像部11で撮像した対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人体領域として動体領域を抽出し、この抽出した動体領域内の所定点(例えば動体領域の中央位置の点や動体領域に外接する外接円の中心点等)を被監視者Obの行動軌跡として求め、この求めた被監視者の行動軌跡を検出状態情報記憶部162aに記憶する。なお、行動軌跡検出処理部144a−1は、さらに、前記抽出した動体領域から上述の手法によって被監視者Obの頭部領域を抽出し、この抽出した頭部領域内の所定点(例えば頭部領域の中央位置の点や頭部領域に外接する外接円の中心点等)を被監視者Obの行動軌跡として求めても良い。そして、行動軌跡検出処理部144a−1は、このような処理を所定の期間に亘って所定のサンプリング間隔(例えば1フレーム間隔や数フレーム間隔等)で実施する。したがって、検出状態情報記憶部162aには、被監視者Obの行動軌跡の集合(前記所定点の集合)が記憶される。前記所定の期間は、任意の期間であって良く、例えば、被監視者Obにおける日常の行動の把握に適した4〜7日程度である。
移動軌跡検出処理部144a−2は、撮像部11で撮像した対象画像に基づいてカーテンの移動軌跡を前記所定の状態の他の1つとして求め、この求めたカーテンの移動軌跡を検出状態情報記憶部162aに記憶するものである。より具体的には、居室RMにおける窓の位置が前記各種の所定のデータの1つとして予めSU記憶部16aに記憶される。移動軌跡検出処理部144a−2は、まず、撮像部11で撮像した対象画像から例えば背景差分法やフレーム差分法によって前記窓の位置付近での動体領域(前記窓の位置から所定距離(例えば30cm〜100cm程度)内での動体領域)をカーテンの領域として抽出する。そして、移動軌跡検出処理部144a−2は、例えばエッジフィルタ等によって前記動体領域の輪郭(前記カーテンの領域の輪郭)を前記カーテンの移動軌跡として求め、この求めたカーテンの移動軌跡を検出状態情報記憶部162aに記憶する。なお、カーテンの色が前記各種の所定のデータの1つとして予めSU記憶部16aに記憶され、このカーテンの色に基づいてカーテンの領域およびその輪郭が求められても良い。移動軌跡検出処理部144a−2は、このような処理を所定の期間に亘って所定のサンプリング間隔(例えば1フレーム間隔や数フレーム間隔等)で実施する。したがって、検出状態情報記憶部162aには、カーテンの移動軌跡の集合(前記輪郭の集合)が記憶される。前記所定の期間は、任意の期間であって良く、例えば、カーテンの動揺の把握に適した4〜7日程度である。
輝度検出処理部144a−3は、撮像部11で撮像した対象画像における各画素の各輝度を前記所定の状態のさらに他の1つとして求め、この求めた対象画像における各画素の各輝度を検出状態情報記憶部162aに記憶するものである。輝度検出処理部144a−3は、このような処理を所定の期間に亘って所定のサンプリング間隔(例えば1フレーム間隔や数フレーム間隔等)で実施する。したがって、検出状態情報記憶部162aには、複数の対象画像における各画素の各輝度の集合が記憶される。前記所定の期間は、任意の期間であって良く、例えば、対象画像の各画素における輝度の変化の把握に適した4〜7日程度である。
パラメータ設定部145aは、これら行動軌跡検出処理部144a−1、移動軌跡検出処理部144a−2および輝度検出処理部144a−3で求めた各結果(すなわち、検出状態情報記憶部162aに記憶された被監視者Obの行動軌跡の集合、カーテンの移動軌跡の集合および各画素の各輝度の集合)に基づいて、被監視者Obにおける所定の行動が異常であるか否かを判定するために用いられる所定のパラメータ(本実施形態では判定領域)を求め、この求めた所定のパラメータの値を後述の異常判定処理部143aで用いるパラメータとしてSU記憶部16aのパラメータ情報記憶部161aに記憶するものである。より具体的には、パラメータ設定部145aは、まず、行動軌跡検出処理部144a−1で所定の期間に亘って検出した複数の被監視者Obの行動軌跡(行動軌跡の集合)に基づいて被監視者Obの行動領域を判定領域の値として求める。より詳しくは、例えば、パラメータ設定部145aは、被監視者Obにおける複数の行動軌跡(行動軌跡の集合)全てを内包する多角形を形成し、この多角形を被監視者Obの行動領域、すなわち、判定領域とする。この被監視者Obにおける複数の行動軌跡から求めた判定領域がそのまま前記所定のパラメータとして用いられても良いが、本実施形態では、異常判定の精度をより向上させるために、次のように、この被監視者Obにおける複数の行動軌跡から求めた判定領域から、カーテンの移動領域および輝度変動領域が除外され、最終的な判定領域が求められ、前記所定のパラメータとして用いられている。より具体的には、パラメータ設定部145aは、まず、移動軌跡検出処理部144a−2で所定の期間に亘って検出した複数の前記カーテンの移動軌跡(移動軌跡の集合)に基づいて前記カーテンの移動領域を求める。より詳しくは、例えば、パラメータ設定部145aは、複数の前記カーテンの移動軌跡(移動軌跡の集合)全てを内包する多角形を形成し、この多角形をカーテンの移動領域とする。次に、パラメータ設定部145aは、輝度検出処理部144a−3で所定の期間に亘って検出した複数の前記対象画像における各画素の各輝度値に基づいて同位置(同画素位置)での輝度変動振幅が所定の輝度閾値以上の画素から成る輝度変動領域を求める。前記所定の輝度閾値は、例えばテレビ画面や鏡等を識別できるように、複数のサンプルを用いて適宜な値に設定され、例えば、撮像部11における輝度の出力可能な最大輝度値(例えば撮像部11が256階調で輝度を出力する場合には255)の2/3や3/4等に設定される。そして、パラメータ設定部145aは、上述の被監視者Obにおける複数の行動軌跡から求めた判定領域から、これら求めたカーテンの移動領域および輝度変動領域を除外し、最終的な判定領域を求め、この最終的な判定領域を前記所定のパラメータとしてUS記憶部16aのパラメータ情報記憶部161aに記憶する。
異常判定処理部143aは、行動検出処理部142で求めた被監視者Obにおける所定の行動とUS記憶部16aのパラメータ情報記憶部161aに記憶された前記所定のパラメータ(本実施形態では最終的な判定領域)とに基づいて、被監視者Obにおける所定の行動が異常であるか否かを判定するものである。より具体的には、本実施形態では、例えば、判定領域内での転落および転倒が異常として予め設定されており、異常判定処理部143aは、行動検出処理部142で求めた被監視者Obにおける所定の行動が転落であって、被監視者Obの所在位置(行動検出処理部142で求めた頭部領域の位置)が最終的な判定領域内であった場合に異常と判定し、行動検出処理部142で求めた被監視者Obにおける所定の行動が転倒であって、被監視者Obの所在位置(行動検出処理部142で求めた頭部領域の位置)が最終的な判定領域内であった場合に異常と判定する。そして、これらの場合を除く他の場合には、異常判定処理部143aは、異常と判定しない。
通知処理部146は、異常判定処理部143aで判定した前記異常を外部に通知するものである。より具体的には、通知処理部146は、被監視者Obの行動の異常(転落、転倒)を判定した場合には、前記異常を表す情報(異常判定情報)、前記異常が判定された被監視者Obを特定し識別するための識別子情報(前記被監視者Obを検知しているセンサ装置SUaを特定し識別するための識別子情報)、および、前記異常の判定に用いられた画像等を収容した通信信号(第1監視情報通信信号)を生成し、SU通信IF部15で管理サーバ装置SVへ送信する。なお、通知処理部146は、さらに、行動検出処理部142で検出した起床および離床それぞれをそのまま起床および離床として外部に通知しても良い。
ストリーミング処理部147は、ネットワークNWおよびUS通信IF部15を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15およびネットワークNWを介して配信するものである。
ナースコール処理部148は、被監視者Obからナースコール入力部13でその入力操作を受け付けた場合に、あるいは、固定端末装置SPまたは携帯端末装置TAから通話の要求があった場合に、SU通信IF部15およびネットワークNWを介して、固定端末装置SPまたは携帯端末装置TAとの間で、SU音入出力部12を用いた音声通話を可能にするものである。
図1には、一例として、4個の第1ないし第4センサ装置SUa−1〜SUa−4が示されており、第1センサ装置SUa−1は、被監視者Obの一人であるAさんOb−1の居室RM−1(不図示)に配設され、第2センサ装置SUa−2は、被監視者Obの一人であるBさんOb−2の居室RM−2(不図示)に配設され、第3センサ装置SUa−3は、被監視者Obの一人であるCさんOb−3の居室RM−3(不図示)に配設され、そして、第4センサ装置SUa−4は、被監視者Obの一人であるDさんOb−4の居室RM−4(不図示)に配設されている。
なお、撮像部11および行動検出処理部142は、被監視者Obにおける所定の行動を検出する第1検出部の一例に相当する。撮像部11および行動軌跡検出処理部144a−1は、前記所定のパラメータに関わる所定の状態を検出する第2検出部の一例に相当する。撮像部11および移動軌跡検出処理部144a−2は、前記所定のパラメータに関わる所定の状態を検出する第2検出部の他の一例に相当する。撮像部11および輝度検出処理部144a−3は、前記所定のパラメータに関わる所定の状態を検出する第2検出部のさらに他の一例に相当する。センサ装置SUaは、被監視者監視装置の一例に相当する。また、本実施形態では、撮像部11が前記第1検出部および前記第2検出部それぞれの一部を兼ねているが、前記第1検出部と前記第2検出部とは、個別の装置(兼用部分の無い装置)であって良い。
管理サーバ装置SVは、ネットワークNWを介して他の装置SUa、SP、TAと通信する通信機能を備え、センサ装置SUaから被監視者Obの異常(本実施形態では、転落の異常、転倒の異常)、および、その画像を受信して被監視者Obに対する監視に関する情報(監視情報)として管理する機器である。管理サーバ装置SVは、センサ装置SUaから被監視者Obの異常(本実施形態では、転落の異常、転倒の異常)、および、その画像を受信すると、これらを被監視者Obに対する前記監視情報として記憶(記録)し、そして、被監視者Obの異常(本実施形態では、転落の異常、転倒の異常)、および、その画像を収容した通信信号(第2監視情報通信信号)を固定端末装置SPおよび携帯端末装置TAに送信する。これによって被監視者Obに対して判定された異常が外部の固定端末装置SPおよび携帯端末装置TAに報知される。管理サーバ装置SVは、クライアント(本実施形態では固定端末装置SPおよび携帯端末装置TA等)の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末装置SPは、ネットワークNWを介して他の装置SUa、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUaで得られた被監視者Obの異常(本実施形態では、転落の異常、転倒の異常)、および、その画像を表示したり等することによって、被監視者監視システムMSaのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUaに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUaで得られた被監視者Obの異常(本実施形態では、転落の異常、転倒の異常)、および、その画像を表示したり等することによって、被監視者Obに対する前記監視情報を受け付けて表示する機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、本実施形態における被監視者監視システムMSaおよびセンサ装置SUaの動作について説明する。図3は、第1実施形態のセンサ装置におけるパラメータの設定に関する動作を示すフローチャートである。図4は、第1実施形態のセンサ装置におけるパラメータの設定処理(判定領域の設定処理)を説明するための図である。図4Aは、居室RMの様子を示し、図4Bは、図4Aに示す居室RMにおいて、設定処理によって設定されたパラメータを示す。図5は、実施形態のセンサ装置における行動の検出に関する動作を示すフローチャートである。
(パラメータ設定処理)
このような構成の被監視者監視システムMSaでは、各装置SUa、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUaでは、その制御処理プログラムの実行によって、制御処理部14aには、US制御部141、行動検出処理部142、異常判定処理部143a、行動軌跡検出処理部144a−1、移動軌跡検出処理部144a−2、輝度検出処理部144a−3、パラメータ設定部145a、通知処理部146、ストリーミング処理部147およびナースコール処理部148が機能的に構成される。
前記所定のパラメータ(本実施形態では最終的な判定領域)を設定するパラメータ設定処理では、図3において、まず、センサ装置SUaは、撮像部11およびSU制御処理部14aによって、所定の期間に亘って前記所定のパラメータに関わる所定の状態(本実施形態では、被監視者Obの行動軌跡、カーテンの移動軌跡、対象画像における各画素の各輝度)を検出し、収集し、SU記憶部16aに記憶(記録)する(S1a)。より具体的には、まず、SU制御部141は、撮像部11によって撮像対象を撮像し、対象画像を生成する。次に、行動軌跡検出処理部144a−1は、撮像部11で撮像した前記対象画像に基づいて被監視者Obの行動軌跡を、所定の状態の1つとして求め、この求めた被監視者の行動軌跡を検出状態情報記憶部162aに記憶する。移動軌跡検出処理部144a−2は、撮像部11で撮像した前記対象画像に基づいてカーテンの移動軌跡を前記所定の状態の他の1つとして求め、この求めたカーテンの移動軌跡を検出状態情報記憶部162aに記憶する。輝度検出処理部144a−3は、撮像部11で撮像した前記対象画像における各画素の各輝度を前記所定の状態のさらに他の1つとして求め、この求めた対象画像における各画素の各輝度を検出状態情報記憶部162aに記憶する。そして、このような処理が所定の期間、例えば1週間に亘って各フレームごとに実施される。
このようにパラメータを求めるための各データ(実績データ)を収集すると、センサ装置SUaは、パラメータ設定部145aによって、処理S1aで収集した複数の被監視者Obの行動軌跡(行動軌跡の集合)に基づいて被監視者Obの行動領域を求める(S2a−1)。
例えば、図4Aに示すワンルームの居室RMに被監視者Obが所在している場合には、処理S1aで行動軌跡検出処理部144a−1は、撮像部11で撮像した対象画像から動体領域を抽出し、この抽出した動体領域内の所定点を被監視者Obの行動軌跡として求める。このような被監視者Obの行動軌跡が例えば1週間に亘って各フレームごとに求められると、被監視者Obの行動軌跡は、居室RM略全体に亘って存在するようになり、処理S2a−1によって、図4Bに破線で示すように、テレビTVの設置された領域に当たる1つの頂点を切り欠いた矩形領域が行動領域AR1として求められる。この図4に示す居室RMは、平面視にて略矩形形状であり、この居室RMには、一方壁側に沿って寝具BTが配置され、この一方壁に出窓WDが配設され、この出窓WDには、カーテンCTが掛けられている。前記一方壁に対向する他方壁における略中央位置の上方には、空調機ACが配設されている。空調機ACの一方端側の方には、テレビTVが配設され、空調機ACの他方端側の方には、洗面台WSが配設されている。この図4に示す例では、被監視者Obは、寝具BTの一方側端に腰掛けており、座位姿勢にある。
図3に戻って、次に、センサ装置SUaは、パラメータ設定部145aによって、処理S1aで収集した複数の前記カーテンの移動軌跡(移動軌跡の集合)に基づいて前記カーテンの移動領域を求める(S2a−2)。
例えば、図4に示す例では、出窓WDの位置が予めSU記憶部16aに記憶されており、処理S1aで移動軌跡検出処理部144a−2は、撮像部11で撮像した対象画像から出窓WDの位置付近での動体領域を求め、この求めた動体領域の輪郭をカーテンの移動軌跡として求める。このようなカーテンCTの移動軌跡が例えば1週間に亘って各フレームごとに求められると、カーテンCTの移動軌跡は、出窓WDに沿って出窓WDから居室RM内へ突出して存在するようになり、処理S2a−2によって、図4Bに右下がりの斜線で示すように、出窓WDに沿った居室RM内の矩形領域が移動領域AR2として求められる。
図3に戻って、次に、センサ装置SUaは、パラメータ設定部145aによって、処理S1aで収集した複数の対象画像における各画素の各輝度に基づいて輝度変動領域を求める(S2a−3)。
通常、テレビTVの表示面は、輝度の変化が大きい。このため、例えば、図4に示す例では、撮像部11で撮像した対象画像における各画素の各輝度が処理S1aで輝度検出処理部144a−3によって例えば1週間に亘って各フレームごとに求められると、テレビTVの表示面(画面)に当たる各画素の輝度変動が大きくなり、処理S2a−2によって、図4Bに斜線で示すように、テレビTVの表示面に当たる矩形領域が輝度変動領域AR3として求められる。なお、鏡も輝度の変化が大きく、鏡に当たる領域も輝度変動領域として求められる。
図3に戻って、そして、センサ装置SUaは、パラメータ設定部145aによって、処理S2a−1で求めた被監視者Obの行動領域(仮の判定領域)から、処理S2a−2で求めたカーテンの移動領域および処理S2a−3で求めた輝度変動領域を除外することによって最終的な判定領域を求め、この最終的な判定領域を前記所定のパラメータとしてUS記憶部16aのパラメータ情報記憶部161aに記憶し、パラメータ設定処理を終了する。
このようなパラメータ設定処理は、必要に応じて適宜なタイミングで、例えば、居室RMの入居者が変わり、センサ装置SUaで監視される被監視者Obが変わったタイミングや、居室RMにおける家具等の配置位置を変えた模様替え後のタイミングや、季節の変わり目のタイミング等で実施される。
なお、処理S1aは、前記所定のパラメータに関わる所定の状態を所定の期間に亘って複数検出する第2検出工程の一例に相当し、処理S2a−1ないし処理S2a−4は、前記第2検出工程で前記所定の期間に亘って検出した複数の前記所定の状態に基づいて前記所定のパラメータの値を求め、前記求めた所定のパラメータの値を後述の異常判定工程で用いる前記所定のパラメータとしてパラメータ情報記憶部161aに記憶するパラメータ設定工程の一例に相当する。
(異常判定処理)
被監視者Obにおける所定の行動が異常であるか否かを判定する異常判定処理は、本実施形態では、次のように実行される。
センサ装置SUaは、所定のフレームレートに応じた時間間隔で撮像部11によって画像を順次に取得しており、1つのフレームの画像が撮像部11からSU制御処理部14aに入力されると、まず、図5において、センサ装置SUaは、行動検出処理部142によって、撮像部11で撮像された対象画像に基づいて被監視者Obにおける所定の行動を検出する処理を実行する(S11)。
次に、センサ装置SUaは、行動検出処理部142によって、処理S11で被監視者Obにおける所定の行動を検出したか否かを判定する(S12)。この判定の結果、処理S11で被監視者Obにおける所定の行動を検出していない場合(No)には、次のフレームの画像を処理すべく、センサ装置SUaは、処理を処理S11に戻す。一方、処理S11で被監視者Obにおける所定の行動を検出している場合(Yes)には、次の処理S13aを実行する。
この処理S13aでは、センサ装置SUaは、異常判定処理部143aによって処理S11で検出した被監視者Obにおける所定の行動が異常であるか否かを判定する処理を実行する。より具体的には、異常判定処理部143aは、処理S11で被監視者Obにおける所定の行動とパラメータ情報記憶部161aに記憶された前記所定のパラメータ(本実施形態では最終的な判定領域)とに基づいて、被監視者Obにおける所定の行動が異常であるか否かを判定する。より詳しくは、本実施形態では、異常判定処理部143aは、行動検出処理部142で求めた被監視者Obにおける所定の行動が転落であって、被監視者Obの所在位置(行動検出処理部142で求めた頭部領域の位置)が前記最終的な判定領域内であった場合に異常と判定し、行動検出処理部142で求めた被監視者Obにおける所定の行動が転倒であって、被監視者Obの所在位置(行動検出処理部142で求めた頭部領域の位置)が前記最終的な判定領域内であった場合に異常と判定する。そして、これらの場合を除く他の場合には、異常判定処理部143aは、異常と判定しない。
次に、センサ装置SUaは、異常判定処理部143aによって、処理S13aで被監視者Obにおける所定の行動が異常と判定されたか否かを判定する(S14)。この判定の結果、処理S13aで被監視者Obにおける所定の行動が異常と判定されていない場合(No)には、次のフレームの画像を処理すべく、センサ装置SUaは、処理を処理S11に戻す。一方、処理S13aで被監視者Obにおける所定の行動が異常と判定されている場合(Yes)には、次の処理S15を実行する。
この処理S15では、センサ装置SUaは、通知処理部146によって、処理S13aで判定した前記異常を固定端末装置SPおよび携帯端末装置TAへ報知すべく管理サーバ装置SVへ前記第1監視情報通信信号を送信する。
そして、センサ装置SUaは、この異常判定処理の終了(停止)か否かを判定する(S16)。この判定の結果、異常判定処理の終了(停止)ではない場合(No)には、次のフレームの画像を処理すべく、センサ装置SUaは、処理を処理S11に戻し、一方、異常判定処理の終了(停止)である場合(No)には、センサ装置SUaは、異常判定処理を終了(停止)する。
一方、上述の処理S15による前記第1監視情報通信信号を受信した管理サーバ装置SVは、前記第1監視情報通信信号に収容された被監視者Obの異常(本実施形態では、転落の異常、転倒の異常)、および、その画像を被監視者Obに対する前記監視情報として記憶(記録)する。そして、管理サーバ装置SVは、被監視者Obの異常(本実施形態では、転落の異常、転倒の異常)、および、その画像を収容した第2監視情報通信信号を固定端末装置SPおよび携帯端末装置TAに送信する。
この第2監視情報通信信号を受信した固定端末装置SPおよび携帯端末装置TAそれぞれは、この第2監視情報通信信号に収容された被監視者Obの異常(本実施形態では、転落の異常、転倒の異常)、および、その画像を表示する。監視者は、固定端末装置SPや携帯端末装置TAに表示された被監視者Obの異常を参照することで、被監視者Obに異常が生じたことを認識できる。
そして、監視者は、必要に応じて、固定端末装置SPや固定端末装置TAを用いて動画の配信をセンサ装置SUaに要求し、これに応じてストリーミング処理部147は、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生で配信する。
また、監視者は、必要に応じて、固定端末装置SPや固定端末装置TAを用いて通話をセンサ装置SUaに要求し、これに応じてナースコール処理部148は、この要求のあった固定端末装置SPまたは携帯端末装置TAとの間で音声通話を可能にする。また、被監視者Obからナースコール入力部13でその入力操作を受け付けた場合に、ナースコール処理部148は、固定端末装置SPまたは携帯端末装置TAとの間で、音声通話を可能にする。
以上、説明したように、本実施形態における被監視者監視システムSMa、センサ装置SUaおよびこれに実装された被監視者監視方法は、パラメータ設定部145aによって、自動的に前記所定のパラメータ(本実施形態では最終的な判定領域)を設定してカスタマイズできる。そして、前記所定のパラメータ(本実施形態では最終的な判定領域)の値は、所定の期間に亘って検出した複数の前記所定の状態(本実施形態では、被監視者Obの行動軌跡、カーテンの移動軌跡、対象画像における各画素の各輝度)に基づいて求められるので、上記被監視者監視システムSMa、センサ装置SUaおよびこれに実装された被監視者監視方法は、より実情に合わせることができる。上記被監視者監視システムSMa、センサ装置SUaおよびこれに実装された被監視者監視方法は、自動的に前記所定のパラメータを設定するので、手間を低減でき、誤った被監視者Obに対し前記所定のパラメータを設定することも低減できる。
上記被監視者監視システムSMa、センサ装置SUaおよびこれに実装された被監視者監視方法は、被監視者Obにおける複数の行動軌跡(行動軌跡の集合)に基づいて被監視者Obの行動領域を前記判定領域の値として求めるので、被監視者Obの実行動に応じて前記判定領域を設定できる。
カーテンCTが動揺すると、被監視者Obにおける所定の行動と誤検出してしまう場合がある。上記被監視者監視システムSMa、センサ装置SUaおよびこれに実装された被監視者監視方法は、カーテンCTにおける複数の移動軌跡(移動軌跡の集合)に基づいてカーテンCTの移動領域を求め、この求めたカーテンCTの移動領域を前記判定領域から除外するので、カーテンCTの動揺による前記誤検出を低減できる。
被監視者Obやカーテン等が例えばテレビや鏡等に写り込むと、この写り込んだ像によって被監視者Obにおける所定の行動と誤検出してしまう場合がある。前記テレビや鏡等は、画像上では、輝度が大きく変動する。上記被監視者監視システムSMa、センサ装置SUaおよびこれに実装された被監視者監視方法は、複数の前記対象画像における各画素の各輝度値に基づいて同位置での輝度変動振幅が所定の輝度閾値以上の画素から成る輝度変動領域を求め、この求めた輝度変動領域を前記判定領域から除外するので、写り込んだ像による前記誤検出を低減できる。
次に、別の実施形態について説明する。
(第2実施形態)
第1実施形態における被監視者監視システムMSaおよびセンサ装置SUaは、パラメータの一例である判定領域を自動的にカスタマイズしたが、第2実施形態における被監視者監視システムMSbおよびセンサ装置SUbは、パラメータの他の一例である、転倒であるか否かを最終的に判定するための閾値(転倒判定閾値)を自動的にカスタマイズするものである。
第2実施形態における被監視者監視システムMSbは、例えば、図1に示すように、1または複数のセンサ装置SUb(SUb−1〜SUb−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備える。すなわち、第2実施形態における被監視者監視システムMSbは、第1実施形態において、第1実施形態のセンサ装置SUaに代え、第2実施形態のセンサ装置SUbを備えるものである。このため、第2実施形態の被監視者監視システムMSbにおける管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAは、それぞれ、第1実施形態の被監視者監視システムMSbにおける管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAと同様であるので、その説明を省略する。
図6は、第2実施形態におけるセンサ装置の構成を示すブロック図である。第2実施形態のセンサ装置SUbは、第1実施形態のセンサ装置SUaと同様に、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obにおける所定の行動を検出し、この検出した被監視者Obにおける所定の行動が異常であると判定された場合に、前記異常を、管理サーバ装置SVを介して固定端末装置SPおよび携帯端末装置TA(端末装置SP、TA)に報知する装置である。この第2実施形態のセンサ装置SUbは、被監視者監視装置の他の一例であり、例えば、図6に示すように、撮像部11と、SU音入出力部12と、ナースコール入力部13と、SU制御処理部14bと、SU通信IF部15と、SU記憶部16bとを備える。これら第2実施形態のセンサ装置SUbにおける撮像部11、SU音入出力部12、ナースコール入力部13およびSU通信IF部15は、それぞれ、第1実施形態のセンサ装置SUaにおける撮像部11、SU音入出力部12、ナースコール入力部13およびSU通信IF部15と同様であるので、その説明を省略する。
SU記憶部16bは、SU制御処理部14aに接続され、SU制御処理部14aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、SU制御プログラム、行動検出処理プログラム、異常判定処理プログラム、歩行検出処理プログラム、パラメータ設定プログラム、通知処理プログラム、ストリーミング処理プログラムおよびナースコール処理プログラム等の制御処理プログラムが含まれる。これら第2実施形態におけるSU制御プログラム、行動検出処理プログラム、通知処理プログラム、ストリーミング処理プログラムおよびナースコール処理プログラムは、それぞれ、第1実施形態におけるSU制御プログラム、行動検出処理プログラム、通知処理プログラム、ストリーミング処理プログラムおよびナースコール処理プログラムと同様であるので、その説明を省略する。歩行検出処理プログラムは、撮像部11で撮像した前記対象画像に基づいて被監視者Obにおける歩行速度および歩行時の大きさを前記所定の状態として検出するプログラムである。パラメータ設定プログラムは、前記歩行検出処理プログラムで所定の期間に亘って求めた各結果、すなわち被監視者Obにおける複数の歩行速度および複数の歩行時の大きさに基づいて前記所定のパラメータの値を求め、この求めた所定のパラメータの値を前記異常判定処理プログラム(異常判定処理部143b)で用いるパラメータとしてSU記憶部16bに記憶するプログラムである。前記所定のパラメータは、一例として、第1実施形態では最終的な判定領域であったが、第2実施形態では、他の一例として、行動検出処理プログラムで検出した転倒が真の転倒であるか否かを最終的に判定するための閾値(転倒判定閾値)である。異常判定処理プログラムは、前記行動検出処理プログラムで求めた被監視者Obにおける所定の行動とUS記憶部16bに記憶された前記所定のパラメータ、すなわち転倒判定閾値とに基づいて、被監視者Obにおける所定の行動が異常であるか否かを判定するプログラムである。前記各種の所定のデータには、例えば、自機のセンサID、管理サーバ装置SVの通信アドレス、前記所定のパラメータ(本実施形態では転倒判定閾値)、および、前記所定のパラメータに関わる状態(本実施形態では被監視者Obにおける歩行速度および歩行時の大きさ)等のこれら上述の各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。このようなSU記憶部16bは、SU記憶部16aと同様に、例えばROM、EEPROMおよびRAM等を含む。
SU記憶部16bは、前記所定のパラメータおよび前記所定のパラメータに関わる状態それぞれを記憶するために、パラメータ情報記憶部161bおよび検出状態情報記憶部162bを機能的に備える。パラメータ情報記憶部161bは、監視対象である被監視者における所定の行動が異常であるか否かを判定するために用いられる前記所定のパラメータ(本実施形態では前記転倒判定閾値)を記憶するものである。検出状態情報記憶部162bは、前記所定の状態としての前記所定のパラメータに関わる状態(本実施形態では被監視者Obにおける歩行速度および歩行時の大きさ)を記憶するものである。
SU制御処理部14bは、SU制御処理部14aと同様に、センサ装置SUbの各部を当該各部の機能に応じてそれぞれ制御し、撮像部11によって被監視者Obをその上方から撮像した対象画像を取得し、この取得した対象画像に基づいて被監視者Obにおける所定の行動を検出し、この検出した被監視者Obにおける所定の行動が異常であると判定された場合に、前記異常を外部に報知するために、前記異常を管理サーバ装置SVへ送信するための回路である。SU制御処理部14bは、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部14bは、前記制御処理プログラムが実行されることによって、SU制御部141、行動検出処理部142、異常判定処理部143b、歩行検出処理部144b、パラメータ設定部145b、通知処理部146、ストリーミング処理部147およびナースコール処理部148を機能的に備える。これら第2実施形態におけるSU制御部141、行動検出処理部142、通知処理部146、ストリーミング処理部147およびナースコール処理部148は、それぞれ、第1実施形態におけるSU制御部141、行動検出処理部142、通知処理部146、ストリーミング処理部147およびナースコール処理部148と同様であるので、その説明を省略する。
歩行検出処理部144bは、撮像部11で撮像した前記対象画像に基づいて被監視者Obにおける歩行速度および歩行時の大きさを、前記所定の状態の1つとして求め、この求めた被監視者Obにおける歩行速度および歩行時の大きさを検出状態情報記憶部162bに記憶するものである。より具体的には、歩行検出処理部144bは、まず、撮像部11で撮像した対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人体領域として動体領域を抽出する。そして、歩行検出処理部144bは、この抽出した動体領域におけるフレーム間の移動量から被監視者Obの歩行速度を求め、この際の動体領域の大きさを被監視者Obの大きさとして求める。歩行検出処理部144bは、フレームごとに被監視者Obにおける歩行速度および歩行時の大きさを検出状態情報記憶部162bに記憶して良く、また、フレームごとのデータのばらつきを低減するとともにデータ容量を低減するために、フレームごとに求めた被監視者Obにおける歩行速度および歩行時の大きさを、歩行速度が略ゼロ(所定の閾値以下)であるケースを除いて、一定期間(例えば30秒、1分、5分等)ごとに平均し、この一定期間ごとに平均した被監視者Obにおける歩行速度および歩行時の大きさを検出状態情報記憶部162bに記憶して良い。このような被監視者Obにおける歩行速度および歩行時の大きさのデータの収集は、所定の期間に亘って実施される。前記所定の期間は、任意の期間であって良く、例えば、被監視者Obにおける日常の行動の把握に適した4〜7日程度である。
パラメータ設定部145bは、歩行検出処理部144bで求めた結果(すなわち、検出状態情報記憶部162bに記憶された被監視者Obにおける歩行速度および歩行時の大きさの各集合)に基づいて、被監視者Obにおける所定の行動が異常であるか否かを判定するために用いられる所定のパラメータ(本実施形態では転倒判定閾値)を求め、この求めた所定のパラメータの値を後述の異常判定処理部143bで用いるパラメータとしてSU記憶部16bのパラメータ情報記憶部161bに記憶するものである。より具体的には、パラメータ設定部145bは、次のように前記転倒判定閾値を設定する。
ここで、略直立で歩行できる被監視者Obは、比較的速い歩行速度で歩行でき、このような歩行態様から転倒してしまう場合、比較的急激に倒れ込む。一方、前屈みで歩行する被監視者Obは、比較的遅い歩行速度の歩行となり、転倒してしまう場合、比較的急激に倒れ込むだけでなく、ずるずると崩れ落ちるように倒れ込む場合もある。そして、上方から撮像された対象画像上では、前記略直立で歩行できる被監視者Obの大きさは、相対的に小さくなる一方、前屈みで歩行する被監視者Obの大きさは、相対的に大きくなる。
そこで、本実施形態では、被監視者Obが略直立で歩行できる者か前屈みで歩行する者かの別が歩行速度およびその歩行時の大きさで識別され、この識別結果に応じて転倒判定閾値が設定される。より具体的には、被監視者Obが略直立で歩行できる者か前屈みで歩行する者かの別を歩行速度およびその歩行時の大きさそれぞれ識別するための歩行速度閾値および歩行時の大きさ閾値が予め設定され、SU記憶部16bに記憶される。被監視者Obが略直立で歩行できる者である場合の第1転倒判定閾値が予め設定され、SU記憶部16bに記憶され、被監視者Obが前屈みで歩行する者である場合の第2転倒判定閾値が予め設定され、SU記憶部16bに記憶される。上述のように、略直立で歩行できる被監視者Obは、比較的急激に倒れ込む一方、前屈みで歩行する被監視者Obは、比較的急激に倒れ込むだけでなく、ずるずると崩れ落ちるように倒れ込む場合もあるため、第2転倒判定閾値は、第1転倒判定閾値よりも長い時間に設定される。例えば、第1転倒判定閾値は、0.1秒や0.3秒や0.5秒等に設定され、第2転倒判定閾値は、2秒や3秒や5秒等に設定される。パラメータ設定部145bは、まず、検出状態情報記憶部162bに記憶された被監視者Obにおける歩行速度および歩行時の大きさの各集合それぞれを、歩行速度が略ゼロ(所定の閾値以下)であるケースを除いて平均することで、最終的な歩行速度および歩行時の大きさを求める。そして、パラメータ設定部145bは、この求めた最終的な歩行速度が前記歩行速度閾値以上であって前記求めた最終的な歩行時の大きさが前記歩行時の大きさ閾値以下である第1の場合には、被監視者Obが略直立で歩行できる者であると判定し、前記所定のパラメータとして第1転倒判定閾値をパラメータ情報記憶部161bに記憶する。パラメータ設定部145bは、前記求めた最終的な歩行速度が前記歩行速度閾値より小さく前記求めた最終的な歩行時の大きさが前記歩行時の大きさ閾値より大きい第2の場合には、被監視者Obが前屈みで歩行する者であると判定し、前記所定のパラメータとして第2転倒判定閾値をパラメータ情報記憶部161bに記憶する。なお、前記求めた最終的な歩行速度および歩行時の大きさが前記第1の場合でもなく前記第2の場合でも無い場合には、予め設定したデフォルト値(第3転倒判定閾値(例えば前記第1転倒判定閾値と前記第2転倒判定閾値との間における適宜な値等))が前記所定のパラメータとしてパラメータ情報記憶部161bに記憶されて良く、また、前記所定のパラメータを設定せずに、異常判定処理部143bは、行動検出処理部142で転倒を検出した場合にそのまま異常と判定しても良い。
異常判定処理部143bは、行動検出処理部142で求めた被監視者Obにおける所定の行動とUS記憶部16bのパラメータ情報記憶部161bに記憶された前記所定のパラメータ(本実施形態では転倒判定閾値)とに基づいて、被監視者Obにおける所定の行動が異常であるか否かを判定するものである。より具体的には、本実施形態では、例えば、転落および転倒が異常として予め設定されており、異常判定処理部143aは、行動検出処理部142で求めた被監視者Obにおける所定の行動が転落であった場合に異常と判定し、行動検出処理部142で求めた被監視者Obにおける所定の行動が転倒であって、この行動検出処理部142で転倒と判定した場合における被監視者Obの頭部における大きさの時間変化が転倒判定閾値以下の時間で完了した場合に、異常と判定する。より詳しくは、パラメータ情報記憶部161bに第1転倒判定閾値が記憶されている場合には、異常判定処理部143bは、行動検出処理部142で求めた被監視者Obにおける所定の行動が転倒であって、この行動検出処理部142で転倒と判定した場合における被監視者Obの頭部における大きさの時間変化が第1転倒判定閾値以下の時間で完了した場合に、異常と判定する。これによって、ものを拾う等のために屈み込んだ場合等を転倒の異常と誤判定せずに、略直立で歩行できる被監視者Obにおける転倒の異常がより適切に判定できる。パラメータ情報記憶部161bに第2転倒判定閾値が記憶されている場合には、異常判定処理部143bは、行動検出処理部142で求めた被監視者Obにおける所定の行動が転倒であって、この行動検出処理部142で転倒と判定した場合における被監視者Obの頭部における大きさの時間変化が第2転倒判定閾値以下の時間で完了した場合に、異常と判定する。これによって、被監視者Obが比較的急激に倒れ込むだけでなく、ずるずると崩れ落ちるように倒れ込む場合も異常と判定できるので、前屈みで歩行する被監視者Obにおける転倒の異常がより適切に判定できる。
なお、撮像部11および行動検出処理部142は、被監視者Obにおける所定の行動を検出する第1検出部の一例に相当する。撮像部11および歩行検出処理部144bは、前記所定のパラメータに関わる所定の状態を検出する第2検出部の一例に相当する。センサ装置SUbは、被監視者監視装置の一例に相当する。また、本実施形態では、撮像部11が前記第1検出部および前記第2検出部それぞれの一部を兼ねているが、前記第1検出部と前記第2検出部とは、個別の装置(兼用部分の無い装置)であって良い。
次に、本実施形態における被監視者監視システムMSbおよびセンサ装置SUbの動作について説明する。図7は、第2実施形態のセンサ装置におけるパラメータの設定に関する動作を示すフローチャートである。
このような構成の被監視者監視システムMSbでは、各装置SUb、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUbでは、その制御処理プログラムの実行によって、制御処理部14bには、US制御部141、行動検出処理部142、異常判定処理部143b、歩行検出処理部144b、パラメータ設定部145b、通知処理部146、ストリーミング処理部147およびナースコール処理部148が機能的に構成される。
前記所定のパラメータ(本実施形態では最終的な判定領域)を設定するパラメータ設定処理では、図7において、まず、センサ装置SUbは、撮像部11およびSU制御処理部14bによって、所定の期間に亘って前記所定のパラメータに関わる所定の状態(本実施形態では、被監視者Obにおける歩行速度およびその歩行時の大きさ)を検出し、収集し、SU記憶部16bに記憶(記録)する(S1b)。より具体的には、まず、SU制御部141は、撮像部11によって撮像対象を撮像し、対象画像を生成する。次に、歩行検出処理部144bは、撮像部11で撮像した前記対象画像に基づいて被監視者Obにおける歩行速度およびその歩行時の大きさを、所定の状態の1つとして求め、この求めた被監視者Obにおける歩行速度およびその歩行時の大きさを検出状態情報記憶部162bに記憶する。そして、このような処理が所定の期間、例えば1週間に亘って各フレームごとに実施される。
このようにパラメータを求めるための各データ(実績データ)を収集すると、センサ装置SUbは、パラメータ設定部145bによって、前記パラメータの値である転倒判定閾値をパラメータ情報記憶部161bに設定する閾値の設定処理を行い(S2b)、パラメータ設定処理を終了する。より具体的には、パラメータ設定部145bは、まず、歩行検出処理部144bによって前記所定の期間に亘って求められた被監視者Obにおける複数の歩行速度を平均することで最終的な歩行速度を求めるとともに、歩行検出処理部144bによって前記所定の期間に亘って求められた被監視者Obにおける複数の歩行時の大きさを平均することで最終的な歩行時の大きさを求める。なお、この平均を求める際には、歩行速度が略ゼロ(所定の閾値以下)であるケースが除かれる。次に、パラメータ設定部145bは、この求めた最終的な歩行速度が前記歩行速度閾値以上であって前記求めた最終的な歩行時の大きさが前記歩行時の大きさ閾値以下である前記第1の場合には、被監視者Obが略直立で歩行できる者であると判定し、前記所定のパラメータとして第1転倒判定閾値をパラメータ情報記憶部161bに記憶する。また、パラメータ設定部145bは、前記求めた最終的な歩行速度が前記歩行速度閾値より小さく前記求めた最終的な歩行時の大きさが前記歩行時の大きさ閾値より大きい前記第2の場合には、被監視者Obが前屈みで歩行する者であると判定し、前記所定のパラメータとして第2転倒判定閾値をパラメータ情報記憶部161bに記憶する。
このようなパラメータ設定処理は、第1実施形態と同様に、必要に応じて適宜なタイミングで実施される。
なお、処理S1bは、前記所定のパラメータに関わる所定の状態を所定の期間に亘って複数検出する第2検出工程の一例に相当し、処理S2bは、前記第2検出工程で前記所定の期間に亘って検出した複数の前記所定の状態に基づいて前記所定のパラメータの値を求め、前記求めた所定のパラメータの値を後述の異常判定工程で用いる前記所定のパラメータとしてパラメータ情報記憶部161bに記憶するパラメータ設定工程の一例に相当する。
(異常判定処理)
被監視者Obにおける所定の行動が異常であるか否かを判定する異常判定処理は、異常判定処理S13aに代え、後述の異常判定処理S13bが実施される点を除き、図5に示すフローチャートと同様に実行される。
この第2実施形態における異常判定処理S13bでは、異常判定処理部143bは、処理S11で被監視者Obにおける所定の行動とパラメータ情報記憶部161bに記憶された前記所定のパラメータ(本実施形態では転倒判定閾値)とに基づいて、被監視者Obにおける所定の行動が異常であるか否かを判定する。より具体的には、異常判定処理部143aは、行動検出処理部142で求めた被監視者Obにおける所定の行動が転落であった場合に異常と判定し、パラメータ情報記憶部161bに第1転倒判定閾値が記憶されている場合には、行動検出処理部142で求めた被監視者Obにおける所定の行動が転倒であって、この行動検出処理部142で転倒と判定した場合における被監視者Obの頭部における大きさの時間変化が第1転倒判定閾値以下の時間で完了した場合に異常と判定し、そして、パラメータ情報記憶部161bに第2転倒判定閾値が記憶されている場合には、行動検出処理部142で求めた被監視者Obにおける所定の行動が転倒であって、この行動検出処理部142で転倒と判定した場合における被監視者Obの頭部における大きさの時間変化が第2転倒判定閾値以下の時間で完了した場合に異常と判定する。そして、これらの場合を除く他の場合には、異常判定処理部143bは、異常と判定しない。
以上、説明したように、本実施形態における被監視者監視システムSMb、センサ装置SUbおよびこれに実装された被監視者監視方法は、パラメータ設定部145bによって、自動的に前記所定のパラメータ(本実施形態では転倒判定閾値)を設定してカスタマイズできる。そして、前記所定のパラメータ(本実施形態では転倒判定閾値)の値は、所定の期間に亘って検出した複数の前記所定の状態(本実施形態では被監視者Obにおける歩行速度およびその歩行時の大きさ)に基づいて求められるので、上記被監視者監視システムSMb、センサ装置SUbおよびこれに実装された被監視者監視方法は、より実情に合わせることができる。上記被監視者監視システムSMb、センサ装置SUbおよびこれに実装された被監視者監視方法は、自動的に前記所定のパラメータを設定するので、手間を低減でき、誤った被監視者Obに対し前記所定のパラメータを設定することも低減できる。
上記被監視者監視システムSMb、センサ装置SUbおよびこれに実装された被監視者監視方法は、パラメータ設定部145bによって、前記所定の期間に亘って検出した複数の被監視者Obにおける歩行速度および歩行時の大きさに基づいて前記所定のパラメータの値(本実施形態では第1転倒判定閾値または第2転倒判定閾値)を求めるので、被監視者Obが略直立で歩行できる者であるか前屈みで歩行する者であるかを区別でき、その区別に応じた値で前記所定のパラメータの値を設定できる。このため、上記被監視者監視システムSMb、センサ装置SUbおよびこれに実装された被監視者監視方法は、被監視者Obの特性に応じて前記所定のパラメータの値を自動的に設定でき、より精度良く転倒を検出できる。
なお、被監視者監視システムMSは、第1実施形態のセンサ装置SUaの機能と第2実施形態のセンサ装置SUbの機能とを合わせ持つセンサ装置SUを備えても良い。
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
一態様にかかる被監視者監視装置は、監視対象である被監視者における所定の行動が異常であるか否かを判定するために用いられる所定のパラメータを記憶するパラメータ情報記憶部と、前記被監視者における前記所定の行動を検出する第1検出部と、前記第1検出部で検出した前記被監視者における所定の行動と前記パラメータ情報記憶部に記憶された前記所定のパラメータとに基づいて、前記被監視者における所定の行動が異常であるか否かを判定する異常判定部と、前記所定のパラメータに関わる所定の状態を検出する第2検出部と、前記第2検出部で所定の期間に亘って検出した複数の前記所定の状態に基づいて前記所定のパラメータの値を求め、前記求めた所定のパラメータの値を前記異常判定部で用いる前記所定のパラメータとして前記パラメータ情報記憶部に記憶するパラメータ設定部とを備える。
このような被監視者監視装置は、第2検出部およびパラメータ設定部を備え、前記第2検出部によって、前記所定のパラメータに関わる所定の状態を検出し、前記パラメータ設定部によって、前記第2検出部で所定の期間に亘って検出した複数の前記所定の状態に基づいて前記所定のパラメータの値を求め、この求めた所定のパラメータの値を異常判定部で用いる前記所定のパラメータとしてパラメータ情報記憶部に記憶する。このように上記被監視者監視装置は、自動的にパラメータを設定してカスタマイズできる。前記所定のパラメータの値は、前記第2検出部で所定の期間に亘って検出した複数の前記所定の状態に基づいて求められるので、上記被監視者監視装置は、より実情に合わせることができる。上記被監視者監視装置は、自動的にパラメータを設定するので、手間を低減でき、誤った被監視者に対しパラメータを設定することも低減できる。
他の一態様では、上述の被監視者監視装置において、前記所定のパラメータは、前記判定の対象となる判定領域であり、前記第2検出部は、前記被監視者の行動軌跡を前記所定の状態として検出し、前記パラメータ設定部は、前記第2検出部で所定の期間に亘って検出した複数の前記被監視者の行動軌跡に基づいて前記被監視者の行動領域を前記判定領域の値として求める。好ましくは、上述の被監視者監視装置において、前記第2検出部は、所定の対象領域を撮像する撮像部と、前記撮像部で撮像した前記所定の対象領域の対象画像に基づいて前記被監視者の行動軌跡を前記所定の状態として求める行動軌跡検出処理部とを備える。
このような被監視者監視装置は、前記第2検出部によって、前記被監視者の行動軌跡を前記所定の状態として検出し、前記パラメータ設定部によって、前記第2検出部で所定の期間に亘って検出した複数の前記被監視者の行動軌跡に基づいて前記被監視者の行動領域を前記判定領域の値として求めるので、被監視者の実行動に応じて前記判定領域を設定できる。
他の一態様では、上述の被監視者監視装置において、前記第2検出部は、さらに、カーテンの移動軌跡を前記所定の状態として検出し、前記パラメータ設定部は、さらに、前記第2検出部で所定の期間に亘って検出した複数の前記カーテンの移動軌跡に基づいて前記カーテンの移動領域を求め、前記求めたカーテンの移動領域を前記判定領域から除外する。好ましくは、上述の被監視者監視装置において、前記第2検出部は、所定の対象領域を撮像する撮像部と、前記撮像部で撮像した前記所定の対象領域の対象画像に基づいてカーテンの移動軌跡を前記所定の状態として求める移動軌跡検出処理部とを備える。
カーテンが動揺すると、被監視者における所定の行動と誤検出してしまう場合がある。上記被監視者監視装置は、前記第2検出部によって、さらに、カーテンの移動軌跡を前記所定の状態として検出し、前記パラメータ設定部によって、さらに、前記第2検出部で所定の期間に亘って検出した複数の前記カーテンの移動軌跡に基づいて前記カーテンの移動領域を求め、この求めたカーテンの移動領域を前記判定領域から除外するので、カーテンの動揺による前記誤検出を低減できる。
他の一態様では、これら上述の被監視者監視装置において、前記第2検出部は、所定の対象領域を撮像する撮像部と、前記撮像部で撮像した前記所定の対象領域の対象画像における各画素の各輝度を前記所定の状態として求める輝度検出処理部とを備え、前記パラメータ設定部は、さらに、前記第2検出部で所定の期間に亘って検出した複数の前記対象画像における各画素の各輝度値に基づいて同位置での輝度変動振幅が所定の輝度閾値以上の画素から成る輝度変動領域を求め、前記求めた輝度変動領域を前記判定領域から除外する。
被監視者やカーテン等が例えばテレビや鏡等に写り込むと、この写り込んだ像によって被監視者における所定の行動と誤検出してしまう場合がある。前記テレビや鏡等は、画像上では、輝度が大きく変動する。上記被監視者監視装置は、前記第2検出部によって、前記所定の対象領域の対象画像における各画素の各輝度を前記所定の状態として求め、前記パラメータ設定部によって、さらに、前記第2検出部で所定の期間に亘って検出した複数の前記対象画像における各画素の各輝度値に基づいて同位置での輝度変動振幅が所定の輝度閾値以上の画素から成る輝度変動領域を求め、この求めた輝度変動領域を前記判定領域から除外するので、写り込んだ像による前記誤検出を低減できる。
他の一態様では、上述の被監視者監視装置において、前記第1検出部は、所定の対象領域を上方から撮像する撮像部と、前記撮像部で撮像した前記所定の対象領域の対象画像に基づいて前記被監視者の頭部を検出し、前記検出した前記被監視者の頭部における大きさの時間変化に基づいて前記被監視者における前記所定の行動を検出する行動検出処理部とを備え、前記第2検出部は、前記第1検出部の前記撮像部で撮像した前記対象画像に基づいて前記被監視者における歩行速度および歩行時の大きさを前記所定の状態として検出し、前記パラメータ設定部は、前記第2検出部で所定の期間に亘って検出した複数の前記被監視者における歩行速度および歩行時の大きさに基づいて前記所定のパラメータの値を求める。好ましくは、上述の被監視者監視装置において、前記異常判定部は、前記第1検出部で検出した前記被監視者における所定の行動が転倒であって、かつ、前記被監視者における所定の行動が転倒であると検出した際の前記被監視者の頭部における大きさの時間変化が前記所定のパラメータの値(転倒判定閾値)以下の時間で完了した場合に、前記異常と判定する。
略直立で歩行できる被監視者は、比較的速い歩行速度で歩行でき、このような歩行態様から転倒してしまう場合、比較的急激に倒れ込む。一方、前屈みで歩行する被監視者は、比較的遅い歩行速度の歩行となり、転倒してしまう場合、比較的急激に倒れ込むだけでなく、ずるずると崩れ落ちるように倒れ込む場合もある。そして、上方から撮像された対象画像上では、前記略直立で歩行できる被監視者の大きさは、相対的に小さくなる一方、前屈みで歩行する被監視者の大きさは、相対的に大きくなる。上記被監視者監視装置は、前記パラメータ設定部によって、前記第2検出部で所定の期間に亘って検出した複数の前記被監視者における歩行速度および歩行時の大きさに基づいて前記所定のパラメータの値を求めるので、被監視者が略直立で歩行できる被監視者であるか前屈みで歩行する被監視者であるかを区別でき、その区別に応じた値で前記所定のパラメータの値を設定できる。このため、上記被監視者監視装置は、被監視者の特性に応じて前記所定のパラメータの値を自動的に設定でき、より精度良く転倒を検出できる。
他の一態様にかかる被監視者監視方法は、監視対象である被監視者における所定の行動を検出する第1検出工程と、前記第1検出工程で検出した前記被監視者における所定の行動と所定のパラメータとに基づいて、前記被監視者における所定の行動が異常であるか否かを判定する異常判定工程と、前記所定のパラメータに関わる所定の状態を所定の期間に亘って複数検出する第2検出工程と、前記第2検出工程で前記所定の期間に亘って検出した複数の前記所定の状態に基づいて前記所定のパラメータの値を求め、前記求めた所定のパラメータの値を前記異常判定工程で用いる前記所定のパラメータとしてパラメータ情報記憶部に記憶するパラメータ設定工程とを備える。
このような被監視者監視方法は、第2検出工程およびパラメータ設定工程を備え、前記第2検出工程によって、前記所定のパラメータに関わる所定の状態を検出し、前記パラメータ設定工程によって、前記第2検出工程で所定の期間に亘って検出した複数の前記所定の状態に基づいて前記所定のパラメータの値を求め、この求めた所定のパラメータの値を異常判定工程で用いる前記所定のパラメータとしてパラメータ情報記憶部に記憶する。このように上記被監視者監視方法は、自動的にパラメータを設定してカスタマイズできる。前記所定のパラメータの値は、前記第2検出工程で所定の期間に亘って検出した複数の前記所定の状態に基づいて求められるので、上記被監視者監視方法は、より実情に合わせることができる。上記被監視者監視方法は、自動的にパラメータを設定するので、手間を低減でき、誤った被監視者に対しパラメータを設定することも低減できる。
そして、他の一態様にかかる被監視者監視システムは、監視対象である被監視者における所定の行動を検出し、前記検出した前記被監視者における所定の行動が異常であると判定された場合に、前記異常を外部に報知する被監視者監視装置と、前記被監視者監視装置と通信可能に接続され、前記被監視者監視装置が報知した前記異常を受けて出力する端末装置とを備える被監視者監視システムであって、前記被監視者監視装置は、これら上述のいずれかの被監視者監視装置である。
これによれば、これら上述のいずれかの被監視者監視装置を用いた被監視者監視システムが提供でき、このような被監視者監視システムは、自動的にパラメータを設定してカスタマイズできる。
この出願は、2015年11月9日に出願された日本国特許出願特願2015−219309を基礎とするものであり、その内容は、本願に含まれるものである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。