JP6481537B2 - 被監視者監視装置および被監視者監視方法 - Google Patents

被監視者監視装置および被監視者監視方法 Download PDF

Info

Publication number
JP6481537B2
JP6481537B2 JP2015140776A JP2015140776A JP6481537B2 JP 6481537 B2 JP6481537 B2 JP 6481537B2 JP 2015140776 A JP2015140776 A JP 2015140776A JP 2015140776 A JP2015140776 A JP 2015140776A JP 6481537 B2 JP6481537 B2 JP 6481537B2
Authority
JP
Japan
Prior art keywords
head
unit
monitored person
region
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015140776A
Other languages
English (en)
Other versions
JP2017021718A (ja
Inventor
安紀 辻
安紀 辻
篤広 野田
篤広 野田
山下 雅宣
雅宣 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2015140776A priority Critical patent/JP6481537B2/ja
Publication of JP2017021718A publication Critical patent/JP2017021718A/ja
Application granted granted Critical
Publication of JP6481537B2 publication Critical patent/JP6481537B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、監視すべき監視対象である被監視者の頭部を検出する被監視者監視装置および被監視者監視方法に関する。
我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善および医療水準の向上等によって、高齢化社会、より詳しくは、総人口に対する65歳以上の人口の割合である高齢化率が21%を超える超高齢化社会になっている。また、2005年では、総人口約1億2765万人に対し65歳以上の高齢者人口は、約2556万人であったのに対し、2020年では、総人口約1億2411万人に対し高齢者人口は、約3456万人となる予測もある。このような高齢化社会では、高齢化社会ではない通常の社会で生じる、病気や怪我や高齢等による看護や介護を必要とする要看護者よりもその増加が見込まれる。そして、我が国は、例えば2013年の合計特殊出生率が1.43という少子化社会でもある。そのため、看護や介護の必要な高齢者を高齢の家族(配偶者、子、兄弟)が介護する老老介護も起きて来ている。
要看護者や要介護者は、病院や、老人福祉施設(日本の法令では老人短期入所施設、養護老人ホームおよび特別養護老人ホーム等)等の施設に入所し、その看護や介護を受ける。このような施設では、要看護者等が、例えばベッドからの転落や歩行中の転倒等によって怪我を負ったり、ベッドから抜け出して徘徊したりするなどの問題がある。このような事態に対し、可及的速やかに対応する必要があり、また、このような事態を放置しておくとさらに大きな問題に発展してしまう可能性もあるため、前記施設では、看護師や介護士等は、定期的に巡視することによってその安否や様子を確認している。
しかしながら、要看護者等の増加数に対し看護師等の増加数が追い付かずに、看護業界や介護業界では、慢性的に人手不足になっている。さらに、日勤の時間帯に較べ、準夜勤や夜勤の時間帯では、看護師や介護士等の人数が減るため、一人当たりの業務負荷が増大するので、前記業務負荷の軽減が要請される。また、前記老老介護の事態は、前記施設でも例外ではなく、高齢の要看護者等を高齢の看護師等がケアすることもしばしば見られる。一般に高齢になると体力が衰えるため、健康であっても若い看護師等に比し看護等の負担が重くなり、また、その動きや判断も遅くなる。
このような人手不足や看護師等の負担を軽減するため、看護業務や介護業務を補完する技術が求められている。このため、近年では、要看護者等の、監視すべき監視対象である被監視者を監視(モニタ)する被監視者監視装置が研究、開発されている。
このような技術の一つとして、例えば特許文献1に開示された転倒検知装置がある。この特許文献1に開示された転倒検知装置は、カメラと、カメラが出力する映像信号を取り込み、取り込まれた画像に対して差分処理を行う画像処理手段と、差分処理によって得られた差分領域の面積に基づいて人体の転倒動作を検知する判断手段とからなる。より具体的には、前記判断手段は、人体における単位時間当たりの面積変化で転倒の有無を判断している。
一方、安否確認の点では、一人暮らしの独居者も前記要看護者等と同様であり、監視対象である被監視者となる。
特開2000−207665号公報
ところで、転倒の有無によって画像に写る人体の領域の大きさが変化するので、前記特許文献1に開示された転倒検知装置は、人体領域における単位時間当たりの面積変化で転倒を検知しているが、転倒の有無によって画像に写る頭部の領域の大きさも変化するので、頭部領域の大きさによって転倒を検知する手法が考えられる。この手法では、上方から撮像した画像では、頭部は、略円形状に写るので、画像から円形状の領域が頭部領域として検出される。しかしながら、実際の画像には、枕、洗面器、ボール、ゴミ箱および布団の柄等の頭部ではない略円形状の物体も写り込むため、これらの物体の領域が頭部領域として誤検出され、転倒が誤検知されてしまう場合がある。
一方、これらの物体が定位置に存在すれば、定位置にあるこれら物体の領域を、頭部を検出する領域から予め除くことで、前記誤検知が回避できる。しかしながら、これらの物体は、必ずしも定位置に存在するとは、限らない。
本発明は、上述の事情に鑑みて為された発明であり、その目的は、被監視者を上方から撮像した画像に基づき被監視者の頭部をより精度良く検出できる被監視者監視装置および被監視者監視方法を提供することである。
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる被監視者監視装置は、監視対象である被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出部と、前記頭部検出部で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、前記頭部検出部は、前記監視対象である被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得部と、前記画像取得部で取得した画像に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出部と、前記画像取得部で取得した前記画像に基づいて、赤外光に対して所定の反射率以下の領域を低反射率領域として抽出する低反射率領域抽出部と、前記円形状領域抽出部で抽出した円形状領域および前記低反射率領域抽出部で抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出する頭部選定部とを含み、前記画像取得部は、前記被監視者の居室に配置され、前記行動検知部は、前記所定の行動として、前記被監視者の起床、離床または転倒を検知することを特徴とする。好ましくは、上述の被監視者監視装置において、前記被監視者全体を撮像できる蓋然性が高いことから、前記画像は、前記被監視者が横臥する寝具における、前記被監視者の頭部が位置すると予定されている予め設定された頭部予定位置の直上から撮像したものである。
発明者は、種々検討した結果、頭部が赤外光(赤外線)に対し比較的低反射率であることを見出した。この知見から、上記被監視者監視装置は、略円形状だけでなく赤外光に対する反射率も考慮して頭部を検出するので、被監視者を上方から撮像した画像に基づき被監視者の頭部をより精度良く検出できる。この結果、被監視者における所定の行動をより精度良く検知できる。
また、他の一態様では、上述の被監視者監視装置において、前記画像取得部で取得した前記画像に基づいて、所定のマーカーを検出するマーカー検出部をさらに備え、前記頭部選定部は、前記円形状領域抽出部で抽出した円形状領域、前記低反射率領域抽出部で抽出した低反射率領域および前記マーカー検出部で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出することを特徴とする。
このような被監視者監視装置は、さらにマーカーも考慮するので、さらに精度良く被監視者の頭部を検出できる。
また、他の一態様では、上述の被監視者監視装置において、前記頭部選定部は、前記円形状領域抽出部で抽出した円形状領域および前記低反射率領域抽出部で抽出した低反射率領域から前記マーカー検出部で検出したマーカーを持つ領域を除いた残余の前記円形状領域および前記低反射率領域に基づいて頭部の領域を選定して前記頭部を検出することを特徴とする。
頭部ではない頭部に近似するものにマーカーを付与することで、上記被監視者監視装置は、前記マーカーを持つ前記円形状領域および前記低反射率領域を除くことで、前記円形状領域抽出部で抽出した円形状領域および前記低反射率領域抽出部で抽出した低反射率領域から頭部ではない前記ものを除くことができ、より精度良く被監視者の頭部を検出できる。
また、他の一態様では、これら上述の被監視者監視装置において、前記低反射率領域抽出部は、前記円形状領域抽出部で抽出した円形状領域から、所定の反射率以下の領域を低反射率領域として抽出することを特徴とする。
このような被監視者監視装置は、前記円形状領域抽出部で抽出した円形状領域を頭部の領域(頭部領域)の候補として絞り込み、この絞り込んだ候補から赤外光に対する反射率を考慮して頭部を検出するので、前記画像取得部で取得した画像全体から低反射率領域を抽出する場合に比べて、単に反射率の低いものを誤検出することを低減できる。
また、他の一態様では、これら上述の被監視者監視装置において、前記円形状領域抽出部は、前記低反射率領域抽出部で抽出した低反射率領域から、略円形状の領域を円形状領域として抽出することを特徴とする。
このような被監視者監視装置は、前記低反射率領域抽出部で抽出した低反射率領域を頭部領域の候補として絞り込み、この絞り込んだ候補から略円形状を考慮して頭部を検出するので、前記画像取得部で取得した画像全体から略円形状の円形状領域を抽出する場合に比べて、情報処理量を低減できる。
また、他の一態様では、これら上述の被監視者監視装置において、前記マーカーは、特定の形状を持つマーカーであることを特徴とする。
このような被監視者監視装置は、特定の形状を持つマーカーを用いることで、マーカー検出部での誤検出を低減できる。
また、他の一態様では、これら上述の被監視者監視装置において、前記マーカーは、赤外光でのみ識別可能なマーカーであることを特徴とする。赤外光のみで識別可能な前記マーカーは、好ましくは、赤外光に対する頭部の反射率よりも高い反射率で赤外光を反射する素材、前記素材で形成されたシール、赤外光に対する頭部の反射率よりも高い反射率で赤外光を反射する顔料で形成された所定の形状、および、生地の織の密度の相違で形成された所定の形状のうちの1または複数の組合せである。
このような被監視者監視装置は、赤外光のみで識別可能なマーカーを用いることで、マーカー検出部での誤検出を低減できる。マーカーを可視できないので、上記被監視者監視装置は、被監視者監視装置に搭載された場合に、被監視者にマーカーの存在を認識させることなくマーカーによる違和感を与えることがない。
そして、本発明の他の一態様にかかる被監視者監視装置は、監視対象である被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出部と、前記頭部検出部で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、前記頭部検出部は、前記被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得部と、前記画像取得部で取得した画像に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出部と、前記画像取得部で取得した前記画像に基づいて、所定のマーカーを検出するマーカー検出部と、前記円形状領域抽出部で抽出した円形状領域および前記マーカー検出部で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出する第2頭部選定部とを含み、前記画像取得部は、前記被監視者の居室に配置され、前記行動検知部は、前記所定の行動として、前記被監視者の起床、離床または転倒を検知することを特徴とする。
このような被監視者監視装置は、略円形状だけでなくマーカーも考慮して頭部を検出するので、被監視者を上方から撮像した画像に基づき被監視者の頭部をより精度良く検出できる。この結果、被監視者における所定の行動をより精度良く検知できる。
また、他の一態様では、上述の被監視者監視装置において、前記第2頭部選定部は、前記円形状領域抽出部で抽出した円形状領域から前記マーカー検出部で検出したマーカーを持つ領域を除いた残余の前記円形状領域に基づいて頭部の領域を選定して前記頭部を検出することを特徴とする。
頭部ではない頭部に近似するものにマーカーを付与することで、上記被監視者監視装置は、前記マーカーを持つ前記円形状領域を除くことで、前記円形状領域抽出部で抽出した円形状領域から頭部ではない前記ものを除くことができ、より精度良く被監視者の頭部を検出できる。
また、他の一態様では、これら上述の被監視者監視装置において、前記マーカーは、特定の形状を持つマーカーであることを特徴とする。
このような被監視者監視装置は、特定の形状を持つマーカーを用いることで、マーカー検出部での誤検出を低減できる。
また、他の一態様では、これら上述の被監視者監視装置において、前記マーカーは、赤外光でのみ識別可能なマーカーであることを特徴とする。
このような被監視者監視装置は、赤外光のみで識別可能なマーカーを用いることで、マーカー検出部での誤検出を低減できる。マーカーを可視できないので、上記被監視者監視装置は、被監視者監視装置に搭載された場合に、被監視者にマーカーの存在を認識させることなくマーカーによる違和感を与えることがない。
そして、本発明の他の一態様にかかる被監視者監視方法は、監視対象である被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出工程と、前記頭部検出工程で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する行動検知工程と、前記行動検知工程で検知した前記所定の行動を外部に通知する通知工程とを備え、前記頭部検出工程は、前記被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得工程と、前記画像取得工程で取得した画像に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出工程と、前記画像取得工程で取得した前記画像に基づいて、赤外光に対して所定の反射率以下の領域を低反射率領域として抽出する低反射率領域抽出工程と、前記円形状領域抽出工程で抽出した円形状領域および前記低反射率領域抽出工程で抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出する頭部選定工程とを含み、前記画像取得工程では、前記被監視者の居室において前記被監視者を撮像した画像が取得され、前記行動検知工程では、前記所定の行動として、前記被監視者の起床、離床または転倒が検知されることを特徴とする。
このような被監視者監視方法は、略円形状だけでなく赤外光に対する反射率も考慮して頭部を検出するので、被監視者を上方から撮像した画像に基づき被監視者の頭部をより精度良く検出できる。この結果、被監視者における所定の行動をより精度良く検知できる。
また、本発明の他の一態様にかかる被監視者監視方法は、監視対象である被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出工程と、前記頭部検出工程で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する行動検知工程と、前記行動検知工程で検知した前記所定の行動を外部に通知する通知工程とを備え、前記頭部検出工程は、前記被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得工程と、前記画像取得工程で取得した画像に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出工程と、前記画像取得工程で取得した前記画像に基づいて、所定のマーカーを検出するマーカー検出工程と、前記円形状領域抽出工程で抽出した円形状領域および前記マーカー検出工程で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出する第2頭部選定工程とを含み、前記画像取得工程では、前記被監視者の居室において前記被監視者を撮像した画像が取得され、前記行動検知工程では、前記所定の行動として、前記被監視者の起床、離床または転倒が検知されることを特徴とする。
このような被監視者監視方法は、略円形状だけでなくマーカーも考慮して頭部を検出するので、被監視者を上方から撮像した画像に基づき被監視者の頭部をより精度良く検出できる。この結果、被監視者における所定の行動をより精度良く検知できる。
本発明にかかる被監視者監視装置および被監視者監視方法は、被監視者を上方から撮像した画像に基づき被監視者の頭部をより精度良く検出できる。
実施形態における被監視者監視システムの構成を示す図である。 第1実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。 実施形態の被監視者監視システムにおけるセンサ装置の配設の様子を示す図である。 第1実施形態の被監視者監視システムにおけるセンサ装置の第1態様の動作を示すフローチャートである。 第1実施形態の被監視者監視システムにおけるセンサ装置によって取得される画像の一例を説明するための図である。 布団の絵柄を示す図である。 第1実施形態の被監視者監視システムにおけるセンサ装置の第2態様の動作を示すフローチャートである。 第2実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。 第2実施形態の被監視者監視システムにおけるセンサ装置の第1態様の動作を示すフローチャートである。 第2実施形態の被監視者監視システムにおけるセンサ装置の第2態様の動作を示すフローチャートである。
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
本被監視者監視装置は、監視対象である被監視者における、予め設定された所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備えるものである。そして、上記被監視者監視装置は、前記被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出部をさらに備え、前記行動検知部は、一態様として、前記頭部検出部で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する。このような被監視者監視装置は、1個の機器として、一体に構成されて実現されて良く、また、システムとして、複数の機器で実現されて良い。そして、被監視者監視装置が複数の機器で実現される場合に、前記行動検知部は、これら複数の機器のうちのいずれに実装されて良い。一例として、ここでは、前記被監視者監視装置がシステムとして複数の機器で実現されている場合について、前記被監視者監視装置の実施形態を説明する。なお、前記被監視者監視装置が1個の機器として一体に構成されて実現される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。また、一例として、ここでは、前記行動検知部が前記頭部検出部および前記通知部と共に後述のセンサ装置SUに実装される場合について、説明するが、このシステムのうちの他の装置、例えば後述の管理サーバ装置SV、固定端末装置SPあるいは携帯端末装置TAに実装される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。
(第1実施形態)
図1は、実施形態における被監視者監視システムの構成を示す図である。図2は、第1実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図3は、実施形態の被監視者監視システムにおけるセンサ装置の配設の様子を示す図である。
前記被監視者監視装置をシステムとして実現したその一例の第1実施形態における被監視者監視システムMSaは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Ob(Ob−1〜Ob−4)における、予め設定された所定の行動を検知して前記被監視者Obを監視するものであり、例えば、図1に示すように、1または複数のセンサ装置SUa(SUa−1〜SUa−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備え、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SUa−1〜SUa−4、管理サーバ装置SV、固定端末装置SPおよび複数の携帯端末装置TA−1、TA−2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。
被監視者監視システムMSaは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSaは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
センサ装置SUaは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obを検知してその検知結果を管理サーバ装置SVへ送信する装置である。このようなセンサ装置SUaは、例えば、図2に示すように、センサ部1と、音入出力部2と、制御処理部3と、通信インターフェース部(通信IF部)4と、記憶部5とを備える。
センサ部1は、制御処理部3に接続され、制御処理部3の制御に従って、被監視者Obにおける予め設定された所定の諸量を検出する装置である。前記所定の諸量は、被監視者Obにおける検出すべき所定の行動に応じて適宜に決定される。本実施形態では、前記所定の行動は、被監視者Obの起床、離床、転倒および微体動異常である。これらを検出するために、センサ部1は、例えば、ドップラセンサ11と、カメラ12とを備える。
ドップラセンサ11は、送信波を送信し、物体で反射した前記送信波の反射波を受信し、前記送信波と前記反射波とに基づいてドップラ周波数成分のドップラ信号を出力する体動センサであり、前記ドップラ信号を制御処理部3へ出力する。前記送信波は、超音波やマイクロ波等であって良いが、本実施形態では、マイクロ波である。マイクロ波は、着衣を透過して被監視者Obの体表で反射できるため、被監視者Obが衣服を着ていても体表の動きを検知でき、好ましい。
カメラ12は、制御処理部3に接続され、制御処理部3の制御に従って、画像(画像データ)を生成する装置である。カメラ12は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室RM)を監視可能に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像を制御処理部3へ出力する。
本実施形態では、図3に示すように、被監視者Ob全体を撮像できる蓋然性が高いことから、カメラ12が、被監視者Obの横臥する例えばベッド等の寝具BTにおける、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように、センサ装置SUは、配設される。センサ装置SUは、前記センサ部1のドップラセンサ11によって、被監視者Obの上方から測定したドップラ信号を取得し、前記センサ部1のカメラ12によって、被監視者Obを、被監視者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。なお、図5を用いて後述するように、寝具BT上には、枕PIが置かれ、絵柄PTを含む布団BDが掛けられ、被監視者Obの居室RMには、ごみ箱WBおよび洗面器BAが置かれているが、図3には、これらの図示が省略されている。
このようなカメラ12は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外光の画像を生成する装置である。このようなカメラ12は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。カメラ12の結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
音入出力部2は、制御処理部3に接続され、外部の音を取得してセンサ装置SUに入力するための回路であって、制御処理部3の制御に従って音を表す電気信号に応じた音を生成して出力するための回路である。音入出力部2は、例えば、音の音響振動を電気信号に変換するマイクロホン等と、音の電気信号を音の音響振動に変換するスピーカ等とを備えて構成される。音入出力部2は、外部の音を表す電気信号を制御処理部3へ出力し、また、制御処理部3から入力された電気信号を音の音響振動に変換して出力する。
通信IF部4は、制御処理部3に接続され、制御処理部3の制御に従って通信を行うための通信回路である。通信IF部4は、制御処理部3から入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSaのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。通信IF部4は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部3が処理可能な形式のデータに変換して制御処理部3へ出力する。なお、通信IF部4は、さらに、例えば、Bluetooth(登録商標)規格、IrDA(Infrared Data Asscoiation)規格およびUSB(Universal Serial Bus)規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェース回路を備えても良い。
記憶部5は、制御処理部3に接続され、制御処理部3の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、被監視者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、センサ部1の出力に基づいて被監視者Obの頭部を検出する頭部検出処理プログラム、センサ部1の出力に基づいて被監視者Obにおける所定の行動を検知する行動検知処理プログラム、前記行動検知プログラムで検知した前記所定の行動を外部に通知する通知処理プログラム、カメラ12で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム、および、音入出力部2等を用いることで固定端末装置SPや携帯端末装置TAとの間で音声通話を行うナースコール処理プログラム等が含まれる。そして、前記頭部検出処理プログラムには、センサ部1のカメラ12によって取得した画像から被監視者Obの人体領域として動体領域を抽出する動体抽出プログラム、前記動体抽出プログラムで抽出した動体領域に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出プログラム、前記動体抽出プログラムで抽出した動体領域に基づいて、赤外光に対して所定の反射率以下の領域を低反射率領域として抽出する低反射率領域抽出プログラム、および、前記円形状領域抽出プログラムで抽出した円形状領域および前記低反射率領域抽出プログラムで抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出する頭部選定プログラム等が含まれる。行動検知処理プログラムは、一態様として、前記頭部検出処理プログラムで検出した被監視者Obの頭部に基づいて被監視者Obにおける所定の行動を検知する。前記各種の所定のデータには、これら各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。記憶部5は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部5は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部3のワーキングメモリとなるRAM(Random Access Memory)等を含む。
制御処理部3は、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ部1によって被監視者Obにおける予め設定された所定の諸量を検出し、この検出した前記所定の諸量に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部3は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部3は、前記制御処理プログラムが実行されることによって、制御部31、頭部検出処理部32、行動検知処理部33、通知処理部34、ストリーミング処理部35およびナースコール処理部36を機能的に備える。
制御部31は、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。
頭部検出処理部32は、センサ部1の出力に基づいて被監視者Obの頭部を検出するものである。より具体的には、頭部検出処理部32は、センサ部1のカメラ12で取得した、被監視者Obの上方から撮像した画像に基づいて被監視者Obの頭部を検出する。このために、頭部検出処理部32は、機能的に、動体抽出部321、円形状領域抽出部322、低反射率領域抽出部323および頭部選定部324を備える。
動体抽出部321は、センサ部1のカメラ12で取得した画像から例えば背景差分法やフレーム間差分法等の手法を用いることで被監視者Obの人体領域として動体領域を抽出するものである。前記背景差分法では、予め背景画像が求められて前記各種の所定のデータの1つとして記憶部5に予め記憶され、カメラ12によって生成された画像と前記背景画像との差分画像から動体の有無が判定され、この判定の結果、動体がある場合にはこの動体の領域が動体領域とされる。前記フレーム差分法では、カメラ12によって生成された、現在のフレームの画像と過去のフレーム(例えば1つ前のフレーム)の画像との差分画像から動体の有無が判定され、この判定の結果、動体がある場合にはこの動体の領域が動体領域とされる。動体抽出部321は、この抽出した動体領域を、後述の第1態様の動作では円形状領域抽出部322へ通知する一方、後述の第2態様の動作では低反射率領域抽出部323へ通知する。
円形状領域抽出部322は、センサ部1のカメラ12で取得した画像に基づいて、略円形状の領域を円形状領域として抽出するものである。上方から撮像した画像では、頭部は、略円形状に写るので、円形状領域を抽出することで前記頭部の候補となる領域(頭部候補領域)が抽出される。例えば、円形状領域抽出部322は、円形状を抽出するハフ変換を用いることで、センサ部1のカメラ12で取得した画像から円形状領域を抽出する。また例えば、頭部の形状パターンに対応する円形状の形状パターンが予め用意されて前記各種の所定のデータの1つとして記憶部5に予め記憶され、円形状領域抽出部322は、この記憶部5に予め記憶された前記円形状の形状パターンを、センサ部1のカメラ12で取得した画像からパターンマッチングを用いることで探索し、この円形状の形状パターンにマッチングする領域を前記円形状領域として抽出する。より具体的には、第1態様の動作では、円形状領域抽出部322は、動体抽出部321で抽出した動体領域から、例えば前記ハフ変換の手法や前記パターンマッチングの手法等によって円形状領域を抽出し、この抽出した円形状領域を低反射率領域抽出部323へ通知する。また、第2態様の動作では、円形状領域抽出部322は、後述するように低反射率領域抽出部323で抽出した低反射率領域から、例えば前記ハフ変換の手法や前記パターンマッチングの手法等によって円形状領域を抽出し、この抽出した円形状領域を頭部選定部324へ通知する。
低反射率領域抽出部323は、センサ部1のカメラ12で取得した画像に基づいて、赤外光に対して所定の反射率以下の領域を低反射率領域として抽出するものである。頭部は、赤外光に対し比較的低反射率であるので、低反射率領域を抽出することで前記頭部候補領域が抽出される。頭部は、赤外光に対し例えば9%、10%および11%等の低反射率であるので、例えば50%、好ましくは30%、さらに好ましくは10%等が閾値とされ、低反射率領域抽出部323は、センサ部1のカメラ12で取得した画像から前記閾値以下の領域を低反射率領域として抽出する。より具体的には、第1態様の動作では、低反射率領域抽出部323は、円形状領域抽出部322で抽出した円形状領域から、前記閾値以下の領域を低反射率領域として抽出し、この抽出した低反射率領域を頭部選定部324へ通知する。また、第2態様の動作では、低反射率領域抽出部323は、動体抽出部321で抽出した動体領域から、前記前記閾値以下の領域を低反射率領域として抽出し、この抽出した低反射率領域を円形状領域抽出部322へ通知する。
頭部選定部324は、前記円形状領域抽出部322で抽出した円形状領域および前記低反射率領域抽出部323で抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出するものである。より具体的には、第1態様の動作では、頭部選定部324は、低反射率領域抽出部323で抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部33へ通知する。本実施形態では、頭部選定部324は、デフォルトの閾値から所定値ずつ変化させることで低反射率領域が1個になるまで低反射率領域抽出部323に低反射率領域を抽出させ、この1個の低反射率領域を頭部(頭部領域)として選定して前記頭部を検出する。また、第2態様の動作では、頭部選定部324は、円形状領域抽出部322で抽出した円形状領域に基づいて頭部の領域を選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部33へ通知する。本実施形態では、頭部選定部324は、円形状領域抽出部322で抽出される円形状領域が1個になるまで、デフォルトの閾値から所定値ずつ変化させることで低反射率領域抽出部323に低反射率領域を抽出させ、この1個の円形状領域を頭部(頭部領域)として選定して前記頭部を検出する。
行動検知処理部33は、センサ部1の出力に基づいて被監視者Obにおける、予め設定された所定の行動を検知するものである。本実施形態では、上述したように、前記所定の行動は、被監視者Obの起床、離床、転倒および微体動異常であり、行動検知処理部33は、センサ部1の出力に基づいて被監視者Obにおける起床、離床、転倒および微体動異常を検知結果として検知し、その検知結果を通知処理部34へ通知する。例えば、行動検知処理部33は、頭部検出処理部32で検出した頭部(頭部領域)の高さ(大きさ)から被監視者Obの姿勢(例えば立位、座位および横臥等)を判定し、この検出した頭部の位置を検出し、これら判定、検出した被監視者Obの姿勢および位置に基づいて前記起床、離床および転倒の別を判定する。例えば、前記頭部(頭部領域)の高さ(大きさ)が寝具BT上に相当する高さ(大きさ)であり、前記頭部(頭部領域)の位置が寝具BT内である場合には、被監視者Obが寝具BTで横臥、すなわち、寝ていると、行動検知処理部33は、判定できる。また例えば、前記頭部(頭部領域)の高さ(大きさ)が座位に相当する高さ(大きさ)であり、前記頭部(頭部領域)の位置が寝具BT内である場合には、被監視者Obが起床したと、行動検知処理部33は、判定できる。また例えば、前記頭部(頭部領域)の高さ(大きさ)が立位に相当する高さ(大きさ)であり、前記頭部(頭部領域)の位置が寝具BT外である場合には、被監視者Obが離床したと、行動検知処理部33は、判定できる。また例えば、前記頭部(頭部領域)の高さ(大きさ)が床上に相当する高さ(大きさ)であり、前記頭部(頭部領域)の位置が寝具BT外である場合には、被監視者Obが転倒したと、行動検知処理部33は、判定できる。なお、記憶部5には、前記各種の所定のデータの1つとして、画像上での寝具BTの領域が予め記憶される。また、頭部(頭部領域)の高さは、被監視者Obの上方から画像を取得しているので、頭部(頭部領域)の大きさ(例えば横長、縦長、面積等)から求めることができる。また例えば、行動検知処理部33は、センサ部1のドップラセンサ11によって被監視者Obの呼吸動作に伴う胸部の体動(胸部の上下動)を検出し、その胸部の体動における周期の乱れや予め設定された閾値以下である前記胸部の体動における振幅を検知すると、前記微体動異常であると判定する。
通知処理部34は、行動検知処理部33で検知した前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常)を外部に通知するものである。より具体的には、通知処理部34は、検知した前記所定の行動(状態、状況)を表す情報(検知行動情報(本実施形態では起床、離床、転倒および微体動異常のうちの1または複数を表す情報))、前記所定の行動が検知された被監視者Obを特定し識別するための識別子情報(前記被監視者Obを検知しているセンサ装置SUaを特定し識別するための識別子情報)、および、前記所定の行動の検知に用いられた画像等を収容した通信信号(監視情報通信信号)を生成し、通信IF部4で管理サーバ装置SVへ送信する。
ストリーミング処理部35は、ネットワークNWおよび通信IF部4を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、センサ部1のカメラ12で生成した動画(例えばライブの動画)をストリーミング再生で通信IF部4およびネットワークNWを介して配信するものである。
ナースコール処理部36は、被監視者Obからナースコールを受け付ける図略のナースコール押しボタンスイッチでその入力操作を受け付けた場合に、通信IF部4およびネットワークNWを介して、固定端末装置SPまたは携帯端末装置TAとの間で音声通話を可能にするものである。
図1には、一例として、4個の第1ないし第4センサ装置SUa−1〜SUa−4が示されており、第1センサ装置SUa−1は、被監視者Obの一人であるAさんOb−1の居室RM−1(不図示)に配設され、第2センサ装置SUa−2は、被監視者Obの一人であるBさんOb−2の居室RM−2(不図示)に配設され、第3センサ装置SUa−3は、被監視者Obの一人であるCさんOb−3の居室RM−3(不図示)に配設され、そして、第4センサ装置SUa−4は、被監視者Obの一人であるDさんOb−4の居室RM−4(不図示)に配設されている。
なお、本実施形態では、カメラ12は、画像取得部の一例に相当し、頭部検出処理部32は、頭部検出装置の一例に相当する。すなわち、センサ装置SUaは、頭部検出装置を備えている。
管理サーバ装置SVは、ネットワークNWを介して他の装置SUa、SP、TAと通信する通信機能を備え、センサ装置SUaから被監視者Obに関する検知結果および前記被監視者Obの画像を受信して被監視者Obに対する監視に関する情報(監視情報)を管理する機器である。管理サーバ装置SVは、センサ装置SUaから被監視者Obに関する前記検知結果および前記被監視者Obの画像を受信すると、被監視者Obに対する監視に関する前記監視情報を記憶(記録)し、そして、被監視者Obに対する監視に関する前記監視情報を収容した通信信号(監視情報通信信号)を固定端末装置SPおよび携帯端末装置TAに送信する。また、管理サーバ装置SVは、クライアント(本実施形態では固定端末装置SPおよび携帯端末装置TA等)の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末装置SPは、ネットワークNWを介して他の装置SUa、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUaで得られた検知結果や画像を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUaと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUaに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUaで得られた前記検知結果や画像を表示したり等することによって、被監視者Obに対する監視に関する前記監視情報を受け付けて表示する機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、本実施形態の動作について説明する。このような構成の被監視者監視システムMSaでは、各装置SUa、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。また、センサ装置SUaでは、その制御処理プログラムの実行によって、制御処理部3には、制御部31、頭部検出処理部32、行動検知処理部33、通知処理部34、ストリーミング処理部35およびナースコール処理部36が機能的に構成され、頭部検出処理部32には、動体抽出部321、円形状領域抽出部322、低反射率領域抽出部323および頭部選定部324が機能的に構成される。
そして、上記構成の被監視者監視システムMSaは、大略、次の動作によって、各被監視者Obそれぞれを監視している。センサ装置SUaは、所定のサンプリング周期でセンサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得し、行動検知処理部33によって、このサンプリングおよび取得したドップラセンサ11の出力およびカメラ12の画像に基づいて被監視者Obにおける所定の行動(状態、状況)を判定し、この判定の結果、被監視者Obが予め設定された前記所定の行動(例えば、本実施形態では起床、離床、転倒および微体動異常等)であると判定すると、通知処理部34によって、被監視者Obの状態として判定された判定結果を表す判定結果情報や被監視者Obの静止画の画像データ等の監視情報を収容した通信信号(監視情報通信信号)をネットワークNWを介して管理サーバ装置SVへ送信する。なお、起床、離床および転倒を検知するための頭部を検出する動作(頭部検出動作)は、後に詳述する。
管理サーバ装置SVは、前記監視情報通信信号をネットワークNWを介してセンサ装置SUaから受信すると、この監視情報通信信号に収容された判定結果情報や静止画の画像データ等の監視情報をその記憶部に記憶(記録)する。そして、管理サーバ装置SVは、これら判定結果情報や静止画の画像データ等の監視情報を収容した監視情報通信信号を端末装置(本実施形態では固定端末装置SPおよび携帯端末装置TA)へ送信する。これによって被監視者Obの状態(状況)が端末装置SP、TAを介して例えば看護師や介護士等の監視者に報知される。
固定端末装置SPおよび携帯端末装置TAは、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この監視情報通信信号に収容された前記監視情報を表示する。このような動作によって、被監視者監視システムMSは、各センサ装置SUa、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obを検知して各被監視者Obを監視している。
次に、被監視者監視システムMSaにおける、頭部検出動作について、説明する。図4は、第1実施形態の被監視者監視システムにおけるセンサ装置の第1態様の動作を示すフローチャートである。図5は、第1実施形態の被監視者監視システムにおけるセンサ装置によって取得される画像の一例を説明するための図である。図6は、布団の絵柄を示す図である。図7は、第1実施形態の被監視者監視システムにおけるセンサ装置の第2態様の動作を示すフローチャートである。本実施形態におけるセンサ装置SUaは、例えば、図4に示す第1態様の動作によって頭部(頭部領域)を検出し、また例えば、図7に示す第2態様の動作によって頭部(頭部領域)を検出している。以下、前記第1態様の動作をまず説明し、次に、前記第2態様の動作について説明する。
まず、第1態様の動作について説明する。センサ装置SUaは、各サンプリングタイミングにおいて、センサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得するごとに、次のように動作することで、被監視者Obの頭部(頭部領域)を検出し、被監視者Obにおける所定の行動を検知している。
図4において、まず、制御処理部3は、センサ部1のドップラセンサ11からドップラ信号を取得し、センサ部1のカメラ12から画像(1フレーム分の画像)を取得する(S11)。カメラ12によって、例えば、図5に示す画像が取得される。この一例の図5に示す画像には、体幹BDおよび略円形状の頭部HDから成る被監視者Obだけでなく、寝具BT、寝具BT上の略円形状の枕PI、寝具BTに掛けられた布団BD、略円形状のごみ箱WBおよび略円形状の洗面器BAが写っている。布団BDは、円形状の絵柄PTを持ち、前記円形状の絵柄PTが前記画像に写っている。このような図5に示す画像に対し、略円形状の領域を抽出する処理だけで頭部HDを検出する場合では、頭部HDが検出されるだけでなく、枕PI、絵柄PT、ごみ箱WBおよび洗面器BAが頭部HDとして誤検出されてしまう虞がある。布団BDの絵柄PTは、図5に示す円形状だけではなく、例えば図6に示す形状も頭部HDとして誤検出されてしまう虞がある。この図6には、八角形(多角形の代表例)、V字状のギザギザで囲まれた略円形状、放射状に8個の三角形で囲まれた略円形状(太陽を模した形状)、放射状に複数の花弁で囲まれた3個の略円形状(花柄を模した3個の形状)、三角形および四角形が図示されている。三角形や四角形は、布団BDの歪みに伴ってその形状が歪むので、略円形状と誤検出される虞がある。このような誤検出を低減するために、本実施形態では、次のように前記画像が処理される。なお、これら枕PI、絵柄PT、ごみ箱WBおよび洗面器BAにおける赤外光に対する反射率は、その材質等により、大略、頭部における赤外光に対する反射率よりも高い(大きい)。
図4に戻って、次に、制御処理部3は、頭部検出処理部32の動体抽出部321によって、このカメラ12によって取得した画像から、例えば背景差分法やフレーム間差分法等の手法を用いることで被監視者Obの人体領域として動体領域を抽出する動体領域抽出処理を実行し、前記動体領域が抽出されたか否かを判定する(S12)。この判定の結果、前記動体領域が抽出されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記動体領域が抽出された場合(Yes)には、制御処理部3は、動体抽出部321によって抽出した前記動体領域を動体抽出部321から円形状領域抽出部322へ通知し、次の処理S13を実行する。
この処理S13では、制御処理部3は、頭部検出処理部32の円形状領域抽出部322によって、動体抽出部321で抽出された動体領域から、例えばハフ変換やパターンマッチング等の手法を用いることで略円形状の領域(円形状領域)を抽出する円形状領域抽出処理を実行し、前記円形状領域が抽出されたか否かを判定する。この判定の結果、前記円形状領域が抽出されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記円形状領域が抽出された場合(Yes)には、制御処理部3は、円形状領域抽出部322によって抽出した前記円形状領域を円形状領域抽出部322から低反射率領域抽出部323および頭部選定部324へ通知し、次の処理S14を実行する。
この処理S14では、制御処理部3は、頭部検出処理部32の頭部選定部324によって、円形状領域抽出部322で抽出した円形状領域が複数か否かを判定する。この判定の結果、前記円形状領域が複数ではない場合、すなわち、前記円形状領域が1個である場合(No)には、制御処理部3は、頭部選定部324によって、前記処理S13で抽出した前記円形状領域が頭部(頭部領域)であると選定し、頭部選定部324によって選定された頭部(頭部領域)を頭部検出処理部32から行動検知処理部33へ通知し、次の処理S15を実行する。一方、前記判定の結果、前記円形状領域が複数である場合(Yes)には、制御処理部3は、前記処理S13で抽出した複数の前記円形状領域の中に頭部(頭部領域)ではない物体も抽出されているとし、次の処理S17を実行する。
この処理S17では、制御処理部3は、頭部検出処理部32の低反射率領域抽出部323によって、前記処理S13で円形状領域抽出部322によって抽出した円形状領域から、前記閾値以下の領域を低反射率領域として抽出する低反射率領域抽出処理を実行し、次の処理S18を実行する。
この処理S18では、制御処理部3は、頭部検出処理部32の頭部選定部324によって、低反射率領域抽出部323で抽出した低反射率領域が1個か否かを判定する。この判定の結果、前記低反射率領域が1個である場合(Yes)には、制御処理部3は、頭部選定部324によって、前記処理S17で抽出した前記低反射率領域が頭部(頭部領域)であると選定し、頭部選定部324によって選定された頭部(頭部領域)を頭部検出処理部32から行動検知処理部33へ通知し、次の処理S15を実行する。一方、前記判定の結果、前記低反射率領域が1個ではない場合、すなわち、前記低反射率領域が複数である場合(No)には、制御処理部3は、前記処理S17で抽出した複数の前記低反射率領域の中に頭部(頭部領域)ではない物体も抽出されているとし、頭部選定部324によって、デフォルトの閾値(例えば50%や30%や10%等)から所定値(例えば0.5%や0.2%等)を減算することで前記閾値を再設定し(S19)、処理を処理S17に戻す。したがって、制御処理部3は、頭部選定部324によって前記デフォルトの閾値から所定値ずつ変化させることで、処理S17における低反射率領域抽出部323による低反射率領域抽出処理の実行によって円形状領域であって低反射率領域が1個になるまで、処理S17ないし処理S19を繰り返す。
例えば、上述の図5に示す画像では、枕PIや布団BDがずれることによって、また、ごみ箱WBや洗面器BAが動かされることによって、上述の処理S12および処理S13によって、頭部HDだけでなく、枕PI、絵柄PT、ごみ箱WBおよび洗面器BAも円形状領域として抽出される。仮に、絵柄PTが頭部(頭部領域)として誤検出されると、布団BDがずれ落ちた場合に、被監視者Obの転倒転落と誤検知されてしまう。しかしながら、本実施形態では、これら複数の円形状領域に対し、処理S14の実行を介して、処理S17ないし処理S19が実行される。ここで、これら枕PI、絵柄PT、ごみ箱WBおよび洗面器BAは、その素材(例えば布製、金属製、金属コーディング、プラスチック製および籐製等)により、赤外光に対する反射率が頭部における赤外光に対する反射率よりも大略高い(大きい)ので、処理S17ないし処理S19の実行によって、低反射率領域から除かれ、頭部HDのみが低反射率領域として残る。このように赤外光に対する反射率を考慮することで、頭部HDをより精度良く検出できる。
図4に戻って、処理S15では、上述の各処理S11〜S14、S17〜S19によって、頭部(頭部領域)が検出されたので、制御処理部3は、行動検知処理部33によって、センサ部1の出力に基づいて被監視者Obにおける、予め設定された所定の行動を検知する行動検知処理を実行し、前記所定の行動を検知したか否かを判定する。より具体的には、行動検知処理部33は、前記行動検知処理の一態様として、頭部検出処理部32で検出した頭部(頭部領域)の高さ(大きさ)から被監視者Obの姿勢(例えば立位、座位および横臥等)を判定し、この検出した頭部の位置を検出し、これら判定、検出した被監視者Obの姿勢および位置に基づいて前記起床、離床および転倒の別を判定する。行動検知処理部33は、前記行動検知処理の他の一態様として、センサ部1のドップラセンサ11によって被監視者Obの呼吸動作に伴う胸部の体動(胸部の上下動)を検出し、微体動異常の有無を判定する。この判定の結果、前記所定の行動が検知されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常のうちの少なくとも1つ)が検知された場合(Yes)には、制御処理部3は、処理S15で検知した前記所定の行動を通知処理部34へ通知し、次の処理S16を実行する。
この処理S16では、行動検知処理部33から被監視者Obにおける前記所定の行動が通知されると、通知処理部34は、その旨を上述の監視情報通信信号によって管理サーバ装置SVへ通知し、このタイミングでの処理を終了する。
次に、第2態様の動作について説明する。センサ装置SUaは、各サンプリングタイミングにおいて、センサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得するごとに、次のように動作することで、被監視者Obの頭部(頭部領域)を検出し、被監視者Obにおける所定の行動を検知している。
図7において、まず、制御処理部3は、上述の処理S11と同様に、センサ部1のドップラセンサ11からドップラ信号を取得し、センサ部1のカメラ12から画像(1フレーム分の画像)を取得する(S21)。
次に、制御処理部3は、上述の処理S12と同様に、頭部検出処理部32の動体抽出部321によって、前記動体領域抽出処理を実行し、前記動体領域が抽出されたか否かを判定する(S22)。この判定の結果、前記動体領域が抽出されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記動体領域が抽出された場合(Yes)には、制御処理部3は、動体抽出部321によって抽出した前記動体領域を動体抽出部321から低反射率領域抽出部323へ通知し、次の処理S23を実行する。
この処理S23では、制御処理部3は、頭部検出処理部32の低反射率領域抽出部323によって、前記処理S22で動体抽出部321によって抽出した動体領域から、前記閾値以下の領域を低反射率領域として抽出する低反射率領域抽出処理を実行し、低反射率領域抽出部323によって抽出した前記低反射率領域を低反射率領域抽出部323から円形状領域抽出部322へ通知し、次の処理S24を実行する。
この処理S24では、制御処理部3は、頭部検出処理部32の円形状領域抽出部322によって、低反射率領域抽出部323で抽出された低反射率領域から、例えばハフ変換やパターンマッチング等の手法を用いることで略円形状の領域(円形状領域)を抽出する円形状領域抽出処理を実行し、前記円形状領域が抽出されたか否かを判定する。この判定の結果、前記円形状領域が抽出されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記円形状領域が抽出された場合(Yes)には、制御処理部3は、円形状領域抽出部322によって抽出した前記円形状領域を円形状領域抽出部322から頭部選定部324へ通知し、次の処理S25を実行する。
この処理S25では、制御処理部3は、頭部検出処理部32の頭部選定部324によって、円形状領域抽出部322で抽出した円形状領域が1個か否かを判定する。この判定の結果、前記円形状領域が1個である場合(Yes)には、制御処理部3は、頭部選定部324によって、前記処理S24で抽出した前記円形状領域が頭部(頭部領域)であると選定し、頭部選定部324によって選定された頭部(頭部領域)を頭部検出処理部32から行動検知処理部33へ通知し、次の処理S26を実行する。一方、前記判定の結果、前記円形状領域が1個ではない場合、すなわち、前記円形状領域が複数である場合(No)には、制御処理部3は、前記処理S24で抽出した複数の前記円形状領域の中に頭部(頭部領域)ではない物体も抽出されているとし、頭部選定部324によって、デフォルトの閾値(例えば50%や30%や10%等)から所定値(例えば0.5%や0.2%等)を減算することで前記閾値を再設定し(S28)、処理を処理S23に戻す。したがって、制御処理部3は、頭部選定部324によって前記デフォルトの閾値から所定値ずつ変化させることで、処理S23における低反射率領域抽出部323による低反射率領域抽出処理の実行によって低反射率領域であって円形状領域が1個になるまで、処理S23〜S25、S28を繰り返す。
一方、処理S26では、上述の各処理S21〜S25、S28によって、頭部(頭部領域)が検出されたので、制御処理部3は、上述の処理S15と同様に、前記行動検知処理を実行し、前記所定の行動を検知したか否かを判定する。この判定の結果、前記所定の行動が検知されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常のうちの少なくとも1つ)が検知された場合(Yes)には、制御処理部3は、処理S26で検知した前記所定の行動を通知処理部34へ通知し、次の処理S27を実行する。
この処理S27では、行動検知処理部33から被監視者Obにおける前記所定の行動が通知されると、通知処理部34は、上述の処理S16と同様に、その旨を上述の監視情報通信信号によって管理サーバ装置SVへ通知し、このタイミングでの処理を終了する。
以上説明したように、被監視者監視装置の一例である被監視者監視システムMSaならびに頭部検出装置および頭部検出方法を用いたその一例のセンサ装置SUaは、略円形状だけでなく赤外光に対する反射率も考慮して頭部HDを検出するので、被監視者Obを上方から撮像した画像に基づき被監視者Obの頭部HDをより精度良く検出できる。この結果、上記被監視者監視システムMSaおよびセンサ装置SUaは、被監視者Obにおける所定の行動をより精度良く検知できる。
また、上記被監視者監視システムMSaおよびセンサ装置SUaは、上述の第1態様の動作において、円形状領域抽出部322で抽出した円形状領域を頭部領域の候補として絞り込み、この絞り込んだ候補から赤外光に対する反射率を考慮して頭部HDを検出するので、カメラ12で取得した画像全体から低反射率領域を抽出する場合に比べて、単に反射率の低いものを誤検出することを低減できる。
また、上記被監視者監視システムMSaおよびセンサ装置SUaは、上述の第2態様の動作において、低反射率領域抽出部323で抽出した低反射率領域を頭部領域の候補として絞り込み、この絞り込んだ候補から略円形状を考慮して頭部HDを検出するので、カメラ12で取得した画像全体から略円形状の円形状領域を抽出する場合に比べて、情報処理量を低減できる。
なお、上述の実施形態において、頭部ではない頭部に近似するものの誤検出をより低減するために、頭部ではない頭部に近似するものに所定のマーカーが付与されても良い。この場合では、頭部検出装置の一例であるセンサ装置SUaの頭部検出処理部32は、図2に破線で示すように、画像取得部の一例であるセンサ部1のカメラ12で取得した前記画像に基づいて、所定のマーカーを検出するマーカー検出部325を機能的にさらに備え、頭部選定部324は、円形状領域抽出部322で抽出した円形状領域、低反射率領域抽出部323で抽出した低反射率領域およびマーカー検出部325で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出する。このようなセンサ装置SUaは、さらにマーカーも考慮するので、さらに精度良く被監視者Obの頭部を検出できる。
より具体的には、頭部選定部324は、円形状領域抽出部322で抽出した円形状領域および低反射率領域抽出部323で抽出した低反射率領域からマーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記円形状領域および前記低反射率領域に基づいて頭部の領域を選定して前記頭部を検出する。この場合、例えば、上述の処理S12において、動体抽出部321で抽出した動体領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記動体領域に対し、上述の以降の各処理S13〜S19が実行される。また例えば、上述の処理S13において、円形状領域抽出部322で抽出された円形状領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記円形状領域に対し、上述の以降の各処理S14〜S19が実行される。また例えば、上述の処理S17において、低反射率領域抽出部323で抽出された低反射率領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記低反射率領域に対し、上述の以降の各処理S15〜S19が実行される。また例えば、上述の処理S22において、動体抽出部321で抽出した動体領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記動体領域に対し、上述の以降の各処理S23〜S28が実行される。また例えば、上述の処理S23において、低反射率領域抽出部323で抽出された低反射率領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記低反射率領域に対し、上述の以降の各処理S23〜S28が実行される。また例えば、上述の処理S24において、円形状領域抽出部322で抽出された円形状領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記円形状領域に対し、上述の以降の各処理S23〜S28が実行される。頭部ではない頭部に近似するものにマーカーを付与することで、このようなセンサ装置SUaは、前記マーカーを持つ前記円形状領域および前記低反射率領域を除くことで、円形状領域抽出部322で抽出した円形状領域および低反射率領域抽出部323で抽出した低反射率領域から頭部ではない前記ものを除くことができ、より精度良く被監視者Obの頭部を検出できる。
このようなマーカーは、好ましくは、特定の形状を持つマーカーである。例えば、ごみ箱WBの縁やベッド等の寝具BTの縁に、例えば矩形形状や円弧形状等のマーカーが貼付される。このようなセンサ装置SUaは、特定の形状を持つマーカーを用いることで、マーカー検出部325での誤検出を低減できる。また好ましくは、前記マーカーは、赤外光でのみ識別可能なマーカーである。この赤外光のみで識別可能な前記マーカーは、好ましくは、赤外光に対する頭部の反射率よりも高い反射率(例えば50%以上の反射率)で赤外光を反射する素材、前記素材で形成されたシール(例えば金属シールや木材シール等)、赤外光に対する頭部の反射率よりも高い反射率(例えば50%以上の反射率)で赤外光を反射する顔料(赤外線反射顔料)で形成された所定の形状、および、生地の織の密度の相違で形成された所定の形状のうちの1または複数の組合せである。例えば、布団BDや枕PIが高い反射率で赤外光を反射する前記素材で作成されることで、布団BDや枕PIにマーカーが付与される(布団BD自体や枕PI自体がマーカーとなる)。また例えば、綿や麻等の天然素材とポリエステル等の化学繊維素材とでは赤外光に対する反射率が異なるため、天然素材(または化学繊維素材)で作成された布団BDや枕PIに、化学繊維素材(または天然素材)の糸を縫い込むことで、布団BDや枕PIにマーカーが付与される。また例えば、織の密度で赤外光に対する反射率が異なるため、織の粗い生地(または織の密な生地)で作成された布団BDや枕PIに、織の密な所定形状の生地(または織の粗い生地)を縫い込むことで、布団BDや枕PIにマーカーが付与される。このようなセンサ装置SUaは、赤外光のみで識別可能なマーカーを用いることで、マーカー検出部325での誤検出を低減できる。マーカーを可視できないので、上記センサ装置SUは、被監視者監視システムMSaに用いられる場合に、被監視者Obにマーカーの存在を認識させることなくマーカーによる違和感を与えることがない。
次に、別の実施形態について説明する。
(第2実施形態)
図8は、第2実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。
前記被監視者監視装置をシステムとして実現したその一例の第2実施形態における被監視者監視システムMSbは、第1実施形態における被監視者監視システムMSaと同様に、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Ob(Ob−1〜Ob−4)における、予め設定された所定の行動を検知して前記被監視者Obを監視するものであり、例えば、1または複数のセンサ装置SUb(SUb−1〜SUb−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備える。すなわち、第2実施形態における被監視者監視システムMSbは、センサ装置SUaに代え、センサ装置SUbを備える点を除き、第1実施形態における被監視者監視システムMSaと同様である。このため、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAの説明を省略する。
センサ装置SUbは、センサ装置SUaと同様に、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obを検知してその検知結果を管理サーバ装置SVへ送信する装置である。このようなセンサ装置SUbは、例えば、図8に示すように、センサ部1と、音入出力部2と、制御処理部6と、通信インターフェース部(通信IF部)4と、記憶部7とを備える。すなわち、センサ装置SUbは、制御処理部3に代え制御処理部6を備え、記憶部5に代え記憶部7を備える点を除き、センサ装置SUaと同様である。このため、センサ部1、音入出力部2および通信IF部4の説明を省略する。
記憶部7は、制御処理部6に接続され、制御処理部6の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、被監視者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、センサ部1の出力に基づいて被監視者Obの頭部を検出する頭部検出処理プログラム、センサ部1の出力に基づいて被監視者Obにおける所定の行動を検知する行動検知処理プログラム、前記行動検知プログラムで検知した前記所定の行動を外部に通知する通知処理プログラム、カメラ12で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム、および、音入出力部2等を用いることで固定端末装置SPや携帯端末装置TAとの間で音声通話を行うナースコール処理プログラム等が含まれる。そして、前記頭部検出処理プログラムには、センサ部1のカメラ12によって取得した画像から被監視者Obの人体領域として動体領域を抽出する動体抽出プログラム、前記動体抽出プログラムで抽出した動体領域に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出プログラム、前記動体抽出プログラムで抽出した動体領域に基づいて、所定のマーカーを検出するマーカー検出プログラム、および、前記円形状領域抽出プログラムで抽出した円形状領域および前記マーカー検出プログラムで抽出したマーカーに基づいて頭部の領域を選定して前記頭部を検出する頭部選定プログラム等が含まれる。行動検知処理プログラムは、一態様として、前記頭部検出処理プログラムで検出した被監視者Obの頭部に基づいて被監視者Obにおける所定の行動を検知する。前記各種の所定のデータには、これら各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。記憶部7は、例えば不揮発性の記憶素子であるROMや書き換え可能な不揮発性の記憶素子であるEEPROM等を備える。そして、記憶部7は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部3のワーキングメモリとなるRAM等を含む。
制御処理部6は、センサ装置SUbの各部を当該各部の機能に応じてそれぞれ制御し、センサ部1によって被監視者Obにおける予め設定された所定の諸量を検出し、この検出した前記所定の諸量に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部6は、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部6は、前記制御処理プログラムが実行されることによって、制御部61、頭部検出処理部62、行動検知処理部63、通知処理部64、ストリーミング処理部65およびナースコール処理部66を機能的に備える。これら制御処理部6における制御部61、行動検知処理部63、通知処理部64、ストリーミング処理部65およびナースコール処理部66は、それぞれ、第1実施形態の制御処理部3における制御部31、行動検知処理部33、通知処理部34、ストリーミング処理部35およびナースコール処理部36と同様であるので、その説明を省略する。
頭部検出処理部62は、頭部検出処理部32と同様に、センサ部1の出力に基づいて被監視者Obの頭部を検出するものである。より具体的には、頭部検出処理部62は、センサ部1のカメラ12で取得した、被監視者Obの上方から撮像した画像に基づいて被監視者Obの頭部を検出する。このために、頭部検出処理部62は、機能的に、動体抽出部621、円形状領域抽出部632、マーカー検出部623および頭部選定部624を備える。
体動抽出部621は、動体抽出部321と同様に、センサ部1のカメラ12で取得した画像から例えば背景差分法やフレーム間差分法等の手法を用いることで被監視者Obの人体領域として動体領域を抽出するものである。動体抽出部621は、この抽出した動体領域を、後述の第1態様の動作では円形状領域抽出部622へ通知する一方、後述の第2態様の動作ではマーカー検出部623へ通知する。
円形状領域抽出部622は、円形状領域抽出部322と同様に、センサ部1のカメラ12で取得した画像に基づいて、略円形状の領域を円形状領域として抽出するものである。より具体的には、第1態様の動作では、円形状領域抽出部622は、動体抽出部621で抽出した動体領域から、例えば前記ハフ変換の手法や前記パターンマッチングの手法等によって円形状領域を抽出し、この抽出した円形状領域をマーカー検出部623へ通知する。また、第2態様の動作では、円形状領域抽出部322は、後述するようにマーカー検出部623で検出したマーカーの領域を除く残余の体動領域から、例えば前記ハフ変換の手法や前記パターンマッチングの手法等によって円形状領域を抽出し、この抽出した円形状領域を頭部選定部624へ通知する。
マーカー検出部623は、センサ部1のカメラ12で取得した画像に基づいて、所定のマーカーを検出するものである。前記所定のマーカーは、上述と同様に、頭部ではない頭部に近似するものの誤検出をより低減するために、頭部ではない頭部に近似するものに付与され、好ましくは、特定の形状を持つマーカーであり、また好ましくは、赤外光でのみ識別可能なマーカーである。より具体的には、第1態様の動作では、マーカー検出部623は、円形状領域抽出部622で抽出した円形状領域から、前記所定のマーカーを検出し、円形状領域抽出部622で抽出した前記円形状領域からこの検出したマーカーを持つ円形状領域を除く残余の円形状領域を頭部選定部624へ通知する。また、第2態様の動作では、マーカー検出部623は、動体抽出部621で抽出した動体領域から、前記所定のマーカーを検出し、動体抽出部621で抽出した動体領域からこの検出したマーカーを持つ体動領域を除く残余の体動領域を円形状領域抽出部622へ通知する。
頭部選定部624は、前記円形状領域抽出部622で抽出した円形状領域および前記マーカー検出部623で抽出した所定のマーカーに基づいて頭部の領域を選定して前記頭部を検出するものである。より具体的には、第1態様の動作では、頭部選定部624は、マーカー検出部623で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部63へ通知する。また、第2態様の動作では、頭部選定部624は、円形状領域抽出部622で抽出した円形状領域に基づいて頭部の領域を選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部63へ通知する。
このような構成の被監視者監視システムMSbでは、各装置SUb、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。また、センサ装置SUbでは、その制御処理プログラムの実行によって、制御処理部6には、制御部61、頭部検出処理部62、行動検知処理部63、通知処理部64、ストリーミング処理部65およびナースコール処理部66が機能的に構成され、頭部検出処理部62には、動体抽出部621、円形状領域抽出部622、低反射率領域抽出部623および頭部選定部624が機能的に構成される。そして、上記構成の被監視者監視システムMSbは、センサ装置SUbが後述のように動作する点を除き、上述した被監視者監視システムMSaと同様に動作するので、その説明を省略する。
次に、被監視者監視システムMSbにおける、頭部検出動作について、説明する。図9は、第2実施形態の被監視者監視システムにおけるセンサ装置の第1態様の動作を示すフローチャートである。図10は、第2実施形態の被監視者監視システムにおけるセンサ装置の第2態様の動作を示すフローチャートである。本実施形態におけるセンサ装置SUbは、例えば、図9に示す第1態様の動作によって頭部(頭部領域)を検出し、また例えば、図10に示す第2態様の動作によって頭部(頭部領域)を検出している。以下、前記第1態様の動作をまず説明し、次に、前記第2態様の動作について説明する。
まず、第1態様の動作について説明する。センサ装置SUbは、各サンプリングタイミングにおいて、センサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得するごとに、次のように動作することで、被監視者Obの頭部(頭部領域)を検出し、被監視者Obにおける所定の行動を検知している。
図9において、まず、制御処理部6は、上述の処理S11と同様に、センサ部1のドップラセンサ11からドップラ信号を取得し、センサ部1のカメラ12から画像(1フレーム分の画像)を取得する(S31)。
次に、制御処理部6は、上述の処理S12と同様に、頭部検出処理部62の動体抽出部621によって、前記動体領域抽出処理を実行し、前記動体領域が抽出されたか否かを判定する(S32)。この判定の結果、前記動体領域が抽出されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記動体領域が抽出された場合(Yes)には、制御処理部6は、動体抽出部621によって抽出した前記動体領域を動体抽出部621から円形状領域抽出部622へ通知し、次の処理S33を実行する。
この処理S33では、制御処理部6は、頭部検出処理部62の円形状領域抽出部622によって、動体抽出部321で抽出された動体領域から、例えばハフ変換やパターンマッチング等の手法を用いることで略円形状の領域(円形状領域)を抽出する円形状領域抽出処理を実行し、前記円形状領域が抽出されたか否かを判定する。この判定の結果、前記円形状領域が抽出されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記円形状領域が抽出された場合(Yes)には、制御処理部6は、円形状領域抽出部622によって抽出した前記円形状領域を円形状領域抽出部622からマーカー検出部623および頭部選定部624へ通知し、次の処理S34を実行する。
この処理S34では、制御処理部6は、頭部検出処理部62の頭部選定部624によって、円形状領域抽出部622で抽出した円形状領域が複数か否かを判定する。この判定の結果、前記円形状領域が複数ではない場合、すなわち、前記円形状領域が1個である場合(No)には、制御処理部6は、頭部選定部624によって、前記処理S33で抽出した前記円形状領域が頭部(頭部領域)であると選定し、頭部選定部624によって選定された頭部(頭部領域)を頭部検出処理部62から行動検知処理部63へ通知し、次の処理S35を実行する。一方、前記判定の結果、前記円形状領域が複数である場合(Yes)には、制御処理部6は、前記処理S33で抽出した複数の前記円形状領域の中に頭部(頭部領域)ではない物体も抽出されているとし、次の処理S37を実行する。
この処理S37では、制御処理部6は、頭部検出処理部62のマーカー検出部623によって、円形状領域抽出部622によって抽出した前記円形状領域から所定のマーカーを検出し、円形状領域抽出部622で抽出した前記円形状領域からこの検出したマーカーを持つ円形状領域を除く残余の円形状領域を頭部選定部624へ通知し、頭部選定部624によってマーカー検出部623によって除かれた残余の前記円形状領域を頭部の領域として選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部63へ通知し、次の処理S35を実行する。なお、制御処理部6は、マーカー検出部623によって除かれた残余の前記円形状領域を頭部の領域としてマーカー検出部623から行動検知処理部63へ通知してもよい。
この処理S35では、上述の各処理S31〜S34、S37によって、頭部(頭部領域)が検出されたので、制御処理部6は、上述の処理S15と同様に、行動検知処理部63によって、センサ部1の出力に基づいて被監視者Obにおける、予め設定された所定の行動を検知する行動検知処理を実行し、前記所定の行動を検知したか否かを判定する。この判定の結果、前記所定の行動が検知されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常のうちの少なくとも1つ)が検知された場合(Yes)には、制御処理部6は、処理S35で検知した前記所定の行動を通知処理部64へ通知し、次の処理S36を実行する。
この処理S36では、行動検知処理部63から被監視者Obにおける前記所定の行動が通知されると、通知処理部64は、その旨を上述の監視情報通信信号によって管理サーバ装置SVへ通知し、このタイミングでの処理を終了する。
次に、第2態様の動作について説明する。センサ装置SUbは、各サンプリングタイミングにおいて、センサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得するごとに、次のように動作することで、被監視者Obの頭部(頭部領域)を検出し、被監視者Obにおける所定の行動を検知している。
図10において、まず、制御処理部6は、上述の処理S11と同様に、センサ部1のドップラセンサ11からドップラ信号を取得し、センサ部1のカメラ12から画像(1フレーム分の画像)を取得する(S41)。
次に、制御処理部6は、上述の処理S12と同様に、頭部検出処理部62の動体抽出部621によって、前記動体領域抽出処理を実行し、前記動体領域が抽出されたか否かを判定する(S42)。この判定の結果、前記動体領域が抽出されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記動体領域が抽出された場合(Yes)には、制御処理部6は、動体抽出部621によって抽出した前記動体領域を動体抽出部621からマーカー検出部623へ通知し、次の処理S43を実行する。
この処理S43では、制御処理部6は、頭部検出処理部62のマーカー検出部623によって、体動抽出部621によって抽出した前記体動領域から所定のマーカーを検出し、体動抽出部621で抽出した前記体動領域からこの検出したマーカーを持つ体動領域を除く残余の体動領域を円形状領域抽出部622へ通知し、次の処理S44を実行する。
この処理S44では、制御処理部6は、頭部検出処理部62の円形状領域抽出部622によって、マーカー検出部623によってマーカーを持つ体動領域を除いた前記残余の体動領域から、例えばハフ変換やパターンマッチング等の手法を用いることで略円形状の領域(円形状領域)を抽出する円形状領域抽出処理を実行し、前記円形状領域が抽出されたか否かを判定する。この判定の結果、前記円形状領域が抽出されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記円形状領域が抽出された場合(Yes)には、制御処理部6は、円形状領域抽出部622によって抽出した前記円形状領域を円形状領域抽出部622から頭部選定部624へ通知し、頭部選定部624によって円形状領域抽出部622によって抽出した前記円形状領域を頭部の領域として選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部63へ通知し、次の処理S45を実行する。なお、制御処理部6は、円形状領域抽出部622によって抽出した前記円形状領域を頭部の領域として円形状領域抽出部622から行動検知処理部63へ通知してもよい。
この処理S45では、上述の各処理S41〜S44によって、頭部(頭部領域)が検出されたので、制御処理部6は、上述の処理S15と同様に、行動検知処理部63によって、センサ部1の出力に基づいて被監視者Obにおける、予め設定された所定の行動を検知する行動検知処理を実行し、前記所定の行動を検知したか否かを判定する。この判定の結果、前記所定の行動が検知されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常のうちの少なくとも1つ)が検知された場合(Yes)には、制御処理部6は、処理S45で検知した前記所定の行動を通知処理部64へ通知し、次の処理S46を実行する。
この処理S46では、行動検知処理部63から被監視者Obにおける前記所定の行動が通知されると、通知処理部64は、その旨を上述の監視情報通信信号によって管理サーバ装置SVへ通知し、このタイミングでの処理を終了する。
以上説明したように、被監視者監視装置の一例である被監視者監視システムMSbならびに頭部検出装置および頭部検出方法を用いたその一例のセンサ装置SUbは、略円形状だけでなくマーカーも考慮して頭部HDを検出するので、被監視者Obを上方から撮像した画像に基づき被監視者Obの頭部HDをより精度良く検出できる。この結果、上記被監視者監視システムMSbおよびセンサ装置SUbは、被監視者Obにおける所定の行動をより精度良く検知できる。
また、上記被監視者監視システムMSbおよびセンサ装置SUbは、上述の第1態様の動作において、円形状領域抽出部622で抽出した円形状領域を頭部領域の候補として絞り込み、この絞り込んだ候補から前記マーカーを持つ前記円形状領域を除くことで、円形状領域抽出部622で抽出した円形状領域から頭部ではない前記ものを除くことができ、より精度良く被監視者Obの頭部HDを検出できる。
また、上記被監視者監視システムMSbおよびセンサ装置SUbは、上述の第2態様の動作において、体動抽出部621で抽出した体動領域からマーカーを持つ体動領域を除くことで体動領域を絞り込み、この絞り込んだ体動領域から略円形状を考慮して頭部HDを検出するので、カメラ12で取得した画像全体から略円形状の円形状領域を抽出する場合に比べて、情報処理量を低減できる。
また、これら上述の実施形態において、寝具BT上は、安全であるという考えから、円形状領域が寝具BTの領域内で検出された場合には、この円形状領域が処理S15、処理S26、処理S35および処理S45それぞれでの前記行動検知処理の対象から除外されても良い。
また、これら上述の実施形態では、センサ装置SUa、SUbが前記行動検知部および前記通知部を備えたが、前記行動検知部および前記通知部は、管理サーバ装置SVに備えられても良く、また、固定端末装置SPに備えられても良く、また、携帯端末装置TAに備えられても良い。このような場合、センサ装置SUa、SUbからネットワークNWを介して被監視者Obの上方から撮像した画像およびドップラ信号を収容した通信信号を受信して取得する通信インターフェース等が、画像取得部の一例および測距部の一部の一例に相当することになる。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
Ob(Ob−1〜Ob−4) 被監視者
NS(NS−1、NS−2) 監視者(ユーザ)
MSa、MSb 被監視者監視システム
SUa、SUb センサ装置
SV 管理サーバ装置
SP 固定端末装置
TA 携帯端末装置
1 センサ部
3、6 制御処理部
4 通信インターフェース部(通信IF部)
5、7 記憶部
11 ドップラセンサ
12 カメラ(画像取得部の一例)
31、61 制御部
32、62 頭部検出処理部
33、63 行動検知処理部
34、64 通知処理部
321、621 動体抽出部
322、622 円形状領域抽出部
323 低反射率領域抽出部
324、624 頭部選定部
325、623 マーカー検出部

Claims (13)

  1. 監視対象である被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出部と、
    前記頭部検出部で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する行動検知部と、
    前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、
    前記頭部検出部は、
    前記被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得部と、
    前記画像取得部で取得した画像に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出部と、
    前記画像取得部で取得した前記画像に基づいて、赤外光に対して所定の反射率以下の領域を低反射率領域として抽出する低反射率領域抽出部と、
    前記円形状領域抽出部で抽出した円形状領域および前記低反射率領域抽出部で抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出する頭部選定部とを含み、
    前記画像取得部は、前記被監視者の居室に配置され、
    前記行動検知部は、前記所定の行動として、前記被監視者の起床、離床または転倒を検知すること
    を特徴とする被監視者監視装置。
  2. 前記画像取得部で取得した前記画像に基づいて、所定のマーカーを検出するマーカー検出部をさらに備え、
    前記頭部選定部は、前記円形状領域抽出部で抽出した円形状領域、前記低反射率領域抽出部で抽出した低反射率領域および前記マーカー検出部で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出すること
    を特徴とする請求項1に記載の被監視者監視装置。
  3. 前記頭部選定部は、前記円形状領域抽出部で抽出した円形状領域および前記低反射率領域抽出部で抽出した低反射率領域から前記マーカー検出部で検出したマーカーを持つ領域を除いた残余の前記円形状領域および前記低反射率領域に基づいて頭部の領域を選定して前記頭部を検出すること
    を特徴とする請求項2に記載の被監視者監視装置。
  4. 前記低反射率領域抽出部は、前記円形状領域抽出部で抽出した円形状領域から、所定の反射率以下の領域を低反射率領域として抽出すること
    を特徴とする請求項1ないし請求項3のいずれか1項に記載の被監視者監視装置。
  5. 前記円形状領域抽出部は、前記低反射率領域抽出部で抽出した低反射率領域から、略円形状の領域を円形状領域として抽出すること
    を特徴とする請求項1ないし請求項3のいずれか1項に記載の被監視者監視装置。
  6. 前記マーカーは、特定の形状を持つマーカーであること
    を特徴とする請求項2、請求項3、請求項2又は3を引用する請求項4、及び請求項2又は3を引用する請求項5のいずれか1項に記載の被監視者監視装置。
  7. 前記マーカーは、赤外光でのみ識別可能なマーカーであること
    を特徴とする請求項2、請求項3、請求項2又は3を引用する請求項4、請求項2又は3を引用する請求項5、及び請求項6のいずれか1項に記載の被監視者監視装置。
  8. 監視対象である被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出部と、
    前記頭部検出部で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する行動検知部と、
    前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、
    前記頭部検出部は、
    前記被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得部と、
    前記画像取得部で取得した画像に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出部と、
    前記画像取得部で取得した前記画像に基づいて、所定のマーカーを検出するマーカー検出部と、
    前記円形状領域抽出部で抽出した円形状領域および前記マーカー検出部で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出する第2頭部選定部とを含み、
    前記画像取得部は、前記被監視者の居室に配置され、
    前記行動検知部は、前記所定の行動として、前記被監視者の起床、離床または転倒を検知すること
    を特徴とする被監視者監視装置。
  9. 前記第2頭部選定部は、前記円形状領域抽出部で抽出した円形状領域から前記マーカー検出部で検出したマーカーを持つ領域を除いた残余の前記円形状領域に基づいて頭部の領域を選定して前記頭部を検出すること
    を特徴とする請求項8に記載の被監視者監視装置。
  10. 前記マーカーは、特定の形状を持つマーカーであること
    を特徴とする請求項8または請求項9に記載の被監視者監視装置。
  11. 前記マーカーは、赤外光でのみ識別可能なマーカーであること
    を特徴とする請求項8ないし請求項10のいずれか1項に記載の被監視者監視装置。
  12. 監視対象である被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出工程と、
    前記頭部検出工程で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する行動検知工程と、
    前記行動検知工程で検知した前記所定の行動を外部に通知する通知工程とを備え、
    前記頭部検出工程は、
    前記被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得工程と、
    前記画像取得工程で取得した画像に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出工程と、
    前記画像取得工程で取得した前記画像に基づいて、赤外光に対して所定の反射率以下の領域を低反射率領域として抽出する低反射率領域抽出工程と、
    前記円形状領域抽出工程で抽出した円形状領域および前記低反射率領域抽出工程で抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出する頭部選定工程とを含み、
    前記画像取得工程では、前記被監視者の居室において前記被監視者を撮像した画像が取得され、
    前記行動検知工程では、前記所定の行動として、前記被監視者の起床、離床または転倒が検知されること
    を特徴とする被監視者監視方法。
  13. 監視対象である被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出工程と、
    前記頭部検出工程で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する行動検知工程と、
    前記行動検知工程で検知した前記所定の行動を外部に通知する通知工程とを備え、
    前記頭部検出工程は、
    前記被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得工程と、
    前記画像取得工程で取得した画像に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出工程と、
    前記画像取得工程で取得した前記画像に基づいて、所定のマーカーを検出するマーカー検出工程と、
    前記円形状領域抽出工程で抽出した円形状領域および前記マーカー検出工程で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出する第2頭部選定工程とを含み、
    前記画像取得工程では、前記被監視者の居室において前記被監視者を撮像した画像が取得され、
    前記行動検知工程では、前記所定の行動として、前記被監視者の起床、離床または転倒が検知されること
    を特徴とする被監視者監視方法。
JP2015140776A 2015-07-14 2015-07-14 被監視者監視装置および被監視者監視方法 Active JP6481537B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015140776A JP6481537B2 (ja) 2015-07-14 2015-07-14 被監視者監視装置および被監視者監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015140776A JP6481537B2 (ja) 2015-07-14 2015-07-14 被監視者監視装置および被監視者監視方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019022635A Division JP6737355B2 (ja) 2019-02-12 2019-02-12 頭部検出装置および頭部検出方法ならびに被監視者監視装置

Publications (2)

Publication Number Publication Date
JP2017021718A JP2017021718A (ja) 2017-01-26
JP6481537B2 true JP6481537B2 (ja) 2019-03-13

Family

ID=57889870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015140776A Active JP6481537B2 (ja) 2015-07-14 2015-07-14 被監視者監視装置および被監視者監視方法

Country Status (1)

Country Link
JP (1) JP6481537B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723363A (zh) * 2021-07-28 2021-11-30 宁波星巡智能科技有限公司 基于连续帧的婴幼儿睡眠检测方法、装置、设备及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62177689A (ja) * 1986-01-30 1987-08-04 Mitsubishi Electric Corp 人数計数装置
JP3800257B2 (ja) * 1996-08-02 2006-07-26 オムロン株式会社 注目情報計測方法及び装置並びにそれを用いた各種システム
JP2005092451A (ja) * 2003-09-16 2005-04-07 Sony Corp 頭部検出装置及び頭部検出方法、並びに頭部検出プログラム
JP2007209008A (ja) * 2003-10-21 2007-08-16 Matsushita Electric Ind Co Ltd 監視装置
WO2006011593A1 (ja) * 2004-07-30 2006-02-02 Matsushita Electric Works, Ltd. 個体検出器及び共入り検出装置
EP2339507B1 (en) * 2009-12-28 2013-07-17 Softkinetic Software Head detection and localisation method
JP5679456B2 (ja) * 2011-12-05 2015-03-04 サクサ株式会社 人検出装置、人検出方法及び人検出プログラム
WO2014156733A1 (ja) * 2013-03-26 2014-10-02 株式会社日立国際電気 人数計数装置および人数計数方法

Also Published As

Publication number Publication date
JP2017021718A (ja) 2017-01-26

Similar Documents

Publication Publication Date Title
JP6115692B1 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
WO2017082037A1 (ja) 被監視者監視システムの中央処理装置および該方法ならびに前記被監視者監視システム
JP6292283B2 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
JP6852733B2 (ja) 生体監視装置及び生体監視方法
JP6988798B2 (ja) 見守りシステム
WO2017146012A1 (ja) 被監視者監視装置、該方法および該システム
WO2018003463A1 (ja) 被監視者監視システムの中央処理装置および中央処理方法ならびに被監視者監視システム
JPWO2017099091A1 (ja) 被監視者監視システムの中央処理装置および中央処理方法ならびに被監視者監視システム
JP7044060B2 (ja) 被監視者監視装置、該方法および該システム
JP6142975B1 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
JP6481537B2 (ja) 被監視者監視装置および被監視者監視方法
JP6226110B1 (ja) 被監視者監視装置、該方法および該システム
JP6696606B2 (ja) 介護支援システム、介護支援方法及びプログラム
JPWO2017195839A1 (ja) 被監視者監視システム、端末装置及び被監視者監視方法
JP6115689B1 (ja) 転倒検知装置および転倒検知方法ならびに被監視者監視装置
JP6737355B2 (ja) 頭部検出装置および頭部検出方法ならびに被監視者監視装置
JP6908028B2 (ja) 被監視者監視装置、該方法、該システムおよびプログラム
JP6946276B2 (ja) 被監視者監視システムの端末装置、端末装置の制御方法およびプログラムならびに被監視者監視システム
JP6292363B2 (ja) 端末装置および端末装置の表示方法ならびに被監視者監視システム
JP7259540B2 (ja) 判定装置、判定装置の制御プログラム、および判定方法
JP7352197B2 (ja) 移動行動異常判定装置および該方法ならびに被監視者監視支援システム
JPWO2018135316A1 (ja) ナースコールシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190128

R150 Certificate of patent or registration of utility model

Ref document number: 6481537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150