JP7237382B1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP7237382B1
JP7237382B1 JP2021211730A JP2021211730A JP7237382B1 JP 7237382 B1 JP7237382 B1 JP 7237382B1 JP 2021211730 A JP2021211730 A JP 2021211730A JP 2021211730 A JP2021211730 A JP 2021211730A JP 7237382 B1 JP7237382 B1 JP 7237382B1
Authority
JP
Japan
Prior art keywords
information
dangerous state
image
image processing
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021211730A
Other languages
English (en)
Other versions
JP2023095698A (ja
Inventor
良司 大津
清一 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINOUGIJUTSU CO., LTD.
Original Assignee
CHINOUGIJUTSU CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINOUGIJUTSU CO., LTD. filed Critical CHINOUGIJUTSU CO., LTD.
Priority to JP2021211730A priority Critical patent/JP7237382B1/ja
Application granted granted Critical
Publication of JP7237382B1 publication Critical patent/JP7237382B1/ja
Publication of JP2023095698A publication Critical patent/JP2023095698A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】検出対象者が危険な状態にあるか否かを、高い精度で判定することを可能にする、画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】画像処理装置(100)は、検出対象者を撮影した画像を受け取る画像受取部(102)と、前記画像において検出対象者の身体の複数の部位を特定し、特定した部位の位置情報を含む情報を検出するスケルトン検出部(104)と、少なくとも部位に応じて設定されており、位置情報に関する危険状態判定基準を格納した判定基準格納部(106)と、判定基準格納部から危険状態判定基準を取得し、位置情報及び危険状態判定基準を含む情報に基づいて、検出対象者が危険な状態にあるか否かを判定する危険状態判定部(108)と、危険状態判定部の判定結果を含む情報を出力する出力部(110)と、を備える。【選択図】図1

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
先行技術には、画像処理を用いて、検出対象者の転倒あるいは転落といった所定の事態が発生したか否かを判定する技術が存在する。
特許文献1には、対象者を撮影した画像に基づいて対象者の姿勢の候補を推定するとともに、対象者の所定部位(例えば頭部)の基準位置(例えば床)からの高さを特定し、前記候補を前記高さに基づいて補正して対象者の姿勢を推定し、推定された姿勢に基づいて対象者の行動を推定し、推定された行動が所定行動(転倒及び転落並びに起床及び離床)に含まれると判定された場合に、対象者の行動に関する情報を出力する画像処理システムが記載されている。例えば、立位の姿勢と臥位の姿勢とが時系列で連続する画像からそれぞれ推定された場合、当該システムは、対象者が転倒又は転落をしたと推定する。当該文献には、頭部を含む特徴点の検出、及び、かかる特徴点に基づく姿勢の候補の推定等に、ニューラルネットワークを用いることができることも、記載されている。
特許文献2には、対象者を撮像した画像から、人体における所定の第1部位(頭部)及び第2部位(体幹を含む本体部位)を抽出し、抽出した第1部位及び第2部位のそれぞれに基づいて所定の行動(転倒及び転落)の発生の有無について判定して第1判定結果及び第2判定結果を得、それら判定結果のうちの少なくとも一方に基づいて所定の行動の発生の有無について最終的に判定する行動検知装置が記載されている。
また、先行技術には、画像処理を用いて、検出対象者の状態について転落等の危険度合いを判定する技術が存在する。
特許文献3には、対象者のベッドを含む監視領域内のベッドの領域に設定される複数の判定領域ごとに、危険な状態を判定するための判定基準があらかじめ設定されており、前記監視領域を撮像した画像から、対象者の頭部を検出し、前記頭部が検出された位置に対応する判定領域の判定基準を用いて、対象者の状態の危険度合い(転落ないし転倒の危険度合い)を表すスコアを算出し、当該スコアの時間的な変化を表示装置に表示する見守り支援システムが記載されている。当該文献には、前記スコアの算出に関し、頭部の向き、頭部の移動速度、頭部の移動方向、頭部の移動ベクトルのうち少なくとも1つ以上の項目に基づいて前記スコアを算出することが、記載されている。
特開2021-33379号公報 特開2017-91552号公報 特開2019-8638号公報
開示の技術は、検出対象者が危険な状態にあるか否かを、高い精度で判定することを可能にする、画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
開示の技術によれば、検出対象者を撮影した画像を受け取る画像受取部と、前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出するスケルトン検出部と、少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を格納した判定基準格納部と、前記判定基準格納部から前記危険状態判定基準を取得し、前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定する危険状態判定部と、前記危険状態判定部の判定結果を含む情報を出力する出力部と、を備えた画像処理装置が提供される。
また、開示の技術によれば、コンピュータが実行する画像処理方法であって、検出対象者を撮影した画像を受け取ることと、前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出することと、少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を取得することと、前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定することと、前記判定の結果を含む情報を出力することと、を含む画像処理方法が提供される。
さらに、開示の技術によれば、検出対象者を撮影した画像を受け取り、前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出し、少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を取得し、前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定し、前記判定の結果を含む情報を出力する処理をコンピュータに実行させる画像処理プログラムが提供される。
開示の技術によれば、検出対象者が危険な状態にあるか否かを、高い精度で判定することを可能にする、画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。
図1は、開示の技術の実施形態の画像処理装置を概略的に示す機能ブロック図である。 図2は、実施形態の画像処理装置をより詳細に示す機能ブロック図である。 図3は、撮影装置及びベッドの配置例を示す図である。 図4は、画像におけるベッドの領域の設定例を示す図である。 図5は、ベッド上で臥位の姿勢にある検出対象者の画像から特定された特徴点及び身体の複数の部位の例を示す図である。 図6は、ベッド上で起き上がりの姿勢にある検出対象者の画像から特定された特徴点及び身体の複数の部位の例を示す図である。 図7は、検出対象者がベッド上で臥位にある場合において、壁に面しておらず柵がないベッド端部から検出対象者の頭部までのベッド面上距離を示す図である。 図8は、検出対象者がベッド上で臥位にある場合において、壁に面しておらず柵がないベッド端部から検出対象者の大腿部までのベッド面上距離を示す図である。 図9は、検出対象者の姿勢及び身体の部位の位置に関する危険状態判定基準であって、身体状態情報に応じて設定されている危険状態判定基準の例を示す図である。 図10は、図9にて検出対象者の姿勢がベッド上での臥位の場合における、検出対象者の頭部の位置に関する危険状態判定基準であって、身体状態情報に応じて設定されている危険状態判定基準の例を示す図である。 図11は、図9にて検出対象者の姿勢がベッド上での臥位の場合における、検出対象者の大腿部の位置に関する危険状態判定基準であって、身体状態情報に応じて設定されている危険状態判定基準の例を示す図である。 図12は、開示の技術の実施形態における処理の例を示すフローチャートである。 図13は、実施形態において、検出対象者の身体の複数の部位を特定し、特定された部位の位置情報を含む情報を検出する処理(サブルーチン)の例を示すフローチャートである。 図14は、実施形態において、検出対象者の姿勢を検出する処理(サブルーチン)の例を示すフローチャートである。 図15は、実施形態において、危険状態判定基準を取得する処理(サブルーチン)の例を示すフローチャートである。 図16は、実施形態において、検出対象者が危険な状態にあるか否かを判定する処理(サブルーチン)の例を示すフローチャートである。 図17は、実施形態において、判定の結果を含む情報を出力する処理(サブルーチン)の例を示すフローチャートである。 図18は、実施形態において、判定の結果を含む情報を訂正する情報を受け付け、受け付けた訂正する情報に基づいて危険状態判定基準及び学習済みモデルを更新する処理(サブルーチン)の例を示すフローチャートである。 図19は、実施形態の変形例における、検出対象者の頭部の位置に関する危険状態判定基準であって、身体状態情報に応じて設定されている危険状態判定基準の例を示す図である。 図20は、当該変形例における、検出対象者の大腿部の位置に関する危険状態判定基準であって、身体状態情報に応じて設定されている危険状態判定基準の例を示す図である。 図21は、当該変形例における処理の例を示すフローチャートである。 図22は、当該変形例において、検出対象者が危険な状態にあるか否かを判定する処理(サブルーチン)の例を示すフローチャートである。 図23は、実施形態における処理を実行するコンピュータのハードウェア構成を示す図である。
以下の実施形態の説明では、主として、検出対象者を撮影した画像がベッド上における当該検出対象者を撮影した画像を含む場合を例にして説明を行うが、開示の技術は、かかる適用に限定されるものではない。検出対象者を撮影した画像に基づき検出対象者が危険な状態にあるか否かを判定する場合一般に、開示の技術を適用することができることは、いうまでもない。
<実施形態の概要>
人が相対的な高所から低所に転落した場合には、重篤な事故となり得るが、物理的に転落を防止することには限界がある。例えば、ベッドからの転落を防止するためには、ベッドを柵で囲繞することが考えられるが、これを高齢者施設で行うことは、身体的拘束に該当し得る行為として、制限され得る。日本では、厚生労働省令である「指定介護老人福祉施設の人員、設備及び運営に関する基準」(2018年改正施行)において、「指定介護老人福祉施設は、・・・緊急やむを得ない場合を除き、身体的拘束その他入所者の行動を制限する行為・・・を行ってはならない。」(11条4項)と規定されている。その「身体的拘束その他入所者の行動を制限する行為」に該当する具体的行為には、「自分で降りられないように、ベッドを柵(サイドレール)で囲む」行為が含まれると解されてきている(「身体拘束ゼロへの手引き」,厚生労働省「身体拘束ゼロ作戦推進会議」発行(2001年))。そうした背景のもと、高齢者施設では、ベッド柵が上半身に対応する部分に限られ、結果的に、ベッド上の高齢者が例えば下半身より転落する事故の発生につながっている。また、鉄道の駅のプラットフォームからの転落を防止するために、プラットフォーム端ドアの設置等の対策が行われているが、既存の駅を改修して設置するには、時間と費用を要するため、設置の進捗には限界がある。さらに、建設作業現場では、作業床面等における開口部の周囲に手すりを設置して作業員の墜落ないし転落を防止することが行われているが、物品の搬出入等の作業のため、開口部の周囲の一部に手すりを設置しない箇所を設ける必要がある場合があり、そうした開口部に安全帯を使用していない作業員が接近すると、墜落ないし転落の危険が生ずる。
転落等への対策として、画像処理の技術を用いることが提案されている(例えば前記特許文献1~3)。しかしながら、転落等の事態が発生したか否かを判定する技術は、未然に事故を防止することに資するものではない。他方、転落等の危険度合いを判定する技術は、事故の防止に資し得るが、検出対象者の身体の一部分(例えば頭部)のみの検出に基づく判定では、当該一部分以外の身体の部位(例えば大腿部のような下半身の部位)が、危険を内包した領域(例えばベッドにおいては、壁に面しておらず柵もないベッド端部)に近接した場合の危険度合いを評価することができない。
画像処理を用いて転落等の事故の防止に資するためには、検出対象者を撮影した画像に基づき、転落等が発生する前の段階で、検出対象者が危険な状態にあるか否かを、高い精度で判定することを可能にすることが望まれる。例えばベッド上の検出対象者を考えると、頭部より転落した場合には身体に重篤な影響を及ぼす事故に至る危険性があることから、その危険性を当該判定に的確に反映させることを要する一方、既述のとおり、下半身より転落する事故が少なからず発生するおそれがあることから、その可能性も考慮することが望まれる。頭部より転落することも下半身より転落することもあり得ることは、鉄道の駅のプラットフォームからの転落の場合や、建設作業現場での墜落ないし転落の場合も、同様である。また、検出対象者の危険な状態は、転落のおそれがある場合に限られない。例えばベッド上の検出対象者にあっては、その身体状態により、単に上半身を起こす起き上がりであっても、危険な状態であると判定すべきこともある。このように、検出対象者が危険な状態にあるか否かを高い精度で判定するうえでは、検出対象者の身体の複数の部位に係る危険な状態の有無を評価できるようにすることが重要である。
開示の技術の実施形態は、如上の背景及び考慮事項を踏まえて構成されている。
図1は、開示の技術の一実施形態である画像処理装置(100)を概略的に示す機能ブロック図である。
当該実施形態の画像処理装置(100)は、検出対象者を撮影した画像を受け取る画像受取部(102)と、前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出するスケルトン検出部(104)と、少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を格納した判定基準格納部(106)と、前記判定基準格納部から前記危険状態判定基準を取得し、前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定する危険状態判定部(108)と、前記危険状態判定部の判定結果を含む情報を出力する出力部(110)と、を備える。
また、図12又は図21は、開示の技術の一実施形態である画像処理プログラムあるいは画像処理方法における処理(S1200,S2100)の例を示すフローチャートである。
当該実施形態においては、検出対象者を撮影した画像を受け取り(S1202,S2102)、前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出し(S1204,S2104)、少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を取得し(S1208,S2106)、前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定し(S1210,S2108)、前記判定の結果を含む情報を出力する(S1212,S2110)処理が実行される。
前記図1に示される実施形態及び前記図12又は図21に示される実施形態によれば、検出対象者を撮影した画像において特定された身体の複数の部位の位置情報、及び、それら部位に応じて設定されており前記位置情報に関する危険状態判定基準を含む情報に基づいて、当該検出対象者が危険な状態にあるか否かが判定されるため、検出対象者の身体の複数の部位に係る危険な状態の有無を反映した判定を行うことが可能となる。
ここで、ベッド上の検出対象者を考えると、身体の複数の部位として、例えば頭部及び大腿部が含まれるようにすることができる。これにより、当該実施形態によれば、頭部より転落した場合における身体に重篤な影響を及ぼす事故の可能性、及び、柵などがないベッド端部において下半身より転落する事故の可能性の双方を踏まえて、検出対象者が危険な状態にあるか否かを判定することができる。よって、転落の可能性を幅広く考慮に入れつつ、実際に転落が発生した場合における重篤性を身体の部位に応じて適切に重み付けした、危険性の判定が可能となる。このことは、検出対象者が危険な状態にあるか否かを適時かつ適切に判定することに資する。また、検出対象者の危険な状態は、転落のおそれがある場合に限られず、ベッド上の検出対象者の身体状態によっては、単に上半身を起こす起き上がりであっても、危険な状態であると判定すべきこともあるが、実施形態によれば、転落のおそれに限らず、身体の一部の位置変化に伴う危険な状態の発生も、適時かつ適切に判定することができる。
鉄道の駅のプラットフォームあるいは建設作業現場に適用する場合には、身体の複数の部位として、例えば頭部及び足先が含まれるようにすることができる。かかる場合にも、頭部より転落する可能性、及び、下半身より転落する可能性の双方を踏まえて、検出対象者が危険な状態にあるか否かを判定することができる。
以上のようにして、当該実施形態によれば、検出対象者が危険な状態にあるか否かを高い精度で判定することが可能となる。
図2は、実施形態の画像処理装置をより詳細に示す機能ブロック図である。
さらに具体的な実施形態では、画像処理装置は、検出対象者ごとの身体状態情報を格納した身体状態情報格納部をさらに有し、前記危険状態判定基準は、少なくとも前記部位及び前記身体状態情報に応じて設定されており、前記危険状態判定部は、前記身体状態情報格納部から前記検出対象者の前記身体状態情報を取得し、前記判定基準格納部から前記部位及び取得した前記身体状態情報に応じた前記危険状態判定基準を取得する。
当該実施形態によれば、検出対象者が危険な状態にあるか否かを、その検出対象者の身体状態に関する情報(身体状態情報)にも応じて、一層高い精度で判定することが可能となる。かかる身体状態情報は、ベッド上の検出対象者の場合、例えば、「起き上がり可、離床可」、「起き上がり可、離床不可」、及び「起き上がり不可、離床不可」といった、許容される動作ないし行動に関する情報であり得る。また、検出対象者が建設作業現場における作業員である場合、身体状態情報は、作業員が身体に装着している安全装備等の装備に関する情報、あるいは、作業員の身体機能や熟練度の相違を反映した身体的な状況対応力に関する情報であり得る。
実施形態において、検出対象者を撮影した画像は、赤外線画像であってよい。これにより、検出対象者が、寝具、厚い衣類、あるいはかさばる装備をまとっていても、検出対象者の身体の形状を良好に反映した画像を得ることができ、身体の部位を正確に特定すること、ひいては、検出対象者が危険な状態にあるか否かを高い精度で判定することに資する。
実施形態の具体例の一つでは、画像処理装置は、検出対象者を撮影した画像において前記検出対象者の姿勢を検出する姿勢検出部をさらに有し、前記危険状態判定基準は、前記位置情報及び前記姿勢に関する判定基準を有し、前記危険状態判定部は、前記位置情報、前記姿勢、及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定する。
当該実施形態によれば、例えば、検出対象者が危険な状態に対応する特定の態様の姿勢をとったか否かを踏まえて、検出対象者が危険な状態にあるか否かを判定することができ、一層高い精度での判定が可能となる。ベッド上の検出対象者の場合、例えば、ベッド上での立位、あるいはベッドに設置された柵からの乗り出しを、危険な状態に対応する姿勢として、危険状態判定基準に含ませることができる。加えて、検出対象者の身体状態によっては、ベッドの端に座る端座や、ベッド上での起き上がりの姿勢も、危険な状態に対応する姿勢として、危険状態判定基準に含ませることができる。また、検出対象者が鉄道の駅のプラットフォームを歩行する人である場合、あるいは、建設作業現場における作業員である場合、プラットフォーム端や開口部端に一定程度近接した領域における、一定程度以上の前のめり姿勢を、危険な状態に対応する姿勢として、危険状態判定基準に含ませることができる。
実施形態において、検出対象者の身体の複数の部位の特定及び特定された前記部位の位置情報を含む情報の検出、あるいは、検出対象者の姿勢の検出は、学習済みモデルに対する前記画像を含む情報の入力に応じて行われるように構成してよい。これにより、学習済みモデルによって検出対象者の画像から特徴点(例えば、頭部の中心及び関節点)を特定し、かかる特徴点に基づいて、身体の複数の部位及びそれらの位置、あるいは姿勢を検出することができ、もって、そうした検出を正確に行うこと、ひいては、検出対象者が危険な状態にあるか否かを高い精度で判定することに資する。
実施形態の具体例の一つでは、画像処理装置は、前記判定結果を含む情報を訂正する情報を受け付ける訂正情報受付部をさらに有し、訂正情報受付部から取得した前記訂正する情報に基づいて、前記危険状態判定基準、あるいは前記学習済みモデルが更新される。これにより、例えば、医療若しくは介護の専門家(看護師、介護士等)又は現場における適当な立場の者(駅員、建設現場の責任者等)が判断した結果である訂正情報を、危険状態判定基準、あるいは学習済みモデルの向上のために用いることができ、ひいては、検出対象者が危険な状態にあるか否かを高い精度で判定することに資する。
訂正情報の受付けにあたっては、前記出力部が入出力装置(例えば携帯端末)に対して前記判定結果を含む情報の出力を行うように構成し、訂正情報受付部が当該入出力装置から訂正情報を受け付けるようにすることができる。これにより、判定結果の確認及び訂正情報の入力を容易化することができる。
実施形態において、前記判定にあたり、少なくとも前記位置情報又は前記姿勢の履歴に基づいて、検出対象者が危険な状態にあるか否かの判定がなされるように構成してよい。これにより、位置情報又は姿勢の変化の態様、例えば位置情報又は姿勢の変化の速さに基づいて検出対象者が危険な状態にあるか否かの判定を行うことが可能となるため、検出対象者が危険な状態にあるか否かを高い精度で判定することに資し得る。また、位置情報又は姿勢の履歴が転落等の事故に至る可能性が高いパターンを示している場合には、それに応じて危険な状態にあるとの判定を行うことにより、検出対象者が危険な状態にあるか否かを高い精度で判定することに資し得る。さらに、例えば、ごく短時間のみ危険な状態が発生した後に、当該危険な状態が速やかに解消したような場合にも、危険な状態にあるとの判定がなされ、結果として当該判定に基づく危険状態の不必要な報知がなされるような状況を防止することが可能となる。
実施形態において、検出対象者ごとに前記判定の結果を含む情報を集計する構成を有するようにしてもよい。これにより、検出対象者ごとに危険な状態の発生に関する統計的データを蓄積することができ、危険な状態の発生に係る傾向の把握、さらには、危険な状態の発生を防止するための対策の検討に活用し得るうえ、対策(例えば、物理的な転落防止手段の改善、対象者が患者の場合における投薬を含む治療、リハビリテーション、対象者が作業員である場合における教育・訓練)をとったときの有効性の評価にも活かすことが可能となる。
実施形態において、前記位置情報は、前記部位と前記身体の周辺に存在する物体との相対的な位置関係に関する情報を含んでいてよい。相対的な位置関係の一例は、工場内の検出対象者の両手と、その周囲に存在する機械における、人の手に対する潜在的な危険性を有する部分との位置関係であり得る。
実施形態において、前記位置情報は、前記部位の前記身体を支持する物体の特定部分からの距離に関する情報を含んでいてよい。そのような特定部分からの距離の一例は、ベッド上における検出対象者の身体の部位の、ベッドの端部からのベッド面上距離であり得る。また、別な一例は、鉄道の駅のプラットフォーム上における検出対象者の身体の部位の、プラットフォームの線路側端部からの水平距離であり得る。さらに別な一例は、建設作業現場の作業床面上における検出対象者の身体の部位の、作業床面における開口部の端部からの水平距離であり得る。
実施形態において、前記画像は、ベッド上における検出対象者を撮影した画像を含み、前記部位は、前記検出対象者の頭部を含み、前記位置情報は、前記頭部の前記ベッドの端部からの距離に関する情報を含んでいてよい。その場合、前記危険状態判定基準は、前記頭部の前記端部からの距離に関する判定基準を含む。これにより、検出対象者が頭部より転落した場合における身体に重篤な影響を及ぼす事故の可能性を踏まえて、検出対象者が危険な状態にあるか否かを判定することができる。
実施形態において、前記画像がベッド上における前記検出対象者を撮影した画像を含む場合、前記危険状態判定基準は、さらに前記ベッドに設けられている柵に関する状況にも応じて設定されていてもよい。これにより、柵に関する状況、例えば柵の配置状況を踏まえて、検出対象者が危険な状態にあるか否かを判定することができ、検出対象者が危険な状態にあるか否かを高い精度で判定することに資し得る。
実施形態において、検出対象者が危険な状態にあるとの判定がなされた場合、前記部位に応じたレベルの報知をするように構成してもよい。これにより、医療若しくは介護の専門家(看護師、介護士等)又は現場における適当な立場の者(駅員、建設現場の責任者等)は、どのようなレベルの危険な状態が発生したかを、いち早く知ることができ、現場に急行して必要な対応をとることなどが可能となる。
以下、さらに図面を参照しながら、開示の実施形態の詳細について説明する。
本明細書及び図面に開示された動作フローの各ステップは、矛盾のない限り順番を入れ換えて実行されてもよい。また、複数のステップが同時に実行されてもよい。各ステップは、メモリに記憶されたプログラムを実行することにより実現されてもよい。また各ステップの一部は、オペレーティングシステムあるいはハードウェアにより実現されてもよい。
以下の実施形態は、装置の発明、方法の発明、プログラムの発明、及びプログラムを記録した記憶媒体の発明などのカテゴリとして把握され得る。
なお、「実施形態のプログラム又は方法」を、適宜、「実施形態のプログラム」と省略して記す。また、「処理をコンピュータに実行させる」との文言は、適宜省略する。
<実施形態の適用例>
まず、実施形態の適用例を説明する。当該例は、検出対象者を撮影した画像がベッド上における当該検出対象者を撮影した画像を含む場合である。
図3は、撮影装置及びベッドの配置例を示す図である。
(撮影装置及びベッド)
撮影装置300は、図1中の撮影装置120及び図2中の撮影装置230に対応したものであり、例えば、赤外線カメラあるいは赤外線距離画像センサからなる。当該撮影装置300は、検出対象者320用のベッド302及びその周辺を上方より俯瞰して撮影することができるよう、居室の壁面上部又は天井等の場所に設置されている。撮影画像には、動画像及び静止画像が含まれ得る。撮影装置300は、複数のカメラを有していてもよい。また、撮影装置300は、例えばLEDにより赤外線を撮影領域に向けて照射する照明装置を有していてもよい。さらに、撮影装置300は、前記のとおり赤外線距離画像センサであってもよい。
撮影装置300として赤外線カメラを用いることにより、検出対象者が寝具をまとっていても、検出対象者の身体の形状を良好に反映した画像を得ることができる。撮影装置300としては、可視光カメラを用いてもよく、赤外線カメラと可視光カメラを併用してもよい。
なお、実施形態のプログラムを実行するコンピュータが、エッジコンピューティング型のものとして、撮影装置300と一体的に設けられていてもよい。
ベッド302には、その周縁の一辺において、利用者(図示の場合においては検出対象者320)が通常の臥位をとった場合に上半身の少なくとも一部に対応する部分に、利用者のベッドからの転落、さらには寝具の落下を防止するのに資する、柵(サイドレール)304が設けられている。ただし、利用者が必要時にベッドから降りられるように、あるいは利用者の身体的拘束(既述)とみなされ得る状態を招かないように、下半身に対応する部分には、柵304は設けられていない。番号322は検出対象者320の頭部、番号326は大腿部である。
図4は、ベッド402上の検出対象者420を撮影装置により撮影した画像を模式的に例示した図であり、画像におけるベッドの領域の設定例も示す図である。
ベッド402は、二方面が居室の壁面に接する形で配置されており、長手方向のうち、壁面に接していないほうの一部には、柵(サイドレール)404が設置されている。具体的には、ベッド402の周囲四辺のうち、ベッド402の角部405及び407を結ぶ辺のうち、角部405と当該辺上の点406との間の部分(破線で図示)に柵404が設置されており、角部408及び409を結ぶ辺(一点鎖線で図示)、並びに、角部409及び405を結ぶ辺(同じく一点鎖線で図示)は、居室の壁面に接している。点406と角部407との間の部分(太実線で図示)、並びに、角部407及び408を結ぶ辺(同じく太実線で図示)は、居室の壁面に接しておらず、柵404も設けられていない部分である。
(ベッドの領域の設定)
実施形態の適用例においては、検出対象者の身体の複数の部位の位置情報、又は検出対象者の姿勢を検出する際の精度を向上させるため、ベッドの領域の設定を行うことができる。
かかるベッドの領域の設定は、手動又は自動で行い得る。手動で行う場合、実施形態のプログラムを実行するコンピュータが操作者に、画像上でベッドの四隅の位置を指定させることにより周囲四辺を入力させるようにすることができる。その際、ベッドの周囲四辺のうち、居室の壁面に接している部分、柵が設置されている部分、及び壁面に接しておらず柵も設置されていない部分を区別して入力できるようにしてよい。例えば、画像上でベッドの四隅の位置を指定することにより、画像上でベッドの周囲四辺が表示されるようにしてよく、その四辺は、既定の設定として、壁面に接しておらず柵も設置されていない部分とされ、その後、操作者が四辺の一部をなす線分を指定して当該既定の設定を変更し得るようにしてもよい。さらに、ベッドの上面(以下、「ベッド面」という。)の、長辺及び短辺の長さ、並びに居室床面からの高さを入力できるようにしてよい。
さらに、検出対象者が危険な状態にあるか否かについての判定において用い得るよう、例えば図7及び図8に示す領域AH1及びAH2並びに領域AT1及びAT2を、ベッド面において設定することができる。それら領域については、後述の「身体の複数の部位の特定及び位置情報の検出」の項にて説明する。当該領域は、危険状態の判定に用いられる身体の部位ごとに、当該領域の境界値を構成するベッド端部からの距離(例えば、後述の距離THh1及びTHh2並びに距離TTh1及びTTh2)を操作者に入力させることにより、画像上で設定され得る。あるいは、操作者が画像上で実際に境界線を引くことにより、当該領域の設定を行うようにしてもよい。
ベッドの領域の設定を自動で行う場合、実施形態のプログラムを実行するコンピュータが、撮影装置により撮影された画像に基づき、ベッド面を認識し、ベッドの周囲四辺を設定するように構成し得る。その際、コンピュータが柵及び居室の壁面を認識し、ベッドの周囲四辺のうち、居室の壁面に接している部分、柵が設置されている部分、及び壁面に接しておらず柵も設置されていない部分を区別して設定できるようにしてよく、さらに、同じく画像認識に基づき、ベッド面の、四隅の座標、長辺及び短辺の長さ、並びに居室床面からの高さが設定されるようにしてよい。そうした画像認識のために、学習済みモデルを用いてもよい。また、撮影装置として赤外線距離画像センサを使用する場合に得られる距離データを用いてもよい。自動で行われたベッドの領域の設定を操作者が修正できるようにしてもよい。
ベッドの領域の設定は、行わなくてもよい。
<実施形態の詳細>
次に、実施形態の詳細を説明する。
再び図2を参照し、撮影装置230が検出対象者を撮影した画像は、実施形態の画像処理装置の画像受取部202により受け取られる。
受け取られた画像に対して、前処理を施してもよい。前処理には、例えば、歪補正、輝度補正、サイズ変更、及びクリッピングがあり得る。前処理は、行わなくてもよい。
(身体の複数の部位の特定及び位置情報の検出)
実施形態において、検出対象者の身体の複数の部位の特定及び特定された部位の位置情報を含む情報の検出は、機械学習の技術を用い、学習済みモデル216(図2中の学習済みモデル1)に対する検出対象者を撮影した画像を含む情報の入力に応じて、スケルトン検出部204により行われる。具体的には、まず、検出対象者を撮影した画像が、スケルトン検出部204により、学習済みモデル216に入力される。既述したベッド領域の設定の結果も併せて、学習済みモデル216に入力されるようにしてもよい。これに対し、学習済みモデル216は、関節点を含む身体の各特徴点(例えば、頭部あるいは鼻並びに左右の目及び耳、首、左右の肩、左右の肘、左右の手首、左右の腰部、左右の膝、並びに左右の足首)を抽出し、それら特徴点の撮影画像上での位置(座標)をスケルトン検出部204に出力する。その出力を受けたスケルトン検出部204は、検出対象者の身体の複数の部位及びそれらの位置情報を検出する。身体の複数の部位には、例えば、検出対象者の頭部の中心(推定される頭部の中心又は推定される頭部の重心;以下、単に「頭部」ということがある。)及び大腿部の中心(推定される大腿部の中心;以下、単に「大腿部」ということがある。)が含まれ得る。スケルトン検出部204は、検出対象者の身体の複数の部位及びそれらの位置情報のほか、部位の移動の向き、部位の移動の速さ、顔の向き等も、併せて検出してもよい。学習済みモデル216は、ニューラルネットワークとして実現されていてもよい。
検出対象者の身体の複数の部位の位置情報は、例えば、検出対象者の頭部あるいは大腿部の、画像上での位置(座標)を含み得、あるいは、頭部あるいは大腿部の、ベッド端部からの距離に関する情報を含み得る。ここで、ベッド端部は、ベッドの周囲四辺のうち、壁面に接しておらず柵も設置されていない部分(以下、「壁・柵なしベッド端部」という。)であり得る。また、「距離」は、絶対値であり得、あるいは、検出対象者の身体の特定部分又はベッドの特定部分の長さを基準長さとし、その倍数で表される相対値でもあり得る。距離が絶対値である場合、ベッドの領域の設定において入力したベッド面の長辺及び短辺の長さ、あるいは、撮影装置に赤外線距離画像センサを使用したときに得られる距離データを用いるようにしてもよい。
図5及び図6は、ベッド上でそれぞれ臥位の姿勢及び起き上がりの姿勢にある検出対象者の画像から特定された、特徴点及び身体の複数の部位の例を示す図である。既述のとおり、特徴点には、例えば頭部及び関節点が含まれ得、特徴点から検出される身体の複数の部位には、例えば頭部及び大腿部が含まれ得る。
それら特徴点の特定は、学習済みモデル216によって画像から直接行われ得る。または、まず画像から学習済みモデル216若しくは公知のオブジェクト検出方法により人物領域を検出し、検出された個々の人物領域内で学習済みモデル216によって特徴点を特定することにより行われるようにしてもよい。
学習済みモデル216は、例えば、画像を入力とし、各特徴点の種類(既述のとおり、頭部、首、左右の肩、など)及び撮影画像上での位置(座標)を出力とする教師データを使用し、公知の機械学習手法により生成したものである。教師データにおける入力として、ベッド領域の設定の結果も、画像と併せて用いてもよい。
ここで、特に留意すべきことは、検出対象者が寝具を使用していることにより、特徴点の特定ができなくなったり、特徴点の特定の精度が著しく低下したりすることを、防止することである。例えば、検出対象者の身体は、掛け布団のために、外部からは頭部しか見えていない場合も少なくない。そこで、実施形態においては、まず、検出対象者を撮影した画像として、赤外線画像を用いている。これにより、検出対象者が、寝具あるいは厚い衣類をまとっていても、検出対象者の身体の形状を良好に反映した画像を得ることができる。次に、学習済みモデル216のための教師データには、掛け布団を掛けた人物を撮影した画像を入力として用い、正しい各特徴点の種類及び撮影画像上での位置(座標)を出力としたデータを含ませている。こうした教師データを使用して学習済みモデル216を生成することにより、当該学習済みモデル216は、検出対象者が掛け布団等の寝具を使用していても、掛け布団の中の身体形状についての適切な推測のもと、当該検出対象者の身体の各特徴点の位置を、高い精度で出力することができる。かかる実施形態の構成は、身体の部位を正確に特定すること、ひいては、検出対象者が危険な状態にあるか否かを高い精度で判定することに資する。
図7及び図8は、検出対象者がベッド上で臥位にある場合において、それぞれ頭部及び大腿部の位置情報の検出例を示している。当該位置情報は、検出対象者の身体について特定された各特徴点の位置に基づくものであり、検出対象者の身体の部位と身体の周辺に存在する物体との相対的な位置関係に関する情報を含み得る。より具体的には、位置情報は、検出対象者の頭部の中心723及び大腿部の中心827の、ベッド702,802の端部からの距離に関する情報、さらに具体的には、頭部の中心723及び大腿部の中心827の、壁・柵なしベッド端部からのベッド面上距離(それぞれ図7及び図8上に図示)を含み得る。図7において、壁・柵なしベッド端部から頭部の中心723までのベッド面上距離であるTHh1及びTHh2は、後述する、検出対象者の姿勢がベッド上での臥位の場合における、検出対象者の頭部の位置に関する危険状態判定基準において、用いられる距離である。また、領域AH1及びAH2は、それぞれ、壁・柵なしベッド端部からのベッド面上距離がTHh1以下のベッド面上領域、及び、壁・柵なしベッド端部からのベッド面上距離がTHh1を超えTHh2以下のベッド面上領域である。同様に、図8において、壁・柵なしベッド端部から大腿部の中心827までのベッド面上距離であるTTh1及びTTh2は、後述する、検出対象者の姿勢がベッド上での臥位の場合における、検出対象者の大腿部の位置に関する危険状態判定基準において、用いられる距離である。そして、領域AT1及びAT2は、それぞれ、壁・柵なしベッド端部からのベッド面上距離がTTh1以下のベッド面上領域、及び、壁・柵なしベッド端部からのベッド面上距離がTTh1を超えTTh2以下のベッド面上領域である。
図7を参照し、領域AH1及びAH2は、距離THh1及びTHh2が与えられれば、画像上で自動的に特定され得る。すなわち、既述の、ベッドの領域の設定において、ベッドの四隅の位置が指定され、さらに、ベッドの周囲四辺のうち、居室の壁面に接している部分、柵が設置されている部分、及び壁面に接しておらず柵も設置されていない部分が区別されて入力され、さらに、ベッド面の、長辺及び短辺の長さが入力されることにより、領域AH1及びAH2は、それぞれ、壁・柵なしベッド端部からのベッド面上距離がTHh1以下のベッド面上領域、及び、壁・柵なしベッド端部からのベッド面上距離がTHh1を超えTHh2以下のベッド面上領域として、特定され得る。
当該図7を参照し、身体の部位の位置情報として、頭部のベッド端部からの距離に関する情報を検出する場合における、検出方法の例を説明する。具体的には、危険状態判定部208において使用され得る位置情報である、壁・柵なしベッド端部から頭部の中心723までのベッド面上距離がTHh1以下であるか否かの情報、あるいは、壁・柵なしベッド端部から頭部の中心723までのベッド面上距離がTHh1を超えTHh2以下であるか否かの情報を、スケルトン検出部204は、例えば、次のようにして求め得る。まず、スケルトン検出部204は、学習済みモデル216に対する画像の入力に応じて当該学習済みモデル216から出力として得られる、特徴点の種類及び画像上での位置に基づき、頭部の中心723の画像上での位置を求める。次に、スケルトン検出部204は、頭部の中心723の画像上での位置が、ベッド面上の距離THh1及びTHh2に応じて既述のとおり特定される領域AH1又はAH2内にあるか否かを判断し、その判断を位置情報として出力する。そして、後述の姿勢検出部214により、検出対象者の姿勢がベッド上での臥位に該当すると判断された場合、図10に関連して後述するとおり、危険状態判定判定部208は、当該位置情報を、危険状態判定基準とともに、検出対象者が危険な状態にあるか否かの判定に用いる。なお、頭部の中心723のベッド面からの高さが相対的に大きい場合には、頭部の中心723の画像上での位置が領域AH1又はAH2内にあるか否かをもって、壁・柵なしベッド端部から頭部の中心723までのベッド面上距離がTHh1以下であるか否か、あるいは、壁・柵なしベッド端部から頭部の中心723までのベッド面上距離がTHh1を超えTHh2以下であるか否かを判断することは適当ではない。しかしながら、頭部の中心723の画像上での位置が領域AH1又はAH2内にあるか否かの情報は、上述のとおり、検出対象者の姿勢がベッド上での臥位に該当する場合に使用するものであるため、問題はない。
図8を参照し、領域AT1及びAT2は、図7に関して説明したのと同様にして、距離TTh1及びTTh2が与えられれば、画像上で自動的に特定され得る。
また、当該図8を参照し、大腿部のベッド端部からの距離に関する情報として、壁・柵なしベッド端部から大腿部の中心827までのベッド面上距離がTTh1以下であるか否かの情報、あるいは、壁・柵なしベッド端部から大腿部の中心827までのベッド面上距離がTTh1を超えTTh2以下であるか否かの情報を、スケルトン検出部204は、図7に関して説明したのと同様にして、求め得る。当該情報は、危険状態判定部208において使用され得る。
(姿勢の検出)
実施形態において、検出対象者の姿勢の検出は、機械学習の技術を用い、学習済みモデル218に対する検出対象者を撮影した画像を含む情報の入力に応じて、姿勢検出部214により行われる。具体的には、まず、検出対象者を撮影した画像が、姿勢検出部214により、学習済みモデル218(図2中の学習済みモデル2)に入力される。既述したベッド領域の設定の結果も併せて、学習済みモデル218に入力されるようにしてもよい。これに対し、学習済みモデル218は、前記学習済みモデル216と同様に、関節点を含む身体の各特徴点を抽出するが、前記学習済みモデル216とは異なり、それら特徴点の配置に基づき、検出対象者の姿勢に関する情報を姿勢検出部214に出力する。その出力を受けた姿勢検出部214は、検出対象者の姿勢を検出する。検出される姿勢には、例えば、「ベッド上での立位」、「柵からの乗り出し」、「四つ這い」、「端座」(ここでは、ベッドの端部に腰掛けた姿勢を意味する。)、「離床」、「起き上がり」、「ベッド外での臥位」、及び「ベッド上での臥位」が含まれ得る。学習済みモデル218は、ニューラルネットワークとして実現されていてもよい。
姿勢の検出は、前記学習済みモデル216の場合と同様、学習済みモデル218によって画像から直接行われ得る。または、これも前記学習済みモデル216の場合と同様、まず画像から学習済みモデル218若しくは公知のオブジェクト検出方法により人物領域を検出し、検出された個々の人物領域内で学習済みモデル218によって姿勢を検出することにより行われるようにしてもよい。
学習済みモデル218は、例えば、画像を入力とし、姿勢を出力とする教師データを使用し、公知の機械学習手法により生成したものである。教師データにおける入力として、ベッド領域の設定の結果も、画像と併せて用いてもよい。
ここで、前記学習済みモデル216の場合と同様、特に留意すべきことは、検出対象者が寝具を使用していることにより、姿勢の検出ができなくなったり、姿勢の検出の精度が著しく低下したりすることを、防止することである。そこで、実施形態においては、検出対象者を撮影した画像として、赤外線画像を用いているとともに、学習済みモデル218のための教師データには、掛け布団を掛けた人物を撮影した画像を入力として用い、正しい姿勢を出力としたデータを含ませている。こうした教師データを使用して学習済みモデル218を生成することにより、当該学習済みモデル218は、検出対象者が掛け布団等の寝具を使用していても、掛け布団の中の身体形状についての適切な推測のもと、当該検出対象者の姿勢を、高い精度で出力することができる。
実施形態についてのこれまでの説明においては、検出対象者の身体の部位を特定し、特定された部位の位置情報を含む情報を検出するために用いられる学習済みモデル216と、検出対象者の姿勢を検出するために用いられる学習済みモデル218とが、別個のものである形態を説明したが、双方の機能を有する、統合された学習済みモデルを用いるようにしてもよい。
(身体状態情報の格納)
実施形態の画像処理装置は、検出対象者ごとの身体状態情報を格納した身体状態情報格納部212を有しており、危険状態判定基準は、少なくとも検出対象者の身体の部位及び当該身体状態情報に応じて設定されている。かかる身体状態情報は、ベッド上の検出対象者の場合、例えば、「起き上がり可、離床可」、「起き上がり可、離床不可」、及び「起き上がり不可、離床不可」といった、許容される動作ないし行動に関する情報であり得る。これは、個々の検出対象者の身体状態によって、当該検出対象者に許容される動作ないし行動が異なり得、何が危険状態であるかも異なり得るからである。そして、実施形態の危険状態判定基準は、後述するように、そうした身体状態情報に応じて設定されている特定の姿勢の危険度の情報及び身体の部位の位置に関する危険度の情報を有している。
前記身体状態情報格納部212においては、個々の撮影装置に紐づける形で身体状態情報を格納することにより、当該撮影装置が撮影対象とする検出対象者の身体状態情報を格納することができる。例えば、図3を参照し、特定の撮影装置300が撮影するベッド302が、特定の検出対象者320の使用するベッドである場合、身体状態情報格納部212には、当該撮影装置300に紐づける形で、その検出対象者320の身体状態情報を格納する。これにより、実施形態の画像処理装置は、当該撮影装置300から受け取った画像に撮影されている人物(検出対象者320)に対し、当該撮影装置300に紐づける形で格納されている、検出対象者320の身体状態情報を適用することができる。なお、特定の撮影装置300が撮影するベッド302が、特定の検出対象者320の使用するベッドであるという情報は、操作者の入力に基づいて画像処理装置が有していてよい。
画像処理装置又は画像処理装置と連携して動作する装置が、撮影された画像中の人物を個人として識別する機能を有する場合には、身体状態情報格納部212は、個々の検出対象者に直接紐づける形で、当該検出対象者の身体状態情報を格納するものであってよい。
(検出対象者が危険な状態にあるか否かの判定)
実施形態の画像処理装置においては、その判定基準格納部206に、図9~11に示す危険状態判定基準が格納されている。当該危険状態判定基準は、検出対象者の身体の部位及び身体状態情報に応じて設定されており、検出対象者の姿勢及び身体の部位の位置情報に関する判定基準となっている。
具体的には、危険状態判定基準は、次の3種類の身体状態情報に応じて設定されている。すなわち、「(a)身体状態が、起き上がり可、離床可の場合」、「(b)身体状態が、起き上がり可、離床不可の場合」、及び「(c)身体状態が、起き上がり不可、離床不可の場合」の3種類である。
実施形態の危険状態判定基準においては、図9に示すように、それら3種類の身体状態情報に応じて、特定の姿勢に対し「危険度」の情報が設定されている。特定の姿勢の例は、前記姿勢検出部214が検出し得る姿勢に含まれる、「ベッド上での立位」、「柵からの乗り出し」、「四つ這い」、「端座」、「離床」、「起き上がり」、「ベッド外での臥位」、及び「ベッド上での臥位」である。図示の実施形態では、こうした姿勢のうち「ベッド上での臥位」を除く姿勢に対して、「0」から「5」の6段階の「危険度」(数字が大きいほど危険度が高い。)が、身体状態情報に応じて設定されている(図9において、危険度0の表示は省略している。)。例えば、「ベッド上での立位」に対応する姿勢は、身体状態の別によらず、危険度5の危険な姿勢として設定されている一方、「離床」に対応する姿勢は、身体状態が(a)の「起き上がり可、離床可」である場合には、危険度0であるが、身体状態が(b)の「起き上がり可、離床不可」である場合には、危険度4の危険な姿勢として設定されている。また、「端座」に対応する姿勢は、離床の前段階の姿勢となり得ることから、身体状態が(b)の「起き上がり可、離床不可」である場合には、危険度3の姿勢として設定されている。さらに、「起き上がり」に対応する姿勢は、身体状態が(a)の「起き上がり可、離床可」又は(b)の「起き上がり可、離床不可」である場合には、危険度0であるが、身体状態が(c)の「起き上がり不可、離床不可」である場合には、危険度5の危険な姿勢として設定されている。
図9に加えて図10及び11に示すように、「ベッド上での臥位」に対応する姿勢については、検出対象者の身体の部位の位置情報に関する判定基準が用意されており、当該判定基準は、身体の部位(例えば、頭部及び大腿部)及び身体状態情報(例えば、前記(a)~(c))に応じて設定されている。換言すれば、検出される姿勢が「ベッド上での臥位」の場合については、身体の部位の位置によって異なる危険度が用意されており、当該危険度は、身体の部位及び身体状態情報に応じて設定されている。
図10は、「ベッド上での臥位」に対応する姿勢が検出された場合における、検出対象者の頭部の位置に関する危険状態判定基準の例を示している。例えば図10Aは、検出対象者の身体状態が(a)の「起き上がり可、離床可」であるときには、頭部の位置が、壁・柵なしベッド端部からのベッド面上距離がTHh1以下のベッド面上領域に該当する前記領域AH1内にあると検出されれば危険度5と判定し、壁・柵なしベッド端部からのベッド面上距離がTHh1を超えTHh2以下のベッド面上領域である前記領域AH2内にあると検出されれば危険度2と判定し、壁・柵なしベッド端部からのベッド面上距離がTHh2を超えたベッド面上領域内にあると検出されれば危険度0と判定する、という危険状態判定基準を示している。図10B及び図10Cは、それぞれ、検出対象者の身体状態が、(b)の「起き上がり可、離床不可」であるとき及び(c)の「起き上がり不可、離床不可」であるときの、頭部の位置に関する危険状態判定基準の例を示している。
前記「身体の複数の部位の特定及び位置情報の検出」の項にて説明したとおり、スケルトン検出部204は、頭部の中心723の画像上での位置が、ベッド面上の距離THh1及びTHh2に応じて特定される前記領域AH1又はAH2内にあるか否かを判断し、その判断を位置情報として出力する。そこで、姿勢検出部214により、検出対象者の姿勢がベッド上での臥位に該当すると判断された場合、危険状態判定判定部208は、当該位置情報を、判定基準格納部206に格納されている危険状態判定基準と対照することにより、それら距離THh1及びTHh2に関連させて、検出対象者が危険な状態にあるか否かの判定を行うことができる。
図10の例では、閾値THh1及びTHh2を、身体状態が(a)~(c)の場合について共通にしたが、身体状態ごとに閾値が異なるようにしてもよい。また、図10の例では、危険状態判定基準を離散的に設定したが、危険度を、頭部の壁・柵なしベッド端部からのベッド面上距離に従う、連続値を有する関数として設定してもよい。その場合において、頭部の壁・柵なしベッド端部からのベッド面上距離を求めるために、頭部の中心723の画像上での位置、並びに、閾値THh1及びTHh2に対応する、画像上で特定される領域AH1及びAH2の境界の位置(図7を参照。)から、頭部の中心723の壁・柵なしベッド端部からのベッド面上距離を推定するようにしてもよい。関数は、マップ形式で用意してもよい。
図11は、同じく「ベッド上での臥位」に対応する姿勢が検出された場合における、検出対象者の大腿部の位置に関する危険状態判定基準の例を示している。当該図11に図示されている事項は、図10に図示されている事項と同様である。
以上のとおり、図9~11は全体として、危険状態判定基準の例を示している。かかる危険状態判定基準は、既述のとおり、判定基準格納部206に格納されている。
当該判定基準格納部206は、後述するように、訂正情報受付部220から取得した、判定結果を含む情報を訂正する情報に基づいて、危険状態判定基準を更新する機能を有し得る。
また、既述のとおり、スケルトン検出部204は、検出対象者の身体の複数の部位及びそれらの位置情報のほか、部位の移動の向き、部位の移動の速さ、顔の向き等も、併せて検出し得るところ、判定基準格納部206に格納される危険状態判定基準は、それら部位の移動の向き、部位の移動の速さ、顔の向き等に関する判定基準をも有したものであってもよい。例えば、図10においては、頭部の位置が領域AH2に対応するとき、(a)又は(b)の身体状態については危険度2、(c)の身体状態については危険度3を割り当てているが、このように頭部の位置が当該領域AH2に対応するときに、頭部の移動の向きがベッド端部に向かう成分を有し、かつ当該頭部の移動の速さが所定値以上である場合には、危険度を増分するようにしてもよい。同様に、頭部の位置が当該領域AH2に対応するときに、頭部の移動の向きがベッド端部に向かう成分を有し、かつ顔の向きがベッド端部とは反対側に向かっている場合には、危険度を増分するようにしてもよい。
危険状態判定部214は、身体状態情報格納部212から検出対象者の身体状態情報を取得し、判定基準格納部206からその身体状態情報に応じた危険状態判定基準を取得する。そして、当該危険状態判定部214は、スケルトン検出部204が検出する検出対象者の身体の複数の部位の位置情報、及び、姿勢検出部214が検出する検出対象者の姿勢、並びに、前記危険状態判定基準を含む情報に基づいて、検出対象者が危険な状態にあるか否かを判定する。実施形態では、危険状態判定部214は、危険状態判定基準に従い、検出対象者の姿勢及び身体の部位の位置情報より、危険度を特定することによって、検出対象者が危険な状態にあるか否かの判定を行う。その際、身体の複数の部位の位置情報に基づき、それぞれ特定された危険度を総合的に評価して、全体的な危険度を特定し得る。総合的な評価の方法としては、より高い危険度を採用する、あるいは平均値を算出するなど、任意の方法をとり得る。例えば、実施形態において、身体状態が前記(a)又は(b)である検出対象者の姿勢として、「ベッド上での臥位」に対応する姿勢が検出された場合において、頭部の位置が前記領域AH2に対応し危険度2であり、大腿部の位置が前記領域AT1に対応し危険度4であるときには、より高い危険度である危険度4を採用する、あるいは平均値の3を全体的な危険度とすることができる。
危険状態判定部214が、少なくとも検出対象者の身体の部位の位置情報の履歴又は検出対象者の姿勢の履歴に基づいて、検出対象者が危険な状態にあるか否かを判定するようにしてもよい。履歴に基づく判定により、危険状態判定部214は、例えば、位置情報又は姿勢の変化の態様に基づいて検出対象者が危険な状態にあるか否かの判定を行うことができる。また、例えば、ごく短時間のみ危険な状態が発生した後に、当該危険な状態が速やかに解消したような場合には、危険状態判定部214が危険な状態にあるとの判定を行わないようにすることができる。
一例として、検出対象者の姿勢が特定の姿勢に至る履歴に基づいて、危険状態判定部214が特定する危険度を変化させるようにすることができる。例えば、図9を参照し、検出対象者の身体状態が(b)の「起き上がり可、離床不可」である場合には、「端座」に対応する姿勢は、危険度3の姿勢として設定されている。しかしながら、当該検出対象者の姿勢が、「ベッド上での臥位」から「起き上がり」を経て「端座」まで、所定の短時間内に変化して、「端座」に至った場合には、危険状態判定部214は、通常の態様で「端座」姿勢に至った場合よりも異常性が高いとして、危険度を上げ、危険度が4であると判定し得る。
別な一例として、危険状態判定部214は、スケルトン検出部204及び姿勢検出部214がそれぞれ検出する、検出対象者の身体の部位の位置情報及び姿勢について、履歴に基づく安定化処理を行い、当該安定化処理後の部位の位置情報及び姿勢に基づいて、検出対象者が危険な状態にあるか否かを判定するようにし得る。例えば、スケルトン検出部204が検出する、検出対象者の身体の部位の位置情報に関し、危険状態判定部214は、所定の時間間隔で位置情報を評価し、所定回数にわたり連続して、頭部が前記領域AH1若しくはAH2内に位置した場合、又は、大腿部が前記領域AT1若しくはAT2内に位置した場合に、頭部又は大腿部が該当の領域に位置したとして、その位置情報に基づいて、検出対象者が危険な状態にあるか否かを判定するようにし得る。同様に、姿勢検出部214が検出する、検出対象者の姿勢に関し、危険状態判定部214は、所定の時間間隔で姿勢を評価し、所定回数にわたり連続して、特定の姿勢が検出された場合に、該当の姿勢が取られたとして、その姿勢に基づいて、検出対象者が危険な状態にあるか否かを判定するようにし得る。かかる安定化処理により、ごく短時間のみ危険な状態が発生した後に、当該危険な状態が速やかに解消したような場合にも、危険な状態にあるとの判定が行われてしまうことを、防止することができる。
(判定結果を含む情報の出力並びに訂正情報の受付け及び訂正情報に基づく更新処理)
実施形態の画像処理装置は、出力部210及び訂正情報受付部220を有する。
当該出力部210は、危険状態判定部214の判定結果を含む情報を、入出力装置232に出力する。入出力装置232は、携帯端末であってよく、あるいは、病院又は介護施設の監視システムのデスクトップ端末であってもよい。出力部210が入出力装置232に出力する情報は、危険状態判定部214の判定結果に限られず、例えば、検出対象者を撮影した画像、スケルトン検出部204が検出する検出対象者の身体の部位の位置情報及び特徴点の位置情報、姿勢検出部214が検出する検出対象者の姿勢、身体状態情報格納部212から取得される検出対象者の身体状態情報、並びに、後述の集計部222において集計された情報を含み得る。
出力部210の一態様によれば、ある検出対象者についての危険状態判定部214の判定結果が所定値以上の危険度、例えば2以上の危険度の場合、出力部210は、入出力装置232に、当該検出対象者について、危険状態判定部214の判定結果としての所定値以上の危険度に加え、その危険度の導出に関連した諸情報を表示するように、出力する。その諸情報は、検出対象者を撮影した画像、スケルトン検出部204が検出する検出対象者の身体の部位の位置情報及び特徴点の位置情報、姿勢検出部214が検出する検出対象者の姿勢、並びに、身体状態情報格納部212から取得される検出対象者の身体状態情報を含み得る。
その際、出力部210は、所定値以上の危険度の特定の根拠となった情報が明示的に入出力装置232に表示されるように、それら情報を入出力装置232に対して出力してもよい。例えば、身体状態が前記(b)である検出対象者について、「ベッド上での臥位」に対応する姿勢が検出され、かつ、大腿部の位置が、壁・柵なしベッド端部からのベッド面上距離がTTh1以下のベッド面上領域に該当する前記領域AT1内にあると検出されることによって、危険度4と判定された場合(図11を参照。)、次の情報がその判定の根拠となった情報として入出力装置232に表示されるように、出力部210が入出力装置232にそれら情報を出力することができる。すなわち、大腿部の位置及び姿勢の検出が基づいた画像、検出された大腿部の位置情報及び特徴点の位置情報、検出された姿勢である「ベッド上での臥位」、並びに検出対象者の身体状態情報である。そうした情報は、医療又は介護の専門家等である操作者により参照され得る。ここで、例えば、特定された危険度、検出された大腿部の位置情報及び特徴点の位置情報、並びに検出された姿勢は、必要な場合に後述の訂正情報受付部220を介して操作者が訂正することができるように、入出力装置232に出力され得る。
危険状態判定部214の判定結果が所定値以上の危険度である場合、出力部210は、部位及び判定された危険度に応じたレベルの報知をするようにしてもよい。例えば、「ベッド上での臥位」に対応する姿勢が検出され、かつ、頭部の位置が、壁・柵なしベッド端部からのベッド面上距離がTHh1以下のベッド面上領域に該当する前記領域AH1内にあると検出されることによって、危険度5と判定された場合には(図10を参照。)、特に高いレベルの報知(特に注意を惹く表示と警報音を伴う報知など)が行われるようにすることができる。
訂正情報受付部220は、判定結果を含む情報を訂正する情報を受け付ける。実施形態では、出力部210が危険状態判定部214の判定結果を含む情報を入出力装置232に出力するのに対し、訂正情報受付部220は、入出力装置232から前記訂正する情報を受け付ける。訂正する情報を受け付ける態様としては、種々のものがあり得、判定結果としての危険度の出力に対して、訂正情報受付部220は、医療又は介護の専門家等の操作者が「危険状態ではない」ことを選択入力した情報を受け付けるようにしてもよく、あるいは、操作者が危険度を訂正できるようにし、その訂正された危険度の情報を受け付けるようにしてもよい。さらに、訂正情報受付部220は、危険度の導出に関連した情報も操作者が訂正できるようにし、その訂正された情報も受け付けるようにしてもよい。
訂正情報受付部220の一態様によれば、当該訂正情報受付部220は、操作者が「危険状態ではない」ことを選択入力しするか危険度を訂正できるようにするとともに、危険度の導出に関連した情報も操作者が訂正できるようにし、訂正された情報を受け付ける。危険度の導出に関連した情報は、スケルトン検出部204が検出する検出対象者の身体の部位の位置情報及び特徴点の位置情報、並びに、姿勢検出部214が検出する検出対象者の姿勢を含む。
実施形態の画像処理装置においては、訂正情報受付部220が受け付けた訂正情報の内容によって、判定基準格納部206が危険状態判定基準を更新し、又は学習済みモデル216若しくは218がその更新を実行する。具体的には、スケルトン検出部204が検出する検出対象者の身体の部位の位置情報又は特徴点の位置情報が操作者により訂正された場合には、訂正情報受付部220は、その訂正情報を学習済みモデル216に供給し、それを受けて学習済みモデル216が、更新を実行する。他方、姿勢検出部214が検出する検出対象者の姿勢が操作者により訂正された場合には、訂正情報受付部220は、その訂正情報を学習済みモデル218に供給し、それを受けて学習済みモデル218が、更新を実行する。
それら危険度の導出に関連した情報、すなわち、検出対象者の身体の部位の位置情報若しくは特徴点の位置情報、又は検出対象者の姿勢については訂正がなされずに、判定結果としての危険度に係る訂正がなされた場合には、訂正情報受付部220は、その訂正情報を判定基準格納部206に供給し、それを受けて判定基準格納部206が、危険状態判定基準を更新する。
危険度の導出に関連した情報の訂正がなされ、かつ、判定結果としての危険度に係る訂正もなされた場合であって、当該訂正された危険度が、前記関連した情報の訂正に基づいて特定される危険度と異なるものであるときにも、訂正情報受付部220は、訂正情報を判定基準格納部206に供給し、それを受けて判定基準格納部206が、危険状態判定基準を更新する。このとき、危険度の導出に関連した情報の訂正内容により、訂正情報受付部220は、その訂正情報を学習済みモデル216又は218にも供給し、それを受けて学習済みモデル216又は218が、更新を実行する。
判定基準格納部206における危険状態判定基準の更新は、次のようにして実施することができる。例えば、所定値以上の危険度の特定の根拠となった情報が、検出された特定の姿勢にあり、当該危険度が下方に訂正された場合には、危険状態判定基準において、その姿勢に対する危険度の設定を下方に再設定する更新が行われ得る。その際、頻繁に過ぎる更新を防止するため、同種の危険度訂正が複数回蓄積された場合に、危険度の再設定が行われるようにしてもよい。また、所定値以上の危険度の特定の根拠となった情報が、検出された身体の部位の位置情報にあり、当該危険度が下方に訂正された場合には、危険状態判定基準において、領域AH1及びAH2の閾値であるベッド面上距離THh1及びTHh2、又は、領域AT1及びAT2の閾値であるベッド面上距離TTh1及びTTh2の設定を、より短くする向きに再設定する更新が行われ得る(図10及び11を参照。)。その際も、頻繁に過ぎる更新を防止するため、同種の危険度訂正が複数回蓄積された場合に、閾値であるベッド面上距離の再設定が行われるようにしてもよい。なお、この、所定値以上の危険度の特定の根拠となった情報が、検出された身体の部位の位置情報にあり、当該危険度が下方に訂正された場合にも、危険状態判定基準において、その位置情報に対する危険度の設定を下方に再設定する更新を行うようにしてもよい。
危険状態判定基準の更新は、機械学習を用いて実施してもよい。
(集計処理)
実施形態の画像処理装置は、集計部222を有する。
実施形態において、前記出力部210は、集計部222に対して、判定結果を含む情報の出力を行い、集計部222は、検出対象者ごとに判定結果を含む情報を集計する。これにより、検出対象者ごとに危険な状態の発生に関する統計的データを蓄積することができる。
集計部222の一態様によれば、ある検出対象者についての危険状態判定部214の判定結果が所定値以上の危険度の場合、集計部222は、当該検出対象者について、危険状態判定部214の判定結果としての所定値以上の危険度に加え、その危険度の導出に関連した諸情報を蓄積する。その諸情報は、検出対象者を撮影した画像、スケルトン検出部204が検出する検出対象者の身体の部位の位置情報及び特徴点の位置情報、姿勢検出部214が検出する検出対象者の姿勢、並びに、身体状態情報格納部212から取得される検出対象者の身体状態情報を含み得る。特に、集計部222は、所定値以上の危険度の発生の情報、並びに、当該危険度の特定の根拠となった、検出対象者の身体の部位の位置情報及び検出対象者の姿勢等の情報を蓄積し、危険状態発生の状況及びその原因に係る統計的データを提示することができるようにする。統計的データには、例えば、危険度の経時的推移、所定値以上の危険度の発生の頻度(時間帯別の頻度を含み得る。)及びその推移、所定値以上の危険度の原因別の発生頻度及びその推移、危険状態の発生を防止する対策が取られた場合における対策実施の日時及び対策の内容、対策実施前後における所定値以上の危険度の発生の頻度の変化が含まれ得る。
また、集計部222は、複数の検出対象者を対象として判定結果を含む情報を集計する機能も有していてよい。
訂正情報受付部220が、判定結果を含む情報を訂正する情報を受け付けた場合には、当該訂正する情報は集計部222に供給され、訂正された情報に基づいて集計が行われ得る。
(処理フローの例)
図12は、実施形態のプログラムにおける処理S1200の例を示すフローチャートである。
実施形態のプログラムは、ステップS1202において、検出対象者を撮影した画像を受け取る処理をコンピュータに実行させる。なお、既述のとおり、以下の説明において、「処理をコンピュータに実行させる」との文言は、適宜省略する。
ステップS1204では、一つ前のステップS1202にて受け取った画像において、検出対象者の身体の複数の部位を特定し、特定された部位の位置情報を含む情報を検出する。
ステップS1206では、前記画像において検出対象者の姿勢を検出する。
ステップS1208では、危険状態判定基準を取得する。当該危険状態判定基準は、少なくとも身体の複数の部位及び身体状態情報に応じて設定されており、部位の位置情報及び姿勢に関する判定基準を有する。
ステップS1210では、部位の位置情報、姿勢、及び危険状態判定基準を含む情報に基づいて、検出対象者が危険な状態にあるか否かを判定する。
ステップS1212では、一つ前のステップS1210にてなされた判定の結果を含む情報を出力する。
ステップS1214では、判定の結果を含む情報を訂正する情報を受け付ける処理が行われ、訂正する情報があった場合には、当該情報に基づいて、危険状態判定基準、部位の位置情報若しくは姿勢の検出に用いられる学習済みモデル、又は危険状態判定基準及び学習済みモデルの双方を更新する。
ステップS1216では、検出対象者ごとに判定の結果を含む情報を集計する処理を行う。
以上で、処理は終了する。
図13は、前記ステップS1204における、検出対象者の身体の複数の部位を特定し、特定された部位の位置情報を含む情報を検出する処理について、更に具体的な処理の例(サブルーチンであるS1300)を示すフローチャートである。
実施形態のプログラムは、ステップS1302において、学習済みモデル216に対し、検出対象者を撮影した画像を入力する。
ステップS1304では、学習済みモデル216から、検出対象者の身体の複数の部位を特定した結果、及び特定された部位の位置情報を含む情報を受け取る。
以上で、サブルーチンであるS1300の処理は終了する。
図14は、前記ステップS1206における、検出対象者の姿勢を検出する処理について、更に具体的な処理の例(サブルーチンであるS1400)を示すフローチャートである。
実施形態のプログラムは、ステップS1402において、学習済みモデル218に対し、検出対象者を撮影した画像を入力する。
ステップS1404では、学習済みモデル218から、検出対象者の姿勢に関する情報を受け取る。
以上で、サブルーチンであるS1400の処理は終了する。
図15は、前記ステップS1208における、危険状態判定基準を取得する処理について、更に具体的な処理の例(サブルーチンであるS1500)を示すフローチャートである。
実施形態のプログラムは、ステップS1502において、検出対象者ごとに格納された身体状態情報から、検出対象者の身体状態情報を取得する。
ステップS1504では、検出対象者の身体の部位及び一つ前のステップS1502において取得した身体状態情報に応じた危険状態判定基準を取得する。
以上で、サブルーチンであるS1500の処理は終了する。
図16は、前記ステップS1210における、検出対象者が危険な状態にあるか否かを判定する処理について、更に具体的な処理の例(サブルーチンであるS1600)を示すフローチャートである。
実施形態のプログラムは、ステップS1602において、検出対象者の身体の部位の位置情報及び姿勢の履歴に基づき、かかる位置情報及び姿勢について、前記「検出対象者が危険な状態にあるか否かの判定」の項にて既述の安定化処理を行う。
ステップS1604では、検出対象者の姿勢及び身体の部位の位置情報と、危険状態判定基準との比較を行う。
ステップS1606では、当該比較に基づいて、検出対象者が危険な状態にあるか否かを判定する。
以上で、サブルーチンであるS1600の処理は終了する。
図17は、前記ステップS1212における、判定の結果を含む情報を出力する処理について、更に具体的な処理の例(サブルーチンであるS1700)を示すフローチャートである。
実施形態のプログラムは、ステップS1702において、検出対象者が危険な状態にあるか否かの判定の結果を含む情報を入出力装置に対して出力する。
ステップS1704では、検出対象者が危険な状態にあると判定されたか否かについて判断が行われる。前記「判定結果を含む情報の出力並びに訂正情報の受付け及び訂正情報に基づく更新処理」にて既述のとおり、当該判断は、危険な状態にあるか否かの判定の結果が所定値以上の危険度であるか否かに基づいて行うことができる。
ステップS1704での判断の結果がYESである場合、ステップS1706では、検出対象者の身体の部位に応じたレベルの報知をする。
以上で、サブルーチンであるS1700の処理は終了する。
図18は、前記ステップS1214における、訂正情報に基づく更新処理について、更に具体的な処理の例(サブルーチンであるS1800)を示すフローチャートである。
実施形態のプログラムは、ステップS1802において、入出力装置から、検出対象者が危険な状態にあるか否かの判定の結果を含む情報を訂正する情報を受け付ける。
ステップS1804では、訂正する情報に基づいて危険状態判定基準を更新する。
ステップS1806では、訂正する情報に基づいて学習済みモデル(学習済みモデル216、学習済みモデル218、又はそれら双方)を更新する。
危険状態判定基準及び学習済みモデルの更新は、例えば前記「判定結果を含む情報の出力並びに訂正情報の受付け及び訂正情報に基づく更新処理」において説明した方法により、実施され得る。
以上で、サブルーチンであるS1800の処理は終了する。
<実施形態の変形例>
次に、実施形態の変形例を説明する。
変形例の画像処理装置では、スケルトン検出部が、検出対象者の身体の複数の部位の位置情報として、それら部位の高さに関する情報も検出し、その代わりに、当該変形例の画像処理装置は、検出対象者の姿勢を検出する姿勢検出部を有さない。
すなわち、既述の実施形態の画像処理装置においては、スケルトン検出部204が、検出対象者の身体の複数の部位、及びそれら部位の画像上での位置(座標)でなる位置情報を検出していたのに対し、変形例の画像処理装置は、撮影装置に赤外線距離画像センサを使用して得られる、距離データを備えた画像を受け取ることにより、当該変形例の装置においてスケルトン検出部204は、検出対象者の身体の複数の部位、及びそれら部位の空間内での位置(座標)でなる位置情報(それら部位の高さに関する情報も含む。)を検出する。そして、変形例の装置においては、危険状態判定基準に、部位の高さに関する情報を用いることによって、検出対象者の姿勢に関する判断も行い得るようにする。そのため、変形例の装置は、既述の実施形態の装置における姿勢検出部214及び関連する学習済みモデル218を有さない。そのほかは、変形例の装置は、図2に示される既述の実施形態の画像処理装置と同様の構成を有する。
変形例の画像処理装置において用いる危険状態判定基準の例を、図19及び20に示す。
図19及び20に示される危険状態判定基準においては、図10及び11に示される既述の危険状態判定基準と異なり、検出対象者の頭部及び大腿部に関し、それぞれ、ベッド面からの高さについての閾値THv1及びTHv2並びにTTv1及びTTv2が設定されている。
図19を参照し、ベッド面からの高さについての閾値THv1及びTHv2に関して説明する。
検出対象者の頭部がベッド面の上部にある場合において、頭部のベッド面からの高さが閾値THv1以下であるときには、検出対象者は「ベッド上での臥位」に対応する姿勢をとっているとして、危険状態判定基準は、頭部の壁・柵なしベッド端部からのベッド面上距離に応じ、身体状態によって図19A~19Cに0から5の数値で示される、危険度を設定している。次に、頭部のベッド面からの高さが閾値THv1を超え閾値THv2以下であるときには、検出対象者は「起き上がり」に対応する姿勢をとっているとして、危険状態判定基準は、身体状態により、図示の危険度を設定している。さらに、頭部のベッド面からの高さが閾値THv2を超えているときには、検出対象者は「ベッド上での立位」に対応する姿勢をとっているとして、危険状態判定基準は、危険度5を設定している。
検出対象者の頭部がベッド面の上部にない場合において、頭部のベッド面からの高さが閾値THv1を超えているときには、検出対象者は「離床」状態にあるとして、危険状態判定基準は、身体状態によって図19A~19Cに0から5の数値で示される、危険度を設定している。そして、頭部がベッド面の上部にない場合において、頭部のベッド面からの高さが閾値THv1以下であるときには、検出対象者は「ベッド外での臥位」を含む異常な状態にあるとして、危険状態判定基準は、危険度5を設定している。
図20を参照し、ベッド面からの高さについての閾値TTv1及びTTv2に関して説明する。
検出対象者の大腿部がベッド面の上部にある場合において、大腿部のベッド面からの高さが閾値TTv1以下であるときには、検出対象者は「ベッド上での臥位」に対応する姿勢をとっているとして、危険状態判定基準は、大腿部の壁・柵なしベッド端部からのベッド面上距離に応じ、身体状態によって図20A~20Cに0から4の数値で示される、危険度を設定している。次に、大腿部のベッド面からの高さが閾値TTv1を超え閾値TTv2以下であるときには、検出対象者は「起き上がり」に対応する姿勢又は「ベッド上で足を立てている」姿勢をとっているとして、危険状態判定基準は、身体状態により、図示の危険度を設定している。さらに、大腿部のベッド面からの高さが閾値TTv2を超えているときには、検出対象者は「ベッド上での立位」に対応する姿勢をとっているとして、危険状態判定基準は、危険度5を設定している。
検出対象者の大腿部がベッド面の上部にない場合において、大腿部のベッド面からの高さが閾値TTv1を超えているときには、検出対象者は「離床」状態にあるとして、危険状態判定基準は、身体状態によって図20A~20Cに0から5の数値で示される、危険度を設定している。そして、大腿部がベッド面の上部にない場合において、大腿部のベッド面からの高さが閾値TTv1以下であるときには、検出対象者は「ベッド外での臥位」を含む異常な状態又は「離床」状態にあるとして、危険状態判定基準は、図示のとおり、身体状態によって危険度4又は5を設定している。
変形例の画像処理装置における危険状態判定部214は、身体状態情報格納部212から検出対象者の身体状態情報を取得し、判定基準格納部206からその身体状態情報に応じた危険状態判定基準(図19及び20に例示される基準)を取得する。そして、当該危険状態判定部214は、スケルトン検出部204が検出する検出対象者の身体の複数の部位の位置情報、及び、前記危険状態判定基準を含む情報に基づいて、検出対象者が危険な状態にあるか否かを判定する。変形例では、危険状態判定部214は、危険状態判定基準に従い、検出対象者の身体の部位の位置情報(それら部位の高さに関する情報も含む。)より、危険度を特定することによって、検出対象者が危険な状態にあるか否かの判定を行う。その際、身体の複数の部位の位置情報に基づき、それぞれ特定された危険度を総合的に評価して、全体的な危険度を特定し得る。総合的な評価の方法としては、既述の実施形態における場合と同様に、より高い危険度を採用する、あるいは平均値を算出するなど、任意の方法をとり得る。
図21は、実施形態の変形例に対応するプログラムにおける処理S2100の例を示すフローチャートである。
当該プログラムのフローチャートは、ステップS2102~S2114からなるが、図12に示される既述の実施形態のプログラムのフローチャートと異なる点は、ステップS1206にあった、検出対象者を撮影した画像において検出対象者の姿勢を検出する処理がない点である。また、ステップS2108における、検出対象者が危険な状態にあるか否かを判定する処理の内容が、対応するステップS1210における処理の内容と異なっている。なお、ステップS2104で検出する部位の位置情報は、部位の高さに関する情報も含むものであり、また、ステップS2106で取得する危険状態判定基準は、ステップS1208で取得する危険状態判定基準とは異なり、部位の位置情報及び姿勢に関する判定基準ではなく、図19及び20に例示される、部位の位置情報(それら部位の高さに関する情報も含む。)に関する判定基準である。
そのほかは、変形例に対応するプログラムにおける処理のフローは、既述の実施形態のプログラムにおける処理のフローと同様である。
図22は、前記ステップS2108における、検出対象者が危険な状態にあるか否かを判定する処理について、更に具体的な処理の例(サブルーチンであるS2200)を示すフローチャートである。
実施形態の変形例に対応するプログラムは、当該サブルーチンS2200において、実施形態のプログラムの前記サブルーチンS1600と異なり、画像において検出される検出対象者の姿勢を用いた処理を有さない。
変形例のプログラムは、ステップS2202において、検出対象者の身体の部位の位置情報の履歴に基づき、かかる位置情報について、前記「検出対象者が危険な状態にあるか否かの判定」の項にて既述の安定化処理を行う。当該位置情報は、検出対象者の身体の部位の高さに関する情報も含む。
ステップS2204では、検出対象者の身体の部位の位置情報(それら部位の高さに関する情報も含む。)と、図19及び20に例示される危険状態判定基準との比較を行う。
ステップS2206では、当該比較に基づいて、検出対象者が危険な状態にあるか否かを判定する。
以上で、サブルーチンであるS2200の処理は終了する。
<ハードウェア構成>
図23は、実施形態(前記変形例も含む。)の画像処理装置200、又は画像処理方法若しくは画像処理プログラムを実行する装置2300のハードウェア構成図である。当該装置2300は、CPU2302、ROM2304、RAM2306、キー操作部2308、通信部2310、表示部2312、及び外部記憶制御部2314を有する。当該装置2300は、外部記憶制御部2314により、メモリ2316に記憶された画像処理プログラムを読み込んで動作することが可能である。画像処理プログラムは、ROM2304及びRAM2306にも保存され得る。すなわち、実施形態を実現するプログラムは、一時的でない(non-transitory)、実体のある(tangible)、そして機械可読の(machine-readable)記憶媒体であるメモリ2316、ROM2304、及び/又はRAM2306に記憶される。当該装置2300は、画像処理プログラムを実行するCPU2302の管理のもとに動作する。
以上、実施形態に基づいて説明を行ってきたが、本明細書に記載されている実施形態は一例であって、特許請求の範囲において特定された発明を限定するためのものと解釈してはならない。
上述した実施形態に関し、以下の付記を開示する。
(付記1)
検出対象者を撮影した画像を受け取る画像受取部と、
前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出するスケルトン検出部と、
少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を格納した判定基準格納部と、
前記判定基準格納部から前記危険状態判定基準を取得し、前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定する危険状態判定部と、
前記危険状態判定部の判定結果を含む情報を出力する出力部と、
を備えた
画像処理装置。
(付記2)
前記検出対象者ごとの身体状態情報を格納した身体状態情報格納部をさらに有し、
前記危険状態判定基準は、
少なくとも前記部位及び前記身体状態情報に応じて設定されており、
前記危険状態判定部は、
前記身体状態情報格納部から前記検出対象者の前記身体状態情報を取得し、前記判定基準格納部から前記部位及び取得した前記身体状態情報に応じた前記危険状態判定基準を取得する
付記1に記載の画像処理装置。
(付記3)
前記画像は、赤外線画像である
付記1又は2に記載の画像処理装置。
(付記4)
前記スケルトン検出部は、
学習済みモデルに対する前記画像を含む情報の入力に応じて、前記部位を特定し、特定された前記部位の位置情報を含む情報を検出する
付記1ないし3のうちいずれか1項に記載の画像処理装置。
(付記5)
前記画像において前記検出対象者の姿勢を検出する姿勢検出部をさらに有し、
前記危険状態判定基準は、
前記位置情報及び前記姿勢に関する判定基準を有し、
前記危険状態判定部は、
前記位置情報、前記姿勢、及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定する
付記1ないし4のうちいずれか1項に記載の画像処理装置。
(付記6)
前記姿勢検出部は、
学習済みモデルに対する前記画像を含む情報の入力に応じて、前記姿勢を検出する
付記5に記載の画像処理装置。
(付記7)
前記判定結果を含む情報を訂正する情報を受け付ける訂正情報受付部をさらに有し、
前記判定基準格納部は、
前記訂正情報受付部から取得した前記訂正する情報に基づいて前記危険状態判定基準を更新する
付記1ないし6のうちいずれか1項に記載の画像処理装置。
(付記8)
前記判定結果を含む情報を訂正する情報を受け付ける訂正情報受付部をさらに有し、
前記学習済みモデルは、
前記訂正情報受付部から取得した前記訂正する情報に基づいて更新を実行する
付記4又は6に記載の画像処理装置。
(付記9)
前記出力部は、入出力装置に対して前記判定結果を含む情報の出力を行い、
前記訂正情報受付部は、前記入出力装置から前記訂正する情報を受け付ける
付記7又は8に記載の画像処理装置。
(付記10)
前記危険状態判定部は、
少なくとも前記位置情報又は前記姿勢の履歴に基づいて、前記検出対象者が危険な状態にあるか否かを判定する
付記1ないし9のうちいずれか1項に記載の画像処理装置。
(付記11)
集計部をさらに有し、
前記出力部は、前記集計部に対して、前記判定結果を含む情報の出力を行い、
前記集計部は、
前記検出対象者ごとに前記判定結果を含む情報を集計する
付記1ないし10のうちいずれか1項に記載の画像処理装置。
(付記12)
前記位置情報は、
前記部位と前記身体の周辺に存在する物体との相対的な位置関係に関する情報を含み、
前記危険状態判定基準は、
前記部位と前記物体との相対的な位置関係に関する判定基準を含む
付記1ないし11のうちいずれか1項に記載の画像処理装置。
(付記13)
前記位置情報は、
前記部位の前記身体を支持する物体の特定部分からの距離に関する情報を含み、
前記危険状態判定基準は、
前記部位の前記特定部分からの距離に関する判定基準を含む
付記1ないし12のうちいずれか1項に記載の画像処理装置。
(付記14)
前記画像は、ベッド上における前記検出対象者を撮影した画像を含み、
前記部位は、前記検出対象者の頭部を含み、
前記位置情報は、
前記頭部の前記ベッドの端部からの距離に関する情報を含み、
前記危険状態判定基準は、
前記頭部の前記端部からの距離に関する判定基準を含む
付記1ないし13のうちいずれか1項に記載の画像処理装置。
(付記15)
前記危険状態判定基準は、
さらに前記ベッドに設けられている柵に関する状況にも応じて設定されている
付記14に記載の画像処理装置。
(付記16)
前記危険状態判定部が、前記検出対象者が危険な状態にあると判定した場合、
前記出力部は、前記部位に応じたレベルの報知をする
付記1ないし15のうちいずれか1項に記載の画像処理装置。
(付記17)
コンピュータが実行する画像処理方法であって、
検出対象者を撮影した画像を受け取ることと、
前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出することと、
少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を取得することと、
前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定することと、
前記判定の結果を含む情報を出力することと、
を含む
画像処理方法。
(付記18)
検出対象者を撮影した画像を受け取り、
前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出し、
少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を取得し、
前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定し、
前記判定の結果を含む情報を出力する
処理をコンピュータに実行させる
画像処理プログラム。
(付記19)
前記危険状態判定基準は、
少なくとも前記部位及び前記検出対象者の身体状態情報に応じて設定されており、
前記危険状態判定基準を取得することは、
前記検出対象者ごとに格納された前記身体状態情報から前記検出対象者の前記身体状態情報を取得することと、前記部位及び取得した前記身体状態情報に応じた前記危険状態判定基準を取得することとを含む
付記17に記載の画像処理方法。
(付記20)
前記画像は、赤外線画像である
付記17又は19に記載の画像処理方法。
(付記21)
前記部位を特定し、特定された前記部位の前記位置情報を含む情報を検出することは、
学習済みモデルに対する前記画像を含む情報の入力に応じて、前記部位を特定し、特定された前記部位の前記位置情報を含む情報を検出することを含む
付記17、19又は20のうちいずれか1項に記載の画像処理方法。
(付記22)
前記画像において前記検出対象者の姿勢を検出することをさらに含み、
前記危険状態判定基準は、
前記位置情報及び前記姿勢に関する判定基準を有し、
前記判定することは、
前記位置情報、前記姿勢、及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定することを含む
付記17又は19ないし21のうちいずれか1項に記載の画像処理方法。
(付記23)
前記姿勢を検出することは、
学習済みモデルに対する前記画像を含む情報の入力に応じて、前記姿勢を検出することを含む
付記22に記載の画像処理方法。
(付記24)
前記判定の結果を含む情報を訂正する情報を受け付けることと、
受け付けた前記訂正する情報に基づいて前記危険状態判定基準を更新することと、をさらに含む
付記17又は19ないし23のうちいずれか1項に記載の画像処理方法。
(付記25)
前記判定の結果を含む情報を訂正する情報を受け付けることと、
受け付けた前記訂正する情報に基づいて前記学習済みモデルを更新することと、をさらに含む
付記21又は23に記載の画像処理方法。
(付記26)
前記判定の結果を含む情報を出力することは、入出力装置に対して前記判定の結果を含む情報の出力を行うことを含み、
前記訂正する情報を受け付けることは、前記入出力装置から前記訂正する情報を受け付けることを含む
付記24又は25に記載の画像処理方法。
(付記27)
前記判定することは、
少なくとも前記位置情報又は前記姿勢の履歴に基づいて、前記検出対象者が危険な状態にあるか否かを判定することを含む
付記17又は19ないし26のうちいずれか1項に記載の画像処理方法。
(付記28)
前記検出対象者ごとに前記判定の結果を含む情報を集計することをさらに含む
付記17又は19ないし27のうちいずれか1項に記載の画像処理方法。
(付記29)
前記位置情報は、
前記部位と前記身体の周辺に存在する物体との相対的な位置関係に関する情報を含み、
前記危険状態判定基準は、
前記部位と前記物体との相対的な位置関係に関する判定基準を含む
付記17又は19ないし28のうちいずれか1項に記載の画像処理方法。
(付記30)
前記位置情報は、
前記部位の前記身体を支持する物体の特定部分からの距離に関する情報を含み、
前記危険状態判定基準は、
前記部位の前記特定部分からの距離に関する判定基準を含む
付記17又は19ないし29のうちいずれか1項に記載の画像処理方法。
(付記31)
前記画像は、ベッド上における前記検出対象者を撮影した画像を含み、
前記部位は、前記検出対象者の頭部を含み、
前記位置情報は、
前記頭部の前記ベッドの端部からの距離に関する情報を含み、
前記危険状態判定基準は、
前記頭部の前記端部からの距離に関する判定基準を含む
付記17又は19ないし30のうちいずれか1項に記載の画像処理方法。
(付記32)
前記危険状態判定基準は、
さらに前記ベッドに設けられている柵に関する状況にも応じて設定されている
付記31に記載の画像処理方法。
(付記33)
前記判定の結果を含む情報を出力することは、
前記検出対象者が危険な状態にあると判定した場合、前記部位に応じたレベルの報知をすることを含む
付記17又は19ないし32のうちいずれか1項に記載の画像処理方法。
(付記34)
前記危険状態判定基準は、
少なくとも前記部位及び前記検出対象者の身体状態情報に応じて設定されており、
前記危険状態判定基準を取得する処理は、
前記検出対象者ごとに格納された前記身体状態情報から前記検出対象者の前記身体状態情報を取得する処理と、前記部位及び取得した前記身体状態情報に応じた前記危険状態判定基準を取得する処理とを含む
付記18に記載の画像処理プログラム。
(付記35)
前記画像は、赤外線画像である
付記18又は34に記載の画像処理プログラム。
(付記36)
前記部位を特定し、特定された前記部位の前記位置情報を含む情報を検出する処理は、
学習済みモデルに対する前記画像を含む情報の入力に応じて、前記部位を特定し、特定された前記部位の前記位置情報を含む情報を検出する処理を含む
付記18、34又は35のうちいずれか1項に記載の画像処理プログラム。
(付記37)
前記画像において前記検出対象者の姿勢を検出する処理をさらに含み、
前記危険状態判定基準は、
前記位置情報及び前記姿勢に関する判定基準を有し、
前記判定する処理は、
前記位置情報、前記姿勢、及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定する処理を含む
付記18又は34ないし36のうちいずれか1項に記載の画像処理プログラム。
(付記38)
前記姿勢を検出する処理は、
学習済みモデルに対する前記画像を含む情報の入力に応じて、前記姿勢を検出する処理を含む
付記37に記載の画像処理プログラム。
(付記39)
前記判定の結果を含む情報を訂正する情報を受け付ける処理と、
受け付けた前記訂正する情報に基づいて前記危険状態判定基準を更新する処理と、をさらに含む
付記18又は34ないし38のうちいずれか1項に記載の画像処理プログラム。
(付記40)
前記判定の結果を含む情報を訂正する情報を受け付ける処理と、
受け付けた前記訂正する情報に基づいて前記学習済みモデルを更新する処理と、をさらに含む
付記36又は38に記載の画像処理プログラム。
(付記41)
前記判定の結果を含む情報を出力する処理は、入出力装置に対して前記判定の結果を含む情報の出力を行う処理を含み、
前記訂正する情報を受け付ける処理は、前記入出力装置から前記訂正する情報を受け付ける処理を含む
付記39又は40に記載の画像処理プログラム。
(付記42)
前記判定する処理は、
少なくとも前記位置情報又は前記姿勢の履歴に基づいて、前記検出対象者が危険な状態にあるか否かを判定する処理を含む
付記18又は34ないし41のうちいずれか1項に記載の画像処理プログラム。
(付記43)
前記検出対象者ごとに前記判定の結果を含む情報を集計する処理をさらに含む
付記18又は34ないし42のうちいずれか1項に記載の画像処理プログラム。
(付記44)
前記位置情報は、
前記部位と前記身体の周辺に存在する物体との相対的な位置関係に関する情報を含み、
前記危険状態判定基準は、
前記部位と前記物体との相対的な位置関係に関する判定基準を含む
付記18又は34ないし43のうちいずれか1項に記載の画像処理プログラム。
(付記45)
前記位置情報は、
前記部位の前記身体を支持する物体の特定部分からの距離に関する情報を含み、
前記危険状態判定基準は、
前記部位の前記特定部分からの距離に関する判定基準を含む
付記18又は34ないし44のうちいずれか1項に記載の画像処理プログラム。
(付記46)
前記画像は、ベッド上における前記検出対象者を撮影した画像を含み、
前記部位は、前記検出対象者の頭部を含み、
前記位置情報は、
前記頭部の前記ベッドの端部からの距離に関する情報を含み、
前記危険状態判定基準は、
前記頭部の前記端部からの距離に関する判定基準を含む
付記18又は34ないし45のうちいずれか1項に記載の画像処理プログラム。
(付記47)
前記危険状態判定基準は、
さらに前記ベッドに設けられている柵に関する状況にも応じて設定されている
付記46に記載の画像処理プログラム。
(付記48)
前記判定の結果を含む情報を出力する処理は、
前記検出対象者が危険な状態にあると判定した場合、前記部位に応じたレベルの報知をする処理を含む
付記18又は34ないし47のうちいずれか1項に記載の画像処理プログラム。
100,200 画像処理装置
102,202 画像受取部
104,204 スケルトン検出部
106,206 判定基準格納部
108,208 危険状態判定部
110,210 出力部
212 身体状態情報格納部
214 姿勢検出部
216,218 学習済みモデル
220 訂正情報受付部
222 集計部
120,230,300 撮影装置
302,402,502,602,702,802 ベッド
304,404,504,604,704,804 柵
320,420,520,620,720,820 検出対象者
322,422,522,622,722,822 頭部
523,623,723 頭部の中心
326,426,526,626,726,826 大腿部
527,627,827 大腿部の中心

Claims (16)

  1. 検出対象者を撮影した画像を受け取る画像受取部と、
    前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出するスケルトン検出部と、
    少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を格納した判定基準格納部と、
    前記判定基準格納部から前記危険状態判定基準を取得し、前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定する危険状態判定部と、
    前記危険状態判定部の判定結果を含む情報を出力する出力部と、
    を備えた
    画像処理装置であって、
    前記画像において前記検出対象者の姿勢を検出する姿勢検出部と、
    前記検出対象者ごとの身体状態情報を格納した身体状態情報格納部と、
    をさらに有し、
    前記危険状態判定基準は、
    少なくとも前記部位及び前記身体状態情報に応じて設定されているとともに、特定の前記姿勢が検出された場合における前記部位別の前記位置情報に関する判定基準を含み
    前記危険状態判定部は、
    前記身体状態情報格納部から前記検出対象者の前記身体状態情報を取得し、前記判定基準格納部から前記部位及び取得した前記身体状態情報に応じた前記危険状態判定基準を取得し、
    前記位置情報、前記姿勢、及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定し、
    前記スケルトン検出部は、
    学習済みモデルに対する前記画像を含む情報の入力に応じて、前記部位を特定し、特定された前記部位の位置情報を含む情報を検出する
    画像処理装置。
  2. 前記画像は、赤外線画像である
    請求項1に記載の画像処理装置。
  3. 前記姿勢検出部は、
    学習済みモデルに対する前記画像を含む情報の入力に応じて、前記姿勢を検出する
    請求項1又は2に記載の画像処理装置。
  4. 前記判定結果を含む情報を訂正する情報を受け付ける訂正情報受付部をさらに有し、
    前記判定基準格納部は、
    前記訂正情報受付部から取得した前記訂正する情報に基づいて前記危険状態判定基準を更新する
    請求項1ないしのうちいずれか1項に記載の画像処理装置。
  5. 前記判定結果を含む情報を訂正する情報を受け付ける訂正情報受付部をさらに有し、
    前記学習済みモデルは、
    前記訂正情報受付部から取得した前記訂正する情報に基づいて更新を実行する
    請求項1ないしのうちいずれか1項に記載の画像処理装置。
  6. 前記出力部は、入出力装置に対して前記判定結果を含む情報の出力を行い、
    前記訂正情報受付部は、前記入出力装置から前記訂正する情報を受け付ける
    請求項又はに記載の画像処理装置。
  7. 前記危険状態判定部は、
    少なくとも前記位置情報の履歴に基づいて、前記検出対象者が危険な状態にあるか否かを判定する
    請求項1ないしのうちいずれか1項に記載の画像処理装置。
  8. 前記危険状態判定部は、
    少なくとも前記姿勢の履歴に基づいて、前記検出対象者が危険な状態にあるか否かを判定する
    請求項1ないし7のうちいずれか1項に記載の画像処理装置。
  9. 集計部をさらに有し、
    前記出力部は、前記集計部に対して、前記判定結果を含む情報の出力を行い、
    前記集計部は、
    前記検出対象者ごとに前記判定結果を含む情報を集計する
    請求項1ないしのうちいずれか1項に記載の画像処理装置。
  10. 前記位置情報は、
    前記部位と前記身体の周辺に存在する物体との相対的な位置関係に関する情報を含み、
    前記危険状態判定基準は、
    前記部位と前記物体との相対的な位置関係に関する判定基準を含む
    請求項1ないしのうちいずれか1項に記載の画像処理装置。
  11. 前記位置情報は、
    前記部位の前記身体を支持する物体の特定部分からの距離に関する情報を含み、
    前記危険状態判定基準は、
    前記部位の前記特定部分からの距離に関する判定基準を含む
    請求項1ないし10のうちいずれか1項に記載の画像処理装置。
  12. 前記画像は、ベッド上における前記検出対象者を撮影した画像を含み、
    前記部位は、前記検出対象者の頭部を含み、
    前記位置情報は、
    前記頭部の前記ベッドの端部からの距離に関する情報を含み、
    前記危険状態判定基準は、
    前記頭部の前記端部からの距離に関する判定基準を含む
    請求項1ないし11のうちいずれか1項に記載の画像処理装置。
  13. 前記危険状態判定基準は、
    さらに前記ベッドに設けられている柵に関する状況にも応じて設定されている
    請求項12に記載の画像処理装置。
  14. 前記危険状態判定部が、前記検出対象者が危険な状態にあると判定した場合、
    前記出力部は、前記部位に応じたレベルの報知をする
    請求項1ないし13のうちいずれか1項に記載の画像処理装置。
  15. コンピュータが実行する画像処理方法であって、
    検出対象者を撮影した画像を受け取ることと、
    前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出することと、
    少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を取得することと、
    前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定することと、
    前記判定の結果を含む情報を出力することと、
    を含む
    画像処理方法であって、
    前記画像において前記検出対象者の姿勢を検出することをさらに含み、
    前記危険状態判定基準は、
    少なくとも前記部位及び前記検出対象者の身体状態情報に応じて設定されているとともに、特定の前記姿勢が検出された場合における前記部位別の前記位置情報に関する判定基準を含み
    前記危険状態判定基準を取得することは、
    前記検出対象者ごとに格納された前記身体状態情報から前記検出対象者の前記身体状態情報を取得することと、前記部位及び取得した前記身体状態情報に応じた前記危険状態判定基準を取得することとを含み、
    前記判定することは、
    前記位置情報、前記姿勢、及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定することを含み、
    前記部位を特定し、特定された前記部位の前記位置情報を含む情報を検出することは、
    学習済みモデルに対する前記画像を含む情報の入力に応じて、前記部位を特定し、特定された前記部位の前記位置情報を含む情報を検出することを含む
    画像処理方法。
  16. 検出対象者を撮影した画像を受け取り、
    前記画像において前記検出対象者の身体の複数の部位を特定し、特定された前記部位の位置情報を含む情報を検出し、
    少なくとも前記部位に応じて設定されており前記位置情報に関する危険状態判定基準を取得し、
    前記位置情報及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定し、
    前記判定の結果を含む情報を出力する
    処理をコンピュータに実行させる
    画像処理プログラムであって、
    前記画像において前記検出対象者の姿勢を検出する処理をさらに含み、
    前記危険状態判定基準は、
    少なくとも前記部位及び前記検出対象者の身体状態情報に応じて設定されているとともに、特定の前記姿勢が検出された場合における前記部位別の前記位置情報に関する判定基準を含み
    前記危険状態判定基準を取得する処理は、
    前記検出対象者ごとに格納された前記身体状態情報から前記検出対象者の前記身体状態情報を取得する処理と、前記部位及び取得した前記身体状態情報に応じた前記危険状態判定基準を取得する処理とを含み、
    前記判定する処理は、
    前記位置情報、前記姿勢、及び前記危険状態判定基準を含む情報に基づいて、前記検出対象者が危険な状態にあるか否かを判定する処理を含み、
    前記部位を特定し、特定された前記部位の前記位置情報を含む情報を検出する処理は、
    学習済みモデルに対する前記画像を含む情報の入力に応じて、前記部位を特定し、特定された前記部位の前記位置情報を含む情報を検出する処理を含む
    画像処理プログラム。
JP2021211730A 2021-12-24 2021-12-24 画像処理装置、画像処理方法、及び画像処理プログラム Active JP7237382B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021211730A JP7237382B1 (ja) 2021-12-24 2021-12-24 画像処理装置、画像処理方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021211730A JP7237382B1 (ja) 2021-12-24 2021-12-24 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP7237382B1 true JP7237382B1 (ja) 2023-03-13
JP2023095698A JP2023095698A (ja) 2023-07-06

Family

ID=85513814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021211730A Active JP7237382B1 (ja) 2021-12-24 2021-12-24 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP7237382B1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015132963A (ja) 2014-01-13 2015-07-23 知能技術株式会社 監視システム
JP2018143338A (ja) 2017-03-02 2018-09-20 オムロン株式会社 見守り支援システム及びその制御方法
WO2019013257A1 (ja) 2017-07-14 2019-01-17 オムロン株式会社 見守り支援システム及びその制御方法、プログラム
JP2019008638A (ja) 2017-06-27 2019-01-17 オムロン株式会社 見守り支援システム及びその制御方法
JP2020052867A (ja) 2018-09-28 2020-04-02 株式会社Axive 姿勢解析装置、姿勢解析方法、及びプログラム
WO2020145380A1 (ja) 2019-01-11 2020-07-16 株式会社サンクレエ 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
JP2020194212A (ja) 2019-05-24 2020-12-03 パラマウントベッド株式会社 システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6811465B2 (ja) * 2019-05-24 2021-01-13 株式会社エクサウィザーズ 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015132963A (ja) 2014-01-13 2015-07-23 知能技術株式会社 監視システム
JP2018143338A (ja) 2017-03-02 2018-09-20 オムロン株式会社 見守り支援システム及びその制御方法
JP2019008638A (ja) 2017-06-27 2019-01-17 オムロン株式会社 見守り支援システム及びその制御方法
WO2019013257A1 (ja) 2017-07-14 2019-01-17 オムロン株式会社 見守り支援システム及びその制御方法、プログラム
JP2020052867A (ja) 2018-09-28 2020-04-02 株式会社Axive 姿勢解析装置、姿勢解析方法、及びプログラム
WO2020145380A1 (ja) 2019-01-11 2020-07-16 株式会社サンクレエ 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
JP2020194212A (ja) 2019-05-24 2020-12-03 パラマウントベッド株式会社 システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
smartNexus care、株式会社サンクレエ、[令和4年10月22日検索]インターネット<URL:http://suncreer.co.jp/service/smartnexus-care/>

Also Published As

Publication number Publication date
JP2023095698A (ja) 2023-07-06

Similar Documents

Publication Publication Date Title
US10904492B2 (en) Video monitoring system
US10600204B1 (en) Medical environment bedsore detection and prevention system
JP6720961B2 (ja) 姿勢検知装置および姿勢検知方法
KR101999934B1 (ko) 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체
US20150294481A1 (en) Motion information processing apparatus and method
JP6717235B2 (ja) 見守り支援システム及びその制御方法
WO2013058985A1 (en) Method and apparatus for detecting deterioration of health status
JP6822328B2 (ja) 見守り支援システム及びその制御方法
US10475206B1 (en) Medical environment event parsing system
JP7403132B2 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
US10229489B1 (en) Medical environment monitoring system
JP7237382B1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20230008323A1 (en) Systems and methods for predicting and preventing patient departures from bed
WO2020241057A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP6583953B1 (ja) 医療用装身器具の自己抜去監視システム及び医療用装身器具の自己抜去監視方法
JP2022010581A (ja) 検知装置、検知方法、画像処理方法、およびプログラム
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP7467300B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム
US20230011319A1 (en) Systems and methods for predicting and preventing collisions
JP7449211B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP7276336B2 (ja) コンピュータで実行されるプログラム、情報処理システム、および、コンピュータで実行される方法
WO2021033597A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP7215481B2 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP2021103360A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2021140422A (ja) 監視システム、監視装置及び監視方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211227

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220823

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220927

C876 Explanation why request for accelerated appeal examination is justified

Free format text: JAPANESE INTERMEDIATE CODE: C876

Effective date: 20220927

C305 Report on accelerated appeal examination

Free format text: JAPANESE INTERMEDIATE CODE: C305

Effective date: 20221018

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221025

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20221025

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20221115

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20221121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20230110

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230124

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230221

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7237382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150