JP7449211B2 - システム、電子機器、電子機器の制御方法、及びプログラム - Google Patents

システム、電子機器、電子機器の制御方法、及びプログラム Download PDF

Info

Publication number
JP7449211B2
JP7449211B2 JP2020162738A JP2020162738A JP7449211B2 JP 7449211 B2 JP7449211 B2 JP 7449211B2 JP 2020162738 A JP2020162738 A JP 2020162738A JP 2020162738 A JP2020162738 A JP 2020162738A JP 7449211 B2 JP7449211 B2 JP 7449211B2
Authority
JP
Japan
Prior art keywords
person
monitored
target
predetermined
predetermined part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020162738A
Other languages
English (en)
Other versions
JP2022055249A (ja
Inventor
健宏 馬渕
智子 浅野
裕 香島
賢也 小林
永勲 高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2020162738A priority Critical patent/JP7449211B2/ja
Publication of JP2022055249A publication Critical patent/JP2022055249A/ja
Application granted granted Critical
Publication of JP7449211B2 publication Critical patent/JP7449211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、システム、電子機器、電子機器の制御方法、及びプログラムに関する。
例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献１は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者システムを開示している。特許文献２は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献３は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、引用文献４は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。
特開２０１７－９１５５２号公報 特開２０１７－２２１５０２号公報 特開２０１４－１０６６３６号公報 特開２００３－９１７９０号公報
被監視対象を監視することにより、被監視対象の周囲の安全に供することができれば、有益である。
本開示の目的は、被監視対象の周囲の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することにある。
一実施形態に係るシステムは、被監視対象と他の人物とを撮像する撮像部と、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肘が上に移動し、かつ、前記被監視対象の手首が肘よりも上に移動した場合、又は、前記被監視対象の手首が肘よりも上に移動した後、所定速度以上で下に移動した場合に、所定の警告信号を出力する。
また、一実施形態に係るシステムは、被監視対象と他の人物とを撮像する撮像部と、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の肘が上に移動しない場合、又は、前記被監視対象の手首が肘よりも上に移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動した場合に、所定の警告信号を出力する。
また、一実施形態に係るシステムは、被監視対象と他の人物とを撮像する撮像部と、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動し、かつ、前記被監視対象の手首が前記他の人物から離れた場合に、所定の警告信号を出力する。
また、一実施形態に係るシステムは、被監視対象と他の人物とを撮像する撮像部と、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の膝及び足首が上又は水平方向に移動した場合、又は、前記被監視対象の膝及び足首が上又は水平方向に移動した後、前記被監視対象の膝及び足首が更に上又は水平方向に移動した場合に、所定の警告信号を出力する。
また、一実施形態に係るシステムは、被監視対象と他の人物とを撮像する撮像部と、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肩が前記他の人物に向けて移動した場合、又は、前記被監視対象の肩が前記他の人物に向けて移動した後、前記被監視対象の肩と前記他の人物の所定部位の少なくとも一部との距離が第２閾値未満となった場合に、所定の警告信号を出力する。
また、一実施形態に係るシステムは、被監視対象と他の人物とを撮像する撮像部と、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した場合、又は、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した後、前記被監視対象の首及び肩が更に下に向けて移動した場合に、所定の警告信号を出力する。
また、一実施形態に係るシステムは、被監視対象と、他の人物と、前記他の人物に関連する物体とを撮像する撮像部と、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と、前記他の人物に関連する物体の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物に関連する物体の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に関連する物体に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に関連する物体に近づいたと判定した場合において、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した後、前記被監視対象の手首が水平方向に往復で移動した場合に、所定の警告信号を出力する。
一実施形態に係る電子機器は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肘が上に移動し、かつ、前記被監視対象の手首が肘よりも上に移動した場合、又は、前記被監視対象の手首が肘よりも上に移動した後、所定速度以上で下に移動した場合に、所定の警告信号を出力する。
また、一実施形態に係る電子機器は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の肘が上に移動しない場合、又は、前記被監視対象の手首が肘よりも上に移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動した場合に、所定の警告信号を出力する。
また、一実施形態に係る電子機器は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動し、かつ、前記被監視対象の手首が前記他の人物から離れた場合に、所定の警告信号を出力する。
また、一実施形態に係る電子機器は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の膝及び足首が上又は水平方向に移動した場合、又は、前記被監視対象の膝及び足首が上又は水平方向に移動した後、前記被監視対象の膝及び足首が更に上又は水平方向に移動した場合に、所定の警告信号を出力する。
また、一実施形態に係る電子機器は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肩が前記他の人物に向けて移動した場合、又は、前記被監視対象の肩が前記他の人物に向けて移動した後、前記被監視対象の肩と前記他の人物の所定部位の少なくとも一部との距離が第２閾値未満となった場合に、所定の警告信号を出力する。
また、一実施形態に係る電子機器は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した場合、又は、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した後、前記被監視対象の首及び肩が更に下に向けて移動した場合に、所定の警告信号を出力する。
また、一実施形態に係る電子機器は、被監視対象と、他の人物と、前記他の人物に関連する物体とを撮像した画像から前記被監視対象の所定部位の座標と、前記他の人物に関連する物体の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物に関連する物体の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に関連する物体に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に関連する物体に近づいたと判定した場合において、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した後、前記被監視対象の手首が水平方向に往復で移動した場合に、所定の警告信号を出力する。
一実施形態に係る電子機器の制御方法は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップを含む。前記制御方法は、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップを含む。前記制御方法は、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肘が上に移動し、かつ、前記被監視対象の手首が肘よりも上に移動した場合、又は、前記被監視対象の手首が肘よりも上に移動した後、所定速度以上で下に移動した場合に、所定の警告信号を出力する出力ステップを含む。
また、一実施形態に係る電子機器の制御方法は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップを含む。前記制御方法は、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップを含む。前記制御方法は、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の肘が上に移動しない場合、又は、前記被監視対象の手首が肘よりも上に移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動した場合に、所定の警告信号を出力する出力ステップを含む。
また、一実施形態に係る電子機器の制御方法は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップを含む。前記制御方法は、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップを含む。前記制御方法は、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動し、かつ、前記被監視対象の手首が前記他の人物から離れた場合に、所定の警告信号を出力する出力ステップを含む。
また、一実施形態に係る電子機器の制御方法は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップを含む。前記制御方法は、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップを含む。前記制御方法は、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の膝及び足首が上又は水平方向に移動した場合、又は、前記被監視対象の膝及び足首が上又は水平方向に移動した後、前記被監視対象の膝及び足首が更に上又は水平方向に移動した場合に、所定の警告信号を出力する出力ステップを含む。
また、一実施形態に係る電子機器の制御方法は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップを含む。前記制御方法は、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップを含む。前記制御方法は、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肩が前記他の人物に向けて移動した場合、又は、前記被監視対象の肩が前記他の人物に向けて移動した後、前記被監視対象の肩と前記他の人物の所定部位の少なくとも一部との距離が第２閾値未満となった場合に、所定の警告信号を出力する出力ステップを含む。
また、一実施形態に係る電子機器の制御方法は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップを含む。前記制御方法は、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップを含む。前記制御方法は、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した場合、又は、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した後、前記被監視対象の首及び肩が更に下に向けて移動した場合に、所定の警告信号を出力する出力ステップを含む。
また、一実施形態に係る電子機器の制御方法は、被監視対象と、他の人物と、前記他の人物に関連する物体とを撮像した画像から前記被監視対象の所定部位の座標と、前記他の人物に関連する物体の座標とを抽出する抽出ステップを含む。前記制御方法は、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物に関連する物体の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に関連する物体に近づいたと判定する判定ステップを含む。前記制御方法は、前記被監視対象が前記他の人物に関連する物体に近づいたと判定した場合において、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した後、前記被監視対象の手首が水平方向に往復で移動した場合に、所定の警告信号を出力する出力ステップを含む。
一実施形態に係るプログラムは、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップをコンピュータに実行させる。前記プログラムは、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップをコンピュータに実行させる。前記プログラムは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肘が上に移動し、かつ、前記被監視対象の手首が肘よりも上に移動した場合、又は、前記被監視対象の手首が肘よりも上に移動した後、所定速度以上で下に移動した場合に、所定の警告信号を出力する出力ステップをコンピュータに実行させる。
また、一実施形態に係るプログラムは、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップをコンピュータに実行させる。前記プログラムは、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップをコンピュータに実行させる。前記プログラムは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の肘が上に移動しない場合、又は、前記被監視対象の手首が肘よりも上に移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動した場合に、所定の警告信号を出力する出力ステップをコンピュータに実行させる。
また、一実施形態に係るプログラムは、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップをコンピュータに実行させる。前記プログラムは、、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップをコンピュータに実行させる。前記プログラムは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動し、かつ、前記被監視対象の手首が前記他の人物から離れた場合に、所定の警告信号を出力する出力ステップをコンピュータに実行させる。
また、一実施形態に係るプログラムは、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップをコンピュータに実行させる。前記プログラムは、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップをコンピュータに実行させる。前記プログラムは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の膝及び足首が上又は水平方向に移動した場合、又は、前記被監視対象の膝及び足首が上又は水平方向に移動した後、前記被監視対象の膝及び足首が更に上又は水平方向に移動した場合に、所定の警告信号を出力する出力ステップをコンピュータに実行させる。
また、一実施形態に係るプログラムは、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップをコンピュータに実行させる。前記プログラムは、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップをコンピュータに実行させる。前記プログラムは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肩が前記他の人物に向けて移動した場合、又は、前記被監視対象の肩が前記他の人物に向けて移動した後、前記被監視対象の肩と前記他の人物の所定部位の少なくとも一部との距離が第２閾値未満となった場合に、所定の警告信号を出力する出力ステップをコンピュータに実行させる。
また、一実施形態に係るプログラムは、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップをコンピュータに実行させる。前記プログラムは、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップをコンピュータに実行させる。前記プログラムは、、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した場合、又は、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した後、前記被監視対象の首及び肩が更に下に向けて移動した場合に、所定の警告信号を出力する出力ステップをコンピュータに実行させる。
また、一実施形態に係るプログラムは、被監視対象と、他の人物と、前記他の人物に関連する物体とを撮像した画像から前記被監視対象の所定部位の座標と、前記他の人物に関連する物体の座標とを抽出する抽出ステップをコンピュータに実行させる。前記プログラムは、、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物に関連する物体の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に関連する物体に近づいたと判定する判定ステップをコンピュータに実行させる。前記プログラムは、前記被監視対象が前記他の人物に関連する物体に近づいたと判定した場合において、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した後、前記被監視対象の手首が水平方向に往復で移動した場合に、所定の警告信号を出力する出力ステップをコンピュータに実行させる。
一実施形態によれば、被監視対象の周囲の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することができる。
一実施形態に係るシステムの概略構成を示す機能ブロック図である。 一実施形態に係るシステムによる動作を説明するフローチャートである。 一実施形態に係るシステムによって撮像される画像の例を示すフローチャートである。 一実施形態に係るシステムによって撮像される画像の例を示すフローチャートである。 一実施形態に係るシステムによって抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって撮像される画像から抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって抽出される所定の部位の座標について説明する図である。 一実施形態に係るシステムによって撮像される画像から抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって撮像される画像から抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによる判定について説明する図である。
本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び／又は電子機器を使用する者（典型的には人間）としてよい。ユーザは、一実施形態に係るシステム及び／又は電子機器を用いることで、被監視対象の監視を行う者を含んでもよい。また、「被監視対象」とは、一実施形態に係るシステム及び／又は電子機器によって監視される対象となる者（例えば人間又は動物）としてよい。さらに、ユーザは、被監視対象を含んでもよい。
一実施形態に係るシステムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び／又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び／又は管理は、極めて重要である。一実施形態に係るシステムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び／又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係るシステムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。
一実施形態に係るシステムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象が被監視対象を介護したり看護したりするスタッフなどの他の人物に対して暴力を振るう動作を監視することができる。暴力を振るう動作は、他の人物を叩いたり殴ったり押したり蹴ったり体当たりしたり噛みついたりする動作を含んでよい。暴力を振るう動作は、他の人物が座っている椅子又は車椅子を押したり揺らしたりする動作を含んでよい。暴力を振るう動作は、これらに限られず、他の種々の動作を含んでよい。
特に、一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象が他の人物に近づいている場合に、被監視対象が前記他の人物に対して暴力を振るう動作が開始する前又は終了する前に、所定の警告を発することができる。したがって、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視対象が他の人物に対して暴力を振るったりさらに暴力を振るい続けたりする前に、被監視対象が他の人物に対して暴力を振るったり暴力を振るい続けたりしようとしていることを認識し得る。
以下、一実施形態に係るシステムについて、図面を参照して詳細に説明する。
図１は、一実施形態に係るシステムの概略構成を示す図である。図１に示すように、一実施形態に係るシステム１は、電子機器１０及び撮像部２０を含んで構成されてよい。電子機器１０と撮像部２０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係るシステム１は、図１に示す機能部の一部を含まなくてもよいし、図１に示す以外の機能部を含んでもよい。例えば、一実施形態に係るシステム１は、警告部１７及び通信部１９の少なくとも一方を備えなくてもよい。また、例えば、一実施形態に係るシステム１は、画像を表示可能なディスプレイ及び／又はメモリカードなどのストレージを挿入可能なスロットなどを備えてもよい。
図１に示す撮像部２０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部２０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部２０は、例えば図１に示すように、被監視対象Ｔを撮像してよい。ここで、被監視対象Ｔは、例えば人間としてよい。撮像部２０は、撮像した画像を信号に変換して、電子機器１０に送信してよい。例えば、撮像部２０は、撮像した画像に基づく信号を、電子機器１０の抽出部１１、記憶部１３、及び／又は、コントローラ１５などに送信してよい。撮像部２０は、被監視対象Ｔを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。撮像部２０は、有線、無線、若しくはこれらの任意の組み合わせにより電子機器１０と接続されている。
一実施形態において、撮像部２０は、例えば被監視対象Ｔを所定時間ごと（例えば秒間１５フレーム）の静止画として撮像してもよい。また、一実施形態において、撮像部２０は、例えば被監視対象Ｔを連続した動画として撮像してもよい。
図１に示すように、一実施形態に係る電子機器１０は、抽出部１１、記憶部１３、コントローラ１５、警告部１７、及び通信部１９を備えてよい。一実施形態に係る電子機器１０は、図１に示す機能部の一部を備えなくてもよいし、図１に示す以外の機能部を備えてもよい。
抽出部１１は、撮像部２０によって撮像された画像から、所定の特徴点を抽出する機能を有してよい。例えば、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの身体における所定部位のような特徴点の座標を抽出してもよい。ここで、特徴点については、さらに後述する。一実施形態において、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの頭部、体幹、四肢、及び／又は各関節などの各部の座標を抽出してもよい。抽出部１１は、専用のハードウェアとして構成されてもよいし、少なくとも一部にソフトウェアを含めて構成されてもよいし、全てソフトウェアで構成されているとしてもよい。このように、抽出部１１は、撮像部２０によって撮像された画像から、被監視対象Ｔの所定部位の座標を抽出してよい。抽出部１１は、他の人物Ｗ（図３など参照）の画像から、他の人物Ｗの身体における所定部位のような特徴点の座標を抽出してもよい。抽出部１１は、撮像部２０によって撮像された画像から、他の人物Ｗの所定部位の座標を抽出してよい。抽出部１１は、撮像部２０によって撮像された画像から、他の人物Ｗが座っている椅子又は車椅子などを認識してもよい。他の人物Ｗが座っている椅子又は車椅子などは、他の人物Ｗに関連する物体とも称される。
記憶部１３は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部１３は、例えばコントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などを記憶してよい。一実施形態において、記憶部１３は、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作を開始したか否かをコントローラ１５が判定するための基準となる所定の条件を記憶してもよい。所定の条件については、さらに後述する。また、記憶部１３は、コントローラ１５のワークメモリとして機能してよい。記憶部１３は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部１３は、一実施形態に係る電子機器１０に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部１３は、後述のコントローラ１５として用いられるＣＰＵの内部メモリであってもよいし、コントローラ１５に別体として接続されるものとしてもよい。
コントローラ１５は、電子機器１０を構成する各機能部をはじめとして、電子機器１０の全体を制御及び／又は管理する。コントローラ１５は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）のような、少なくとも１つのプロセッサを含んでよい。コントローラ１５は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
一実施形態において、コントローラ１５は、例えばＣＰＵ及び当該ＣＰＵで実行されるプログラムとして構成されてよい。コントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などは、例えば記憶部１３に記憶されてよい。コントローラ１５は、コントローラ１５の動作に必要なメモリを適宜含んでもよい。
特に、一実施形態において、コントローラ１５は、被監視対象Ｔが他の人物Ｗに暴力を振るう動作を開始したか否かを判定する処理を行ってよい。以下、被監視対象Ｔが他の人物Ｗに暴力を振るう動作を、「暴力動作」と記すことがある。コントローラ１５は、暴力動作の開始を判定するために、所定の条件が満たされたか否かを判定してよい。コントローラ１５は、暴力動作の開始を判定するために、抽出部１１によって抽出された被監視対象Ｔ及び他の人物Ｗそれぞれの所定部位の座標又は他の人物Ｗに関連する物体の座標に基づいて、所定の条件が満たされたか否かを判定してよい。また、コントローラ１５は、所定の条件が満たされることによって、暴力動作の開始を判定したら、所定の警告信号を出力してよい。コントローラ１５は、暴力動作の予兆を判定するために、所定の条件が満たされたか否かを判定してよい。コントローラ１５は、暴力動作の予兆を判定するために、抽出部１１によって抽出された被監視対象Ｔ及び他の人物Ｗの所定部位の座標又は他の人物Ｗに関連する物体の座標に基づいて、所定の条件が満たされたか否かを判定してよい。また、コントローラ１５は、所定の条件が満たされることによって、暴力動作の予兆を判定したら、所定の警告信号を出力してよい。所定の条件については、さらに後述する。また、一実施形態に係る電子機器１０のコントローラ１５の動作についても、さらに後述する。
警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、システム１又は電子機器１０のユーザなどに注意を促すための所定の警告を発してよい。警告部１７は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部１７は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部１７は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してもよい。
一実施形態において、警告部１７は、例えば被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作を開始する前に（暴力動作の予兆があった時点で）、被監視対象Ｔが他の人物Ｗに対して暴力を振るい始めるリスクがある旨の警告を発してよい。また、一実施形態において、警告部１７は、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作を終了する前に、被監視対象Ｔが他の人物Ｗに対して暴力を振るい続けるリスクがある旨の警告を発してもよい。例えば、一実施形態において、視覚情報を出力する警告部１７は、被監視対象Ｔが他の人物Ｗに対して暴力を振るい始めたり暴力を振るい続けたりするリスクがある旨が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部１７は、被監視対象Ｔが他の人物Ｗに対して暴力を振るい始めたり暴力を振るい続けたりするリスクがある旨が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてもよい。
図１に示す電子機器１０は、警告部１７を内蔵している。しかしながら、一実施形態にシステム１において、警告部１７は、電子機器１０の外部に設けられてもよい。この場合、警告部１７と電子機器１０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
通信部１９は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部１９によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）、及びＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、及びＮＦＣ（Near Field Communication）等を含む。通信部１９は、上記の通信規格の１つ又は複数をサポートすることができる。通信部１９は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。また、通信部１９は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部１９は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアなどの説明は省略する。
通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に供給されてよい。通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に内蔵されたメモリに記憶してもよい。また、通信部１９は、例えばコントローラ１５による処理結果、抽出部１１による抽出結果、及び／又は、記憶部１３に記憶された情報などを外部に送信してもよい。
図１に示すような、一実施形態に係る電子機器１０を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。
次に、一実施形態に係るシステム１の動作について説明する。
一実施形態に係るシステム１は、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作における被監視対象Ｔの身体の各部の位置（座標）、及び、他の人物Ｗの身体の各部の位置（座標）又は他の人物Ｗに関連する物体の位置（座標）から、暴力動作の開始を判定してよい。
図２は、一実施形態に係るシステム１の動作の一例を示すフローチャートである。図２は、一実施形態に係るシステム１に含まれる電子機器１０の動作に焦点を当てたフローチャートとしてもよい。
例えば認知症の発症が疑われる者など（例えば要看護者又は要介護者など）は、看護者又は介護者などの他の人物Ｗに対して暴力を振るってしまうことがある。このような場合、他の人物Ｗがケガをすることがある。また、他の人物Ｗが不快に感じたり危険を感じたりする。つまり、他の人物Ｗの安全が脅かされるリスクがある。したがって、他の人物Ｗに対して暴力が振るわれようとしていること、又は、他の人物Ｗに対して暴力が振るわれたことを他者に警告することは、被監視対象Ｔの周囲の他の人物Ｗの安全に供し得るのみならず、被監視対象Ｔの周囲環境の安全にも供し得る。一実施形態に係るシステム１においては、上述のようにして被監視対象Ｔのような人間が他の人物Ｗに対して暴力を振るう動作における被監視対象Ｔの身体の各部の位置（座標）、及び、他の人物Ｗの身体の各部の位置（座標）又は他の人物Ｗに関連する物体の位置（座標）から暴力動作の予兆又は開始を判定してよい。以下、このような動作について、より詳細に説明する。
図２に示す動作が開始する時点において、システム１の撮像部２０は、例えば被監視対象Ｔのような人間の撮像を開始していてよい。図２に示す動作が開始する時点は、撮像部２０が例えば被監視対象Ｔのような人間の撮像を開始した時点としてもよい。また、図２に示す動作が開始する時点は、撮像部２０が撮像を開始してから、例えば被監視対象Ｔのような人間が撮像部２０の撮像範囲に入った時点としてもよい。
図２に示す動作が開始すると、電子機器１０のコントローラ１５は、撮像部２０によって撮像された画像を取得する（ステップＳ１１）。
図３は、図２に示したステップＳ１１においてコントローラ１５が取得した画像、すなわち撮像部２０によって撮像された画像の例を概略的に示す図である。
図３に示すように、撮像部２０は、例えば被監視対象Ｔのような人間が他の人物Ｗに近づいている状態を撮像してよい。図３は、被監視対象Ｔのような人間が他の人物Ｗに近づいている様子を模式的に示している。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間が他の人物Ｗに近づいている画像を取得する。後述のように、撮像部２０は、被監視対象Ｔのような人間が他の人物Ｗに近づいている状態以外の状態の画像を撮像してもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間が他の人物Ｗに近づいている状態以外の状態の画像を取得してもよい。
図４は、図２に示したステップＳ１１においてコントローラ１５が取得した画像、すなわち撮像部２０によって撮像された画像の他の例を示す図である。図４に示すように、撮像部２０は、例えば被監視対象Ｔのような人間が他の人物Ｗを叩いている状態を撮像してよい。図４は、被監視対象Ｔが他の人物Ｗを叩いている様子を模式的に示している。図４において、被監視対象Ｔ及び／又は他の人物Ｗは、移動していてもよいし、静止していてもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間及び他の人物Ｗを含む画像を取得する。後述のように、撮像部２０は、被監視対象Ｔのような人間が他の人物Ｗを叩いている状態以外の状態の画像を撮像してもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間が他の人物Ｗを叩いている状態以外の状態の画像を取得してもよい。
撮像部２０は、秒間所定数のフレームの各画像を撮像するものとしてよい。ここで、撮像部２０が撮像する画像は、連続するフレームの静止画としてもよいし、動画としてもよい。例えば、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。ステップＳ１１において、コントローラ１５は、撮像部２０によって撮像された秒間所定数のフレームの画像を取得してよい。
図２に示すように、ステップＳ１１において撮像された画像を取得すると、抽出部１１は、被監視対象Ｔの身体における所定部位の座標を抽出する（ステップＳ１２）。ステップＳ１２における動作は、抽出部１１ではなく、コントローラ１５が行ってもよい。抽出部１１は、被監視対象Ｔの身体における所定部位の座標だけでなく、他の人物Ｗの身体における所定部位の座標をさらに抽出する。抽出部１１は、他の人物Ｗに関連する物体の座標をさらに抽出してもよい。
図５は、ステップＳ１２において抽出される被監視対象Ｔの身体における所定部位の例を示す図である。
抽出部１１は、例えば図５に示すような被監視対象Ｔの身体における所定部位の座標を抽出してよい。図５に示すように、ステップＳ１２において座標を抽出する所定部位は、例えば、被監視対象Ｔの身体における首、左肩、左肘、左手首、右肩、右肘、及び右手首を含んでよい。また、図５に示すように、ステップＳ１２において座標を抽出する所定部位は、例えば、被監視対象Ｔの身体における左尻、左膝、左足首、右尻、右膝、及び右足首をさらに含んでよい。このように、ステップＳ１２において抽出される所定部位の座標は、被監視対象Ｔの身体における所定の関節点の座標などとしてよい。
図６は、図４に示した画像において、被監視対象Ｔの身体における所定部位として抽出される座標の例を示す図である。図６に示す被監視対象Ｔの画像は、図４に示した被監視対象Ｔの画像と同じものを示している。図６は、図４に示した被監視対象Ｔの画像において、図５に示した被監視対象Ｔの身体における所定部位として抽出される座標を示している。
抽出部１１は、図６に示す複数のドットの座標を、図５に示す被監視対象Ｔの身体における所定部位として抽出する。例えば、抽出部１１は、図６に示す座標軸に従って、図６に示す複数のドットの座標を、２次元的に抽出してよい。すなわち、抽出部１１は、撮像部２０によって撮像される画像の撮像範囲の左下端部は、図６に示す座標軸の原点を示すものとしてよい。例えば、抽出部１１は、図６に示す被監視対象Ｔの首の位置の座標を、図６に示す座標軸に従って取得する。
ここで、撮像部２０が秒間所定数のフレームの各画像を撮像する場合、抽出部１１は、秒間所定数のフレームにおいて被監視対象Ｔの身体における所定部位として抽出してよい。また、コントローラ１５が秒間所定数のフレームの画像を取得する場合も、抽出部１１は、秒間所定数のフレームにおいて被監視対象Ｔの身体における所定部位として抽出してよい。一例として、抽出部１１は、被監視対象Ｔの身体における所定部位を、秒間１５フレームにおいて抽出してよい。
図７は、例えば１秒間の１５フレームにおいて、被監視対象Ｔの身体において抽出された所定部位の座標をまとめて示す図である。図７に示すように、ステップＳ１２において、コントローラ１５（又は抽出部１１）は、被監視対象Ｔの身体において抽出された所定部位の座標を、フレームごとに並べて配置してもよい。図７に示すように、抽出部１１は、フレームごとに、被監視対象Ｔの身体において２次元的に（Ｘ，Ｙ座標として）所定部位の座標を抽出してよい。図７に示す表において、各行は、各フレームにおいて、被監視対象Ｔの身体の所定部位が、Ｘ，Ｙ座標として抽出された様子を模式的に示してある。また、図７に示す表において、各フレームを示す行は、時間の経過に従って上から下に示してある。図７に示す１５フレームの座標は、例えば図６に示すような画像（又は動画）における１秒間の座標をトラッキングしたものとしてよい。また、図７に示す１５フレームの後も、順次、被監視対象Ｔの身体において所定部位の座標が抽出されるものとしてよい。
このように、一実施形態において、抽出部１１は、撮像部２０によって撮像された秒間所定数の各フレームの画像から、被監視対象Ｔの身体における所定数の関節点の座標を２次元的に抽出してもよい。
他の人物Ｗの身体における所定部位の座標は、被監視対象Ｔの身体における所定部位の座標と同様に抽出されてもよい。他の人物Ｗに関連する物体の座標がさらに抽出されてもよい。また、図６に示されるように、被監視対象Ｔが他の人物Ｗを叩いている態様の暴力が振るわれている場合の座標だけでなく、他の態様の暴力が振るわれている場合の座標が抽出されてもよい。
図８は、ステップＳ１２において認識される被監視対象Ｔ及び他の人物Ｗの他の例を示す図である。図８は、被監視対象Ｔが他の人物Ｗに噛みついている様子を模式的に示した図と、抽出部１１が被監視対象Ｔ及び他の人物Ｗを認識した結果として得られた特徴点を重畳して表示した図である。
図９は、ステップＳ１２において認識される被監視対象Ｔ及び他の人物Ｗ、並びに、他の人物Ｗが座っている車椅子Ｃの他の例を示す図である。図９は、被監視対象Ｔが他の人物Ｗが座っている車椅子Ｃを強く押している様子を模式的に示した図と、抽出部１１が被監視対象Ｔ及び他の人物Ｗ、並びに、車椅子Ｃを認識した結果として得られた特徴点を重畳して表示した図である。
抽出部１１は、図６だけでなく、図８及び図９に示すような被監視対象Ｔ及び他の人物Ｗにおける所定の特徴点を認識してもよい。また、抽出部１１は、図８及び図９に示す座標軸に従って、図８及び図９に示す被監視対象Ｔ及び他の人物Ｗを、２次元的に抽出してよい。また、抽出部１１は、被監視対象Ｔ及び他の人物Ｗを認識する際に、画像における被監視対象Ｔ及び他の人物Ｗの位置（例えば座標）を抽出してもよい。また、抽出部１１は、他の人物Ｗに関連する物体として車椅子Ｃを抽出し、車椅子Ｃの座標又は車椅子Ｃの特徴点の座標を抽出してもよい。
抽出部１１は、抽出された所定数のフレーム（例えば１秒間の１５フレーム）における座標（Ｘ，Ｙ）それぞれの最大値及び最小値に従って、座標を正規化する（ステップＳ１３）。
ステップＳ１２において抽出される所定部位の座標は、例えば被監視対象Ｔの身体のサイズなどに起因してばらつくことが想定される。また、ステップＳ１２において抽出される所定部位の座標は、例えば撮像部２０と被監視対象Ｔとの距離、及び、撮像部２０から被監視対象Ｔに向く方向などにも起因してばらつくことが想定される。したがって、一実施形態において、ステップＳ１２において抽出された座標のＸ方向成分及びＹ方向成分をそれぞれ正規化することにより、抽出された座標について汎用的な基準を用いて判定を行うことができるようにする。
この場合、例えば１秒間の１５フレームにおいて抽出されたＸ，Ｙ座標のそれぞれの最大値及び最小値に基づいて、抽出されるＸ，Ｙ座標を正規化してもよい。ここで、ステップＳ１２において抽出されたＸ座標の最大値をＸｍａｘとし、ステップＳ１２において抽出されたＸ座標の最小値をＸｍｉｎとする。また、正規化後のＸ座標の最大値をＸ’ｍａｘとする。この場合、以下の式（１）を用いて、正規化前のＸ座標（Ｘ）を、正規化後のＸ座標（Ｘ’）に変換することができる。
Ｘ’＝（（Ｘ－Ｘｍｉｎ）／（Ｘｍａｘ－Ｘｍｉｎ））・Ｘ’ｍａｘ （１）
同様に、ステップＳ１２において抽出されたＹ座標の最大値をＹｍａｘとし、ステップＳ１２において抽出されたＹ座標の最小値をＹｍｉｎとする。また、正規化後のＹ座標の最大値をＹ’ｍａｘとする。この場合、以下の式（２）を用いて、正規化前のＹ座標（Ｙ）を、正規化後のＹ座標（Ｙ’）に変換することができる。
Ｙ’＝（（Ｙ－Ｙｍｉｎ）／（Ｙｍａｘ－Ｙｍｉｎ））・Ｙ’ｍａｘ （２）
上記の式（１）及び式（２）に従って、抽出された座標のＸ方向成分及びＹ方向成分を正規化することにより、被監視対象Ｔの個体差、及び撮像部２０が被監視対象Ｔを撮像した環境などが座標についての判定に与える影響を低減することが期待できる。
このように、一実施形態において、抽出部１１は、２次元的に抽出された被監視対象Ｔの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してもよい。また、このような動作は、抽出部１１ではなくコントローラ１５が行ってもよい。
ステップＳ１３に示す座標の正規化により、図７に示す各座標（Ｘ，Ｙ）は、それぞれ座標（Ｘ’，Ｙ’）に正規化される。
他の人物Ｗの身体における所定部位の座標は、被監視対象Ｔの身体における所定部位の座標と同様に正規化されてもよい。他の人物Ｗに関連する物体の座標がさらに正規化されてもよい。
コントローラ１５は、正規化された座標に基づいて、暴力動作の開始を判定する（ステップＳ１４）。ステップＳ１４において、コントローラ１５は、正規化された座標の変位に基づいて、暴力動作が開始したか否かを判定してよい。一実施形態において、コントローラ１５は、ステップＳ１４において、正規化された座標が所定の条件を満たした場合に、暴力動作が開始したと判定してよい。コントローラ１５は、正規化された座標が所定の条件を満たした場合に、暴力動作の予兆があると判定してもよい。以下、ステップＳ１４において、暴力動作の予兆があると判定される場合、及び、暴力動作が開始したと判定される場合について、さらに説明する。
暴力動作は、被監視対象Ｔが他の人物Ｗに近づいた場合に実行される。コントローラ１５は、被監視対象Ｔの所定部位の少なくとも一部と、他の人物Ｗの所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、被監視対象Ｔが他の人物Ｗに近づいたと判定してよい。
コントローラ１５は、被監視対象Ｔの手首が他の人物Ｗの胸、足、手又は肩などに向けて移動した場合、叩く、殴る又は押すなどの手を使う態様の暴力動作の予兆があると判定してよい。コントローラ１５は、暴力動作の予兆があると判定した場合、さらに、例えば図６に示すように被監視対象Ｔの手首の特徴点Ｔａと他の人物Ｗの肘の特徴点Ｗａとの距離Ｄ０が第２閾値未満となった場合に、叩く、殴る又は押すなどの手を使う暴力動作が開始したと判定してよい。
コントローラ１５は、被監視対象Ｔの肘が上に移動し、かつ、被監視対象Ｔの手首が肘よりも上に移動した場合に、被監視対象Ｔが他の人物Ｗを叩く態様の暴力動作の予兆があると判定してよい。コントローラ１５は、被監視対象Ｔの手首が肘よりも上に移動した後、所定速度以上で下に移動した場合に、被監視対象Ｔが他の人物Ｗを叩く態様の暴力動作が開始したと判定してよい。
コントローラ１５は、被監視対象Ｔの手首が肘よりも上に移動し、かつ、被監視対象Ｔの肘が上に移動しない場合に、被監視対象Ｔが他の人物Ｗを殴る態様の暴力動作の予兆があると判定してよい。コントローラ１５は、被監視対象Ｔの手首が肘よりも上に移動した後、被監視対象Ｔの手首が水平方向に所定速度以上で移動した場合に、被監視対象Ｔが他の人物Ｗを殴る態様の暴力動作が開始したと判定してよい。
コントローラ１５は、被監視対象Ｔの手首が肘よりも上に移動し、かつ、被監視対象Ｔの手首が他の人物Ｗの所定部位の少なくとも一部に向けて移動した場合に、被監視対象Ｔが他の人物Ｗを押す態様の暴力動作の予兆があると判定してよい。コントローラ１５は、被監視対象Ｔの手首が他の人物Ｗの所定部位の少なくとも一部に向けて移動した後、被監視対象Ｔの手首が水平方向に所定速度以上で移動し、かつ、被監視対象Ｔの手首が他の人物Ｗから離れた場合に、被監視対象Ｔが他の人物Ｗを押す態様の暴力動作が開始したと判定してよい。
コントローラ１５は、被監視対象Ｔの足首が他の人物Ｗの足などに向けて移動した場合、蹴るなどの足を使う態様の暴力動作の予兆があると判定してよい。コントローラ１５は、被監視対象Ｔの膝及び足首が上又は水平方向に移動した場合に、被監視対象Ｔが他の人物Ｗを蹴る態様の暴力動作の予兆があると判定してよい。コントローラ１５は、被監視対象Ｔの膝及び足首が上又は水平方向に移動した後、被監視対象Ｔの膝及び足首が更に上又は水平方向に移動した場合に、被監視対象Ｔが他の人物Ｗを蹴る態様の暴力動作が開始したと判定してよい。
コントローラ１５は、被監視対象Ｔの肩が他の人物Ｗの肩又は腕などに向けて移動した場合、体当たりする態様の暴力動作の予兆があると判定してよい。コントローラ１５は、被監視対象Ｔの肩が他の人物Ｗに向けて移動した場合に、被監視対象Ｔが他の人物Ｗに体当たりする態様の暴力動作の予兆があると判定してよい。コントローラ１５は、被監視対象Ｔの肩が他の人物Ｗに向けて移動した後、被監視対象Ｔの肩と他の人物Ｗの所定部位の少なくとも一部との距離が第２閾値未満となった場合に、被監視対象Ｔが他の人物Ｗに体当たりする態様の暴力動作が開始したと判定してよい。
コントローラ１５は、例えば図８に示すように被監視対象Ｔの首の特徴点Ｔａと他の人物Ｗの手首の特徴点Ｗａとの距離Ｄ０が第２閾値未満となった場合に、噛みつく態様の暴力動作が開始したと判定してよい。コントローラ１５は、被監視対象Ｔの首及び肩が下に向けて移動し、かつ、被監視対象Ｔの手首が他の人物Ｗに向けて移動した場合に、被監視対象Ｔが他の人物Ｗに噛みつく態様の暴力動作の予兆があると判定してよい。コントローラ１５は、被監視対象Ｔの首及び肩が下に向けて移動し、かつ、被監視対象Ｔの手首が他の人物Ｗに向けて移動した後、被監視対象Ｔの首及び肩が更に下に向けて移動した場合に、被監視対象Ｔが他の人物Ｗに噛みつく態様の暴力動作が開始したと判定してよい。
暴力動作は、例えば図９に示すように被監視対象Ｔが他の人物Ｗに関連する物体（椅子又は車椅子など）に対して暴力を振るう態様も含む。この態様の暴力動作は、被監視対象Ｔが他の人物Ｗに関連する物体に近づいた場合に実行される。コントローラ１５は、被監視対象Ｔの所定部位の少なくとも一部と、他の人物Ｗに関連する物体の少なくとも一部との間の距離が第１閾値未満となった場合に、被監視対象Ｔが他の人物Ｗに関連する物体に近づいたと判定してよい。
コントローラ１５は、例えば図９に示すように被監視対象Ｔの手首の特徴点Ｔａと他の人物Ｗに関連する車椅子ＣのハンドルＣａとの距離が第２閾値未満となった場合に、他の人物Ｗが座っている車椅子を揺らす態様の暴力動作が開始したと判定してよい。コントローラ１５は、被監視対象Ｔの手首が他の人物Ｗに関連する物体（例えば車椅子のハンドル、又は、椅子の背もたれ）に向けて移動した場合に、被監視対象Ｔが他の人物Ｗが座っている車椅子を揺らす態様の暴力動作の予兆があると判定してよい。コントローラ１５は、被監視対象Ｔの手首が他の人物Ｗに関連する物体に向けて移動した後、被監視対象Ｔの手首が水平方向に往復で移動した場合に、被監視対象Ｔが他の人物Ｗが座っている車椅子を揺らす態様の暴力動作が開始したと判定してよい。
第１閾値及び第２閾値は、被監視対象Ｔ及び他の人物Ｗの体格等に基づいて適宜定められてよい。
コントローラ１５は、暴力動作が開始したと判定した場合（ステップＳ１４：Ｙ）、所定の警告信号を出力する（ステップＳ１５）。コントローラ１５は、暴力動作の予兆があると判定した場合に所定の警告信号を出力してもよい。コントローラ１５は、ステップＳ１５の手順の実行後、図２のフローチャートの実行を終了する。
コントローラ１５は、暴力動作が開始したと判定しない場合（ステップＳ１４：Ｎ）、図２のフローチャートの実行を終了する。
一実施形態に係るシステム１によれば、例えば被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作の予兆又は開始を検出できる。したがって、一実施形態に係るシステム１によれば、被監視対象Ｔが他の人物Ｗに対して暴力を振るい始める前、又は、暴力を振るい続けている間であって暴力を振るい終わるまでに、所定の警告を発することができる。したがって、一実施形態に係るシステム１によれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視対象Ｔが暴力を振るおうとしている又は暴力を振るっていることを認識できる。その結果、スタッフは、暴力の対象となる他の人物Ｗを保護できる。このため、一実施形態に係るシステム１によれば、被監視対象Ｔの周囲の安全に供し得る。
図１０は、図２のステップＳ１４の判定処理をさらに説明する図である。図１０は、左側の列において、例えば図２のステップＳ１１において取得された画像データに撮像された被監視対象Ｔの状態を示している。図１０に示すように、撮像された画像データにおいて、被監視対象Ｔは、撮像部２０が設置された部屋に入室した後、他の人物Ｗに近づいて他の人物Ｗに手を伸ばして暴力動作を開始したとする。暴力動作が開始した瞬間から、コントローラ１５は、図２に示したステップＳ１１以降の動作を、秒間１５フレームの処理として行うものとする。すなわち、システム１において、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。また、システム１において、コントローラ１５は、秒間１５フレームの画像を取得するものとしてよい。また、システム１において、抽出部１１は、秒間１５フレームの画像から、被監視対象Ｔの身体の関節点の座標及び他の人物Ｗの身体の関節点の座標又は他の人物Ｗに関連する物体の座標を抽出するものとしてよい。また、システム１において、コントローラ１５（又は抽出部１１）は、秒間１５フレームの画像から抽出された座標を正規化するものとしてよい。さらに、システム１において、コントローラ１５は、秒間１５フレームの正規化された座標から、暴力動作の開始を判定してよい。
図１０の中央の列において、コントローラ１５が画像データのフレームを連続して取得する様子を概念的に示してある。ここで、各フレームの画像データは、画像データから抽出された座標としてもよいし、正規化された座標としてもよい。また、図１０の中央の列において、ハッチングを付した画像データは、暴力動作が開始してから１秒間のフレームを表している。
このような状況において、コントローラ１５は、暴力動作が開始してから１秒間の１５フレーム（フレーム１からフレーム１５まで）に基づいて、その時点における暴力動作の開始を判定してよい（図１０に示す判定１）。次に、コントローラ１５は、フレーム２からフレーム１６までの１秒間の１５フレームに基づいて、その時点における暴力動作の開始を判定してよい（図１０に示す判定２）。また、コントローラ１５は、フレーム（Ｎ－１４）からフレームＮまでの１秒間の１５フレームに基づいて、その時点における暴力動作の開始を判定してよい（図１０に示す判定３）。以上のような動作を繰り返すことにより、コントローラ１５は、暴力動作の開始の判定を、秒間１５回行うことになる。したがって、一実施形態に係るシステム１によれば、例えば図１０に示す判定１、判定２及び判定３において何らかの原因により本来判定されるべき暴力動作の開始が判定されなかったとしても、秒間１５回の判定によって失報のリスクを低減することができる。
上述した実施形態において、例えば図５に示したように、抽出部１１は、被監視対象Ｔの関節点として、１３か所の部位の座標を抽出する例について説明した。しかしながら、一実施形態において、抽出部１１は、１３より多くの箇所の部位の座標を抽出してもよいし、１３より少ない箇所の部位の座標を抽出してもよい。また、上述した実施形態において、システム１は、秒間１５フレームを処理する例について説明した。しかしながら、一実施形態において、システム１又はシステム１を構成する各機能部は、秒間１５よりも多くのフレームを処理してもよいし、秒間１５よりも少ないフレームを処理してもよい。一実施形態において、システム１が扱う関節点の数及び／又は処理するフレームの数は、暴力動作の開始の判定が妥当な結果になるように調整してもよい。
このように、一実施形態において、コントローラ１５は、暴力動作の開始の判定の妥当性が所定以上になるように、前記フレームの数及び前記関節点の数の少なくとも一方を決定してもよい。
上記実施形態においては、撮像された画像データを用いているため、可視光を検出対象として用いて監視を行った。しかしながら、本開示は、このような場合に限定されず、任意の電磁波、音波、温度、振動など、他の検出対象を任意に用いてもよい。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
例えば、一実施形態に係るシステム１及び電子機器１０における処理を簡略化して、図２のステップＳ１３に示した座標を正規化する処理を省略して実施してもよい。
上述した実施形態は、システム１としての実施のみに限定されるものではない。例えば、上述した実施形態は、システム１に含まれる電子機器１０として実施してもよい。また、上述した実施形態は、例えば、電子機器１０のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、電子機器１０のような機器又は情報処理装置（例えばコンピュータ）が実行するプログラムとして実施してもよい。また、本開示の技術では、図１に示される電子機器１０の各構成要素のすべてが１つの筐体又はサーバに存在しなくてもよい。例えば、電子機器１０の構成要素のコントローラ又は記憶部などの各部が、互いに有線、無線若しくはこれらの組み合わせからなるネットワークにより接続され、異なる筐体、サーバ、装置、部屋、ビル、地域、国などに任意に配置されているとしてもよい。
１ システム
１０ 電子機器
１１ 抽出部
１３ 記憶部
１５ コントローラ
１７ 警告部
１９ 通信部
２０ 撮像部

Claims (33)

  1. 被監視対象と他の人物とを撮像する撮像部と、
    前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肘が上に移動し、かつ、前記被監視対象の手首が肘よりも上に移動した場合、又は、前記被監視対象の手首が肘よりも上に移動した後、所定速度以上で下に移動した場合に、所定の警告信号を出力する、システム。
  2. 被監視対象と他の人物とを撮像する撮像部と、
    前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の肘が上に移動しない場合、又は、前記被監視対象の手首が肘よりも上に移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動した場合に、所定の警告信号を出力する、システム。
  3. 被監視対象と他の人物とを撮像する撮像部と、
    前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動し、かつ、前記被監視対象の手首が前記他の人物から離れた場合に、所定の警告信号を出力する、システム。
  4. 被監視対象と他の人物とを撮像する撮像部と、
    前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の膝及び足首が上又は水平方向に移動した場合、又は、前記被監視対象の膝及び足首が上又は水平方向に移動した後、前記被監視対象の膝及び足首が更に上又は水平方向に移動した場合に、所定の警告信号を出力する、システム。
  5. 被監視対象と他の人物とを撮像する撮像部と、
    前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肩が前記他の人物に向けて移動した場合、又は、前記被監視対象の肩が前記他の人物に向けて移動した後、前記被監視対象の肩と前記他の人物の所定部位の少なくとも一部との距離が第２閾値未満となった場合に、所定の警告信号を出力する、システム。
  6. 被監視対象と他の人物とを撮像する撮像部と、
    前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した場合、又は、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した後、前記被監視対象の首及び肩が更に下に向けて移動した場合に、所定の警告信号を出力する、システム。
  7. 被監視対象と、他の人物と、前記他の人物に関連する物体とを撮像する撮像部と、
    前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と、前記他の人物に関連する物体の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物に関連する物体の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に関連する物体に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に関連する物体に近づいたと判定した場合において、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した後、前記被監視対象の手首が水平方向に往復で移動した場合に、所定の警告信号を出力する、システム。
  8. 前記抽出部は、前記撮像部によって撮像された単位時間当たり所定数のフレームの画像から前記被監視対象の所定部位の座標を抽出し、
    前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の座標の変位に基づいて、前記所定の警告信号を出力する、請求項１から７までのいずれか一項に記載のシステム。
  9. 前記抽出部は、前記撮像部によって撮像された秒間所定数のフレームの各画像に基づいて、前記被監視対象の身体における所定数の関節点の座標を２次元的に抽出する、請求項１から８までのいずれか一項に記載のシステム。
  10. 前記抽出部は、２次元的に抽出された前記被監視対象の身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化する、請求項１から９までのいずれか一項に記載のシステム。
  11. 前記コントローラは、前記所定の警告信号の出力の妥当性が所定以上になるように、前記フレームの数を決定する、請求項８又は９に記載のシステム。
  12. 前記コントローラは、前記所定の警告信号の出力の妥当性が所定以上になるように、前記関節点の数を決定する、請求項９又は１０に記載のシステム。
  13. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肘が上に移動し、かつ、前記被監視対象の手首が肘よりも上に移動した場合、又は、前記被監視対象の手首が肘よりも上に移動した後、所定速度以上で下に移動した場合に、所定の警告信号を出力する、電子機器。
  14. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の肘が上に移動しない場合、又は、前記被監視対象の手首が肘よりも上に移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動した場合に、所定の警告信号を出力する、電子機器。
  15. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動し、かつ、前記被監視対象の手首が前記他の人物から離れた場合に、所定の警告信号を出力する、電子機器。
  16. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の膝及び足首が上又は水平方向に移動した場合、又は、前記被監視対象の膝及び足首が上又は水平方向に移動した後、前記被監視対象の膝及び足首が更に上又は水平方向に移動した場合に、所定の警告信号を出力する、電子機器。
  17. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肩が前記他の人物に向けて移動した場合、又は、前記被監視対象の肩が前記他の人物に向けて移動した後、前記被監視対象の肩と前記他の人物の所定部位の少なくとも一部との距離が第２閾値未満となった場合に、所定の警告信号を出力する、電子機器。
  18. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した場合、又は、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した後、前記被監視対象の首及び肩が更に下に向けて移動した場合に、所定の警告信号を出力する、電子機器。
  19. 被監視対象と、他の人物と、前記他の人物に関連する物体とを撮像した画像から前記被監視対象の所定部位の座標と、前記他の人物に関連する物体の座標とを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物に関連する物体の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に関連する物体に近づいたと判定するコントローラと
    を備え、
    前記コントローラは、前記被監視対象が前記他の人物に関連する物体に近づいたと判定した場合において、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した後、前記被監視対象の手首が水平方向に往復で移動した場合に、所定の警告信号を出力する、電子機器。
  20. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肘が上に移動し、かつ、前記被監視対象の手首が肘よりも上に移動した場合、又は、前記被監視対象の手首が肘よりも上に移動した後、所定速度以上で下に移動した場合に、所定の警告信号を出力する出力ステップと
    を含む、電子機器の制御方法。
  21. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の肘が上に移動しない場合、又は、前記被監視対象の手首が肘よりも上に移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動した場合に、所定の警告信号を出力する出力ステップと
    を含む、電子機器の制御方法。
  22. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動し、かつ、前記被監視対象の手首が前記他の人物から離れた場合に、所定の警告信号を出力する出力ステップと
    を含む、電子機器の制御方法。
  23. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の膝及び足首が上又は水平方向に移動した場合、又は、前記被監視対象の膝及び足首が上又は水平方向に移動した後、前記被監視対象の膝及び足首が更に上又は水平方向に移動した場合に、所定の警告信号を出力する出力ステップと
    を含む、電子機器の制御方法。
  24. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肩が前記他の人物に向けて移動した場合、又は、前記被監視対象の肩が前記他の人物に向けて移動した後、前記被監視対象の肩と前記他の人物の所定部位の少なくとも一部との距離が第２閾値未満となった場合に、所定の警告信号を出力する出力ステップと
    を含む、電子機器の制御方法。
  25. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した場合、又は、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した後、前記被監視対象の首及び肩が更に下に向けて移動した場合に、所定の警告信号を出力する出力ステップと
    を含む、電子機器の制御方法。
  26. 被監視対象と、他の人物と、前記他の人物に関連する物体とを撮像した画像から前記被監視対象の所定部位の座標と、前記他の人物に関連する物体の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物に関連する物体の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に関連する物体に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に関連する物体に近づいたと判定した場合において、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した後、前記被監視対象の手首が水平方向に往復で移動した場合に、所定の警告信号を出力する出力ステップと
    を含む、電子機器の制御方法。
  27. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肘が上に移動し、かつ、前記被監視対象の手首が肘よりも上に移動した場合、又は、前記被監視対象の手首が肘よりも上に移動した後、所定速度以上で下に移動した場合に、所定の警告信号を出力する出力ステップと
    をコンピュータに実行させるプログラム。
  28. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の肘が上に移動しない場合、又は、前記被監視対象の手首が肘よりも上に移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動した場合に、所定の警告信号を出力する出力ステップと
    をコンピュータに実行させるプログラム。
  29. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の手首が肘よりも上に移動し、かつ、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物の所定部位の少なくとも一部に向けて移動した後、前記被監視対象の手首が水平方向に所定速度以上で移動し、かつ、前記被監視対象の手首が前記他の人物から離れた場合に、所定の警告信号を出力する出力ステップと
    をコンピュータに実行させるプログラム。
  30. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の膝及び足首が上又は水平方向に移動した場合、又は、前記被監視対象の膝及び足首が上又は水平方向に移動した後、前記被監視対象の膝及び足首が更に上又は水平方向に移動した場合に、所定の警告信号を出力する出力ステップと
    をコンピュータに実行させるプログラム。
  31. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の肩が前記他の人物に向けて移動した場合、又は、前記被監視対象の肩が前記他の人物に向けて移動した後、前記被監視対象の肩と前記他の人物の所定部位の少なくとも一部との距離が第２閾値未満となった場合に、所定の警告信号を出力する出力ステップと
    をコンピュータに実行させるプログラム。
  32. 被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に近づいたと判定した場合において、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した場合、又は、前記被監視対象の首及び肩が下に向けて移動し、かつ、前記被監視対象の手首が前記他の人物に向けて移動した後、前記被監視対象の首及び肩が更に下に向けて移動した場合に、所定の警告信号を出力する出力ステップと
    をコンピュータに実行させるプログラム。
  33. 被監視対象と、他の人物と、前記他の人物に関連する物体とを撮像した画像から前記被監視対象の所定部位の座標と、前記他の人物に関連する物体の座標とを抽出する抽出ステップと、
    前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物に関連する物体の少なくとも一部との間の距離が第１閾値未満となった場合に、前記被監視対象が前記他の人物に関連する物体に近づいたと判定する判定ステップと、
    前記被監視対象が前記他の人物に関連する物体に近づいたと判定した場合において、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した場合、又は、前記被監視対象の手首が前記他の人物に関連する物体に向けて移動した後、前記被監視対象の手首が水平方向に往復で移動した場合に、所定の警告信号を出力する出力ステップと
    をコンピュータに実行させるプログラム。
JP2020162738A 2020-09-28 2020-09-28 システム、電子機器、電子機器の制御方法、及びプログラム Active JP7449211B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020162738A JP7449211B2 (ja) 2020-09-28 2020-09-28 システム、電子機器、電子機器の制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020162738A JP7449211B2 (ja) 2020-09-28 2020-09-28 システム、電子機器、電子機器の制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022055249A JP2022055249A (ja) 2022-04-07
JP7449211B2 true JP7449211B2 (ja) 2024-03-13

Family

ID=80998017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020162738A Active JP7449211B2 (ja) 2020-09-28 2020-09-28 システム、電子機器、電子機器の制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7449211B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106631A (ja) 2017-12-12 2019-06-27 セコム株式会社 画像監視装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106631A (ja) 2017-12-12 2019-06-27 セコム株式会社 画像監視装置

Also Published As

Publication number Publication date
JP2022055249A (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
JP6675462B2 (ja) 動作情報処理装置
US10496886B1 (en) Medical environment monitoring system
Hijaz et al. Survey of fall detection and daily activity monitoring techniques
US20150005910A1 (en) Motion information processing apparatus and method
WO2013058985A1 (en) Method and apparatus for detecting deterioration of health status
Joshi et al. A fall detection and alert system for an elderly using computer vision and Internet of Things
KR20180096038A (ko) 행위 예측을 위한 다중 모션 기반 옴니뷰 기법
JP7449211B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP6056107B2 (ja) 運動補助装置、運動補助方法、プログラム
JP7449212B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JPWO2018012432A1 (ja) 行動判定装置及び行動判定方法
CN111601092A (zh) 一种智能急救识别救护系统及其监控方法、行为识别方法
JPWO2020008726A1 (ja) 対象物体検出プログラム、および対象物体検出装置
JP6127302B2 (ja) 運動補助装置、運動補助方法、プログラム
JP6583953B1 (ja) 医療用装身器具の自己抜去監視システム及び医療用装身器具の自己抜去監視方法
CN111563397A (zh) 检测方法、装置、智能设备及计算机存储介质
Kaluža et al. Fall detection and activity recognition methods for the confidence project: a survey
JP2022055248A (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP2022055251A (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP7465773B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP7467300B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム
CN113544736A (zh) 下肢肌肉力量估计系统、下肢肌肉力量估计方法及程序
JP2022055253A (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP7438847B2 (ja) 監視システム、監視装置、監視方法、及びプログラム
JP2022055254A (ja) システム、電子機器、電子機器の制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240301

R150 Certificate of patent or registration of utility model

Ref document number: 7449211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150