JP7449212B2 - Systems, electronic devices, control methods for electronic devices, and programs - Google Patents
Systems, electronic devices, control methods for electronic devices, and programs Download PDFInfo
- Publication number
- JP7449212B2 JP7449212B2 JP2020162739A JP2020162739A JP7449212B2 JP 7449212 B2 JP7449212 B2 JP 7449212B2 JP 2020162739 A JP2020162739 A JP 2020162739A JP 2020162739 A JP2020162739 A JP 2020162739A JP 7449212 B2 JP7449212 B2 JP 7449212B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- monitored
- predetermined
- coordinates
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000000605 extraction Methods 0.000 claims description 68
- 238000003384 imaging method Methods 0.000 claims description 57
- 210000000707 wrist Anatomy 0.000 claims description 54
- 210000001217 buttock Anatomy 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 28
- 238000013459 approach Methods 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 22
- 230000009471 action Effects 0.000 description 21
- 210000002683 foot Anatomy 0.000 description 17
- 210000000038 chest Anatomy 0.000 description 14
- 210000001624 hip Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000000474 nursing effect Effects 0.000 description 10
- 230000001568 sexual effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000015541 sensory perception of touch Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
本開示は、システム、電子機器、電子機器の制御方法、及びプログラムに関する。 The present disclosure relates to a system, an electronic device, a control method for an electronic device, and a program.
例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献1は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者システムを開示している。特許文献2は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献3は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、引用文献4は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。
2. Description of the Related Art For example, devices have been proposed for monitoring the behavior of a person to be monitored, such as a person in need of care or a person in need of care, in a field such as a nursing care facility. For example,
被監視対象を監視することにより、被監視対象の周囲の安全に供することができれば、有益である。 It would be beneficial if monitoring the monitored object could contribute to the safety of the surroundings of the monitored object.
本開示の目的は、被監視対象の周囲の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することにある。 An object of the present disclosure is to provide a system, an electronic device, a method for controlling the electronic device, and a program that can provide safety around a monitored target.
一実施形態に係るシステムは、被監視対象と他の人物とを撮像する撮像部と、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した場合に、所定の警告信号を出力する。 A system according to an embodiment includes an imaging unit that captures an image of a monitored target and another person, and a coordinate of a predetermined part of the monitored target and a coordinate of a predetermined part of the other person from an image captured by the imaging unit. and a controller. The controller is configured to: when a distance between at least a part of the predetermined part of the monitored target extracted by the extraction unit and at least a part of the predetermined part of the other person becomes less than a first threshold; It is determined that the monitored object has approached the other person. When the controller determines that the monitored subject approaches the other person, the controller may cause the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. When it moves, a predetermined warning signal is output.
また、一実施形態に係るシステムは、被監視対象と他の人物とを撮像する撮像部と、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した後に、さらに、前記被監視対象の右手首又は左手首と前記他の人物の胸、腰、尻、足、手若しくは肩との距離が第2閾値未満となった場合に、所定の警告信号を出力する。 Further, the system according to one embodiment includes an imaging unit that images the monitored target and another person, and a coordinate of a predetermined part of the monitored target and a predetermined position of the other person from the image captured by the imaging unit. The apparatus includes an extraction unit that extracts the coordinates of the part, and a controller. The controller is configured to: when a distance between at least a part of the predetermined part of the monitored target extracted by the extraction unit and at least a part of the predetermined part of the other person becomes less than a first threshold; It is determined that the monitored object has approached the other person. When the controller determines that the monitored subject approaches the other person, the controller may cause the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. After moving, if the distance between the right wrist or left wrist of the monitored target and the chest, waist, buttocks, foot, hand, or shoulder of the other person becomes less than a second threshold, a predetermined warning is issued. Output a signal.
一実施形態に係る電子機器は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した場合に、所定の警告信号を出力する。 An electronic device according to an embodiment includes an extraction unit that extracts the coordinates of a predetermined part of the monitored target and the coordinates of the predetermined part of the other person from an image of the monitored target and the other person, and a controller. Equipped with. The controller is configured to: when a distance between at least a part of the predetermined part of the monitored target extracted by the extraction unit and at least a part of the predetermined part of the other person becomes less than a first threshold; It is determined that the monitored object has approached the other person. When the controller determines that the monitored subject approaches the other person, the controller may cause the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. When it moves, a predetermined warning signal is output.
また、一実施形態に係る電子機器は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、コントローラとを備える。前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する。前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した後に、さらに、前記被監視対象の右手首又は左手首と前記他の人物の胸、腰、尻、足、手若しくは肩との距離が第2閾値未満となった場合に、所定の警告信号を出力する。 Further, the electronic device according to one embodiment includes an extraction unit that extracts the coordinates of a predetermined part of the monitored target and the coordinates of the predetermined part of the other person from an image of the monitored target and the other person. , and a controller. The controller is configured to: when a distance between at least a part of the predetermined part of the monitored target extracted by the extraction unit and at least a part of the predetermined part of the other person becomes less than a first threshold; It is determined that the monitored object has approached the other person. When the controller determines that the monitored subject approaches the other person, the controller may cause the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. After moving, if the distance between the right wrist or left wrist of the monitored target and the chest, waist, buttocks, foot, hand, or shoulder of the other person becomes less than a second threshold, a predetermined warning is issued. Output a signal.
一実施形態に係る電子機器の制御方法は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップを含む。前記制御方法は、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップを含む。前記制御方法は、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した場合に、所定の警告信号を出力する出力ステップを含む。 A method for controlling an electronic device according to an embodiment includes an extraction step of extracting the coordinates of a predetermined part of the monitored object and the coordinates of the predetermined part of the other person from an image of the monitored object and the other person. including. The control method may be configured such that when a distance between at least a part of the predetermined part of the monitored target extracted in the extraction step and at least a part of the predetermined part of the other person becomes less than a first threshold value; , including a determining step of determining that the monitored object has approached the other person. In the control method, when it is determined that the monitored target approaches the other person, the right wrist or left wrist of the monitored target is directed toward the other person's chest, waist, buttocks, foot, hand, or shoulder. and an output step of outputting a predetermined warning signal when the vehicle moves.
また、一実施形態に係る電子機器の制御方法は、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップを含む。前記制御方法は、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップを含む。前記制御方法は、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した後に、さらに、前記被監視対象の右手首又は左手首と前記他の人物の胸、腰、尻、足、手若しくは肩との距離が第2閾値未満となった場合に、所定の警告信号を出力する出力ステップを含む。 Further, in the method for controlling an electronic device according to one embodiment, the coordinates of a predetermined part of the monitored object and the coordinates of the predetermined part of the other person are extracted from an image of the monitored object and the other person. Includes an extraction step. The control method may be configured such that when a distance between at least a part of the predetermined part of the monitored target extracted in the extraction step and at least a part of the predetermined part of the other person becomes less than a first threshold value; , including a determining step of determining that the monitored object has approached the other person. In the control method, when it is determined that the monitored target approaches the other person, the right wrist or left wrist of the monitored target is directed toward the other person's chest, waist, buttocks, foot, hand, or shoulder. furthermore, if the distance between the right wrist or left wrist of the monitored target and the chest, waist, buttocks, foot, hand, or shoulder of the other person becomes less than a second threshold, an output step for outputting a warning signal;
一実施形態に係るプログラムは、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップをコンピュータに実行させる。前記プログラムは、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップをコンピュータに実行させる。前記プログラムは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した場合に、所定の警告信号を出力する出力ステップをコンピュータに実行させる。 A program according to an embodiment causes a computer to execute an extraction step of extracting coordinates of a predetermined part of the monitored target and coordinates of a predetermined part of the other person from an image of the monitored target and the other person. let The program may be configured to: when a distance between at least a part of the predetermined part of the monitored target extracted in the extraction step and at least a part of the predetermined part of the other person becomes less than a first threshold; A computer is caused to execute a determination step of determining that the monitored object has approached the other person. When the program determines that the monitored subject approaches the other person, the program causes the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. The computer is caused to execute an output step of outputting a predetermined warning signal when the object moves.
また、一実施形態に係るプログラムは、被監視対象と他の人物とを撮像した画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出ステップをコンピュータに実行させる。前記プログラムは、前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップをコンピュータに実行させる。前記プログラムは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した後に、さらに、前記被監視対象の右手首又は左手首と前記他の人物の胸、腰、尻、足、手若しくは肩との距離が第2閾値未満となった場合に、所定の警告信号を出力する出力ステップをコンピュータに実行させる。 Further, the program according to one embodiment includes an extraction step of extracting the coordinates of a predetermined region of the monitored object and the coordinates of the predetermined region of the other person from an image of the monitored object and the other person. have it executed. The program may be configured to: when a distance between at least a part of the predetermined part of the monitored target extracted in the extraction step and at least a part of the predetermined part of the other person becomes less than a first threshold; A computer is caused to execute a determination step of determining that the monitored object has approached the other person. When the program determines that the monitored subject approaches the other person, the program causes the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. After moving, if the distance between the right wrist or left wrist of the monitored target and the chest, waist, buttocks, foot, hand, or shoulder of the other person becomes less than a second threshold, a predetermined warning is issued. Causes the computer to perform an output step that outputs a signal.
一実施形態によれば、被監視対象の周囲の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することができる。 According to one embodiment, it is possible to provide a system, an electronic device, a method for controlling an electronic device, and a program that can provide safety around a monitored target.
本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び/又は電子機器を使用する者(典型的には人間)としてよい。ユーザは、一実施形態に係るシステム及び/又は電子機器を用いることで、被監視対象の監視を行う者を含んでもよい。また、「被監視対象」とは、一実施形態に係るシステム及び/又は電子機器によって監視される対象となる者(例えば人間又は動物)としてよい。さらに、ユーザは、被監視対象を含んでもよい。 In the present disclosure, an "electronic device" may refer to a device driven by electric power. Further, the "system" may include equipment driven by electric power. Further, a "user" may be a person (typically a human) who uses the system and/or electronic device according to one embodiment. The user may include a person who monitors a monitored target using the system and/or electronic device according to an embodiment. Furthermore, a "monitored target" may be a person (for example, a human or an animal) who is monitored by the system and/or electronic device according to an embodiment. Furthermore, the user may include the monitored target.
一実施形態に係るシステムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び/又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び/又は管理は、極めて重要である。一実施形態に係るシステムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び/又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係るシステムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。 The system according to one embodiment is envisioned to be used in specific locations used by people engaged in social activities, such as companies, hospitals, nursing homes, schools, sports gyms, and nursing care facilities. It can be used as a facility, etc. For example, in the case of a company, it is extremely important to understand and/or manage the health conditions of employees. Similarly, it is extremely important to understand and/or manage the health conditions of patients and medical workers in hospitals, and residents and staff in nursing homes. Situations where the system according to one embodiment is used are not limited to the above-mentioned facilities such as companies, hospitals, and nursing homes, but any facility where it is desired to understand and/or manage the health status of a monitored target. may be used as Any facility may also include a non-commercial facility, such as a user's home, for example. Furthermore, the system according to one embodiment may be used in a moving body such as a train, bus, or airplane, or in a station or boarding area.
一実施形態に係るシステムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象が被監視対象を介護したり看護したりするスタッフなどの他の人物に対して身体接触を伴う性的嫌がらせ(いわゆるセクシャルハラスメント)などの嫌がらせ行為(ハラスメント行為)を行う動作を監視することができる。ハラスメント行為は、セクシャルハラスメントだけでなく、威圧行為などを行う、いわゆるパワーハラスメントなどを含んでよい。本開示の性的嫌がらせには、被監視対象に性的意図がある行為のみならず、被監視対象の意図に無関係に他の人物が性的嫌がらせと認識する行為も含むとしてよい。本開示の性的嫌がらせには、被監視対象が他の人物の、胸、腰、尻、足、手若しくは肩などを触ろうとする行為、若しくは触る行為を含むとしてよい。本開示の嫌がらせ行為には、被監視対象と他の人物との性別がそれぞれ男性の場合と女性の場合の組み合わせを任意に含むとしてよい。本開示の嫌がらせ行為には、他の人物の少なくとも一部を触ろうとする行為、若しくは触る行為を含むとしてよい。 The system according to one embodiment may be used, for example, in a nursing home or the like to monitor the behavior of a monitored target such as a person in need of care or a person in need of care. The system according to one embodiment allows a subject to be monitored, such as a person in need of care or a care recipient, to engage in sexual activity involving physical contact with another person, such as a staff member who cares for or cares for the subject to be monitored. It is possible to monitor behavior that causes harassment (harassment behavior) such as harassment (so-called sexual harassment). Acts of harassment may include not only sexual harassment but also so-called power harassment, which involves acts of coercion. Sexual harassment according to the present disclosure may include not only acts in which the subject being monitored has sexual intentions, but also acts that other persons would recognize as sexual harassment regardless of the intention of the subject being monitored. Sexual harassment according to the present disclosure may include an act in which the monitored target attempts to touch or touches another person's chest, waist, buttocks, foot, hand, shoulder, or the like. The harassing act of the present disclosure may include any combination in which the gender of the monitored target and the other person are male and female, respectively. The harassing acts of the present disclosure may include acts of attempting to touch or touching at least a portion of another person.
特に、一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象が他の人物に近づいている場合に、被監視対象が前記他の人物に対して嫌がらせを行う動作が開始する前又は終了する前に、所定の警告を発することができる。したがって、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視対象が他の人物に対して嫌がらせを始めたりさらに嫌がらせを続けたりする前に、被監視対象が他の人物に対して嫌がらせを始めたりさらに嫌がらせを続けたりしようとしていることを認識し得る。 In particular, in the system according to one embodiment, when a monitored target, such as a person in need of care or a care recipient, approaches another person, the monitored target harasses the other person. A predetermined warning can be issued before the operation starts or ends. Therefore, according to the system according to one embodiment, the staff of a nursing home, for example, can detect whether a monitored target, such as a person in need of care or a person in need of care, begins to harass or continues to harass another person. The person being monitored may be able to recognize that the person being monitored is about to begin or continue to harass another person.
以下、一実施形態に係るシステムについて、図面を参照して詳細に説明する。 Hereinafter, a system according to one embodiment will be described in detail with reference to the drawings.
図1は、一実施形態に係るシステムの概略構成を示す図である。図1に示すように、一実施形態に係るシステム1は、電子機器10及び撮像部20を含んで構成されてよい。電子機器10と撮像部20とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係るシステム1は、図1に示す機能部の一部を含まなくてもよいし、図1に示す以外の機能部を含んでもよい。例えば、一実施形態に係るシステム1は、警告部17及び通信部19の少なくとも一方を備えなくてもよい。また、例えば、一実施形態に係るシステム1は、画像を表示可能なディスプレイ及び/又はメモリカードなどのストレージを挿入可能なスロットなどを備えてもよい。
FIG. 1 is a diagram showing a schematic configuration of a system according to an embodiment. As shown in FIG. 1, a
図1に示す撮像部20は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部20は、CCD(Charge Coupled Device Image Sensor)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部20は、例えば図1に示すように、被監視対象Tを撮像してよい。ここで、被監視対象Tは、例えば人間としてよい。撮像部20は、撮像した画像を信号に変換して、電子機器10に送信してよい。例えば、撮像部20は、撮像した画像に基づく信号を、電子機器10の抽出部11、記憶部13、及び/又は、コントローラ15などに送信してよい。撮像部20は、被監視対象Tを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。
The
一実施形態において、撮像部20は、例えば被監視対象Tを所定時間ごと(例えば秒間15フレーム)の静止画として撮像してもよい。また、一実施形態において、撮像部20は、例えば被監視対象Tを連続した動画として撮像してもよい。
In one embodiment, the
図1に示すように、一実施形態に係る電子機器10は、抽出部11、記憶部13、コントローラ15、警告部17、及び通信部19を備えてよい。一実施形態に係る電子機器10は、図1に示す機能部の一部を備えなくてもよいし、図1に示す以外の機能部を備えてもよい。
As shown in FIG. 1, the
抽出部11は、撮像部20によって撮像された画像から、所定の特徴点を抽出する機能を有してよい。例えば、抽出部11は、撮像部20によって撮像された被監視対象Tの画像から、当該被監視対象Tの身体における所定部位のような特徴点の座標を抽出してもよい。ここで、特徴点については、さらに後述する。一実施形態において、抽出部11は、撮像部20によって撮像された被監視対象Tの画像から、当該被監視対象Tの頭部、体幹、四肢、及び/又は各関節などの各部の座標を抽出してもよい。抽出部11は、専用のハードウェアとして構成されてもよいし、少なくとも一部にソフトウェアを含めて構成されてもよいし、全てソフトウェアで構成されているとしてもよい。このように、抽出部11は、撮像部20によって撮像された画像から、被監視対象Tの所定部位の座標を抽出してよい。抽出部11は、他の人物W(図3など参照)の画像から、他の人物Wの身体における所定部位のような特徴点の座標を抽出してもよい。抽出部11は、撮像部20によって撮像された画像から、他の人物Wの所定部位の座標を抽出してよい。
The
記憶部13は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部13は、例えばコントローラ15において実行されるプログラム、及び、コントローラ15において実行された処理の結果などを記憶してよい。一実施形態において、記憶部13は、被監視対象Tが他の人物Wに対して嫌がらせをする動作を開始したか否かをコントローラ15が判定するための基準となる所定の条件を記憶してもよい。所定の条件については、さらに後述する。また、記憶部13は、コントローラ15のワークメモリとして機能してよい。記憶部13は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部13は、一実施形態に係る電子機器10に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部13は、後述のコントローラ15として用いられるCPUの内部メモリであってもよいし、コントローラ15に別体として接続されるものとしてもよい。
The
コントローラ15は、電子機器10を構成する各機能部をはじめとして、電子機器10の全体を制御及び/又は管理する。コントローラ15は、種々の機能を実行するための制御及び処理能力を提供するために、例えばCPU(Central Processing Unit)のような、少なくとも1つのプロセッサを含んでよい。コントローラ15は、まとめて1つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、IC(Integrated Circuit)ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
The
一実施形態において、コントローラ15は、例えばCPU及び当該CPUで実行されるプログラムとして構成されてよい。コントローラ15において実行されるプログラム、及び、コントローラ15において実行された処理の結果などは、例えば記憶部13に記憶されてよい。コントローラ15は、コントローラ15の動作に必要なメモリを適宜含んでもよい。
In one embodiment, the
特に、一実施形態において、コントローラ15は、被監視対象Tが他の人物Wに嫌がらせをする動作を開始したか否かを判定する処理を行ってよい。以下、被監視対象Tが他の人物Wに嫌がらせをする動作を、「嫌がらせ動作」と記すことがある。コントローラ15は、嫌がらせ動作の開始を判定するために、所定の条件が満たされたか否かを判定してよい。コントローラ15は、嫌がらせ動作の開始を判定するために、抽出部11によって抽出された被監視対象T及び他の人物Wそれぞれの所定部位の座標に基づいて、所定の条件が満たされたか否かを判定してよい。また、コントローラ15は、所定の条件が満たされることによって、嫌がらせ動作の開始を判定したら、所定の警告信号を出力してよい。コントローラ15は、嫌がらせ動作の予兆を判定するために、所定の条件が満たされたか否かを判定してよい。コントローラ15は、嫌がらせ動作の予兆を判定するために、抽出部11によって抽出された被監視対象T及び他の人物Wの所定部位の座標に基づいて、所定の条件が満たされたか否かを判定してよい。また、コントローラ15は、所定の条件が満たされることによって、嫌がらせ動作の予兆を判定したら、所定の警告信号を出力してよい。所定の条件については、さらに後述する。また、一実施形態に係る電子機器10のコントローラ15の動作についても、さらに後述する。
In particular, in one embodiment, the
警告部17は、コントローラ15から出力される所定の警告信号に基づいて、システム1又は電子機器10のユーザなどに注意を促すための所定の警告を発してよい。警告部17は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部17は、例えばブザー又はスピーカのような音声出力部、LEDのような発光部、LCDのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部17は、コントローラ15から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部17は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してもよい。
The
一実施形態において、警告部17は、例えば被監視対象Tが他の人物Wに対して嫌がらせを行う動作を開始する前に(嫌がらせ動作の予兆があった時点で)、被監視対象Tが他の人物Wに対して嫌がらせを始めるリスクがある旨の警告を発してよい。また、一実施形態において、警告部17は、被監視対象Tが他の人物Wに対して嫌がらせを行う動作を終了する前に、被監視対象Tが他の人物Wに対して嫌がらせを続けるリスクがある旨の警告を発してもよい。例えば、一実施形態において、視覚情報を出力する警告部17は、被監視対象Tが他の人物Wに対して嫌がらせを始めたり嫌がらせを続けたりするリスクがある旨が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部17は、被監視対象Tが他の人物Wに対して嫌がらせを始めたり嫌がらせを続けたりするリスクがある旨が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてもよい。
In one embodiment, the
図1に示す電子機器10は、警告部17を内蔵している。しかしながら、一実施形態にシステム1において、警告部17は、電子機器10の外部に設けられてもよい。この場合、警告部17と電子機器10とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
The
通信部19は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部19によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は2G、3G、4G、及び5G等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、LTE(Long Term Evolution)、W-CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、及びPHS(Personal Handy-phone System)等を含む。例えば、無線通信規格は、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、WiFi、Bluetooth(登録商標)、IrDA(Infrared Data Association)、及びNFC(Near Field Communication)等を含む。通信部19は、上記の通信規格の1つ又は複数をサポートすることができる。通信部19は、例えば電波を送受信するアンテナ及び適当なRF部などを含めて構成してよい。また、通信部19は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部19は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアなどの説明は省略する。
The
通信部19が受信する各種の情報は、例えば記憶部13及び/又はコントローラ15に供給されてよい。通信部19が受信する各種の情報は、例えば記憶部13及び/又はコントローラ15に内蔵されたメモリに記憶してもよい。また、通信部19は、例えばコントローラ15による処理結果、抽出部11による抽出結果、及び/又は、記憶部13に記憶された情報などを外部に送信してもよい。
Various types of information received by the
図1に示すような、一実施形態に係る電子機器10を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。
At least a part of each functional unit configuring the
次に、一実施形態に係るシステム1の動作について説明する。
Next, the operation of the
一実施形態に係るシステム1は、被監視対象Tが他の人物Wに対して嫌がらせを行う動作における被監視対象Tの身体の各部の位置(座標)、及び、他の人物Wの身体の各部の位置(座標)から、嫌がらせ動作の開始を判定してよい。
A
図2は、一実施形態に係るシステム1の動作の一例を示すフローチャートである。図2は、一実施形態に係るシステム1に含まれる電子機器10の動作に焦点を当てたフローチャートとしてもよい。
FIG. 2 is a flowchart illustrating an example of the operation of the
例えば認知症の発症が疑われる者など(例えば要看護者又は要介護者など)は、看護者又は介護者などの他の人物Wに対して身体接触を伴う性的嫌がらせなどの嫌がらせを行ってしまうことがある。このような場合、他の人物Wが不快に感じたり危険を感じたりする。つまり、他の人物Wの安全が脅かされるリスクがある。したがって、他の人物Wに対して嫌がらせが行われようとしていること、又は、他の人物Wに対して嫌がらせが行われたことを他者に警告することは、被監視対象Tの周囲の他の人物Wの安全に供し得るのみならず、被監視対象Tの周囲環境の安全にも供し得る。一実施形態に係るシステム1においては、上述のようにして被監視対象Tのような人間が他の人物Wに対して嫌がらせを行う動作における被監視対象Tの身体の各部の位置(座標)、及び、他の人物Wの身体の各部の位置(座標)から嫌がらせ動作の予兆又は開始を判定してよい。以下、このような動作について、より詳細に説明する。
For example, a person who is suspected of developing dementia (e.g., a person in need of care or care) may harass another person W, such as a nurse or caregiver, by sexual harassment or other forms of harassment that involve physical contact. Sometimes I put it away. In such a case, the other person W may feel uncomfortable or in danger. In other words, there is a risk that the safety of other persons W may be threatened. Therefore, warning others that harassment is about to be committed against another person W or that harassment has been committed against another person This can not only provide for the safety of the person W, but also the safety of the surrounding environment of the monitored object T. In the
図2に示す動作が開始する時点において、システム1の撮像部20は、例えば被監視対象Tのような人間の撮像を開始していてよい。図2に示す動作が開始する時点は、撮像部20が例えば被監視対象Tのような人間の撮像を開始した時点としてもよい。また、図2に示す動作が開始する時点は、撮像部20が撮像を開始してから、例えば被監視対象Tのような人間が撮像部20の撮像範囲に入った時点としてもよい。
At the time when the operation shown in FIG. 2 starts, the
図2に示す動作が開始すると、電子機器10のコントローラ15は、撮像部20によって撮像された画像を取得する(ステップS11)。
When the operation shown in FIG. 2 starts, the
図3は、図2に示したステップS11においてコントローラ15が取得した画像、すなわち撮像部20によって撮像された画像の例を概略的に示す図である。
FIG. 3 is a diagram schematically showing an example of an image acquired by the
図3に示すように、撮像部20は、例えば被監視対象Tのような人間が他の人物Wに近づいている状態を撮像してよい。図3は、被監視対象Tのような人間が他の人物Wに近づいている様子を模式的に示している。この場合、ステップS11において、コントローラ15は、被監視対象Tのような人間が他の人物Wに近づいている画像を取得する。後述のように、撮像部20は、被監視対象Tのような人間が他の人物Wに近づいている状態以外の状態の画像を撮像してもよい。この場合、ステップS11において、コントローラ15は、被監視対象Tのような人間が他の人物Wに近づいている状態以外の状態の画像を取得してもよい。
As shown in FIG. 3, the
図4は、図2に示したステップS11においてコントローラ15が取得した画像、すなわち撮像部20によって撮像された画像の他の例を示す図である。図4に示すように、撮像部20は、例えば被監視対象Tのような人間が他の人物Wに接触しようとしている状態を撮像してよい。図4は、被監視対象Tが他の人物Wに接触しようとしている様子を模式的に示している。図4において、被監視対象T及び/又は他の人物Wは、移動していてもよいし、静止していてもよい。この場合、ステップS11において、コントローラ15は、被監視対象Tのような人間及び他の人物Wを含む画像を取得する。後述のように、撮像部20は、被監視対象Tのような人間が他の人物Wに接触しようとしている状態以外の状態の画像を撮像してもよい。この場合、ステップS11において、コントローラ15は、被監視対象Tのような人間が他の人物Wに接触しようとしている状態以外の状態の画像を取得してもよい。
FIG. 4 is a diagram showing another example of the image acquired by the
撮像部20は、秒間所定数のフレームの各画像を撮像するものとしてよい。ここで、撮像部20が撮像する画像は、連続するフレームの静止画としてもよいし、動画としてもよい。例えば、撮像部20は、秒間15フレームの画像を撮像するものとしてよい。ステップS11において、コントローラ15は、撮像部20によって撮像された秒間所定数のフレームの画像を取得してよい。
The
図2に示すように、ステップS11において撮像された画像を取得すると、抽出部11は、被監視対象Tの身体における所定部位の座標を抽出する(ステップS12)。ステップS12における動作は、抽出部11ではなく、コントローラ15が行ってもよい。抽出部11は、被監視対象Tの身体における所定部位の座標だけでなく、他の人物Wの身体における所定部位の座標をさらに抽出する。
As shown in FIG. 2, when the image captured in step S11 is acquired, the
図5は、ステップS12において抽出される被監視対象Tの身体における所定部位の例を示す図である。 FIG. 5 is a diagram showing an example of a predetermined part of the body of the monitored target T extracted in step S12.
抽出部11は、例えば図5に示すような被監視対象Tの身体における所定部位の座標を抽出してよい。図5に示すように、ステップS12において座標を抽出する所定部位は、例えば、被監視対象Tの身体における首、左肩、左肘、左手首、右肩、右肘、及び右手首を含んでよい。また、図5に示すように、ステップS12において座標を抽出する所定部位は、例えば、被監視対象Tの身体における左尻、左膝、左足首、右尻、右膝、及び右足首をさらに含んでよい。このように、ステップS12において抽出される所定部位の座標は、被監視対象Tの身体における所定の関節点の座標などとしてよい。
The
図6は、図4に示した画像において、被監視対象Tの身体における所定部位として抽出される座標の例を示す図である。図6に示す被監視対象Tの画像は、図4に示した被監視対象Tの画像と同じものを示している。図6は、図4に示した被監視対象Tの画像において、図5に示した被監視対象Tの身体における所定部位として抽出される座標を示している。 FIG. 6 is a diagram showing an example of coordinates extracted as a predetermined part of the body of the monitored object T in the image shown in FIG. The image of the monitored object T shown in FIG. 6 is the same as the image of the monitored object T shown in FIG. FIG. 6 shows coordinates extracted as predetermined parts of the body of the monitored object T shown in FIG. 5 in the image of the monitored object T shown in FIG. 4.
抽出部11は、図6に示す複数のドットの座標を、図5に示す被監視対象Tの身体における所定部位として抽出する。例えば、抽出部11は、図6に示す座標軸に従って、図6に示す複数のドットの座標を、2次元的に抽出してよい。すなわち、抽出部11は、撮像部20によって撮像される画像の撮像範囲の左下端部は、図6に示す座標軸の原点を示すものとしてよい。例えば、抽出部11は、図6に示す被監視対象Tの首の位置の座標を、図6に示す座標軸に従って取得する。
The
ここで、撮像部20が秒間所定数のフレームの各画像を撮像する場合、抽出部11は、秒間所定数のフレームにおいて被監視対象Tの身体における所定部位として抽出してよい。また、コントローラ15が秒間所定数のフレームの画像を取得する場合も、抽出部11は、秒間所定数のフレームにおいて被監視対象Tの身体における所定部位として抽出してよい。一例として、抽出部11は、被監視対象Tの身体における所定部位を、秒間15フレームにおいて抽出してよい。
Here, when the
図7は、例えば1秒間の15フレームにおいて、被監視対象Tの身体において抽出された所定部位の座標をまとめて示す図である。図7に示すように、ステップS12において、コントローラ15(又は抽出部11)は、被監視対象Tの身体において抽出された所定部位の座標を、フレームごとに並べて配置してもよい。図7に示すように、抽出部11は、フレームごとに、被監視対象Tの身体において2次元的に(X,Y座標として)所定部位の座標を抽出してよい。図7に示す表において、各行は、各フレームにおいて、被監視対象Tの身体の所定部位が、X,Y座標として抽出された様子を模式的に示してある。また、図7に示す表において、各フレームを示す行は、時間の経過に従って上から下に示してある。図7に示す15フレームの座標は、例えば図6に示すような画像(又は動画)における1秒間の座標をトラッキングしたものとしてよい。また、図7に示す15フレームの後も、順次、被監視対象Tの身体において所定部位の座標が抽出されるものとしてよい。
FIG. 7 is a diagram collectively showing the coordinates of a predetermined region extracted on the body of the monitored object T, for example, in 15 frames of 1 second. As shown in FIG. 7, in step S12, the controller 15 (or the extraction unit 11) may arrange the coordinates of the predetermined parts extracted in the body of the monitored target T in a line for each frame. As shown in FIG. 7, the
このように、一実施形態において、抽出部11は、撮像部20によって撮像された秒間所定数の各フレームの画像から、被監視対象Tの身体における所定数の関節点の座標を2次元的に抽出してもよい。
In this way, in one embodiment, the
他の人物Wの身体における所定部位の座標は、被監視対象Tの身体における所定部位の座標と同様に抽出されてもよい。また、図6に示されるように、被監視対象Tが他の人物Wに接触する態様の嫌がらせが行われている場合の座標だけでなく、他の態様の嫌がらせが行われている場合の座標が抽出されてもよい。 The coordinates of a predetermined part on the body of another person W may be extracted in the same way as the coordinates of a predetermined part on the body of the monitored object T. In addition, as shown in FIG. 6, not only the coordinates when the monitored target T is being harassed in a manner in which he/she comes into contact with another person W, but also the coordinates when harassment is being done in other manners. may be extracted.
抽出部11は、抽出された所定数のフレーム(例えば1秒間の15フレーム)における座標(X,Y)それぞれの最大値及び最小値に従って、座標を正規化する(ステップS13)。
The
ステップS12において抽出される所定部位の座標は、例えば被監視対象Tの身体のサイズなどに起因してばらつくことが想定される。また、ステップS12において抽出される所定部位の座標は、例えば撮像部20と被監視対象Tとの距離、及び、撮像部20から被監視対象Tに向く方向などにも起因してばらつくことが想定される。したがって、一実施形態において、ステップS12において抽出された座標のX方向成分及びY方向成分をそれぞれ正規化することにより、抽出された座標について汎用的な基準を用いて判定を行うことができるようにする。
It is assumed that the coordinates of the predetermined region extracted in step S12 vary due to, for example, the body size of the monitored object T. Further, it is assumed that the coordinates of the predetermined region extracted in step S12 vary due to, for example, the distance between the
この場合、例えば1秒間の15フレームにおいて抽出されたX,Y座標のそれぞれの最大値及び最小値に基づいて、抽出されるX,Y座標を正規化してもよい。ここで、ステップS12において抽出されたX座標の最大値をXmaxとし、ステップS12において抽出されたX座標の最小値をXminとする。また、正規化後のX座標の最大値をX’maxとする。この場合、以下の式(1)を用いて、正規化前のX座標(X)を、正規化後のX座標(X’)に変換することができる。 In this case, the extracted X, Y coordinates may be normalized based on the respective maximum and minimum values of the X, Y coordinates extracted in 15 frames of 1 second, for example. Here, the maximum value of the X coordinate extracted in step S12 is defined as Xmax, and the minimum value of the X coordinate extracted in step S12 is defined as Xmin. Furthermore, the maximum value of the X coordinate after normalization is defined as X'max. In this case, the X coordinate (X) before normalization can be converted to the X coordinate (X') after normalization using the following equation (1).
X’=((X-Xmin)/(Xmax-Xmin))・X’max (1) X'=((X-Xmin)/(Xmax-Xmin))・X'max (1)
同様に、ステップS12において抽出されたY座標の最大値をYmaxとし、ステップS12において抽出されたY座標の最小値をYminとする。また、正規化後のY座標の最大値をY’maxとする。この場合、以下の式(2)を用いて、正規化前のY座標(Y)を、正規化後のY座標(Y’)に変換することができる。 Similarly, the maximum value of the Y coordinate extracted in step S12 is defined as Ymax, and the minimum value of the Y coordinate extracted in step S12 is defined as Ymin. Further, the maximum value of the Y coordinate after normalization is defined as Y'max. In this case, the Y coordinate (Y) before normalization can be converted into the Y coordinate (Y') after normalization using the following equation (2).
Y’=((Y-Ymin)/(Ymax-Ymin))・Y’max (2) Y'=((Y-Ymin)/(Ymax-Ymin))・Y'max (2)
上記の式(1)及び式(2)に従って、抽出された座標のX方向成分及びY方向成分を正規化することにより、被監視対象Tの個体差、及び撮像部20が被監視対象Tを撮像した環境などが座標についての判定に与える影響を低減することが期待できる。
By normalizing the X-direction component and Y-direction component of the extracted coordinates according to the above equations (1) and (2), individual differences in the monitored object T and the
このように、一実施形態において、抽出部11は、2次元的に抽出された被監視対象Tの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してもよい。また、このような動作は、抽出部11ではなくコントローラ15が行ってもよい。
In this way, in one embodiment, the
ステップS13に示す座標の正規化により、図7に示す各座標(X,Y)は、それぞれ座標(X’,Y’)に正規化される。 By normalizing the coordinates shown in step S13, each coordinate (X, Y) shown in FIG. 7 is normalized to the coordinate (X', Y').
他の人物Wの身体における所定部位の座標は、被監視対象Tの身体における所定部位の座標と同様に正規化されてもよい。 The coordinates of a predetermined part on the body of another person W may be normalized similarly to the coordinates of a predetermined part on the body of the monitored target T.
コントローラ15は、正規化された座標に基づいて、嫌がらせ動作の開始を判定する(ステップS14)。ステップS14において、コントローラ15は、正規化された座標の変位に基づいて、嫌がらせ動作が開始したか否かを判定してよい。一実施形態において、コントローラ15は、ステップS14において、正規化された座標が所定の条件を満たした場合に、嫌がらせ動作が開始したと判定してよい。コントローラ15は、正規化された座標が所定の条件を満たした場合に、嫌がらせ動作の予兆があると判定してもよい。以下、ステップS14において、嫌がらせ動作の予兆があると判定される場合、及び、嫌がらせ動作が開始したと判定される場合について、さらに説明する。
The
嫌がらせ動作は、被監視対象Tが他の人物Wに近づいた場合に実行される。コントローラ15は、被監視対象Tの所定部位の少なくとも一部と、他の人物Wの所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、被監視対象Tが他の人物Wに近づいたと判定してよい。
The harassing action is performed when the monitored target T approaches another person W. When the distance between at least a part of the predetermined part of the monitored object T and at least a part of the predetermined part of the other person W becomes less than a first threshold, the
コントローラ15は、例えば図6に示すように被監視対象Tの手首が他の人物Wの腰又は尻に向けて移動した場合、嫌がらせ動作の予兆があると判定してよい。コントローラ15は、被監視対象Tの手首が他の人物Wの胸、足、手又は肩などに向けて移動した場合、嫌がらせ動作の予兆があると判定してもよい。
For example, the
コントローラ15は、嫌がらせ動作の予兆があると判定した場合、さらに、例えば図6に示すように被監視対象Tの手首の特徴点Taと他の人物Wの尻又は腰の特徴点Waとの距離D0が第2閾値未満となった場合に、嫌がらせ動作が開始したと判定してよい。コントローラ15は、被監視対象Tの手首と他の人物Wの胸、足、手又は肩などとの距離が第2閾値未満となった場合に、嫌がらせ動作が開始したと判定してもよい。コントローラ15は、例えば他の人物Wの左右の肩の間の範囲を他の人物Wの胸とみなして判定してもよい。
When the
第1閾値及び第2閾値は、被監視対象T及び他の人物Wの体格等に基づいて適宜定められてよい。 The first threshold value and the second threshold value may be determined as appropriate based on the physiques of the monitored object T and other person W, and the like.
コントローラ15は、嫌がらせ動作が開始したと判定した場合(ステップS14:Y)、所定の警告信号を出力する(ステップS15)。コントローラ15は、嫌がらせ動作の予兆があると判定した場合に所定の警告信号を出力してもよい。コントローラ15は、ステップS15の手順の実行後、図2のフローチャートの実行を終了する。
When the
コントローラ15は、嫌がらせ動作が開始したと判定しない場合(ステップS14:N)、図2のフローチャートの実行を終了する。
If the
一実施形態に係るシステム1によれば、例えば被監視対象Tによる嫌がらせ動作の予兆を検出できる。したがって、一実施形態に係るシステム1によれば、被監視対象Tの嫌がらせ動作が開始する前、例えば被監視対象Tの手が他の人物Wの胸、腰、尻、足、手若しくは肩などに向けて移動している状態で、所定の警告を発することができる。その結果、一実施形態に係るシステム1によれば、被監視対象Tによる他の人物Wに対する嫌がらせを回避して、被監視対象Tの周辺の安全に供することができる。また、一実施形態に係るシステム1によれば、被監視対象Tによる嫌がらせ動作の開始を検出できる。したがって、一実施形態に係るシステム1によれば、被監視対象Tの嫌がらせ動作が開始してからすぐに所定の警告を発することができる。したがって、一実施形態に係るシステム1によれば、例えば介護施設などのスタッフは嫌がらせ動作の発生を認識し得る。その結果、介護施設などのスタッフは嫌がらせされている他の人物Wを速やかにケアして、他の人物Wの安全に供することができる。
According to the
図8は、図2のステップS14の判定処理をさらに説明する図である。図8は、左側の列において、例えば図2のステップS11において取得された画像データに撮像された被監視対象Tの状態を示している。図8に示すように、撮像された画像データにおいて、被監視対象Tは、撮像部20が設置された部屋に入室した後、他の人物Wに近づいて他の人物Wに手を伸ばして嫌がらせ動作を開始したとする。嫌がらせ動作が開始した瞬間から、コントローラ15は、図2に示したステップS11以降の動作を、秒間15フレームの処理として行うものとする。すなわち、システム1において、撮像部20は、秒間15フレームの画像を撮像するものとしてよい。また、システム1において、コントローラ15は、秒間15フレームの画像を取得するものとしてよい。また、システム1において、抽出部11は、秒間15フレームの画像から、被監視対象Tの身体の関節点の座標及び他の人物Wの身体の関節点の座標を抽出するものとしてよい。また、システム1において、コントローラ15(又は抽出部11)は、秒間15フレームの画像から抽出された座標を正規化するものとしてよい。さらに、システム1において、コントローラ15は、秒間15フレームの正規化された座標から、嫌がらせ動作の開始を判定してよい。
FIG. 8 is a diagram further explaining the determination process in step S14 in FIG. FIG. 8 shows, in the left column, the state of the monitored object T captured in the image data acquired, for example, in step S11 of FIG. As shown in FIG. 8, in the captured image data, the monitored target T enters the room where the
図8の中央の列において、コントローラ15が画像データのフレームを連続して取得する様子を概念的に示してある。ここで、各フレームの画像データは、画像データから抽出された座標としてもよいし、正規化された座標としてもよい。また、図8の中央の列において、ハッチングを付した画像データは、嫌がらせ動作が開始してから1秒間のフレームを表している。
The center column of FIG. 8 conceptually shows how the
このような状況において、コントローラ15は、嫌がらせ動作が開始してから1秒間の15フレーム(フレーム1からフレーム15まで)に基づいて、その時点における嫌がらせ動作の開始を判定してよい(図8に示す判定1)。次に、コントローラ15は、フレーム2からフレーム16までの1秒間の15フレームに基づいて、その時点における嫌がらせ動作の開始を判定してよい(図8に示す判定2)。また、コントローラ15は、フレーム(N-14)からフレームNまでの1秒間の15フレームに基づいて、その時点における嫌がらせ動作の開始を判定してよい(図8に示す判定3)。以上のような動作を繰り返すことにより、コントローラ15は、嫌がらせ動作の開始の判定を、秒間15回行うことになる。したがって、一実施形態に係るシステム1によれば、例えば図8に示す判定1、判定2及び判定3において何らかの原因により本来判定されるべき嫌がらせ動作の開始が判定されなかったとしても、秒間15回の判定によって失報のリスクを低減することができる。
In such a situation, the
上述した実施形態において、例えば図5に示したように、抽出部11は、被監視対象Tの関節点として、13か所の部位の座標を抽出する例について説明した。しかしながら、一実施形態において、抽出部11は、13より多くの箇所の部位の座標を抽出してもよいし、13より少ない箇所の部位の座標を抽出してもよい。また、上述した実施形態において、システム1は、秒間15フレームを処理する例について説明した。しかしながら、一実施形態において、システム1又はシステム1を構成する各機能部は、秒間15よりも多くのフレームを処理してもよいし、秒間15よりも少ないフレームを処理してもよい。一実施形態において、システム1が扱う関節点の数及び/又は処理するフレームの数は、嫌がらせ動作の開始の判定が妥当な結果になるように調整してもよい。
In the embodiment described above, an example has been described in which the
このように、一実施形態において、コントローラ15は、嫌がらせ動作の開始の判定の妥当性が所定以上になるように、前記フレームの数及び前記関節点の数の少なくとも一方を決定してもよい。
In this way, in one embodiment, the
上記実施形態においては、撮像された画像データを用いているため、可視光を検出対象として用いて監視を行った。しかしながら、本開示は、このような場合に限定されず、任意の電磁波、音波、温度、振動など、他の検出対象を任意に用いてもよい。 In the embodiment described above, since captured image data is used, monitoring is performed using visible light as a detection target. However, the present disclosure is not limited to such a case, and other detection targets such as any electromagnetic wave, sound wave, temperature, vibration, etc. may be arbitrarily used.
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。 Although embodiments according to the present disclosure have been described based on various drawings and examples, it should be noted that those skilled in the art can make various modifications or modifications based on the present disclosure. Therefore, it should be noted that these variations or modifications are included within the scope of this disclosure. For example, the functions included in each component or each step can be rearranged to avoid logical contradictions, and multiple components or steps can be combined or divided into one. It is. Although the embodiments according to the present disclosure have been described with a focus on the apparatus, the embodiments according to the present disclosure can also be realized as a method including steps executed by each component of the apparatus. Embodiments according to the present disclosure can also be realized as a method, a program, or a storage medium on which a program is recorded, which is executed by a processor included in an apparatus. It is to be understood that these are also encompassed within the scope of the present disclosure.
例えば、一実施形態に係るシステム1及び電子機器10における処理を簡略化して、図2のステップS13に示した座標を正規化する処理を省略して実施してもよい。
For example, the processing in the
上述した実施形態は、システム1としての実施のみに限定されるものではない。例えば、上述した実施形態は、システム1に含まれる電子機器10として実施してもよい。また、上述した実施形態は、例えば、電子機器10のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、電子機器10のような機器又は情報処理装置(例えばコンピュータ)が実行するプログラムとして実施してもよい。また、本開示の技術では、図1に示される電子機器10の各構成要素のすべてが1つの筐体又はサーバに存在しなくてもよい。例えば、電子機器10の構成要素のコントローラ又は記憶部などの各部が、互いに有線、無線若しくはこれらの組み合わせからなるネットワークにより接続され、異なる筐体、サーバ、装置、部屋、ビル、地域、国などに任意に配置されているとしてもよい。
The embodiment described above is not limited to implementation as the
1 システム
10 電子機器
11 抽出部
13 記憶部
15 コントローラ
17 警告部
19 通信部
20 撮像部
1
Claims (13)
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
を備え、
前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した場合に、所定の警告信号を出力する、システム。 an imaging unit that captures an image of the monitored target and another person;
an extraction unit that extracts the coordinates of a predetermined part of the monitored object and the coordinates of a predetermined part of the other person from the image captured by the imaging unit;
When the distance between at least part of the predetermined part of the monitored target extracted by the extraction unit and at least part of the predetermined part of the other person becomes less than a first threshold, the monitored target a controller that determines that the person has approached the other person,
When the controller determines that the monitored subject approaches the other person, the controller may cause the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. A system that outputs a predetermined warning signal when the vehicle moves.
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標と前記他の人物の所定部位の座標とを抽出する抽出部と、
前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
を備え、
前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した後に、さらに、前記被監視対象の右手首又は左手首と前記他の人物の胸、腰、尻、足、手若しくは肩との距離が第2閾値未満となった場合に、所定の警告信号を出力する、システム。 an imaging unit that captures an image of the monitored target and another person;
an extraction unit that extracts the coordinates of a predetermined part of the monitored object and the coordinates of a predetermined part of the other person from the image captured by the imaging unit;
When the distance between at least part of the predetermined part of the monitored target extracted by the extraction unit and at least part of the predetermined part of the other person becomes less than a first threshold, the monitored target a controller that determines that the person has approached the other person,
When the controller determines that the monitored subject approaches the other person, the controller may cause the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. After moving, if the distance between the right wrist or left wrist of the monitored target and the chest, waist, buttocks, foot, hand, or shoulder of the other person becomes less than a second threshold, a predetermined warning is issued. A system that outputs a signal.
前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の座標の変位に基づいて、前記所定の警告信号を出力する、請求項1又は2に記載のシステム。 The extraction unit extracts the coordinates of a predetermined part of the monitored object from images of a predetermined number of frames per unit time captured by the imaging unit,
The system according to claim 1 or 2, wherein the controller outputs the predetermined warning signal based on the displacement of the coordinates of the predetermined part of the monitored object extracted by the extraction unit.
前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
を備え、
前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した場合に、所定の警告信号を出力する、電子機器。 an extraction unit that extracts the coordinates of a predetermined part of the monitored object and the coordinates of a predetermined part of the other person from an image of the monitored object and the other person;
When the distance between at least part of the predetermined part of the monitored target extracted by the extraction unit and at least part of the predetermined part of the other person becomes less than a first threshold, the monitored target a controller that determines that the person has approached the other person,
When the controller determines that the monitored subject approaches the other person, the controller may cause the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. An electronic device that outputs a predetermined warning signal when it moves.
前記抽出部によって抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定するコントローラと
を備え、
前記コントローラは、前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した後に、さらに、前記被監視対象の右手首又は左手首と前記他の人物の胸、腰、尻、足、手若しくは肩との距離が第2閾値未満となった場合に、所定の警告信号を出力する、電子機器。 an extraction unit that extracts the coordinates of a predetermined part of the monitored object and the coordinates of a predetermined part of the other person from an image of the monitored object and the other person;
When the distance between at least part of the predetermined part of the monitored target extracted by the extraction unit and at least part of the predetermined part of the other person becomes less than a first threshold, the monitored target a controller that determines that the person has approached the other person,
When the controller determines that the monitored subject approaches the other person, the controller may cause the monitored subject's right wrist or left wrist to point toward the other person's chest, waist, buttocks, foot, hand, or shoulder. After moving, if the distance between the right wrist or left wrist of the monitored target and the chest, waist, buttocks, foot, hand, or shoulder of the other person becomes less than a second threshold, a predetermined warning is issued. Electronic equipment that outputs signals.
前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した場合に、所定の警告信号を出力する出力ステップと
を含む、電子機器の制御方法。 an extraction step of extracting the coordinates of a predetermined part of the monitored object and the coordinates of a predetermined part of the other person from an image of the monitored object and the other person;
When the distance between at least a part of the predetermined part of the target to be monitored extracted in the extraction step and at least a part of the predetermined part of the other person becomes less than a first threshold, the target to be monitored a determining step of determining that the person has approached the other person;
When it is determined that the monitored target has approached the other person, and the right wrist or left wrist of the monitored target moves toward the other person's chest, waist, buttocks, foot, hand, or shoulder. , and an output step of outputting a predetermined warning signal.
前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した後に、さらに、前記被監視対象の右手首又は左手首と前記他の人物の胸、腰、尻、足、手若しくは肩との距離が第2閾値未満となった場合に、所定の警告信号を出力する出力ステップと
を含む、電子機器の制御方法。 an extraction step of extracting the coordinates of a predetermined part of the monitored object and the coordinates of a predetermined part of the other person from an image of the monitored object and the other person;
When the distance between at least a part of the predetermined part of the target to be monitored extracted in the extraction step and at least a part of the predetermined part of the other person becomes less than a first threshold, the target to be monitored a determining step of determining that the person has approached the other person;
When it is determined that the monitored target has approached the other person, after the right wrist or left wrist of the monitored target moves toward the other person's chest, waist, buttocks, foot, hand, or shoulder, Furthermore, if the distance between the right wrist or left wrist of the monitored object and the other person's chest, waist, buttocks, foot, hand, or shoulder becomes less than a second threshold, a predetermined warning signal is output. A method for controlling an electronic device, including an output step.
前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸、腰、尻、足、手若しくは肩に向けて移動した場合に、所定の警告信号を出力する出力ステップと
をコンピュータに実行させる、プログラム。 an extraction step of extracting the coordinates of a predetermined part of the monitored object and the coordinates of a predetermined part of the other person from an image of the monitored object and the other person;
When the distance between at least a part of the predetermined part of the target to be monitored extracted in the extraction step and at least a part of the predetermined part of the other person becomes less than a first threshold, the target to be monitored a determining step of determining that the person has approached the other person;
When it is determined that the monitored target has approached the other person, and the right wrist or left wrist of the monitored target moves toward the other person's chest, waist, buttocks, foot, hand, or shoulder. , and an output step of outputting a predetermined warning signal.
前記抽出ステップで抽出された前記被監視対象の所定部位の少なくとも一部と前記他の人物の所定部位の少なくとも一部との間の距離が第1閾値未満となった場合に、前記被監視対象が前記他の人物に近づいたと判定する判定ステップと、
前記被監視対象が前記他の人物に近づいたと判定した場合、前記被監視対象の右手首又は左手首が前記他の人物の胸又は尻に向けて移動した後に、さらに、前記被監視対象の右手首又は左手首と前記他の人物の胸、腰、尻、足、手若しくは肩との距離が第2閾値未満となった場合に、所定の警告信号を出力する出力ステップと
をコンピュータに実行させる、プログラム。
an extraction step of extracting the coordinates of a predetermined part of the monitored object and the coordinates of a predetermined part of the other person from an image of the monitored object and the other person;
When the distance between at least a part of the predetermined part of the target to be monitored extracted in the extraction step and at least a part of the predetermined part of the other person becomes less than a first threshold, the target to be monitored a determining step of determining that the person has approached the other person;
When it is determined that the monitored target has approached the other person, after the monitored target's right wrist or left wrist moves toward the other person's chest or buttocks, the monitored target's right wrist is further moved toward the other person's chest or buttocks. causing the computer to execute an output step of outputting a predetermined warning signal when the distance between the neck or left wrist and the other person's chest, waist, buttocks, foot, hand, or shoulder becomes less than a second threshold; ,program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020162739A JP7449212B2 (en) | 2020-09-28 | 2020-09-28 | Systems, electronic devices, control methods for electronic devices, and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020162739A JP7449212B2 (en) | 2020-09-28 | 2020-09-28 | Systems, electronic devices, control methods for electronic devices, and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022055250A JP2022055250A (en) | 2022-04-07 |
JP7449212B2 true JP7449212B2 (en) | 2024-03-13 |
Family
ID=80998031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020162739A Active JP7449212B2 (en) | 2020-09-28 | 2020-09-28 | Systems, electronic devices, control methods for electronic devices, and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7449212B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007251556A (en) | 2006-03-15 | 2007-09-27 | Omron Corp | Monitoring apparatus and method, image processing apparatus and method, and program |
-
2020
- 2020-09-28 JP JP2020162739A patent/JP7449212B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007251556A (en) | 2006-03-15 | 2007-09-27 | Omron Corp | Monitoring apparatus and method, image processing apparatus and method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2022055250A (en) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190043192A1 (en) | Seizure detection | |
US20160371950A1 (en) | Information processing apparatus, information processing method, and program | |
JP7271915B2 (en) | Image processing program and image processing device | |
JP6115692B1 (en) | Behavior detecting device, method and program, and monitored person monitoring device | |
US10321856B2 (en) | Bed exit monitoring system | |
US10229491B1 (en) | Medical environment monitoring system | |
US10489661B1 (en) | Medical environment monitoring system | |
CN108114387B (en) | Earthquake rescue robot and earthquake rescue method | |
JP7449212B2 (en) | Systems, electronic devices, control methods for electronic devices, and programs | |
JP7449211B2 (en) | Systems, electronic devices, control methods for electronic devices, and programs | |
CN114287938B (en) | Method and equipment for obtaining safety interval of human body parameters in building environment | |
JPWO2020008726A1 (en) | Target object detection program and target object detection device | |
JP6583953B1 (en) | Self-extraction monitoring system for medical accessories and self-extraction monitoring method for medical accessories | |
JP7467300B2 (en) | SYSTEM, ELECTRONIC DEVICE, CONTROL METHOD FOR ELECTRONIC DEVICE, AND PROGRAM | |
JP2022055248A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JP7465773B2 (en) | SYSTEM, ELECTRONIC DEVICE, CONTROL METHOD FOR ELECTRONIC DEVICE, AND PROGRAM | |
JP2022055251A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JP7515358B2 (en) | SYSTEM, ELECTRONIC DEVICE, CONTROL METHOD FOR ELECTRONIC DEVICE, AND PROGRAM | |
Patel et al. | Vitafall: Nxtgeuh system for well-being monitoring with fall recognition and real-time vital sign monitoring | |
JP2022055253A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JP7438847B2 (en) | Monitoring system, monitoring device, monitoring method, and program | |
JP2022039814A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
CN113544736A (en) | Lower limb muscle strength estimation system, lower limb muscle strength estimation method, and program | |
WO2021033597A1 (en) | Image processing system, image processing program, and image processing method | |
JP2022055252A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7449212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |