JP7047945B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7047945B2
JP7047945B2 JP2021018134A JP2021018134A JP7047945B2 JP 7047945 B2 JP7047945 B2 JP 7047945B2 JP 2021018134 A JP2021018134 A JP 2021018134A JP 2021018134 A JP2021018134 A JP 2021018134A JP 7047945 B2 JP7047945 B2 JP 7047945B2
Authority
JP
Japan
Prior art keywords
person
assistance
assistant
notification
requiring assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021018134A
Other languages
English (en)
Other versions
JP2021099818A (ja
Inventor
諒 川合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021018134A priority Critical patent/JP7047945B2/ja
Publication of JP2021099818A publication Critical patent/JP2021099818A/ja
Application granted granted Critical
Publication of JP7047945B2 publication Critical patent/JP7047945B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は画像解析に関する。
障害を持つ人、病人、又は体調不良の人など、何らかの補助を必要とする人が様々な場所に存在しうる。このような補助を必要とする人を検出する技術として、例えば特許文献1や特許文献2が挙げられる。
特許文献1は、体調不良の人などを映像から検出し、検出した人が警告エリアに進入した場合に警告を行う技術を開示している。特許文献2は、床に設けられたセンサを使って車いすを検出し、検出した車いすが危険な区域に入った場合に警報を出力する技術を開示している。
特開2017-28364号公報 特開2004-133494号公報
補助を必要とする人に対し、既にその人を補助する人などがいる可能性がある。例えば、体調不良の人の横に付き添っている人がいたり、視覚に障害がある人が盲導犬を連れていたりするケースである。このようなケースでは、必ずしも警告を行う必要があるとは限らない。
本発明は、以上の問題点に鑑みてなされたものである。本発明の目的の一つは、補助を必要とする人に関する通知の必要性又はその通知の内容を柔軟に決定する技術を提供することである。
本発明の情報処理装置は、
撮像画像から補助犬を検出する補助犬検出手段と、
前記補助犬の検出結果に基づいて、検出された前記補助犬の周囲に位置する人物を当該補助犬によって補助されている要補助者として検出する要補助者検出手段と、
を有する。
本発明の制御方法は、コンピュータによって実現される情報処理装置により実行される。当該制御方法は、
情報処理装置が、
撮像画像から補助犬を検出し、
前記補助犬の検出結果に基づいて、検出された前記補助犬の周囲に位置する人物を当該補助犬によって補助されている要補助者として検出する、ことを含む。
本発明のプログラムは、
コンピュータに、
撮像画像から補助犬を検出する処理、
前記補助犬の検出結果に基づいて、検出された前記補助犬の周囲に位置する人物を当該補助犬によって補助されている要補助者として検出する処理、
を実行させる。
本発明によれば、補助を必要とする人に関する通知の必要性又はその通知の内容を柔軟に決定する技術が提供される。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態1に係る情報処理装置の動作を概念的に説明するための図である。 実施形態1に係る情報処理装置の機能構成の例を示すブロック図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態1の情報処理装置によって実行される処理の流れを例示するフローチャートである。 要補助者と補助者の対応関係を表すデータを例示する図である。 通知を行うか否かを決定する処理の流れを例示するフローチャートである。 要補助者が存在することを示す通知を例示する第1の図である。 補助を必要とする人物が存在することを示す通知を例示する第2の図である。 要補助者について補助者が検出されるか否かに応じて通知内容が異なるケースを例示する図である。 実施形態1の情報処理装置の変形例の機能構成を例示する図である。 実施形態2の情報処理装置の機能構成を例示するブロック図である。 ランク付けされた状況条件をテーブル形式で例示する図である。 要補助者の状況に応じて通知を行うか否かを決定する処理の流れを例示するフローチャートである。 要補助者の状況に当てはまる状況条件のランクを示す通知を例示する図である。 補助者の属性に基づいて、通知を行うか否かを決定する処理の流れを例示するフローチャートである。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[実施形態1]
<情報処理装置2000の動作の概要>
図1は、実施形態1に係る情報処理装置(後述する図2などに示す情報処理装置2000)の動作を概念的に説明するための図である。なお図1は、情報処理装置2000の動作の理解を容易にすることを目的とする例示のための図であり、情報処理装置2000の動作は図1によって何ら限定されない。
情報処理装置2000は、監視対象の場所について、要補助者30と、その要補助者30の周辺に存在する同行者(補助者40)を検出し、その検出結果に基づく通知を行う。要補助者30は、何らかの助けを必要としていると推測される人物である。例えば図1において、要補助者30は車いすを利用している人である。補助者40は、要補助者30を補助していると推測される人物である。例えば図1において、補助者40は、要補助者30が利用している車いすを押している人物である。要補助者30と補助者40のその他の例については後述する。
監視対象の場所は任意の場所とすることができ、屋内でも屋外でもよい。例えば監視対象の場所は、駅やショッピングセンターなどの施設、又はそれらの施設の周辺などである。
要補助者30と補助者40の検出は、種々のセンサを用いて行われる。センサの一例はカメラである。カメラを利用する場合、情報処理装置2000は、カメラによって生成される撮像画像を解析することによって、要補助者30と補助者40の検出を行う。図1の例では、カメラによって撮像画像20が生成されている。撮像画像20-1からは、要補助者30及び補助者40が検出される。一方、撮像画像20-2からは、要補助者30しか検出されず、補助者40が検出されない。
センサの他の例は、圧力センサである。圧力センサは、監視場所において、人が通行する地面に設置される。圧力センサを利用する場合、情報処理装置2000は、圧力センサによって生成される検出信号に基づいて、要補助者30と補助者40の検出を行う。
なお、要補助者30の検出に用いるセンサと、補助者40の検出に用いるセンサは、互いに同一のものであってもよいし、互いに異なるものであってもよい。
要補助者30と補助者40の検出結果は、要補助者30に関する通知に利用される。例えば情報処理装置2000は、要補助者30と補助者40の検出結果に基づいて、通知を行うか否かを決定する。より具体的な例として、要補助者30が検出されたにもかかわらず補助者40が検出されない場合(例えば図1の撮像画像20-2のケース)において、情報処理装置2000は通知を行うことを決定する。一方、要補助者30と補助者40の双方が検出された場合(例えば図1の撮像画像20-1のケース)には、情報処理装置2000は通知を行わない。このように、要補助者30の検出結果だけでなく、補助者40の検出結果も考慮して通知を行うか否かを決定することで、通知の必要性を柔軟に決定することができる。
その他にも例えば、情報処理装置2000は、要補助者30と補助者40の検出結果に基づいて、通知の内容を決定する。より具体的な例として、情報処理装置2000は、要補助者30と補助者40の双方が検出された場合と、要補助者30のみが検出された場合とで、互いに異なる内容の通知を行う。このように、要補助者30の検出結果だけでなく、補助者40の検出結果も考慮して通知の内容を決定することで、通知の内容を柔軟に決定することができる。より具体的には、補助を必要としている人物が存在する状況において、適切な補助が行われている状況と適切な補助が行われていない状況とを区別して把握することができるようになる。
以下、本実施形態の情報処理装置2000についてさらに詳細に説明する。
<情報処理装置2000の機能構成の例>
図2は、実施形態1に係る情報処理装置2000の機能構成の例を示すブロック図である。情報処理装置2000は、第1検出部2020、第2検出部2040、決定部2060、及び通知部2080を有する。第1検出部2020は、所定条件を満たす人物(要補助者30)を検出する。第2検出部2040は、要補助者30の周囲に存在する補助者40を検出する。決定部2060は、第1検出部2020と第2検出部2040による検出結果に基づいて、要補助者30に関する通知を行うか否かの決定、及び要補助者30に関する通知の内容の決定のうちのいずれか1つ以上を行う。通知部2080は、上記決定に基づいて通知を行う。
<情報処理装置2000のハードウエア構成例>
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図3は、情報処理装置2000を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。その他にも例えば、要補助者30や補助者40の検出にカメラが利用される場合、計算機1000は、このカメラであってもよい。計算機1000は、情報処理装置2000を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU(Central Processing Unit)や GPU(Graphics Processing Unit)などの演算処理装置である。メモリ1060は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース1120は、計算機1000を通信網に接続するためのインタフェースである。この通信網は、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。ネットワークインタフェース1120が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
図3において、計算機1000は、ネットワークを介してセンサ10と通信可能に接続されている。センサ10は、要補助者30と補助者40の検出に用いられるセンサ(例えばカメラや圧力センサ)である。ただし、計算機1000をセンサ10と通信可能に接続する方法は、ネットワークを介した接続に限定されない。また、計算機1000は、センサ10の検出結果(カメラによって生成される撮像画像や、圧力センサによって生成される検出信号など)を何らかの方法で取得できればよく、必ずしもセンサ10と通信可能に接続される必要はない。
ストレージデバイス1080は、情報処理装置2000の各機能構成部(第1検出部2020、第2検出部2040、決定部2060、及び通知部2080)を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
<センサ10について>
センサ10は、要補助者30は補助者40の検出に用いることができる任意のセンサである。例えば前述したように、センサ10はカメラや圧力センサなどである。カメラは、繰り返し撮像を行って複数の撮像画像を生成することができる任意のカメラである。カメラは、動画データを生成するビデオカメラであってもよいし、静止画像データを生成するスチルカメラであってもよい。なお、前者の場合、撮像画像は、動画データを構成する動画フレームである。カメラは、2次元カメラであってもよいし、3次元カメラ(ステレオカメラやデプスカメラ)であってもよい。また、カメラは可視光を撮像するカメラであってもよいし、不可視光を撮像するカメラ(例えば赤外線カメラ)であってもよい。
情報処理装置2000が有する機能の一部又は全部は、要補助者30や補助者40の検出に利用されるカメラで実現されてもよい。例えば、カメラにおいて第1検出部2020と第2検出部2040の機能を実現し、カメラと通信可能に接続されたサーバ装置において決定部2060と通知部2080の機能を実現する。この場合、例えばカメラは、自身が生成した撮像画像を用いて要補助者30や補助者40の検出を行い、その検出結果を示す情報をサーバ装置へ送信する。サーバ装置は、受信した情報に基づいて通知に関する決定を行い、その決定に基づいて通知を行う。
その他にも例えば、カメラにおいて、情報処理装置2000の全ての機能が実現されてもよい。この場合、カメラは、自身が生成した撮像画像を用いて要補助者30と補助者40の検出を行い、検出結果に基づいて通知に関する決定を行い、その決定に基づいて通知を行う。
このように情報処理装置2000の機能の一部又は全部を持たせるカメラとしては、例えば、インテリジェントカメラ、ネットワークカメラ、又は IP(Internet Protocol)カメラなどと呼ばれるカメラを用いることができる。
<処理の流れ>
図4は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。第1検出部2020は要補助者30を検出する(S102)。第2検出部2040は補助者40を検出する(S104)。決定部2060は、要補助者30と補助者40の検出結果に基づいて、要補助者30に関する通知を行うか否かの決定、及び要補助者30に関する通知の内容の決定のうちのいずれか1つ以上を行う(S106)。通知部2080は、上記決定に基づいて通知を行う(S108)。
なお、情報処理装置2000によって行われる処理の流れは、図4に示す流れに限定されない。例えば、要補助者30の検出に先立ち、補助者40の検出が行われてもよい。例えば、撮像画像から盲導犬が検出された場合、その盲導犬は補助者40として扱うことができる。そして、検出された盲導犬の周囲に関するセンサ10の検出結果を利用することで、盲導犬によって補助されている要補助者を検出することができる。
<情報処理装置2000が処理を実行するタイミング>
情報処理装置2000が図4に示す一連の処理を実行するタイミングは様々である。例えば情報処理装置2000は、センサによって検出が行われる度に、その検出結果に基づいて、図4に示す一連の処理を実行する。
その他にも例えば、情報処理装置2000は、所定の時間間隔で(例えば1秒ごとに)、図4に示す一連の処理を実行する。この場合、例えば情報処理装置2000は、前回図4に示す一連の処理を行った時以降にセンサが生成した各検出結果を利用して(例えば1秒間に生成された複数の撮像画像20を利用して)、図4に示す一連の処理を行う。
<センサ10の検出結果の取得>
第1検出部2020は、要補助者30を検出するために、センサ10の検出結果を取得する。例えばセンサ10がカメラである場合、第1検出部2020は、カメラによって生成された撮像画像20を取得する。その他にも例えば、センサ10が圧力センサである場合、第1検出部2020は、圧力センサによって生成された検出信号を取得する。圧力センサの検出信号は、例えば、圧力センサによって検出された圧力分布の時間変化を示す電気信号である。なお、ここでいう圧力分布とは、圧力センサの検出範囲(地面の所定領域)の各位置で検出される圧力の大きさの分布を意味する。以下、カメラによって生成される撮像画像や圧力センサによって生成される検出信号など、センサ10の検出結果を総称して、「検出情報」と表記する。
第1検出部2020が検出情報を取得する方法は任意である。例えば第1検出部2020は、センサ10から送信される検出情報を受信する。その他にも例えば、第1検出部2020は、センサ10にアクセスし、センサ10に記憶されている検出情報を取得する。
なお、センサ10は、センサ10の外部に設けられている記憶装置に検出情報を記憶してもよい。この場合、第1検出部2020は、この記憶装置にアクセスして検出情報を取得する。
情報処理装置2000の一部又は全部がカメラで実現される場合、情報処理装置2000は、検出情報として、情報処理装置2000自身によって生成された撮像画像20を取得する。この場合、撮像画像20は、例えば情報処理装置2000の内部にあるメモリ1060やストレージデバイス1080(図3参照)に記憶されている。そこで第1検出部2020は、メモリ1060やストレージデバイス1080から撮像画像20を取得する。
第2検出部2040が検出情報を取得する方法は、第1検出部2020が検出情報を取得する方法と同様である。
<要補助者30の検出:S102>
第1検出部2020はセンサ10を用いて要補助者30を検出する(S102)。要補助者30は、何らかの助けを必要としていると推測される人物である。要補助者としては、様々な人物を扱うことができる。例えば要補助者は、障害を持つ人、怪我人、老人、病人、及び体調不良の人(酔客など)などである。
要補助者の検出方法は、検出に用いるセンサ10の種類によって異なる。以下では、センサ10がカメラである場合と、センサ10が圧力センサである場合のそれぞれを例として説明する。
<<センサ10がカメラである場合>>
第1検出部2020は、カメラによって生成される撮像画像20を用いて要補助者30を検出する。障害を持つ人や怪我人を要補助者30として扱う場合、例えば第1検出部2020は、車いすや杖などの所定の補助器具を利用している人物を撮像画像20から検出し、その人物を要補助者30として扱う。なお、補助器具やその補助器具を利用している人物を撮像画像から検出する技術には、既存の技術を利用することができる。
例えば、各種の補助器具を表す特徴量や人物を表す特徴量を予め定義して、第1検出部2020からアクセス可能な記憶装置に記憶させておく。ここでいう特徴量とは、物の外観の特徴(形状、模様、又は色彩など)を表す1つ以上のスカラ値やベクトル値などである。第1検出部2020は、上記特徴量を用いた特徴量マッチングにより、撮像画像20から、人物及び補助器具を検出する。そして、例えば第1検出部2020は、検出された補助器具との間の距離が所定値以下である人物を、要補助者30として検出する。この所定値は、第1検出部2020からアクセス可能な記憶装置に予め記憶させておく。
老人を要補助者30として扱うとする。撮像画像から老人を検出する技術には、既存の技術を利用することができる。例えば第1検出部2020は、撮像画像20から人物を検出し、検出された人物それぞれについて年齢の推定を行う。そして、第1検出部2020は、推定年齢が所定値(例えば70歳)以上である人物を要補助者30として扱う。
病人や体調不良の人を要補助者30として扱うとする。この場合、例えば第1検出部2020は、所定の軌跡(例えば蛇行する軌跡)で移動している人物を、病人や体調不良の人として扱う。蛇行しながら移動する人物としては、例えばお酒に酔っている人が考えられる。具体的には、第1検出部2020は、時系列の複数の撮像画像20から人物を検出し、各人物の移動の軌跡を特定する。そして第1検出部2020は、所定の軌跡で移動している人物を、要補助者30として検出する。ここで、時系列の複数の撮像画像から検出される人物の移動の軌跡を特定する技術には、既存の技術を利用することができる。
その他にも例えば、第1検出部2020は、所定の姿勢を取っている人物を、病人や体調不良の人として扱う。所定の姿勢とは、例えば、屈んでいる、寝ている、又は倒れているなどの姿勢である。具体的には、第1検出部2020は、時系列の複数の撮像画像20から人物を検出し、各人物の姿勢を特定する。そして第1検出部2020は、所定の姿勢の人物を、要補助者30として検出する。ここで、撮像画像に含まれる人物の姿勢を特定する技術には、既存の技術を利用することができる。
<<センサ10が圧力センサである場合>>
障害を持つ人や怪我人を要補助者30として扱う場合、例えば第1検出部2020は、圧力センサによって生成される検出信号を用いて、前述した補助器具を利用している人物を検出する。例えば、補助器具を使う人物が移動する際に圧力センサによって検出される圧力分布の時間変化について、所定パターンを予め定義しておく。そして第1検出部2020は、センサ10から出力された検出信号が上記所定パターンにマッチするか否か(例えば、類似度が所定値以上であるか否か)を判定することで、要補助者30を検出する。
上記所定パターンは、例えば、補助器具を使う人物が圧力センサ上を移動するテストを事前に行い、そのテストの際に圧力センサから得られた検出信号に基づいて定めることができる。この所定パターンは、例えば、第1検出部2020からアクセス可能な記憶装置に記憶させておく。
障害を持つ人や怪我人を要補助者30として扱う場合、例えば第1検出部2020は、圧力センサの検出信号を用いて、移動している人物の軌跡を特定する。そして第1検出部2020は、所定の軌跡(例えば蛇行する軌跡)で移動している人物を要補助者30として検出する。なお、圧力センサから得られる圧力分布の時間変化を用いて移動物体の軌跡を特定する技術には、既存の技術を利用することができる。
<補助者40の検出:S104>
第2検出部2040は、センサ10を用いて補助者40を検出する(S104)。補助者40は、要補助者30の周囲にいて要補助者30(補助者)を補助する人物や動物である。補助者が人である場合、例えば補助者は、車いすを押す人物、要補助者を先導する人物、及び要補助者の身体を支えている人物などである。補助者が動物である場合、例えば補助者は補助犬(盲導犬、聴導犬、又は介助犬など)である。
補助者の検出方法は、検出に用いるセンサ10の種類によって異なる。以下では、センサ10がカメラである場合、及びセンサ10が圧力センサである場合のそれぞれを例として説明する。
<<センサ10がカメラである場合>>
第2検出部2040は、カメラによって生成される撮像画像20を用いて補助者40を検出する。例えば第2検出部2040は、時系列の複数の撮像画像20から、第1検出部2020によって検出された要補助者30から所定距離以内の位置に所定期間以上存在する人物又は動物(例えば犬)を検出し、検出した人物又は動物を補助者40として扱う。その他にも例えば、第2検出部2040は、時系列の複数の撮像画像から、第1検出部2020によって検出された要補助者30に所定期間以上接している人物を補助者40として検出する。
なお、撮像画像20から犬を検出する場合、第2検出部2040は、その犬が補助犬であるか否かを判別し、補助犬のみを補助者40として扱ってもよい。言い換えれば、野良犬や一般の飼い犬などについては、補助者40として扱わないようにする。補助犬とそれ以外の犬は、例えば、犬の服装や装着物などに基づいて判別することができる。
なお、第2検出部2040は、要補助者30の属性に応じて補助者40の検出方法を変えてもよい。例えば要補助者30が車いすを利用する人である場合、第1検出部2020は、その車いすを押している人物を撮像画像20から検出し、その人物を補助者40として検出する。その他にも例えば、要補助者30が視覚に障害がある人物である場合、第1検出部2020は、要補助者30から所定距離以内の位置に所定期間以上存在する人物のうち、要補助者30の前にいる人物を、補助者40として検出する。ここで、視覚に障害がある人物を撮像画像から検出する技術には、既存の技術を利用することができる。例えば、白杖を持っている人物を、視覚に障害がある人物として検出することができる。
<要補助者30よりも先に補助者40を検出するケースについて>
情報処理装置2000は、第2検出部2040によって補助者40を検出した後、その検出結果に基づいて第1検出部2020が要補助者30を検出してもよい。この場合、例えば第2検出部2040は、所定の条件を満たす人物を、補助者40として検出する。より具体的には、第2検出部2040は、所定の姿勢を取っている人物を補助者40として検出する。所定の姿勢は、例えば、車いすを押す姿勢や、他の人を支える姿勢などである。
その他にも例えば、第2検出部2040は、所定の条件を満たす動物を、補助者40として検出する。例えば、監視場所において動物の立ち入りが禁止されている場合に、撮像画像20から動物が検出されたとき、第2検出部2040は、その動物を補助者40として扱う。なお、第2検出部2040は、全ての動物を検出するのではなく、犬のみを検出してもよい。その他にも例えば、第2検出部2040は、撮像画像20から補助犬を検出し、検出された補助犬を補助者40として扱ってもよい。補助犬を検出する方法は前述した通りである。
第1検出部2020は、第2検出部2040による補助者40の検出結果に基づいて、要補助者30の検出を行う。例えば第1検出部2020は、時系列の複数の撮像画像20から、補助者40から所定距離以内の位置に所定時間以上存在する人物を検出し、検出された人物を要補助者30として扱う。その他にも例えば、第1検出部2020は、時系列の複数の撮像画像20から、第2検出部2040によって検出された補助者40に所定期間以上接している人物を検出し、検出した人物を要補助者30として扱う。
<要補助者30と補助者40の対応関係について>
要補助者30と補助者40の対応関係(要補助者30と、その要補助者30を補助する補助者40という関係)は、一対一の関係に限定されない。例えば、要補助者30を補助する補助者40が複数いてもよい。逆に、1の補助者40が複数の要補助者30を補助してもよい。
要補助者30と補助者40の対応関係は、任意の形式のデータで表される。図5は、要補助者30と補助者40の対応関係を表すデータを例示する図である。図5のテーブルを、テーブル200と表記する。テーブル200は、要補助者30の識別子202と、その要補助者30を補助する補助者40の識別子204とを対応づけている。なお、要補助者30の識別子は、複数の要補助者30それぞれを互いに識別するために設定される識別子であり、第1検出部2020が任意に定めることができる。補助者40の識別子についても同様である。なお、テーブル200の2行目のレコードは、id0002 という識別子を持つ要補助者30には、補助者40が存在しないことを表している。
<通知部2080によって行われる通知:S108>
決定部2060によって行われる、通知に関する決定について説明する前に、通知部2080によって行われる通知について説明する。通知部2080は、決定部2060による決定に基づいて通知を行う(S108)。
通知部2080によって行われる通知は様々である。例えば通知は、ディスプレイ装置に表示される視覚的な通知、メールなどを介して行われるメッセージ通知、又はスピーカから出力される音声通知などである。
通知部2080によって行われる通知が出力される場所は様々である。例えばこれらの通知は、監視場所で働くスタッフや警備員が利用する部屋(スタッフルームや警備室など)に設置されているディスプレイ装置やスピーカなどから出力される。その他にも例えば、スタッフや警備員が所持している携帯端末に設けられているディスプレイ装置やスピーカから通知が出力されるようにしてもよい。その他にも例えば、1つ以上の監視場所を総合的に監視する監視センターなどに設置されているディスプレイ装置やスピーカなどから通知が出力されるようにしてもよい。
ここで、通知の出力に利用されるディスプレイ装置やスピーカなどの出力装置が、情報処理装置2000に直接接続されているとする。この場合、通知部2080は、これらの出力装置を制御することで、これらの出力装置に通知を出力させる。一方、出力装置が情報処理装置2000に直接接続されてない場合、通知部2080は、出力装置を有する他の計算機に通知を送信する。例えば、情報処理装置2000がサーバ装置として実現されており、通知の出力が警備員の有する携帯端末で行われる場合、通知部2080は、警備員の携帯端末に対して通知を送信する。
<通知を行うか否かの決定:S106>
決定部2060は、第1検出部2020と第2検出部2040による検出結果に基づいて、(1)要補助者30に関する通知を行うか否かの決定、及び(2)要補助者30に関する通知の内容の決定のうち、いずれか1つ以上を行う(S106)。ここでは、(1)のケースについて説明する。
通知を行うか否かを決定部2060が決定する方法は様々である。例えば決定部2060は、要補助者30が検出され、なおかつ要補助者30について補助者40が検出されない場合に、通知を行うことを決定する。一方、決定部2060は、要補助者30が検出されない場合、及び要補助者30が検出されてなおかつその要補助者30について補助者40が検出される場合の双方において、通知を行わないことを決定する。
図6は、通知を行うか否かを決定する処理の流れを例示するフローチャートである。決定部2060は、要補助者30が検出されたか否かを判定する(S202)。要補助者30が検出された場合(S202:YES)、決定部2060は、要補助者30について補助者40が検出されたか否かを判定する(S204)。要補助者30について補助者40が検出されない場合(S204:NO)、決定部2060は、通知を行うことを決定する(S206)。一方、要補助者30が検出されない場合(S202:NO)、又は要補助者30について補助者40が検出された場合(S204:YES)、決定部2060は、通知を行わないことを決定する(S208)。
上記通知は、例えば、補助すべき人物が存在することを示す通知である。この通知には、例えば、検出された要補助者30の位置や検出時刻などが示される。さらに、撮像画像を用いて要補助者30が検出された場合、通知には、要補助者30が検出された撮像画像を含めてもよい。
図7は、要補助者30が存在することを示す通知を例示する第1の図である。この例において、通知は、ディスプレイ装置60に表示されるポップアップウインドウ80である。ポップアップウインドウ80は、補助を必要とする人物がいる事態、その人物の位置、及びその人物が検出された時刻を示している。
なお、要補助者30の位置は、例えば、要補助者30の検出に用いられたセンサ10が設置されている位置に基づいて特定することができる。具体的には、監視場所に設けられた各センサ10の識別子に対応づけて、そのセンサ10が設けられている場所を示す情報(以下、センサ情報)を用意しておく。そして決定部2060は、センサ情報を用いて、要補助者30を検出したセンサ10の識別子に対応づけられている場所を特定し、その場所を上記通知に含めるようにする。
図8は、補助を必要とする人物が存在することを示す通知を例示する第2の図である。
この例において、センサ10はカメラであり、このカメラは動画を撮像する。ディスプレイ装置60には、上記カメラによって生成される動画70が常にリアルタイムで表示される。例えば動画70は、警備室に設置されているディスプレイ装置60に表示される監視映像である。また、ディスプレイ装置60には、動画70を生成するカメラの設置場所を示す情報も表示されている。
図8の例において、通知部2080による通知は、要補助者30に対する強調表示である。具体的には、要補助者30を囲む枠90が、通知部2080による通知である。要補助者30が検出され、なおかつ要補助者30について補助者40が検出されない場合、通知部2080は、動画70に含まれる要補助者30に対して枠90を表示させる。
なお、要補助者30に対する強調表示は、要補助者30を囲う枠を表示させる方法に限定されない。例えば通知部2080は、要補助者30付近にポップアップウインドウを表示させる、要補助者30の色を変更するなどといった方法で、要補助者30に対する強調表示を行う。
このように、要補助者30について補助者40がいない場合に通知を行い、要補助者30について補助者40がいる場合には通知を行わないようにすることで、「補助されていない要補助者30が存在する」という、特に注意すべき状況においてのみ通知が行われるようになる。このように、通知が行われる状況を、特に注意すべき状況に限定することで、特に注意すべき状況において行われる通知が見逃されてしまうといった問題の発生を抑制することができる。
<通知内容の決定:S106>
前述したように、決定部2060は、第1検出部2020と第2検出部2040による検出結果に基づいて、(1)要補助者30に関する通知を行うか否かの決定、及び(2)要補助者30に関する通知の種類の決定のうち、いずれか1つ以上を行う(S106)。ここでは、(2)のケースについて説明する。
例えば決定部2060は、要補助者30が検出されたとき、その要補助者30について補助者40が検出される場合とその要補助者30について補助者40が検出されない場合とで、互いに異なる通知内容を決定する。ここで、要補助者30について補助者40が検出されない状況は、要補助者30について補助者40が検出される状況と比較し、スタッフや警備員などがより注意すべき状況であると言える。そのため、前者の状況で行われる通知は、後者の状況で行われる通知よりも、人に認識されやすい通知であることが好ましい。そこで例えば、決定部2060は、要補助者30について補助者40が検出されない状況において行われる通知を、種々の方法で強調されたものとする。
図9は、要補助者30について補助者40が検出されるか否かに応じて通知内容が異なるケースを例示する図である。図9(a)では、要補助者30について補助者40が存在する。一方、図9(b)では、要補助者30について補助者40が存在しない。
図9(a)における通知は、要補助者30と補助者40を囲う点線の枠である。一方、図9(b)における通知は、要補助者30を囲う太い実線の枠である。よって、要補助者30について補助者40が存在しない図9(b)のケースにおける通知は、要補助者30について補助者40が存在する図9(a)のケースにおける通知よりも人に認識されやすい通知であると言える。
なお、人に認識されやすい通知は、上述した太線の枠に限定されない。例えば、通知部2080は、要補助者30について補助者40が存在しないケースにおいて要補助者30を囲う枠の色を、要補助者30について補助者40が存在するケースにおいて要補助者30や補助者40を囲う枠の色よりも目立つ色にする。その他にも例えば、通知部2080は、要補助者30について補助者40が存在しないケースについては、要補助者30を囲う枠に加えて、補助者40がいない要補助者30が存在する旨のメッセージを表示させてもよい。
このように、補助者40の有無に応じた内容の通知を行うことで、補助者40が存在するか否かにかかわらず要補助者30の存在を把握しつつ、特に注意を要する人物として、補助者40が存在しない要補助者30を把握することができる。
<要補助者30と補助者40の追跡>
情報処理装置2000は、一度検出された要補助者30と補助者40の組み合わせを追跡して、要補助者30について補助者40が存在し続けるか否かをチェックすることが好適である。例えば情報処理装置2000は、要補助者30について補助者40が検出された後、要補助者30と補助者40の位置の変化を追跡し、要補助者30から所定距離以内に補助者40が存在し続けるか否かを判定する。そして、情報処理装置2000は、例えば、要補助者30と補助者40との間の距離が所定距離より大きい状態が所定時間以上継続した場合、補助者40は要補助者30を補助していないと判定する。すなわち、その要補助者30は、補助者40が存在する要補助者30から、補助者40が存在しない要補助者30に変更される。この変更を受けて情報処理装置2000は、その要補助者30に関する通知を行う。この際に行われる通知は、補助者40が存在しない要補助者30が検出されたケースの通知となる。
<変形例>
図10は、実施形態1の情報処理装置2000の変形例(以下、変形例の情報処理装置2000)の機能構成を例示する図である。情報処理装置2000は、補助犬検出部2120及び要補助者検出部2140を有する。なお、補助犬を検出する方法は、前述した通りである。補助犬検出部2120は、センサ10による検出結果を用いて、補助犬を検出する。要補助者検出部2140は、上記補助犬の周辺に位置する要補助者30を検出する。補助犬を検出したことに応じて要補助者30を検出する方法は、前述した、補助者40を検出した後に要補助者30を検出する方法と同様である。変形例の情報処理装置2000によれば、補助犬によって補助されている要補助者(視覚に障害を持つ人など)を容易に検出することができる。
[実施形態2]
図11は、実施形態2の情報処理装置2000の機能構成を例示するブロック図である。下記で説明する点を除き、実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
実施形態2の情報処理装置2000は、推定部2100を有する。推定部2100は、要補助者30の状況を推定する。実施形態2の決定部2060は、第1検出部2020と第2検出部2040の検出結果に加え、要補助者30の状況を考慮して、通知に関する決定を行う。
<通知を行うか否かを決定するケースについて>
情報処理装置2000は、通知を行うか否かを決定するための条件として、要補助者30の状況に関する条件(以下、状況条件)を複数定義しておく。この複数の状況条件は、通知を行う必要性が高い順にランク付けされている。図12は、ランク付けされた状況条件をテーブル形式で例示する図である。図12のテーブルをテーブル300と呼ぶ。テーブル300は、ランク302と状況条件304という2つの列を有する。対応づけられているランク302の値が大きいほど状況条件304ほど、通知を必要性が高い状況を表している。例えば、「危険な場所への進入」という状況は、通知を行う必要性が最も高い状況であるため、最も大きい値のランクが対応づけられている。
決定部2060は、状況条件の中から、センサ10を用いて検出された要補助者30の状況に当てはまる条件を特定する。さらに決定部2060は、特定された状況条件のランクが、所定値以上のランクであるか否かを判定する。そして、特定された状況条件のランクが所定値以上である場合、決定部2060は、通知を行うことを決定する。一方、特定された状況条件のランクが所定値未満である場合、決定部2060は、通知を行わないことを決定する。なお、センサ10を用いて検出された要補助者30の状況に当てはまる状況条件が複数特定された場合、決定部2060は、特定された状況条件のうちでランクが最も高い状況条件を、上述の決定に利用する。
ここで、決定部2060は、上記所定値を、要補助者30について補助者40が存在するか否かによって決定する。例えば、要補助者30について補助者40が存在する場合に利用する所定値 Ta1 と、要補助者30について補助者40が存在しない場合に利用する所定値 Ta2 を予め定義しておく。なお、Ta1 は Ta2 よりも大きい値である。要補助者30について補助者40が検出された場合、決定部2060は、要補助者30の状況に当てはまる状況条件のランクとの比較に用いる上記所定値として、所定値 Ta1 を用いる。一方、要補助者30について補助者40が検出されない場合、決定部2060は、要補助者30の状況が満たす状況条件のランクとの比較に用いる上記所定値として、所定値 Ta2 を用いる。
図13は、実施形態2の情報処理装置2000において、要補助者30の状況に応じて通知を行うか否かを決定する処理の流れを例示するフローチャートである。決定部2060は、要補助者30が検出されたか否かを判定する(S302)。要補助者30が検出された場合(S302:YES)、決定部2060は、要補助者30について補助者40が検出されたか否かを判定する(S304)。要補助者30について補助者40が検出された場合(S304:YES)、決定部2060は、所定値 Th に Ta1 を設定する(S306)。要補助者30について補助者40が検出されない場合(S304:NO)、決定部2060は、所定値 Th に Ta2 を設定する(S308)。前述したとおり、Ta1 は Ta2 よりも大きい値である。
S308の後、決定部2060は、要補助者30の状況に当てはまる状況条件を特定する(S310)。決定部2060は、特定された状況条件のランクが Th 以上であるか否かを判定する(S312)。特定された状況条件のランクが Th 以上である場合(S312:YES)、決定部2060は、通知を行うことを決定する(S314)。一方、特定された状況条件のランクが Th 未満である場合(S312:NO)、又は要補助者30が検出されなかった場合(S302:NO)、決定部2060は、通知を行わないことを決定する(S316)。
このように、要補助者30の状況に応じて通知を行うか否かを判定する際、要補助者30について補助者40が存在するか否かに応じて判定基準を変更することにより、通知の必要性をより柔軟に決定することができる。
<通知内容の決定を行うケースについて>
例えば決定部2060は、要補助者30の状況に当てはまる状況条件のランクが所定値以上である場合とそうでない場合とで、互いに異なる通知内容を決定する。上記所定値は、前述の様に、補助者40が検出されたか否かに基づいて決定される(Ta1 又は Ta2)。
要補助者30の状況に当てはまる状況条件のランクが所定値以上である場合における通知の内容は、例えば、実施形態1において要補助者30について補助者40が検出された場合における通知の内容と同様である。(図9(b)参照)。一方、要補助者30の状況に当てはまる状況条件のランクが所定値未満のランクである場合における通知の内容は、例えば、実施形態1において要補助者30について補助者40が検出される場合における通知の内容と同様である(図9(a)参照)。
その他にも例えば、決定部2060は、要補助者30の状況に当てはまる状況条件のランクや、その状況条件を通知に含めてもよい。図14は、要補助者30の状況に当てはまる状況条件のランクを示す通知を例示する図である。図14では、要補助者30が線路上に落下してしまっている。これは、図12のテーブル300が示す「危険な場所への進入」に該当する。よって、状況条件のランクは5である。そこで、図14のディスプレイ装置60では「ランク5」を示す表示100がなされている。表示100は、「ランク5」という文字列に加え、バーの色を塗りつぶす範囲の大きさでも、要補助者30の状況に当てはまる状況条件のランクの大きさを表している。
このように、要補助者30の状況に応じて通知内容を決定する際、要補助者30について補助者40が存在するか否かに応じて通知内容の設定基準を変更することにより、通知内容をより柔軟に決定することができる。
<ハードウエア構成の例>
実施形態2の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
[実施形態3]
実施形態3の情報処理装置2000の機能構成は、実施形態1の又は実施形態2の情報処理装置2000の機能構成と同様である。以下で説明する点を除き、実施形態3の情報処理装置2000は、実施形態1又は実施形態2の情報処理装置2000と同様の機能を有する。
実施形態3の第2検出部2040は、補助者40の属性を推定する。実施形態3の決定部2060は、補助者40の属性に基づいて、通知に関する決定を行う。
補助者40の属性は、補助者40の年齢層、補助者40の性別、補助者40が病人又は体調不良の人であるか否か、補助者40が人と動物のどちらであるかなどである。また、要補助者30に対応する補助者40が複数いる場合、補助者40の数を補助者40の属性として扱ってもよい。実施形態3において、補助者40の検出に用いられるセンサはカメラである。第2検出部2040は、撮像画像20を用いて、補助者40の属性を推定する。なお、撮像画像を用いて人の年齢層や性別を推定したり、人と動物を識別したりする方法には、既存の技術を利用することができる。また、補助者40が病人又は体調不良の人であるか否かを判断する方法には、要補助者30として病人や体調不良の人を検出する方法として説明した方法(移動の軌跡や姿勢によって判断する方法)を利用することができる。
<通知を行うか否かを決定するケースについて>
例えば決定部2060は、補助者40の属性に基づいて、補助者40によって提供される補助が十分であるか否かを判定する。補助者40によって提供される補助が十分である場合、決定部2060は、通知を行わないことを決定する。補助者40によって提供される補助が十分でない場合、決定部2060は、通知を行うことを決定する。
補助者40によって十分な補助が提供されるか否かは、例えば、補助者40の属性が所定の条件を満たすか否かによって判定される。具体的には、決定部2060は、補助者40の属性が所定の条件を満たす場合に、通知を行わないことを決定し、補助者40の属性が所定の条件を満たさない場合に、通知を行うことを決定する。例えば所定の条件は、補助者40の年齢層が老人でも子供でもないこと、補助者40の性別が男性であること、補助者40が病人でも体調不良の人でもないこと、補助者40が動物ではなく人であることなどである。
図15は、補助者40の属性に基づいて、通知を行うか否かを決定する処理の流れを例示するフローチャートである。決定部2060は、要補助者30が検出されたか否かを判定する(S402)。要補助者30が検出されない場合(S402:NO)、決定部2060は、通知を行わないことを決定する(S408)。要補助者30が検出された場合(S402:YES)、決定部2060は、要補助者30について補助者40が検出されたか否かを判定する(S404)。要補助者30について補助者40が検出されない場合(S404:NO)、決定部2060は、通知を行うことを決定する(S410)。要補助者30について補助者40が検出された場合(S404:YES)、決定部2060は、補助者40の属性に基づいて、補助者40によって十分な補助が提供されるか否かを判定する(S406)。補助者40によって十分な補助が提供される場合(S406:YES)、決定部2060は、通知を行わないことを決定する(S408)。補助者40によって十分な補助が提供されない場合(S406:NO)、決定部2060は、通知を行うことを決定する(S410)。
補助者40によって十分な補助が提供されるか否かは、補助者40の属性に加え、要補助者30の属性を考慮して判定されてもよい。例えば決定部2060は、補助者40の属性に基づいて、補助者40によって提供される補助のレベルを表す第1指標値を算出する。さらに決定部2060は、要補助者30の属性に基づいて、要補助者30によって必要とされる補助のレベルを表す第2指標値を算出する。そして決定部2060は、第1指標値が第2指標値以上である場合に、補助者40によって十分な補助が提供されると判定する。一方、決定部2060は、第1指標値が第2指標値未満である場合に、補助者40によって十分な補助が提供されないと判定する。
第1指標値は、補助者40の属性に基づいて算出される。例えば、補助者40の各属性(年齢層や性別など)の値に応じたスコアを予め定めておく。例えば補助者40の年齢層について、補助者40の年齢層が老人又は子供である場合のスコアを1、補助者40の年齢層が老人でも子供でもない場合のスコアを5に定めておく。そして決定部2060は、補助者40の各属性に対応するスコアを積算することで算出される積算値を、第1指標値として扱う。第2指標値についても、同様の方法で算出する。
<通知内容を決定するケースについて>
例えば決定部2060は、補助者40の属性に基づいて、補助者40によって十分な補助が提供されるか否かを判定する。そして決定部2060は、補助者40によって十分な補助が提供される場合と、補助者40によって十分な補助が提供されない場合とで、通知内容を異ならせる。補助者40によって十分な補助が提供される場合における通知の内容は、例えば、実施形態1において要補助者30について補助者40が検出された場合における通知の内容と同様である。(図9(b)参照)。一方、補助者40によって十分な補助が提供されない場合における通知の内容は、例えば、実施形態1において要補助者30について補助者40が検出される場合における通知の内容と同様である(図9(a)参照)。なお、補助者40によって十分な補助が提供されるか否かを判定する方法は前述した通りである。
<要補助者30の状況の考慮>
決定部2060は、実施形態2の決定部2060と同様に、推定部2100によって推定される要補助者30の状況を考慮してもよい。この場合、例えば決定部2060は、補助者40によって十分な補助が提供される場合(すなわち、補助者40の属性が所定の条件を満たす場合)、補助者40によって十分な補助が提供されない場合(すなわち、補助者40の属性が所定の条件を満たさない場合)、及び補助者40が存在しない場合の3つのケースそれぞれで、状況条件との対比に用いる所定値を異ならせる。具体的には、補助者40によって十分な補助が提供される場合の所定値 Tb1、補助者40によって十分な補助が提供されない場合の所定値 Tb2、補助者40が存在しない場合の所定値 Tb3 を予め定義しておく。なお、上記所定値は、Tb1>Tb2>Tb3 の関係を満たす。
決定部2060は、補助者40の有無及び補助者40によって十分な補助が提供されるかどうかに応じて、状況条件との比較に用いる所定値の設定を行う。第2検出部2040によって補助者40が検出され、その補助者40によって十分な補助が提供される場合、決定部2060は、要補助者30の状況に当てはまる状況条件との比較に用いる所定値として Tb1 を設定する。第2検出部2040によって補助者40が検出され、なおかつその補助者40によって十分な補助が提供されない場合、決定部2060は、要補助者30の状況に当てはまる状況条件との比較に用いる所定値として Tb2 を設定する。第2検出部2040によって補助者40が検出されない場合、決定部2060は、要補助者30の状況に当てはまる状況条件との比較に用いる所定値として Tb3 を設定する。
なお、通知を行うか否かの決定及び通知の内容を、状況条件と所定値との比較に基づいて行う方法は、実施形態2で説明した通りである。
<ハードウエア構成の例>
実施形態3の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
例えば情報処理装置2000は、要補助者30について所定の条件が満たされる場合、補助者40の検出結果にかかわらず、通知を行ってもよい。所定の条件は、例えば、要補助者30の状況が危険な状況にある(例えば線路上に進入している)という条件である。
以下、参考形態の例を付記する。
1. 所定条件を満たす人物を検出する第1検出手段と、
前記検出された人物の周囲に存在する同行者を検出する第2検出手段と、
前記第1検出手段と前記第2検出手段による検出結果に基づいて、前記人物に関する通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行う決定手段と、
前記決定に基づいて通知を行う通知手段と、を有する情報処理装置。
2. 前記人物は補助を必要としている要補助者であり、
前記同行者は、前記要補助者を補助する補助者である、1.に記載の情報処理装置。
3. 撮像画像を用いて前記要補助者の状況を推定する推定手段を有し、
前記決定手段は、前記要補助者の状況に基づいて、前記通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行う、2.に記載の情報処理装置。
4. 要補助者の状況に関する複数の条件それぞれにランクが付与されており、
前記決定手段は、前記推定手段によって推定された前記要補助者の状況に当てはまる前記条件のランクが所定値以上であるか否かに応じて、前記通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行い、
前記要補助者について前記補助者が検出される場合の前記所定値は、前記要補助者について前記補助者が検出されない場合の前記所定値よりも大きい値に設定される、3.に記載の情報処理装置。
5. 前記決定手段は、前記補助者の属性に基づいて、前記補助者によって十分な補助が提供されるか否かを判定し、前記判定の結果に基づいて、前記通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行う、2.乃至4.いずれか一つに記載の情報処理装置。
6. 前記決定手段は、
前記補助者の属性に基づいて、前記補助者が提供できる補助のレベルを表す第1指標値を算出し、
前記要補助者の属性に基づいて、前記要補助者が必要としている補助のレベルを表す第2指標値を特定し、
前記第1指標値と前記第2指標値の大小関係に基づいて、前記通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行う、5.に記載の情報処理装置。
7. 撮像画像から補助犬を検出する補助犬検出手段と、
前記補助犬の検出結果に基づいて、前記補助犬によって補助されている人物を検出する要補助者検出手段と、を有する情報処理装置。
8. コンピュータによって実行される制御方法であって、
所定条件を満たす人物を検出する第1検出ステップと、
前記検出された人物の周囲に存在する同行者を検出する第2検出ステップと、
前記第1検出ステップと前記第2検出ステップによる検出結果に基づいて、前記人物に関する通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行う決定ステップと、
前記決定に基づいて通知を行う通知ステップと、を有する制御方法。
9. 前記人物は補助を必要としている要補助者であり、
前記同行者は、前記要補助者を補助する補助者である、8.に記載の制御方法。
10. 撮像画像を用いて前記要補助者の状況を推定する推定ステップを有し、
前記決定ステップにおいて、前記要補助者の状況に基づいて、前記通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行う、9.に記載の制御方法。
11. 要補助者の状況に関する複数の条件それぞれにランクが付与されており、
前記決定ステップにおいて、前記推定ステップによって推定された前記要補助者の状況に当てはまる前記条件のランクが所定値以上であるか否かに応じて、前記通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行い、
前記要補助者について前記補助者が検出される場合の前記所定値は、前記要補助者について前記補助者が検出されない場合の前記所定値よりも大きい値に設定される、10.に記載の制御方法。
12. 前記決定ステップにおいて、前記補助者の属性に基づいて、前記補助者によって十分な補助が提供されるか否かを判定し、前記判定の結果に基づいて、前記通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行う、9.乃至11.いずれか一つに記載の制御方法。
13. 前記決定ステップにおいて、
前記補助者の属性に基づいて、前記補助者が提供できる補助のレベルを表す第1指標値を算出し、
前記要補助者の属性に基づいて、前記要補助者が必要としている補助のレベルを表す第2指標値を特定し、
前記第1指標値と前記第2指標値の大小関係に基づいて、前記通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行う、12.に記載の制御方法。
14. コンピュータによって実行させる制御方法であって、
撮像画像から補助犬を検出する補助犬検出ステップと、
前記補助犬の検出結果に基づいて、前記補助犬によって補助されている人物を検出する要補助者検出ステップと、を有する制御方法。
15. コンピュータに、8.乃至14.いずれか一つに記載の制御方法の各ステップを実行させるプログラム。

Claims (6)

  1. 撮像画像から補助犬を検出する補助犬検出手段と、
    前記補助犬の検出結果に基づいて、検出された前記補助犬の周囲に位置する人物を当該補助犬によって補助されている要補助者として検出する要補助者検出手段と、
    を有する情報処理装置。
  2. 前記補助犬検出手段と前記要補助者検出手段による検出結果に基づいて、前記人物に関する通知を行うか否かの決定及び前記通知の内容の決定のうちのいずれか1つ以上を行う決定手段と、
    前記決定に基づいて通知を行う通知手段と、
    を有する請求項1に記載の情報処理装置。
  3. 前記要補助者検出手段は、前記補助犬を検出した後に前記要補助者を検出する、請求項2に記載の情報処理装置。
  4. 前記要補助者検出手段は、前記補助犬から所定距離以内に所定時間以上存在する人物を前記要補助者として検出する、請求項3に記載の情報処理装置。
  5. 情報処理装置が、
    撮像画像から補助犬を検出し、
    前記補助犬の検出結果に基づいて、検出された前記補助犬の周囲に位置する人物を当該補助犬によって補助されている要補助者として検出する、
    情報処理方法。
  6. コンピュータに、
    撮像画像から補助犬を検出する処理、
    前記補助犬の検出結果に基づいて、検出された前記補助犬の周囲に位置する人物を当該補助犬によって補助されている要補助者として検出する処理、
    を実行させるプログラム。
JP2021018134A 2017-06-23 2021-02-08 情報処理装置、情報処理方法、及びプログラム Active JP7047945B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021018134A JP7047945B2 (ja) 2017-06-23 2021-02-08 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/023259 WO2018235279A1 (ja) 2017-06-23 2017-06-23 情報処理装置、制御方法、及びプログラム
JP2021018134A JP7047945B2 (ja) 2017-06-23 2021-02-08 情報処理装置、情報処理方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019524838A Division JP6874838B2 (ja) 2017-06-23 2017-06-23 情報処理装置、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021099818A JP2021099818A (ja) 2021-07-01
JP7047945B2 true JP7047945B2 (ja) 2022-04-05

Family

ID=64737654

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019524838A Active JP6874838B2 (ja) 2017-06-23 2017-06-23 情報処理装置、制御方法、及びプログラム
JP2021018134A Active JP7047945B2 (ja) 2017-06-23 2021-02-08 情報処理装置、情報処理方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019524838A Active JP6874838B2 (ja) 2017-06-23 2017-06-23 情報処理装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11380187B2 (ja)
JP (2) JP6874838B2 (ja)
WO (1) WO2018235279A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7431093B2 (ja) 2020-04-08 2024-02-14 株式会社Jr西日本テクシア 検出装置及び検知システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206338A (ja) 2012-03-29 2013-10-07 Fujitsu Ltd 応対支援システムおよび応対支援方法
JP2016003097A (ja) 2014-06-16 2016-01-12 三菱電機ビルテクノサービス株式会社 エレベータ装置およびエレベータ制御方法
JP2016064910A (ja) 2014-09-25 2016-04-28 株式会社日立ビルシステム 盲導犬の検出装置及び検出方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263750A (ja) * 1995-03-20 1996-10-11 Matsushita Electric Ind Co Ltd 障害者介護システム
US6151581A (en) * 1996-12-17 2000-11-21 Pulsegroup Inc. System for and method of collecting and populating a database with physician/patient data for processing to improve practice quality and healthcare delivery
JP4476546B2 (ja) * 2000-12-27 2010-06-09 三菱電機株式会社 画像処理装置及びそれを搭載したエレベータ
US7079669B2 (en) 2000-12-27 2006-07-18 Mitsubishi Denki Kabushiki Kaisha Image processing device and elevator mounting it thereon
JP2004133494A (ja) 2002-10-08 2004-04-30 Hiroshi Nishimoto 通過検知装置及び車椅子利用者のための建物内事故防止管理システム
US7138921B1 (en) * 2004-07-30 2006-11-21 Fontaine John V Computerized swimming pool security system and method
US7319386B2 (en) * 2004-08-02 2008-01-15 Hill-Rom Services, Inc. Configurable system for alerting caregivers
US20080272918A1 (en) * 2007-05-04 2008-11-06 Sally Ingersoll Medical device and method for preventing falls
JP5084756B2 (ja) 2009-01-30 2012-11-28 国立大学法人埼玉大学 自律移動車椅子
WO2010147077A1 (ja) * 2009-06-15 2010-12-23 国立大学法人旭川医科大学 情報処理システム、端末装置、およびサーバ装置
EP2619724A2 (en) * 2010-09-23 2013-07-31 Stryker Corporation Video monitoring system
US9934427B2 (en) * 2010-09-23 2018-04-03 Stryker Corporation Video monitoring system
JP2016502693A (ja) * 2012-10-04 2016-01-28 スペースラブズ ヘルスケア エルエルシー 患者ケアを提供するためのシステム及び方法
JP2015016704A (ja) * 2013-07-08 2015-01-29 株式会社日立ビルシステム 駅舎用映像監視システム
JP2017028364A (ja) 2015-07-16 2017-02-02 株式会社日立国際電気 監視システムおよび監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206338A (ja) 2012-03-29 2013-10-07 Fujitsu Ltd 応対支援システムおよび応対支援方法
JP2016003097A (ja) 2014-06-16 2016-01-12 三菱電機ビルテクノサービス株式会社 エレベータ装置およびエレベータ制御方法
JP2016064910A (ja) 2014-09-25 2016-04-28 株式会社日立ビルシステム 盲導犬の検出装置及び検出方法

Also Published As

Publication number Publication date
US11380187B2 (en) 2022-07-05
JP2021099818A (ja) 2021-07-01
JP6874838B2 (ja) 2021-05-19
US20200184797A1 (en) 2020-06-11
WO2018235279A1 (ja) 2018-12-27
JPWO2018235279A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
US10482321B2 (en) Methods and systems for identifying the crossing of a virtual barrier
Waheed et al. A novel approach for smart and cost effective IoT based elderly fall detection system using Pi camera
WO2015133195A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7138619B2 (ja) 監視端末及び監視方法
WO2018179202A1 (ja) 情報処理装置、制御方法、及びプログラム
JP5001808B2 (ja) 犯罪防止装置及び犯罪防止プログラム
Joshi et al. A fall detection and alert system for an elderly using computer vision and Internet of Things
JP2015002477A (ja) 情報処理装置、情報処理システムおよび情報処理方法
EP3855451A1 (en) Machine vision system to predict clinical patient parameters
EP3496607A1 (en) Device, system and method for fall detection
CN114469076A (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
JP7047945B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
Amir et al. Real-time threshold-based fall detection system using wearable IoT
Meng et al. Dangerous situation detection for elderly persons in restrooms using center of gravity and ellipse detection
Safarzadeh et al. Real-time fall detection and alert system using pose estimation
KR102544147B1 (ko) 영상분석 기반 1인 낙상 감지 시스템 및 방법
CN114120368A (zh) 目标检测方法及检测设备
JP7264065B2 (ja) 被監視者監視支援システムおよび被監視者監視支援方法
JP2020190889A (ja) 要介護者見守りシステム
JP7435609B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2021033597A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
US11922696B2 (en) Machine learning based dignity preserving transformation of videos for remote monitoring
WO2022259902A1 (ja) 誘導情報生成装置、制御方法、及び非一時的なコンピュータ可読媒体
JP6954416B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R151 Written notification of patent or utility model registration

Ref document number: 7047945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151