JP7059663B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP7059663B2
JP7059663B2 JP2018018998A JP2018018998A JP7059663B2 JP 7059663 B2 JP7059663 B2 JP 7059663B2 JP 2018018998 A JP2018018998 A JP 2018018998A JP 2018018998 A JP2018018998 A JP 2018018998A JP 7059663 B2 JP7059663 B2 JP 7059663B2
Authority
JP
Japan
Prior art keywords
person
information
image
difference
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018018998A
Other languages
English (en)
Other versions
JP2019139288A (ja
Inventor
聡武 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2018018998A priority Critical patent/JP7059663B2/ja
Publication of JP2019139288A publication Critical patent/JP2019139288A/ja
Priority to JP2021132619A priority patent/JP2021185507A/ja
Priority to JP2022066295A priority patent/JP2022095881A/ja
Application granted granted Critical
Publication of JP7059663B2 publication Critical patent/JP7059663B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、情報処理装置、プログラム、情報処理方法に関する。
幼稚園や保育園、託児所などの施設において、預けられている幼児の健康状態の把握や園内に危険物がないかなどのリスクの確認は、主に保育士の目視により行われている。ところが、昨今、待機児童の増加の問題が取り上げられており、保育士が不足しており、その問題に伴い、保育士の負荷も増加している。このため、保育士の負荷を減らすために、園児の健康状態の把握やリスクを軽減させるためのシステムが必要とされている。
ここで、上述した幼児の健康管理においては、子供の異常を知るために、わずかな顔色や体調の変化を観察することが重要である。多くの施設では、保育士が幼児の健康状態や危険状態を人手で監視している。しかし、保育士の人手不足やスキル不足で、幼児の体調の変化を見落とす恐れがある。監視カメラを導入している保育園もあるが、幼児の健康状態の確認は人手によるものであり、やはり幼児の体調の悪化を見逃す恐れがある。
また、上述した園内の危険物等のリスク管理においては、施設では、幼児の誤飲等の事故を防ぐために、口に入るような小型の玩具やごみ等は園内の環境から排除すべきである。このような異物の確認も人手で行う場合は、見逃す恐れがあり、幼児を危険にさらす恐れがある。
特開2010-157119号公報
ここで、特許文献1では、主に上述した幼児の健康管理に関連する技術として、人物の顔表情の変化を認識するシステムが開示されている。このシステムでは、顔器官の形状などの変化を定量的に評価することで、顔表情の変化を認識している。
しかしながら、人物の顔は人物毎に異なる。このため、定量的な評価では、人物の顔表情の変化を正確に捉えることは難しい。その結果、人物の健康管理を自動的に精度よく行うことが困難である、という問題が生じる。
このため、本発明の目的は、上述した課題である、人物の健康管理を自動的に精度よく行うことが困難である、ということを解決することができる情報処理装置、プログラム、情報処理方法を提供することにある。
本発明の一形態である情報処理装置は、
人物の特徴を表す人物情報を記憶する人物情報記憶手段と、
撮影画像から人物を抽出して、当該抽出した人物と同一人物の前記人物情報を前記人物情報記憶手段から読み出す人物情報読出手段と、
前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出する検出手段と、
を備えた、
という構成をとる。
また、本発明の他の形態である情報処理装置は、
特定の場所を撮影した第1の撮影画像を記憶する撮影画像記憶手段と、
新たに前記特定の場所を撮影した第2の撮影画像と、前記撮影画像記憶手段に記憶されている前記第1の撮影画像との差分画像を抽出する差分画像抽出手段と、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する物体検出手段と、
を備えた、
という構成をとる。
また、本発明の他の形態である情報処理方法は、
人物の特徴を表す人物情報を人物情報記憶手段に記憶し、
撮影画像から人物を抽出して、当該抽出した人物と同一人物の前記人物情報を前記人物情報記憶手段から読み出し、
前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出する、
という構成をとる。
また、本発明の他の形態である情報処理方法は、
特定の場所を撮影した第1の撮影画像を記憶し、
新たに前記特定の場所を撮影した第2の撮影画像と、記憶されている前記第1の撮影画像との差分画像を抽出し、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する、
という構成をとる。
また、本発明の他の形態であるプログラムは、
情報処理装置に、
撮影画像から人物を抽出して、当該抽出した人物と同一人物の人物の特徴を表す人物情報を、当該人物情報が記憶された人物情報記憶手段から読み出す人物情報読出手段と、
前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出する検出手段と、
を実現させる、
という構成をとる。
また、本発明の他の形態であるプログラムは、
情報処理装置に、
特定の場所を撮影した第1の撮影画像と、新たに前記特定の場所を撮影した第2の撮影画像と、の差分画像を抽出する差分画像抽出手段と、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する物体検出手段と、
を実現させる、
という構成をとる。
本発明は、以上のように構成されることにより、人物の健康管理を自動的に精度よく行うことができる。
本発明の実施形態1における情報処理システムの全体構成を示す図である。 図1に開示した管理サーバの構成を示すブロック図である。 図1に開示した管理サーバによる処理動作を示すフローチャートである。 本発明の実施形態2における情報処理システムの全体構成を示す図である。 図4に開示した管理サーバの構成を示すブロック図である。 図4に開示した管理サーバによる処理動作を示すフローチャートである。 本発明の実施形態3における情報処理装置の構成を示すブロック図である。 本発明の実施形態3における情報処理装置の構成を示すブロック図である。
<実施形態1>
本発明の第1の実施形態を、図1乃至図3を参照して説明する。図1乃至図2は、情報処理システムの構成を説明するための図である。図3は、情報処理システムの処理動作を説明するための図である。
[構成]
本発明における情報処理システムは、本実施形態では、幼稚園や託児所といった施設で利用されるものであり、カメラから取得した施設内の画像を利用して、幼児の健康管理や施設内の異物を自動で検知して、アラートをあげる、という用途で利用されるものである。なお、本実施形態では、特に、幼児の健康管理を行う場合を説明し、第2実施形態では、施設内の異物を検出する場合を説明する。
但し、本発明の情報処理システムは、幼稚園や託児所といった施設で利用されることに限定されず、老人ホームといった介護が必要な高齢者が存在する施設など、いかなる場所で利用されてもよい。そして、情報処理システムは、幼児に限らず、いかなる人物を監視し、いかなる物体を検出するよう利用されてもよい。
図1に示すように、本実施形態における情報処理システムは、管理サーバ10と、カメラ20と、携帯端末Pと、を備えて構成されている。そして、カメラ20は、施設Rの所定領域を撮影可能なよう設置され、管理サーバ10は、カメラ20とネットワークを介して接続され、所定の場所に設置されている。また、携帯端末Pは、施設で幼児を管理する保育士などの管理者Tが所持して操作するものである。以下、各構成について詳述する。
上記カメラ20は、例えば、施設R内の所定領域を撮影可能なよう、所定領域の天井や壁、柱などに固定的に設置されるものである。そして、カメラ20は、撮影画像を所定の時間間隔で取得して、ネットワークを介して管理サーバ10に送信する。このため、カメラ20にて撮影した撮影画像には、幼児Cが映ることとなる。なお、カメラ20による撮影画像の撮影間隔は、数秒から数分の間隔であってもよく、また、定期的でなくてもよい。また、カメラ20は、必ずしも固定装備されていることに限定されず、持ち運び可能であってもよい。
上記携帯端末Pは、管理者Tが保持して操作するスマートフォンなどの情報処理端末である。携帯端末Pは、管理サーバ10と無線通信などのネットワークを介して接続され通信可能であり、後述するように、管理サーバ10から発せられる幼児Cに異常が生じた旨の通知を受信して、管理者Tに報知する機能を有する。
上記管理サーバ10は、演算装置及び記憶装置を有する情報処理装置である。そして、管理サーバ10は、図2に示すように、演算装置がプログラムを実行することで構築された、人物抽出部11、外観評価部12、姿勢評価部13、表情評価部14、通知部15、を備えている。また、管理サーバ10は、人物情報記憶手段として機能する記憶装置に記憶された、顔DB(データベース)16、表情・顔色・姿勢DB(データベース)17、健康状態DB(データベース)18、を備えている。
まず、上記顔DB16は、施設Rに在籍する各幼児Cの氏名や識別情報と共に、顔特徴量を記憶している。記憶されている顔特徴量は、予め幼児Cを撮影した画像から抽出したものであり、後述するように、撮影画像に映る幼児Cとの照合処理に用いられる。
また、上記表情・顔色・姿勢DB17は、施設Rに在籍する各幼児Cの氏名や識別情報と共に、各幼児Cの特徴を表す人物情報を記憶している。人物情報は、例えば、幼児Cの正常状態における表情、顔色、姿勢、などの情報を含む。なお、人物情報は、予め幼児Cを撮影した画像から抽出したものであり、後述するように、撮影画像に映る幼児Cの異常を検出するために用いられる。
また、上記健康状態DB18は、施設Rに在籍する各幼児Cの氏名や識別情報と共に、各幼児Cの健康状態を表す健康状態情報(人物情報)を記憶している。健康状態情報は、例えば、幼児Cの日々の体調や行動の情報を含み、一例として、体温、食欲、登園記録などを含む。
上記人物抽出部11(人物情報読出手段)は、カメラ20にて撮影した撮影画像を取得し、当該撮影画像から人物つまり幼児Cを抽出する。そして、人物抽出部11は、撮影画像から、抽出した幼児Cの顔の位置を特定し、当該顔部分の画像から顔特徴量を抽出する。さらに、人物抽出部11は、撮影画像から抽出した顔特徴量と、顔DB16に記憶されている顔特徴量と、を照合し、撮影画像から抽出した顔特徴量の人物と同一人物を、顔DB16内から特定して、かかる幼児Cの氏名や識別情報を特定する。そして、特定した幼児Cの氏名や識別情報に基づいて、当該特定した幼児Cと同一人物の正常状態の表情・顔色・姿勢といった人物情報を、表情・顔色・姿勢DB17から読み出す。さらに、特定した幼児Cの氏名や識別情報に基づいて、当該特定した幼児Cと同一人物の健康状態情報といった人物情報を、健康状態DB18から読み出す。
上記外観評価部12、姿勢評価部13、表情評価部14は、以下に説明するように、撮影画像から抽出した幼児Cの画像情報と、各DB12,13,14から読み出した人物情報と、を比較する。そして、これら各部12,13,14は、幼児Cの画像情報と読み出した人物情報との差異を検出して、かかる差異から幼児Cの異常状態を検出する検出手段として機能する。例えば、各部12,13,14は、幼児Cの肌部分に表れる差異に基づいて、当該幼児Cの異常状態を検出する。
具体的に、外観評価部12は、撮影画像に基づいて幼児Cの顔部分の色つまり顔色を検出し、同一人物である幼児Cの読み出した正常状態の顔色と比較する。そして、顔色の比較により、撮影画像の幼児Cの顔色が悪くないか、あざ・けが・出血など外傷がないか、湿疹など皮膚病でないか、といった異常状態を検出する。このとき、外観評価部12は、上述した全ての異常状態を検出してもよく、あるいは、上述した異常状態のうち少なくとも1つの異常状態を検出してもよい。なお、かかる異常状態は、例えば、正常状態の顔色から予め設定された基準以上の色の変化があった場合に、その変化の度合いや変化している箇所の形状などから検出する。但し、外観評価部12は、いかなる方法で幼児Cの異常状態を検出してもよく、幼児Cの肌部分や外観から他の状態を検出してもよい。
また、姿勢評価部13は、撮影画像に基づいて幼児Cの姿勢つまり体勢を検出し、同一人物である幼児Cの読み出した正常状態の姿勢と比較する。そして、姿勢の比較により、撮影画像の幼児Cの姿勢が、例えば、うつ伏せ状態が所定時間続く、といった異常状態を検出する。なお、うつ伏せの状態が長く続いた場合を異常状態としている理由は、うつぶせ寝による窒息の恐れがあるためである。なお、姿勢評価部13は、例えば、撮影画像から幼児Cの頭部、胴体部を検出し、頭部及び胴体部が地面に対して接地し、後頭部が上方を向いている、といった状況を検出した場合に、うつ伏せ状態であることを検出する。但し、姿勢評価部13は、いかなる方法で幼児Cの姿勢を検出してもよく、幼児Cの他の姿勢を検出して、かかる姿勢を異常状態として検出してもよい。例えば、姿勢評価部13は、幼児Cが動かない状態が続いた場合を、姿勢の異常状態として検出してもよい。
また、表情評価部14は、撮影画像に基づいて幼児Cの顔部分から表情を検出し、同一人物である幼児Cの読み出した正常状態の表情と比較する。そして、表情の比較により、撮影画像の幼児Cの表情が、予め設定された基準に基づき、無表情、泣く表情、といった予め異常表情として設定された表情が所定時間続くことを検出した場合は、何らかの異常が生じていることを疑う。このため、表情評価部14は、設定された表情の幼児Cについて読み出した健康状態情報を調べる。そして、表情評価部14は、幼児Cの健康状態情報に含まれる体温、食欲、登園記録などの情報を調べ、かかる情報が予め設定された基準に基づいて異常であるか否かを調べる。その結果、健康状態情報が異常である場合には、表情評価部14は、幼児Cが異常状態であることを検出する。なお、表情評価部14は、撮影画像の幼児Cの異常表情が所定時間続いた場合に、健康状態情報を調べることなく、幼児Cが異常状態であると検出してもよい。但し、表情評価部14は、いかなる方法で幼児Cの異常表情や異常状態を検出してもよい。
上記通知部15(通知手段)は、上述したように、外観評価部12、姿勢評価部13、表情評価部14で幼児Cの異常状態を検出すると、この幼児Cを特定する情報、例えば、氏名を、管理者Tが保持する携帯端末Pに送信する。
[動作]
次に、上述した情報処理システムの動作を、図3のフローチャートを参照して説明する。まず、管理サーバ10は、施設R内に設置されているカメラ20にて撮影された施設R内の撮影画像を定期的に取得する(ステップS1)。撮影画像は、例えば、数秒から数分の間隔で取得される。
管理サーバ10は、撮影画像を取得する度に、当該撮影画像に対して以下の処理を行う。管理サーバ10は、撮影画像内から人物つまり幼児Cを抽出し、かかる幼児Cの顔画像を抽出する(ステップS2)。そして、管理サーバ10は、幼児Cの顔画像から顔特徴量を抽出する(ステップS3)。さらに、管理サーバ10は、撮影画像から抽出した幼児Cの顔特徴量と、顔DB16に記憶されている顔特徴量と、を照合し、撮影画像内の幼児Cを、顔DB16内から特定する(ステップS4)。そして、管理サーバ10は、特定した幼児Cの正常状態の表情・顔色・姿勢や健康状態情報といった人物情報を読み出す。
続いて、管理サーバ10は、撮影画像から抽出した幼児Cの画像情報と、当該幼児Cの読み出した人物情報と、を比較する(ステップS5)。そして、幼児Cが異常状態であるかを調べる。
具体的に、管理サーバ10は、撮影画像に基づいて幼児Cの顔色を検出し、当該幼児Cの読み出した正常状態の顔色と比較する。そして、顔色の比較により、撮影画像の幼児Cの顔色が悪くないか、あざ・けが・出血など外傷がないか、湿疹など皮膚病でないか、といった異常状態であるかどうかを判断する(ステップS6)。
また、管理サーバ10は、撮影画像に基づいて幼児Cの姿勢を検出し、当該幼児Cの読み出した正常状態の姿勢と比較する。そして、姿勢の比較により、撮影画像の幼児Cの姿勢が、うつ伏せ状態が続く、動かない状態が続く、といった異常状態であるかどうかを判断する(ステップS7)。
また、管理サーバ10は、撮影画像に基づいて幼児Cの顔部分から表情を検出し、当該幼児Cの読み出した正常状態の表情と比較する。そして、表情の比較により、撮影画像の幼児Cの表情が、無表情、泣く表情、といった異常表情であるかどうかを判断する(ステップS8)。管理サーバ10は、異常表情を検出した場合には(ステップS8:Yes)、幼児Cの読み出した健康状態情報に含まれる体温、食欲、登園記録などの情報を調べ、かかる情報が予め設定された基準に基づいて異常状態であるか否かを判断する(ステップS9)。
管理サーバ10は、上述した各判断により、幼児Cが異常状態であることを検出した場合には(ステップS6:Yes、ステップS7:Yes、ステップS9:Yes)、幼児Cを特定する情報を、管理者Tが保持する携帯端末Pに送信する。
このように、本実施形態における情報処理システムによると、施設R内の幼児Cの健康状態が自動的に判断され、幼児Cの異常状態が検出されると、管理者Tに通知されることとなる。その結果、管理者Tは、異常状態の幼児Cを迅速に認識することができ、適切な対応を取ることができる。
<実施形態2>
次に、本発明の第2の実施形態を、図4乃至図6を参照して説明する。図4乃至図5は、情報処理システムの構成を説明するための図である。図6は、情報処理システムの処理動作を説明するための図である。
[構成]
本実施形態における情報処理システムは、実施形態1で説明したように、施設R内の幼児Cの健康管理を行う場合に加え、図4に示すように、施設R内の物体Oつまり異常物を検出する場合に利用される。このため、本実施形態における情報処理システムは、図示していないが、実施形態1で説明した幼児Cの健康管理を行うための構成(人物抽出部11、外観評価部12、姿勢評価部13、表情評価部14、通知部15、顔DB16、表情・顔色・姿勢DB17、健康状態DB18)を備えると共に、さらに図5に示すような構成を備えている。但し、本発明における情報処理システムは、実施形態1で説明した構成を備えることなく、以下に説明する構成のみを備え、施設R内の物体Oつまり異常物を検出することにのみに利用されてもよい。
図4に示すように、本実施形態における情報処理システムは、実施形態1と同様に、管理サーバ10と、カメラ20と、携帯端末Pと、を備えて構成されている。そして、カメラ20は、施設Rの所定領域を撮影可能なよう設置され、管理サーバ10は、カメラ20とネットワークを介して接続され、所定の場所に設置されている。また、携帯端末Pは、施設で幼児を管理する保育士などの管理者Tが所持して操作するものである。以下、主に、実施形態1と異なる構成について詳述する。
上記管理サーバ10は、演算装置及び記憶装置を有する情報処理装置である。そして、管理サーバ10は、図2に示すように、演算装置がプログラムを実行することで構築された、画像前処理部31、差分抽出部32、異常物評価部33、通知部34、を備えている。また、管理サーバ10は、記憶装置に形成された、正常画像記憶部35、異常物DB(データベース)36、を備えている。なお、管理サーバ10は、上述したように、さらに、実施形態1で説明した構成を備えていてもよい。
まず、上記異常物DB36は、施設Rに存在し、幼児Cにとって異常物と考えられるもの、例えば、小型の玩具やゴミといった物体、の特徴量を記憶したデータベースである。ここで、物体の特徴量は、例えば、物体の表面に形成されている物体固有の特徴量(物体紋様)や、物体の種類によって共通する形状や色などの特徴を表す特徴量である。このため、異常物と考えられるものが小型の玩具である場合には、事前に玩具を撮影した画像から抽出した物体紋様を物体の特徴量として記憶してもよく、あるいは、ゴミと判別する予め設定した形状や色等の情報を物体の特徴量として記憶してもよい。
上記画像前処理部31(差分画像抽出手段)は、カメラ20にて施設R内を撮影した撮影画像を取得し、正常時の第1の撮影画像として正常画像記憶部36(撮影画像記憶手段)に記憶する。このとき、正常時の第1の撮影画像は、幼児Cが存在せず、また、玩具やゴミが存在しない、整頓された状態の施設R内を撮影した画像である。つまり、画像前処理部31は、このような整頓された状態の施設Rを、管理者Tから指示があったときなど何らかのタイミングで撮影し、第1の撮影画像を予め記憶しておく。但し、正常時の第1の撮影画像は、必ずしも図4に開示したカメラ20で撮影されるものであることに限定されず、他のカメラで撮影されたものであってもよい。
また、画像前処理部31は、カメラ20にて所定の時間間隔で撮影された撮影画像を、第2の撮影画像として取得し、当該第2の撮影画像に対して物体Oつまり異常物を検出するための前処理を行う。具体的に、画像前処理部31は、第2の撮影画像内から人物部分つまり幼児C部分を抽出し、かかる幼児C部分を第2の撮影画像内から削除する。
上記差分抽出部32(差分画像抽出手段)は、画像前処理部31から幼児C部分を削除した第2の撮影画像を取得すると共に、正常画像記憶部36から正常な施設R内の画像である第1の撮影画像を取得する。そして、差分抽出部32は、第1の撮影画像と第2の撮影画像との差分を抽出する。これにより、施設R内に物体Oが存在する場合には、当該物体Oの撮影画像部分に基づく情報が差分データに表れることとなる。
上記異常物評価部33(物体検出手段)は、まず、差分抽出部32にて抽出した第1の撮影画像と第2の撮影画像との差分データから、当該差分データ内に存在する物体の特徴量を抽出する。このとき、異常物評価部33は、例えば、差分データから所定の塊として認識される物体を抽出し、かかる物体の画像情報から特徴量を抽出する。そして、異常物評価部33は、差分データから抽出された物体の特徴量と、異常物DB36に記憶されている異常物の特徴量と、を比較する。そして、異常物の特徴量と一致する物体の特徴量がある場合には、かかる物体を異常物として検出する。つまり、差分データから抽出された物体が、異常物として登録されている物体紋様や形状の特徴などと一致する場合には、施設R内に異常物が存在すると判断する。
上記通知部34(第2通知手段)は、上述したように、異常物評価部33にて施設R内に異常物が存在すると検出すると、第2の撮影画像から異常物の画像部分と位置を検出し、当該異常物の画像部分と位置を、管理者Tが保持する携帯端末Pに送信する。
[動作]
次に、上述した情報処理システムの動作を、図6のフローチャートを参照して説明する。まず、管理サーバ10は、事前に、施設R内に設置されているカメラ20にて、幼児Cが存在せず、玩具やゴミがない状態の正常時の施設R内の撮影画像を撮影し、第1の撮影画像として正常画像記憶部36に記憶しておく。
そして、管理サーバ10は、施設R内に設置されているカメラ20にて撮影された施設R内の撮影画像を、第2の撮影画像として定期的に取得する(ステップS21)。第2の撮影画像は、例えば、数秒から数分の間隔で取得される。
管理サーバ10は、第2の撮影画像を取得する度に、当該第2の撮影画像に対して以下の処理を行う。管理サーバ10は、第2の撮影画像内から人物つまり幼児Cを抽出し、第2の撮影画像から幼児C部分を削除する(ステップS22)。そして、管理サーバ10は、正常画像記憶部36から正常な施設R内の画像である第1の撮影画像を取得し、第1の撮影画像と、幼児C部分を削除した第2の撮影画像と、の差分を抽出する(ステップS23)。
管理サーバ10は、差分データがある場合には(ステップS23:Yes)、差分データ内の物体を抽出し、当該物体の特徴量を抽出する(ステップS24)。そして、管理サーバ10は、差分データから抽出された物体の特徴量が、異常物DB36に登録されているかを判定する(ステップS25)。管理サーバ10は、差分データ内の物体の特徴量が異常物の特徴量として登録されている場合には(ステップS25:Yes)、かかる物体を異常物として検出する。
管理サーバ10は、以上の各処理により、施設R内に異常物を検出した場合は(ステップS25:Yes)、第2の撮影画像から異常物の画像部分と位置を検出し、当該異常物の画像部分と位置を、管理者Tが保持する携帯端末Pに送信する。
このように、本実施形態における情報処理システムによると、施設R内の異常物の出現が自動的に判断され、管理者Tに通知されることとなる。その結果、管理者Tは、異常物を迅速に認識することができ、適切な対応を取ることができる。また、実施形態1で説明したように施設R内の幼児Cの異常状態も検出している場合には、同じカメラ20や情報処理装置を用いて異常物を検出することもでき、設備の有効利用を図ることができる。
<実施形態3>
次に、本発明の第3の実施形態を、図7及び図8を参照して説明する。図7乃至図8は、実施形態3における情報処理装置の構成を示すブロック図である。なお、本実施形態では、実施形態1又は実施形態2で説明した情報処理システムの構成の概略を示している。
図7に示すように、本実施形態おける情報処理装置100は、
人物の特徴を表す人物情報を記憶する人物情報記憶手段130と、
撮影画像から人物を抽出して、当該抽出した人物と同一人物の前記人物情報を前記人物情報記憶手段130から読み出す人物情報読出手段110と、
前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出する検出手段120と、
を備える。
なお、上述した人物情報読出手段110と検出手段120とは、演算装置がプログラムを実行することで構築されるものであってもよく、電子回路で構築されるものであってもよい。
そして、上記構成の情報処理装置100は、
人物の特徴を表す人物情報を人物情報記憶手段130に記憶し、
撮影画像から人物を抽出して、当該抽出した人物と同一人物の前記人物情報を前記人物情報記憶手段130から読み出し、
前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出する、
という処理を行うよう作動する。
上述した情報処理装置100によると、撮影画像から抽出した人物の異常状態を自動的に検出することができる。その結果、人物の異常状態を迅速に認識することができ、適切な対応を取ることができる。
また、図8に示すように、本実施形態おける情報処理装置200は、
特定の場所を撮影した第1の撮影画像を記憶する撮影画像記憶手段230と、
新たに前記特定の場所を撮影した第2の撮影画像と、前記撮影画像記憶手段230に記憶されている前記第1の撮影画像との差分画像を抽出する差分画像抽出手段210と、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する物体検出手段220と、
を備える。
なお、上述した差分画像抽出手段210と物体検出手段220とは、演算装置がプログラムを実行することで構築されるものであってもよく、電子回路で構築されるものであってもよい。
そして、上記構成の情報処理装置200は、
特定の場所を撮影した第1の撮影画像を記憶し、
新たに前記特定の場所を撮影した第2の撮影画像と、記憶されている前記第1の撮影画像との差分画像を抽出し、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する、
という処理を行うよう作動する。
上述した情報処理装置200によると、特定場所に存在する異常物Oの出現を自動的に検出することができる。その結果、異常物Oの存在を迅速に認識することができ、適切な対応を取ることができる。
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置、情報処理システム、プログラム、情報処理方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
人物の特徴を表す人物情報を記憶する人物情報記憶手段と、
撮影画像から人物を抽出して、当該抽出した人物と同一人物の前記人物情報を前記人物情報記憶手段から読み出す人物情報読出手段と、
前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出する検出手段と、
を備えた情報処理装置。
(付記2)
付記1に記載の情報処理装置であって、
前記人物情報は、人物の正常状態を表す情報であり、
前記検出手段は、前記人物情報に対する前記人物の画像情報の差異が、予め設定された基準による異常状態であることを検出する、
情報処理装置。
(付記3)
付記2に記載の情報処理装置であって、
前記検出手段は、前記人物情報に対する前記人物の画像情報における人物の肌部分に表れる差異が、予め設定された基準による異常状態であることを検出する、
情報処理装置。
(付記3.1)
付記3に記載の情報処理装置であって、
前記検出手段は、人物の顔色、外傷、皮膚病、表情のうち、少なくとも1つの予め設定された基準による異常状態を検出する、
情報処理装置。
(付記4)
付記2又は3.1に記載の情報処理装置であって、
前記検出手段は、前記人物情報に対する前記人物の画像情報における人物の姿勢の差異が、予め設定された基準による異常状態であることを検出する、
情報処理装置。
(付記5)
付記2乃至4のいずれかに記載の情報処理装置であって、
前記人物情報は、人物の健康状態を表す健康状態情報を含み、
前記検出手段は、前記健康状態情報に基づいて、前記人物情報に対する前記人物の画像情報の差異が予め設定された基準による異常状態であることを検出する、
情報処理装置。
(付記5.1)
付記1乃至5のいずれかに記載の情報処理装置であって、
前記検出手段にて異常状態が検出された人物を特定する情報を、予め設定された情報処理端末に通知する通知手段を備えた、
情報処理装置。
(付記6)
付記1乃至5.1のいずれかに記載の情報処理装置であって、
特定の場所を撮影した第1の撮影画像を記憶する撮影画像記憶手段と、
新たに前記特定の場所を撮影した第2の撮影画像と、前記撮影画像記憶手段に記憶されている前記第1の撮影画像と、の差分画像を抽出する差分画像抽出手段と、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する物体検出手段と、
を備えた情報処理装置。
(付記7)
付記6に記載の情報処理装置であって、
前記第1の撮影画像は、正常時の前記特定の場所を撮影した画像であり、
前記差分画像抽出手段は、前記第2の撮影画像内から人物部分を削除し、当該人物部分を削除した前記第2の撮影画像と前記第1の撮影画像との差分画像を抽出する、
情報処理装置。
(付記7.1)
付記6又は7に記載の情報処理装置であって、
前記第2の撮影画像に基づいて、前記物体検出手段にて検出された物体の画像と位置を、予め設定された情報処理端末に通知する第2通知手段を備えた、
情報処理装置。
(付記8)
特定の場所を撮影した第1の撮影画像を記憶する撮影画像記憶手段と、
新たに前記特定の場所を撮影した第2の撮影画像と、前記撮影画像記憶手段に記憶されている前記第1の撮影画像との差分画像を抽出する差分画像抽出手段と、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する物体検出手段と、
を備えた情報処理装置。
(付記8.1)
付記8に記載の情報処理装置であって、
前記第1の撮影画像は、正常時の前記特定の場所を撮影した画像であり、
前記差分画像抽出手段は、前記第2の撮影画像内から人物部分を削除し、当該人物部分を削除した前記第2の撮影画像と前記第1の撮影画像との差分画像を抽出する、
情報処理装置。
(付記9)
人物の特徴を表す人物情報を人物情報記憶手段に記憶し、
撮影画像から人物を抽出して、当該抽出した人物と同一人物の前記人物情報を前記人物情報記憶手段から読み出し、
前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出する、
情報処理方法。
(付記9.1)
付記9に記載の情報処理方法であって、
前記人物情報は、人物の正常状態を表す情報であり、
前記人物情報に対する前記人物の画像情報の差異が、予め設定された基準による異常状態であることを検出する、
情報処理方法。
(付記9.2)
付記9.1に記載の情報処理方法であって、
前記人物情報に対する前記人物の画像情報における人物の肌部分に表れる差異が、予め設定された基準による異常状態であることを検出する、
情報処理方法。
(付記9.3)
付記9.1又は9.2に記載の情報処理方法であって、
前記人物情報に対する前記人物の画像情報における人物の姿勢の差異が、予め設定された基準による異常状態であることを検出する、
情報処理方法。
(付記9.4」)
付記9.1乃至9.3のいずれかに記載の情報処理方法であって、
前記人物情報は、人物の健康状態を表す健康状態情報を含み、
前記健康状態情報に基づいて、前記人物情報に対する前記人物の画像情報の差異が予め設定された基準による異常状態であることを検出する、
情報処理方法。
(付記9.5)
付記請求項9乃至9.4のいずれかに記載の情報処理方法であって、
異常状態が検出された人物を特定する情報を、予め設定された情報処理端末に通知する、
情報処理方法。
(付記9.6)
付記9乃至9.5のいずれかに記載の情報処理方法であって、
特定の場所を撮影した第1の撮影画像を記憶し、
新たに前記特定の場所を撮影した第2の撮影画像と、記憶されている前記第1の撮影画像との差分画像を抽出し、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する、
を備えた情報処理方法。
(付記9.7)
付記9.6に記載の情報処理方法であって、
前記第1の撮影画像は、正常時の前記特定の場所を撮影した画像であり、
前記第2の撮影画像内から人物部分を削除し、当該人物部分を削除した前記第2の撮影画像と前記第1の撮影画像との差分画像を抽出する、
情報処理方法。
(付記9.8)
付記9.6又は9.7に記載の情報処理装置であって、
前記第2の撮影画像に基づいて、検出された物体の画像と位置を、予め設定された情報処理端末に通知する、
情報処理方法。
(付記10)
特定の場所を撮影した第1の撮影画像を記憶し、
新たに前記特定の場所を撮影した第2の撮影画像と、記憶されている前記第1の撮影画像との差分画像を抽出し、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する、
情報処理方法。
(付記11)
付記10に記載の情報処理方法であって、
前記第1の撮影画像は、正常時の前記特定の場所を撮影した画像であり、
前記第2の撮影画像内から人物部分を削除し、当該人物部分を削除した前記第2の撮影画像と前記第1の撮影画像との差分画像を抽出する、
情報処理方法。
(付記12)
情報処理装置に、
撮影画像から人物を抽出して、当該抽出した人物と同一人物の人物の特徴を表す人物情報を、当該人物情報が記憶された人物情報記憶手段から読み出す人物情報読出手段と、
前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出する検出手段と、
を実現させるためのプログラム。
(付記13)
情報処理装置に、
特定の場所を撮影した第1の撮影画像と、新たに前記特定の場所を撮影した第2の撮影画像と、の差分画像を抽出する差分画像抽出手段と、
前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する物体検出手段と、
を実現させるためのプログラム。
なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
10 管理サーバ
11 人物抽出部
12 外観評価部
13 姿勢評価部
14 表情評価部
15 通知部
16 顔DB
17 表情・顔色・姿勢DB
18 健康状態DB
20 カメラ
100 情報処理装置
110 人物情報読出手段
120 検出手段
130 人物情報記憶手段
200 情報処理装置
210 差分画像抽出手段
220 物体検出手段
230 撮影画像記憶手段
C 幼児
R 領域
O 物体
P 携帯端末
T 管理者

Claims (7)

  1. 人物の特徴を表す人物情報を記憶する人物情報記憶手段と、
    撮影画像から人物を抽出して、当該抽出した人物と同一人物の前記人物情報を前記人物情報記憶手段から読み出す人物情報読出手段と、
    前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出する検出手段と、
    を備え、
    前記人物情報は、人物の正常状態を表す情報であり、
    前記検出手段は、前記人物情報に対する前記人物の画像情報における人物の肌部分の色に表れる差異が、予め設定された基準による異常状態であることを検出する、
    情報処理装置。
  2. 請求項に記載の情報処理装置であって、
    前記検出手段は、前記人物情報に対する前記人物の画像情報における人物の姿勢の差異が、予め設定された基準による異常状態であることを検出する、
    情報処理装置。
  3. 請求項1又は2に記載の情報処理装置であって、
    前記人物情報は、人物の健康状態を表す健康状態情報を含み、
    前記検出手段は、前記健康状態情報に基づいて、前記人物情報に対する前記人物の画像情報の差異が予め設定された基準による異常状態であることを検出する、
    情報処理装置。
  4. 請求項1乃至のいずれかに記載の情報処理装置であって、
    特定の場所を撮影した第1の撮影画像を記憶する撮影画像記憶手段と、
    新たに前記特定の場所を撮影した第2の撮影画像と、前記撮影画像記憶手段に記憶されている前記第1の撮影画像との差分画像を抽出する差分画像抽出手段と、
    前記差分画像に基づいて当該差分画像内に存在する物体の特徴量を抽出し、当該特徴量に基づいて予め設定された物体を検出する物体検出手段と、
    を備えた情報処理装置。
  5. 請求項に記載の情報処理装置であって、
    前記第1の撮影画像は、正常時の前記特定の場所を撮影した画像であり、
    前記差分画像抽出手段は、前記第2の撮影画像内から人物部分を削除し、当該人物部分を削除した前記第2の撮影画像と前記第1の撮影画像との差分画像を抽出する、
    情報処理装置。
  6. 人物の正常状態の特徴を表す情報である人物情報を人物情報記憶手段に記憶し、
    撮影画像から人物を抽出して、当該抽出した人物と同一人物の前記人物情報を前記人物情報記憶手段から読み出し、
    前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出し、前記人物情報に対する前記人物の画像情報における人物の肌部分の色に表れる差異が、予め設定された基準による異常状態であることを検出する、
    情報処理方法。
  7. 情報処理装置に、
    撮影画像から人物を抽出して、当該抽出した人物と同一人物の正常状態の特徴を表す情報である人物情報を、当該人物情報が記憶された人物情報記憶手段から読み出す人物情報読出手段と、
    前記撮影画像から抽出した人物の画像情報と、前記人物情報記憶手段から読み出した前記人物情報と、を比較して、前記人物の画像情報と前記人物情報との差異を検出し、前記人物情報に対する前記人物の画像情報における人物の肌部分の色に表れる差異が、予め設定された基準による異常状態であることを検出する検出手段と、
    を実現させるためのプログラム。
JP2018018998A 2018-02-06 2018-02-06 情報処理装置 Active JP7059663B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018018998A JP7059663B2 (ja) 2018-02-06 2018-02-06 情報処理装置
JP2021132619A JP2021185507A (ja) 2018-02-06 2021-08-17 情報処理装置
JP2022066295A JP2022095881A (ja) 2018-02-06 2022-04-13 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018018998A JP7059663B2 (ja) 2018-02-06 2018-02-06 情報処理装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2021132619A Division JP2021185507A (ja) 2018-02-06 2021-08-17 情報処理装置
JP2022066295A Division JP2022095881A (ja) 2018-02-06 2022-04-13 情報処理装置

Publications (2)

Publication Number Publication Date
JP2019139288A JP2019139288A (ja) 2019-08-22
JP7059663B2 true JP7059663B2 (ja) 2022-04-26

Family

ID=67695338

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018018998A Active JP7059663B2 (ja) 2018-02-06 2018-02-06 情報処理装置
JP2021132619A Pending JP2021185507A (ja) 2018-02-06 2021-08-17 情報処理装置
JP2022066295A Pending JP2022095881A (ja) 2018-02-06 2022-04-13 情報処理装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021132619A Pending JP2021185507A (ja) 2018-02-06 2021-08-17 情報処理装置
JP2022066295A Pending JP2022095881A (ja) 2018-02-06 2022-04-13 情報処理装置

Country Status (1)

Country Link
JP (3) JP7059663B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164684A (ja) 2012-02-09 2013-08-22 Nikon Corp 支援装置およびプログラム
JP2017033413A (ja) 2015-08-04 2017-02-09 ユニファ株式会社 ロボット撮影システムおよび画像管理方法
WO2017061371A1 (ja) 2015-10-06 2017-04-13 コニカミノルタ株式会社 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム
US20170147871A1 (en) 2015-11-20 2017-05-25 Primax Electronics Ltd. Fatigue-warning system
JP2017205134A (ja) 2014-08-25 2017-11-24 ノーリツプレシジョン株式会社 体調検出装置、体調検出方法及び体調検出プログラム
JP2017223812A (ja) 2016-06-14 2017-12-21 パナソニックIpマネジメント株式会社 機器制御システム、機器制御方法及び制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199140A (ja) * 1997-09-26 1999-04-13 Toshiba Corp 就寝状態異常検知装置
JP2002149909A (ja) * 2000-11-10 2002-05-24 Tomy Co Ltd 幼児管理システム、モニタリング装置および管理サーバ
JP2008048819A (ja) * 2006-08-23 2008-03-06 Fujifilm Corp 監視システム及び監視装置
JP2010157119A (ja) * 2008-12-26 2010-07-15 Fujitsu Ltd 監視装置、監視方法、及び監視プログラム
JP5647049B2 (ja) * 2011-03-23 2014-12-24 株式会社モリタ製作所 医療用診療装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164684A (ja) 2012-02-09 2013-08-22 Nikon Corp 支援装置およびプログラム
JP2017205134A (ja) 2014-08-25 2017-11-24 ノーリツプレシジョン株式会社 体調検出装置、体調検出方法及び体調検出プログラム
JP2017033413A (ja) 2015-08-04 2017-02-09 ユニファ株式会社 ロボット撮影システムおよび画像管理方法
WO2017061371A1 (ja) 2015-10-06 2017-04-13 コニカミノルタ株式会社 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム
US20170147871A1 (en) 2015-11-20 2017-05-25 Primax Electronics Ltd. Fatigue-warning system
JP2017223812A (ja) 2016-06-14 2017-12-21 パナソニックIpマネジメント株式会社 機器制御システム、機器制御方法及び制御プログラム

Also Published As

Publication number Publication date
JP2021185507A (ja) 2021-12-09
JP2022095881A (ja) 2022-06-28
JP2019139288A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
US11037300B2 (en) Monitoring system
WO2019239813A1 (ja) 情報処理方法、情報処理プログラム及び情報処理システム
CN112364696B (zh) 一种利用家庭监控视频提高家庭安全的方法及系统
JP2021106001A (ja) システム及び方法
US7106885B2 (en) Method and apparatus for subject physical position and security determination
JP7143912B2 (ja) 人物検出システム
CN110795963A (zh) 一种基于人脸识别的监控方法、装置及设备
JP6093124B2 (ja) 監督システム
CN110910606B (zh) 一种基于目标跟踪的儿童防走失方法和系统
KR102546460B1 (ko) Ai 기반 신체활동 인지 및 서비스 통합 플랫폼
CN113971868A (zh) 一种基于幼儿行为统计的报警方法及系统
CN108882853A (zh) 使用视觉情境来及时触发测量生理参数
JP6521143B1 (ja) 体調管理装置、体調管理方法、プログラム
JP2020145595A (ja) 看視又は監視システム、又はプログラム
Pinitkan et al. Abnormal activity detection and notification platform for real-time ad hoc network
JP7059663B2 (ja) 情報処理装置
JP2018156453A (ja) 画像提供システム、画像提供方法、および画像提供プログラム
Bansal et al. Elderly people fall detection system using skeleton tracking and recognition
CN111358445A (zh) 晨检机
CN113762184A (zh) 图像处理方法、装置、电子设备和计算机存储介质
KR102648004B1 (ko) 폭력감지장치 및 방법, 이를 포함하는 스마트 폭력감시시스템
Soman et al. A Novel Fall Detection System using Mediapipe
CN113158847A (zh) 一种基于人工智能的不安全行为检测方法
Kodikara et al. Surveillance based Child Kidnap Detection and Prevention Assistance
CN214475038U (zh) 一种基于ai能力在校园场景的应用系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R151 Written notification of patent or utility model registration

Ref document number: 7059663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151