JP6947187B2 - 画像認識システム及び画像認識方法 - Google Patents

Description

本発明は、例えば、被監視者を監視するシステムに適用可能な画像認識技術に関する。

人工知能を用いた画像認識技術が、例えば、特許文献１〜３に開示されている。いずれもニューラルネットワークを用いた画像認識技術である。特許文献１を例にして説明する。特許文献１は、被観察者のベッド上での動作を一定時間ごとに撮影した画像をシルエット画像またはモザイク画像に変換処理し、その画像データを用いて被観察者が起床状態または就寝状態であるかを識別し、被観察者が離床するか否かをニューラルネットワークを用いて判定し、被観察者の離床を感知した際にあらかじめ特定した看護師等に自動的に通報する技術を開示している。

人工知能の一種として、深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ：ディープラーニング）がある。深層学習を用いて画像認識をすれば、高精度な画像認識が実現される。深層学習を用いて画像認識をする場合、画像認識の精度は高くなるが、画像認識をする装置の負荷が高くなる。

特開２００７−７２９６４号公報 特開２００８−２１０３４号公報 特開２０１６−１５７１７０号公報

本発明の目的は、サーバ装置を備える画像認識システムにおいて、サーバ装置の負荷を軽減することができる画像認識システム、及び、画像認識方法を提供することである。

上述した目的を実現するために、本発明の一側面を反映した画像認識システムは、複数のセンサ装置と、前記複数のセンサ装置のそれぞれとネットワーク接続されたサーバ装置と、を備える画像認識システムである。前記複数のセンサ装置は、それぞれ、取得部と、第１の画像認識部と、送信データ生成部と、第１の通信部と、を備える。前記取得部は、時系列に撮像された時系列画像を取得する。前記第１の画像認識部は、前記時系列画像に対して画像認識処理をして、前記時系列画像に写された撮像対象に所定の事象が発生したか否かを推定する。前記送信データ生成部は、前記第１の画像認識部が前記撮像対象に前記所定の事象が発生した推定をしたことを前提条件として、前記時系列画像を構成するそれぞれの画像から前記撮像対象の像を含む部分画像を切り出した第１の時系列画像、又は、前記第１の時系列画像を構成するそれぞれの前記部分画像の特徴マップを、前記サーバ装置に送信する送信データとして生成する。前記第１の通信部は、前記ネットワークを介して前記送信データを送信する。前記サーバ装置は、第２の通信部と、第２の画像認識部と、を備える。前記第２の通信部は、前記送信データを受信する。前記第２の画像認識部は、前記第２の通信部が受信した前記送信データに対して、前記第１の画像認識部よりも画像認識の精度が高い画像認識処理をして、前記撮像対象に前記所定の事象が発生したか否かを推定する。

発明の１又は複数の実施形態により与えられる利点及び特徴は以下に与えられる詳細な説明及び添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。

実施形態に係る被監視者監視システムの構成を説明する説明図である。 実施形態に係る画像認識システムの構成を説明する説明図である。 センサ装置の構成を示すブロック図である。 第１の時系列画像を説明する説明図である。 管理サーバ装置の構成を示すブロック図である。 実施形態に係る画像認識システムの動作を説明するフローチャートである。 特徴マップの生成工程を説明する説明図である。 特徴マップにより構成される送信データを説明する説明図である。 第１変形例の動作を説明するフローチャートである。 第２変形例に備えられるセンサ装置の構成を示すブロック図である。 第２変形例に備えられる管理サーバ装置の構成を示すブロック図である。 第２変形例の動作を説明するフローチャートである。 第３変形例に備えられるセンサ装置の構成を示すブロック図である。 第３変形例に備えられる管理サーバ装置の構成を示すブロック図である。 第３変形例の動作を説明するフローチャートである。

被監視者を監視するシステムとして、複数のセンサ装置と、これらのセンサ装置とネットワーク接続されたサーバ装置と、を備えるシステムがある（例えば、特願２０１６−０９７０８８）。被監視者とは、例えば、看護を必要とする者や、介護を必要とする者である。このシステムは、例えば、介護施設に導入される。複数の部屋のそれぞれに、センサ装置が配置される。センサ装置は、部屋内の被監視者を撮像し、撮像した被監視者の画像をサーバ装置へ送る。サーバ装置は、画像認識技術を用いて、被監視者について所定の事象（例えば、転倒）が発生したか否かを判定する。

サーバ装置は、複数のセンサ装置のそれぞれから送られてきた画像（すなわち、複数の被監視者の画像）に対して画像認識処理をし、複数の被監視者のそれぞれについて、所定の事象が発生したか否かを判定する。深層学習を用いて画像認識をする場合、画像認識の精度は高くなるが、サーバ装置の負荷が高くなる。複数のセンサ装置から送られてきた画像に対して深層学習を用いて画像認識をすると、サーバ装置の負荷が相当高くなる。これにより、サーバ装置がリアルタイムで画像認識するために、高性能なサーバ装置がセンサ装置毎に必要となる。

そこで、本発明者は、複数のセンサ装置と、これらのセンサ装置のそれぞれとネットワーク接続されたサーバ装置と、を備える画像認識システムにおいて、サーバ装置の負荷を軽減することができる画像認識システム、及び、画像認識方法を創作した。

以下、図面を参照して、本発明の１又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。

各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、センサ装置ＳＵ）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、センサ装置ＳＵ−１）。

実施形態に係る被監視者監視システムは、監視対象である被監視者（言い換えれば、見守り対象である見守り対象者）を複数の装置を用いて監視するシステムである。このシステムは、端末装置と、被監視者監視装置と、を備える。前記被監視者監視装置は、前記端末装置と通信可能に接続され、前記被監視者に関わる所定のイベント（事象）を検知し、前記イベントを前記端末装置へ通知する。

本明細書において、前記被監視者監視装置は、センサ装置と、前記センサ装置及び前記端末装置それぞれと通信可能に接続される管理サーバ装置とを備える。前記被監視者監視装置は、前記センサ装置と前記管理サーバ装置とが物理的に分離されており、これらが異なる場所に設置できる態様でもよいし、前記センサ装置と前記管理サーバ装置とが物理的に分離されておらず、これらが異なる場所に設置できない態様でもよい。本明細書は、前者の態様で説明する。

前記センサ装置は、前記被監視者に関わる前記所定のイベントを検知し、これを前記管理サーバ装置へ通知（報知、送信）する。前記管理サーバ装置は、前記センサ装置から前記通知を受けると、前記通知を受けた前記イベントを管理するとともに前記イベントを前記センサ装置に対応付けられた前記端末装置へ再通知（再報知、再送信）する。

前記端末装置として、２種類の装置がある。一つは、固定端末装置であり、もう一つは、携帯端末装置である。固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用され、携帯端末装置が監視者（ユーザ）に携行されて運用される点である。監視者とは、例えば、看護師や介護士である。固定端末装置と携帯端末装置とは、略同様であるので、以下では、携帯端末装置を主に説明する。なお、前記端末装置は、１種類の装置でもよい。

図１は、実施形態に係る被監視者監視システムＭＳの構成を説明する説明図である。被監視者監視システムＭＳは、例えば、複数のセンサ装置ＳＵ（ＳＵ−１〜ＳＵ−４）と、管理サーバ装置ＳＶと、固定端末装置ＳＰと、１または複数の携帯端末装置ＴＡ（ＴＡ−１、ＴＡ−２）と、構内交換機ＣＸと、を備え、これらは、ネットワーク（網、通信回線）ＮＷを介して通信可能に接続される。図１に示す例では、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）が、ネットワークＮＷとなる。このＬＡＮは、Ｌ２スイッチの集線装置（ハブ）ＬＳ及びアクセスポイントＡＰを含み、有線及び無線の混在したＬＡＮである。より詳しくは、複数のセンサ装置ＳＵ−１〜ＳＵ−４、管理サーバ装置ＳＶ、固定端末装置ＳＰ及び構内交換機ＣＸは、集線装置ＬＳに接続され、複数の携帯端末装置ＴＡ−１、ＴＡ−２は、アクセスポイントＡＰを介して集線装置ＬＳに接続されている。そして、ネットワークＮＷは、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）及びＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。構内交換機ＣＸは、公衆電話網ＰＮによって電話ＴＬと接続されている。

被監視者監視システムＭＳは、被監視者Ｏｂの種類に応じて、病院、老人福祉施設及び住戸等の建物に好適に配設される。図１に示す例では、被監視者監視システムＭＳは、複数の被監視者Ｏｂが入居する複数の居室ＲＭと、ナースステーション等の複数の部屋と、を備える介護施設の建物に配設されている。

センサ装置ＳＵは、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡと通信する通信機能等を備え、被監視者Ｏｂに関わる前記所定のイベントを検知し、この検知した前記所定のイベントを管理サーバ装置ＳＶへ通知し、端末装置ＳＰ、ＴＡとの間で音声通話を行い、そして、動画を含む画像を生成して端末装置ＳＰ、ＴＡへ動画を配信する装置である。前記所定のイベントは、好ましくは、対処が必要なイベントを含む。

図１には、一例として、４個のセンサ装置ＳＵ−１〜ＳＵ−４が示されている。センサ装置ＳＵ−１は、被監視者Ｏｂの一人であるＡさんＯｂ−１の居室ＲＭ−１（不図示）に配設され、センサ装置ＳＵ−２は、被監視者Ｏｂの一人であるＢさんＯｂ−２の居室ＲＭ−２（不図示）に配設され、センサ装置ＳＵ−３は、被監視者Ｏｂの一人であるＣさんＯｂ−３の居室ＲＭ−３（不図示）に配設され、センサ装置ＳＵ−４は、被監視者Ｏｂの一人であるＤさんＯｂ−４の居室ＲＭ−４（不図示）に配設されている。

管理サーバ装置ＳＶは、ネットワークＮＷを介して他の装置ＳＵ、ＳＰ、ＴＡと通信する通信機能等を備える。管理サーバ装置ＳＶは、センサ装置ＳＵから前記所定のイベントを通知する通信信号（以下、第１イベント通知通信信号）を受信すると、第１イベント通知通信信号に収容された各情報に基づいて、被監視者Ｏｂに対する監視に関する監視情報を記憶（記録）し、そして、前記監視情報を収容した通信信号（以下、第２イベント通知通信信号）を生成し、第２イベント通知通信信号をセンサ装置ＳＵに予め対応付けられた端末装置ＳＰ、ＴＡに送信する。このために、管理サーバ装置ＳＶは、第１イベント通知通信信号の送信元であるセンサ装置ＳＵのＩＤと第２イベント通知通信信号の送信先である端末のＩＤとの対応関係、及び、その通信アドレスを記憶する。端末のＩＤは、端末装置ＳＰ、ＴＡを識別するための識別子である。そして、管理サーバ装置ＳＶは、クライアント（実施形態では固定端末装置ＳＰ及び携帯端末装置ＴＡ等）の要求に応じたデータをクライアントに提供する。このような管理サーバ装置ＳＶは、例えば、通信機能付きのコンピュータによって構成可能である。

固定端末装置ＳＰは、被監視者監視システムＭＳのユーザインターフェース（ＵＩ）として機能する装置である。この機能を達成するために、固定端末装置ＳＰは、ネットワークＮＷを介して他の装置ＳＵ、ＳＶ、ＴＡと通信する通信機能、所定の情報を表示する表示機能、及び、所定の指示及びデータを入力する入力機能等を備え、管理サーバ装置ＳＶ及び携帯端末装置ＴＡに与える所定の指示及びデータが入力されたり、センサ装置ＳＵで得られた監視情報を表示したりする。このような固定端末装置ＳＰは、例えば、通信機能付きのコンピュータによって構成可能である。

携帯端末装置ＴＡは、監視者ＮＳが携帯している。携帯端末装置ＴＡは、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＳＵと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、及び、音声通話を行う通話機能等を備え、管理サーバ装置ＳＶ及びセンサ装置ＳＵに与える所定の指示及びデータを入力したり、管理サーバ装置ＳＶからの通知によってセンサ装置ＳＵで得られた監視情報（動画を含む）を表示したり、センサ装置ＳＵとの間で音声通話によってナースコールの応答や声かけしたり等をするための機器である。

実施形態に係る画像認識システムは、例えば、図１に示す被監視者監視システムＭＳに適用される。図２は、実施形態に係る画像認識システム１の構成を説明する説明図である。画像認識システム１は、複数のセンサ装置ＳＵと、これらのセンサ装置ＳＵとネットワークＮＷによって接続された管理サーバ装置ＳＶ（サーバ装置の一例）と、を備える。図２は、センサ装置ＳＵの数が４つの場合が示されているが、センサ装置ＳＵの数は、４つに限定されず、複数であればよい。

図３は、センサ装置ＳＵの構成を示すブロック図である。センサ装置ＳＵは、センサ側制御処理部（ＳＵ制御処理部）１０、センサ側通信インターフェース部（ＳＵ通信ＩＦ部）１１、撮像部１２、画像記録部１３、第１の画像認識部１４、及び、送信データ生成部１５を備える。

ＳＵ制御処理部１０は、センサ装置ＳＵの全体を統括し、ＳＵ制御処理部１０の制御に従って、センサ装置ＳＵの各部（ＳＵ通信ＩＦ部１１、撮像部１２、画像記録部１３、第１の画像認識部１４、送信データ生成部１５）がそれぞれ機能を実行する。

ＳＵ制御処理部１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等のハードウェア、並びに、ＳＵ制御処理部１０の機能を実行するためのプログラムおよびデータ等によって実現される。ＳＵ制御処理部１０の機能について、各機能の一部又は全部は、ＣＰＵによる処理に替えて、又は、これと共に、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）による処理によって実現されてもよい。又、同様に、ＳＵ制御処理部１０の機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。以上説明したことは、後述する画像記録部１３、第１の画像認識部１４、送信データ生成部１５、ＳＶ制御処理部２０（図５）、第２の画像認識部２２（図５）、問い合わせ部１６（図１０）、判定部２３（図１１）、要求部２４（図１１）、第２の時系列画像生成部１７（図１３）、及び、第３の画像認識部２５（図１４）についても同様である。

ＳＵ通信ＩＦ部１１は、ＳＵ制御処理部１０の制御に従って、ネットワークＮＷを介して、図１に示す管理サーバ装置ＳＶ、固定端末装置ＳＰ、携帯端末装置ＴＡと通信を行うための通信インターフェースである。

撮像部１２は、撮像対象を撮像し、撮像対象の画像を生成する装置である。画像には、静止画及び動画が含まれる。撮像部１２は、例えば、デジタル式の可視光カメラ、デジタル式の赤外線カメラである。

撮像部１２は、取得部として機能する。取得部は、時系列に撮像された時系列画像Ｉｍ−０を取得する。時系列画像Ｉｍ−０は、撮像された時間の順に並んだ画像であり、例えば、動画像や、一定の時間間隔で撮影された画像である。時系列画像Ｉｍ−０を構成するそれぞれの画像は、高解像度の画像である（例えば、解像度は、横１２８０画素×縦９６０画素である）。

なお、センサ装置ＳＵが、撮像部１２を備えない態様も可能である。この態様において、センサ装置ＳＵは、撮像部１２から送られてきた時系列画像Ｉｍ−０が入力される入出力ポートを備える。この入出力ポートが取得部として機能する。

画像記録部１３は、時系列画像Ｉｍ−０を記録する。画像記録部１３は、リングバッファ１３１、及び、記憶処理部１３２を備える。

リングバッファ１３１は、所定量の情報（データ）を記憶でき、新たな情報（データ）を記憶するとき、古い情報（データ）から順に破棄することにより、所定量の情報（データ）をエンドレスで記憶する機能を有する。

記憶処理部１３２は、撮像部１２が生成した時系列画像Ｉｍ−０を、リングバッファ１３１に記憶させる。これにより、リングバッファ１３１は、最新の画像から所定時間前の画像までの画像群により構成される時系列画像Ｉｍ−０をエンドレスで記憶する。

第１の画像認識部１４は、撮像部１２が生成した時系列画像Ｉｍ−０に対して、リアルタイムで画像認識処理をして、時系列画像Ｉｍ−０に写された撮像対象に所定の事象が発生したか否かを推定する。センサ装置ＳＵは、管理サーバ装置ＳＶと比べて、情報処理能力が低い。このため、第１の画像認識部１４は、例えば、深層学習を用いた画像認識処理をリアルタイムで実行できない。よって、第１の画像認識部１４がリアルタイムで実行する画像認識処理は、画像認識の精度が高くない。

所定の事象の発生には、撮像対象の姿勢変化が伴う。撮像対象が、看護を必要とする者や介護を必要とする者の場合（例えば、図１に示す被監視者Ｏｂ）、撮像対象に所定の事象が発生とは、例えば、転倒、起床、離床である。撮像対象が、店内の人間の場合、撮像対象に所定の事象が発生とは、例えば、万引きである。撮像対象は、人間に限らず、動体であればよい（例えば、動物）。

被監視者Ｏｂ（撮像対象の一例）の転倒を例にして、第１の画像認識部１４による画像認識処理について説明する。第１の画像認識部１４は、時系列画像Ｉｍ−０を構成する各画像について、例えば、背景差分法によって、各画像に写された被監視者Ｏｂのシルエット画像を生成する。背景差分法の替わりにフレーム差分法でもよい。第１の画像認識部１４は、シルエット画像から、例えば円形又は楕円形のハフ変換によって、被監視者Ｏｂの頭部領域を抽出し、頭部領域の位置及び大きさから、被監視者Ｏｂの転倒を推定する。被監視者Ｏｂが転倒した場合、頭部領域は、ベッド領域と異なる位置であり、頭部領域の面積は、比較的大きい値から比較的小さい値に変化する。なお、ハフ変換の替わりに、予め用意された頭部のモデルを用いたパターンマッチングによって、被監視者Ｏｂの頭部領域が抽出されてもよい。

以上説明したように、第１の画像認識部１４は、シルエット画像の面積及び位置を基にして、所定の事象の発生を推定しているが、シルエット画像の形状を基にして、所定の事象の発生を推定してもよい。これは、撮像対象の姿勢変化（例えば、人間が転倒する場合の人間の姿勢変化、人間が万引きする場合の人間の姿勢変化）を基にする。被監視者Ｏｂの転倒を例にして説明すると、第１の画像認識部１４は、被監視者Ｏｂが立っている姿勢のモデル、及び、倒れている姿勢のモデルを予め用意し、これらのモデルを用いたパターンマッチングを、シルエット画像に適用する。第１の画像認識部１４は、シルエット画像が、被監視者Ｏｂが立っている姿勢のモデルに一致した状態から、被監視者Ｏｂが倒れている姿勢のモデルに一致した状態に変化したとき、被監視者Ｏｂの転倒を推定する。

センサ装置ＳＵは、情報処理能力が高くないので、第１の画像認識部１４が実行する推定は、比較的精度が低い。より精度の高い推定が、管理サーバ装置ＳＶで実行される。所定の事象が発生していても、第１の画像認識部１４が所定の事象が発生していない推定をするケースを防止するために、第１の画像認識部１４が、所定の事象が発生した推定をするしきい値が低く設定されている。これにより、所定の事象が発生していなくても、第１の画像認識部１４が所定の事象が発生した推定をするケースが発生する。

送信データ生成部１５は、第１の画像認識部１４が、撮像対象に所定の事象が発生した推定をしたとき（すなわち、第１の画像認識部１４が、撮像対象に所定の事象が発生した推定をしたことを前提条件）、時系列画像Ｉｍ−０を用いて、第１の時系列画像Ｉｍ−１を生成する。これについて詳しく説明する。図４は、第１の時系列画像Ｉｍ−１を説明する説明図である。時系列画像Ｉｍ−０を構成する画像１０１の数が、Ｎ個とする。時系列画像Ｉｍ−０は、１番目の画像１０１、２番目の画像１０１、・・・、Ｎ番目の画像１０１が時系列に並べられた構造を有する。順番が大きくなるに従って、画像１０１が撮像された時刻が現在の時刻から離れる（１番目の画像１０１が撮像された時刻が現在に最も近く、Ｎ番目の画像１０１が撮像された時刻が現在から最も遠い）。時系列画像Ｉｍ−０が動画像の場合、時系列画像Ｉｍ−０を構成するそれぞれの画像１０１は、フレームである。

第１の時系列画像Ｉｍ−１は、時系列画像Ｉｍ−０を構成するそれぞれの画像１０１から撮像対象（例えば、被監視者Ｏｂ−１）の像を含む部分画像１０２を切り出した画像である。切り出しとは、言い換えれば、クリッピングである。第１の時系列画像Ｉｍ−１を構成する部分画像１０２の数は、Ｎ個である。第１の時系列画像Ｉｍ−１は、１番目の部分画像１０２、２番目の部分画像１０２、・・・、Ｎ番目の部分画像１０２が時系列に並べられた構造を有する。第１の時系列画像Ｉｍ−１は、管理サーバ装置ＳＶに送信する送信データの一例である。

図３を参照して、送信データ生成部１５は、第１の画像認識部１４が、撮像対象に所定の事象が発生した推定をしたとき、このときを含む所定期間（例えば、数秒間）の時系列画像Ｉｍ−０をリングバッファ１３１から読み出し、この時系列画像Ｉｍ−０を用いて、第１の時系列画像Ｉｍ−１を生成する。ＳＵ通信ＩＦ部１１（第１の通信部の一例）は、管理サーバ装置ＳＶを宛先として、ネットワークＮＷを介して送信データ（ここでは、第１の時系列画像Ｉｍ−１）を送信する。

図５は、管理サーバ装置ＳＶの構成を示すブロック図である。管理サーバ装置ＳＶは、管理サーバ側制御処理部（ＳＶ制御処理部）２０、管理サーバ側通信インターフェース部（ＳＶ通信ＩＦ部）２１、及び、第２の画像認識部２２を備える。

ＳＶ制御処理部２０は、管理サーバ装置ＳＶの全体を統括し、ＳＶ制御処理部２０の制御に従って、管理サーバ装置ＳＶの各部（ＳＶ通信ＩＦ部２１、第２の画像認識部２２）がそれぞれ機能を実行する。

ＳＶ通信ＩＦ部２１（第２の通信部の一例）は、ＳＶ制御処理部２０の制御に従って、ネットワークＮＷを介して、図１に示すセンサ装置ＳＵ、固定端末装置ＳＰ、携帯端末装置ＴＡと通信を行うための通信インターフェースである。ＳＶ通信ＩＦ部２１（第２の通信部の一例）は、図３に示すＳＵ通信ＩＦ部１１から送信された送信データ（ここでは、第１の時系列画像Ｉｍ−１）を受信する。

第２の画像認識部２２は、ＳＶ通信ＩＦ部２１が受信した第１の時系列画像Ｉｍ−１（送信データ）に対して、第１の画像認識部１４よりも画像認識の精度が高い画像認識処理をして、撮像対象に所定の事象が発生したか否かを推定する。第２の画像認識部２２は、第１の画像認識部１４よりも画像認識の精度が高い画像処理をするので、第１の画像認識部１４よりも処理量が多い。第２の画像認識部２２が実行する画像認識処理は、例えば、深層学習を用いた画像認識処理である。

深層学習を用いた画像認識処理について簡単に説明する。撮像対象が被監視者Ｏｂとし、所定の事象の発生が転倒とする。第２の画像認識部２２は、被監視者Ｏｂが転倒した状態の画像と、被監視者Ｏｂが転倒していない状態の画像とを用いて、被監視者Ｏｂが転倒した状態を学習する。第２の画像認識部２２は、この学習を基礎にして、第１の時系列画像Ｉｍ−１に写された被監視者Ｏｂの転倒を推定する。この深層学習では、多層ニューラルネットワークとして、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。

実施形態に係る画像認識システム１（図２）の動作を説明する。図６は、この動作を説明するフローチャートである。撮像対象が、図１に示す被監視者Ｏｂ−１とし、所定の事象の発生が転倒とする。被監視者Ｏｂ−１を撮像するのは、センサ装置ＳＵ−１に備えられる撮像部１２である。よって、以下に説明するＳＵ制御処理部１０、ＳＵ通信ＩＦ部、撮像部１２、画像記録部１３、第１の画像認識部１４、及び、送信データ生成部１５は、センサ装置ＳＵ−１に備えられる要素である。これらについては、後で説明する変形例の動作でも同じである。

図１、図３及び図６を参照して、撮像部１２は、被監視者Ｏｂ−１がいる居室ＲＭを撮像し、時系列画像Ｉｍ−０を生成する。すなわち、撮像部１２は、時系列画像Ｉｍ−０を取得する（ステップＳ１）。記憶処理部１３２は、ステップＳ１で取得された時系列画像Ｉｍ−０を、リングバッファ１３１に記憶させる。

第１の画像認識部１４は、ステップＳ１で取得された時系列画像Ｉｍ−０に対して、リアルタイムで画像認識処理をし、時系列画像Ｉｍ−０に写された被監視者Ｏｂ−１が転倒したか否かを推定する（ステップＳ２）。

第１の画像認識部１４が、被監視者Ｏｂ−１が転倒していない推定をしたとき（ステップＳ２でＮｏ）、第１の画像認識部１４は、ステップＳ２の処理を繰り返す。

第１の画像認識部１４が、被監視者Ｏｂ−１が転倒した推定をしたとき（ステップＳ２でＹｅｓ）、送信データ生成部１５は、この時を含む所定期間（例えば、数秒間）の時系列画像Ｉｍ−０をリングバッファ１３１から読み出し、この時系列画像Ｉｍ−０を用いて、図４に示す第１の時系列画像Ｉｍ−１を生成する（ステップＳ３）。

ＳＵ通信ＩＦ部１１は、ステップＳ３で生成された第１の時系列画像Ｉｍ−１を送信データとし、ネットワークＮＷを介して送信データを送信する（ステップＳ４）。この送信の宛先は、管理サーバ装置ＳＶである。

図１、図５及び図６を参照して、ＳＶ制御処理部２０は、ＳＶ通信ＩＦ部２１が送信データを受信したか否かを判断する（ステップＴ１）。ＳＶ制御処理部２０が、ＳＶ通信ＩＦ部２１が送信データを受信していないと判断したとき（ステップＴ１でＮｏ）、ＳＶ制御処理部２０は、ステップＴ１の処理を繰り返す。

ＳＶ通信ＩＦ部２１が、ステップＳ４で送信された送信データを受信したとき、ＳＶ制御処理部２０は、ＳＶ通信ＩＦ部２１が送信データを受信したと判断する（ステップＴ１でＹｅｓ）。これにより、第２の画像認識部２２は、ＳＶ通信ＩＦ部２１で受信された送信データ（第１の時系列画像Ｉｍ−１）に対して、深層学習を用いた画像認識処理をリアルタイムで実行し、被監視者Ｏｂ−１が転倒したか否かを推定する（ステップＴ２）。深層学習での多層ニューラルネットワークが、例えば、ＣＮＮの場合、深層学習を用いた画像認識処理には、第１の時系列画像Ｉｍ−１を用いた特徴マップの生成と、特徴マップに対するプーリング処理とが含まれる。

第２の画像認識部２２が、被監視者Ｏｂ−１が転倒していない推定をしたとき（ステップＴ２でＮｏ）、ＳＶ制御処理部２０は、ステップＴ１の処理を繰り返す。

第２の画像認識部２２が、被監視者Ｏｂ−１が転倒した推定をしたとき（ステップＴ２でＹｅｓ）、ＳＶ制御処理部２０は、携帯端末装置ＴＡ及び固定端末装置ＳＰを宛先として、被監視者Ｏｂ−１の転倒が発生（所定の事象の発生）したことを示す信号を、ＳＶ通信ＩＦ部２１に送信させる（ステップＴ３）。携帯端末装置ＴＡ及び固定端末装置ＳＰは、ネットワークＮＷを介してその信号を受信し、発報する。発報は、例えば、携帯端末装置ＴＡ及び固定端末装置ＳＰが警告音を発生する。このように、携帯端末装置ＴＡ及び固定端末装置ＳＰは、発報部として機能する。

実施形態に係る画像認識システム１（図２）の主な効果を説明する。
（１）図６を参照して、センサ装置ＳＵが、被監視者Ｏｂ（撮像対象の一例）に所定の事象が発生した推定をしたとき（ステップＳ２でＹｅｓ）、管理サーバ装置ＳＶが、深層学習を用いた画像認識処理により、被監視者Ｏｂに所定の事象が発生したか否かを推定する（ステップＴ２）。このように、管理サーバ装置ＳＶは、常に、深層学習を用いた画像認識処理をせずに、必要に応じて、この処理をする。よって、深層学習を用いた画像認識処理の効率化を図ることができる。
（２）ステップＴ２において、第１の時系列画像Ｉｍ−１が、被監視者Ｏｂに所定の事象が発生したか否かの推定に用いられる。第１の時系列画像Ｉｍ−１は、図４に示すように、時系列画像Ｉｍ−０を構成する画像１０１の部分画像１０２により構成されるので、データ量が比較的少ない。

（１）及び（２）により、実施形態に係る画像認識システム１によれば、管理サーバ装置ＳＶの負荷を軽減することができる。これにより、１つの管理サーバ装置ＳＶが、複数のセンサ装置ＳＵをクライアントとして、リアルタイムで深層学習を用いた画像認識処理をすることができる。

実施形態に係る画像認識システム１の変形例を説明する。第１変形例は、送信データとして、時系列画像Ｉｍ−１の替わりに、特徴マップを生成する。すなわち、第１変形例において、図３に示す送信データ生成部１５は、第１の時系列画像Ｉｍ−１を生成した後、第１の時系列画像Ｉｍ−１を構成する複数の部分画像１０２（図４）のそれぞれについて、特徴マップを生成する。図７は、特徴マップの生成工程を説明する説明図である。図４に示す部分画像１０２ａを例にして、特徴マップの生成について説明する。

第１変形例において、図３に示す第１の画像認識部１４は、ＣＮＮを備える。ＣＮＮは、中間層において、畳み込み処理とプーリング処理とを複数回繰り返し、特徴量を自動で取得するニューラルネットワークである。中間層は、複数の層を備える。図７では２つの層（Ｌａｙｅｒ１、Ｌａｙｅｒ２）が示されているが、３以上の層であってもよい。複数の層のそれぞれは、畳み込み層とプーリング層とを備える。

部分画像１０２ａは、中間層に入力される入力画像である。部分画像１０２ａは、画素数が、例えば２８×２８である。Ｌａｙｅｒ１の畳み込み層は、部分画像１０２ａに対して、畳み込み処理をして、複数の特徴マップ１０３−１を生成する。特徴マップ１０３−１の数は、例えば、２０個である。特徴マップ１０３−１の画素数は、例えば２４×２４とする。

Ｌａｙｅｒ１のプーリング層は、複数の特徴マップ１０３−１のそれぞれに対して、プーリング処理をする。これにより、各特徴マップ１０３−１の画素数が、例えば１２×１２となる。

Ｌａｙｅｒ２の畳み込み層は、プーリング処理後の特徴マップ１０３−１のそれぞれに対して、畳み込み処理をして、複数の特徴マップ１０３−２を生成する。特徴マップ１０３−２の数は、例えば、５０個である。特徴マップ１０３−２の画素数は、例えば８×８とする。

Ｌａｙｅｒ２のプーリング層は、５０個の特徴マップ１０３−２のそれぞれに対して、プーリング処理をする。これにより、各特徴マップ１０３−２の画素数が、例えば４×４となる。

１つの部分画像１０２に対して、複数の特徴マップ１０３が生成される。第１の時系列画像Ｉｍ−１は、複数の部分画像１０２により構成されるので、複数の部分画像１０２のそれぞれについて、複数の特徴マップ１０３が生成されることになる。

以上説明したように、送信データ生成部１５は、第１の時系列画像Ｉｍ−１を構成するそれぞれの部分画像１０２の特徴マップ１０３を、送信データとして生成する。送信データとなる特徴マップ１０３は、Ｌａｙｅｒ１で生成された特徴マップ１０３−１、Ｌａｙｅｒ２で生成された特徴マップ１０３−２、Ｌａｙｅｒ２以降のＬａｙｅｒで生成された特徴マップ（不図示）のいずれでもよい。深いＬａｙｅｒになるに従って、送信データのデータ量が少なくなる。例えば、特徴マップ１０３−２が送信データの場合、特徴マップ１０３−１が送信データの場合と比べて、データ量が少ない。

図８は、特徴マップ１０３により構成される送信データを説明する説明図である。特徴マップ１０３は、特徴マップ１０３−２を例にしている。送信データは、図４に示す１番目の部分画像１０２（１０２ａ）に関する５０個の特徴マップ１０３−２、２番目の部分画像１０２に関する５０個の特徴マップ１０３−２、・・・、Ｎ番目の部分画像１０２に関する５０個の特徴マップ１０３−２により構成される。

第１変形例の動作を説明する。図９は、この動作を説明するフローチャートである。ステップＳ１及びステップＳ２は、図６に示すステップＳ１及びステップＳ２と同じである。

図３及び図９を参照して、送信データ生成部１５は、第１の画像認識部１４が被監視者Ｏｂ−１の転倒を推定したとき（ステップＳ２でＹｅｓ）、第１の時系列画像Ｉｍ−１を生成する。これは、図６に示すステップＳ３と同じである。送信データ生成部１５は、この第１の時系列画像Ｉｍ−１を構成するそれぞれの部分画像１０２の特徴マップ１０３を生成する（ステップＳ１１）。生成された特徴マップ１０３が、図８に示す送信データとなる。

ＳＵ通信ＩＦ部１１は、ステップＳ１１で生成された特徴マップ１０３を送信データとし、ネットワークＮＷを介して送信データを送信する（ステップＳ１２）。この送信の宛先は、管理サーバ装置ＳＶである。

ステップＴ１は、図６に示すステップＴ１と同じである。

図５及び図９を参照して、ＳＶ制御処理部２０は、ＳＶ通信ＩＦ部２１が送信データを受信したと判断したとき（ステップＴ１でＹｅｓ）。第２の画像認識部２２は、ＳＶ通信ＩＦ部２１で受信された送信データ（特徴マップ１０３）に対して、深層学習を用いた画像認識処理をリアルタイムで実行し、被監視者Ｏｂ−１が転倒したか否かを推定する（ステップＴ１１）。これは、図６に示すステップＴ２と同様であるが、送信データは、特徴マップ１０３−２により構成される。このためステップＴ１１において、図７に示すＬａｙｅｒ１での畳み込み処理及びプーリング処理を省略することができる。

ステップＴ３は、図６に示すステップＴ３と同じである。

第１変形例の主な効果を説明する。深層学習を用いた画像認識処理には、特徴マップ１０３の生成が含まれる。図９を参照して、センサ装置ＳＵが、特徴マップ１０３−２により構成される送信データを生成し（ステップＳ１１）、管理サーバ装置ＳＶが、その送信データに対して、深層学習を用いた画像認識処理をする（ステップＴ１１）。このように、第１変形例によれば、深層学習を用いた画像認識処理を、センサ装置ＳＵと管理サーバ装置ＳＶとで分担している。従って、管理サーバ装置ＳＶの負荷を軽減することができる。

第２変形例を説明する。図９に示すように、変形例１は、深層学習を用いた画像認識処理を、センサ装置ＳＵと管理サーバ装置ＳＶとで分担している。これを分担処理とする。これに対して、図６に示すように、実施形態に係る画像認識システム１は、管理サーバ装置ＳＶが単独で、深層学習を用いた画像認識処理をする。これを単独処理とする。

管理サーバ装置ＳＶは、センサ装置ＳＵよりも、高性能である。従って、管理サーバ装置ＳＶの負荷が低いとき、単独処理は、分担処理よりも、深層学習を用いた画像認識処理を高速化できる。これに対して、管理サーバ装置ＳＶの負荷が高いとき、分担処理は、単独処理よりも、深層学習を用いた画像認識処理を高速化できる。変形例２は、管理サーバ装置ＳＶの負荷が低いとき、単独処理を選択し、管理サーバ装置ＳＶの負荷が高いとき、分担処理を選択する。

図１０は、第２変形例に備えられるセンサ装置ＳＵの構成を示すブロック図である。このセンサ装置ＳＵは、図３に示すセンサ装置ＳＵに、問い合わせ部１６を加えた構成を有する。問い合わせ部１６は、管理サーバ装置ＳＶに対して、送信データの形式を問い合わせる。送信データの形式として、第１の時系列画像Ｉｍ−１と特徴マップ１０３とがある。

図１１は、第２変形例に備えられる管理サーバ装置ＳＶの構成を示すブロック図である。この管理サーバ装置ＳＶは、図５に示す管理サーバ装置ＳＶに、判定部２３及び要求部２４を加えた構成を有する。

判定部２３は、管理サーバ装置ＳＶの負荷が高いことを示す予め定められた条件を満たすか否かを判定する。予め定められた条件の第１例は、管理サーバ装置ＳＶに備えられるＣＰＵの使用率である。判定部２３は、ＣＰＵの使用率が所定の閾値を超えているとき、予め定められた条件を満たすと判定し、ＣＰＵの使用率が所定の閾値以下のとき、予め定められた条件を満たさないと判定する。

予め定められた条件の第２例は、管理サーバ装置ＳＶに備えられるメモリ（ＲＡＭ）の空き容量である。判定部２３は、空き容量が所定の閾値を超えているとき、予め定められた条件を満たさないと判定し、空き容量が所定の閾値以下のとき、予め定められた条件を満たすと判定する。

予め定められた条件の第３例は、管理サーバ装置ＳＶが使用するネットワークの回線負荷である。判定部２３は、回線負荷が所定の閾値を超えているとき、予め定められた条件を満たすと判定し、回線負荷が所定の閾値以下のとき、予め定められた条件を満たさないと判定する。

予め定められた条件の第４例は、管理サーバ装置ＳＶに備えられるＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の負荷である。判定部２３は、ＧＰＵの負荷が所定の閾値を超えているとき、予め定められた条件を満たすと判定し、ＧＰＵの負荷が所定の閾値以下のとき、予め定められた条件を満たさないと判定する。

予め定められた条件の第５例は、被監視者Ｏｂに所定の事象が発生したか否かの推定を管理サーバ装置ＳＶに依頼しているセンサ装置ＳＵの数である。センサ装置ＳＵに備えられる第１の画像認識部１４は、被監視者Ｏｂに所定の事象が発生した推定をしたとき、このセンサ装置ＳＵに備えられるＳＵ通信ＩＦ部１１は、送信データを管理サーバ装置ＳＶに送信する（図６のステップＳ４、図９のステップＳ１２）。これにより、センサ装置ＳＵは、被監視者Ｏｂに所定の事象が発生したか否かの推定を管理サーバ装置ＳＶに依頼する（以下、推定依頼）。判定部２３は、推定依頼をしているセンサ装置ＳＵの数が所定の閾値を超えているとき、予め定められた条件を満たす判定し、推定依頼をしているセンサ装置ＳＵの数が所定の閾値以下のとき、予め定められた条件を満たさないと判定する。

要求部２４は、予め定められた条件を満たさない場合（すなわち、管理サーバ装置ＳＶの負荷が低い状態）、複数のセンサ装置ＳＵのうち、被監視者Ｏｂに所定の事象が発生したか否かの推定を依頼するセンサ装置ＳＵに対して、送信データとして第１の時系列画像Ｉｍ−１を要求する。これは、上記単独処理である。これに対して、要求部２４は、予め定められた条件を満たす場合（すなわち、管理サーバ装置ＳＶの負荷が高い状態）、上記依頼するセンサ装置ＳＵに対して、送信データとして特徴マップ１０３を要求する。これは、上記分担処理である。

第２変形例の動作を説明する。図１２は、この動作を説明するフローチャートである。ステップＳ１及びステップＳ２は、図６に示すステップＳ１及びステップＳ２と同じである。

図１０、図１１及び図１２を参照して、第１の画像認識部１４が、被監視者Ｏｂ−１の転倒を推定したとき（ステップＳ２でＹｅｓ）、問い合わせ部１６は、送信データの形式を問い合わせる信号をＳＵ通信ＩＦ部１１に送信させる（ステップＳ２１）。問い合わせ信号の宛先は、管理サーバ装置ＳＶである。

ＳＶ制御処理部２０は、ＳＶ通信ＩＦ部２１が上記問い合わせ信号を受信したか否かを判断する（ステップＴ２１）。ＳＶ制御処理部２０が、ＳＶ通信ＩＦ部２１が上記問い合わせ信号を受信していないと判断したとき（ステップＴ２１でＮｏ）、ＳＶ制御処理部２０は、ステップＴ２１の処理を繰り返す。

ＳＶ通信ＩＦ部２１が、ステップＳ２１で送信された、問い合わせ信号を受信したとき（ステップＴ２１でＹｅｓ）、判定部２３は、管理サーバ装置ＳＶの負荷が高いことを示す予め定められた条件を満たすか否かを判定する（ステップＴ２２）。

判定部２３が、管理サーバ装置ＳＶの負荷が高いことを示す予め定められた条件を満たさないと判定したとする（ステップＴ２２でＮｏ）。すなわち、管理サーバ装置ＳＶの負荷が低い状態とする。このとき、要求部２４は、送信データとして第１の時系列画像Ｉｍ−１を要求する信号をＳＶ通信ＩＦ部２１に送信させる（ステップＴ２３）。この要求信号の宛先は、センサ装置ＳＵ−１である。

判定部２３が、管理サーバ装置ＳＶの負荷が高いことを示す予め定められた条件を満たす判定をしたとする（ステップＴ２２でＹｅｓ）。すなわち、管理サーバ装置ＳＶの負荷が高い状態とする。このとき、要求部２４は、送信データとして特徴マップ１０３を要求する信号をＳＶ通信ＩＦ部２１に送信させる（ステップＴ２４）。この要求信号の宛先は、センサ装置ＳＵ−１である。

ＳＵ通信ＩＦ部１１が、ステップＴ２３に示す第１の時系列画像Ｉｍ−１を要求する信号を受信したとき、送信データ生成部１５は、第１の時系列画像Ｉｍ−１を送信データとして生成する（ステップＳ２２）。これは、図６に示すステップＳ３と同じである。ＳＵ通信ＩＦ部１１は、ステップＳ２２で生成された第１の時系列画像Ｉｍ−１を送信データとし、ネットワークＮＷを介して送信データを送信する（ステップＳ２３）。これは、図６に示すステップＳ４と同じである。

ＳＵ通信ＩＦ部１１が、ステップＴ２４に示す特徴マップ１０３を要求する信号を受信したとき、送信データ生成部１５は、特徴マップ１０３を送信データとして生成する（ステップＳ２２）。これは、図９に示すステップＳ１１と同じである。ＳＵ通信ＩＦ部１１は、ステップＳ２２で生成された特徴マップ１０３を送信データとし、ネットワークＮＷを介して送信データを送信する（ステップＳ２３）。これは、図９に示すステップＳ１２と同じである。

ＳＶ制御処理部２０は、ＳＶ通信ＩＦ部２１が送信データ（第１の時系列画像Ｉｍ−１又は特徴マップ１０３）を受信したか否かを判断する（ステップＴ１）。ＳＶ制御処理部２０が、ＳＶ通信ＩＦ部２１が送信データを受信していないと判断したとき（ステップＴ１でＮｏ）、ＳＶ制御処理部２０は、ステップＴ１の処理を繰り返す。

ＳＶ通信ＩＦ部２１が、ステップＳ２３で送信された送信データを受信したとき、ＳＶ制御処理部２０は、ＳＶ通信ＩＦ部２１が送信データを受信したと判断する（ステップＴ１でＹｅｓ）。これにより、第２の画像認識部２２は、被監視者Ｏｂ−１が転倒したか否かを推定する（ステップＴ２５）。ＳＶ通信ＩＦ部２１が受信した送信データが第１の時系列画像Ｉｍ−１のとき、ステップＴ２５は、図６に示すステップＴ２と同じである。すなわち、第２の画像認識部２２は、第１の時系列画像Ｉｍ−１を構成するそれぞれの部分画像１０２の特徴マップ１０３を生成し、特徴マップ１０３を用いて、被監視者Ｏｂ−１に所定の事象が発生したか否かを推定する。

これに対して、ＳＶ通信ＩＦ部２１が受信した送信データが特徴マップ１０３のとき、ステップＴ２５は、図９に示すステップＴ１１と同じである。すなわち、第２の画像認識部２２は、特徴マップ１０３を用いて、被監視者Ｏｂ−１に所定の事象が発生したか否かを推定する。

ステップＴ２５の後、管理サーバ装置ＳＶは、ステップＴ３の処理をする。これは、図６に示すステップＴ３と同じである。

第２変形例の主な効果を説明する。ステップＴ２５で説明したように、第２の画像認識部２２は、特徴マップ１０３（例えば、図８に示す特徴マップ１０３−２により構成される送信データ）を用いて、被監視者Ｏｂに所定の事象が発生したか否かを推定する。特徴マップ１０３は、第１の時系列画像Ｉｍ−１を用いて生成される。従って、第２の画像認識部２２が特徴マップ１０３から画像認識処理を開始する場合、第１の時系列画像Ｉｍ−１から画像認識処理を開始する場合と比べて、管理サーバ装置ＳＶの負荷を軽減することができる。

そこで、管理サーバ装置ＳＶの負荷が高いことを示す予め定められた条件を満たすとき（すなわち、管理サーバ装置ＳＶの負荷が高い状態）、センサ装置ＳＵが特徴マップ１０３を生成することにより（ステップＳ２２）、第２の画像認識部２２での処理量を少なくする。これにより、管理サーバ装置ＳＶの負荷が高い状態でも、第２の画像認識部２２は、被監視者Ｏｂに所定の事象が発生したか否かの推定を高速化できる。

管理サーバ装置ＳＶは、センサ装置ＳＵよりも、高性能である。そこで、管理サーバ装置ＳＶの負荷が高いことを示す予め定められた条件を満たさないとき（すなわち、管理サーバ装置ＳＶの負荷が低い状態）、特徴マップ１０３の生成工程も第２の画像認識部２２で実行される（ステップＴ２５）。これにより、第２の画像認識部２２は、被監視者Ｏｂに所定の事象が発生したか否かの推定を高速化できる。

以上説明したように、第２変形例は、管理サーバ装置ＳＶの負荷に応じて（ステップＴ２２）、センサ装置ＳＵが、送信データとして、第１の時系列画像Ｉｍ−１又は特徴マップ１０３を選択する。これにより、第２の画像認識部２２が、被監視者Ｏｂに所定の事象が発生したか否かの推定を高速化できる。

実施形態に係る画像認識システム１（図２）、第１変形例及び第２変形例において、第１の画像認識部１４は、時系列画像Ｉｍ−０に対して画像認識処理をしている（図６、図９及び図１２に示すステップＳ２）。しかしながら、第１の画像認識部１４は、時系列画像Ｉｍ−０の解像度を下げた第２の時系列画像に対して、画像認識処理をしてもよい。この態様において、第２の時系列画像生成部がセンサ装置ＳＵに備えられる。第２の時系列画像生成部は、撮像部１２が生成した時系列画像Ｉｍ−０の解像度を下げた第２の時系列画像を生成する。第１の画像認識部１４は、時系列画像Ｉｍ−０の替わりに、第２の時系列画像に対して画像認識処理をして、第２の時系列画像に写された被監視者Ｏｂに所定の事象が発生したか否かを推定する。第２の時系列画像は解像度が低いので、第１の画像認識部１４において、画像認識の処理量を少なくできる。よって、この態様によれば、センサ装置ＳＵの情報処理能力が低くても、画像認識をリアルタイムで実行できる。

第３変形例を説明する。第２の画像認識部２２（図５、図１１）は、深層学習を用いた画像認識処理をするので、処理量が多く、管理サーバ装置ＳＶの負荷が高くなる。第２の画像認識部２２による画像認識処理をできるだけ少なくすることが好ましい。第３変形例は、管理サーバ装置ＳＶに第３の画像認識部２５が備えられることにより、第２の画像認識部２２による画像認識処理を少なくすることができる。

図１３は、第３変形例に備えられるセンサ装置ＳＵの構成を示すブロック図である。このセンサ装置ＳＵは、図３に示すセンサ装置ＳＵに、第２の時系列画像生成部１７を加えた構成を有する。第２の時系列画像生成部１７は、撮像部１２（取得部の一例）が生成した時系列画像Ｉｍ−０の解像度を下げた第２の時系列画像Ｉｍ−２を生成する。例えば、時系列画像Ｉｍ−０の解像度が、横１２８０画素×縦９６０画素の場合、第２の時系列画像Ｉｍ−２の解像度は、横３２０画素×縦２４０画素である。

図１４は、第３変形例に備えられる管理サーバ装置ＳＶの構成を示すブロック図である。この管理サーバ装置ＳＶは、図５に示す管理サーバ装置ＳＶに、第３の画像認識部２５を加えた構成を有する。第３の画像認識部２５は、第２の時系列画像Ｉｍ−２に対して、第１の画像認識部１４よりも画像認識の精度が高い画像認識処理をして、被監視者Ｏｂに所定の事象が発生したか否かを推定する。第３の画像認識部２５が実行する画像認識処理は、深層学習を用いた画像認識処理である。第３の画像認識部２５は、深層学習を用いた画像認識処理をするので、第１の画像認識部１４よりも画像認識の精度が高い。第３の画像認識部２５は、解像度が低い第２の時系列画像Ｉｍ−２に対して、画像認識処理をするので、第２の画像認識部２２よりも画像認識の精度が低い。

第３変形例の動作を説明する。図１５は、この動作を説明するフローチャートである。ステップＳ１は、図６に示すステップＳ１と同じである。

図１３、図１４及び図１５を参照して、第２の時系列画像生成部１７は、ステップＳ１で取得された時系列画像Ｉｍ−０の解像度を下げた第２の時系列画像Ｉｍ−２を生成する（ステップＳ３１）。記憶処理部１３２は、ステップＳ３１で生成された第２の時系列画像Ｉｍ−２を、リングバッファ１３１に記憶させる。また、記憶処理部１３２は、第２の時系列画像Ｉｍ−２の生成に用いられた時系列画像Ｉｍ−０（言い換えれば、ステップＳ１で取得された時系列画像Ｉｍ−０）を、リングバッファ１３１に記憶させる。

第１の画像認識部１４は、ステップＳ３１で生成された第２の時系列画像Ｉｍ−２に対して、画像認識処理をして、被監視者Ｏｂ−１が転倒したか否かを推定する（ステップＳ３２）。このステップは、画像認識処理の対象が、時系列画像Ｉｍ−０でなく、第２の時系列画像Ｉｍ−２であり、これ以外は、図６に示すステップＳ２と同じである。

第１の画像認識部１４が、被監視者Ｏｂ−１の転倒を推定したとき（ステップＳ３２でＹｅｓ）、送信データ生成部１５、この時を含む所定期間（例えば、数秒間）の第２の時系列画像Ｉｍ−２をリングバッファ１３１から読み出す。

ＳＵ通信ＩＦ部１１は、この読み出された第２の時系列画像Ｉｍ−２を、ネットワークＮＷを介して送信する（ステップＳ３３）。この送信の宛先は、管理サーバ装置ＳＶである。

ＳＶ制御処理部２０は、ＳＶ通信ＩＦ部２１が第２の時系列画像Ｉｍ−２を受信したか否かを判断する（ステップＴ３１）。ＳＶ制御処理部２０が、ＳＶ通信ＩＦ部２１が第２の時系列画像Ｉｍ−２を受信していないと判断したとき（ステップＴ３１でＮｏ）、ＳＶ制御処理部２０は、ステップＴ３１の処理を繰り返す。

ＳＶ通信ＩＦ部２１が、ステップＳ３３で送信された第２の時系列画像Ｉｍ−２を受信したとき、ＳＶ制御処理部２０は、ＳＶ通信ＩＦ部２１が第２の時系列画像Ｉｍ−２を受信したと判断する（ステップＴ３１でＹｅｓ）。これにより、第３の画像認識部２５は、ＳＶ通信ＩＦ部２１で受信された第２の時系列画像Ｉｍ−２に対して、深層学習を用いた画像認識処理をリアルタイムで実行し、被監視者Ｏｂ−１が転倒したか否かを推定する（ステップＴ３２）。

第３の画像認識部２５が、被監視者Ｏｂ−１が転倒していない推定をしたとき（ステップＴ３２でＮｏ）、ＳＶ制御処理部２０は、ステップＴ３１の処理を繰り返す。

第３の画像認識部２５が、被監視者Ｏｂ−１が転倒した推定をしたとき（ステップＴ３２でＹｅｓ）、ＳＶ制御処理部２０は、センサ装置ＳＵ−１を宛先として、送信データを要求する信号を、ＳＶ通信ＩＦ部２１に送信させる（ステップＴ３３）。

ＳＵ通信ＩＦ部１１が、ステップＴ３３に示す送信データを要求する信号を受信したとき、送信データ生成部１５は、第１の時系列画像Ｉｍ−１を送信データとして生成する（ステップＳ３）。これは、図６に示すステップＳ３と同じである。送信データ生成部１５は、ステップＳ３１において、第２の時系列画像Ｉｍ−２の生成に用いられた時系列画像Ｉｍ−０を用いて、第１の時系列画像Ｉｍ−１を生成する。ＳＵ通信ＩＦ部１１は、ステップＳ３で生成された第１の時系列画像Ｉｍ−１を送信データとし、ネットワークＮＷを介して送信データを送信する（ステップＳ４）。これは、図６に示すステップＳ４と同じである。送信データとして、第１の時系列画像Ｉｍ−１を例にしているが、特徴マップ１０３を送信データにしてもよい。

このように、第１の画像認識部１４による被監視者Ｏｂ−１の転倒の推定を前提条件とし（ステップＳ３２でＹｅｓ）、さらに、第３の画像認識部２５が被監視者Ｏｂ−１の転倒を推定したとき（ステップＴ３２でＹｅｓ）、ＳＵ通信ＩＦ部１１が送信データを送信する（ステップＳ４）。

ステップＴ１〜ステップＴ３は、図６に示すステップＴ１〜ステップＴ３と同じである。

第３変形例の主な効果を説明する。図１４及び図１５を参照して、第３の画像認識部２５は、解像度が下げられた時系列画像である第２の時系列画像Ｉｍ−２を対象として画像認識処理をするので（ステップＴ３２）、第２の画像認識部２２よりも、処理量を少なくできる。従って、管理サーバ装置ＳＶにとって、第３の画像認識部２５は第２の画像認識部２２よりも、負荷が低くなる。第３の画像認識部２５が被監視者Ｏｂ（撮像対象の一例）に所定の事象が発生した推定をしたとき（ステップＴ３２でＹｅｓ）、第２の画像認識部２２が被監視者Ｏｂに所定の事象が発生したか否かを推定する（ステップＴ２）。従って、第３変形例によれば、第２の画像認識部２２による画像認識処理をできるだけ少なくすることができるので、管理サーバ装置ＳＶの負荷を低くすることができる。

（実施形態の纏め）
実施形態の第１の局面に係る画像認識システムは、複数のセンサ装置と、前記複数のセンサ装置のそれぞれとネットワーク接続されたサーバ装置と、を備える画像認識システムであって、前記複数のセンサ装置は、それぞれ、時系列に撮像された時系列画像を取得する取得部と、前記時系列画像に対して画像認識処理をして、前記時系列画像に写された撮像対象に所定の事象が発生したか否かを推定する第１の画像認識部と、前記第１の画像認識部が前記撮像対象に前記所定の事象が発生した推定をしたことを前提条件として、前記時系列画像を構成するそれぞれの画像から前記撮像対象の像を含む部分画像を切り出した第１の時系列画像、又は、前記第１の時系列画像を構成するそれぞれの前記部分画像の特徴マップを、前記サーバ装置に送信する送信データとして生成する送信データ生成部と、前記ネットワークを介して前記送信データを送信する第１の通信部と、を備え、前記サーバ装置は、前記送信データを受信する第２の通信部と、前記第２の通信部が受信した前記送信データに対して、前記第１の画像認識部よりも画像認識の精度が高い画像認識処理をして、前記撮像対象に前記所定の事象が発生したか否かを推定する第２の画像認識部と、を備える。

センサ装置に備えられる第１の画像認識部が、撮像対象に所定の事象が発生した推定をしたことを前提条件として、サーバ装置に備えられる第２の画像認識部が、第１の画像認識部よりも画像認識の精度が高い画像認識処理をして、撮像対象に所定の事象が発生したか否かを推定する。このように、第２の画像認識部は、常に、第１の画像認識部よりも画像認識の精度が高い画像認識処理をせずに、必要に応じて、この処理をする。よって、実施形態の第１の局面に係る画像認識システムによれば、第２の画像認識部が実行する画像認識処理の効率化を図ることができるので、サーバ装置の負担を軽減することができる。

撮像対象が、看護を必要とする者や介護を必要とする者の場合、撮像対象に所定の事象が発生とは、例えば、転倒、起床、離床である。撮像対象が、店内の人間の場合、撮像対象に所定の事象が発生とは、例えば、万引きである。所定の事象の発生は、例えば、姿勢で判断する（例えば、人間が転倒している姿勢、人間が万引きをしている姿勢）。

第１の画像認識部は、例えば、時系列画像に写された撮像対象のシルエット画像を生成し、シルエット画像を用いて、撮像対象に所定の事象が発生したか否かを推定する。第２の画像認識部は、送信データに対して、例えば、深層学習を用いた画像認識処理をすることにより、撮像対象に所定の事象が発生したか否かを推定する。

上記構成において、前記サーバ装置は、前記サーバ装置の負荷が高いことを示す予め定められた条件を満たすか否かを判定する判定部と、前記予め定められた条件を満たさない場合、前記複数のセンサ装置のうち、前記撮像対象に前記所定の事象が発生したか否かの推定を、前記サーバ装置に依頼するセンサ装置に対して、前記送信データとして前記第１の時系列画像を要求し、前記予め定められた条件を満たす場合、前記依頼するセンサ装置に対して、前記送信データとして前記特徴マップを要求する要求部と、をさらに備え、前記第２の画像認識部は、前記第２の通信部が受信した前記送信データが前記第１の時系列画像のとき、前記第１の時系列画像を構成するそれぞれの前記部分画像の前記特徴マップを生成し、前記特徴マップを用いて、前記撮像対象に前記所定の事象が発生したか否かを推定し、前記第２の画像認識部は、前記第２の通信部が受信した前記送信データが前記特徴マップのとき、前記特徴マップを用いて、前記撮像対象に前記所定の事象が発生したか否かを推定する。

サーバ装置の負荷が高いか否かは、次の点から定められる。第２の画像認識部は、特徴マップを用いて、撮像対象に所定の事象が発生したか否かを推定する処理をする。サーバ装置は、センサ装置よりも高性能であるので、画像処理能力が高い。サーバ装置の負荷が高くない場合、サーバ装置が特徴マップを生成するほうが、センサ装置が特徴マップを生成するよりも、第２の画像認識部の上記処理を高速化できる。これに対して、サーバ装置の負荷が高い場合、センサ装置が特徴マップを生成するほうが、サーバ装置が特徴マップを生成するよりも、第２の画像認識部の上記処理を高速化できる。よって、サーバ装置が特徴マップを生成するほうが、センサ装置が特徴マップを生成するよりも、第２の画像認識部の上記処理を高速化できる場合、サーバ装置の負荷が高くないことになる。センサ装置が特徴マップを生成するほうが、サーバ装置が特徴マップを生成するよりも、第２の画像認識部の上記処理を高速化できる場合、サーバ装置の負荷が高いことになる。

予め定められた条件の一例は、サーバ装置に備えられるＣＰＵの使用率である。判定部は、ＣＰＵの使用率が所定の閾値を超えているとき、予め定められた条件を満たすと判定し（サーバ装置の負荷が高い）、ＣＰＵの使用率が所定の閾値以下のとき、予め定められた条件を満たさないと判定する（サーバ装置の負荷が低い）。

第２の画像認識部は、特徴マップを用いて、撮像対象に所定の事象が発生したか否かを推定する。特徴マップは、第１の時系列画像を用いて生成される。従って、第２の画像認識部が特徴マップから画像認識処理を開始する場合、第１の時系列画像から画像認識処理を開始する場合と比べて、サーバ装置の負荷を軽減することができる。そこで、サーバ装置の負荷が高いことを示す予め定められた条件を満たすとき（すなわち、サーバ装置の負荷が高い状態）、センサ装置が特徴マップを生成することにより、第２の画像認識部での処理量を少なくする。これにより、サーバ装置の負荷が高い状態でも、第２の画像認識部は、撮像対象に所定の事象が発生したか否かの推定を高速化できる。

サーバ装置は、センサ装置よりも、高性能である。そこで、サーバ装置の負荷が高いことを示す予め定められた条件を満たさないとき（すなわち、サーバ装置の負荷が低い状態）、特徴マップの生成工程も第２の画像認識部で実行される。これにより、第２の画像認識部は、撮像対象に所定の事象が発生したか否かの推定を高速化できる。

以上説明したように、この構成は、サーバ装置の負荷に応じて、センサ装置が、送信データとして、第１の時系列画像又は特徴マップを選択する。これにより、第２の画像認識部が、撮像対象に所定の事象が発生したか否かの推定を高速化できる。

上記構成において、前記複数のセンサ装置は、それぞれ、前記取得部が取得した前記時系列画像の解像度を下げた第２の時系列画像を生成する第２の時系列画像生成部をさらに備え、前記第１の画像認識部は、前記時系列画像の替わりに、前記第２の時系列画像に対して前記画像認識処理をして、前記第２の時系列画像に写された前記撮像対象に前記所定の事象が発生したか否かを推定する。

第２の時系列画像は解像度が低いので、第１の画像認識部において、画像認識の処理量を少なくできる。よって、この構成によれば、センサ装置の情報処理能力が低くても、画像認識を高速に実行できる。

上記構成において、前記第１の画像認識部が前記撮像対象に前記所定の事象が発生した推定をしたとき、前記第１の通信部は、前記ネットワークを介して前記第２の時系列画像を送信し、前記第２の通信部は、前記第２の時系列画像を受信し、前記サーバ装置は、前記第２の通信部が受信した前記第２の時系列画像に対して、前記第１の画像認識部よりも画像認識の精度が高い画像認識処理をして、前記撮像対象に前記所定の事象が発生したか否かを推定する第３の画像認識部をさらに備え、前記第１の通信部は、前記第３の画像認識部が前記撮像対象に前記所定の事象が発生した推定をしたとき、前記送信データを送信する。

この構成によれば、第１の画像認識部が撮像対象に所定の事象が発生した推定をしたことを前提条件とし、さらに、第３の画像認識部が撮像対象に所定の事象が発生した推定をしたとき、第１の通信部が送信データを送信する。

第３の画像認識部は、解像度が下げられた時系列画像である第２の時系列画像を対象として画像認識処理をするので、第２の画像認識部よりも、処理量を少なくできる。従って、サーバ装置にとって、第３の画像認識部は第２の画像認識部よりも、負荷が低くなる。第３の画像認識部が撮像対象に所定の事象が発生した推定をしたとき、第２の画像認識部が撮像対象に所定の事象が発生したか否かを推定する。従って、この構成によれば、第２の画像認識部による画像認識処理をできるだけ少なくすることができるので、サーバ装置の負荷を低くすることができる。

第３の画像認識部は、第２の時系列画像に対して、例えば、深層学習を用いた画像認識処理をすることにより、撮像対象に所定の事象が発生したか否かを推定する。

上記構成において、前記画像認識システムは、前記第２の画像認識部が、前記撮像対象に前記所定の事象が発生した推定をしたとき、発報する発報部をさらに備える。

この構成によれば、撮像対象に所定の事象が発生した推定をしたとき、これを知らせることができる。

実施形態の第２の局面に係る画像認識方法は、複数のセンサ装置と、前記複数のセンサ装置のそれぞれとネットワーク接続されたサーバ装置と、を用いる画像認識方法であって、前記複数のセンサ装置のそれぞれで実行されるステップであり、時系列に撮像された時系列画像を取得する第１のステップと、前記複数のセンサ装置のそれぞれで実行されるステップであり、前記時系列画像に対して画像認識処理をして、前記時系列画像に写された撮像対象に所定の事象が発生したか否かを推定する第２のステップと、前記複数のセンサ装置のそれぞれで実行されるステップであり、前記第２のステップにおいて、前記撮像対象に前記所定の事象が発生した推定をしたことを前提条件として、前記時系列画像を構成するそれぞれの画像から前記撮像対象の像を含む部分画像を切り出した第１の時系列画像、又は、前記第１の時系列画像を構成するそれぞれの前記部分画像の特徴マップを、前記サーバ装置に送信する送信データとして生成する第３のステップと、前記複数のセンサ装置のそれぞれで実行されるステップであり、前記ネットワークを介して前記送信データを送信する第４のステップと、前記サーバ装置で実行されるステップであり、前記送信データを受信する第５のステップと、前記サーバ装置で実行されるステップであり、前記第５のステップにおいて、受信した前記送信データに対して、前記第２のステップよりも画像認識の精度が高い画像認識処理をして、前記撮像対象に前記所定の事象が発生したか否かを推定する第６のステップと、を備える。

実施形態の第２の局面に係る画像認識方法は、実施形態の第１の局面に係る画像認識システムを方法の観点から規定しており、実施形態の第１の局面に係る画像認識システムと同様の作用効果を有する。

本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。

明細書、クレーム、図面、及び要約を含む、２０１６年１２月６日に提出された日本国特許出願特願２０１６−２３６６６９は、その全体の開示が、その全体において参照によりここに組み込まれる。

本発明によれば、画像認識システム及び画像認識方法を提供することができる。

Claims (8)

1. 複数のセンサ装置と、前記複数のセンサ装置のそれぞれとネットワーク接続されたサーバ装置と、を備える画像認識システムであって、
   前記複数のセンサ装置は、それぞれ、
   時系列に撮像された時系列画像を取得する取得部と、
   前記時系列画像に対して画像認識処理をして、前記時系列画像に写された撮像対象に所定の事象が発生したか否かを推定する第１の画像認識部と、
   前記第１の画像認識部が前記撮像対象に前記所定の事象が発生した推定をしたことを前提条件として、前記時系列画像を構成するそれぞれの画像から前記撮像対象の像を含む部分画像を切り出した第１の時系列画像、又は、前記第１の時系列画像を構成するそれぞれの前記部分画像の特徴マップを、前記サーバ装置に送信する送信データとして生成する送信データ生成部と、
   前記ネットワークを介して前記送信データを送信する第１の通信部と、を備え、
   前記サーバ装置は、
   前記送信データを受信する第２の通信部と、
   前記第２の通信部が受信した前記送信データに対して、前記第１の画像認識部よりも画像認識の精度が高い画像認識処理をして、前記撮像対象に前記所定の事象が発生したか否かを再度推定する第２の画像認識部と、を備える画像認識システム。
2. 前記サーバ装置は、
   前記サーバ装置の負荷が高いことを示す予め定められた条件を満たすか否かを判定する判定部と、
   前記予め定められた条件を満たさない場合、前記複数のセンサ装置のうち、前記撮像対象に前記所定の事象が発生したか否かの推定を、前記サーバ装置に依頼するセンサ装置に対して、前記送信データとして前記第１の時系列画像を要求し、前記予め定められた条件を満たす場合、前記依頼するセンサ装置に対して、前記送信データとして前記特徴マップを要求する要求部と、をさらに備え、
   前記第２の画像認識部は、前記第２の通信部が受信した前記送信データが前記第１の時系列画像のとき、前記第１の時系列画像を構成するそれぞれの前記部分画像の前記特徴マップを生成し、前記特徴マップを用いて、前記撮像対象に前記所定の事象が発生したか否かを推定し、
   前記第２の画像認識部は、前記第２の通信部が受信した前記送信データが前記特徴マップのとき、前記特徴マップを用いて、前記撮像対象に前記所定の事象が発生したか否かを推定する、請求項１に記載の画像認識システム。
3. 前記複数のセンサ装置は、それぞれ、前記取得部が取得した前記時系列画像の解像度を下げた第２の時系列画像を生成する第２の時系列画像生成部をさらに備え、
   前記第１の画像認識部は、前記時系列画像の替わりに、前記第２の時系列画像に対して前記画像認識処理をして、前記第２の時系列画像に写された前記撮像対象に前記所定の事象が発生したか否かを推定する、請求項１又は２に記載の画像認識システム。
4. 前記第１の画像認識部が前記撮像対象に前記所定の事象が発生した推定をしたとき、前記第１の通信部は、前記ネットワークを介して前記第２の時系列画像を送信し、
   前記第２の通信部は、前記第２の時系列画像を受信し、
   前記サーバ装置は、前記第２の通信部が受信した前記第２の時系列画像に対して、前記第１の画像認識部よりも画像認識の精度が高い画像認識処理をして、前記撮像対象に前記所定の事象が発生したか否かを推定する第３の画像認識部をさらに備え、
   前記第１の通信部は、前記第３の画像認識部が前記撮像対象に前記所定の事象が発生した推定をしたとき、前記送信データを送信する、請求項３に記載の画像認識システム。
5. 前記第３の画像認識部は、前記第２の時系列画像に対して、深層学習を用いた画像認識処理をすることにより、前記撮像対象に前記所定の事象が発生したか否かを推定する、請求項４に記載の画像認識システム。
6. 前記第２の画像認識部は、前記送信データに対して、深層学習を用いた画像認識処理をすることにより、前記撮像対象に前記所定の事象が発生したか否かを再度推定する、請求項１〜５のいずれか一項に記載の画像認識システム。
7. 前記画像認識システムは、
   前記第２の画像認識部が、前記撮像対象に前記所定の事象が発生した推定をしたとき、発報する発報部をさらに備える、請求項１〜６のいずれか一項に記載の画像認識システム。
8. 複数のセンサ装置と、前記複数のセンサ装置のそれぞれとネットワーク接続されたサーバ装置と、を用いる画像認識方法であって、
   前記複数のセンサ装置のそれぞれで実行されるステップであり、時系列に撮像された時系列画像を取得する第１のステップと、
   前記複数のセンサ装置のそれぞれで実行されるステップであり、前記時系列画像に対して画像認識処理をして、前記時系列画像に写された撮像対象に所定の事象が発生したか否かを推定する第２のステップと、
   前記複数のセンサ装置のそれぞれで実行されるステップであり、前記第２のステップにおいて、前記撮像対象に前記所定の事象が発生した推定をしたことを前提条件として、前記時系列画像を構成するそれぞれの画像から前記撮像対象の像を含む部分画像を切り出した第１の時系列画像、又は、前記第１の時系列画像を構成するそれぞれの前記部分画像の特徴マップを、前記サーバ装置に送信する送信データとして生成する第３のステップと、
   前記複数のセンサ装置のそれぞれで実行されるステップであり、前記ネットワークを介して前記送信データを送信する第４のステップと、
   前記サーバ装置で実行されるステップであり、前記送信データを受信する第５のステップと、
   前記サーバ装置で実行されるステップであり、前記第５のステップにおいて、受信した前記送信データに対して、前記第２のステップよりも画像認識の精度が高い画像認識処理をして、前記撮像対象に前記所定の事象が発生したか否かを再度推定する第６のステップと、を備える画像認識方法。

Images