JP7435609B2 - 画像処理システム、画像処理プログラム、および画像処理方法 - Google Patents

Description

本発明は、画像処理システム、画像処理プログラム、および画像処理方法に関する。

我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護等の対応を必要とする要介護者等の増加が想定される。

要介護者等は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落して怪我をするおそれがある。そのため、要介護者等がこのような状態になったときに介護士や看護師等のスタッフがすぐに駆けつけられるようにするために、撮影された画像から要介護者等の状態を検出するためのシステムの開発が進められている。このようなシステムで要介護者等の状態を検出するためには、画像から検知対象である人物の姿勢や行動を高精度で検出する必要がある。

下記特許文献１には、次の先行技術が開示されている。被監視者の所定の行動を検知して通知等をする検知ユニットによる監視機能を、端末ユニットから受信した情報等に基づいて停止する。これにより、必要に応じて監視機能を停止できるため、被監視者以外の者に対する誤検知を低減できる。

国際公開第２０１６／１５２４２８号

しかし、上記特許文献１に開示された先行技術は、被監視者以外の者の行動を被監視者の行動として誤検知することを防止できるが、被監視者の行動の検知精度を向上できないという問題がある。

本発明は、このような問題を解決するためになされたものである。すなわち、撮影された画像に基づく人物の行動の推定精度を向上できる、画像処理システム、画像処理プログラム、および画像処理方法を提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する特徴点検出部と、前記画像に基づいて、前記画像の中心領域から前記対象者へ向かう方向を算出する算出部と、検出された前記特徴点の中の所定の特徴点の並び方向と、算出された前記対象者へ向かう方向とに基づいて、前記対象者の行動が所定の行動に含まれる行動かどうか判定する判定部と、前記判定部により、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する出力部と、を有する画像処理システム。

（２）前記判定部は、前記所定の特徴点の並び方向と、前記対象者へ向かう方向とが所定の関係にある場合に、前記対象者の行動が前記所定の行動に含まれる行動であると判定する、上記（１）に記載の画像処理システム。

（３）前記所定の関係は、前記撮影装置から前記対象者までの距離に応じて設定される、上記（２）に記載の画像処理システム。

（４）前記所定の特徴点の並び方向は、２つの前記特徴点の一方から他方へ向かう特定方向である、上記（１）～（３）のいずれかに記載の画像処理システム。

（５）前記判定部は、複数の前記特定方向を用いて、前記対象者の行動が前記所定の行動に含まれる行動かどうか判定する、上記（４）に記載の画像処理システム。

（６）前記所定の関係は、前記所定の特徴点の並び方向と、前記対象者へ向かう方向とがなす角度が所定の閾値以上である、上記（２）または（３）に記載の画像処理システム。

（７）前記所定の行動は転倒および転落であり、前記判定部は、前記対象者の行動が、転倒および転落の少なくともいずれかであるかどうか判定する、上記（１）～（６）のいずれかに記載の画像処理システム。

（８）前記撮影装置は広角カメラであり、前記画像は、所定の領域を俯瞰する位置に設置された前記広角カメラにより撮影された前記所定の領域を含む画像である、上記（１）～（７）のいずれかに記載の画像処理システム。

（９）前記対象者へ向かう方向は、前記画像の中心領域に含まれる点と、前記所定の特徴点と、に基づいて算出される方向である、上記（１）～（８）のいずれかに記載の画像処理システム。

（１０）撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する手順（ａ）と、前記画像に基づいて、前記画像の中心領域から前記対象者へ向かう方向を算出する手順（ｂ）と、検出された前記特徴点の中の所定の特徴点の並び方向と、算出された前記対象者へ向かう方向とに基づいて、前記対象者の行動が所定の行動に含まれる行動かどうか判定する手順（ｃ）と、前記手順（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する手順（ｄ）と、を有する処理をコンピューターに実行させるための画像処理プログラム。

（１１）画像処理システムに実行させる方法であって、撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する段階（ａ）と、前記画像に基づいて、前記画像の中心領域から前記対象者へ向かう方向を算出する段階（ｂ）と、検出された前記特徴点の中の所定の特徴点の並び方向と、算出された前記対象者へ向かう方向とに基づいて、前記対象者の行動が所定の行動に含まれる行動かどうか判定する段階（ｃ）と、前記段階（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する段階（ｄ）と、を有する画像処理方法。

撮影された画像に基づいて対象者の体に関する特徴点を検出し、所定の特徴点の並び方向と、画像の中心領域から対象者へ向かう方向とに基づいて、対象者の行動が所定の行動に含まれるか判定し、含まれると判定したときに対象者の行動に関する情報を出力する。これにより、撮影された画像に基づく人物の行動の推定精度を向上できる。

画像認識システムの概略構成を示す図である。 検出部の構成を示すブロック図である。 画像において検出された人物領域を示す図である。 特徴点を示す図である。 特徴点並び方向を示す図である。 広角カメラによる画像において、特徴点並び方向と対象者方向を示す図である。 広角カメラによる画像において、対象者が歩行しているときの特徴点並び方向と対象者方向との関係を示す図である。 広角カメラによる画像において、対象者が転倒および転落の少なくともいずれかをしているときの特徴点並び方向と対象者方向との関係を示す図である。 サーバーの構成を示すブロック図である。 携帯端末の構成を示すブロック図である。 画像認識システムの動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る、画像処理システム、画像処理プログラム、および画像処理方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また、２つの方向がなす角度は、例えば、６０度と３００度（３６０度－６０度）というように２つの角度が観念できるが、本明細書においては、当該２つの角度のうち小さい方の角度のことを意味する。

図１は、画像認識システム１０の概略構成を示す図である。

画像認識システム１０は、検出部１００、サーバー２００、通信ネットワーク３００、および携帯端末４００を有する。検出部１００は、通信ネットワーク３００によりサーバー２００および携帯端末４００と相互に通信可能に接続される。携帯端末４００はアクセスポイント３１０を介して通信ネットワーク３００と接続され得る。検出部１００は、画像処理システムを構成する。検出部１００は、１つの一体化された装置でも、分離配置される複数の装置でもあり得る。なお、後述するように、検出部１００の機能の一部をサーバー２００が実施するようにしてもよい。

（検出部１００）
図２は、検出部１００の構成を示すブロック図である。図２の例に示すように、検出部１００は、制御部１１０、通信部１２０、カメラ１３０、および体動センサー１４０を備え、これらはバスによって相互に接続されている。カメラ１３０は、撮影装置を構成する。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って検出部１００の各部の制御および演算処理を行う。制御部１１０は、特徴点検出部、算出部、および判定部を構成する。制御部１１０は、通信部１２０とともに出力部を構成する。制御部１１０の作用の詳細については後述する。

通信部１２０は、通信ネットワーク３００を介して、携帯端末４００等と通信するためのインターフェース回路（例えばＬＡＮカード等）である。

カメラ１３０は、例えば広角カメラである。カメラ１３０は、検出部１００が対象者５００の居室の天井等に設置されることで、所定の領域を俯瞰する位置に設置され、当該所定の領域を含む画像（以下、単に「画像６００」とも称する）を撮影する。対象者５００は、例えばスタッフ等により介護または看護を必要とする者である。所定の領域は対象者５００の居室の床面全体を含む３次元の領域であり得る。カメラ１３０は、広角カメラより画角が狭い標準カメラであってもよい。以下、説明を簡単にするために、カメラ１３０は、広角カメラであるものとして説明する。画像６００には、対象者５００が画像として含まれ得る。画像６００には、静止画および動画が含まれる。カメラ１３０は近赤外線カメラであり、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｅｖｉｃｅ）により近赤外線を撮影領域に向けて照射し、撮影領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで所定の領域を撮影し得る。画像６００は近赤外線の反射率を各画素とするモノクロ画像であり得る。カメラ１３０は、近赤外線カメラに代替して可視光カメラを用いてもよく、これらを併用してもよい。

体動センサー１４０は、ベッド７００に対してマイクロ波を送受信して対象者５００の体動（例えば呼吸動）によって生じたマイクロ波のドップラシフトを検出するドップラシフト方式のセンサーである。

制御部１１０の作用について説明する。

制御部１１０は、画像６００から人の画像のシルエット（以下、「人シルエット」と称する）を検出する。人シルエットは、例えば、撮影時刻が前後する画像（フレーム）の差分を抽出する時間差分法により差分が相対的に大きい画素の範囲を抽出することで検出され得る。人シルエットは、撮影画像と背景画像との差分を抽出する背景差分法により検出されてもよい。制御部１１０は、人シルエットに基づいて、対象者５００の所定の行動を検出し得る。所定の行動には、例えば、転倒および転落が含まれる。制御部１１０は、例えば、検出されたシルエットの重心が、時系列で動いていた状態から急に停止した状態に変化したことや、人シルエットに対応する矩形のアスペクト比の変化等により、転倒を検出し得る。制御部１１０は、例えば、人シルエットがベッド７００の領域内に存在している状態から急にベッド７００の領域外に存在している状態に変化したことや、人シルエットに対応する矩形のアスペクト比の変化等により、転落を検出し得る。画像６００におけるベッド７００の領域は、検出部１００が設置される際に予め設定され、データとして制御部１１０のメモリに記憶され得る。

制御部１１０は、画像６００に基づいて、対象者５００を含む領域として、人物領域６１０を検出し、人物領域６１０から、人の体に関する特徴点（以下、単に「特徴点６２０」と称する）を検出する。

図３は、画像６００において検出された人物領域６１０を示す図である。

制御部１１０は、画像６００から、人物である対象者５００を含む領域を人物領域６１０として検出する。具体的には、制御部１１０は、画像６００上で物体（オブジェクト）が存在する領域を検出し、検出した領域に含まれる物体のカテゴリーを推定することで、人物領域６１０を検出し得る。物体が存在する領域は、画像６００上で物体が含まれる矩形（候補矩形）として検出され得る。検出部１００は、検出された候補矩形のうち、物体のカテゴリーが人物であると推定された候補矩形を検出することで、人物領域６１０を検出する。人物領域６１０は、ニューラルネットワーク（以下、「ＮＮ」と称する）を用いて検出され得る。ＮＮによる人物領域６１０の検出方法としては、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、およびＲ－ＣＮＮといった公知の方法が挙げられる。画像６００から人物領域６１０を検出するためのＮＮは、画像６００と、当該画像６００に対する正解として設定された人物領域６１０との組合せの教師データを用いて、画像６００から人物領域６１０を検出（推定）するための学習が予めされる。

図４は、特徴点６２０を示す図である。

制御部１１０は、人物領域６１０に基づいて、特徴点６２０を検出する。特徴点６２０には、関節点６２１、および頭部（例えば、頭部矩形）の対頂点６２２が含まれ得る。特徴点６２０には、例えば、足の先端の２つの関節点６２１ａ、６２１ｂの中央点６２１ｃがさらに含まれ得る。当該中央点６２１ｃは、足の先端の２つの関節点６２０ａ、６２１ｂに基づいて算出される。特徴点６２０は、ＤｅｅｐＰｏｓｅ等のＮＮを用いた公知の技術により検出され得る。特徴点６２０は、画像６００における座標として検出（および算出）され得る。ＤｅｅｐＰｏｓｅについては、公知の文献（Alexander Toshev, et al. “DeepPose: Human Pose Estimation via Deep Neural Networks”, in CVPR, 2014）に詳細が記載されている。人物領域６１０から特徴点６２０を検出するためのＮＮは、人物領域６１０と、当該人物領域６１０に対する正解として設定された特徴点６２０との組合せの教師データを用いて、人物領域６１０から特徴点６２０を検出（推定）するための学習が予めされる。なお、特徴点６２０は、画像６００から特徴点６２０を検出するためのＮＮを用いて、画像６００から直接推定されてもよい。この場合、画像６００から特徴点６２０を検出するためのＮＮは、画像６００と、当該画像６００に対する正解として設定された特徴点６２０との組合せの教師データを用いて、画像６００から特徴点６２０を検出（推定）するための学習が予めされる。

制御部１１０は、画像６００に基づいて、画像６００の中心領域から、画像６００上の対象者５００へ向かう方向（以下、「対象者方向」とも称する）を算出する。画像６００の中心領域には、画像６００の中心が含まれる。以下、説明を簡単にするために、対象者方向は、画像６００の中心から対象者５００の特徴点６２０の重心に向かう方向であるものとして説明する。なお、対象者方向は、画像６００の中心から人物領域６１０の中心に向かう方向であってもよい。また、対象者方向は、画像６００の中心から腰の中心の関節点６２１ｅに向かう方向等であってもよい。

制御部１１０は、検出された特徴点６２０の中の所定の特徴点６２０の並び方向（以下、「特徴点並び方向」とも称する）と、対象者方向とに基づいて、対象者５００の行動が所定の行動に含まれる行動かどうかを判定する。所定の特徴点６２０は、対象者５００の身長方向に並ぶ複数の特徴点６２０であり、所定の行動に含まれるかどうかの判定精度の観点から、実験により、検出された特徴点６２０の中から、適当に選択され得る。特徴点並び方向は、２つの所定の特徴点の一方から他方へ向かう方向（以下、「特定方向」とも称する）であり得る。特徴点並び方向は、３つ以上の所定の特徴点からの距離の２乗和が最小となる直線と平行な方向であってもよい。所定の行動は、複数の行動であっても単一の行動であってもよい。所定の行動には、転倒および転落が含まれ得る。具体的には、制御部１１０は、人シルエット等に基づいて、対象者５００の行動が所定の行動の中のいずれか（例えば、転倒）として検出された場合に、特徴点並び方向と対象者方向とに基づいて、検出された行動が、所定の行動に含まれる行動（例えば、転倒および転落）に該当するかどうかを判定（再判断）する。対象者５００の行動が、所定の行動に含まれる行動かどうかの判定は、人シルエットに基づいて所定の行動のいずれか１つが検出された画像６００に対して行われる。

図５は、特徴点並び方向を示す図である。特徴点並び方向は、図５において、実線の矢印で示されている。

図５の例においては、所定の特徴点を、足の先端の２つの関節点６２０ａ、６２０ｂの中央点６２１ｃと、肩の中心の関節点６２１ｄの２つの特徴点６２０とし、足の先端の２つの関節点６２０ａ、６２０ｂの中央点６２１ｃから肩の中心の関節点６２１ｄへ向かう方向を特徴点並び方向としている。特徴点並び方向は、足の先端の２つの関節点６２０ａ、６２０ｂの中央点６２１ｃから腰の中心の関節点６２１ｅへ向かう方向であってもよい。また、特徴点並び方向は、腰の中心の関節点６２１ｅから肩の中心の関節点６２１ｄへ向かう方向等であってもよい。

特徴点並び方向と、対象者方向とに基づく、対象者５００の行動が所定の行動に含まれるかどうかの判定方法について、さらに詳細に説明する。

制御部１１０は、特徴点並び方向と、対象者方向とが所定の関係にある場合に、対象者５００の行動が、所定の行動に含まれる行動であると判定する。例えば、制御部１１０は、特徴点並び方向と、対象者方向とがなす角度が所定の閾値以上である場合に、対象者５００の行動が、所定の行動に含まれる行動であると判定する。所定の閾値は、対象者５００の行動が、所定の行動に含まれるかどうかの判定精度の観点から、実験により、適当に設定し得る。

図６は、広角カメラによる画像６００において、特徴点並び方向と対象者方向を示す図である。図７は、広角カメラによる画像６００において、対象者５００が歩行しているときの特徴点並び方向と対象者方向との関係を示す図である。図８は、広角カメラによる画像６００において、対象者５００が転倒および転落の少なくともいずれかをしているときの特徴点並び方向と対象者方向との関係を示す図である。これらの図においては、特徴点並び方向が、画像６００上の実線の矢印として示されている。また、対象者方向が、破線の矢印として示されている。図６においては、特徴点６２０が、対象者５００の画像とともにさらに示されている。

対象者５００が歩行という行動をしている場合は、対象者５００は立位の姿勢にある。対象者５００が転倒および転落のいずれかの行動をしている場合は、対象者５００は臥位の姿勢にある。図７および図８を参照すると、対象者５００が立位の姿勢である場合は、特徴点並び方向と対象者方向とは互いに平行に近い方向になり、両者のなす角度θは比較的小さくなる。対象者５００が臥位の姿勢である場合は、特徴点並び方向と対象者方向とは互いに直交に近づき、両者のなす角度θは比較的大きくなる。この傾向は、広角カメラによる画像６００では、広角カメラの広角レンズのもつ歪み特性に起因してより顕著になるが、画像６００が比較的広い領域を俯瞰して撮影された画像であれば、標準カメラによる画像６００であっても、同様な傾向が見られる。従って、特徴点並び方向と、対象者方向とがなす角度θが所定の閾値以上であれば、対象者５００の行動が、所定の行動である転倒および転落の少なくともいずれかであると判定できる。なお、特徴点並び方向と、対象者方向とに基づく判定では、転倒および転落を区別しない。しかし、転倒か転落かは、人シルエットに基づく所定の行動の検出において区別されているため、転倒および転落の少なくともいずれかであると判定できれば十分である。人シルエットに基づいて転倒または転落が検出されたときに、さらに、特徴点並び方向と、対象者方向とに基づいて、転倒および転落の少なくともいずれかであると判定することにより、転倒および転落の検出精度を向上できる。

上述した、対象者５００の行動が、所定の行動である、転倒および転落の少なくともいずれかであると判定するための、特徴点並び方向と、対象者方向とがなす角度θに設定される所定の閾値は、カメラ１３０から対象者５００までの距離に応じて設定され得る。カメラ１３０から対象者５００までの距離は、画像６００における、画像６００の中心から対象者５００までの距離に対応する。従って、所定の閾値が、カメラ１３０から対象者５００までの距離に応じて設定されることは、所定の閾値が、画像６００における、画像６００の中心から対象者５００までの距離に応じて設定されることに対応する。例えば、画像６００の中心から比較的短い距離の範囲内を第１範囲、画像６００の中心から比較的遠い距離の範囲内を第３範囲、第１範囲と第３範囲の間の範囲を第２範囲とする。そして、第１範囲に設定する所定の第１閾値、第２範囲に設定する所定の第２閾値、第３範囲に設定する所定の第３閾値の順に、閾値である角度を大きく設定し得る。例えば、第１閾値を８０度、第２閾値を７０度、第３閾値を６０度に設定する。これにより、画像６００の中心からの距離が短いほど所定の行動に含まれると判定する基準を厳しい基準にする。これは、画像６００の中心に近い対象者５００の方が、立位の姿勢と、臥位の姿勢とにおける、特徴点並び方向と、対象者方向とがなす角度θの差が小さくなる傾向があるため、所定の行動に該当するかどうかの判定が困難になるからである。この傾向は、広角カメラで撮影された画像６００のように、広角レンズの特性に起因して、画像６００の中心の歪みは比較的小さく、周辺に行くに従い歪みが大きくなっているような場合に特に顕著になる。

制御部１１０は、複数の特定方向（２つの所定の特徴点の一方から他方へ向かう方向）を用い、複数の特定方向と対象者方向との関係に基づいて、所定の行動に含まれるかどうか判定し得る。例えば、足の先端の２つの関節点６２０ａ、６２０ｂの中央点６２１ｃから腰の中心の関節点６２１ｅへ向かう方向を第１特定方向として、当該第１特定方向と対象者方向とのなす角度が所定の閾値以上であるかどうか判断する。腰の中心の関節点６２１ｅから肩の中心の関節点６２１ｄへ向かう方向を第２特定方向として、当該第２特定方向と対象者方向とのなす角度が所定の閾値以上であるかどうか判断する。そして、いずれかの角度が所定の閾値以上であると判断した場合に、所定の行動の少なくともいずれかの行動（所定の行動に含まれる行動）であると判定し得る。

制御部１１０は、特徴点並び方向と、対象者方向とに基づいて、対象者５００の行動が所定の行動の少なくともいずれかの行動であると判定した場合、対象者５００の行動に関する情報を、通信部１２０によりサーバー２００に送信すること等により、出力する。対象者５００の行動に関する情報は、対象者５００の行動が所定の行動の少なくともいずれかであることを示す第１情報、または、人シルエットに基づき検出された所定の行動の確度（確率）が高いことを示す第２情報であり得る。第１情報は、例えば、「対象者５００の行動が、転倒および転落の少なくともいずれかである」という情報である。第２情報は、例えば、「検出された行動である確率が高い」という情報である。制御部１１０は、対象者５００の行動に関する情報と関連付けて、人シルエットに基づいて検出された、対象者５００の所定の行動を示す行動特定情報をさらにサーバー２００等に送信し得る。第１情報、第２情報、および行動特定情報には、対象者５００のＩＤ（番号）等の対象者５００を特定する情報、および画像６００の撮影時間等が含まれることで関連付けされ得る。後述するように、サーバー２００において、行動特定情報と、対象者５００の行動に関する情報と、に基づいて、対象者５００が、人シルエットに基づいて検出された所定の行動をしたという最終判断がされ得る。

一方、制御部１１０が、人シルエットに基づいて対象者５００の所定の行動のいずれかが検出され、かつ、特定方向と対象者方向との関係に基づいて所定の行動の少なくともいずれかであると判定された場合に、対象者５００が人シルエットに基づいて検出された所定の行動をしたという最終判断をしてもよい。この場合、制御部１１０は、対象者５００が所定の行動をしたという最終判断を示す第３情報を、対象者５００の行動に関する情報としてサーバー２００等に送信（出力）し得る。なお、行動特定情報はサーバー２００等に送信される必要はない。第３情報は、例えば、「対象者５００が転倒した」という情報である。第３情報には、対象者５００の氏名等の対象者５００を特定する情報が含まれる。

（サーバー２００）
図９は、サーバー２００の構成を示すブロック図である。サーバー２００は、制御部２１０、通信部２２０、および記憶部２３０を備える。各構成要素は、バスによって、相互に接続されている。

制御部２１０および通信部２２０の基本構成は、検出部１００の対応する構成要素である、制御部１１０および通信部１２０と同様である。

制御部２１０は、通信部２２０により、検出部１００から対象者５００の行動に関する情報を受信する。制御部２１０は、検出部１００から行動特定情報をさらに受信し得る。

制御部２１は、対象者５００の行動に関する情報が、対象者５００の行動が所定の行動の少なくともいずれかであることを示す第１情報である場合、対象者５００が、行動特定情報が示す所定の行動をしたという最終判断をする。制御部２１は、対象者５００の行動に関する情報が、人シルエットに基づき検出された所定の行動の確度（確率）が高いことを示す第２情報である場合も、同様に、対象者５００が、行動特定情報が示す所定の行動をしたという最終判断をする。制御部２１は、行動特定情報が示す所定の行動をしたという最終判断をしたときに、対象者５００が所定の行動（例えば、転倒）をしたことをスタッフ等に通知するためのイベント通知を、携帯端末４００等に送信し得る。

制御部２１は、対象者５００の行動に関する情報が、対象者５００の所定の行動をしたという最終判断を示す第３情報である場合、対象者５００が所定の行動をしたことをスタッフ等に通知するためのイベント通知を、携帯端末４００等に送信し得る。

なお、サーバー２００は、検出部１００の機能の一部を代替して実施し得る。例えば、サーバー２００は、検出部１００から画像６００を受信し、画像６００から人シルエットを検出し、人シルエットに基づいて、対象者５００の所定の行動を検出する。対象者５００の所定の行動が検出されたときに、人物領域６１０を検出して、人物領域６１０に基づいて、特徴点６２０を検出する。そして、画像６００等に基づいて対象者方向を算出し、特徴点並び方向と対象者方向とに基づいて、人シルエットに基づいて検出された対象者５００の所定の行動が、所定の行動に含まれる行動かどうか判定し得る。

（携帯端末４００）
図１０は、携帯端末４００の構成を示すブロック図である。携帯端末４００は、制御部４１０、無線通信部４２０、表示部４３０、入力部４４０、および音声入出力部４５０を備える。各構成要素は、バスにより相互に接続されている。携帯端末４００は、例えば、タブレット型コンピューター、スマートフォン、または携帯電話等の通信端末機器によって構成され得る。

制御部４１０は、検出部１００の制御部１１０の構成と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭなどの基本構成を備える。

無線通信部４２０は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの規格による無線通信を行う機能を有し、アクセスポイントを経由して、または直接に各装置と無線通信する。無線通信部４２０は、イベント通知をサーバー２００から受信する。

表示部４３０および入力部４４０は、タッチパネルであり、液晶などで構成される表示部４３０の表示面に、入力部４４０としてのタッチセンサーが設けられる。表示部４３０、入力部４４０によって、イベント通知を表示する。そして、イベント通知に関する対象者５００への対応を促す入力画面を表示するとともに、当該入力画面に入力された、スタッフによるイベント通知への対応の意思を受け付ける。

音声入出力部４５０は、例えばスピーカーとマイクであり、無線通信部４２０を介して他の携帯端末４００との間でスタッフ相互間の音声通話を可能にする。また、音声入出力部４５０は、無線通信部４２０を介して検出部１００との間で音声通話を可能にする機能を備え得る。

画像認識システム１０の動作について説明する。

図１１は、画像認識システム１０の動作を示すフローチャートである。本フローチャートは、プログラムに従い、制御部１１０により実行される。

制御部１１０は、画像６００から検出した人シルエットに基づいて、対象者５００の所定の行動を検出したことを契機に、画像６００に基づいて、対象者５００の特徴点６２０を検出する（Ｓ１０１）。

制御部１１０は、検出された特徴点６２０に基づいて、特徴点並び方向を算出する（Ｓ１０２）。

制御部１１０は、画像６００および特徴点６２０に基づいて、対象者方向を算出する（Ｓ１０３）。

制御部１１０は、特徴点並び方向と、対象者方向とに基づいて、対象者５００の行動が所定の行動である、転倒および転落の少なくともいずれかであるかどうか（転倒および転落に含まれるかどうか）を判定する（Ｓ１０４）。

制御部１１０は、対象者５００の行動が所定の行動である、転倒および転落のいずれでもないと判定した場合は（Ｓ１０５：ＮＯ）、処理を終了する。

制御部１１０は、対象者５００の行動が所定の行動である、転倒および転落の少なくともいずれかであると判定した場合は（Ｓ１０５：ＹＥＳ）、対象者の行動に関する情報をサーバー２００へ送信することで出力する（Ｓ１０６）。

実施形態は以下の効果を奏する。

撮影された画像に基づいて対象者の特徴点を検出し、特徴点並び方向と、対象者方向とに基づいて、対象者の行動が所定の行動に含まれるか判定し、含まれると判定したときに対象者の行動に関する情報を出力する。これにより、撮影された画像に基づく人物の行動の推定精度を向上できる。

さらに、特徴点並び方向と、対象者方向とが所定の関係にある場合に、対象者の行動が所定の行動であると判定する。これにより、撮影された画像に基づく人物の行動の推定精度をさらに向上できる。

さらに、上記所定の関係を、撮影装置から対象者までの距離に応じて設定する。これにより、対象者の位置によらず、画像に基づいて人物の行動を高精度に推定できる。

さらに、特徴点並び方向を、２つの特徴点の一方から他方へ向かう特定方向とする。これにより、より簡単に、撮影された画像に基づく人物の行動の推定精度を向上できる。

さらに、複数の特定方向を用いて、対象者の行動が所定の行動に含まれるか判定する。これにより、対象者の同じ姿勢に属する様々な体勢について、画像に基づいて人物の行動を高精度に推定できる。

さらに、所定の関係を、特徴点並び方向と、対象者方向とがなす角度が所定の閾値以上とする。これにより、さらに簡単に、撮影された画像に基づく人物の行動の推定精度を向上できる。

さらに、所定の行動を転倒および転落とし、対象者の行動が、転倒および転落の少なくともいずれかであるかどうかを判定する。これにより、撮影された画像に基づく人物の行動の推定精度をさらに向上できる。

さらに、画像を、所定の領域を俯瞰する位置に設置された広角カメラにより撮影された所定の領域を含む画像とする。これにより、より効果的に、撮影された画像に基づく人物の行動の推定精度を向上できる。

さらに、対象者方向を、画像の中心領域に含まれる点と、特徴点とに基づいて算出される方向とする。これにより、対象者方向の算出に特徴点の算出結果を利用できる。

以上に説明した画像認識システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像認識システムが備える構成を排除するものではない。

例えば、実施形態においては、特徴点並び方向と、対象者方向とがなす角度が所定の閾値以上となった場合に、対象者の行動が所定の行動に含まれると判定している。しかし、例えば、特徴点並び方向と、対象者方向とがなす角度の正弦値を算出し、算出した正弦値が所定の閾値以上である場合に、対象者の行動が所定の行動に含まれると判定してもよい。

また、検出部１００、サーバー２００、および携帯端末４００は、それぞれ複数の装置により構成されてもよく、いずれか複数の装置が単一の装置として構成されてもよい。

また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

また、上述した画像認識システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。

本出願は、２０１９年８月７日に出願された日本特許出願（特願２０１９－１４５５１１号）に基づいており、その開示内容は、参照され、全体として、組み入れられている。

Claims (11)

1. 撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する特徴点検出部と、
   前記画像に基づいて、前記画像の中心領域から前記対象者へ向かう方向を算出する算出部と、
   検出された前記特徴点の中の所定の特徴点の並び方向と、算出された前記対象者へ向かう方向とに基づいて、前記対象者の行動が所定の行動に含まれる行動かどうか判定する判定部と、
   前記判定部により、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する出力部と、
   を有する画像処理システム。
2. 前記判定部は、前記所定の特徴点の並び方向と、前記対象者へ向かう方向とが所定の関係にある場合に、前記対象者の行動が前記所定の行動に含まれる行動であると判定する、請求項１に記載の画像処理システム。
3. 前記所定の関係は、前記撮影装置から前記対象者までの距離に応じて設定される、請求項２に記載の画像処理システム。
4. 前記所定の特徴点の並び方向は、２つの前記特徴点の一方から他方へ向かう特定方向である、請求項１～３のいずれか一項に記載の画像処理システム。
5. 前記判定部は、複数の前記特定方向を用いて、前記対象者の行動が前記所定の行動に含まれる行動かどうか判定する、請求項４に記載の画像処理システム。
6. 前記所定の関係は、前記所定の特徴点の並び方向と、前記対象者へ向かう方向とがなす角度が所定の閾値以上である、請求項２または３に記載の画像処理システム。
7. 前記所定の行動は転倒および転落であり、
   前記判定部は、前記対象者の行動が、転倒および転落の少なくともいずれかであるかどうか判定する、請求項１～６のいずれか一項に記載の画像処理システム。
8. 前記撮影装置は広角カメラであり、前記画像は、所定の領域を俯瞰する位置に設置された前記広角カメラにより撮影された前記所定の領域を含む画像である、請求項１～７のいずれか一項に記載の画像処理システム。
9. 前記対象者へ向かう方向は、前記画像の中心領域に含まれる点と、前記所定の特徴点と、に基づいて算出される方向である、請求項１～８のいずれか一項に記載の画像処理システム。
10. 撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する手順（ａ）と、
    前記画像に基づいて、前記画像の中心領域から前記対象者へ向かう方向を算出する手順（ｂ）と、
    検出された前記特徴点の中の所定の特徴点の並び方向と、算出された前記対象者へ向かう方向とに基づいて、前記対象者の行動が所定の行動に含まれる行動かどうか判定する手順（ｃ）と、
    前記手順（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する手順（ｄ）と、
    を有する処理をコンピューターに実行させるための画像処理プログラム。
11. 画像処理システムに実行させる方法であって、
    撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する段階（ａ）と、
    前記画像に基づいて、前記画像の中心領域から前記対象者へ向かう方向を算出する段階（ｂ）と、
    検出された前記特徴点の中の所定の特徴点の並び方向と、算出された前記対象者へ向かう方向とに基づいて、前記対象者の行動が所定の行動に含まれる行動かどうか判定する段階（ｃ）と、
    前記段階（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する段階（ｄ）と、
    を有する画像処理方法。