JP7388440B2 - 画像処理システム、画像処理プログラム、および画像処理方法 - Google Patents

Description

本発明は、画像処理システム、画像処理プログラム、および画像処理方法に関する。

我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護等の対応を必要とする要介護者等の増加が想定される。

要介護者等は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落したりして怪我をするおそれがある。そのため、要介護者等がこのような状態になったときに介護士や看護師等のスタッフがすぐに駆けつけられるようにするために、撮影された画像から要介護者等の状態を検出するためのシステムの開発が進められている。このようなシステムで要介護者等の状態を検出するためには、画像から検知対象である人物の姿勢や行動を高精度で検出する必要がある。

下記特許文献１には、次の先行技術が開示されている。被監視者の所定の行動を検知して通知等をする検知ユニットによる監視機能を、端末ユニットから受信した情報等に基づいて停止する。これにより、必要に応じて監視機能を停止できるため、被監視者以外の者に対する誤検知を低減できる。

国際公開第２０１６／１５２４２８号

しかし、上記特許文献１に開示された先行技術は、被監視者以外の者の行動を被監視者の行動として誤検知することを防止できるが、被監視者の行動の検知精度を向上できないという問題がある。

本発明は、このような問題を解決するためになされたものである。すなわち、撮影された画像に基づく人物の行動の推定精度を向上できる、画像処理システム、画像処理プログラム、および画像処理方法を提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する特徴点検出部と、検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する算出部と、算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する判定部と、前記判定部により、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する出力部と、を有し、前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位の長さの変化を算出し、前記判定部は、前記対象者の所定部位の長さの変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する画像処理システム。

（２）前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位同士の角度の変化を算出し、前記判定部は、前記対象者の所定部位同士の角度の変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する上記（１）に記載の画像処理システム。

（３）前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の頭部の大きさまたは形状の変化を算出し、前記判定部は、前記対象者の頭部の大きさまたは形状の変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する上記（１）または（２）に記載の画像処理システム。

（４）前記算出部は、前記幾何特徴として、前記画像上における前記対象者の位置を算出し、前記判定部は、前記画像上における前記対象者の位置を考慮して前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する上記（１）～（３）のいずれか一つに記載の画像処理システム。

（５）前記特徴点検出部によって検出された前記特徴点に基づいて、前記対象者の姿勢を推定する推定部をさらに有し、前記判定部は、前記幾何特徴および前記姿勢を用いて、前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する上記（１）～（４）のいずれか一つに記載の画像処理システム。

（６）前記所定の行動は転倒および転落であり、前記判定部は、前記対象者の行動が、転倒および転落の少なくともいずれかであるかどうか判定する、上記（１）～（５）のいずれか一つに記載の画像処理システム。

（７）前記撮影装置は広角カメラであり、前記画像は、所定の領域を俯瞰する位置に設置された前記広角カメラにより撮影された前記所定の領域を含む画像である、上記（１）～（６）のいずれか一つに記載の画像処理システム。

（８）撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する手順（ａ）と、検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する手順（ｂ）と、算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する手順（ｃ）と、前記手順（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する手順（ｄ）と、を有し、前記手順（ｂ）においては、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位の長さの変化を算出し、前記手順（ｃ）においては、前記対象者の所定部位の長さの変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する処理をコンピューターに実行させるための画像処理プログラム。

（９）画像処理システムに実行させる方法であって、撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する段階（ａ）と、検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する段階（ｂ）と、算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する段階（ｃ）と、前記段階（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する段階（ｄ）と、を有し、前記段階（ｂ）においては、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位の長さの変化を算出し、前記段階（ｃ）においては、前記対象者の所定部位の長さの変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する画像処理方法。

撮影された画像に基づいて対象者の体に関する特徴点を検出し、検出された特徴点に基づいて算出される画像上における対象者の幾何特徴を用いて、対象者の行動が所定の行動に含まれる行動であるか否かを判定し、含まれると判定したときに対象者の行動に関する情報を出力する。これにより、撮影された画像に基づく対象者の行動の推定精度を向上できる。

画像認識システムの概略構成を示す図である。 検出部の構成を示すブロック図である。 制御部の機能ブロック図である。 画像において検出された人物領域を示す図である。 特徴点を示す図である。 画像上における所定部位の長さの変化によって転倒または転落したことを判定する例を説明するための図である。 画像上における所定部位同士の角度の変化によって転倒または転落したことを判定する例を説明するための図である。 画像上における頭部の大きさの変化によって転倒または転落したことを判定する例を説明するための図である。 サーバーの構成を示すブロック図である。 携帯端末の構成を示すブロック図である。 画像認識システムの動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る、画像処理システム、画像処理プログラム、および画像処理方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また、２つの方向（線）がなす角度は、例えば、６０度と３００度（３６０度－６０度）というように２つの角度が観念できるが、本明細書においては、当該２つの角度のうち小さい方の角度のことを意味する。

図１は、画像認識システム１０の概略構成を示す図である。

画像認識システム１０は、検出部１００、サーバー２００、通信ネットワーク３００、および携帯端末４００を有する。検出部１００は、通信ネットワーク３００によりサーバー２００および携帯端末４００と相互に通信可能に接続される。携帯端末４００はアクセスポイント３１０を介して通信ネットワーク３００と接続され得る。検出部１００は、画像処理システムを構成する。検出部１００は、１つの一体化された装置でも、分離配置される複数の装置でもあり得る。なお、後述するように、検出部１００の機能の一部をサーバー２００が実施するようにしてもよい。

（検出部１００）
図２は、検出部１００の構成を示すブロック図である。図２の例に示すように、検出部１００は、制御部１１０、通信部１２０、カメラ１３０、および体動センサー１４０を備え、これらはバスによって相互に接続されている。カメラ１３０は、撮影装置を構成する。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って検出部１００の各部の制御および演算処理を行う。制御部１１０は、特徴点検出部、算出部、判定部、出力部、および推定部を構成する。制御部１１０の作用の詳細については後述する。

通信部１２０は、通信ネットワーク３００を介して、携帯端末４００等と通信するためのインターフェース回路（例えばＬＡＮカード等）である。

カメラ１３０は、例えば広角カメラである。カメラ１３０は、検出部１００が対象者５００の居室の天井等に設置されることで、所定の領域を俯瞰する位置に設置され、当該所定の領域を含む画像（以下、単に「画像６００」とも称する）を撮影する。対象者５００は、例えばスタッフ等により介護または看護を必要とする者である。所定の領域は対象者５００の居室の床面全体を含む３次元の領域であり得る。カメラ１３０は、広角カメラより画角が狭い標準カメラであってもよい。以下、説明を簡単にするために、カメラ１３０は、広角カメラであるものとして説明する。画像６００には、対象者５００が画像として含まれ得る。画像６００には、静止画および動画が含まれる。カメラ１３０は近赤外線カメラであり、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｅｖｉｃｅ）により近赤外線を撮影領域に向けて照射し、撮影領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで所定の領域を撮影し得る。画像６００は近赤外線の反射率を各画素とするモノクロ画像であり得る。カメラ１３０は、近赤外線カメラに代替して可視光カメラを用いてもよく、これらを併用してもよい。

体動センサー１４０は、ベッド７００に対してマイクロ波を送受信して対象者５００の体動（例えば呼吸動）によって生じたマイクロ波のドップラシフトを検出するドップラシフト方式のセンサーである。

制御部１１０の作用について説明する。

図３は、制御部１１０の機能ブロック図である。制御部１１０は、特徴点検出部１１１、算出部１１２、判定部１１３、および出力部１１４として機能する。

特徴点検出部１１１は、カメラ１３０によって撮影された、対象者５００を含む画像６００に基づいて、対象者５００の体に関する特徴点６２０を検出する。

算出部１１２は、特徴点検出部１１１によって検出された特徴点６２０に基づいて、画像６００上における対象者５００の幾何特徴を算出する。

判定部１１３は、算出部１１２によって算出された幾何特徴を用いて、対象者５００の行動が所定の行動に含まれる行動であるか否かを判定する。

出力部１１４は、判定部１１３によって対象者５００の行動が所定の行動に含まれる行動であると判定された場合に、対象者５００の行動に関する情報を出力する。

また、制御部１１０は、推定部１１５として機能してもよい。この場合、推定部１１５は、特徴点検出部１１１によって検出された特徴点６２０に基づいて、対象者５００の姿勢を推定する。この場合、判定部１１３は、算出部１１２によって算出された幾何特徴および推定部１１５によって推定された姿勢を用いて、対象者５００の行動が所定の行動に含まれる行動であるか否かを判定する。以下、制御部１１０の作用についてより詳細に説明する。

制御部１１０は、画像６００から人の画像のシルエット（以下、「人シルエット」と称する）を検出する。人シルエットは、例えば、撮影時刻が前後する画像（フレーム）の差分を抽出する時間差分法により差分が相対的に大きい画素の範囲を抽出することで検出され得る。人シルエットは、撮影画像と背景画像との差分を抽出する背景差分法により検出されてもよい。制御部１１０は、人シルエットに基づいて、対象者５００の所定の行動を検出し得る。所定の行動には、例えば、転倒および転落が含まれる。制御部１１０は、例えば、検出されたシルエットの重心が、時系列で動いていた状態から急に停止した状態に変化したことや人シルエットに対応する矩形のアスペクト比の変化等により、転倒を検出し得る。制御部１１０は、例えば、人シルエットがベッド７００の領域内に存在している状態から急にベッド７００の領域外に存在している状態に変化したことや人シルエットに対応する矩形のアスペクト比の変化等により、転落を検出し得る。画像６００におけるベッド７００の領域は、検出部１００が設置される際に予め設定され、データとして制御部１１０のメモリに記憶され得る。

制御部１１０は、画像６００に基づいて、対象者５００を含む領域として、人物領域６１０を検出し、人物領域６１０から、人の体に関する特徴点（以下、単に「特徴点６２０」と称する）を検出する。

図４は、画像６００において検出された人物領域６１０を示す図である。

制御部１１０は、画像６００から、人物である対象者５００を含む領域を人物領域６１０として検出する。具体的には、制御部１１０は、画像６００上で物体（オブジェクト）が存在する領域を検出し、検出した領域に含まれる物体のカテゴリーを推定することで、人物領域６１０を検出し得る。物体が存在する領域は、画像６００上で物体が含まれる矩形（候補矩形）として検出され得る。検出部１００は、検出された候補矩形のうち、物体のカテゴリーが人物であると推定された候補矩形を検出することで、人物領域６１０を検出する。人物領域６１０は、ニューラルネットワーク（以下、「ＮＮ」と称する）を用いて検出され得る。ＮＮによる人物領域６１０の検出方法としては、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、およびＲ－ＣＮＮといった公知の方法が挙げられる。画像６００から人物領域６１０を検出するためのＮＮは、画像６００と、当該画像６００に対する正解として設定された人物領域６１０との組合せの教師データを用いて、画像６００から人物領域６１０を検出（推定）するための学習が予めされる。

図５は、特徴点６２０を示す図である。

制御部１１０は、人物領域６１０に基づいて、特徴点６２０を検出する。特徴点６２０には、関節点６２１、および頭部（例えば、頭部矩形）の対頂点６２２が含まれ得る。特徴点６２０には、例えば、足の先端の２つの関節点６２１ａ、６２１ｂの中央点６２１ｃがさらに含まれ得る。当該中央点６２１ｃは、足の先端の２つの関節点６２０ａ、６２１ｂに基づいて算出される。特徴点６２０は、ＤｅｅｐＰｏｓｅ等のＮＮを用いた公知の技術により検出され得る。特徴点６２０は、画像６００における座標として検出（および算出）され得る。ＤｅｅｐＰｏｓｅについては、公知の文献（Alexander Toshev, et al. “DeepPose: Human Pose Estimation via Deep Neural Networks”, in CVPR, 2014）に詳細が記載されている。人物領域６１０から特徴点６２０を検出するためのＮＮは、人物領域６１０と、当該人物領域６１０に対する正解として設定された特徴点６２０との組合せの教師データを用いて、人物領域６１０から特徴点６２０を検出（推定）するための学習が予めされる。なお、特徴点６２０は、画像６００から特徴点６２０を検出するためのＮＮを用いて、画像６００から直接推定されてもよい。この場合、画像６００から特徴点６２０を検出するためのＮＮは、画像６００と、当該画像６００に対する正解として設定された特徴点６２０との組合せの教師データを用いて、画像６００から特徴点６２０を検出（推定）するための学習が予めされる。

制御部１１０は、上記のように検出された特徴点６２０に基づいて、画像６００上における対象者５００の幾何特徴を算出する。幾何特徴としては、例えば画像６００上における対象者５００の位置、対象者５００の所定部位の長さ、所定部位同士の角度、対象者５００の頭部の大きさまたは形状等が算出される。制御部１１０は、算出された幾何特徴を用いて、対象者５００の行動が所定の行動に含まれる行動であるか否かを判定する。幾何特徴に基づいて対象者５００の行動を判定する処理について、詳細は後述する。

また、制御部１１０は、検出された特徴点６２０の位置に基づいて対象者５００の姿勢を推定してもよい。姿勢には、例えば、立位、座位、および臥位が含まれる。制御部１１０は、例えば、特徴点６２０の位置から人物の姿勢を検出するための辞書が反映されたＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）により、特徴点６２０の位置から対象者５００の姿勢を推定し得る。具体的には、制御部１１０は、ＤＮＮにより、特徴点６２０の位置に基づいて、立位、座位、および臥位それぞれの姿勢クラスの確率を推定し、推定された確率が最も高い姿勢を、対象者５００の姿勢として推定し得る。

以下、幾何特徴に基づいて対象者５００の行動を判定する処理について具体的に説明する。

（所定部位の長さの変化に基づく判定）
まず、幾何特徴として、画像６００上における対象者５００の所定部位の長さの変化を算出して対象者５００の行動を判定する処理の例について説明する。

制御部１１０は、複数の所定の特徴点６２０の位置関係の変化に基づいて、画像６００上における対象者５００の所定部位の長さの変化を算出し、所定部位の長さの変化に基づいて対象者５００の行動が所定の行動に含まれるか否かを判定する。複数の所定の特徴点６２０は、対象者５００の所定部位に対応する複数の特徴点６２０であり、所定の行動に含まれるかどうかの判定精度の観点から、実験により、検出された特徴点６２０の中から、適当に選択され得る。所定部位の長さは、例えば、所定部位に対応付けられた複数の特徴点６２０の間の距離として算出される。所定の行動は、複数の行動であっても単一の行動であってもよい。所定の行動には、転倒および転落が含まれ得る。具体的には、制御部１１０は、人シルエット等に基づいて、対象者５００の行動が所定の行動の中のいずれか（例えば、転倒）として検出された場合に、対象者５００の所定部位の長さの変化に基づいて、検出された行動が、所定の行動に含まれる行動（例えば、転倒および転落）に該当するか否かを判定（再判断）する。対象者５００の行動が、所定の行動に含まれるか否かの判定は、人シルエットに基づいて所定の行動のいずれか１つが検出された画像６００に対して行われる。以下、具体例を挙げて説明する。

図６は、画像上における所定部位の長さの変化によって転倒または転落したことを判定する例を説明するための図である。

図６の例においては、所定部位として上半身および下半身が設定されている。上半身の長さは、例えば、肩の中心の関節点６２１ｄと腰の中心の関節点６２１ｅとの間の距離として算出される。また、下半身の長さは、例えば、足の先端の２つの関節点６２０ａ、６２０ｂの中央点６２１ｃと腰の中心の関節点６２１ｅとの間の距離として算出される。制御部１１０は、上記のように算出される上半身および下半身の長さの所定の期間における変化を算出し、長さの変化が所定の関係にある場合に、対象者５００の行動が、所定の行動に含まれると判定する。例えば、制御部１１０は、算出された長さの変化が所定の閾値以上である場合に、対象者５００の行動が、所定の行動に含まれると判定する。所定の閾値は、対象者５００の行動が、所定の行動に含まれるかどうかの判定精度の観点から、実験により、適当に設定し得る。所定の閾値としては、例えば、変化の割合や変化の大きさ等が設定され得る。

例えば、対象者５００が歩行という行動をしている場合は、対象者５００は立位の姿勢にある。対象者５００が転倒および転落のいずれかの行動をしている場合は、対象者５００は臥位の姿勢にある。図６のＡに示すように、対象者５００が立位の姿勢である場合、上半身および下半身の長さは短くなる。一方、図６のＢに示すように、対象者５００が臥位の姿勢である場合は、上半身および下半身の長さは長くなる。この傾向は、対象者５００が画像上の中心領域（カメラの直下領域）に存在する程顕著になるが、中心領域以外に存在する場合にも、同様に姿勢や行動の変化による所定部位の長さの変化が見られる。したがって、所定部位の長さの変化が所定の閾値以上であれば、対象者５００の行動が、所定の行動である転倒および転落の少なくともいずれかであると判定できる。図６の例では、上半身および下半身の長さが所定の閾値以上に長く変化している場合、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定できる。所定の閾値としては、例えば変化の割合を示す値として２００％等の値が設定されてもよく、変化の大きさを示す値として増加した画素数や画素数から算出される実際の長さ等の値が設定されてもよい。

なお、図６の例では、上半身および下半身の２つの所定部位の長さを算出して判定する例について説明したが、算出される長さはいずれか１つでもよい。また、算出される長さは、上半身や下半身の長さに限定されず、判定精度の観点から実験等により決定される任意の部位の長さが使用され得る。

また、上記のように、カメラ１３０と対象者５００との位置関係、すなわち、画像６００上における対象者５００の位置によって、所定部位の長さの変化の程度が異なる。したがって、制御部１１０は、幾何特徴として画像６００上における対象者５００の位置を算出し、算出された画像６００上における対象者５００の位置に応じて、長さの変化を判定するための所定の閾値を調整してもよい。例えば、画像６００の中心から比較的短い距離の範囲内を第１範囲、画像６００の中心から比較的遠い距離の範囲内を第３範囲、第１範囲と第３範囲の間の範囲を第２範囲とする。そして、第１範囲に設定する所定の第１閾値、第２範囲に設定する所定の第２閾値、第３範囲に設定する所定の第３閾値を、それぞれ異ならせて設定し得る。例えば、画像６００の中心に近いほど対象者５００の姿勢の変化に伴う長さの変化が大きくなる場合、第１閾値を大きい値に設定し、第２閾値を第１閾値よりも小さい値に設定し、第３閾値を第２閾値よりも小さい値に設定し得る。

また、所定部位の長さの変化に基づく判定では、転倒および転落を区別しない。しかし、転倒か転落かは、人シルエットに基づく所定の行動の検出において区別されているため、転倒および転落の少なくともいずれかであると判定できれば十分である。人シルエットに基づいて転倒または転落が検出されたときに、さらに、所定部位の長さの変化に基づいて、転倒および転落の少なくともいずれかであると判定することにより、転倒および転落の検出精度を向上できる。

また、制御部１１０は、特徴点６２０の位置に基づいて対象者５００の姿勢を推定し、所定部位の長さの変化に加えて、推定された姿勢の変化も考慮して対象者５００の行動を判定してもよい。例えば、図６の例では、制御部１１０は、上半身および下半身の長さの変化が所定の閾値以上であり、さらに特徴点６２０の位置に基づいて推定された姿勢が立位から臥位に変化した場合に、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定してもよい。

（所定部位同士の角度の変化に基づく判定）
次に、幾何特徴として、画像６００上における対象者５００の所定部位同士の角度の変化を算出して対象者５００の行動を判定する処理の例について説明する。以下では、所定部位の長さの変化に基づく判定と同様の部分の説明は省略し、異なる部分を中心に説明する。

制御部１１０は、複数の所定の特徴点６２０の位置関係の変化に基づいて、画像６００上における対象者５００の所定部位同士の角度の変化を算出し、所定部位同士の角度の変化に基づいて対象者５００の行動が所定の行動に含まれるか否かを判定する。複数の所定の特徴点６２０は、対象者５００の複数の所定部位それぞれに対応する複数の特徴点６２０であり、所定の行動に含まれるかどうかの判定精度の観点から、実験により、検出された特徴点６２０の中から、適当に選択され得る。所定部位同士の角度は、例えば、各所定部位に対応付けられた２つの特徴点６２０を結ぶ線同士がなす角の角度として算出され得る。以下、具体例を挙げて説明する。

図７は、画像上における所定部位同士の角度の変化によって転倒または転落したことを判定する例を説明するための図である。

図７の例においては、所定部位同士の角度として、上半身および下半身の角度と、膝の角度（上腿および下腿の角度）の２つの角度が設定されている。上半身および下半身の角度は、例えば、肩の中心の関節点６２１ｄと腰の中心の関節点６２１ｅとを結ぶ線（上半身に対応）と、足の先端の２つの関節点６２０ａ、６２０ｂの中央点６２１ｃと腰の中心の関節点６２１ｅとを結ぶ線（下半身に対応）とがなす角の角度として算出される。また、膝の角度は、例えば、足の付け根の関節点６２１ｆ、６２１ｇと膝の関節点６２１ｈ、６２１ｉとをそれぞれ結ぶ線（左右の上腿に対応）と、足の先端の２つの関節点６２０ａ、６２０ｂと膝の関節点６２１ｈ、６２１ｉとをそれぞれ結ぶ線（左右の下腿に対応）とがそれぞれなす角の角度として算出される。膝の角度は、両方の足の膝について算出されてもよく、片方の足の膝について算出されてもよい。

制御部１１０は、上記のように算出される上半身および下半身の角度と膝の角度の所定の期間における変化を算出し、角度の変化が所定の関係にある場合に、対象者５００の行動が、所定の行動に含まれると判定する。例えば、制御部１１０は、算出された角度の変化が所定の閾値以上である場合に、対象者５００の行動が、所定の行動に含まれると判定する。所定の閾値は、対象者５００の行動が、所定の行動に含まれるかどうかの判定精度の観点から、実験により、適当に設定し得る。所定の閾値としては、例えば、変化の割合や変化の大きさ等が設定され得る。

図７のＡに示すように、対象者５００が立位の姿勢である場合、上半身および下半身の角度は大きくなり、膝の角度も大きくなる。一方、図７のＢに示すように、対象者５００が臥位の姿勢である場合は、上半身および下半身の角度は小さくなり、膝の角度も小さくなる。この傾向は、対象者５００が画像上のどの領域に存在する場合にも見られる。したがって、所定部位同士の角度の変化が所定の閾値以上であれば、対象者５００の行動が、所定の行動である転倒および転落の少なくともいずれかであると判定できる。図７の例では、上半身および下半身の角度と膝の角度が所定の閾値以上に小さくなっている場合、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定できる。所定の閾値としては、例えば角度の変化の割合を示す値として５０％等の値が設定されてもよく、角度の変化の大きさを示す値として３０°、４５°、９０°等の値が設定されてもよい。

なお、図７の例では、上半身および下半身の角度と、膝の角度という２つの角度を算出する例について説明したが、算出される角度は１つでもよい。また、上半身および下半身の角度の変化に基づく判定と、膝の角度の変化に基づく判定は、それぞれ独立して実施されてもよく、あるいは組み合わせて実施されてもよい。また、算出される角度は、上半身および下半身の角度や膝の角度に限定されず、判定精度の観点から実験等により決定される任意の部位同士の角度が算出され得る。また、例えば膝のように対象者５００に複数存在する部位の角度に関する判定は、両方の膝の角度を組み合わせて合計値や平均値等について行われてもよく、あるいはいずれか一方の膝の角度について行われてもよい。

また、制御部１１０は、上記の所定部位の長さの変化に基づく判定と同様に、幾何特徴として、画像６００上における対象者５００の位置を算出し、算出された画像６００上における対象者５００の位置に応じて、角度の変化を判定するための所定の閾値を調整してもよい。

また、制御部１１０は、特徴点６２０の位置に基づいて対象者５００の姿勢を推定し、所定部位同士の角度の変化に加えて、推定された姿勢の変化も考慮して対象者５００の行動を判定してもよい。例えば、図７の例では、制御部１１０は、上半身および下半身の角度の変化が所定の閾値以上であり、さらに特徴点６２０の位置に基づいて推定された姿勢が立位から臥位に変化した場合に、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定してもよい。

（頭部の大きさまたは形状の変化に基づく判定）
次に、幾何特徴として、画像６００上における対象者５００の頭部の大きさまたは形状の変化を算出して対象者５００の行動を判定する処理の例について説明する。以下では、所定部位の長さの変化に基づく判定または所定部位同士の角度の変化に基づく判定と同様の部分の説明は省略し、異なる部分を中心に説明する。

制御部１１０は、複数の所定の特徴点６２０の位置関係の変化に基づいて、画像６００上における対象者５００の頭部の大きさまたは形状の変化を算出し、頭部の大きさまたは形状の変化に基づいて対象者５００の行動が所定の行動に含まれるか否かを判定する。複数の所定の特徴点６２０は、対象者５００の頭部に対応する複数の特徴点６２０であり、例えば頭部（頭部矩形）の２つの対頂点６２２である。この場合、頭部の大きさの変化は、例えば対頂点６２２によって規定される矩形の面積の変化として算出され得る。また、頭部の形状の変化は、例えば当該矩形のアスペクト比の変化として算出され得る。以下、具体例を挙げて説明する。

図８は、画像上における頭部の大きさの変化によって転倒または転落したことを判定する例を説明するための図である。

図８の例においては、頭部の大きさは、頭部の２つの対頂点６２２によって規定される矩形の面積として算出される。制御部１１０は、上記のように算出される頭部の大きさの所定の期間における変化を算出し、大きさの変化が所定の関係にある場合に、対象者５００の行動が、所定の行動に含まれると判定する。例えば、制御部１１０は、算出された大きさの変化が所定の閾値以上である場合に、対象者５００の行動が、所定の行動に含まれると判定する。所定の閾値は、対象者５００の行動が、所定の行動に含まれるかどうかの判定精度の観点から、実験により、適当に設定し得る。所定の閾値としては、例えば、変化の割合や変化の大きさ等が設定され得る。

図８のＡに示すように、対象者５００が立位の姿勢である場合、頭部の大きさは大きくなる。一方、図８のＢに示すように、対象者５００が臥位の姿勢である場合は、頭部の大きさは小さくなる。この傾向は、対象者５００が画像上の中心領域（カメラの直下領域）に存在する程顕著になるが、中心領域以外に存在する場合にも、同様に姿勢や行動の変化による頭部の大きさの変化が見られる。したがって、頭部の大きさの変化、すなわち頭部矩形の面積の変化が所定の閾値以上であれば、制御部１１０は、対象者５００の行動が、所定の行動である転倒および転落の少なくともいずれかであると判定できる。図８の例では、頭部矩形の面積が所定の閾値以上に小さくなっている場合、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定される。所定の閾値としては、例えば面積の変化の割合を示す値として５０％等の値が設定されてもよく、面積の変化の大きさを示す値として減少した画素数や画素数から算出される実際の面積等の値が設定されてもよい。

なお、図８の例では、頭部の大きさの変化に基づいて行動が判定される例について説明したが、頭部の形状の変化に基づいて行動が判定されてもよい。例えば、カメラの直下領域に存在する対象者５００が立位の姿勢である場合、頭部矩形の形状は正方形に近くなり、アスペクト比は１：１に近い値となり得る。一方、対象者５００が臥位の姿勢にある場合、頭部矩形の形状は長辺と短辺を有する長方形に近くなり、アスペクト比は１：１から離れた値となり得る。したがって、制御部１１０は、頭部の形状の変化として頭部矩形のアスペクト比の変化を算出し、アスペクト比の変化に基づいて、対象者５００の行動が、所定の行動に含まれるか否かを判定できる。

また、制御部１１０は、上記の所定部位の長さの変化に基づく判定と同様に、幾何特徴として、画像６００上における対象者５００の位置を算出し、算出された画像６００上における対象者５００の位置に応じて、頭部の大きさまたは形状の変化を判定するための所定の閾値を調整してもよい。

また、制御部１１０は、特徴点６２０の位置に基づいて対象者５００の姿勢を推定し、頭部の大きさまたは形状の変化に加えて、推定された姿勢の変化も考慮して対象者５００の行動を判定してもよい。例えば、図８の例では、制御部１１０は、頭部の大きさまたは形状の変化が所定の閾値以上であり、さらに特徴点６２０の位置に基づいて推定された姿勢が立位から臥位に変化した場合に、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定してもよい。

上述した所定部位の長さの変化に基づく判定、所定部位の長さの変化に基づく判定、頭部の大きさまたは形状の変化に基づく判定に含まれる各判定は、それぞれ独立して実施されてもよく、複数の判定が組み合わせられてもよい。複数の判定が組み合わせられる場合、例えば各判定による判定結果に対して判定精度等に基づく優先度や重み付けが設定され、各判定による判定結果を総合して幾何特徴を用いた判定が行われてもよい。

（行動に関する情報の出力処理）
制御部１１０は、上記のような画像６００上における対象者５００の幾何特徴に基づく判定によって、対象者５００の行動が所定の行動に含まれると判定した場合、対象者５００の行動に関する情報を、通信部１２０によりサーバー２００に送信すること等により、出力する。対象者５００の行動に関する情報は、対象者５００の行動が所定の行動の少なくともいずれかであることを示す第１情報、または、人シルエットに基づき検出された所定の行動の確度（確率）が高いことを示す第２情報であり得る。第１情報は、例えば、「対象者５００の行動が、転倒および転落の少なくともいずれかである」という情報である。第２情報は、例えば、「検出された行動である確率が高い」という情報である。制御部１１０は、対象者５００の行動に関する情報と関連付けて、人シルエットに基づいて検出された、対象者５００の所定の行動を示す行動特定情報をさらにサーバー２００等に送信し得る。第１情報、第２情報、および行動特定情報には、対象者５００のＩＤ（番号）等の対象者５００を特定する情報、および画像６００の撮影時間等が含まれることで関連付けされ得る。後述するように、サーバー２００において、行動特定情報と、対象者５００の行動に関する情報と、に基づいて、対象者５００が、人シルエットに基づいて検出された所定の行動をしたという最終判断がされ得る。

一方、制御部１１０が、人シルエットに基づいて対象者５００の所定の行動のいずれかが検出され、かつ、画像６００上における対象者５００の幾何特徴に基づいて所定の行動の少なくともいずれかであると判定された場合に、対象者５００が人シルエットに基づいて検出された所定の行動をしたという最終判断をしてもよい。この場合、制御部１１０は、対象者５００が所定の行動をしたという最終判断を示す第３情報を、対象者５００の行動に関する情報としてサーバー２００等に送信（出力）し得る。なお、行動特定情報はサーバー２００等に送信される必要はない。第３情報は、例えば、「対象者５００が転倒した」という情報である。第３情報には、対象者５００の氏名等の対象者５００を特定する情報が含まれる。

（サーバー２００）
図９は、サーバー２００の構成を示すブロック図である。サーバー２００は、制御部２１０、通信部２２０、および記憶部２３０を備える。各構成要素は、バスによって、相互に接続されている。

制御部２１０および通信部２２０の基本構成は、検出部１００の対応する構成要素である、制御部１１０および通信部１２０と同様である。

制御部２１０は、通信部２２０により、検出部１００から対象者５００の行動に関する情報を受信する。制御部２１０は、検出部１００から行動特定情報をさらに受信し得る。

制御部２１は、対象者５００の行動に関する情報が、対象者５００の行動が所定の行動の少なくともいずれかであることを示す第１情報である場合、対象者５００が、行動特定情報が示す所定の行動をしたという最終判断をする。制御部２１は、対象者５００の行動に関する情報が、人シルエットに基づき検出された所定の行動の確度（確率）が高いことを示す第２情報である場合も、同様に、対象者５００が、行動特定情報が示す所定の行動をしたという最終判断をする。制御部２１は、行動特定情報が示す所定の行動をしたという最終判断をしたときに、対象者５００が所定の行動（例えば、転倒）をしたことをスタッフ等に通知するためのイベント通知を、携帯端末４００等に送信し得る。

制御部２１は、対象者５００の行動に関する情報が、対象者５００の所定の行動をしたという最終判断を示す第３情報である場合、対象者５００が所定の行動をしたことをスタッフ等に通知するためのイベント通知を、携帯端末４００等に送信し得る。

なお、サーバー２００は、検出部１００の機能の一部を代替して実施し得る。例えば、サーバー２００は、検出部１００から画像６００を受信し、画像６００から人シルエットを検出し、人シルエットに基づいて、対象者５００の所定の行動を検出する。対象者５００の所定の行動が検出されたときに、人物領域６１０を検出して、人物領域６１０に基づいて、特徴点６２０を検出する。そして、特徴点６２０に基づいて画像６００上における対象者５００の幾何特徴を算出し、幾何特徴に基づいて、人シルエットに基づいて検出された対象者５００の所定の行動が、所定の行動に含まれる行動かどうか判定し得る。

（携帯端末４００）
図１０は、携帯端末４００の構成を示すブロック図である。携帯端末４００は、制御部４１０、無線通信部４２０、表示部４３０、入力部４４０、および音声入出力部４５０を備える。各構成要素は、バスにより相互に接続されている。携帯端末４００は、例えば、タブレット型コンピューター、スマートフォン、または携帯電話等の通信端末機器によって構成され得る。

制御部４１０は、検出部１００の制御部１１０の構成と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭなどの基本構成を備える。

無線通信部４２０は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの規格による無線通信を行う機能を有し、アクセスポイントを経由して、または直接に各装置と無線通信する。無線通信部４２０は、イベント通知をサーバー２００から受信する。

表示部４３０および入力部４４０は、タッチパネルであり、液晶などで構成される表示部４３０の表示面に、入力部４４０としてのタッチセンサーが設けられる。表示部４３０、入力部４４０によって、イベント通知を表示する。そして、イベント通知に関する対象者５００への対応を促す入力画面を表示するとともに、当該入力画面に入力された、スタッフによるイベント通知への対応の意思を受け付ける。

音声入出力部４５０は、例えばスピーカーとマイクであり、無線通信部４２０を介して他の携帯端末４００との間でスタッフ相互間の音声通話を可能にする。また、音声入出力部４５０は、無線通信部４２０を介して検出部１００との間で音声通話を可能にする機能を備え得る。

画像認識システム１０の動作について説明する。

図１１は、画像認識システム１０の動作を示すフローチャートである。本フローチャートは、プログラムに従い、制御部１１０により実行される。

制御部１１０は、画像６００から検出した人シルエットに基づいて、対象者５００の所定の行動を検出したことを契機に、画像６００に基づいて、対象者５００の特徴点６２０を検出する（Ｓ１０１）。

制御部１１０は、検出された特徴点６２０に基づいて、画像６００上における対象者５００の幾何特徴を算出する（Ｓ１０２）。

制御部１１０は、幾何特徴を用いて、対象者５００の行動が所定の行動である、転倒および転落の少なくともいずれかであるかどうか（転倒および転落に含まれるかどうか）を判定する（Ｓ１０３）。

制御部１１０は、対象者５００の行動が所定の行動である、転倒および転落のいずれでもないと判定した場合は（Ｓ１０４：ＮＯ）、処理を終了する。

制御部１１０は、対象者５００の行動が所定の行動である、転倒および転落の少なくともいずれかであると判定した場合は（Ｓ１０４：ＹＥＳ）、対象者の行動に関する情報をサーバー２００へ送信することで出力する（Ｓ１０５）。

実施形態は以下の効果を奏する。

撮影された画像に基づいて対象者の特徴点を検出し、検出された特徴点に基づいて画像上における対象者の幾何特徴を算出し、算出された幾何特徴を用いて、対象者の行動が所定の行動に含まれるか判定し、含まれると判定したときに対象者の行動に関する情報を出力する。これにより、画像上における対象者の幾何特徴を考慮して対象者の行動を判定できるため、対象者の行動の推定精度を向上できる。

また、複数の特徴点の位置関係の変化に基づいて、幾何特徴として、画像上における対象者の所定部位の長さの変化を算出し、対象者の所定部位の長さの変化に基づいて対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、画像上における対象者の所定部位の長さの変化を考慮して対象者の行動を判定できるため、対象者の行動の推定精度を向上できる。

また、複数の特徴点の位置関係の変化に基づいて、幾何特徴として、画像上における対象者の所定部位同士の角度の変化を算出し、対象者の所定部位同士の角度の変化に基づいて対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、画像上における対象者の所定部位同士の角度の変化を考慮して対象者の行動を判定できるため、対象者の行動の推定精度を向上できる。

また、複数の特徴点の位置関係の変化に基づいて、幾何特徴として、画像上における対象者の頭部の大きさまたは形状の変化を算出し、対象者の頭部の大きさまたは形状の変化に基づいて対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、画像上における対象者の頭部の大きさまたは形状を考慮して対象者の行動を判定できるため、対象者の行動の推定精度を向上できる。

また、幾何特徴として、画像上における対象者の位置を算出し、画像上における対象者の位置を考慮して対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、対象者の位置によらず、画像に基づいて対象者の行動の推定精度に向上できる。

また、検出された特徴点に基づいて、対象者の姿勢を推定し、幾何特徴および姿勢を用いて、対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、幾何特徴に加えて推定された姿勢を考慮して対象者の行動を判定できるため、対象者の行動の推定精度をさらに向上できる。

また、所定の行動は転倒および転落であり、対象者の行動が、転倒および転落の少なくともいずれかであるかどうか判定する。これにより、対象者の転倒または転倒に関する推定精度を向上できる。

撮影装置は広角カメラであり、画像は、所定の領域を俯瞰する位置に設置された広角カメラにより撮影された所定の領域を含む画像である。これにより、より効果的に、撮影された画像に基づく対象者の行動の推定精度を向上できる。

以上に説明した画像認識システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像認識システムが備える構成を排除するものではない。

例えば、検出部１００、サーバー２００、および携帯端末４００は、それぞれ複数の装置により構成されてもよく、いずれか複数の装置が単一の装置として構成されてもよい。

また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

また、上述した画像認識システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。

本出願は、２０１９年８月２０日に出願された日本特許出願（特願２０１９－１５０６１９号）に基づいており、その開示内容は、参照され、全体として、組み入れられている。

Claims (9)

1. 撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する特徴点検出部と、
   検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する算出部と、
   算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する判定部と、
   前記判定部により、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する出力部と、を有し、
   前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位の長さの変化を算出し、
   前記判定部は、前記対象者の所定部位の長さの変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する画像処理システム。
2. 前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位同士の角度の変化を算出し、
   前記判定部は、前記対象者の所定部位同士の角度の変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する請求項１に記載の画像処理システム。
3. 前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の頭部の大きさまたは形状の変化を算出し、
   前記判定部は、前記対象者の頭部の大きさまたは形状の変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する請求項１または２に記載の画像処理システム。
4. 前記算出部は、前記幾何特徴として、前記画像上における前記対象者の位置を算出し、
   前記判定部は、前記画像上における前記対象者の位置を考慮して前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する請求項１～３のいずれか一項に記載の画像処理システム。
5. 前記特徴点検出部によって検出された前記特徴点に基づいて、前記対象者の姿勢を推定する推定部をさらに有し、
   前記判定部は、前記幾何特徴および前記姿勢を用いて、前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する請求項１～４のいずれか一項に記載の画像処理システム。
6. 前記所定の行動は転倒および転落であり、
   前記判定部は、前記対象者の行動が、転倒および転落の少なくともいずれかであるかどうか判定する、請求項１～５のいずれか一項に記載の画像処理システム。
7. 前記撮影装置は広角カメラであり、前記画像は、所定の領域を俯瞰する位置に設置された前記広角カメラにより撮影された前記所定の領域を含む画像である、請求項１～６のいずれか一項に記載の画像処理システム。
8. 撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する手順（ａ）と、
   検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する手順（ｂ）と、
   算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する手順（ｃ）と、
   前記手順（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する手順（ｄ）と、を有し、
   前記手順（ｂ）においては、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位の長さの変化を算出し、
   前記手順（ｃ）においては、前記対象者の所定部位の長さの変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する処理をコンピューターに実行させるための画像処理プログラム。
9. 画像処理システムに実行させる方法であって、
   撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する段階（ａ）と、
   検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する段階（ｂ）と、
   算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する段階（ｃ）と、
   前記段階（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する段階（ｄ）と、を有し、
   前記段階（ｂ）においては、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位の長さの変化を算出し、
   前記段階（ｃ）においては、前記対象者の所定部位の長さの変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する画像処理方法。