JP2024518439A - 判定された人物の活動を認識するための監視システム及び方法 - Google Patents

Abstract

本発明は、空間内の少なくとも１人の人物の監視方法に関する。本方法は、空間の画像データを受信することと、画像データから少なくとも１人の人物を検出することと、前記少なくとも１人の検出された人物（１５）が少なくとも１つの所定の監視対象者条件を満たしていることが画像データから検出された場合、前記少なくとも１人の検出された人物を監視対象者として判定することと、を含む。本発明はまた、空間内の少なくとも１人の人物を監視するための監視システム、及び前記監視の方法を実行するコンピュータプログラム製品に関する。【選択図】図２

Description

（本発明の分野）
本発明は、空間内の少なくとも１人の人物を監視するための方法、並びにその方法を実行するためのシステム及びコンピュータプログラム製品に関する。

（本発明の背景）
患者又は高齢者などの人物は、医療スタッフが常に存在することができない状況で彼らの安全をより確実にするために、病院、老人ホーム、又はサービスハウスでカメラ監視されることがある。

カメラ監視によって、１人の医療従事者又は他の監督者が、複数の部屋の人物及び／又は人物の活動を同時に監視することができ、患者が許可なく部屋を離れることを防ぎ、又はインシデントが患者に起こることを防止することができ、より良い安全レベルの生活が達成される。自動カメラ監視により、医療従事者に向けて、画像データから検出された人物の転倒又は許可なく部屋から離れるなどの望ましくない状況の自動アラームを行うことができる。

しかしながら、監督者が、例えば、病院の全ての部屋を常に監視できるような財源がない、又は監督者一人当たりが監視する部屋が多すぎるために全ての望ましくない状況を見ることができない可能性がある。更に、プライバシー上の理由から、人によるフルタイムの監視が不可能又は望ましい解決策ではない可能性もある。このような場合、自動カメラ監視は解決策であるが、多くの場合、画像データから状況を誤って検出又は分析し不要なアラームが行われるので、医療従事者が進行中の作業状況から離れてアラーム発出状況を有しないアラーム現場に行く必要がある場合、不要な作業、コスト、又は危険な状況を引き起こす。

（本発明の概要）
本発明の目的は、判定された人物を監視するための新規のシステム、コンピュータ実装方法、及びコンピュータプログラム製品を提供し、提示することである。本発明による監視システム、方法、及びコンピュータプログラム製品は、独立請求項において提示されるものにおいて特徴付けられ、従属請求項は、本発明の有利な実施形態に関する。

第１の例示的な実施形態によれば、本発明は、空間内の少なくとも１人の人物の監視方法に関する。本方法は、空間の画像データを受信することと、画像データから少なくとも１人の人物（１５）を検出することと、少なくとも１人の検出された人物（１５）が少なくとも１つの所定の監視対象者条件を満たしていることが画像データから検出された場合、少なくとも１人の検出された人物（１５）を監視対象者として判定することと、を含む。

例示的な実施形態では、少なくとも１つの所定の監視対象者条件は、人物が、第１の所定の期間にわたってベッドに滞在していること、人物が、第２の所定の期間にわたって所定の領域に滞在していること、又は人物が、第３の所定の期間にわたってその空間に１人で滞在していること、のうちの少なくとも１つを含む。例示的な実施形態では、人物を監視対象者として判定することは、検出された人物に対するラベルを生成することと、ラベルに対して、監視対象者ステータスを設定することとを含む。例示的な実施形態では、本方法は、画像データから、監視対象者を追跡することと、監視対象者の活動を認識することと、を更に含む。例示的な実施形態では、前記認識することは、監視対象者の活動を認識するために人工知能（ＡＩ）モデルを使用することを含む。例示的な実施形態では、本方法は、監視対象者の認識された活動を、監視対象者について判定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較することと、検出されたイベントがアラームプロファイルに結び付けられた活動を含む場合、アラームをトリガすることとを更に含む。例示的な実施形態では、アラームプロファイルに結び付けられた活動は、床に横たわる若しくは座ること、空間から離れること、又はベッド内で動くこと若しくはベッドを離れることである。例示的な実施形態では、本方法は、空間内の別の人物が検出された場合、アラームをブロックすることを更に含む。

第２の例示的な実施形態によれば、本発明は、空間内の少なくとも１人の人物を監視するための監視システムに関する。本システムは、少なくとも１つのカメラと、第１の例示的な実施形態及びその例示的な実施形態による方法を実行するように構成されたコンピューティングデバイスとを備える。

第３の例示的な実施形態によれば、本発明は、コンピュータ可読媒体に記憶され、コンピューティングデバイスにおいて実行可能なコンピュータプログラム製品に関し、本コンピュータプログラム製品は、第１の例示的な実施形態及びその例示的な実施形態による方法を実行するための命令を含む。

以下、添付の図面を参照して本発明をより詳細に説明する。

（図面の説明）
患者のための部屋内の人物を検出及び判定し、部屋内の患者の活動を認識するための、例示的な実施形態による監視システムの図を示す。 １人以上の患者のための部屋内の１人以上の人物を検出し、部屋内の１人以上の患者の活動を認識するための、例示的な実施形態による監視システムの図を示す。 例示的な実施形態による、監視システムによって検出された患者の転倒の状況の図を示す。 例示的な実施形態による、監視システムによって検出された、許可なく病室を退室する患者の状況の図を示す。 例示的な実施形態による監視方法のフローチャートを示す。

（詳細な説明）
人物を、当該人物の身体的又は感情的な状態が、日常的な状況において、例えば、ベッドから立ち上がる又は部屋を出るときに、当該人物の対処が必ずしも安全ではない、又は望まれないような状況では、当該人物の安全をより確実にするために、当該人物の病室、寝室、又はアパートにおいて監視する必要がある状況が存在する。カメラ監視は、特に、監視が自動である場合、すなわち、コンピューティングデバイスが、例えば、人物を検出して追跡するなどの必要な監視活動を実行し、かつその人物の活動を認識し、更に、例えば、危険、望ましくない状況、又は緊急事態の可能性があるときに、人員にアラームを送信する場合に、人物監視のための有利なオプションである。カメラ監視は、カメラによって実行され得る。カメラは、分析のために画像、ビデオ、ポーズ、及び／又は深度情報をキャプチャする任意の手段であり得る。本明細書で使用される場合、画像は、ビデオ記録からの画像と同様に静止画像を含み、この文脈では、「カメラ」という用語は、本発明のカメラ監視システムのための画像データをキャプチャするのに適した任意の画像キャプチャ要素を指す。例えば、例示的な実施形態では、カメラは、カラーカメラ、又は赤外線（ＩＲ）照明の有無にかかわらず白黒カメラ、近赤外線カメラ、３６０度カメラ、ＩＲカメラ、又は深度カメラであってもよい。

したがって、少なくとも１つのカメラ及びコンピューティングデバイスを含むカメラ監視システムによって実行される本発明のカメラ監視によって、人物及び／又は人物の活動を継続的に監視及び分析することができる。カメラ（複数可）は、画像データ、例えば、頻繁にキャプチャされた静止画像、ビデオ画像、ポーズ、又は深度情報をキャプチャし、カメラの一部であるコンピューティングデバイス、外部コンピューティングデバイス、又はクラウドサービスは、その画像データを受信し、画像分析を実行し得る。画像分析は、少なくとも、監視されている空間内、例えば、部屋内で人物を検出することと、条件が満たされたときに人物を監視対象者として、すなわち、例えば患者として判定すること（以下でより詳細に説明する）とを含むが、分析は、監視対象者を追跡し、監視対象者の活動を認識することを更に含み得る。活動の認識は、任意の既存の人工知能（ＡＩ）モデル（複数可）及び方法（複数可）、又は任意の他の好適な画像分析方法を使用することによって行われ得る。認識される活動、すなわち、監視対象者のイベントは、例えば、画像分析を実行するコンピューティングデバイスによって画像データから検出された特定の状況、動き、転倒、退出、姿勢及び／又はジェスチャであり得る。次いで、これらの活動は、監視対象者について決定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較される。アラームプロファイルは、活動、すなわち、アラームプロファイルに結び付けられた活動を選択することを含み得る。活動のアラームプロファイルへの結び付けは、例えば、活動のリストの中の活動をタップすることによって実行され得る。アラームプロファイルは、ある活動がアラームを引き起こすかどうかを定義し、その活動がアラームプロファイルに結び付けられ、それと同じ活動が画像データから認識される場合、アラームが引き起こされる、すなわちアラームがトリガされる、すなわちアラームが人員に送信される。アラームは、例えば、ナースコールシステム、携帯電話、又はコンピューティングデバイスからアラーム信号を受信するときにアラーム発出を行うのに適した任意の他のデバイス又は手段に送信され得る。本発明では、画像データから監視対象者のアラーム発出状況をより注意深く検出し、かつ誤った又は不要なアラームを回避するために、監視対象者の活動の監視及び分析が実際に開始される前に、監視対象者、例えば、患者及びそのアラームプロファイルが監視システムに対して事前に判定される。

監視システムの「監視対象者」として人物を判定、すなわち分類することは、例えば、以下のように行われ得る。人物は、病院の部屋又は任意の他の監視されている部屋若しくは空間の受信された画像データから検出される。検出された人物に対して人物ラベルが生成される。人物が監視対象者の所定の条件を満たすとき、「監視対象者ステータス」がその人物ラベルに設定されてもよく、したがってその人物は監視対象者ラベルを有する。検出された人物が監視対象者ではないと判定されるとき、すなわち、その人物が監視対象者の所定の条件を満たしていないと判定されるとき、ラベルの設定されたステータスは、例えば、人物の職業などに依存してもよく、その場合、設定されているステータスは、例えば、「清掃担当者（清掃員）」、「医師」、「看護師」、「訪問者」などであってもよく、又は設定されているステータスは、単なる人物ステータスであってもよく、又は監視対象者とこれらの人物を区別するステータスを有していなくてもよい。監視対象者の例は、例えば、監視されている部屋又は空間の患者及び居住者である。したがって、「患者ステータス」又は「居住者ステータス」を有する人物は、「監視対象者ステータス」を有する人物に対応し、この人物は、少なくとも１つのカメラによって監視されるように構成され、部屋におけるその人物の活動は、カメラによって提供される画像データから分析されるように構成される。活動の分析は、患者の活動を少なくとも認識することを含み得る。

人物に対する「監視対象者ステータス」の判定、すなわち、部屋内で検出された人物の生成された人物ラベルに監視対象者のステータスを設定することは、その人物が、少なくとも１つの所定の監視対象者条件を満たす場合に行われ得る。少なくとも１つの所定の監視対象者条件は、人物が、第１の所定の期間にわたってベッドに滞在していること、又は人物が、第２の所定の期間にわたって所定の領域に滞在していること、又は人物が、第３の所定の期間にわたって空間に１人で滞在していること、のうちの少なくとも１つを含み得る。第１の条件例では、特定の所定の期間にわたって監視対象者が自分のベッドに横たわっているとき、その人物は、監視対象者ステータスを有すると判定される。第２の条件例では、人物が、特定の所定の期間にわたって、例えば患者セクション内の特定の所定の領域内若しくはベッドの周りの領域に滞在している。第３の条件例では、人物は、所定の期間にわたって１人で部屋に滞在している。これらの最初の２つの例、すなわち第１の例及び第２の例は、単一の部屋に２人以上の監視対象者がいる状況でも使用されることが可能である。第１の条件例の特定の所定の時間は、第２の条件例の特定の所定の時間よりも短く構成されてもよく、一方で第２の条件例の特定の所定の時間は、第３の条件例の特定の所定の時間よりも短く構成されてもよい。特定の所定の時間は、第１の例では、例えば５～１５分、第２の例では、例えば１５～４５分、第３の例では、例えば３０～９０分であると規定され得る。しかし、これらの時間は自由に選択できるため、これらの例よりも短くても長くてもよい。より多くの所定の監視対象者条件、例えば、患者着の使用、又は点滴ポンプを有するなどが存在し得ることに留意されたい。言い換えると、画像データから、人物が患者着を使用している、又は点滴ポンプを有していることが検出され、認識される場合、その人物は、監視対象者として判定されてもよい。

監視対象者ステータスを有する人物、すなわち監視対象者ラベルを有する人物、すなわち監視対象者は、頻繁に監視され、撮像されるように構成されている。例えば監視対象者が検出されるように構成された静止画像をキャプチャする場合の画像キャプチャ頻度は、例えば、０．５～３秒、１～２秒、又は１．５秒であってもよい。ビデオ画像データの場合、監視対象者は、例えば、０．５～３秒、１～２秒、又は１．５秒ごとに画像データから検出されるように構成され得る。言い換えると、監視対象者が常に見えていて、監視対象者が主室を退室して第２の部屋に向かうか、又は第２の部屋の前で姿を消して１人で主室に戻り、かつ第２の部屋への訪問中には、他の人物が検出されなければ、監視対象者の動きは、分析、例えば追跡及び認識され、監視対象者ステータスは、人物ラベル上にそのまま残り得る、すなわち、監視対象者は監視対象者のままとなる。主室は、例えば、患者室又は客室であり得、第２の部屋は、例えば、浴室、トイレ、又は主室に接続された廊下以外の他の部屋であり得る。

その一方で、別の人物が監視対象者と過度に重複していること、監視対象者が、主室から廊下に出る（主室から退室する）こと、監視対象者が、特定の所定の時間にわたってカメラによって検出されないことが検出された場合には、監視対象者の監視対象者ステータスは消失し得る。監視されている部屋において監視対象者の検出がない、すなわちカメラシステムが、特定の時間にわたって監視対象者の画像データをキャプチャしていない場合でも、監視対象者ステータス、例えば、患者ステータスは、人物ラベルの他のステータスよりも長い期間にわたって存続し得る。監視対象者が自分の監視対象者ステータスを失った場合、人物を監視対象者として再判定することは、上記で判定されるのと同様に行われ得る。

少なくとも１つのアラームプロファイルが、監視対象者ラベルに、すなわち、監視対象者に対して、例えば患者に対して、結び付けられる。アラームプロファイルは、１つ以上の監視対象者に結び付けられた活動、すなわち、対応する活動がコンピューティングデバイスによって画像データから検出されたときにアラームをトリガするように構成されたイベントを含む。１つ以上の活動の検出は、画像データから監視対象者の１つ以上の活動を認識することを含む。認識された１つ以上の活動は、アラームプロファイルの１つ以上の結び付けられた活動と比較され、それらが対応する場合、アラームがトリガされる。所定の活動は、例えば、転倒、ベッドでの動き、ベッドから出る、離床、車椅子からの立ち上がり、トイレタイマー、退室、又は患者活動の監視であり得る。

転倒アラームは、例えば、監視対象者、例えば、患者ステータスを有する人物が、１つ、２つ以上、又は複数の観察、すなわち、１つ、２つ以上、又は複数の隣接する画像又は検出（チェック）において、床に座っているか、又は床に横たわっていることが画像データから検出された場合に、トリガされ、人員に送信されてもよい。アラームがトリガされる前に、１つ以上の追加の転倒チェックを画像データから実行する必要があると予め決定され得る。追加の転倒チェックは、例えば、部屋（１人部屋）又は患者セクション（複数人部屋）に（患者以外の）他の人物ラベルがないこと、患者が椅子、車椅子、又はベッドにいないこと、又は患者が転倒ゾーンにいること、のうちの１つであってもよい。真の場合、アラームがトリガされる。真でない場合、すなわち、部屋（１人部屋）又は患者セクション（複数人部屋）に（患者以外の）別の人物ラベルがある場合、患者が椅子、車椅子若しくはベッドにいる場合、又は患者が転倒ゾーンにいない場合、アラームはトリガ又は送信されない。転倒ゾーンは、患者ラベルが転倒アラームを生成しなければならない領域、例えば、部屋又は廊下領域の中央の床領域であり得る。患者の活動クラスが変化した場合、例えば、立っている状態から座っている状態若しくは横になっている状態、又は座っている状態から転倒領域で横になっている状態に変化した場合にも、アラームがトリガされ得る。

ベッドで動いているアラーム、離床アラーム、又はベッドから出るアラームは、例えば、画像データから、患者のベッド内の活動クラスが横になっている状態から座っている状態、座っている状態から立ちあがる状態、立っている状態、又は歩いている状態に変化することが検出された場合にトリガされ、送信され得る。

車椅子から立ち上がるアラームは、例えば、画像データから、車椅子における患者の活動クラスが座っている状態から立ち上がる状態、立っている状態、又は歩いている状態に変化することが検出された場合、トリガされ得る。

トイレアラームは、例えば、画像データから、患者が自分の部屋に一人でいる、すなわち、部屋に患者以外に他の人物ラベルが存在せず、かつ患者が第２の部屋に一人で移動するか、又は第２の部屋の前で姿を消し、特定の所定の時間内、例えば５～１５分のうちに主室に戻らない場合にトリガされ得る。トイレアラームは、患者が特定の所定の時間内に到着した場合、及び／又は患者以外の別の人物（ラベル）が主室又は第２の部屋に入る場合には、ブロックされる、すなわちトリガされなくてもよい。

部屋を退室するアラームは、例えば、画像データから、部屋に患者以外の別の人物ラベルが存在しないか、又は２人以上の患者が主室から廊下に出ることが検出される場合にトリガされ得る。

患者活動監視アラームは、画像データから、例えば、患者が所定の期間にわたってベッド上に横たわっているか、又は車椅子若しくは椅子に座っていることが記録されている場合、患者が所定の期間中にまったく動いていない場合、又は患者が部屋（昼若しくは夜）に部屋いないか、若しくは夜間にベッドにいないことが検出される場合に、トリガされ得る。

したがって、監視対象者として人物が判定された後、監視対象者及びその活動が画像データから認識され、認識された活動が、その監視対象者について判定されたアラームプロファイルの活動に対応する場合にアラームがトリガされる。一方、監視対象者及びその活動が画像データから分析されるとき、検出された活動が、その監視対象者のアラームプロファイルの活動に対応しない場合には、アラームはトリガされない。この場合では、活動が、例えば、アラームプロファイルに結び付けられていなかったのである。非患者の人物、例えば、清掃担当者、医療スタッフのメンバー、訪問者、若しくはステータスを持たない人物が活動を行ったと検出されるとき、上記と同じことが発生し、すなわち、アラームは実行されないが、これはアラームプロファイルがその人物について判定されていないためである。例えば、部屋を退室することが患者のアラームプロファイルの活動である場合、その患者が部屋を退室するときにアラームは実行されるが、活動として部屋を退室することを含まないアラームプロファイルを有する患者、又は非患者の人物が部屋を退室するときにはアラームは実行されない。

画像データをキャプチャするように構成されたカメラ及び画像データを分析するように構成されたコンピューティングデバイスの設定を構成する、すなわち、調整、制御、又は変更することが可能である。例えば、静止画像若しくはポーズの画像キャプチャ頻度を変更することによって、監視システムのカメラにおける設定のうちの１つ以上を構成することが可能であり、又はビデオ画像データの場合、患者は、例えば、検出されたイベントに基づいて、より頻繁に分析のために画像データから検出されるように構成することができる。例えば、患者がベッドから起き上がっているか、若しくは転倒していることが画像データから検出される場合、カメラの画像キャプチャ設定は、データ処理ユニットによって、静止画像若しくはポーズの画像キャプチャ頻度が増加するように構成されてもよく、又は画像分析設定は、患者がより頻繁にビデオ画像データで検出されるよう構成されて、患者の状態をより把握できるように構成されてもよい。更に、例えば、アラームプロファイルを構成すること、例えば、アラームプロファイルに活動を結び付けること、又はアラームプロファイルから活動を削除すること、期間を調整すること、例えば、人物を監視対象者として判定するときに使用されるように定義される期間を調整することが可能である。

図１は、例えば患者室又は寝室などの監視されるように構成された空間における、本発明の有利な実施形態による監視システムの図を示す。監視システムは、イメージセンサ１１を含む少なくとも１つのカメラ１０を備える。カメラ１０は、空間内の１人以上の人物の、この例ではリアルタイムビデオストリームであるリアルタイム画像データを撮像する、すなわちキャプチャするように構成されている。カメラ１０は、例えば、空間の天井に、若しくは空間の上部に、又は空間内の人物を撮像することが可能である他の任意の場所に配置されてもよい。

カメラ１０は、リアルタイムビデオ画像データをカメラ１０からデータ処理ユニット１２に無線で又は有線接続を介して送信するためのデータ転送手段、例えば送信機又は送受信機を備える。データ処理ユニット１２は、少なくとも１つのプロセッサと、１つ以上のプログラムユニットのためのコンピュータプログラムコードを含む少なくとも１つのメモリと、カメラ１０からリアルタイムビデオ画像データを無線で又は有線接続を介して受信するための手段、例えば、受信機又は送受信機とを備える。複数のプロセッサ、例えば、汎用プロセッサ、グラフィックプロセッサ及び／又はＤＳＰプロセッサ、及び／又は複数の異なるメモリ、例えば、実行時にデータ及びプログラムを記憶するための揮発性メモリ、及びデータ及びプログラムを永続的に記憶するためのハードディスクのような非揮発性メモリが存在してもよい。データ処理ユニット１２は、コンピュータなどの、画像データを分析するのに好適な任意のコンピューティングデバイスであり得る。データ処理ユニット１２は、信号線を介してカメラ１０と電子通信することができる。データ処理ユニット１２はまた、コンピュータアクセサリを用いてユーザのために生成され得る信号を生成するためのビデオコントローラ及び音声コントローラを含み得る。データ処理ユニット１２は、出力手段を介してユーザへの出力を生成することができる。ビデオコントローラは、ディスプレイ（図示せず）に接続されてもよい。ディスプレイは、例えば、フラットパネルディスプレイ、タブレット、ラップトップのディスプレイ、又はより大きな画像を生成するプロジェクタであってもよい。音声コントローラは、例えば、アラーム音を発生させるラウドスピーカーなどの音源に接続されてもよい。カメラ１０はまた、マイクロフォンなどの音響センサを含んでもよい。

データ処理ユニット１２は、カメラ１０からリアルタイム画像データを受信し、それを分析するように構成されている。この分析は、少なくとも、画像データから人物１５を検出することと、データ処理ユニット１２が、画像データから、人物１５が所定の期間にわたってベッド１６に滞在したことを検出した（所定の条件が満たされた）ため、検出された人物１５を、監視対象者として、この例では患者として判定することを含む。上記期間は、データ処理ユニット１２に対して予め決められている。人物１５を患者として判定することは、検出された人物１５に対するラベルを生成することと、そのラベルに対して患者ステータスを設定することとを含む。人物１５を患者として判定した後、データ処理ユニット１２は、画像データから患者を追跡し、患者によって実行された１つ以上の活動を認識するように更に構成されている。上記認識は、人工知能（ＡＩ）モデル、又は任意の他の好適な方法を使用することによって実行され得る。患者１５の活動を認識するために使用されるＡＩモデルは、カメラ１０又はデータ処理ユニット１２のメモリに記憶されてもよい。活動が認識された後、認識された活動は、患者１５について判定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較される。患者１５の認識された活動がアラームプロファイルに結び付けられた活動に対応する場合、アラームがトリガされ、例えば、ナースコールシステムに送信される。アラームプロファイルは、活動を選択することを含み得、これらの選択された活動によって、特定の活動がアラームを引き起こすかどうかが定義される。それらの選択された活動は、アラームプロファイルに結び付けられた活動として称され得る。

空間内に２つ以上のカメラが存在してもよく、それは静止画像若しくはビデオ画像をキャプチャするカメラであり、及び／又はそのカメラが静止画像をキャプチャする。

図２は、監視されるように構成された空間における、例示的な実施形態による監視システム２０の図を示す。上記空間は、この実施形態では、３人の患者室である。監視システム２０は、イメージセンサを含む３台のカメラ２１ａ、２１ｂ、２１ｃを備える。カメラ２１ａ、２１ｂ、２１ｃは、空間内の人物の画像を特定の所定の頻度でキャプチャするように構成されている。第１のカメラ２１ａは、第１の人物２３ａの画像をキャプチャするように構成され、第２のカメラ２１ｂは、第２の人物２３ｂの画像をキャプチャするように構成され、第３のカメラ２１ｃは、第３の人物２３ｃの画像をキャプチャするように構成されている。カメラ２１ａ、２１ｂ、２１ｃは、例えば、患者室の天井に、若しくは患者室の上部に、又は空間内の人物２３ａ、２３ｂ、２３ｃを撮像することが可能である患者室内の任意の他の場所に配置される。

カメラ２１ａ、２１ｂ、２１ｃは、画像データをカメラ２１ａ、２１ｂ、２１ｃからデータ処理ユニット２２に無線で又は有線接続を介して送信するためのデータ転送手段、例えば送信機又は送受信機を備える。データ処理ユニット２２は、例えば、サーバであってもよい。データ処理ユニット２２は、少なくとも１つのプロセッサと、１つ以上のプログラムユニットのためのコンピュータプログラムコードを含む少なくとも１つのメモリと、カメラ２１ａ、２１ｂ、２１ｃからリアルタイムビデオ画像データを無線で又は有線接続を介して受信するための手段、例えば、受信機又は送受信機とを備える。複数のプロセッサ、例えば、汎用プロセッサ、グラフィックプロセッサ及び／又はＤＳＰプロセッサ、及び／又は複数の異なるメモリ、例えば、実行時にデータ及びプログラムを記憶するための揮発性メモリ、及びデータ及びプログラムを永続的に記憶するためのハードディスクのような非揮発性メモリが存在してもよい。データ処理ユニット２２は、コンピュータなどの、画像及び音声データを分析するのに好適な任意のコンピューティングデバイスであってもよい。データ処理ユニット２２は、信号線を介してカメラ２１ａ、２１ｂ、２１ｃと電子通信することができる。データ処理ユニット２２はまた、コンピュータアクセサリを用いてユーザのために生成され得る信号を生成するためのビデオコントローラ及び音声コントローラを含み得る。データ処理ユニット２２は、その出力手段を介してユーザへの出力を生成することができる。ビデオコントローラは、ディスプレイ（図示せず）に接続されてもよい。ディスプレイは、例えば、フラットパネルディスプレイ、ラップトップのディスプレイ、又はより大きな画像を生成するプロジェクタであってもよい。音声コントローラは、アラーム発出のために、ラウドスピーカーなどの音源に接続されてもよい。物理的に、データ処理ユニット２２は、病院の中又は病院の外に位置してもよい。カメラ２１ａ、２１ｂ、２１ｃがそれらのデータをクラウドストレージに転送し、そこからデータ処理ユニット２２がデータを取り出す、又は受信することも可能である。

データ処理ユニット２２は、カメラ２１ａ、２１ｂ、２１ｃから、又はクラウドストレージから実質的にリアルタイムで画像データを受信し、それらの画像データを別々に分析するように構成されている。第１のカメラ２１ａの画像データの分析は、少なくとも、画像データから第１の人物２３ａを検出することと、データ処理ユニット２２が、第１のカメラ２１ａの画像データから、人物２３ａが第１の所定の期間にわたってベッド２４ａに滞在したことを検出した（監視対象患者として人物を判定するための条件が満たされた）ため、検出された人物２３ａを、監視対象者として、この例では患者として判定することとを含む。第１の期間は、データ処理ユニット２２に対して予め決められている。

第２のカメラ２１ｂの画像データの分析は、少なくとも、画像データから第２の人物２３ｂを検出することと、データ処理ユニット２２が、第２のカメラ２１ｂの画像データから、人物２３ｂが、第２の患者２３ｂのベッド２４ｂ上、又は特定の所定の領域２５ｂ内、この例では、第２の患者２３ｂのベッド２４ｂの周りの患者セクション内にいないことを検出したため（すなわち、人物を監視対象患者として判定するための条件が満たされないため）、検出された人物２３ｂを、非患者、すなわち、監視対象でない人物として判定することとを含む。第３のカメラ２１ｃの画像データの分析は、少なくとも、画像データから第３の人物２３ｃを検出することと、データ処理ユニット２２が、第３のカメラ２１ｃの画像データから、人物２３ｃが、特定の所定の領域２５ｃ、この例では、第３の患者２３ｃのベッド２４ｃの周りの患者セクション２５ｃ内に第２の所定の期間にわたって滞在したことを検出したため（人物を監視対象の患者として判定するための条件が満たされたため）、検出された人物２３ｃを、患者として判定することとを含む。この期間は、データ処理ユニット２２に対して予め決められており、それは、患者として判定されるために、人物が患者セクション２５ｃにどのくらいの時間にわたって滞在すべきかを定義する。

患者として人物２３ａ、２３ｃを判定することは、検出された人物２３ａ、２３ｃに対するラベルを生成することと、そのラベルに対して患者ステータスを設定することとを含む。人物２３ａ、２３ｃを患者として判定した後、データ処理ユニット２３ａ、２３ｃは、画像データから患者２３ａ、２３ｃを追跡し、患者２３ａ、２３ｃによって実行された１つ以上の活動を認識するように更に構成されている。この場合も、上記認識は、人工知能（ＡＩ）モデル、又は任意の他の好適な方法を使用することによって実行され得る。患者２３ａ、２３ｃの活動を認識するために使用されるＡＩモデルは、対応してカメラ２１ａ、２１ｃのメモリに記憶されてもよい。第１の患者２３ａの活動が認識された後、認識された活動は、第１の患者２３ａについて判定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較される。患者２３ａの認識された活動がその患者のアラームプロファイルに結び付けられた活動に対応する場合、アラームがトリガされ、例えばナースコールシステムに、送信される。第３の患者２３ｃの活動が認識された後、認識された活動は、第３の患者２３ｃについて判定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較される。患者２３ｃの認識された活動がその患者のアラームプロファイルに結び付けられた活動に対応する場合、アラームがトリガされ、送信される。しかしながら、第２の人物の活動が、認識されてもよく、又はデータ処理ユニット２２は、非患者の人物の活動を認識しないように構成されてもよい。しかしながら、第２の人物２３ｂの活動が認識されると、アラームプロファイルは非患者であると判定される人物については判定されていないため、その認識された活動はいかなるアラームプロファイルとも比較され得ない。また、非患者の人物についてアラームプロファイルが判定されているとしても、通常、そのアラームプロファイルには活動は結び付けられていない。

繰り返すと、リアルタイムで画像データをキャプチャするカメラの数は、現在の３つとは異なってもよい。静止画像若しくはビデオ画像をキャプチャするカメラは１つだけであってもよく、次にその画像データは、人物を検出して、条件が満たされる場合に患者として判定することができるようにデータ処理ユニット２２によって分析され、必要に応じてアラームを行うことができるように、患者の活動を追跡及び認識することもできる。

図３は、例示的な実施形態による、監視システム３０によって検出された患者３１の転倒の状況の図を示す。この例では、例えば図１及び図２の文脈で説明されるように、カメラ３５によってキャプチャされ画像データから、患者３１がデータ処理ユニット３３によって検出され、患者として判定される。人物を患者として判定した後、カメラ３５は、患者３１の画像データをキャプチャし、データ処理ユニット３３は、画像から患者を定期的に検出することによって画像データから患者３１を追跡し、ＡＩモデルによって患者３１の活動を認識している。アラームを引き起こすように構成された活動の１つとして、転倒が結び付けられている患者３１について判定されたアラームプロファイルがある。最新の検出から、データ処理ユニット３３は、患者３１の活動が転倒に対応することを認識する。転倒は、ベッド３４、又は例えば椅子若しくは車椅子（図示せず）の上以外の何らかの場所に座っている、又は横になっていることとして判定されてもよい。検出され認識された活動は、アラームプロファイルに結び付けられた１つ以上の活動と比較される。そして、患者３１の認識された活動（転倒）は、患者３１について判定されたアラームプロファイルに結び付けられた活動に対応するため、アラームが引き起こされる。

しかしながら、転倒に対して判定される特定の所定の条件があってもよく、アラームが引き起こされるためには、その条件が満たされる、すなわち、条件に見合う必要がある。その条件は、例えば、患者３１が転倒ゾーン３２にあることを画像データから検出しなければならないことであり得る。転倒ゾーン３２は、例えば、患者のベッド３４の隣の床領域であってもよく、又は例えば、ベッド３４、椅子若しくは車椅子を除く部屋の他の領域であってもよい。別の所定の条件は、例えば、アラームが引き起こされるためには、転倒が検出されるときに患者３１が部屋に一人でいる必要があることであり得る。言い換えれば、データ処理ユニット３３は、画像データから、部屋内の他の人物及び／又は患者を検出することはできない。しかし、２人以上の患者の部屋、例えば、２人又は３人の患者の部屋の場合、所定の条件は、部屋に非患者として判定された少なくとも１人の他の人物が存在する場合にはアラームが行われないこととすることが可能である。

図４は、例示的な実施形態による、監視システム４０によって検出された、許可なく病室を退室する患者４１の状況の図を示す。この例では、例えば図１及び図２の文脈で説明されるように、人物は、カメラ４４によってキャプチャされた画像データから、データ処理ユニット４３によって検出され、この人物は、患者４１として判定される。人物を患者４１として判定した後、カメラ４４は、患者４１の画像データをキャプチャしていて、データ処理ユニット４３は、画像から患者４１を定期的に検出することによって画像データから患者４１を追跡し、かつＡＩモデルによって患者４１の活動を認識している。患者４１について判定されたアラームプロファイルがあり、そのプロファイルには、許可なく患者室を退室することが、アラームを引き起こすように構成された活動のうちの１つとして結び付けられている。最新の検出から、データ処理ユニット４３は、患者４１の活動が許可なく患者室を退室することに対応することを認識する。許可のない退室は、２つの隣接する画像又は検出の間で、部屋のドア４２の前の領域からの患者の消失として判定され得る。認識された活動は、アラームプロファイルの結び付けられた活動と比較される。そして、患者４１の認識された活動（許可のない患者室からの退室）は、患者４１について判定されたアラームプロファイルに結び付けられる活動に対応するため、アラームが引き起こされる。

しかしながら、許可なく患者室を退室することに対して判定される特定の所定の条件があってもよく、アラームが引き起こされるためには、その条件が満たされる必要がある。その条件は、例えば、アラームが引き起こされるためには、許可なく患者室を退室するときに、患者４１が部屋に１人でいることが検出されることであり得る。言い換えれば、データ処理ユニット４３は、画像データから、部屋内の他の人物及び／又は患者を検出することができない。しかし、２人以上の患者の部屋、例えば、２人又は３人の患者の部屋の場合、所定の条件は、部屋に非患者として判定された少なくとも１人の他の人物が存在する場合にはアラームが行われないこととすることが可能である。

図５は、空間内の少なくとも１人の人物を監視するためのコンピュータ実装方法５０のフローチャートを示し、方法５０は以下を含む。ステップ５１において、空間の画像データは、データ処理ユニット、すなわちコンピューティングデバイスによって受信される。ステップ５２において、受信した画像データから少なくとも１人の人物が検出され、ステップ５３において、その少なくとも１人の検出された人物が少なくとも１つの所定の監視対象者条件を満たしていることが画像データから検出された場合、その少なくとも１人の検出された人物は監視対象者として判定される。少なくとも１つの所定の監視対象者条件は、人物が、第１の所定の期間にわたってベッドに滞在していること、人物が、第２の所定の期間にわたって所定の領域に滞在していること、又は人物が、第３の所定の期間にわたって空間に１人で滞在していること、のうちの少なくとも１つを含み得る。本方法は、空間の画像データをキャプチャするステップ、画像データから監視対象者を追跡して監視対象者の活動を認識するステップ、監視対象者の活動を認識するために人工知能（ＡＩ）モデルを使用するステップ、監視対象者の認識された活動を監視対象者について判定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較するステップ、及び、検出されたイベントがアラームプロファイルに結び付けられた活動を含む場合にはアラームをトリガするか、又は別の人物が空間内で検出された場合にはアラームをブロックするステップ、のうちの１つ以上を更に含み得る。人物を監視対象者として判定することは、検出された人物に対するラベルを生成することと、そのラベルに対して、監視対象者ステータスを設定することとを含み得る。アラームプロファイルに結び付けられた活動は、床に横たわる又は床に座ること、空間から離れることであり得る。この監視対象者は、患者であり得る。

データ処理ユニットは、空間の画像データを受信し、画像データから少なくとも１人の人物を検出し、かつ画像データからその少なくとも１人の検出された人物が、少なくとも１つの所定の監視対象者条件を満たしていることが検出された場合、その少なくとも１人の検出された人物を監視対象者として判定するように構成され得、少なくとも１つのプロセッサと、１つ以上のプログラムユニットのためのコンピュータプログラムコードを含む少なくとも１つのメモリと、少なくとも１つのカメラから画像データを無線で又は有線接続を介して受信するための手段とを備える。画像データを受信するための手段は、例えば、受信機又は送受信機であり得る。データ処理ユニットの例は、図に関連して上記でより正確に定義されている。

本発明は、上記で提示された実施形態のみに限定されず、添付の特許請求の範囲内で変更することができることは明らかであろう。

患者として人物２３ａ、２３ｃを判定することは、検出された人物２３ａ、２３ｃに対するラベルを生成することと、そのラベルに対して患者ステータスを設定することとを含む。人物２３ａ、２３ｃを患者として判定した後、データ処理ユニット２２は、画像データから患者２３ａ、２３ｃを追跡し、患者２３ａ、２３ｃによって実行された１つ以上の活動を認識するように更に構成されている。この場合も、上記認識は、人工知能（ＡＩ）モデル、又は任意の他の好適な方法を使用することによって実行され得る。患者２３ａ、２３ｃの活動を認識するために使用されるＡＩモデルは、対応してカメラ２１ａ、２１ｃのメモリに記憶されてもよい。第１の患者２３ａの活動が認識された後、認識された活動は、第１の患者２３ａについて判定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較される。患者２３ａの認識された活動がその患者のアラームプロファイルに結び付けられた活動に対応する場合、アラームがトリガされ、例えばナースコールシステムに、送信される。第３の患者２３ｃの活動が認識された後、認識された活動は、第３の患者２３ｃについて判定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較される。患者２３ｃの認識された活動がその患者のアラームプロファイルに結び付けられた活動に対応する場合、アラームがトリガされ、送信される。しかしながら、第２の人物の活動が、認識されてもよく、又はデータ処理ユニット２２は、非患者の人物の活動を認識しないように構成されてもよい。しかしながら、第２の人物２３ｂの活動が認識されると、アラームプロファイルは非患者であると判定される人物については判定されていないため、その認識された活動はいかなるアラームプロファイルとも比較され得ない。また、非患者の人物についてアラームプロファイルが判定されているとしても、通常、そのアラームプロファイルには活動は結び付けられていない。

本発明は、上記で提示された実施形態のみに限定されず、添付の特許請求の範囲内で変更することができることは明らかであろう。
本件出願は、以下の態様の発明を提供する。
（態様１）
空間内の少なくとも１人の人物の監視方法であって、
前記空間の画像データを受信することと、
前記画像データから少なくとも１人の人物（１５）を検出することと、を含み、
前記方法が、
前記少なくとも１人の検出された人物（１５）が少なくとも１つの所定の条件を満たしていることが前記画像データから検出された場合、前記少なくとも１人の検出された人物（１５）を患者として判定することを更に含み、前記少なくとも１つの所定の条件は、
人物が、第１の所定の期間にわたってベッド上に滞在していること、
人物が、第２の所定の期間にわたって患者セクション内の所定の領域内に若しくはベッドの周りに滞在していること、又は
人物が、第３の所定の期間にわたって前記空間内に１人で滞在していること、のうちの少なくとも１つを含み、
前記条件を満たしていなければ、前記少なくとも１人の検出された人物（１５）が、非患者として判定されることを特徴とする、前記監視方法。
（態様２）
前記人物を監視対象者として判定することが、
前記検出された人物に対するラベルを生成することと、
前記ラベルに対して、監視対象者ステータスを設定することと、を含む、態様１に記載の監視方法。
（態様３）
前記方法が、
前記画像データから、前記監視対象者を追跡することと、
前記監視対象者の活動を認識することと、を更に含む、態様１又は２に記載の監視方法。
（態様４）
前記認識することが、
前記監視対象者の活動を認識するために人工知能（ＡＩ）モデルを使用することを含む、態様３に記載の監視方法。
（態様５）
前記方法が、
前記監視対象者の前記認識された活動を、前記監視対象者について判定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較することと、
前記検出されたイベントが前記アラームプロファイルに結び付けられた活動を含む場合、アラームをトリガすることと、を更に含む、態様３又は４に記載の監視方法。
（態様６）
前記アラームプロファイルに結び付けられた前記活動が、床に横たわる若しくは座ること、前記空間から離れること、又はベッド内で動くこと若しくは前記ベッドを離れることである、態様５に記載の監視方法。
（態様７）
前記方法が、
前記空間内で別の人物が検出された場合、前記アラームをブロックすることを更に含む、態様５又は６に記載の監視方法。
（態様８）
空間内の少なくとも１人の人物を監視するための監視システム（１０）であって、前記システム（１０）が、
少なくとも１つのカメラ（１１）と、
態様１～７のいずれか一項に記載の方法を実行するように構成されたコンピューティングデバイス（１２）と、を備える、前記監視システム（１０）。
（態様９）
コンピュータ可読媒体に記憶されており、かつコンピューティングデバイスにおいて実行可能なコンピュータプログラム製品であって、前記コンピュータプログラム製品は、態様１～７のいずれか一項に記載の方法を実行する命令を含む、前記コンピュータプログラム製品。

Claims (9)

1. 空間内の少なくとも１人の人物の監視方法であって、
   前記空間の画像データを受信することと、
   前記画像データから少なくとも１人の人物（１５）を検出することと、を含み、
   前記方法が、
   前記少なくとも１人の検出された人物（１５）が少なくとも１つの所定の条件を満たしていることが前記画像データから検出された場合、前記少なくとも１人の検出された人物（１５）を患者として判定することを更に含み、前記少なくとも１つの所定の条件は、
   人物が、第１の所定の期間にわたってベッド上に滞在していること、
   人物が、第２の所定の期間にわたって患者セクション内の所定の領域内に若しくはベッドの周りに滞在していること、又は
   人物が、第３の所定の期間にわたって前記空間内に１人で滞在していること、のうちの少なくとも１つを含み、
   前記条件を満たしていなければ、前記少なくとも１人の検出された人物（１５）が、非患者として判定されることを特徴とする、前記監視方法。
2. 前記人物を監視対象者として判定することが、
   前記検出された人物に対するラベルを生成することと、
   前記ラベルに対して、監視対象者ステータスを設定することと、を含む、請求項１に記載の監視方法。
3. 前記方法が、
   前記画像データから、前記監視対象者を追跡することと、
   前記監視対象者の活動を認識することと、を更に含む、請求項１又は２に記載の監視方法。
4. 前記認識することが、
   前記監視対象者の活動を認識するために人工知能（ＡＩ）モデルを使用することを含む、請求項３に記載の監視方法。
5. 前記方法が、
   前記監視対象者の前記認識された活動を、前記監視対象者について判定されたアラームプロファイルに結び付けられた少なくとも１つの活動と比較することと、
   前記検出されたイベントが前記アラームプロファイルに結び付けられた活動を含む場合、アラームをトリガすることと、を更に含む、請求項３又は４に記載の監視方法。
6. 前記アラームプロファイルに結び付けられた前記活動が、床に横たわる若しくは座ること、前記空間から離れること、又はベッド内で動くこと若しくは前記ベッドを離れることである、請求項５に記載の監視方法。
7. 前記方法が、
   前記空間内で別の人物が検出された場合、前記アラームをブロックすることを更に含む、請求項５又は６に記載の監視方法。
8. 空間内の少なくとも１人の人物を監視するための監視システム（１０）であって、前記システム（１０）が、
   少なくとも１つのカメラ（１１）と、
   請求項１～７のいずれか一項に記載の方法を実行するように構成されたコンピューティングデバイス（１２）と、を備える、前記監視システム（１０）。
9. コンピュータ可読媒体に記憶されており、かつコンピューティングデバイスにおいて実行可能なコンピュータプログラム製品であって、前記コンピュータプログラム製品は、請求項１～７のいずれか一項に記載の方法を実行する命令を含む、前記コンピュータプログラム製品。

Images