JP6918129B2 - 患者周辺の光学画像データを検出し、患者のチェックを識別する方法、装置およびコンピュータプログラム - Google Patents

Description

実施例は、患者周辺の光学画像データを検出し、患者のチェックを識別する方法、装置およびコンピュータプログラムに関し、特に、これに限定されるものではないが、看護スタッフによる患者のチェックの自動的な識別のためのコンセプトに関し、これに基づいて自動的な記録保存または警報発令も構築可能である。

従来技術では、集中治療患者の自動的な監視は、主に、ベッドスペース／患者スペースにある医療機器（例えば血行動態モニタリング、人工呼吸器）によってバイタルパラメータをモニタリング（監視）することによって行われる。医療機器は、不所望な生理学的状態が発生したときに、警報を発する。しかし、患者の活動度等の状態変数の監視や転倒等の危険な状況の識別も同じように重要である。

これまでのところ、このような監視は主に、現場にいる看護スタッフによって行われている。看護スタッフは患者の状態に応じて、時には極めて細かい時間間隔で患者の面倒を見るべきであり、このことは同様に、巨額のコストと結びついている。他方で、患者の側での／患者のあらゆる処置がストレスと結びついている場合があり、これによって患者は十分な休息期間を得られない。

集中治療と救急医療のためのドイツ学際的協会（Ｄｅｕｔｓｃｈｅ Ｉｎｔｅｒｄｉｓｚｉｐｌｉｎａｅｒｅ Ｖｅｒｅｉｎｉｇｕｎｇ ｆｕｅｒ Ｉｎｔｅｎｓｉｖ− ｕｎｄ Ｎｏｔｆａｌｌｍｅｄｉｚｉｎ）によると、集中治療室では、患者対看護スタッフ比は最大で２：１であるべきである（Ｊｏｒｃｈ等著の文献（２０１０年）を参照）が、実際には患者対看護スタッフ比はしばしば、遥かにそれを超える。これによって特に、患者は過度に長い間、観察下にないことがあり、相応する時間間隔の監視が適切である。他方で、患者は医療スタッフの処置によって頻繁に妨害されるので、十分な休息期間を得られないことがある。これに関連しているのは殊に、正常な昼夜リズムが失われるということであり、これは治癒過程に明らかに悪影響を及ぼす。すなわち、このような場合には、監視および患者の側での処置の時間的な制限が合理的であろう。

患者を監視するための高い人件費の問題は、すでに、多くの異なる様式で対処されている。これに対して特に、患者のチェックおよび処置を監視することは、今日、ほとんど不可能である。以下では、いくつかの手法およびシステムについて論じる。

患者のモニタリングは、ベッドスペースにある医療機器（血行動態モニタリング、人工呼吸器）によるバイタルパラメータの監視であり、標準として、集中治療患者の自動的な監視が行われる。監視されているバイタルパラメータが特定の範囲外にある場合、医療機器は医療スタッフに警報を発することができる。これによって、スタッフの負担が軽減され、特定のパラメータを監視することが可能になる。今日では医療機器は完全には看護スタッフの代わりになることはできず、コンテキスト情報をほとんど有していない。すなわち、医療機器は極めて患者固定型であり、したがって患者のチェックおよび処置を確定し、監視することもできない。

Ｔｅｌｅ−ＩＣＵ（遠隔ＩＣＵ、英語でＩｎｔｅｎｓｉｖｅ Ｃａｒｅ Ｕｎｉｔ， Ｉｎｔｅｎｓｉｖｓｔａｔｉｏｎ）は、２０００年頃から、特に米国で役割を果たしている。ここではビデオデータと音声データが、測定されたバイタルパラメータとともに遠隔配置されたステーションに伝送される。このステーションには、データを分析するスタッフがいる（概要：（Ｇｏｒａｎ著の文献（２０１０年）））。１人の従事者が、複数のモニターを複数のベッドスペースとして容易に同時に観察することができるので、Ｔｅｌｅ−ＩＣＵは人件費の削減に役立つ。Ｔｅｌｅ−ＩＣＵシステムをもってしても、患者との人的な接触は重要かつ必要である。これは例えば、体位変換のためである。Ｔｅｌｅ−ＩＣＵシステムによって、このような接触の時間間隔を検査することは可能だが、これに伴い、Ｔｅｌｅ−ＩＣＵステーションにいる従事者の負担は増加する。

集中治療室では当然、個々の看護スタッフに対して、交替制勤務が計画されている。これには、少なくとも時間と場所（通常は割り当てられたベッドスペースを含む）が含まれている。計画は通常、チェックに対する時間間隔が実際にも遵守されていることを必ずしも保証するわけではない、もしくは必ずしも現実を正確に反映しているわけではない。

アルゴリズムが、規定された出来事を自動的に識別する、カメラベースの集中治療室監視システムはまだ存在していない。米国特許出願公開第２０１６１８３８６４号明細書（ＵＳ２０１６１８３８６４Ａ１）は、人が患者周辺の規定された区域内にいる時間を測定し、この測定された時間を所定の時間と比較する方法を開示している。入力データとして、深度計測カメラからのデータが使用される。しかし、人が患者周辺の仮想区域にいるということはまだ、この人が患者をチェックし、あるいは処置するということを意味していない。

さらなる情報は以下の文献に記載されている。
・米国特許出願公開第２０１６１８３８６４号明細書（ＵＳ２０１６１８３８６４Ａ１）
・Ａｈａｄ， Ｍ． Ａ．， Ｔａｎ， Ｊ． Ｋ．， Ｋｉｍ， Ｈ．，およびＩｓｈｉｋａｗａ， Ｓ．著（２０１２年），「Ｍｏｔｉｏｎ ｈｉｓｔｏｒｙ ｉｍａｇｅ： ｉｔｓ ｖａｒｉａｎｔｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ」
・Ｂａｒｎｉｃｈ， Ｏ．， Ｖａｎ Ｄｒｏｏｇｅｎｂｒｏｅｃｋ， Ｍ．著（２０１１年），「ＶｉＢｅ： Ａ ｕｎｉｖｅｒｓａｌ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ， Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ）」
・Ｂｒｅｉｍａｎ， Ｌ．著（２００１年），「Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ， Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ（第５頁−第３２頁）」
・Ｄａｌａｌ， Ｎ．， Ｔｒｉｇｇｓ， Ｂ．著（２００５年），「Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ（ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）」
・Ｆａｎｅｌｌｉ， Ｇ．， Ｗｅｉｓｅ， Ｔ．， Ｇａｌｌ， Ｊ．， Ｓｔ Ｖａｎ Ｇｏｏｌ， Ｌ．著（２０１１年），「Ｒｅａｌ ｔｉｍｅ ｈｅａｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｃｏｎｓｕｍｅｒ ｄｅｐｔｈ ｃａｍｅｒａｓ， Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ」
・Ｆｉｓｃｈｌｅｒ， Ｍ． Ａ．著（１９８１年），「Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ： ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，第３８１頁−第３９５頁）」
・Ｇｉｒａｒｄｅａｕ−Ｍｏｎｔａｕｔ， Ｄ．，等著（２００５年），「Ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ ｏｎ ｐｏｉｎｔｓ ｃｌｏｕｄ ｄａｔａ ａｃｑｕｉｒｅｄ ｗｉｔｈ ａ ｇｒｏｕｎｄ ｌａｓｅｒ ｓｃａｎｎｅｒ， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｒｃｈｉｖｅｓ ｏｆ Ｐｈｏｔｏｇｒａｍｍｅｔｒｙ， Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ａｎｄ Ｓｐａｔｉａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ」
・Ｇｏｒａｎ， Ｓ．著（２０１０年８月），「Ａ Ｓｅｃｏｎｄ Ｓｅｔ ｏｆ Ｅｙｅｓ： Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｔｅｌｅ−ＩＣＵ（Ｃｒｉｔｉｃａｌ− ＣａｒｅＮｕｒｓｅ）」
・Ｈａｒｔｍａｎ， Ｆ．，著（２０１１年），「Ｒｏｂｏｔｅｒｓｔｅｕｅｒｕｎｇ ｄｕｒｃｈ Ｇｅｓｔｅｎ」
・Ｊｏｒｃｈ， Ｇ．， Ｋｌｕｇｅ， Ｓ．， Ｋｏｅｎｉｇ， Ｆ．， Ｍａｒｋｅｗｉｔｚ， Ａ．， Ｎｏｔｚ， Ｋ．， Ｐａｒｖｕ， Ｖ．，．．．， Ｗａｙｄｈａｓ， Ｃ．著（２０１０年），「Ｅｍｐｆｅｈｌｕｎｇｅｎ ｚｕｒ Ｓｔｒｕｋｔｕｒ ｕｎｄ Ａｕｓｓｔａｔｔｕｎｇ ｖｏｎ Ｉｎｔｅｎｓｉｖｓｔａｔｉｏｎｅｎ， Ｖｅｒａｂｓｃｈｉｅｄｅｔ ｍｉｔ Ｂｅｓｃｈｌｕｓｓ ｄｅｓ Ｐｒａｅｓｉｄｉｕｍｓ ｄｅｒ Ｄｅｕｔｓｃｈｅｎ Ｉｎｔｅｒｄｉｓｚｉｐｌｉｎａｅｒｅｎ Ｖｅｒｅｉｎｉｇｕｎｇ ｆｕｅｒ Ｉｎｔｅｎｓｉｖ− ｕｎｄ Ｎｏｔｆａｌｌｍｅｄｉｚｉｎ （ＤＩＶＩ）」
・Ｋｒｉｚｈｅｖｓｋｙ， Ａ．， Ｓｕｔｓｋｅｖｅｒ， Ｉ．，およびＨｉｎｔｏｎ， Ｇ． Ｅ．著（２０１２年），「Ｉｍａｇｅｎｅｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ（第１０９７頁−第１１０５頁）」
・Ｌａｌｌｅｍａｎｄ， Ｊ．， Ｒｏｎｇｅ， Ａ．， Ｓｚｃｚｏｔ， Ｍ．， Ｉｌｉｃ， Ｓ．著（２０１４年），「Ｐｅｄｅｓｔｒｉａｎ ｏｒｉｅｎｔａｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ，（第４７６頁−４８７頁， Ｓｐｒｉｎｇｅｒ）」
・Ｍａｒｔｉｎｅｚ， Ｍ．， Ｓｃｈａｕｅｒｔｅ， Ｂ．， Ｓｔｉｅｆｅｌｈａｇｅｎ， Ｒ．，著（２０１３年），「‘‘ＢＡＭ！’’ Ｄｅｐｔｈ−Ｂａｓｅｄ Ｂｏｄｙ Ａｎａｌｙｓｉｓ ｉｎ Ｃｒｉｔｉｃａｌ Ｃａｒｅ， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ａｎａｌｙｓｉｓ ｏｆ Ｉｍａｇｅｓ ａｎｄ Ｐａｔｔｅｒｎｓ（第４６５頁−第４７２頁）」
・Ｒｅｈｄｅｒ， Ｅ．， Ｋｌｏｅｄｅｎ， Ｈ．， Ｓｔｉｌｌｅｒ， Ｃ．，著（２０１４年），「Ｈｅａｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｏｒｉｅｎｔａｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｐｅｄｅｓｔｒｉａｎ ｓａｆｅｔｙ（１７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ （ＩＴＳＣ），（第２２９２頁−第２２９７頁））」
・Ｓｏｎｇ， Ｓ．， Ｘｉａｏ， Ｊ，著（２０１４年），「Ｓｌｉｄｉｎｇ ｓｈａｐｅｓ ｆｏｒ ３ｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎ ｄｅｐｔｈ ｉｍａｇｅｓ， Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（第６３４頁−第６５１頁）」
・Ｗｅｌｃｈ， Ｇ．， Ｂｉｓｈｏｐ， Ｇ．著（２００６年７月），「Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｔｈｅ Ｋａｌｍａｎ Ｆｉｌｔｅｒ」

したがって、患者のチェックを識別するための改良されたコンセプトを実現する必要がある。この必要性は、添付の独立請求項による方法、装置およびコンピュータプログラムの実施例によって満たされるだろう。

例えば、相当数の実施例は、画像データに基づいて患者のチェックまたは患者の処置を自動的かつ確実に識別することができる。したがって、少なくともいくつかの実施例では、十分な休息期間を伴う適切な医療的な供給および看護を保証するために、チェックおよび処置が等しい時間間隔で行われることがより良好に保証される。例えば看護スタッフがある程度の時間、患者の面倒をみたり、もしくは患者の方を向いている場合には、チェックは主に視覚による患者の管理であると理解される。患者の処置は身体的な接触を意味する。いくつかの実施例は、このような管理を自動的に、確実に、かつ問題なく担うことができる。これによって、患者の看護が改善され、場合によっては、より良い計画作成によって、費用を削減することができる。

実施例は、看護スタッフが配置されている患者周辺の画像データから、看護スタッフの向きまたは視線方向の範囲における、看護スタッフと患者との間の幾何学的関係に関する情報を特定することができるという基本的な考えに基づいている。このような情報に基づいて、患者のチェックまたは患者の処置が行われたか否かを確定することができる。ここで、幾何学的関係を介した特定の信頼性は、単なる、患者と看護スタッフが同じ空間または検出領域内にいるか否かに関する確定と比べて、高い。

実施例は、患者周辺の光学画像データを検出し、この画像データに基づいて患者のチェックを識別する方法を提供する。この方法は、画像データに基づいて患者を検出することと、画像データに基づいて少なくとも１人の別の人を検出することとを含んでいる。この方法はさらに、患者と少なくとも１人の別の人との間の少なくとも１つの幾何学的関係を特定すること含んでいる。この方法はさらに、幾何学的関係に基づいて、患者のチェックを識別することを含んでおり、ここでこの幾何学的関係の特定は、患者に対する少なくとも１人の別の人の向きおよび／または視線方向の特定を含んでいる。実施例は、患者のチェックを確実に、少なくとも１人の別の人の向きまたは視線方向の特定によって識別することができる。

いくつかの別の実施例では、幾何学的関係の特定は、少なくとも１人の別の人と患者との間の距離の特定を含み得る。実施例は、場合によっては患者の処置も識別することができる。相当数の実施例では、幾何学的関係の特定は、少なくとも１人の別の人と患者との間の接触の識別を含んでいてよく、したがって患者のチェックまたは患者の処置を確実に検出することができる。別の実施例では、この方法は、患者と少なくとも１人の別の人との間に幾何学的関係が存在していた期間に関する情報を出力することを含み得る。したがって、患者のチェックの識別は、幾何学的関係の存在の持続期間に結び付けが可能であり、したがってさらに信頼性を高めることができる。さらに、少なくとも相当数の実施例は、患者のチェックのための時間間隔の検査を実行し、識別された患者のチェックが時間間隔から偏差している場合に警報を出力する。これに関して、自動的な監視もしくは警報機構が実現され得る。例として、時間間隔を検査することは、１つまたは複数の、重み付けされた幾何学的関係とともに、時刻に関連する関数を評価することを含み得る。したがって、複数の重要なパラメータをこの機構に組み込むことができる。

実施例では、少なくとも１人の別の人が看護スタッフであるか否かの識別が行われ、さらにその人が看護スタッフである場合には、少なくとも１つの幾何学的関係に基づいて、患者のチェックの識別が行われる。これによって、患者のチェックの誤識別または誤検出を減らすことができる。少なくとも１人の別の人が看護スタッフであるか否かの識別は、例えば、画像データ中の少なくとも１人の別の人の画素の色分析に基づいていてよく、例えば、衣服の色が検出される。一般的に、看護スタッフの識別は、看護スタッフの識別子に基づいていてよく、ここでは多くの機構が考えられ、例は光学的な識別子、音響的な識別子であり、また電子的な識別子等も考えられる。

いくつかの実施例では、患者周辺における複数の別の人の特定が行われる。例えば、医師、看護スタッフおよび訪問者を区別することができる。相当数の実施例では、この方法は、医療機器からの警報情報の受信後に実施されてよい。したがって実施例は、警報によって（例えばクリチカルなバイタルパラメータによって）トリガされ、この方法を実施し、例えば警報のトリガと患者のチェックの実行との間の時間を特定する。別の実施例では、この方法は、警報情報を受信した後の所定の期間内に患者のチェックが行われるか否かも監視することができる。したがって、実施例は、場合によってはタイマー機能を考慮し、患者のチェックがタイマー機能によって監視されている時間内に行われるか否かを記録保存することによって、記録保存を容易にすることができる。別の実施例では、患者をより高い頻度でチェックすべきか、またはより低い頻度でチェックすべきかに関する情報の特定、およびこの情報の出力が行われる。したがって、実施例は、警報システムおよび／または自動的な監視を可能にすることができる。例えば、識別された患者のチェックの記録保存も自動的に行われる、または容易になる。

実施例は、それ以前の請求項のいずれか１項に記載の方法を実施するように構成されている計算装置を伴う装置も実現する。

別の実施例は、プログラムコードがコンピュータ、プロセッサ、またはプログラミング可能なハードウェア構成要素上で実行されるときに、本明細書に記載されている方法を実施するためのプログラムコードを有するプログラムまたはコンピュータプログラムである。

別の有利な構成を、以降で、図面に示されている実施例に基づいて、より詳細に説明するが、一般的に、全体的に、これらの実施例に制限されない。

患者周辺の光学画像データを検出し、この画像データに基づいて患者のチェックを識別する方法の実施例のブロック図である。 実施例において深度情報を検出するための種々の方法の概観図である。 実施例における患者周辺を示す図である。 患者のチェックを識別するための方法の別の実施例のブロック図である。 別の人を識別する方法の別の実施例のブロック図である。 患者の処置を識別する方法の別の実施例のブロック図である。 実施例における、向きおよび患者と別の人との間の距離の特定を視覚化する図である。 実施例における、患者の管理を増加させるべきか、または低減させるべきかを特定する方法の別の実施例のブロック図である。 警報発令後に患者のチェックを識別する方法の別の実施例のブロック図である。 外部システムによる警報発令後に患者のチェックを識別する方法の別の実施例のブロック図である。

ここで、いくつかの実施例が示されている添付の図面を参照しながら、様々な実施例をより詳細に説明する。

いくつかの例示的な実施例を示しているに過ぎない添付の図面の以下の説明では、同じ参照符号は、同じまたは類似の構成要素を指すことがある。さらに、まとめられた参照符号は、実施例または図面において複数回出現する構成要素および対象物に使用されることがあるが、１つまたは複数の特徴に関してまとめて記載される。同一のまたはまとめられた参照符号によって表された構成要素または対象物は、そうでないことが明細書から明示的または黙示的に明らかでない限り、個々の、複数のまたはすべての特徴、例えばそれらの寸法に関して同じであるが、場合によっては異なって構成されていてもよい。自由選択的な構成要素は、図面において破線または破線の矢印で示されている。

実施例を様々な方法で修正および変更することができるが、実施例が例として図に示されており、明細書において詳細に説明される。しかし、開示された各形態に実施例を制限することは意図されておらず、実施例は、むしろ本発明の範囲内にあるすべての機能的かつ／または構造的修正、均等物および代替物をカバーすべきであるということが明らかである。図面の説明全体を通して、同じ参照符号は同じまたは類似の要素を指している。

別の要素に「接続されている」または「結合されている」と記載されている要素は、この別の要素に直接的に接続されていても、結合されていてもよく、または介在する要素が存在していてもよい、ということに留意されたい。これに対して、ある要素が別の要素に「直接的に接続されている」または「直接的に結合されている」と記載されている場合、介在する要素は存在していない。要素間の関係を説明するために使用される他の用語も同様に解釈されるべきである（例えば、「間に」対「直接的にその間に」、「隣接して」対「直接的に隣接して」等）。

本明細書で使用される専門用語は、特定の実施例を説明することのみを目的としており、実施例を制限すべきではない。本明細書で使用される場合には、単数形「ｅｉｎｅｒ」、「ｅｉｎｅ」、「ｅｉｎｅｓ」および「ｄｅｒ、ｄｉｅ、ｄａｓ」は、文脈が明らかにそうでないこと示していない限り、複数形も含んでいるべきである。さらに、例えば、「内包する」、「内包して」、「有する」、「含む」、「含んで」および／または「有して」等の表現は、本明細書で使用される場合には、列挙した特徴、整数、ステップ、動作経過、要素および／または構成要素の存在を示すが、１つまたは複数の特徴、整数、ステップ、動作経過、要素、構成要素および／またはそれらのグループの存在または追加を排除するものではない。

そうでないことが規定されていない限り、明細書で使用されるすべての用語（技術用語および科学的な用語を含む）は、実施例が属する分野の平均的な当業者がそれに割り当てるのと同じ意味を有している。さらに、例えば、一般的に使用されている辞書において定義されている表現は、関連技術の文脈における、自身の意味と一致する意味を持つものとして解釈されるべきであり、それが本明細書において明確に定義されていない限り、理想化された意味または過度に形式的な意味で解釈されるべきではない。

図１は、患者周辺の光学画像データを検出し、この画像データに基づいて患者のチェックを識別する方法１０の実施例をブロック図で示している。この方法は、画像データに基づいて患者を検出すること１２と、画像データに基づいて少なくとも１人の別の人を検出すること１４と、を含んでいる。方法１０はさらに、患者と少なくとも１人の別の人との間の少なくとも１つの幾何学的関係を特定すること１６を含んでいる。幾何学的関係の特定１６は、患者に対する少なくとも１人の別の人の向きまたは視線方向の特定を含んでいる。方法１０は、幾何学的関係に基づいて患者のチェックを識別すること１８を含んでいる。

実施例は、明細書に記載されている方法１０のうちの１つを実施するように構成されている計算装置を伴う装置も実現する。実施例では、計算装置は、任意のコントローラまたはプロセッサまたはプログラミング可能なハードウェア構成要素に相当し得る。例えば、方法１０は、相当するハードウェア構成要素用にプログラミングされたソフトウェアとしても実現可能である。これに関して、計算装置は、相応に適したソフトウェアを有するプログラミング可能なハードウェアとして実装され得る。デジタルシグナルプロセッサ（ＤＳＰ）またはグラフィックプロセッサ等の任意のプロセッサを使用することができる。実施例はここで、特定の種類のプロセッサに限定されない。計算装置を実現するための任意のプロセッサまたは複数のプロセッサも考えられる。

別の実施例は、プログラムコードがコンピュータ、プロセッサまたはプログラミング可能なハードウェア構成要素上で実行されるときに、明細書に記載の方法のうちの１つを実施するプログラムコードを伴うプログラムまたはコンピュータプログラムである。

実施例では、計算装置は、画像データの検出用に適合または設計されている検出装置と結合されていてよい。例えば、画像データを検出するために、１つまたは複数のセンサが使用されてよい。このような実施例では、例えば、検出装置の１つまたは複数のセンサは少なくとも三次元（部分）画像データを検出し、これを計算装置に提供する。計算装置は画像データにおいて、患者および少なくとも１人の別の人を検出または識別する。

検出装置は、特定装置および／またはインターフェースと結合されていてよい。検出装置はここで、１つまたは複数の任意の光学的な検出ユニット、検出機器、検出モジュール、センサ等に相応し得る。ここでは、カメラ、画像センサ、赤外線センサ、一次元、二次元、三次元またはそれより多くの次元のデータを検出するためのセンサ、様々な種類のセンサ要素等が考えられる。別の実施例では、１つまたは複数のセンサは、少なくとも三次元データを供給する少なくとも１つのセンサを含み得る。したがって、三次元データは、空間内の画素に関する情報を含んでおり、付加的に、いわば別の次元として、例えば色情報（例えば赤、緑、青（ＲＧＢ）色空間）、赤外線強度、透明度情報（例えばアルファ値）等のさらなる情報を含み得る。

情景の二次元画像は生成しないが、三次元の点のセットは生成する、様々な種類のセンサがある。これは例えば、座標または異なる深度情報を有する画素、対象物の表面点に関する情報等を含んでいる。例えば、センサまたはセンサシステム自体に対する画素の間隔に関する情報がここに存在していてもよい。二次元画像を記録するだけでなく、付加的に、センサシステム自体に対する各ピクセルの距離を内包する深度マップも記録するいくつかのセンサがある。ここから、記録された情景を３Ｄで表す三次元の点群も算出される。

図２は、実施例において深度情報を検出するための種々の方法の概観図を示している。深度マップに対する深度情報を特定するための種々の方法の概要が図２に示されている。直接的な方法２０ａと間接的な方法２０ｂとに分けられており、前者では、システムまでの点の距離が直接的にシステム自体によって特定され、後者では追加の方法が必要とされる。個々の手法に関する付加的な情報は殊に、Ｈａｒｔｍａｎ著の文献（２０１１年）に記載されている。近年、これらのセンサは格段に安価になり、かつ改良されている。三次元情報により、コンピュータは記録された対象物をより正確に分析し、対象物間の間隔等の興味深い情報を導き出すことができる。

図２は、いくつかの実施例における三次元画像データの特定のための概観図を示しており、ここでは、図２を超える特定の変形形態も実施例において使用することができる。センサが特定の遠近感からの画素だけを特定することができ、したがって不完全な三次元画像が生じ得るので、ここで参照される三次元画像データはしばしば三次元部分画像にしか相当しない、ということを示唆しておく。以降においてさらに説明されるように、改善された質またはより多くの画素を有する画像を得るために、複数のそのような部分画像を統合することもできる。これも同様に、部分画像にしか相当しない。

図２は、はじめに２０ａにおいて、画像データにおける深度情報の特定または計算を示している。ここで、分岐２０ｂにおける直接的な方法と、分岐２０ｃにおける間接的な方法と、に分けられ、前者はシステムまでの点の間隔を、このシステムを介して直接的に特定し、後者は間隔特定のための付加的な装置を必要とする。直接的な方法は、例えば飛行時間測定（英語でもｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）２０ｄおよび集束合わせ（焦点外し）方法２０ｅである。間接的な方法は、例えば三角測量２０ｆ（例えばパターニングされた光２０ｈ、動き２０ｉまたはステレオカメラ２０ｊを介して）および表面特徴の評価２０ｇを含んでいる。

種々の手法についてのさらなる詳細は、例えば、Ｈａｒｔｍａｎ Ｆ．著の文献（２０１１年）（上記参照のこと）に記載されている。このようなセンサは近年、安価になり、さらに発展し、高性能になっている。三次元情報によってコンピュータは、検出された対象物の相応する分析を実行し、相応するデータを提供することができる。三次元情報によって、コンピュータまたは計算装置は一般的に、記録された対象物をより正確に分析し、興味深い情報、例えば対象物間の間隔を導出することができる。

図３に、方法１０の実施例を実行するように構成されている装置３０の概念図を示す。図３は、患者周辺を示しており、ここでは患者１００は、患者用ベッドまたは患者支持装置によって表されている。装置３０はここで、病室の情景の異なる遠近感から、少なくとも三次元部分画像データを検出する２つの部分システムまたはセンサ３２ａおよび３２ｂを伴う検出装置を含んでいる。図３はさらに、構築可能な患者用ベッド（患者１００を伴う一般的な患者支持装置に対する代理）およびドアを示している。検出装置の２つの部分システム３２ａおよび３２ｂは、通信接続を介して、例えばイーサネットおよびインターネットプロトコル（ＩＰ）を介して、かつ／またはネットワークにおいて、特定装置／計算装置と結合されている。ここでこの特定装置／計算装置はプロセッサユニット１０として実装されており、相応するソフトウェア命令がそこで実行されたときに、上述した方法を実施するように構成されている。図３はさらに以下の考察の基になるデカルト座標系３３を示している。

一般的に、装置３０は、１〜ｎ個のセンサを含んでおり、これらのセンサはそれぞれ、唯一の三次元（部分）画素セットに加えられる、または唯一の三次元（部分）画素セットに統合される、点のセットを特定する。図３の実施例が示しているように、検出装置は少なくとも三次元部分画像データを検出するために、複数の画像センサを含んでいてよい。ここで、特定装置／計算装置は、複数の画像センサのデータを、患者（ここでは患者用ベッド）１００の少なくとも三次元部分画像の画像データにまとめるように構成されている。例えば、まとめられた画像データは、センサ３２ａ、３２ｂの視線角度からの患者支持装置および患者１００の三次元表面に関する情報を内包している。複数の画像センサのデータを統合することによって、結像されるべき患者／患者用ベッド１００の三次元（部分）画像を、１つの画像を用いた場合よりも、高い詳細度で作成することができる。

計算装置は、図３の実施例では、プロセッサユニットとして構成されていてよく、プロセッサユニットは、ネットワークを介して１〜ｎ個のセンサと接続されている。ここで元来の特定は、統合されたデータに基づいて実行可能である。通信接続を提供することができるネットワークは、例えば記録保存、監視または（例えば、モニターまたはディスプレイ上の）表示の目的で、情報を転送するために使用されてもよい。図３は受け取りシステム３４を示しており、これは同様に通信接続を介して、例えば相応に構成されたインターフェースを介して、計算装置と結合されていてよい。受け取りシステム３４は情報を受け取り、例えば記録保存、セキュリティ監視、警報発令等のために、これをさらに処理する。

図は、２つのセンサ３２ａ、３２ｂを示しており、これらのセンサは情景を観察し、通信接続によって、上述の方法１０を実施するプロセッサユニット／計算ユニットと接続されており、それ自身、同様に通信接続を介して受け取りシステム３４と接続されている。この図はさらに、集中治療室で使用されるような、患者１００を伴う概略的なベッドを含んでいる。観察者に面する側でベッドの側部の境界は下がり、反対側で上がる。

これに応じて、実施例では、装置３０は、画像データを検出する１〜ｎ個のセンサ３２ａ、３２ｂと結合されていてよい。センサは、少なくともそれぞれ深度画像を（自由選択的に、例えば、近赤外画像および／またはカラー画像も）供給することができる。センサは、患者１００の監視されるべきベッドスペースの大部分が視野内に存在するように配向されていてよい。センサ３２ａ、３２ｂは通信接続を介してプロセッサユニットと結合されている。この方法の成果物が、例えば同様に通信接続を介して、警報システムまたは記録保存システム等の他のシステムに伝達されてよい。

図４は、患者のチェックを識別する方法１０の別の実施例のブロック図を示している。この方法は、例えば図３に示されているプロセッサユニット上で実施される。入力として、方法１０は、例えば、利用可能なセンサ３２ａ、３２ｂ毎に少なくとも１つの深度画像を望む。これは、図４において、画像情報の検出４０ａによって示されている。このような画像情報（複数の画像情報）を用いて、情景内に存在している場合には、患者１００が、情景内で自動的に検出され、患者の位置が特定される４０ｂ。情景内に複数の患者が存在している場合には、この方法の後続する部分を各患者に対して個別に実施することができる。次に、少なくとも１人の別の人の検出４０ｃ、例えばカメラの視野内に存在している、それぞれの別の人の検出が行われる。

択一的に、特定のグループの人だけ（例えば看護スタッフだけ、訪問者は除外）が考慮されてよい。後続の矩形の処理ブロック４０ｄ、４０ｅおよび４０ｆはここで、このようにして検出された各人に対して個別に実施される。ここで各アウトプット４０ｇ、４０ｈ、４０ｉは、所定の時間値に関する、検出されたすべての人の結果を含んでいる。人が見つけられると、方法１０はその人の向きを特定し４０ｄ、これを前もって求められている患者の位置と関係づける。ここでは「向き」を「視線方向」に置き換えることもできる、ということに留意されたい。向き／視線方向と、患者の位置との間の関係づけは、実質的に、この人が患者の方を向いていたか、かつ／または患者を見ていたか否か、もしくはどのくらい長くこの人が患者の方を向いていたか、かつ／または患者を見ていたかについての質問に対する答えを提供するはずである。

必要であれば、この方法はここで、所定の時間値および検出された向きに関連するアウトプット４０ｇを行うことができる。自由選択的に、この方法は継続され、検出された人と検出された患者との間の距離を計算することができる４０ｅ。ここで幾何学的関係の特定１６（図１を参照）は、少なくとも１人の別の人と患者１００との間の距離の特定を含んでいる。ここで選択的に、この前に特定された向き／視線方向と、４０ｅで求められた距離の両方を、同様に時間値に関連して、アウトプット４０ｈを生じさせるために使用することができる。別の可能な実施例では、方法１０は、この人が患者に接触しているか否か、すなわち患者がその人によって処置されているか否かを確定することができる４０ｆ。幾何学的関係の特定１６（図１を参照）は、この場合には、少なくとも１人の別の人と患者１００との間の接触の識別を含んでいる。この情報および任意の時間値に応じて、第３のアウトプット４０ｉが生じることがある。方法１０の実施例は必ずしも、図４に列挙されているすべてのアウトプットを成し遂げることができなくてもよい、ということに再度留意されたい。一般的に、実施例は、患者１００と少なくとも１人の別の人との間に幾何学的関係が存在していた期間に関する情報の出力を含み得る。

さらに、相当数の実施例において、警報が出力されるべきか否かという別の情報を、判断時に考慮することが可能である。これは例えば評価の時間（昼／夜）であってよく、場合によっては付加的に、高くなった音響ストレスレベル、または行われた治療行為（例えば人口呼吸処置）に関する知識を考慮することが可能である。したがって、方法１０は、患者のチェックのための時間間隔を検査すること、および識別された患者のチェックが時間間隔から偏差している場合に警報を出力することを含んでいる。この場合、この時間間隔は、例えば最後の看護措置に応じて、昼／夜の時間に応じて、患者のパラメータ等に応じて変化し得る。

さらに、相当数の実施例では、褥瘡（床ずれ）の監視を行うことができる。ここでは、例えば、人の部分が患者の周囲の画定された区域内に一定の期間存在している期間および患者のチェックと相互作用する時間値との比較に基づいて、患者の体位変換の可能性を識別することができる。さらに、実施例では、場合によって、例えばデジタル画像処理を用いて、患者の姿勢も識別することができ、したがって体位変換が識別または確認される。しかし、実施例は体位変換に固定されず、一般的な検査（すなわち一般的に、視覚的管理ならびに身体的相互作用）も考慮され得る。実施例は、複数の、比較的短い検査をまとめ、これらを所定の時間値と比較することができる。さらに、検査間の時間間隔が、患者が休息期間を得るには短すぎる場合にも、アウトプットを生成することができる。

さらに実施例は、向きもしくは視線方向を考慮することによって、人が、患者に注意を払い続けることなく、患者用ベッドに背を向けていることを識別することができる。このようにして患者のチェックの誤検出を減らすことができ、または場合によっては患者のチェックの誤検出を回避することができる。ここで誤検出とは、患者のチェックが行われていなかったのにもかかわらず、患者のチェックが検出されることとして理解される。誤検出の場合、看護スタッフは、これがそのように識別されたであろう／適切であろうにもかかわらず、患者の管理をやめてしまうことがあるだろう。いくつかの別の実施例では、患者の処置が一般的に識別される。要約すると、実施例は広範囲に使用可能であり、体位変換に特定されない。一般的な（例えば視覚による）チェックは、向き／視線方向を考慮することによってより確実に識別される、かつ／または患者の処置が患者の処置として識別され、患者の体位変換だけが識別されるのではない。

以降で説明される実施例は、図１に基づいて説明されたフローに関する。センサとして、ここでは、１〜ｎ個のセンサが使用される。これらのセンサはそれぞれ深度画像を作成し、例えば付加的に近赤外画像および／またはカラー画像も作成する。さらに、各カメラの深度画像から、三次元の点群を作成することが可能である。２．５点群とも称されることがあり、したがってこのことは、この点群が、マスキングによって、情景を必ずしも完全に写し取っているのではないということに触れ、用語「点群」にはこのような可能性も含まれている。カメラが外部から較正される場合には、個々の点群を１つの全体的な点群に統合することができる。明細書に記載されている実施例は全般的に、カメラの深度画像または深度画像から作成される点群のみを使用する。場合によっては、この方法をよりロバストにするために、別の実施例では、付加的な情報が使用されることがある。

この実施例の範囲では、患者は、観察されている情景内の患者支持装置（患者用ベッド、集中治療室のベッド等）内にいる人である。したがって、明細書に提示されている解決策の目的には、患者支持装置（ＰＬＶ）自体を検出し、患者支持装置が占有されているか否かを判断することで十分である。情景内のＰＬＶの検出は、次のように実行される。ｎ個すべてのセンサの融合された点群によって開始される。これらの点が底面レベル（これは、許可された人によって手動で構築されるか、または例えばＲＡＮＳＡＣ（Ｆｉｓｃｈｌｅｒ著の文献（１９８１年））によって自動的に特定される）に投影されると、情景の二次元の平面図が得られる。ここでこの平面図では、ＰＬＶの候補である、容認される（すなわち妥当性が高い）長方形が検出される。この長方形が実際にＰＬＶであることを検証するステップとして、このような長方形内にある、底面上の所定の高さまでのすべての点を点群から切り取ることができる。次に分類器が、切り取った点群がベッドであるか否かを判断することができる。この分類が個々に、まさにどのようなものであるのかに関して、複数の可能性がある。１つの可能性は、点群の二次元（２Ｄ）の投影を作成し（例えば上部からおよび側面から）、このように計算された深度画像を分類することである。ここでは例えば、Ｋｒｉｚｈｅｖｓｋｙ、ＳｕｔｓｋｅｖｅｒおよびＨｉｎｔｏｎ著の文献（２０１２年）において提示されているように、ディープコンボリューションニューラルネットワークが挙げられるだろう。

択一的に、分類を点群に基づいて直接的に行うこともできる。ＳｏｎｇおよびＸｉａｏ著の文献（２０１４年）は、ＳＶＭ（英語でＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）で分類できる点群から特徴を得る方法を記載している。ＰＬＶが情景内で識別されている場合、この方法は続いて、これが占有されているか否を求める。Ｍａｒｔｉｎｅｚ、ＳｃｈａｕｅｒｔｅおよびＳｔｉｅｆｅｌｈａｇｅｎによる２０１３年の刊行物では、これに対する一つの手法が説明されており、ここでは、分類問題としてＰＬＶの占有を解くために、特徴ベクトルとして、ベッド割り当てマップ（例えばベッドに配向されているベクトルマップ）が使用される。

方法が進むとさらに必要となる患者の位置は、抽出された点群が存在しているので、ほぼ容易に求められる。このような部分点群の中心点は、患者の重心に対して十分な近似である。ＰＬＶに関するさらなる詳細に対して、また明細書で説明される別の態様に関しても、画像データに基づくＰＬＶ１００の部分セグメント位置の特定を扱う文献ＤＥ１０２０１５０１３０３１．５を参照されたい。

すでに上述したように、実施例では、患者の他に、情景内の少なくとも１人の別の人も検出される。ここでできるだけすべての人を識別することが重要である。相当数の実施例では、この方法はまた、特定の人物グループのうちの人だけが、そのような人として検出され、計数されるように設計されていてもよい。情景内の人を検出するための方法は図５に示されている。図５は、別の人を識別する方法の別の実施例のブロック図を示している。この方法は、上述したように検出され、入力された情景５０ａの表示として、点群を処理する。この方法は、最初に情景の平面図を作成し５０ｂ、この平面図内の人の候補を識別する５０ｃことによって、続けられる。上述の記載とは異なり、この実施例では長方形は探されず、上から人を表すことができる連結されたピクセル（「ブロブ」）が探される。このために、ブロブが、それらのサイズ、円形性および凸面度等の様々なパラメータに基づいて調べられる。このために殊に、ＯｐｅｎＣＶライブラリから「ＳｉｍｐｌｅＢｌｏｂＤｅｔｅｃｔｏｒ」を使うことができる。

相当数の実施例では、情景の平面図の作成時に検出された動きを使用して、静的オブジェクトを候補として除外することができる、ということに留意されたい。ここで、人がしばらくの間、静かにしたままである場合にはすぐに、場合によって生じる「トラッカー（Ｔｒａｃｋｅｒ）」（下記参照）は、この人が立ち去ったのではないということを保証しなければならない。候補が識別されると、それらは同様に点群から抽出され５０ｄ、これによって後に分類される５０ｅ。ここで分類を上述したのと全く同じように実行することができ、ここでは当然、分類器が相応に、人の識別のために訓練されている。相当数の実施例では、特定の人物グループからの人だけを、そのような人として識別することが望まれることがある。特に、看護スタッフだけを人として識別するのが適切であろう。

これを実行する手法は以下の通りである。

カラー画像が存在している場合には、特に病院内で看護スタッフは特別な作業服を着用しているので、このカラー画像は人物グループを識別するのに役立つ。この方法は、この作業服の色の衣服の人だけを、そのような人として識別するように構築されていてよい。この目的のために、例えば、看護スタッフのカラー画像がシステムに提供されなければならないだろう。ここから、１つまたは複数の色ヒストグラムを算出することができ、それは次に付加的に、候補の分類に使用される。このような手法の欠点は、これが十分な光の条件においてのみ使用可能である、ということである。いくつかの別の実施例では、この方法は、少なくとも１人の別の人が看護スタッフであるか否かを識別すること、ならびにその人が看護スタッフである場合には、少なくとも１つの幾何学的関係に基づいて患者のチェックを識別することを含み得る。言い換えれば、少なくとも相当数の実施例は、患者のチェックが看護スタッフによって行われることを必要とし得る。

少なくとも１人の別の人が看護スタッフであるか否かを識別することは、ここで、画像データ内の少なくとも１人の別の人の画素の色分析に基づいていてよい。例えば、少なくとも１人の別の人の衣服の色検出を行うことができる。別の実施例では、看護スタッフの識別は、看護スタッフの識別子に基づいていてよい。この場合には、光学的な識別子、顔識別、マーキング、バーコード、音響的な識別子、例えば超音波、トランスポンダ、例えば無線周波数識別子（ＲＦＩＤ）、ポケットベル／スマートフォン追跡等が考えられる。この方法はさらに、患者周辺内で複数の別の人を特定することを含み得る。したがって、少なくとも相当数の実施例は、人または人物グループを区別することもできる。これは例えば、訪問者、医師、ナース等である。ここでシステムは相応に構築可能である（区別の多様性はすべての患者で同じである必要はない）。例えば、異なる人物グループの人を識別するために、複数の方法が並行して行われる。

相当数の実施例では、訪問者の影響を減らすために、座っている人が除外されてよい。これは同様に、座っている人用に特別に分類器を訓練することによって、分類ステップに統合されてよい。ＲＦＩＤ識別子等を介して識別することも可能であろう。上述したように、ここでも、抽出された各点群の中心点として、各人の位置の近似を得ることができる。さらに、場合によっては、複数のフレームにわたって人物を追跡すること、いわゆる「トラッキング（Ｔｒａｃｋｉｎｇ、ドイツ語では例えばＶｅｒｆｏｌｇｅｎ）」が合理的である。トラッキングアルゴリズムを使用して、空間を通じて、人を追跡することができる。

個々のフレーム内で人が識別されると、この人が、「データ結合」と呼ばれるステップにおいて、複数のフレームにわたって互いに関連付けされる。コスト関数を用いて、検出された人が、最後の複数のフレームの人物に属しているか否かを判断することができる。このようなコスト関数の例は、互いに対する個々の検出の除去（または「Ｂｏｕｎｄｉｎｇ−Ｂｏｘ−Ｏｖｅｒｌａｐ」）、または近赤外および／またはカラー画像における人の質感の比較である。人が複数のフレームにわたって追跡された場合、将来の位置の予測も、例えばカルマンフィルター（ＷｅｌｃｈおよびＢｉｓｈｏｐ）によって可能である。次いで、予測された位置を検出位置と比較することができる。さらに、殊に、マイクロソフト社のＫｉｎｅｃｔカメラに対するソフトウェア開発キット（ＳＤＫ）が、人を検出し、追跡することを可能にする関数を提供するということを指摘しておく。

上述したように、患者の位置に対する別の人の向きまたは視線方向の特定の実施例が実行される。人の向きと、人の（比較的正確な）視線方向の両方が使用されてよい。両方の手法に対して、ここでは、例としてこれらがどのように実行されるかを説明する。人が追跡される場合（トラッキング）、人の向きについての簡単な近似は、その人の最後の歩行方向であり、これは、最後の複数のフレームにおけるその人の異なる位置のシーケンスを介して容易に特定される。より詳細には、Ｌａｌｌｅｍａｎｄ、Ｒｏｎｇｅ、ＳｚｃｚｏｔおよびＩｌｉｃ著の文献（２０１４年）に記載されているような方法が説明され、ここでは人の向きが、ＨＯＧ（英語でＨｉｓｔｏｇｒａｍｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴（ＤａｌａｌおよびＴｒｉｇｇｓ著の文献（２００５年）を参照）およびランダムフォレスト（Ｂｒｅｉｍａｎ著の文献（２００１年）を参照）を用いて解決される分類問題として捉えられる。また、上述のＫｉｎｅｃｔ ＳＤＫを使用して、向きを求めることもできる。なぜなら、完全な姿勢が出力されるからである。

視線方向を近似する１つの手法は、頭の向きを求めることである。これに対してもすでに、使用可能な前処理が存在している。Ｆａｎｅｌｌｉ、Ｗｅｉｓｅ、ＧａｌｌおよびＶａｎ Ｇｏｏｌ著の文献（２０１１年）では、深度画像とランダム回帰フォレストを使用して、頭の向きが求められる。Ｒｅｈｄｅｒ、ＫｌｏｅｄｅｎおよびＳｔｉｌｌｅｒ著の文献（２０１４年）は、人の頭を識別するために、部分に基づいた分類器（Ｐａｒｔ−Ｂａｓｅｄ Ｋｌａｓｓｉｆｉｋａｔｏｒ）を使用し、頭の向きは同様に、分類問題として、ＬＢＰ（英語でＬｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴上で解決される。求められた視線方向をさらに最適化するために、アイトラッカーを使用することもできる。相当数の実施例では、患者と別の人との間の距離の特定が行われる。深度カメラを用いて、対象物間の距離を比較的正確に計算することができる。患者および検出された人の位置をどのように求めることができるかについてはすでに上で説明した。このような位置が得られている場合、患者Ｐから人Ｑまでの間隔特定は、三次元空間内の２つの点の間の距離の計算である。

最後のステップとして、この方法は、例えば患者と別の人との間に接触が生じているか否かを検出することによって、患者に対する処置を検出することを目的とする。これは、自己によって誘発されない、患者のまたは患者のすぐ側での動き／活動によって明確になる。以降では、これは「受動的な活動／動き」とも称される。患者の処置を識別するための技術的な解決策が図６に概略的に示されている。図６は、患者の処置を識別する方法の別の実施例のブロック図を示している。

ここで、処置が行われているか否かが、人と患者の各対＜人、患者＞毎に個別に判断されることが仮定される。この手法は、人の識別６０ａをその人の向きの識別６０ｂおよび患者の識別６０ｄを伴って行うことから始まる。この点に関して可能な実行はすでに上述されている。患者の活動の定量化６０ｅと同様に、人の活動も定量化される６０ｃ。この目的のために、それぞれ抽出された部分点群またはこれに対応する部分セクションを、深度画像、カラー画像または近赤外画像において観察することができる。部分点群に基づく実施例は、例えば、Ｇｉｒａｒｄｅａｕ−Ｍｏｎｔａｕｔ等著の文献（２００５年）に記載されている方法を使用することができる。Ｐｏｉｎｔ Ｃｌｏｕｄ Ｌｉｂｒａｒｙにも相当する例がある。ここで、上述した二次元画像のうちの１つに基づいて課題を解決する手法についてさらに詳細に検討する。

相当する部分画像は、時間的に意味のある、部分画像のシーケンスが生じるように、種々の時点に対して（例えば、０．１秒毎に）特定される。部分画像の変化を経時的に分析することによって、患者の動きまたは活動または人の動きまたは活動を以降のように定量化することができる。時間的に連続して、ｔ_１・・・ｔ_ｎが付けられているｎ個の部分画像における変化の分析を種々の様式で行うことができる。可能なものを以下に挙げる。

１ 絶対的な画像差
各対ｔ_iおよびｔ_i−１に対して、各ピクセル位置に対するピクセル値の絶対的な差を計算し、結果として画像Ｄが得られる。個々の差を閾値ｓ_１と比較し、

をセットする。
値１を有するＶにおけるピクセルの総計はここで、時点ｉでの活動の尺度である。

２ モーションヒストリーイメージ（ＭＨＩ）
ＭＨＩは絶対的な画像差と同じように機能するが、時点ｉで、ある時間幅を上回って過去にある変化も考慮する。したがって、ある方法では、ＭＨＩは、例１の複数の前景画像Ｖの重み付けされた組み合わせであり、ＭＨＩのピクセル値の総計は、より長く持続する動きの定量化として用いられる。ＭＨＩについては、以降の章においてより詳細に説明される（Ａｈａｄ、Ｔａｎ、ＫｉｍおよびＩｓｈｉｋａｗａ著の文献（２０１２年））。

３ サンプルベースの背景差分
１および２において必要な閾値の選択に応じては、相応する尺度が、ノイズの影響を受けやすくなるか、もしくは本当の動きに対して充分な感度を有していなくなる可能性がある。したがって、ピクセルの履歴をより詳細に考慮して、これが活動を表しているか否かを判断する方法がある。これに対する、公知の、効果を有する例はＶｉＢｅである（ＢａｒｎｉｃｈおよびＶａｎ Ｄｒｏｏｇｅｎｂｒｏｅｃｋ著の文献（２０１１年））。ＶｉＢｅは同様に、これが活動を経験する場合には、ピクセルが値１を得る活動マップを作成し、そうでない場合には、ピクセルは値０を得る活動マップを作成する。したがってここでも、ピクセル値の総計は、活動に対する尺度である。

さらに、総計を観察中の部分画像のピクセルの数で除算することによって、活動に対する特徴量をさらに正常化することができる。上述の方法は、活動を表す特徴量ｋ_１・・・ｋ_ｍの時間的に意味のあるシーケンス（時系列）を提供する。この方法をさらに改良するために、観察中の部分画像を、特に患者に対して、さらに制限することも可能である。人と患者とがどのように空間において相互に位置しているのかが判明しているので、それぞれ、常に、他の各対象物に面している、画像の面のみが考慮されるように部分画像が修正される。

患者と人の距離が引き続き、上述の説明と同様に求められる。この方法はここで、これまでに収集された情報に基づいて、患者の処置が存在するか否かを判断する。ここでこの実施例では、この方法は、以降の点が期間Ｔの間に満たされる場合に、この期間Ｔにおいて処置が存在すると判断する。
ａ）人（Ｐ）が患者のすぐ近くにいる（すなわち、間隔測定がＸを下回る値を供給する）。
ｂ）人（Ｐ）が患者支持装置の方向を向いている。
ｃ）人（Ｐ）および患者（Ｐａｔ）の両方で、十分な活動（すなわち、活動の特定の特徴量が期間Ｔ内で、複数回、閾値Ｓを上回る）が確認される。

先行する部分によって、実施例において患者のチェックの特定／識別に使用される、可能性のある重要な構成要素が説明された。いくつかの別の実施例においてこの方法によって提供されるべきアウトプットは、ここで、この方法の意図された使用もしくはその用途に大きく関連する。ここでは、患者のチェック間もしくは処置間の適切な間隔を保証するのに用いられるために、検出された情報が使用される別の実施例が説明される。ここでこのような間隔は、大き過ぎる場合には、管理間に隙間が生じ、または小さ過ぎる場合には、場合によっては、患者はほとんど休息期間が得られない。図７は、実施例における、向きおよび患者と別の人との間の距離Ｄの特定を視覚化する図である。図７は、ＰＬＶ１００と看護スタッフを示し、それらの相互の相対的な向きは、０°〜１８０°の（絶対値的な）範囲にある。図７は、看護スタッフの視点から見た角度関係を示している。ＰＬＶ１００が一定時間０°付近にある場合、患者のチェックが想定される。

いくつかの別の実施例では、求められた向きＯ（ｔ）および距離Ｄ（ｔ）（図７は視覚化のために用いられる）、ならびに患者が処置されているか否かの評価Ｍ（ｔ）の両方がアウトプットに影響を与える。これらの変数は常に、特定の時間ｔで評価される。このようなすべての情報は使用しない別の実施例があり得る、ということに留意されたい。図８のフローチャートに従って、Ｏ（ｔ）、Ｄ（ｔ）およびＭ（ｔ）が、以下の式にしたがって、点数Ｐ（Ｔ）の計算に影響を与える。

ここで、ｔは、過去において最後に選択された時点Ｌから現在の時点Ｔまでの時間にわたって経過する。ｋ_ｉ、ｉ＝１、２、３は、Ｏ（ｔ）、Ｄ（ｔ）およびＭ（ｔ）を個別に重み付けするために使用され得るファクターである。ｆ（ｔ）は、時刻に関連して重み付けを算出する関数である。したがって、例えば、夜間に必要な管理がより少なくなることが実現される。したがって、方法１０では、実施例において、時間間隔を検査することは、１つまたは複数の重み付けされた幾何学的関係とともに、時刻に関連する関数を評価することを含んでいる。

したがって、Ｐ（Ｔ）は、検出された人が、最後の時点Ｌから、より長くかつより集中的に患者に従事したほど大きくなる点数である。ここで以降のようにして、Ｐを閾値Ｓと比較することができる。
Ｐ（Ｔ）＞Ｓの場合、時系列ＺにＴを追加して、Ｌ＝Ｔをセットする。

ここで例えば、時系列Ｚを時間値ＺＷと比較することによって、時系列Ｚを評価することができる。Ｚ内のすべてのタイムスタンプが、ＺＷを上回って過去にある場合、患者管理を増やす必要がある。ＺがＺＷを上回って過去にあるのではないタイムスタンプを極めて多く含んでいる場合には、管理および他の休息を妨げる措置が低減されるべきである。このような情報はここで警報として、例えば看護スタッフに転送され得る。いくつかの実施例では、時間値ＺＷを時刻に関連して変えることもでき、これによって、管理が実行されるべき頻度をコントロールすることができる。時系列ＺへのＴの追加は、カウンタのリセットと同様に行われる。カウンタがＺＷより大きい値に達した場合、管理を増やす必要がある。カウンタが期間ＺＷ内で過度に頻繁にリセットされる場合、管理は減らされるべきである。

図８は、実施例における、患者の管理を増加させるべきか、または低減させるべきかを特定する方法の別の実施例のブロック図を示している。図８は、アウトプットが点数の計算８０ａにおいて行われることを除いて、図４と同じステップを示す。点数の計算には、時点および閾値８０ｂが影響を与える。次に、点数が評価される８０ｄ。次にこの評価に基づいて、管理インターバルの増大８０ｅまたは低減８０ｆが行われる。この実施例では、方法１０は、患者をより高い頻度でチェックすべきか、またはより低い頻度でチェックすべきかに関する情報の特定およびこの情報の出力を含んでいる。別の実施例では、方法１０はさらに、識別された患者のチェックの記録保存を含み、例えば例外的な場合にはビデオデータも含み得る。例えば、看護スタッフに、方法１０に基づいて、記録保存が提案されてよく、この看護スタッフはその後、この提案を承認することができる。

看護装置は、記録保存を用いて、自身の患者に対する看護が十分であったことを確信することができる。記録保存は、将来のシフト計画に役立ち得る。場合によって、例えば、患者が体系的に過少にまたは過剰に看護されている期間を識別することが可能である。記録保存を訪問時間と比較することによって、訪問者によって患者の十分な休息が妨げられている可能性があるか否かが評価される。いくつかの別の実施例では、この方法は医療機器からの警報情報の受信後に実行されてよい。このような警報情報は、例えば、検出されたパラメータがクリチカルであると識別された場合に、患者モニターによってトリガされ得る。ここで、警報情報を受信後の所定期間内に患者のチェックが行われたか否かを監視することができる。この方法の実施例によって、次に、警報に関連する、または警報から生じる患者のチェックを識別することができる。したがって、実施例は、例えば警報と属する患者のチェックとの間の時間的な関係を評価することを可能にすることができる。いくつかの実施例では、記録保存は他の情報、例えば患者の心拍数と比較され、例えば、人の存在が患者にストレスを与えているのか否か、または患者を落ち着かせているのか否か、およびどの程度、どのように、人の存在が患者にストレスを与えているのか、または患者を落ち着かせているのかを追跡することができる。

別の実施例では、この方法は警報によって開始されてよい。これに対する例は、例えば患者の心拍数が上限閾値を超えているという警報等の、医療機器によって提供される警報である。したがってこの方法は、患者のチェックの識別を開始し、これに続いてアウトプットを生じさせる。このようなアウトプットの例は、（例えば、患者のチェックが検出されたときに）、システムが、元来警報を発している医療機器に「警報オフ」の命令を送信することであり得る。システム自体が、（例えば、元来の警報から一定期間が経過したときに）別の警報をトリガすることも考えられる。この警報は、場合によっては、元来の警報の場合とは異なる受信者を有することがある。さらにここでも、識別された患者のチェックの記録保存が可能である。

特定の期間内に人が患者の近くに存在していたか否かを、後に、高い確率で追跡することができるという点で、相当数の実施例において患者の安全性を高めることができる。したがって、少なくとも相当数の実施例では、例えば、場合によっては患者が悪意を持って妨害されていたのか否か、または補助がされなかったのか否かが追跡される。この方法は、実施例において、患者の側での人の存在（向き、距離および患者の処置が行われたか否か等のさらなる情報を含む）を記録保存するためにも使用され得る。このような情報は種々の様式で使用される。１つの可能性は、記録保存データを規準データと関連付けることである。これらの規準データは、法に関する要件、作業計画に関する要件または組織に関する要件を示し得る。例えば、規準データは、どのような時間間隔で患者を見るべきかに関する情報を含み得る。また、規準データは、特定の出来事の後に患者のチェックがどのくらい迅速に行われるべきかについて明らかにすることができる。したがって、これらの規準データを記録保存データと比較することによって、これらの規準が守られているかを検査することができる。

さらに、患者のチェックがいつ行われたか、および患者のチェックが例えば特定の時間間隔で、特に頻繁にまたは特に稀に発生しているか否かに関して、記録保存データを評価することが可能である。これは規準データに関連付けられていてもよく、この規準データは例えば、ある期間に対してどのくらいのチェック数が有利であるか、訪問時間がいつなのか、または看護スタッフの作業計画がどのような様子であるのか等を示す。例えば、これらの比較から、例えば、十分な数の看護スタッフが勤務しているか否か、もしくはいつ十分な数の看護スタッフが勤務しているのか、いつ十分な数の看護スタッフが勤務していないのかについて推測することができる（これは作業計画に影響を与える可能性がある）。次に、記録保存データと規準データとの比較の結果が提供される、もしくは（ユーザーに）提供される。

図９は、警報発令後に患者のチェックを識別する方法の別の実施例のブロック図を示す。ここで、警報の発令がステップ９０ａで行われ、続いてステップ９０ｂで患者のチェックを識別する上述の方法が行われる。ステップ９０ｃでは、ステップ９０ｂのチェックに基づいてアウトプットが行われる。このような実施例では、上述の方法は警報によって開始されてよい。これに対する例は、例えば患者の心拍数が上限閾値を超えているという警報等の、医療機器によって提供される警報である。それにしたがってこの方法は、患者のチェックの識別を始め、続いてアウトプットを生じさせる。このようなアウトプットの例は、システムが、（例えば、患者のチェックが検出されたときに）、元来警報を発している医療機器に「警報オフ」の命令を送信することであり得る。システム自体が（例えば、元来の警報から一定期間が経過したときに）別の警報をトリガすることもある。この警報は、場合によっては、元来の警報の場合とは異なる受信者を有することがある。さらにここでも、識別された患者のチェックの記録保存が可能である。

図１０は、外部システムによる警報発令の後に患者のチェックを識別する方法の別の実施例のブロック図を示している。外部システムは、例えば患者モニターであり得る。ステップ１０２ａにおいて、外部システムによって警報が発せられ、これにしたがって、ステップ１０２ｂにおいて時間測定が開始され、ステップ１０２ｃにおいて、患者のチェックを識別する上述した方法が開始される。その後ステップ１０２ｄでチェックが識別されると、ステップ１０２ｅで、チェックが適時に行われたことを示すアウトプットが行われる。測定された時間が規準値を上回っている場合（ステップ１０２ｆにおける問い合わせ）、ステップ１０２ｇでチェックが適時に行われなかったことがアウトプットされる。この実施例は、外部システムの警報に応答して、患者のチェックが適時に行われたか否かを判断する方法を実施する。

上記の明細書、特許請求の範囲および図面に開示された特徴は、それらの様々な構成における実施例の実現のために、単独でも、任意の組み合わせにおいも重要であり、明細書からそれとは異なることが明らかでない限り、任意に相互に組み合わせ可能である。

相当数の態様は方法もしくは装置に関連して説明されたが、これらの態様が相応する装置もしくは相応する方法の説明でもあり、したがって装置のブロックまたは構成要素が、相応するステップとも、ステップの特徴とも見なされるということを理解されたい。さらに、その逆も当てはまる。これと同様に、ステップに関連してまたはステップとして説明された態様は、相応する装置の相応するブロックまたは詳細または特徴の説明も表す。

特定の実施要件に応じて、本発明の実施例は、ハードウェアまたはソフトウェアで実装されていてよい。この実装は、フロッピーディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリ等のデジタル記憶媒体、ハードディスクまたは他の磁気メモリまたは光学メモリを使用して行われてよく、これには、電子的に読み取り可能な制御信号が格納されており、この制御信号は、各方法が実施されるように、プログラミング可能なハードウェア構成要素と協働し得る、または協働する。

プログラミング可能なハードウェア構成要素は、プロセッサ、コンピュータプロセッサ（ＣＰＵ＝Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックプロセッサ（ＧＰＵ＝Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コンピュータ、コンピュータシステム、特定用途向け集積回路（ＡＳＩＣ＝Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、集積回路（ＩＣ＝Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムオンチップ（ＳＯＣ＝Ｓｙｓｙｅｍ ｏｎ Ｃｈｉｐ）システム、プログラマブルロジックエレメントまたはマイクロプロセッサを備えたフィールドプログラマブルゲートアレイ（ＦＰＧＡ＝Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって形成されていてよい。

したがって、デジタル記憶媒体は、機械可読またはコンピュータ可読であり得る。したがって、相当数の実施例は、プログラミング可能なコンピュータシステムまたはプログラミング可能なハードウェア構成要素と相互作用して本明細書に記載の方法のうちの１つを実行することができる、電子的に読み取り可能な制御信号を有するデータ担体を含んでいる。したがって、実施例は、本明細書に記載の方法のうちの１つを実施するためにプログラムが記録されているデータ担体（またはデジタル記憶媒体またはコンピュータ可読媒体）である。

一般的に、本発明の実施例は、プログラム、ファームウェア、コンピュータプログラム、またはプログラムコードを有するコンピュータプログラム製品としてまたはデータとして実現可能であり、ここでプログラムコードまたはデータは、プログラムがプロセッサまたはプログラミング可能なハードウェア構成要素上で実行されるときに、方法のうちの１つを実施するように動作する。プログラムコードまたはデータを例えば機械可読担体またはデータ担体上に格納することもできる。プログラムコードまたはデータは、殊にソースコード、マシーンコードまたはバイトコードならびに他の中間コードとして存在し得る。

別の実施例はさらに、本明細書に記載の方法のうちの１つを実施するためのプログラムを表すデータストリーム、信号セットまたは信号シーケンスである。データストリーム、信号セットまたは信号シーケンスは、例えばデータ通信接続を介して、例えばインターネットまたは他のネットワークを介して転送されるように構築されていてよい。実施例は、ネットワークまたはデータ通信接続を介した伝送に適した、データを表す信号セットでもあり、ここでこのデータはプログラムを表す。

実施例に相応するプログラムは、実行中に、例えばこの格納場所を読み出す、またはこの格納場所に１つまたは複数のデータを書き込むことによって、方法のうちの１つを実施し、これによって、場合によっては、トランジスタ構造、増幅器構造または他の電気的な構成部分、光学的な構成部分、磁気的な構成部分または別の機能原理で動作する構成部分における切り替え過程または他の過程が生起される。

したがって、格納場所を読み出すことによって、データ、値、センサ値またはプログラムの他の情報を検出、特定または測定することができる。したがって、プログラムは、１つまたは複数の格納場所から読み出すことによって量、値、測定量および他の情報を検出、特定または測定し、これと並んで１つまたは複数の格納場所に書き込むことによって行動を引き起こし、促しまたは実行し、これと並んで他の機器、装置および構成要素を駆動制御することができる。

上述した実施例は、本発明の原理の単なる例示であり、本明細書に記載された配置および詳細の修正および変形が、他の専門家に明らかである、ということを理解されたい。したがって、本発明は、後続の特許請求の保護範囲によってのみ限定され、明細書の実施例の記載および説明に基づいて提示された特定の詳細によっては限定されないことが意図されている。

Claims (15)

1. 患者周辺の光学画像データを検出し、前記画像データに基づいて患者のチェックを識別する方法（１０）であって、前記方法（１０）は、
   前記画像データに基づいて患者を検出するステップ（１２）と、
   前記画像データに基づいて少なくとも１人の別の人を検出するステップ（１４）と、
   前記患者と前記少なくとも１人の別の人との間の少なくとも１つの幾何学的関係を特定するステップ（１６）であって、前記幾何学的関係を特定するステップ（１６）は、前記患者に対する前記少なくとも１人の別の人の向きまたは視線方向を特定するステップを含んでいるステップと、
   前記幾何学的関係に基づいて前記患者のチェックを識別するステップ（１８）と、
   を含んでおり、
   前記方法（１０）は、
   前記患者のチェックのための時間間隔を検査するステップと、
   識別された患者のチェックが前記時間間隔から偏差している場合に警報を発するステップと、
   をさらに含んでいる方法（１０）。
2. 前記幾何学的関係を特定するステップ（１６）は、前記少なくとも１人の別の人と前記患者との間の距離を特定するステップを含んでいる、
   請求項１記載の方法（１０）。
3. 前記幾何学的関係を特定するステップ（１６）は、前記少なくとも１人の別の人と前記患者との間の接触を識別するステップを含んでいる、
   請求項１または２記載の方法（１０）。
4. 前記方法（１０）は、前記患者と前記少なくとも１人の別の人との間に幾何学的関係が存在していた期間に関する情報を出力するステップをさらに含んでいる、
   請求項１から３までのいずれか１項記載の方法（１０）。
5. 前記時間間隔を検査するステップは、１つまたは複数の重み付けされた幾何学的関係とともに、時刻に関連する関数を評価するステップを含んでいる、
   請求項１から４までのいずれか１項記載の方法（１０）。
6. 前記方法（１０）は、
   前記少なくとも１人の別の人が看護スタッフであるか否かを識別するステップと、
   前記人が看護スタッフである場合に、前記少なくとも１つの幾何学的関係に基づいて前記患者のチェックを識別するステップと、
   をさらに含んでいる、
   請求項１から５までのいずれか１項記載の方法（１０）。
7. 前記少なくとも１人の別の人が看護スタッフであるか否かを識別するステップは、前記画像データ内の前記少なくとも１人の別の人の画素の色分析に基づいている、
   請求項６記載の方法（１０）。
8. 前記看護スタッフを識別するステップは、前記看護スタッフの識別子に基づいている、
   請求項６記載の方法（１０）。
9. 前記方法（１０）は、前記患者周辺において、複数の別の人を特定するステップをさらに含んでいる、
   請求項１から８までのいずれか１項記載の方法（１０）。
10. 前記方法（１０）は、医療機器からの警報情報の受信後に前記方法を実施するステップをさらに含んでいる、
    請求項１から９までのいずれか１項記載の方法（１０）。
11. 前記方法（１０）は、前記警報情報を受信した後の所定の期間内に患者のチェックが行われるか否かを監視するステップをさらに含んでいる、
    請求項１０記載の方法（１０）。
12. 前記方法（１０）は、
    前記患者がより高い頻度でチェックされるべきか、またはより低い頻度でチェックされるべきかに関する情報を特定するステップと、
    前記情報を出力するステップと、
    をさらに含んでいる、
    請求項１から１１までのいずれか１項記載の方法（１０）。
13. 前記方法（１０）は、識別された患者のチェックを記録保存するステップをさらに含んでいる、
    請求項１から１２までのいずれか１項記載の方法（１０）。
14. 請求項１から１３までのいずれか１項記載の方法（１０）を実施するように構成されている、計算装置を伴う装置。
15. プログラムコードがコンピュータ、プロセッサまたはプログラミング可能なハードウェア構成要素上で実行されるときに、請求項１から１３までのいずれか１項記載の方法のうちの１つを実施するプログラムコードを伴うコンピュータプログラム。

Images