JP7299923B2 - 個人識別システムおよび方法 - Google Patents

Description

［０００１］本開示は一般に、デジタル画像内の人物を識別することを対象とするが、これに限定されるものではない。より具体的には、本明細書で開示される様々な方法および装置は、衣服、アクセサリ、髪、顔の特徴などの特徴の組み合わせを使用してデジタル画像内の人物を識別することに関するが、これに限定されない。

［０００２］人々を含むシーンを写すデジタル画像に基づいて人々を自動的に識別することが望ましい可能性がある多くのシナリオが存在する。例えば、患者が病院を訪れるとき、患者は通常、登録され、トリアージされ、そして、病院リソース（例えば、医師）が患者を検査および／または治療するために利用可能になるのを待つために待合室等のエリアに送られる。個々の患者を自動的に特定できるようにすることは、医療リソースの割り当てを待つ間、患者の状態を監視し続ける（例えば、状態悪化の監視）のに役立ち得る。また、患者が診療前に立ち去ったか否か／いつ立ち去ったか（ｌｅｆｔ ｗｉｔｈｏｕｔ ｂｅｉｎｇ ｓｅｅｎ／ＬＷＢＳ）を特定するためにも有用であり得る。デジタル画像に基づいて人々を自動的に識別することは、空港、国境検問所、ジムやフィットネスセンター、様々なビジネス等の様々な他のコンテキストにおいても有用であり得る。

［０００３］（例えば、分類器を介して）顔認識を利用した人々の識別が可能であるが、顔の特徴（例えば、目、鼻、口など）を識別することができるように、分析されるデジタル画像が比較的高い解像度を有することを要求し得る。さらに、待合室に設けられたカメラが分析されるデジタル画像を取得し得るような状況では、例えば、顔が完全には見えなかったり、かつ／または部分的にまたは完全に遮られている（例えば、本、雑誌、スマートフォンなどによって）可能性があるため、待機している患者が顔認識に好ましい位置にいるという保証はない（実際にはその可能性は低いおそれがある）。

［０００４］本開示は、取得されたデジタル画像内に示された人物を自動的に識別するための方法、システム、および装置を対象とする。１つの非限定的な例として、複数のトリアージされた患者は、救急医療医が対応にあたるまで待合室で待機し得る。患者は、例えば、トリアージナースによって患者から取得された情報、ならびに患者の待ち時間や患者の在否などの他のデータポイントに基づいて決定される各患者に関連付けられた重大度の指標（本明細書では「患者重大度指標」と呼ばれる）に基づいて順序付けまたはランク付けされる患者モニタリングキュー（単に「患者キュー」とも呼ばれる）に含まれてもよい。待合室に取り付けられた１つまたは複数の「バイタルサイン取得カメラ」は、各患者から１つまたは複数の更新されたバイタルサインおよび／または生理学的パラメータを非接触かつ／または控えめな形式で定期的に取得するように構成されてもよい。これらの更新されたバイタルサインおよび／または生理学的パラメータは温度、脈拍、酸素飽和度（「ＳｐＯ_２」）、呼吸数、姿勢、発汗などを含んでもよいが、これらに限定されない。バイタルサイン取得カメラが更新されたバイタルサインを取得すべき特定の患者を特定するために、本明細書に記載される技術を使用して、いわゆる「基準」デジタル画像（いくつかの実施形態では、登録および／またはトリアージ中に取得された患者のデジタル画像であり得る）が、例えば比較的広い「ＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）」から、１つまたは複数のバイタルサイン取得カメラによって取得された比較的低い解像度のデジタル画像が捉えたシーンに含まれる人物とマッチングされ得る。より一般的には、本明細書で説明される技術は、例えば、被写体から生成されたスーパーピクセルから抽出された特徴を、基準デジタル画像（例えば、登録時に取得された画像、空港または列車駅へのチェックイン時に取得された画像、写真付き身分証明書など）から生成された基準スーパーピクセルから抽出された特徴とマッチングすることによって、デジタル画像（例えば、単一の画像および／またはビデオフィードなどのデジタル画像のストリーム）に写る被写体を識別するために様々なコンテキストで実装され得る。

［０００５］一般に、一態様では、方法は、１つまたは複数のプロセッサによって、少なくとも第１の被写体を含む環境を捉えるデジタル画像を取得するステップと、１つまたは複数のプロセッサによって、第１の被写体を写すデジタル画像の第１の部分を複数のスーパーピクセルにセグメント化するステップと、複数のスーパーピクセルのそれぞれについて、１つまたは複数のプロセッサによって、スーパーピクセルに意味ラベルを割り当てるステップと、１つまたは複数のプロセッサによって、スーパーピクセルの特徴を抽出するステップと、１つまたは複数のプロセッサによって、スーパーピクセルから抽出された特徴と、基準デジタル画像内で特定された基準スーパーピクセルから抽出された特徴との間の類似性の指標を決定するステップであって、基準スーパーピクセルは、スーパーピクセルに割り当てられた意味ラベルと合致する基準意味ラベルを有する、ステップと、１つまたは複数のプロセッサによって、複数のスーパーピクセルに関連付けられた複数の類似性の指標に基づいて、第１の被写体が基準画像内に写っていることを決定するステップとを含み得る。

［０００６］様々な実施形態において、デジタル画像は、第１の被写体を含む複数の被写体を含むシーンを捉え得る。方法はさらに、デジタル画像を、複数の被写体のうちの異なる被写体を写す複数の部分にセグメント化するステップを含む。様々な実施形態において、デジタル画像は、デジタル画像に含まれる複数の被写体をマスクへとインスタンスセグメンテーションすることによって、複数の部分にセグメント化されてもよい。様々な実施態様において、マスクを複数の別々のサブマスクに分離するためにマスクのカットが使用され、各サブマスクは複数の被写体のうちの個々の被写体に対応する。

［０００７］様々な実施形態において、デジタル画像は姿勢推定を用いて複数の部分にセグメント化されてもよい。様々な実施形態において、複数のスーパーピクセルのうちの少なくとも１つに、人間の胴体の上に着用される衣類に関連付けられた意味ラベルが割り当てられ得る。

［０００８］様々な実施形態において、方法はさらに、１つまたは複数のプロセッサによって、複数のスーパーピクセルに関連付けられた類似性の指標のうちの１つまたは複数に基づいて、基準デジタル画像の取得時とデジタル画像の取得時との間の時間間隔中に、第１の被写体が第１の被写体の胴体の上に着ていた衣類を着替えた蓋然性を決定するステップを含み得る。

［０００９］様々な実施形態において、複数のスーパーピクセルのうちの少なくとも１つに、人間の脚に着用される衣類に関連付けられた意味ラベルが割り当てられ得る。様々な実施形態において複数のスーパーピクセルのうちの少なくとも１つに、人間の髪に関連付けられた意味ラベルが割り当てられ得る。様々な実施形態において、複数のスーパーピクセルのうちの少なくとも１つに、人間の顔に関連付けられた意味ラベルが割り当てられ得る。

［００１０］様々な実施形態において、方法はさらに、１つまたは複数のプロセッサによって、複数のスーパーピクセルに関連付けられた類似性の指標に基づいて、第１の被写体の外観が、基準デジタル画像の取得時とデジタル画像の取得時との間の時間間隔中に変更されたことの第１の蓋然性、および第１の被写体が環境から去ったことの第２の蓋然性を決定するステップを含み得る。様々な実施形態において、環境が病院待合室、ジム、または空港の形態をとることができる。

［００１１］上記の各概念、および以下でより詳細に論じられるさらなる概念のあらゆる組合せが本明細書で開示される主題の一部であると考えられることを理解されたい（組み合わせられる概念が互いに矛盾しない限り）。特に、本開示の最後に提示されるクレームされる主題のすべての組み合わせが本明細書に開示される主題の一部であると考えられる。また、本明細書で明示的に用いられており、かつ参照により援用される任意の文献にも現れ得る専門用語は、本明細書に開示される特定の概念と最も整合する意味を有するものとする。

［００１２］図中、類似する参照符号は異なる図面を通じて一般的に同一の部分を指す。また、図面は必ずしも縮尺通りではなく、概して、本開示の原理を説明することに重点が置かれている。
［００１３］図１は、様々な実施形態に係る、本開示の技術を使用してデジタル画像内で識別された患者をモニタリングするための全般的なプロセスフローを概略的に示す。 ［００１４］図２は、本開示の様々な構成要素が様々な実装形態に従って本開示の選択された態様を実装し得る例示的な環境を示す。 ［００１５］図３は、様々な実施形態に従って開示される技術が実施され得る例示的なシナリオを示す。 ［００１６］図４は、様々な実施形態に係る、患者識別モジュールの一部として実装され得る例示的な構成要素を示す。 ［００１７］図５は、デジタル画像に写る異なる複数の被写体を識別するためのインスタンスセグメンテーションに関して、どのようにスケルトン化、Ｗａｔｅｒｓｈｅｄ、またはキーポイントが使用され得るかの例を示す。 ［００１８］図６Ａおよび図６Ｂは、本開示の様々な態様を実証するデータのグラフ例を示す。 ［００１９］図７は、本開示の様々な態様を実証するさらなるデータのグラフ例を示す。 ［００２０］図８は、様々な実施形態に係る、デジタル画像内の人物を識別する方法の例を示す。 ［００２１］図９は、例示的なコンピュータシステムの構成要素を示す。

発明の詳細な説明

［００２２］図１は、本開示の技術を用いてどのように患者をモニターすることができるかを概略的に示す。具体的には、受付および／または登録所、および／またはトリアージステーションまたはブースを含み得る待合室前エリア（例えば、待合室前エリア１０２）で起こり得る動作およびアクションが示されている。さらに、待合室１０４内で発生し得る動作およびアクションが示されている。ブロック１０６において、新たな患者が、例えば受付デスク（図示せず）で受付をした後に、待合室前エリア１０２に入るおよび／または接近し得る。

［００２３］ブロック１０８において、新しい患者が登録され得る。登録は例えば、患者の名前、年齢、性別、保険情報、および来院理由などの患者に関する情報を収集することを含むことができる。限定はされないが、典型的には、この情報はトリアージナースなどの医療従事者によってコンピュータに手動で入力されてもよい。一部の実施形態では、患者の１人つまたは複数の基準画像が、例えば、トリアージナースによって操作されるコンピューティングデバイスと一体化されたカメラによって、スタンドアロンカメラによって、および／またはバイタルサイン取得カメラによって（この場合、登録時に任意選択的に少なくともいくつかのバイタルサインが取得されてもよい）取得されてもよい。多くの場合、トリアージナースはさらに、様々な医療器具を使用して、ブロック１１０において、様々な初期バイタルサインおよび／または生理学的パラメータを取得することができる。これらの初期バイタルサインおよび／または生理学的パラメータは、血圧、脈拍、血糖値、ＳＯ_２、フォトプレチスモグラム（「ＰＰＧ」）、呼吸数、体温、皮膚色などを含み得るが、これらに限定されない。図１には示されていないが、一部の実施形態では他の情報もトリアージ時に収集することができ、例えば、患者の病歴を取得／更新すること、患者のアレルギーを特定すること、患者の薬物使用を特定することなどが行われ得る。

［００２４］患者が登録され、初期バイタルサインおよび／または生理学的パラメータが取得されると、ブロック１１２において、患者は待合室１０４に送られ得る。いくつかの実施形態では、患者の病気の重症度をランク付けするために使用される指標であり得る、いわゆる「患者重大度指標（ｐａｔｉｅｎｔ ａｃｕｉｔｙ ｍｅａｓｕｒｅ）」が患者に割り当てられてもよく、いくつかの場合では、これは、緊急治療室リソースの予想される必要性を示し得る。患者重大度指標を決定および／または割り当てるにあたり、任意の数の一般的に使用される指標および／または臨床意思決定支援（「ＣＤＳ」）アルゴリズムが使用され、例えば限定はされないが、「ＥＳＩ」（Ｅｍｅｒｇｅｎｃｙ Ｓｅｖｅｒｉｔｙ Ｉｎｄｅｘ）、「ＴＴＳ」（Ｔａｉｗａｎ Ｔｒｉａｇｅ Ｓｙｓｔｅｍ）、「ＣＴＡＳ」（Ｃａｎａｄｉａｎ Ｔｒｉａｇｅ ａｎｄ Ａｃｕｉｔｙ Ｓｃａｌｅ）などが使用されてもよい。例えば、いくつかの実施形態では、患者のバイタルサインを、システムデータベースに記憶された予め定められたバイタルサイン閾値と、または、所与の患者年齢、性別、体重などに典型的な公開されているまたは既知のバイタルサイン値と比較することで、患者の初期患者重大度指標および／または患者の患者キュー（待機列）内の初期位置を決定してもよい。いくつかの実施形態では、１つまたは複数の重大度指標を導出するために、患者についての様々な生理学的情報および他の情報が、訓練されたモデル（例えば、回帰モデル、ニューラルネットワーク、ディープラーニングネットワークなど）、事例ベース推論アルゴリズム、または他の臨床的推論アルゴリズムにわたる入力として適用され得る。いくつかの実施形態では、重大度指標を導出するために使用される情報は、バイタル、またはバイタルサイン取得カメラによって取得され得る他の情報を含んでもよく、または完全にそれらに限定されてもよい。いくつかの実施形態では、重大度指標を導出するために使用される情報は、代替的にまたは追加的に、患者の以前の電子医療記録（ＥＭＲ）からの情報、トリアージ時に患者から取得された情報、ウェアラブルデバイスまたは患者が携帯する他のセンサからの情報、待合室内の他の患者または人々に関する情報（例えば、部屋内の他の人々のバイタル）、家族または患者に関連する他の人々に関する情報（例えば、家族のＥＭＲ）などの情報を含んでもよい。

［００２５］ブロック１１４において、例えば、１つ以上のカメラ、センサ、または医療従事者からの入力を使用して、患者が待合室を出たことが特定され得る。ブロック１１４は、待合室内に現在いる人をそれぞれスキャンし（例えば、ある患者が、バイタルが取得されるべき患者の待機列の先頭になると当該患者の位置を特定しようとする探索機能の一部として（例えば、後述されるブロック１２０の実行）、または、後述されるブロック１１８および１２０を含むループの複数の実行としてバイタル取得のために部屋内の各人を巡る）、患者の位置を突き止められなかったことを決定することを含んでもよい。いくつかの実施形態では、システムは、一時的な不在（例えば、トイレに行っている、またはトリアージルーム内の臨床スタッフと話している）を考慮するために、患者が待合室を出たと見なされる前に、患者が不在であるインスタンスが所定の数に達するまで、または患者が不在である時間が所定の時間量を経過するまで、待機することができる。例えば、患者は救急科（ＥＤ）に送られ得る。あるいは、待機中に患者の状態が改善し、病院を去った可能性もある。または、患者が待ちきれず、他の場所での治療を求めて去った可能性がある。どのような理由であれ、患者が少なくとも閾値時間量、待合室を離れていたことが決定されると、ブロック１１６において、患者は診療前に去ったと見なされ、例えば、登録された患者が入る待機列から当該患者を除去することによって、システムからリリースされ得る。

［００２６］ブロック１１８において、待合室１０４内のある患者がモニタリングのために選択され得る。例えば、いくつかの実施形態では、ブロック１０８～１１０で取得された登録情報を格納するデータベースを検索して、最も高い患者重大度指標を有する患者が選択されてもよく、または、しばらくモニタリングされていない最も高い重大度指標を有する患者が選択されてもよい。後者は、全ての患者について設定された時間閾値、または重大度指標に基づいて設定された（例えば、逆相関の）時間閾値によって決定され得る。他の実施形態では、待機時間や、待合室内に患者が在室しているか否か（例えば、不在患者は、不在状態が繰り返される場合にリリースされるべきかどうかを判定するために、より頻繁にモニタリング対象として選択されてもよい）などの他の指標に加えてまたは代わりに、例えば各患者の患者重大度指標によって、待合室内の複数の患者に関連付けられた登録情報が患者モニタリングキュー内にランク付けされてもよい。さらなる他の実施形態では、患者モニタリングキューのランク付けの際に患者重大度指標を考慮しなくてもよく、代わりに、患者の待ち時間、患者が在室しているか否かなどのみを考慮してもよい。

［００２７］しかし、そのような患者モニタリングキューがどのようにランク付けされようとも、いくつかの実施形態では、キュー内の最初の患者が次にモニタリングされるべき患者として選択され得る。患者モニタリングキューは、患者重大度指標によって順序付けられた物理的記憶位置のシーケンスとして保存される必要はない（可能ではあるが）。むしろ、いくつかの実施形態では、ランク付けされた患者モニタリングキューは、単に、各患者に関連付けられたランクまたは優先度レベル値を含むことができる。言い換えれば、本明細書で記載される「患者モニタリングキュー」は、必ずしも連続的なメモリ位置シーケンスではなく、患者重大度指標や待ち時間などに基づいて論理的にランク付けされた「論理的」キューを指し得る。ブロック１１８において、患者モニタリングキュー内のそれぞれのランキングの順序でのモニタリングのために患者が選択されてもよい。

［００２８］ブロック１２０において、ブロック１１８で選択された患者が待合室１０４内で特定され得る。様々な実施形態において、待合室１０４内の患者の１人つまたは複数のデジタル画像を取得するよう、待合室１０４内またはその近くに配備された１つまたは複数のバイタルサイン取得カメラ（図１には不図示、図２および図３を参照）が動作（例えば、パン、チルト、ズームなど）させられてもよい。取得されたデジタル画像は、患者の様々な視覚的特徴を、ブロック１０８における登録中に取得された１つまたは複数の基準患者画像の視覚的特徴とマッチさせるために分析されてもよい。患者画像の対応する特徴にマッチさせられ得る患者の視覚的特徴には、顔、形状（例えば、体格）、毛髪、服装、胴体、アクセサリ（例えば、帽子、ハンドバッグ、宝飾品など）などが含まれるが、これらに限定されない。以下でより詳細に説明するように、選択された患者の位置を特定するために、１つまたは複数のバイタルサイン取得カメラによって取り込まれたデジタル画像に対して様々な技術を適用することができる。これらの技術はエッジ検出、輪郭検出、ヒストグラム、セグメンテーション、面積計算、パーシング、ローカライゼーション、機械学習モデル（例えば、畳み込みニューラルネットワーク）などを含むことができる。様々な実施形態において、（特に、複数の異なる特徴を使用して患者を識別することに関して）これらの技術を以下に記載されるように使用することによって、比較的大きなＦＯＶを有するバイタルサイン取得カメラが、比較的低い解像度のデジタル画像としてシーンを撮影し得るという技術的利点が達成される。様々な視覚的特徴を、登録／トリアージ時に得られた上記基準画像の視覚的特徴と比較することによって１人または複数の患者を識別するために、比較的低い解像度のデジタル画像は迅速に解析され得る。

［００２９］ブロック１２２において、待合室１０４内またはその近くに取り付けられた、または他の方法で配備された１つまたは複数のバイタルサイン取得カメラが、ブロック１１８で選択されてブロック１２０で位置特定された患者から１つまたは複数の更新されたバイタルサインおよび／または生理学的パラメータを控えめな形式で（例えば、非接触で）取得するように動作され得る。これらのバイタルサイン取得カメラは、血圧、脈拍（または心拍数）、皮膚色、呼吸数、ＰＰＧ、ＳｐＯ_２、体温、姿勢、汗レベルなどを含むが、これらに限定されない患者からの様々なバイタルサインおよび／または生理学的パラメータを（患者に物理的に接触することなく）取得するように構成されてもよい。いくつかの実施形態では、バイタルサイン取得カメラは、患者からバイタルサインを取得する、かつ／または生理学的情報を抽出するための、いわゆる「非接触方法」を実行するように構成されてもよく、医療画像デバイスとして使用されてもよい。そのようなカメラの非限定的な例は、米国特許出願公開第２０１４０１９２１７７Ａ１号、２０１４０１３９６５６Ａ１号、２０１４０１４８６６３Ａ１号、２０１４０２５３７０９Ａ１号、２０１４０２３５９７６Ａ１号、および米国特許第ＵＳ９１２５６０６Ｂ２号に記載されており、これらの文献はあらゆる目的のために参照により本明細書に組み込まれる。

［００３０］ブロック１２４では、例えば、（以下で説明される）図２に示される１つまたは複数の構成要素によって、ブロック１２２で取得された更新されたバイタルサインおよび／または生理学的パラメータと、以前に取得されたバイタルサインおよび／または生理学的パラメータ（例えば、ブロック１１０で取得された初期バイタルサイン、またはバイタルサイン取得カメラによって取得された更新されたバイタルサイン／生理学的パラメータの以前のイテレーション）との比較に基づいて、患者の状態が変化したか否かが決定され得る。例えば、患者が待機している間に患者の脈拍、呼吸数、血圧、ＳｐＯ_２、ＰＰＧ、体温などが上昇したか減少したかを判定することができる。答えがノーである場合、制御はブロック１１８に戻り、新しい患者（例えば、次に高い患者重大度指標を有する患者）が選択されたのち、制御はブロック１２０に戻り得る。一方、ブロック１２４における答えがイエスである（すなわち、患者の状態が変化した）場合、制御はブロック１２６に移り得る。いくつかの実施形態では、患者の状態は、モニタリング順序を決定するために使用されるものと同じ重大度指標によって（少なくとも部分的に）表現され得る。

［００３１］ブロック１２６では、ブロック１２４で検出された変化に基づいて、医療アラートが正当であるか否かが（再び、図２の１つまたは複数の構成要素によって）判定され得る。例えば、１つまたは複数のバイタルサインまたは患者重大度指標の変化が１つまたは複数の閾値を満たすか否か（例えば、当該患者にとって安全であると考えられるレベルを超えて血圧が上昇したか否か）が判定されてもよい。答えがイエスの場合、制御はブロック１２８に移行し得る。ブロック１２８では、患者が悪化しているという警告を、例えば、勤務中の看護師または他の医療従事者に対して出力することができる。次いで、医療従事者は、患者の状態を調べ、患者を直ちに入院させる、または患者を医師に送るなどの是正措置が必要であるか否かを判定することができる。いくつかの実施形態では、その後、制御はブロック１１８に戻り得る。一方、ブロック１２６での答えがノーである場合、いくつかの実施形態では、制御はブロック１１８に戻り得る。

［００３２］図２は、様々な実施形態に係る、本開示の技術を実施するために使用され得る例示的な構成要素を示す。病院情報システム２４０は、病院や診療所などで一般に見られるタイプのものであってもよい。病院情報システム２４０は、１つまたは複数のコンピューティングシステムを使用して実装されてもよく、コンピューティングシステムは、１つまたは複数のコンピュータネットワーク（図示せず）を介して接続されてもされなくてもよい。病院情報システム２４０は、とりわけ、登録モジュール２４２、トリアージモジュール２４４、リリースモジュール２４６、および警告モジュール２４８を含むことができる。モジュール２４２～２４８のうちの１つまたは複数、または本明細書に記載される任意の他のモジュールまたはエンジンは、任意のハードウェアとソフトウェアの組み合わせを用いて実装され、例えば、メモリ、または「クラウド」ベースのコンピューティングインフラストラクチャに保存された命令を実行する１つまたは複数のマイクロプロセッサなどを用いて実装され得る。例えば、登録モジュール２４２は、プロセッサ上で実行される登録に関連して本明細書に記載の機能を実装する登録命令を含むことができ、トリアージモジュール２４４は、同じプロセッサ上で実行されるトリアージに関連して本明細書に記載の機能を実現するトリアージ命令を含むことができる。同様の基盤となるハードウェアおよびソフトウェアを使用して、本明細書で説明される他の「モジュール」を実装することができる。

［００３３］登録モジュール２４２は、例えば担当看護師からの手動入力として、新規患者の登録情報を受け取るように構成されてもよい。これは、例えば患者の名前、年齢、保険情報などを含むことができる。トリアージモジュール２４４は、例えば担当看護師からの手動入力として、またはネットワーク化された医療機器から直接、上記したようなバイタルサイン、および／または体重、身長、患者の来院理由などの他の生理学的データを受け取るように構成されてもよい。様々な実施形態において、トリアージモジュール２４４によって受け取られたバイタルサインおよび／または患者重大度指標（例えば、図２のＥＳＩ）は、例えば病院情報システム２４０に関連付けられた１つまたは複数のデータベース（図示せず）内で、登録モジュール２４２によって受け取られた対応する患者情報に関連付けられ得る。

［００３４］警告モジュール２４８は、患者の悪化などの様々なイベントを示す情報を受け取り、それに応じて様々なアラームおよび／またはアラートを発するように構成され得る。これらのアラームおよび／またはアラートは、視覚的出力（例えば、病院職員が見ることができる表示画面上に出力される）、インターコムアナウンス、テキストメッセージ、電子メール、音声アラート、触覚アラート、ページ、ポップアップウィンドウ、点滅ライトなどを含むが、これらに限定されない、様々なモダリティを使用して出力されてもよい。病院情報システム２４０のモジュール２４２～２４８は、例えば、１つまたはコンピュータネットワーク（図示せず）を介して、病院情報システムインターフェース２５０（図２の「Ｈ．Ｉ．Ｓ．インターフェース」）に動作可能に結合され得る。

［００３５］病院情報システムインターフェース２５０は、従来の病院情報システム２４０と、本開示の選択された態様で構成された患者モニタリングシステム２５２との間のインターフェースとして働くことができる。様々な実施形態において、病院情報システムインターフェース２５０は、例えば患者モニタリングシステム２５２の他のモジュールに対して、登録情報、患者重大度指標（例えば、ＥＳＩ）、処方および／または投与された薬剤、患者がリリースされたかどうか、様々なアラーム／アラートなどの患者に関する様々な情報を公開することができる。以下に説明するように、いくつかの実施形態では、これらの公開情報は、イベント公開およびサブスクライブ（「ＥＰＳ」）モジュール２７０に提供され得る。モジュール２７０はその後、それらをデータベース２７２に選択的に保存し、および／または、患者モニタリングシステム２５２の他のモジュールに選択的に公開し得る。いくつかの実施形態では、病院情報システムインターフェース２５０は、追加でまたは代わりに、他のモジュールによって提供される１つまたは複数の警告または公開情報をサブスクライブし得る。例えば、病院情報システムインターフェース２５０は、悪化検出モジュール２６８からのアラートをサブスクライブしてもよい。これにより、例えば、病院情報システムインターフェース２５０は、患者が悪化していることを警告モジュール２４８などの病院情報システム２４０の適切な構成要素に通知することができる。

［００３６］患者モニタリングシステム２５２は、患者の実際の医学的状態に資する対応を患者に提供するために、待合室１０４などのエリア内の患者のモニタリングを容易にする様々な構成要素を含み得る。患者モニタリングシステム２５２は、例えば、１つまたは複数のカメラ２５６、患者キューモジュール２５８、患者識別モジュール２６０、動的較正モジュール２６２、顔／胴取得モジュール２６４、バイタルサイン測定モジュール２６６、悪化検出モジュール２６８、上記ＥＰＳモジュール２７０、および１つまたは複数のデータベース２７２、２７４へのインターフェースとなる患者キャプチャモジュール２５４を含むことができる。上述したように、モジュール２５０、２５４、および２５８～２７０はそれぞれ、ハードウェアとソフトウェアの任意の組み合わせを使用して実現することができる。また、これらのモジュールは別々に図示されているが、これは限定を意味するものでなく、また、それぞれが別々のハードウェアコンポーネント上に実装されることを示唆するものでもない。例えば、１つまたは複数のモジュールが組み合わされ、かつ／または省かれてもよく、１つまたは複数のモジュールが、１つまたは複数のコンピュータネットワークを介して動作可能に接続された１つまたは複数のコンピューティングシステム（図示せず、例えば、いわゆる「クラウド」を形成するために協働する複数のコンピューティングシステム）上に実装されてもよい。図２の様々な構成要素を接続する図示された線は、これらの構成要素にアクセス可能な通信チャネルを表し得る。これらの通信チャネルは、１つまたは複数のバス、イーサネット、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、セルラー通信など、任意の数のネットワーキングまたは他のコンピュータ通信技術を使用して実装することができる。

［００３７］患者モニタリングシステム２５２はまた、患者の１つまたは複数のバイタルサインおよび／または生理学的パラメータを、例えば患者から離れた位置で取得するように構成された１つまたは複数のバイタルサイン取得カメラ２７６を含むことができる。このようなバイタルサイン取得カメラの例は上述の通りである。様々な実施形態において、バイタルサイン取得カメラ２７６は、待合室１０４などのエリアの複数の異なる部分をＦＯＶ内に収めることができるよう、パン、チルト、ズームを実行可能なパンチルトズーム（「ＰＴＺ」）カメラであってもよい。あるいは、固定式の広角ＦＯＶカメラを使用することも可能である。このようにすることで、複数の異なる患者の位置を特定するために、モニタリング対象エリアをスキャンすることが可能であり、よって、更新されたバイタルサインおよび／または生理学的パラメータを控えめな形式で取得することができる。

［００３８］患者キャプチャモジュール２５４は、１つまたは複数のカメラ２５６から、患者の撮影画像データを搬送する１つまたは複数の信号を受信することができる。例えば、いくつかの実施形態では、患者キャプチャモジュール２５４は、カメラ２５６からビデオストリームを受信することができる。患者キャプチャモジュール２５４は、ビデオストリームに対して画像処理（例えば、顔検出、セグメンテーション、人間の形を検出するための形状検出など）を実行して、患者がいつ存在するかを検出し、検出結果を受けて、患者の基準デジタル画像をキャプチャし得る。いくつかの実施形態では、基準デジタル画像は、ビデオストリームの個々のフレームよりも高い解像度でキャプチャされ得るが、これは必須ではない。いくつかの実施形態では、カメラ２５６は、待合室前エリア１０２内またはその近くに配備された、ウェブカメラやＰＴＺカメラ（例えば、２７６）などのスタンドアロンカメラであってもよい。カメラ２５６によって取得された１つまたは複数の画像は、その後、患者に関連付けられた基準デジタル画像として使用され、後にモニタリング対象エリア内の患者を識別するために使用され得る。

［００３９］患者キューモジュール２５８は、モニタリング対象エリア内の患者の（例えばデータベース内にある）優先度キューを確立および／または維持するように構成され得る。様々な実施形態において、キューは様々なパラメータによって順序付けられ得る。いくつかの実施形態では、キュー内の各患者は、患者重大度指標の順序で（すなわち、優先順位によって）ランク付けされてもよい。例えば、最も重大な状態の患者はキューの先頭付近に配置され、重大性がより低い患者はキューの終わり近くに配置され得る（その逆も同様である）。いくつかの実施形態では、更新されたバイタルサインは、キューの順序で、待合室１０４などのモニタリング対象エリアで待機している患者から取得されてもよい。他の実施形態では、更新されたバイタルサインは、ＦＩＦＯまたはラウンドロビンの順序で患者から取得されてもよい。他の実施形態では、更新されたバイタルサインは、バイタルサイン取得カメラ２７６にプログラムされた所定のスキャン軌道に対応する順序で患者から取得されてもよい（例えば、椅子の各列を順にスキャンする）。

［００４０］患者識別モジュール２６０は、バイタルサイン取得カメラ２７６（または控えめな形式でバイタルサインを取得するように構成されていない別のカメラ）によって取得された１つまたは複数のデジタル画像を、患者キャプチャモジュール２５４によって取得された１つまたは複数の基準患者画像と共に使用することでモニタリング対象エリア（例えば、待合室１０４）内の１人または複数の患者の位置を特定するように、本開示の選択された態様で構成され得る。患者識別モジュール２６０は患者の様々な視覚的特徴を利用して患者を識別するために、様々な画像処理技術を用いて取得されたデジタル画像を分析することができる。患者を認識するために使用され得るこれらの視覚的特徴は限定されるものではないが、顔の特徴（例えば、顔のローカライゼーション）、および衣服、髪、姿勢、アクセサリなどの顔以外の特徴を含み得る。後述する図４～図８は、任意の状況における患者（より一般的には対象）認識の一部として使用され得る様々な技術の様々な側面を示す。

［００４１］いくつかの実施形態では、患者識別モジュール２６０は、ＰＴＺカメラを用いて物理的に、または広視野カメラを用いてデジタル的に、更新されたバイタルサインを取得すべき特定の患者を探すためにモニタリング対象領域をサーチし得る。例えば、患者識別モジュール２６０は、患者キューモジュール２５８によって選択された患者を探すためにモニタリング対象領域をサーチすることができる。選択された患者は、例えば、最も高い患者重大度指標を有するキュー内の患者であってもよい。いくつかの実施形態では、患者識別モジュール２６０は、バイタルサイン取得カメラ２７６に、選択された患者が特定されるまでモニタリング対象領域（例えば、待合室１０４）をスキャンさせることができる。

［００４２］動的較正モジュール２６２は、バイタルサイン取得カメラ２７６の使用をトラッキングし、必要に応じて較正するように構成され得る。例えば、動的較正モジュール２６２は、バイタルサイン取得カメラ２７６が特定のＰＴＺ位置に向くように指示されたとき、常に同じ場所に向くことを保証し得る。ＰＴＺカメラは常に動いている可能性があり、または少なくとも頻繁に動いている可能性がある。したがって、ＰＴＺカメラの機械的部品は摩耗および破損する可能性がある。小さな機械的誤差／バイアスが蓄積することで、時間の経過とともに、バイタルサイン取得カメラ２７６が所与のＰＴＺコマンドに対して異なる応答をする可能性がある。動的較正モジュール２６２は、例えば、ランドマーク（例えば、壁上の小さなステッカーなどの目印）を使用して、バイタルサイン取得カメラ２７６が適切に応答するようにする補正機構を訓練することを含み得る較正ルーチンを時々実行することによって、これを補正してもよい。

［００４３］患者キューモジュール２５８によって特定された患者が患者識別モジュール２６０によって認識されると、顔／胴／人取得モジュール２６４は、各自のＦＯＶ（視野）が患者の所望の部分を捉えるように、１つまたは複数のバイタルサイン取得カメラ２７６をパン、チルト、および／またはズームさせるように構成され得る。例えば、いくつかの実施形態では、顔／胴／人取得モジュール２６４は、患者の顔および／または胴に焦点が合うよう、バイタルサイン取得カメラ２７６をパン、チルト、またはズームさせ得る。加えて、または代わりに、顔／胴体取得モジュール２６４は、患者の顔を撮影するために１つのバイタルサイン取得カメラ２７６をパン、チルト、またはズームさせ、患者の胴を撮影するために別のカメラをパン、チルト、またはズームさせ、患者の全身を撮影するために別のカメラをパン、チルト、またはズームさせる等してもよい。これらにより、様々なバイタルサインおよび／または生理学的パラメータが取得され得る。例えば、患者の脈拍、ＳｐＯ_２、呼吸数、および血圧などのバイタルサインは、例えば、バイタルサイン測定モジュール２６６によって、１つまたは複数のバイタルサイン取得カメラ２７６によって撮影された患者の顔の画像／動画に対して画像処理を実行することによって取得され得る。患者の呼吸数や全身の姿勢（疼痛および／または怪我を示す可能性がある）等のバイタルサインおよび／または生理学的パラメータは、例えば、バイタルサイン測定モジュール２６６によって、１つまたは複数のバイタルサイン取得カメラ２７６によって撮影された患者の胴の画像／動画に対して画像処理を実行することによって取得され得る。当然ながら、顔および胴はバイタルサインを得るために調べられ得る身体部分の２つの例に過ぎず、限定することを意味するものではない。

［００４４］悪化検出モジュール２６８は、登録された患者の状態が悪化しているか、改善しているか、および／または安定したままであるかを判定するために、１つまたは複数の信号を分析するように構成され得る。いくつかの実施形態では、患者の状態は、少なくとも部分的に、患者のモニタリング順序を決定するために使用されるものと同じ上記患者重大度指標によって表されてもよい。したがって、悪化検出モジュール２６８は、１つまたは複数のＣＤＳ、事例ベース推論、または本明細書に記載の他の臨床的推論アルゴリズム、または、本明細書に記載の重大度指標以外の患者の状態の指標を評価するための他の臨床的推論アルゴリズム（例えば、訓練されたロジスティック回帰モデルまたは他の機械学習モデル）を含むことができる。いくつかの実施形態では、悪化検出モジュール２６８によって採用される患者の重大度または患者の状態の他の指標を評価するためのアルゴリズムは時々更新されてもよく、例えば、選択された機械学習モジュールのための新しい訓練された重み（例えば、シータ値）を書き込むことによって、または、（例えば、ｊａｖａアーカイブ、ＪＡＲ、ファイル、またはコンパイルされたライブラリの形式で）プロセッサによって実行されるべき新しい命令を提供することによって更新され得る。これらの信号は、例えば、患者の初期バイタルサインおよび他の生理学的情報（例えば、図１のブロック１０８～１１０で取得されたもの）、バイタルサイン測定モジュール２６６によって取得された更新されたバイタルサイン、患者の初期患者重大度指標（例えば、登録中に計算されたもの）、および／または患者の更新された患者重大度指標（例えば、バイタルサイン測定モジュール２６６から提供された更新されたバイタルサインおよび／または生理学的パラメータに基づいて計算されたもの）を含むことができる。これらの信号を使用して行われた判定に基づいて、悪化検出モジュール２６８は、様々なアクションを取るために様々な他のモジュールに様々な警告を送ることができる。例えば、悪化検出モジュール２６８は、例えば、サブスクライブしているモジュール（例えば、病院情報システム２４０の警告モジュール２４８）に対してＥＰＳモジュールが警告を公開できるよう、ＥＰＳモジュール２７０に警告を送ることによって、警告を公開し得る。いくつかの実施形態では、そのような警告は、例えば、患者の名前（または、より一般的には患者識別子）、写真、待合室内の患者の最後に検出された位置、ベースラインバイタルサイン、１つまたは複数の更新されたバイタルサイン、および／または患者重大度指標の表示を含むことができる。警告を受けとると、警告モジュール２４８は、患者の悪化および他の情報、とりわけ、待合室内で最後に検出された患者の位置について、医療従事者に警告を発し得る。

［００４５］ＥＰＳモジュール２７０は、図２の様々な他の構成要素によってリリースされたイベントを配信するように構成された一般的な通信ハブであってもよい。いくつかの実施形態では、図２に示される他のモジュールの全てまたは少なくとも一部は、当該モジュールからの何らかの形式の結果／判定／計算／決断を示すイベントを生成することができる。これらのイベントはＥＰＳモジュール２７０に送信または「公開」され得る。図２に示される他のモジュールの全てまたは一部は、任意の他のモジュールから任意のイベントを受信または「サブスクライブ」することを選択し得る。イベントを受信すると、ＥＰＳモジュール２７０は、当該イベントを示すデータを当該イベントにサブスクライブしている全てのモジュールに送信し得る（例えば、イベントを転送し得る）。

［００４６］いくつかの実施形態では、ＥＰＳモジュール２７０は、データベース２７２および／またはアーカイブ２７４（任意選択でもよい）などの１つまたは複数のデータベースと通信してもよい。一部の実施形態では、ＥＰＳモジュール２７０は、１つまたは複数のデータベース２７２および／または２７４内に記憶された情報へのアクセスを与えるために、および／または、他のモジュールから受信した情報（例えば、警告）をデータベース２７２および／または２７４に追加するために、任意のモジュールからの「ＲＰＣ」（ｒｅｍｏｔｅ ｐｒｏｃｅｄｕｒｅ ｃａｌｌｓ）を受け入れてもよい。データベース２７２は、警告、公開情報、または図２の１つまたは複数の他のモジュールによって伝送／ブロードキャスト／送信された他の通信に含まれる情報を記憶することができる。いくつかの実施形態では、データベース２７２は、例えば、患者および／または患者の初期バイタルサイン、（バイタルサイン取得カメラ２７６によって取得された）更新されたバイタルサイン、および／または患者重大度指標に関連付けて基準画像を保存することができる。任意選択的なアーカイブ２７４は、いくつかの実施形態では、同じまたは類似の情報をより長い期間にわたって記憶することができる。

［００４７］患者モニタリングシステム２５２を実装するために、様々なハードウェア構成が利用可能であることは明らかであろう。例えば、いくつかの実施形態では、単一のデバイスがシステム２５２全体を実装し得る（例えば、カメラ２７６にバイタルサイン取得機能２６０～２６６を実行させ、悪化検出２６８および患者キュー管理２５８を含む、バイタルサイン分析および警告機能を実行する単一のサーバ）。他の実施形態では、複数の独立したデバイスがシステム２５２を形成してもよい。例えば、第１のデバイスはバイタルサイン取得カメラ２７６を駆動して機能２６０～２６６を実装し、１つまたは複数の別のデバイスが残りの機能を実施し得る。いくつかのそのような実施形態では、１つのデバイスは待合室の現場にある一方、別のデバイスは離れた場所にあってもよい（例えば、地理的に離れたクラウドコンピューティングアーキテクチャにおける仮想マシンとして実装される）。いくつかの実施形態では、（例えば、プロセッサおよびメモリを含む）デバイスがバイタルサイン取得カメラ２７６自体の中に配置されてもよく、したがって、カメラ２７６は単なるダム周辺端末ではなく、バイタルサイン機能２６０～２６６を実行してもよい。いくつかのそのような実施形態では、別のサーバがカメラ２７６に指示（例えば、識別子、記録全体、または登録された顔画像）を送り、さらなる処理のためにバイタルを返すことを要求してもよい。いくつかのそのような実施形態では、追加の機能がカメラ２７６に搭載されて提供されてもよく、例えば、悪化検出２６８（またはそのための前処理）および／または患者キューモジュール２５８管理などがカメラ２７６に搭載されて実行されてもよい。いくつかの実施形態では、カメラ２７６がＨＩＳインターフェース２５０またはＥＰＳ ２７０さえ実装してもよい。様々な追加の構成が理解されるであろう。

［００４８］図３は、モニタリングを目的として待合室３０４内の患者３７８Ａ～Ｃを識別するために本開示の技術が実施され得る例示的なシナリオを示す。この例では、３人の患者３７８Ａ～Ｃが病院待合室３０４で医療従事者３８０による対応を待っている。２つのビデオカメラ３７６Ａ、３７６Ｂが待合室３０４の面（例えば、天井や壁）に取り付けられている。２つのビデオカメラ３７６Ａ、３７６Ｂは、待合室３０４内の患者３７８をモニタリングするために使用することができる。患者３７８Ａ～Ｃはそれぞれ、事前の患者状態分析に基づき、トリアージ担当の医療従事者（図示されていない）によって患者重大度指標を割り当てられていてもよい。患者３７８が担当医を待っている間、２つのビデオカメラ３７６Ａ、３７６Ｂは、モニタリング対象として選択された患者を特定するために本明細書に記載の技術を使用して分析されるデジタル画像（複数可）を取り込むことができる。その後、同じ２つのビデオカメラ（バイタルサインを控えめな形式で取得するように構成されていると仮定する）、または異なるビデオカメラが、例えば患者の悪化を検出するために、上述のように患者３７８をモニタリングするように動作し得る。いくつかの実施形態では、患者モニタリングシステム（より具体的には悪化検出モジュール２６８）による患者の悪化の検出に応じて、医療従事者によって患者に関連付けられた患者重大度指標が更新されてもよい。様々な実施形態において、新しい患者が待合室３０４に入ると、例えば患者モニタリングシステム２５２によって、患者モニタリングおよび優先順位付けの新たなラウンドが実行され得る。新しい患者が待合室３０４に入るたびに、例えば患者キューモジュール２５８によって、患者キューが自動的に更新され得る。これに加えてまたは代わりに、トリアージ後に新たに到着した患者が含まれるよう、医療従事者が患者キューを手動で更新してもよい。

［００４９］本明細書に記載される技術は病院の待合室に限定されない。デジタル画像または動画内の被写体を識別するために本明細書で説明される技術が実施され得る多数の他のシナリオが存在する。例えば、本開示の技術は空港、アリーナ、国境検問所、および他の公共の場所における群衆のセキュリティモニタリングのために使用されてもよい。このようなシナリオでは、患者重大度指標を決定するために患者をモニタリングするのではなく、リスク評価や事後調査などの他の目的のために被写体が特定され得る。本明細書で説明される技術はまた、フィットネス環境（例えば、ジム、老人ホーム）、またはデジタル画像に写る個々の被写体の識別が実施され得る他のモニタリングシナリオ（例えば、空港、国境検問所など）などのシナリオにも適用可能であり得る。例えば空港では、例えばゲートで待機している被写体の特徴をチェックイン時に取得された特徴と比較することによって被写体が識別され得る。また、本明細書に記載される技術は、患者の顔が視認可能であることを要さずに、診療を受けずに去った患者を識別するために使用され得る。

［００５０］図４は、本開示の選択された態様で構成された構成要素の例、およびそれらの構成要素間の例示的な相互作用を概略的に示す。様々な実施形態において、これらの構成要素のうちの１つまたは複数は、例えば、図２の患者識別モジュール２６０の一部として、ハードウェアおよびソフトウェアの任意の組み合わせを使用して実装され得る。左上から開始して、カメラは、１つまたは複数のデジタル画像（例えば、複数の個別画像および／または複数の画像からなるストリーム）を取得するように構成されてもよい。図４において、カメラは、上記バイタルサイン取得カメラ４７６の形態をとる。しかしながら、これは限定を意味するものではない。本明細書で説明される技術は、様々な異なるコンテキストにおいて様々な異なるタイプのカメラを使用して実装され得る。例えば、閉回路テレビ（「ＣＣＴＶ」）および他のタイプのカメラが、本開示の技術を用いて分析可能なデジタル画像を取得し得る。

［００５１］全被写体（人物）検出モジュール４０２（あるいは、背景除去モジュール）は、カメラ４７６によって取得された画像を分析し、複数の被写体が画像内に写っていると仮定すると、デジタル画像内に写っている複数の被写体に対応するマスクまたは関心領域４０４を生成するように構成されてもよい。いくつかの実施形態では、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）がこの分析を実行するように訓練されてもよい。例えば、ニューラルネットワークは、複数の被写体を含む、ピクセル単位でラベル付けされたデジタル画像の形態の訓練例を使用して訓練されてもよい。各ピクセルが、被写体の一部である／無いとしてラベル付けされてもよい。これらの訓練例をニューラルネットワークへの入力として適用することで、どのピクセルが被写体の一部である／無いかについてのピクセル単位の「推測」を含む出力が生成され得る。この出力を、ピクセル単位でラベル付けされた訓練例と（例えば、損失関数を使用して）比較することで差（または誤差）が決定され得る。次いで、ニューラルネットワークは、確率的勾配降下および逆伝播などの最適化技術を含む様々な技法を使用して、この差（または誤差）を最小にするように訓練され得る。当然ながら、デジタル画像内の被写体を分離するために、機械学習に加えて、または機械学習の代わりに、他の技術を使用することができる。

［００５２］分離モジュール４０６は、被写体マスク４０４を分析して、デジタル画像を、複数の被写体の異なる各被写体４１０をそれぞれ写す複数の部分４０８に分割するように構成されてもよい。いくつかの実施形態では、デジタル画像に含まれる複数の被写体がマスクに「スケルトン化（ｓｋｅｌｅｔｏｎｉｚｅ）」（例えばセグメンテーション）されてもよい。 図５は、図４の複数の被写体をマスク５３０にスケルトン化する方法の一例を示す。この例では、被写体マスク４０４内に写る３人の被写体に関連付けられた肢要素、関節要素、および姿勢要素を使用して、位相的スケルトンマスク５３０を生成する。被写体を互いに区別するために、すなわち、マスク５３０を、いくつかの実施形態ではそれぞれが各被写体に対応する３つの別個のサブマスクに分離するために、１つまたは複数のいわゆる「最小カット」（またはそのバリエーション）を適用することができる。例えば、図５では、エッジ５３２および５３４がマスク５３０内の全てのエッジの中で最も小さい傾斜を有する。したがって、マスク５３０を、それぞれが各被写体に対応する３つの別個のマスクに分離するために、これらのエッジが除去され得る。各被写体が別個のサブマスクによって表されるようになった後、各被写体を写す元のデジタル画像の各部分を識別し、別々に分析することができる。

［００５３］個々の被写体を区別するために、スケルトン化の代わりに、分離モジュール４０６が他の技術を適用してもよい。いくつかの実施形態では、姿勢推定（ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）（例えば、２次元デジタルデータを複数の既知の人間の姿勢と反復的に比較する）を用いて、デジタル画像をそれぞれが個々の被写体を写す複数の部分にセグメント化してもよい。いくつかの実施形態では、スケルトン化および最小カットの代わりに、またはこれらに加えて姿勢推定が実施され得る。さらに他の実施形態では、（例えば、Ｃａｎｎｙエッジ検出を用いた）エッジのパーシングなど、他の技術を使用してデジタル画像を個々の被写体を写す複数の部分にセグメント化してもよい。

［００５４］図４に戻り、いくつかの実施形態では、構成要素４０２および４０６によって実行されるものとして上述した動作が、代わりに、エンドツーエンドディープ（例えば、畳み込み）ニューラルネットワークを使用して、例えば、Ｍ．ＢａｉおよびＲ．Ｕｒｔａｓｕｎによる”Ｄｅｅｐ ｗａｔｅｒｓｈｅｄ ｔｒａｎｓｆｏｒｍ ｆｏｒ ｉｎｓｔａｎｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ”、２０１６年１１月２４日に記載されたＷａｔｅｒｓｈｅｄアルゴリズムを使用して実行されてもよい。本明細書では、ピクセルごとに離散化エネルギー値を予測した。そして、Ｗａｔｅｒｓｈｅｄアルゴリズムを使用して、エネルギー表面を別個の物体（本開示では別々の被写体）のインスタンスにセグメント化することができる。

［００５５］デジタル画像がどのようにして個々の被写体４１０を写す複数の部分４０８にセグメント化されるかに関わらず、セグメント化／パーシングモジュール４１２は、特定の被写体４１０を写すデジタル画像の各部分４０８を複数のスーパーピクセル４１４_１－４にセグメント化するように構成されてもよい。最終的なスーパーピクセルは、被写体の視覚的特徴に対応してもよい。例えば、１つのスーパーピクセルは被写体の髪を含み、別のスーパーピクセルは被写体の顔／頭を含み（デジタル画像において視認可能であれば）、別のスーパーピクセルは被写体の胴体の衣服（例えば、シャツ、セーター、ジャケットなど）を含み、さらに別のスーパーピクセルは被写体のズボン（または半ズボンやドレスなど）を含み得る。様々な実施形態において、アクセサリ（例えば、ハンドバッグ、帽子、手袋）、靴、ストッキング、靴下等の被写体の他の視覚的要素を含むスーパーピクセルも生成され得る。いくつかの実施形態では、第１のスーパーピクセルセットが生成され得る。各スーパーピクセルは、１つまたは複数の類似性制約を満たすピクセルを含む。衣服は不規則な視覚的特徴（例えば、折り目、しわなど）を有する傾向があり、また、撮影される現実のシーンには様々な障害（例えば、被写体が自分の電話を見ている、部分的に遮断されているなど）がある可能性があるため、初期スーパーピクセルセットは、必ずしも被写体の実際の衣服と非常に正確に対応しない可能性がある。

［００５６］したがって、様々な実施形態において、初期スーパーピクセルセットは、様々な意味属性（ｓｅｍａｎｔｉｃ ａｔｔｒｉｂｕｔｅ）を共有する他のスーパーピクセルとクラスター化され得る（例えば、「ＳＬＩＣ（ｓｉｍｐｌｅ ｌｉｎｅａｒ ｉｔｅｒａｔｉｖｅ ｃｌｕｓｔｅｒｉｎｇ）」を使用して）。さらに、または代わりに、「ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ）」、または「ＤＤＮ（ｄｅｅｐ ｄｅｃｏｍｐｏｓｉｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）」や「ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）」などのディープラーニングに基づくセグメンテーション手法などの他のアプローチが採用されてもよい。いくつかの実施形態では、過度にセグメント化された（例えば、小さすぎる）スーパーピクセルごとに、記述的特徴に基づいてｋ（ゼロより大きい整数）個の最も近い近傍ピクセルが特定され得る。これらの特徴は色、テクスチャ、パターン（例えば、水玉模様、格子縞など）、空間的位置、形態などを含むことができるが、これらに限定されない。いくつかの実施形態では、畳み込みニューラルネットワークが意味的に互いに類似するスーパーピクセルを識別するように訓練され得る。スーパーピクセルは、いくつかの実施態様ではペアで比較され得るが、他の実施態様において、より大きな倍数でスーパーピクセルがグループ化されてもよい。例えば、第１のピクセルが第のスーパーピクセルおよび第３のスーパーピクセルの両方と類似しており（例えば、予め定められた閾値に基づき）、第２および第３のスーパーピクセルが第１のスーパーピクセルとつながっているコンポーネントを有する場合、３つのスーパーピクセルすべてが１つのスーパーピクセルにクラスター化されてもよい。

［００５７］次に、関心領域（「ＲＯＩ」）分類器４１６は、セグメント化／パーシングモジュール４１２によって生成された各スーパーピクセルに意味ラベルを割り当てるように構成され得る。直感的には、ＲＯＩ分類器４１６は、被写体のどの部分が各スーパーピクセルに対応するかを決定する。例えば、第１のスーパーピクセルは被写体の脚（例えば、パンツ、ショーツ、スカート等）の上に着用された衣服に対応し、別のスーパーピクセルは被写体の胴体に対応し、別のスーパーピクセルは被写体の髪に対応し、別のスーパーピクセルは被写体の顔に対応する、等々である。

［００５８］ＲＯＩ分類器４１６は、スーパーピクセルに意味ラベルを割り当てるために様々な技術を使用することができる。いくつかの実施形態では、ＲＯＩ分類器４１６が対象の様々な部分について境界ボックスまたは他の空間領域を識別することができ、これらの境界ボックス内に含まれるスーパーピクセルに、対応する意味ラベルを割り当てることができる。例えば、被写体全体について境界ボックスが特定され得る（これは、その被写体に関連付けられたすべてのスーパーピクセルを含む）。その場合、その面積の少なくとも半分が特定の閾値（例えば、おおよそ首の高さ）より（標準的な直交座標系において）高い最大のスーパーピクセルには「頭」の意味ラベルが割り当てられ得る。その面積の大半が前記閾値より高い２番目に大きいスーパーピクセルには「髪」の意味ラベルが割り当てられ得る。「パンツ」の意味ラベルは、その面積の少なくとも半分が別の閾値（例えば、おおよそウエストライン）より低い最大のスーパーピクセルに割り当てられ得る。「胴」、「上着」、または「シャツ」の意味ラベルは、その面積の大半が前記２つの閾値の間にある最大のスーパーピクセルに割り当てられ得る。当然ながら、これは限定することを意味するものではなく、他のシナリオ、例えば被写体が丈の長いドレスまたは医療用ガウンを着用する場合には、他の閾値および／またはメトリックが使用され得る。また、上記と同様に、例えばＲＯＩ分類器４１６によって、意味ラベルをスーパーピクセルに割り当てるために他の技術、例えば、姿勢推定および／または確率マップ等を同様に使用することができる。

［００５９］特徴抽出器４１８は、下流処理のために、意味的にラベル付けされた各スーパーピクセルの様々な特徴を抽出するように構成されてもよい。これらの特徴は色、テクスチャ、パターン（例えば、格子縞、水玉模様、ストライプ等）、反射率、サイズ等の様々な形態をとることができる。いくつかの実施形態では、スーパーピクセルに割り当てられた意味ラベルに基づいて、異なる特徴を抽出することができる。例えば、あるスーパーピクセルに「胴」の意味ラベルが割り当てられている場合、袖の種類（例えば、袖なし、半袖、長袖）や襟ぐりなどの特徴が抽出され、スーパーピクセルに「髪」の意味ラベルが割り当てられている場合、色、カールのタイプ、髪質、光沢、範囲、形状（例えば、ポニーテール）などの特徴が抽出され得る。

［００６０］類似性およびマッチングモジュール４２０は、カメラ４７６によって取得された元のデジタル画像に写る特定の被写体が、登録データベース４２２に保存された基準画像に写る被写体とマッチするかどうかを決定するように構成され得る。上述のように、いくつかの状況では、被写体の基準画像は、例えば、患者登録中に図２の患者キャプチャモジュール２５４によって取得されてもよい。いくつかの実施形態では、登録データベース４２２が登録された被写体の基準画像だけでなく、基準画像内で識別された意味的にラベル付けされた「基準」スーパーピクセルから抽出された特徴も保存するように、図４に示される同じ構成要素によって基準画像が前処理されてもよい。様々な実施形態において、カメラ４７６によって取得されたデジタル画像に写る特定の被写体を、登録データベース４２２に保存された基準画像とマッチさせることは、両者の様々な抽出された特徴の間の類似性の指標を計算することを含み得る。様々な実装形態において、類似性は、ユークリッド距離、コサイン類似度などを含むがこれらに限定されない様々な技術および／または概念を使用して計算され得る。

［００６１］いくつかの実施形態では、類似性およびマッチングモジュール４２０は、例えば特徴抽出器４１８によって各意味的にラベル付けされたスーパーピクセルから抽出された特徴と、基準デジタル画像において識別された基準スーパーピクセルから抽出された特徴との間の類似性の指標を決定するように構成されてもよい。いくつかの実施形態では、比較に使用される基準スーパーピクセルは、考慮中のスーパーピクセルに割り当てられた意味ラベルとマッチする「基準」意味ラベルを有し得る。直感的には、胴体スーパーピクセルは基準胴体スーパーピクセルと比較され、髪スーパーピクセルは基準髪スーパーピクセルと比較され、以下同様である。考慮中の（すなわち、考慮中の被写体を写すデジタル画像の特定の部分に関連付けられた）複数のスーパーピクセルについて決定された複数の類似性の指標に基づいて、類似性およびマッチングモジュール４２０は、考慮中の被写体が基準画像内に写っているか否かを決定することができる。

［００６２］図６Ａは、一連のデジタル画像の取得中に被写体の顔が常に見えるわけではない、被写体がシャツまたはセーターを脱ぐといったことにかかわらず、類似性およびマッチングモジュール４２０が時間の経過とともに、考慮中の一連のデジタル画像（例えば、ビデオストリーム）に写る被写体を、基準デジタル画像に写る被写体とどのようにマッチさせ得るかの一例を示す。上側の３つのグラフｘ_１、ｘ_２、およびｘ_３は、それぞれ「胴」、「ズボン」、および「頭」として意味的にラベル付けされたスーパーピクセルの類似性スコアを時間の関数として表す。より具体的には、各グラフは、一連のデジタル画像において検出された該当するスーパーピクセルと、基準デジタル画像からの対応する（すなわち、同じ意味ラベル）静的スーパーピクセルとの間の進行中の類似性スコアを表す。

［００６３］したがって、例えば、被写体の頭部を表すグラフｘ_３では、期間６２０Ａおよび６２０Ｂの間、被写体の顔が、例えば被写体が外を見ていたために、または被写体の顔が一時的に（例えば、携帯電話で）遮られていたために、カメラが捉えることができなかったことが分かる。さらに、グラフｘ_１では、期間６２２の間に胴の類似度が低下する。これは、例えば、患者がセーターまたはジャケットを脱いだ、または着用したためであり得る。

［００６４］図６Ａの下側の２つの図は、被写体（図６Ａでは「患者」）が着替えをしたという進行中の確信、および近傍（例えば待合室）を離れたという進行中の確信（ｘ_１、ｘ_２、ｘ_３に基づいて決定される）を時間の関数として表している。様々な実施形態において、患者が着替えをしたという進行中の確信は、複数の類似性スコアに基づいて決定されてもよい。例えば、ズボン／頭部スーパーピクセル間で計算された類似性スコアが一定のままであるが、胴体間の類似性スコアが劇的に／突然変化した場合、これは患者が胴体の衣服を変えたことを示し得る。これは、図６Ａの期間６２２の間において見られる。被写体が着替えをしたという確信は期間６２２まで低くとどまっているが、その期間に差し掛かると、時間的に対応する類似性スコアｘ_１のみの急激かつ劇的な低下に応じて、スーパーピクセル着替えイベントの確信が増加する（例えば、被写体がセーターまたはジャケットを着用したまたは脱いだ）。同時点において、一番下のグラフの被写体（図６Ａでは「患者」）が去ったことの確信は有意な増加を示さない。これは、被写体に対応する他のスーパーピクセルが依然として被写体の基準デジタル画像の基準スーパーピクセルと合致するからである。例えば、類似性スコアｘ_２は期間６２２の間、比較的一定のままであり、被写体がまだ同じズボンを着用していることを示唆する。

［００６５］図６Ｂは、図６Ａのグラフによって表されるシナリオに関連するより多くのグラフを示す。図６Ｂにおいて、上図の横軸は各被写体識別子（「Ｐｔ ＩＤ」）を示す。図６Ｂの上図には１１本の棒があり、これは、モニタリングされているエリア（例えば、待合室１０４）内に１１人の被写体が存在している可能性があることを意味する。図６Ｂの上図の縦軸は、特定の時間ｔの後の被写体ごとのリコール頻度（ｒｅｃａｌｌ ｆｒｅｑｕｅｎｃｙ）α、すなわち、本明細書に記載される技術を用いて各被写体が基準デジタル画像と何回マッチングされたかを表す。（左から）１番目、２番目、３番目、７番目の患者は、他の被写体よりもはるかに頻繁にマッチングされていたことが分かる。これは、２人以上の特定の被写体が外観において比較的同質である場合にしばしば起こり得る。例えば、類似する体型（例えば、身長、体重）を有する複数の被写体が、さらにおそろいの制服等の類似する衣服（暗いズボンおよび明るいシャツが一般的である）を着用している可能性がある。特定の被写体が頻繁に特定される場合、一部の被写体を誤認したり、特定できなかったりすることがあり、また一方で、他の被写体を過剰に特定するおそれがある。図６Ｂの下図は、特定の位置（例えば、待合室の座席）における以前の患者の検出結果βを時間の関数として表す。

［００６６］様々な実施形態において、特定の基準デジタル画像が複数の被写体とあまりに頻繁にマッチングされる場合、または予測される患者の位置に過剰な変化がある場合、様々ないわゆる「ペナルティ」が適用され得る。例えば、新たな被写体の（例えば、頭、胴、脚に対応する）スーパーピクセルが［ｘ_１、ｘ_２、ｘ_３］で表されるとする。１つまたは複数の基準ディジタル画像から生成された同じ意味ラベルを有する基準スーパーピクセルが［ｙ_１、ｙ_２、ｙ_３］によって表されるとする。様々な実施形態において、基準スーパーピクセル［ｙ_１、ｙ_２、ｙ_３］は、例えば、基準画像を訓練された（例えば、既知の特性を備えた衣服／髪を有するラベル付き基準画像を用いて訓練された）機械学習モデルに提供することによって、各基準スーパーピクセルｙ_ｊに割り当てられる重みｃ_ｊを決定するために使用され得る。いくつかの実装形態では以下の式を適用することができる。

［００６７］ｉおよびｎはそれぞれ、探索対象の被写体および考慮中のスーパーピクセルの数（例えば、頭、胴、およびズボンのスーパーピクセルが使用されている場合、ｎ＝３）を表す正の整数である。λはペナルティを表す正則化パラメータであり得る。この式の目的は、直感的に言えば、図６Ｂに示される上図を「平らにする」こと、例えば、すべてのバーが比較的均一な高さを有するようにする（すなわち、各患者が比較的等しい頻度で特定される）ことである。代わりに、いくつかの実施形態では、「ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）」や「ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）」などのディープラーニングに基づく手法を使用してこれらの時間的シグネチャが学習されてもよい。

［００６８］図７は、図６Ａに示される図に類似する図を示す。しかし、この例では、被写体（図７では「患者」）が実際にエリア（例えば、待合室１０４）を去っている。したがって、類似性スコアｘ_１、ｘ_２、ｘ_３はすべて、時点７２２付近で劇的に低下する。３つの類似性スコアはいずれも同時に低下するため、被写体が去った可能性があるという結論が導かれる。これは下から２番目の図と一番下の図に反映されている。患者が服を着替えたという確信は低いままであり、時点７２２において、被写体（患者）が去ったという確信は「患者除外」閾値７２４を上回る。そのような患者除外閾値は手動で選択されてもよく、または、例えば経験的エビデンスに基づいて、あるいは機械学習モデルを訓練することなどによって自動的に選択されてもよい。そのような状況下では、患者識別モジュール２６０は、被写体がそのエリアを離れた（例えば、患者が診療されることなく去った）と判定することができる。

［００６９］図８は、例えば患者識別モジュール２６０によって使用され得る被写体を識別するための１つの例示的な方法８００を比較的高いレベルで概略的に示す。患者モニタリングとは無関係な状況では、方法８００を実行する構成要素は患者識別モジュール２６０とは全く異なるものでもよい。方法８００の動作は特定の順序で示されているが、これは限定を意味するものではない。様々な実施形態において、１つまたは複数の動作を追加、省略、または並べ替えることができる。

［００７０］ブロック８０２において、患者識別モジュール２６０は、例えばバイタルサイン取得カメラ（２７６、４７６）または別のカメラを介して、１人または複数の被写体を含むシーン（例えば、待合室）を写す１つまたは複数のデジタル画像を（例えば、ビデオストリームから）取得することができる。ブロック８０４において、患者識別モジュール２６０はデジタル画像内の１人または複数の被写体を写す１つまたは複数の部分を検出し得る。いくつかの実施形態では、患者識別モジュール２６０は、例えば全被写体検出モジュール４０２および／または分離モジュール４０６によって、例えば（例えば、マスクを構築することによって）被写体を互いにおよび／または背景から分離するために、構成要素４０２および４０６に関連してその一部が上述された様々な技術を使用して、被写体を写す１つまたは複数の部分を検出することができる。

［００７１］ブロック８０６において、患者識別モジュール２６０は、例えばセグメント化／パーシングモジュール４１２によって、被写体を写すデジタル画像の特定の部分を複数のスーパーピクセルにセグメント化するために、いわゆる「スーパーピクセルパーシング」を実行し得る。「スーパーピクセル」は、矩形パッチよりも正確にエッジに沿わせられた画像パッチであり得る。上述したように、セグメンテーションモジュール４１４はスーパー初期ピクセルセットを生成し、次いで、画像上の被写体の同じ意味領域（例えば、シャツ、ズボンなど）を表すスーパーピクセルを合体させるために互いに類似するスーパーピクセルをクラスター化し得る。

［００７２］ブロック８０８において、患者識別モジュール２６０は次のスーパーピクセルを取得し（またはこれが最初の分析されるスーパーピクセルである場合、最初のスーパーピクセルを取得し）、それを「現在の」スーパーピクセルとし得る。ブロック８１０において、患者識別モジュール２６０は、例えばＲＯＩ分類器４１６によって、現在のスーパーピクセルに意味ラベルを割り当てることができる。意味ラベルを割り当てるための技術は上記の通りである。例えば、その面積の大部分がネックライン閾値より高いスーパーピクセルは頭部と見なされ得る。面積の大部分がウエストライン閾値より低いスーパーピクセルは脚／ズボンと見なされ得る。以下同様である。

［００７３］ブロック８１２において、患者識別モジュール２６０は、例えば特徴抽出器４１８によって、現在のスーパーピクセルから様々な特徴を抽出することができる。抽出される特徴のタイプは現在のスーパーピクセルに割り当てられた意味ラベルに依存し得る。例えば、髪スーパーピクセルからは色およびテクスチャが抽出され得るが、髪は本来的に動的であることが多く、画像間で変化することがあるため、形状は抽出されてもされなくてもよい。胴および／または脚のスーパーピクセルから抽出される特徴の例は色、テクスチャ、形状、およびパターン（例えば、格子縞）であり得る。いくつかの実施形態では、患者識別モジュール２６０はスーパーピクセルごとに、「ＨＳＶ（ｈｕｅ－ｓａｔｕｒａｔｉｏｎ－ｖａｌｕｅ）」色、二次元色ヒストグラム（例えば、ＬＡＢ色空間）、スーパーピクセル幾何学的比率、スーパーピクセル特徴類似性、エッジ、テクスチャ、および／または輪郭などの特徴を抽出することができる。いくつかの実施形態では、「ＨＯＧ（ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ）」、「ＳＵＲＦ（ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ）」、オプティカルフローなどのアルゴリズムを使用して、輪郭および他の同様の特徴を抽出することができる。さらに、畳み込みニューラルネットワーク（「ＣＮＮ」）はより高いレベルの特徴を抽出することができる。これらのアルゴリズムのうちの１つまたは複数が「ＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）」ライブラリの一部として利用可能である。

［００７４］ブロック８１４において、患者識別モジュール２６０は、例えば類似性およびマッチングモジュール４２０によって、現在のスーパーピクセルから抽出された特徴と、基準デジタル画像の１つまたは複数の対応する（例えば、同じ意味ラベルを有する）基準スーパーピクセルから抽出された基準特徴との間の類似性の指標（例えば、上述してきた図におけるｘ_１、ｘ_２、ｘ_３）を決定することができる。類似性の指標を決定するために、ドット積、コサイン類似度などの様々な技術を使用することができる。ブロック８１６において、まだ解析されていない追加のスーパーピクセルがある場合、次のスーパーピクセルが選択され、「現在の」スーパーピクセルにされ得る。その後、方法８００はブロック８０８に戻り、次のスーパーピクセルを解析し得る。一方、ブロック８１６における答えがノーである場合、方法８００はブロック８１８に進み得る。

［００７５］ブロック８１８において、患者識別モジュール２６０は、例えば類似性およびマッチングモジュール４２０によって、類似性スコアに基づいて、解析中のデジタル画像の部分に写る被写体を、（例えば、患者モニタリングの場合には登録中に撮影された）基準画像に写る被写体とマッチングし得る。例えば、特定の被写体について、髪／頭のスーパーピクセルおよびズボンのスーパーピクセルの類似性スコアが特定の基準画像に関して最も高いと仮定する。胴の類似性指標が低いとしても、図６Ａに関して述べたように、被写体が単にジャケットまたはセーターを着用したまたは脱いだに過ぎないかもしれないので、被写体は依然として基準画像とマッチし得る。

［００７６］いくつかの実施形態では、個人のプライバシーが様々な方法で尊重および／または保護されてもよい。例えば、登録された患者の完全な基準デジタル画像を保存するのではなく、いくつかの実施形態では、基準デジタル画像を機械学習モデルに適用することによって生成された特徴／アクティベーション／出力のみが、後の比較のためにメモリ内に保持されてもよい。完全なデジタル画像は（自動的に、またはリクエストを受けて）破棄されてもよい。同様に、識別されるべき人物が含まれるシーンを捉えるデジタル画像も、デジタル画像の適用によって生成された特徴／アクティベーション／出力が生成された後に破棄されてもよい。したがって、人物を識別しようと試みるとき、それぞれのデジタル画像に関連付けられた特徴のみを保持し、比較することができる。これにより、自身の画像が保持されないという一部の人々の懸念を軽減することができる。

［００７７］図９は、例示的なコンピュータシステム９１０のブロック図である。コンピュータシステム９１０は、典型的には、バスサブシステム９１２を介して多数の周辺デバイスと通信する少なくとも１つのプロセッサ９１４を含む。本明細書で使用される「プロセッサ」との用語は、例えば、マイクロプロセッサ、ＦＰＧＡ、「ＧＰＵ（ｇｒａｐｈｉｃａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）」、ＡＳＩＣ、他の同様のデバイス、およびそれらの組み合わせなど、本明細書で説明される構成要素に帰する様々な機能を実行可能な様々なデバイスを包含するものと理解されたい。これらの周辺デバイスは、例えばメモリサブシステム９２５およびファイル記憶サブシステム９２６を含むデータ保持サブシステム９２４と、ユーザインターフェース出力デバイス９２０と、ユーザインターフェース入力デバイス９２２と、ネットワークインターフェースサブシステム９１６とを含み得る。入出力デバイスは、コンピュータシステム９１０とのユーザインタラクションを可能にする。ネットワークインターフェースサブシステム９１６は外部ネットワークへのインターフェースを提供し、他のコンピュータシステム内の対応するインターフェースデバイスに結合される。

［００７８］ユーザインターフェース入力デバイス９２２は、キーボードや、マウス、トラックボール、タッチパッド、またはグラフィックスタブレットなどのポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システムなどのオーディオ入力デバイス、マイクロフォン、および／または他のタイプの入力デバイスを含むことができる。一般に、「入力デバイス」という用語の使用は、情報をコンピュータシステム９１０または通信ネットワークに入力するためのあらゆる可能なタイプのデバイスおよび方法を含むものとする。

［００７９］ユーザインターフェース出力デバイス９２０は、ディスプレイサブシステム、プリンタ、ファックス機、またはオーディオ出力デバイスなどの非ビジュアルディスプレイを含むことができる。ディスプレイサブシステムは、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などのフラットパネルデバイス、投影デバイス、または視認可能な画像を作成するための何らかの他の機構を含み得る。ディスプレイサブシステムはまた、例えばオーディオ出力デバイスを介して、非ビジュアルディスプレイを提供してもよい。一般に、「出力デバイス」との用語の使用は、コンピュータシステム９１０からユーザまたは別のマシンもしくはコンピュータシステムに情報を出力するためのあらゆる可能なタイプのデバイスおよび方法を含むものとする。

［００８０］データ保持システム９２４は、本明細書に記載の一部またはすべてのモジュールの機能を提供するプログラミングおよびデータ構造を格納する。例えば、データ保持システム９２４は、方法８００の選択された態様を実行するための、および／または患者識別モジュール２６０を含む患者モニタリングシステム２５２の１つまたは複数の構成要素を実装するためのロジックを含み得る。

［００８１］これらのソフトウェアモジュールは一般に、プロセッサ９１４単独で、または他のプロセッサとの組み合わせによって実行される。ストレージサブシステムで使用されるメモリ９２５は、プログラム実行中に命令およびデータを格納するためのメインランダムアクセスメモリ（ＲＡＭ）９３０、固定命令が格納されるリードオンリーメモリ（ＲＯＭ）９３２、および命令／データキャッシュなどの他のタイプのメモリ（追加で、または代替的に少なくとも１つのプロセッサ９１４と一体的であってもよい）を含む多数のメモリを含むことができる。ファイルストレージサブシステム９２６は、プログラムおよびデータファイルのための永続的ストレージを提供することができ、ハードディスクドライブ、フロッピーディスクドライブおよび付随するリムーバブルメディア、ＣＤ－ＲＯＭドライブ、光学式ドライブ、またはリムーバブルメディアカートリッジを含むことができる。特定の実装形態の機能を実装するモジュールは、ファイル記憶サブシステム９２６によってデータ保持システム９２４内に、またはプロセッサ９１４によってアクセス可能な他のマシン内に格納され得る。本明細書で使用される「非一時的コンピュータ可読媒体」という用語は、揮発性メモリ（例えば、ＤＲＡＭおよびＳＲＡＭ）および不揮発性メモリ（例えば、フラッシュメモリ、磁気ストレージ、および光学ストレージ）の両方を包含するが、一時的信号は除外されると理解されたい。

［００８２］バスサブシステム９１２は、コンピュータシステム９１０の様々な構成要素およびサブシステムが意図通りに互いに通信することを可能にするメカニズムを提供する。バスサブシステム９１２は単一のバスとして概略的に示されているが、代わりに複数のバスを使用するバスサブシステムであってもよい。

［００８３］コンピュータシステム９１０は、ワークステーション、サーバ、コンピューティングクラスター、ブレードサーバ、サーバファーム、または他の任意のデータ処理システムもしくはコンピューティングデバイスを含む様々なタイプのものであり得る。いくつかの実施形態では、コンピュータシステム９１０はクラウドコンピューティング環境内に実装されてもよい。コンピュータおよびネットワークの絶えず変化する性質のために、図９に示されるコンピュータシステム９１０に関する記述は、あくまでいくつかの実装形態を説明するための具体例に過ぎない。図９に示されるコンピュータシステムよりも多いまたは少ない構成要素を有するコンピュータシステム９１０の多くの他の構成が考えられる。

［００８４］いくつかの実施形態を本明細書で記載および図示してきたが、当業者は本明細書に記載される機能を実行するための、かつ／または結果を取得するための、かつ／または１つまたは複数の利点を得るための様々な他の手段および／または構造を容易に考え付くであろう。そのような変形形態および／または改変形態はいずれも本明細書に記載される実施形態の範囲に含まれると見なされる。より一般的には、当業者は、本明細書に記載されるいずれのパラメータ、寸法、材料、および構成も例として意図されたものであり、実際のパラメータ、寸法、材料、および／または構成は本開示の教示が利用される具体的な用途に依存することを容易に理解するであろう。当業者は、本明細書に記載される具体的実施形態の数多くの均等物を認識するか、または過度な実験を要することなく確認することができるのであろう。したがって、上記実施形態は例としてのみ提示され、添付の特許請求の範囲およびその均等物の範囲内で、本明細書および特許請求の範囲において具体的に記される態様とは異なる態様で実施形態を実施することができることを理解されたい。本開示の独創的実施形態は、本明細書に記載される個々の特徴、システム、物品、材料、キットおよび／または方法を対象とする。さらに、２つ以上のそのような特徴、システム、物品、材料、キット、および／または方法の任意の組み合わせも、そのような特徴、システム、物品、材料、キット、および／または方法が相互に相容れない場合を除き、本開示の範囲に含まれる。

［００８５］本明細書で定められ用いられる定義はいずれも、辞書による定義、参照により援用される文献中の定義、および／または定義された用語の通常の意味よりも優先されると理解されたい。

［００８６］本明細書および特許請求の範囲において使用される単数形は、特に明記しない限り、「少なくとも１つ」を意味すると理解されたい。

［００８７］本明細書および特許請求の範囲で使用される「および／または」という語句は、結合された要素の「いずれかまたは両方」、すなわち、場合によっては連言的に存在し、他の場合には選言的に存在する要素を意味すると理解されるべきである。「および／または」とともに列挙される複数の要素も同じように解釈されるべきであり、すなわち、結合された要素の「１つまたは複数」と解釈されるべきである。「および／または」の節によって具体的に特定されている要素以外の要素が任意で存在してもよく、具体的に特定されている要素に関連しているか否かは問わない。したがって、非限定的な例として、「備える」などの非限定的な文言と併せて使用される場合、「Ａおよび／またはＢ」への言及は、例えば一実施形態ではＡのみ（任意でＢ以外の要素を含む）、別の実施形態ではＢのみ（任意でＡ以外の要素を含む）、さらに別の実施形態ではＡおよびＢの両方（任意で他の要素を含む）を指し得る。

［００８８］本明細書および特許請求の範囲において使用される「または」は、上記で定義された「および／または」と同じ意味を有すると理解されるべきである。例えば、リスト内の項目を分けているとき、「または」または「および／または」は包括的であると解されるべきであり、すなわち、複数の要素または列挙された要素のうちの少なくとも１つ、２つ以上、および任意で追加の列挙されていない項目を包含すると解されるべきである。「１つのみ」または「ちょうど１つ」、あるいは特許請求の範囲において使用される「～からなる」などの明確に反する用語のみ、複数の要素または列挙された要素のうちのただ１つの要素を含むことを指す。一般に、本明細書において使用される「または」という用語は、「～のいずれか」、「～のうちの１つ」、「～のうちの１つのみ」、または「～のうちのちょうど１つ」などの排他的な用語が先行する場合に限り、排他的な選択肢（すなわち、「両方ではなくどちらか一方」）を指すものとして解されるべきである。特許請求の範囲において使用される「本質的に～からなる」との表現は、特許法の分野において使用される通常の意味を有するものとする。

［００８９］本明細書および特許請求の範囲において、１つまたは複数の要素のリストに言及する「少なくとも１つ」という語句は、列挙された要素のうちの任意の１つまたは複数の要素から選択される少なくとも１つの要素を意味し、必ずしも、リスト内に具体的に列挙されたすべての要素を少なくとも１つを含むわけではなく、また、リスト内の複数の要素のいかなる組合せも排除しない。この定義はまた、語句「少なくとも１つ」が言及する要素のリストにおいて具体的に特定されている要素以外の要素が任意で存在し得ることを許容し、具体的に特定されている要素に関連するか否かは問わない。したがって、非限定的な例として、「ＡおよびＢのうちの少なくとも１つ」（または同等に「ＡまたはＢのうちの少なくとも１つ」、または同等に「Ａおよび／またはＢのうちの少なくとも１つ」）は、１つの実施形態ではＡを少なくとも１つ（任意で２つ以上）含み、Ｂは存在しないこと（任意でＢ以外の要素を含む）を指し、別の実施形態ではＢを少なくとも１つ（任意で２つ以上）含み、Ａは存在しないこと（任意でＡ以外の要素を含む）を指し、さらに別の実施形態ではＡを少なくとも１つ（任意で２つ以上）含み、Ｂを少なくとも１つ（任意で２つ以上）含むこと（任意で他の要素を含む）を指し得る。

［００９０］また、特に明記しない限り、２つ以上のステップまたは動作を含む本明細書でクレームされるいずれの方法においても、方法のステップまたは動作の順番は、方法のステップまたは動作が列挙される順番に必ずしも限定されないと理解されるべきである。

［００９１］特許請求の範囲および本明細書において、「備える」、「含む」、「運ぶ」、「有する」、「保有する」、「保持する」、「～から構成される」等の移行句はすべて非限定であると、すなわち、移行句が言及する要素を含むがそれらに限定されないと理解されるべきである。米国特許庁特許審査手続便覧セクション２１１１．０３に記載されているように、「～からなる」および「本質的に～からなる」という移行句のみが、それぞれ限定的または準限定的な移行句である。特許協力条約（「ＰＣＴ」）の規則６．２（ｂ）に従って特許請求の範囲内で使用される特定の表現および参照符号は発明の範囲を制限しないことを理解されたい。

Claims (13)

1. コンピュータによって実装される方法であって、前記方法は、
   １つまたは複数のプロセッサが、少なくとも第１の被写体を含む環境を捉えたデジタル画像を取得するステップと、
   前記１つまたは複数のプロセッサが、前記第１の被写体を写す前記デジタル画像の第１の部分を複数のスーパーピクセルにセグメント化するステップと、
   前記複数のスーパーピクセルの各スーパーピクセルについて、
   前記１つまたは複数のプロセッサが、前記スーパーピクセルに意味ラベルを割り当てるステップと、
   前記１つまたは複数のプロセッサが、前記スーパーピクセルの特徴を抽出するステップと、
   前記１つまたは複数のプロセッサが、前記スーパーピクセルから抽出された前記特徴と、基準デジタル画像内で特定された基準スーパーピクセルから抽出された特徴との間の類似性の指標を決定するステップであって、前記基準スーパーピクセルは、前記スーパーピクセルに割り当てられた前記意味ラベルと合致する基準意味ラベルを有する、ステップと、
   前記１つまたは複数のプロセッサが、前記複数のスーパーピクセルに関連付けられた複数の前記類似性の指標に基づいて、前記第１の被写体が前記基準デジタル画像内に写っていることを決定するステップと、を含み、
   前記複数のスーパーピクセルのうちの少なくとも１つに、人間の胴体の上に着用される衣類に関連付けられた意味ラベルが割り当てられ、
   前記方法はさらに、前記１つまたは複数のプロセッサが、前記複数のスーパーピクセルに関連付けられた前記類似性の指標のうちの１つまたは複数に基づいて、前記基準デジタル画像の取得時と前記デジタル画像の取得時との間の時間間隔中に、前記第１の被写体が前記第１の被写体の胴体の上に着ていた衣類を着替えた蓋然性を決定するステップを含む、コンピュータによって実装される方法。
2. 前記デジタル画像は、前記第１の被写体を含む複数の被写体を含むシーンを捉えており、前記方法はさらに、前記デジタル画像を複数の部分にセグメント化するステップを含み、前記複数の部分の各々は前記複数の被写体のうちの異なる被写体を写す、請求項１に記載のコンピュータによって実装される方法。
3. 前記デジタル画像に含まれる前記複数の被写体をマスクへとインスタンスセグメンテーションすることによって、前記デジタル画像は前記複数の部分にセグメント化される、請求項２に記載のコンピュータによって実装される方法。
4. 前記マスクを複数の別々のサブマスクに分離するために前記マスクのカットが使用され、各サブマスクは前記複数の被写体のうちの個々の被写体に対応する、請求項３に記載のコンピュータによって実装される方法。
5. 前記デジタル画像は、姿勢推定を使用して前記複数の部分にセグメント化される、請求項２に記載のコンピュータによって実装される方法。
6. 前記複数のスーパーピクセルのうちの少なくとも１つに、人間の脚に着用される衣類に関連付けられた意味ラベルが割り当てられる、請求項１に記載のコンピュータによって実装される方法。
7. 前記複数のスーパーピクセルのうちの少なくとも１つに、人間の髪に関連付けられた意味ラベルが割り当てられる、請求項１に記載のコンピュータによって実装される方法。
8. 前記複数のスーパーピクセルのうちの少なくとも１つに、人間の顔に関連付けられた意味ラベルが割り当てられる、請求項１に記載のコンピュータによって実装される方法。
9. コンピュータによって実装される方法であって、前記方法は、
   １つまたは複数のプロセッサが、少なくとも第１の被写体を含む環境を捉えたデジタル画像を取得するステップと、
   前記１つまたは複数のプロセッサが、前記第１の被写体を写す前記デジタル画像の第１の部分を複数のスーパーピクセルにセグメント化するステップと、
   前記複数のスーパーピクセルの各スーパーピクセルについて、
   前記１つまたは複数のプロセッサが、前記スーパーピクセルに意味ラベルを割り当てるステップと、
   前記１つまたは複数のプロセッサが、前記スーパーピクセルの特徴を抽出するステップと、
   前記１つまたは複数のプロセッサが、前記スーパーピクセルから抽出された前記特徴と、基準デジタル画像内で特定された基準スーパーピクセルから抽出された特徴との間の類似性の指標を決定するステップであって、前記基準スーパーピクセルは、前記スーパーピクセルに割り当てられた前記意味ラベルと合致する基準意味ラベルを有する、ステップと、
   前記１つまたは複数のプロセッサが、前記複数のスーパーピクセルに関連付けられた複数の前記類似性の指標に基づいて、前記第１の被写体が前記基準デジタル画像内に写っていることを決定するステップと、を含み、
   前記複数のスーパーピクセルのうちの少なくとも１つに、人間の胴体の上に着用される衣類に関連付けられた意味ラベルが割り当てられ、
   前記方法はさらに、前記１つまたは複数のプロセッサが、前記複数のスーパーピクセルに関連付けられた前記類似性の指標に基づいて、前記第１の被写体の外観が、前記基準デジタル画像の取得時と前記デジタル画像の取得時との間の時間間隔中に変更されたことの第１の蓋然性、および、前記第１の被写体が前記環境から去ったことの第２の蓋然性を決定するステップを含む、コンピュータによって実装される方法。
10. 前記環境は、病院待合室、ジム、または空港を含む、請求項１に記載のコンピュータによって実装される方法。
11. 少なくとも第１の被写体を含む環境を捉えたデジタル画像を取得し、
    前記第１の被写体を写す前記デジタル画像の第１の部分を複数のスーパーピクセルにセグメント化するシステムであって、
    前記システムはさらに、前記複数のスーパーピクセルの各スーパーピクセルについて、
    前記スーパーピクセルに意味ラベルを割り当て、
    前記スーパーピクセルの特徴を抽出し、
    前記スーパーピクセルから抽出された前記特徴と、基準デジタル画像内で特定された基準スーパーピクセルから抽出された特徴との間の類似性の指標を決定し、ここで、前記基準スーパーピクセルは、前記スーパーピクセルに割り当てられた前記意味ラベルと合致する基準意味ラベルを有し、
    前記システムはさらに、前記複数のスーパーピクセルに関連付けられた複数の前記類似性の指標に基づいて、前記第１の被写体が前記基準デジタル画像内に写っていることを決定し、
    前記複数のスーパーピクセルのうちの少なくとも１つに、人間の胴体の上に着用される衣類に関連付けられた意味ラベルが割り当てられ、
    前記システムはさらに、前記複数のスーパーピクセルに関連付けられた前記類似性の指標のうちの１つまたは複数に基づいて、前記基準デジタル画像の取得時と前記デジタル画像の取得時との間の時間間隔中に、前記第１の被写体が前記第１の被写体の胴体の上に着ていた衣類を着替えた蓋然性を決定する、システム。
12. 前記デジタル画像は、前記第１の被写体を含む複数の被写体を含むシーンを捉え、前記システムはさらに、前記デジタル画像を複数の部分にセグメント化する命令を含み、前記複数の部分の各々は前記複数の被写体のうちの異なる被写体を写す、請求項１１に記載のシステム。
13. 命令を含む少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令が１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサは、
    少なくとも第１の被写体を含む環境を捉えるデジタル画像を取得するステップと、
    前記第１の被写体を写す前記デジタル画像の第１の部分を複数のスーパーピクセルにセグメント化するステップと、
    前記複数のスーパーピクセルの各スーパーピクセルについて、
    前記スーパーピクセルに意味ラベルを割り当てるステップと、
    前記スーパーピクセルの特徴を抽出するステップと、前記スーパーピクセルから抽出された前記特徴と、
    基準デジタル画像内で特定された基準スーパーピクセルから抽出された特徴との間の類似性の指標を決定するステップであって、前記基準スーパーピクセルは、前記スーパーピクセルに割り当てられた前記意味ラベルと合致する基準意味ラベルを有する、ステップと、
    前記複数のスーパーピクセルに関連付けられた複数の前記類似性の指標に基づいて、前記第１の被写体が前記基準デジタル画像内に写っていることを決定するステップと、を実行し、
    前記複数のスーパーピクセルのうちの少なくとも１つに、人間の胴体の上に着用される衣類に関連付けられた意味ラベルが割り当てられ、
    前記１つまたは複数のプロセッサは、さらに、前記複数のスーパーピクセルに関連付けられた前記類似性の指標のうちの１つまたは複数に基づいて、前記基準デジタル画像の取得時と前記デジタル画像の取得時との間の時間間隔中に、前記第１の被写体が前記第１の被写体の胴体の上に着ていた衣類を着替えた蓋然性を決定するステップを実行する、少なくとも１つの非一時的コンピュータ可読媒体。

Images