JP7107932B2 - 患者識別システムおよび方法 - Google Patents

患者識別システムおよび方法 Download PDF

Info

Publication number
JP7107932B2
JP7107932B2 JP2019528481A JP2019528481A JP7107932B2 JP 7107932 B2 JP7107932 B2 JP 7107932B2 JP 2019528481 A JP2019528481 A JP 2019528481A JP 2019528481 A JP2019528481 A JP 2019528481A JP 7107932 B2 JP7107932 B2 JP 7107932B2
Authority
JP
Japan
Prior art keywords
subject
patient
digital images
area
detected face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528481A
Other languages
English (en)
Other versions
JP2020502642A (ja
Inventor
ワン,ハイボー
ゾン,コルネリス コンラデュス アドリアニュス マリア ファン
パーマー ロード,ウィリアム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020502642A publication Critical patent/JP2020502642A/ja
Application granted granted Critical
Publication of JP7107932B2 publication Critical patent/JP7107932B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/02Access control comprising means for the enrolment of users
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本開示は概括的にはデジタル画像(デジタル画像のストリームを含む)において人を識別することに向けられているが、それだけではない。より詳細には、本明細書に開示されるさまざまな方法および装置は、デジタル画像(またはそのストリーム)中の人々を識別して、それらの人々が病院の待合室などのエリアにおいて位置特定されることができるようにすることに関するが、それだけではない。
人を含むシーンを捕捉するデジタル画像に基づいて、人(または「被写体」)を自動的に識別することが望ましいことがありうる多くのシナリオがある。たとえば、患者が病院を訪れるとき、患者は典型的には登録され、トリアージされ、そして患者を検査および/または治療するために医師のような病院資源が利用可能になるのを待つ待合室のようなエリアに送られる。個々の患者を自動的に識別できることは、医療資源の割り当てを待つ間、患者の状態(たとえば悪化があるかどうか)をモニタリングし続けることに役立ちうる。また、患者が診察を受けずに去った(LWBS: left without being seen)かどうか/診察を受けずに去ったときを判定するためにも役立ちうる。デジタル画像に基づいて人々を自動的に識別することは、空港、駅、国境検問所、ジムおよびフィットネスセンター、さまざまなビジネス等の多様な他の状況においても役に立ちうる。
いくつかの状況では、複数の被写体を含むデジタル画像において個々の被写体を識別することが望まれることがありうる。たとえば、待合室でカメラによって捕捉されたデジタル画像は、待っている患者のほかに、患者と一緒に待っていることがありうる友人、親戚など他の人々を描くことが多い。顔検出技術は、デジタル画像内のすべての顔を検出しうるが、どの顔が患者に属し、どの顔がそれ以外に属しているかは明らかでないことがある。さらに、待合室などのモニタリングされるエリアにおける被写体は、カメラを見てくれるとは考えにくい。その代わりに、電話や雑誌、お互いなどを見ていることがありうる。このように、描かれた顔が検出されるときであっても、その生の状態で描かれたままの検出された顔は、被写体を識別するのに理想的でないことがある。加えて、エリアにおける光の条件は、時間を通じて(たとえば、日中と夜間とで)および/または物理的空間を通じて変化しうる。
本開示は、取得されたデジタル画像において描かれている人々を自動的に識別するための方法、システムおよび装置に向けられる。一つの限定しない例として、複数のトリアージされた患者が、救急医療医師が診察できるまで待合室で待つことがある。患者は患者モニタリング待ち行列(単に「患者待ち行列」とも称される)に含められてもよく、この待ち行列は、たとえば、たとえば、トリアージ看護師によって患者から取得/収集された情報に基づいて決定される各患者に関連付けられた緊急度の指標(本稿では「患者緊急度指標(patient acuity measure)」と称される)ならびに患者待ち時間、患者の在室などの他のデータ・ポイントに基づいて順序付けまたはランク付けされる。待合室に取り付けられた一つまたは複数の「バイタルサイン取得カメラ」が、各患者からの一つまたは複数の更新されたバイタルサインおよび/または生理パラメータの非接触および/または邪魔にならない収集を周期的に実施するように構成されてもよい。これらの更新されたバイタルサインおよび/または生理パラメータは、温度、脈拍数、酸素飽和度(「SO2」)、呼吸数、姿勢、発汗などを含みうるが、これらに限定されない。
バイタルサイン取得カメラ(単数または複数)が更新されたバイタルサインを取得すべき特定の患者を識別するために、本明細書に記載される技術が、いわゆる「被写体参照テンプレート」(たとえば、被写体の顔の多様な異なるビューを描写するデジタル画像)を、たとえば比較的広い視野(「FOV」)から一つまたは複数のバイタルサイン取得カメラによって取得された一つまたは複数のデジタル画像において捕捉されたシーンに含まれる人と照合するために用いられてもよい。より一般には、本明細書に記載される技術は、デジタル画像(たとえば、単一の画像および/またはビデオフィードのようなデジタル画像のストリーム)において描かれた被写体を識別するために、さまざまな状況において実施されうる。これはたとえば、モニタリングされる各被写体に関連付けられた被写体参照テンプレートを収集し、後にそれらの被写体参照テンプレートを使って、その後に捕捉されたデジタル画像においてその被写体を識別することによる。
一般に、ある側面において、方法は、少なくとも第一の被写体〔サブジェクト〕を捕捉する複数の受け入れデジタル画像を取得するステップと;前記複数の受け入れデジタル画像から、第一の被写体の顔の複数の異なるビューを描く受け入れデジタル画像の部分集合を選択するステップと;選択された受け入れデジタル画像の部分集合に基づいて、第一の諸被写体参照テンプレートを生成するステップであって、前記第一の被写体参照テンプレートは、第一の被写体に関連する情報と関連付けて被写体データベース〔サブジェクト・データベース〕に記憶され、被写体データベースは、複数の被写体に関連した被写体参照テンプレートを記憶する、ステップと;エリア内で識別するために第二の被写体を選択するステップと;被写体参照データベースから第二の被写体に関連した第二の諸被写体参照テンプレートを取得するステップと;前記エリアを描写する一つまたは複数のデジタル画像を取得するステップと;前記エリアにおける一または複数の被写体の顔を描いている、前記一つまたは複数のデジタル画像の一つまたは複数の部分を、一つまたは複数の検出された顔画像として検出するステップと;検出された一つまたは複数の検出された顔の画像のうち所与の検出された顔画像を、第二の諸被写体参照テンプレートと比較するステップと;前記比較に基づいて、前記エリアを捕捉する前記一つまたは複数のデジタル画像における第二の被写体を識別するステップとを含む。
さまざまな実施形態において、前記エリアは待合室を含んでもよく、受け入れ画像は、登録またはトリアージ・エリアを捕捉するよう構成された第一のカメラを使って取得されてもよく、前記エリアを描写するデジタル画像は、待合室を捕捉するよう構成された第二のカメラを使って取得されてもよい。さまざまな実施形態において、前記比較することは、トレーニングされた機械学習モデルを通じて入力として前記所与の検出された顔画像を適用して、前記所与の検出された顔画像と第二の被写体との間の類似性の指標を示す出力を生成することを含んでいてもよく、機械学習モデルは、少なくとも部分的に第二の諸被写体参照テンプレートに基づいてトレーニングされる。さまざまな実施形態において、トレーニングされた機械学習モデルは、線形判別分析モデルの形態を取ってもよい。さまざまな実施形態において、本方法は、新たな被写体が被写体データベースに追加されるまたは既存の被写体が被写体データベースから除去されることに応答して、機械学習モデルを再トレーニングすることをさらに含んでいてもよい。さまざまな実施形態では、トレーニングされた機械学習モデルは、前記複数の被写体に関連する被写体参照テンプレートに基づいてトレーニングされてもよい。
さまざまな実施形態において、前記部分集合の受け入れデジタル画像の一つまたは複数は、一つまたは複数の他の受け入れデジタル画像と十分に異なっていることに基づいて選択されてもよい。さまざまな実施形態において、本方法は、各検出された顔画像が顔の正面ビューを描写するよう、前記一つまたは複数の顔画像を正規化することをさらに含んでいてもよい。さまざまな実施形態において、正規化は、幾何学的な歪めを含んでいてもよい。
上述の概念および下記でより詳細に論じられる追加的な概念のあらゆる組み合わせ(かかる概念が相互に矛盾しないことを条件とする)が、本稿で開示される主題の一部であると考えられることを理解しておくべきである。特に、本開示の末尾に現われる特許請求される主題のあらゆる組み合わせは、本稿に開示された主題の一部であると考えられる。また、本稿で明示的に用いられ、参照によって組み込まれる何らかの開示にも現われることがありうる用語は、本稿に開示される特定の概念と最も整合する意味を与えられるべきであることも理解しておくべきである。
図面において、同様の参照符号は一般に異なる図面を通じて同じ部分を指す。また、図面は、必ずしも同縮尺ではなく、一般に、開示の原理を例解することに重点が置かれている。
さまざまな実施形態による、開示された技術を使って、デジタル画像において識別された患者をモニタリングするための一般的なプロセス・フローを概略的に示す。
さまざまな実施例による、本開示のさまざまな構成要素が本開示の選択された諸側面を実装しうる例示的な環境を示す。
さまざまな実施形態による、開示された技術が実施されうる例示的シナリオを示す。
本開示のさまざまな側面を実行するための例示的な構成要素および動作を示す。
さまざまな実施形態による、被写体参照テンプレートを生成するために、受け入れデジタル画像からどのようにして被写体参照テンプレートが選択されうるかの例を示す。
さまざまな実施形態による、カメラの視野に入るおよび/または視野から去る被写体がどのように検出されうるかの例を示す。
さまざまな実施形態による、検出された顔画像がどのようにして、たとえば正面を向くように、正規化されうるかの例を示す。
さまざまな実施形態による、被写体参照テンプレートが受け入れデジタル画像からどのように選択されうるかの例を、図5よりも詳細に示す。
さまざまな実施形態による、ポーズ適応顔画像マッチングの一例を示す。
さまざまな実施形態による、本開示の選択された諸側面を実行するための例示的な方法を示す。
例示的なコンピュータ・システムの構成要素を示す。
図1は、開示される技法を用いて患者が概括的にどのようにモニタリングされうるかを概略的に示している。具体的には、待合室より前のエリアにおいて生起しうる動作およびアクションが描かれている。待合室より前のエリアは、待合室より前のエリア(単数または複数)102などであり、受付および/または登録および/またはトリアージ・ステーションもしくはブースを含みうる。さらに、待合室104において生起しうる動作およびアクションが描かれている。図1のシーケンスは限定することは意図されておらず、他のシーケンスが可能であることを理解しておくべきである。
ブロック106において、新規患者が、たとえば、受付デスク(図示せず)でチェックインした後、待合室前エリア102にはいるおよび/または接近することができる。ブロック108では、新規患者が登録されてもよい。登録はたとえば、患者の氏名、年齢、性別、保険情報および訪問理由などの患者についての情報を収集することを含んでいてもよい。典型的には、この情報は、受付係または登録係のような医療人員によって手動でコンピュータに入力されてもよいが、それだけではない。いくつかの実施形態では、患者の一つまたは複数の参照デジタル画像が、たとえば、トリアージ看護師によって操作されるコンピューティング装置と一体のカメラ、スタンドアローンのカメラおよび/またはバイタルサイン取得カメラによって取得されてもよい(その場合、少なくともいくつかのバイタルサインは、登録時に任意的に取得されてもよい)。のちにより詳細に述べるように、いくつかの実施形態では、ブロック108における登録の間にカメラによって取得されたデジタル画像は、「受け入れデジタル画像(intake digital image)」と称されてもよい。これらの受け入れデジタル画像の部分集合(場合によっては、これらの画像のうちの、たとえば顔を描いている選択部分)が、「被写体参照テンプレート」として選択的に保持されてもよく、それが後に、待合室104のようなエリアにいる患者(またはより一般には「被写体(subject)」)を識別するために使われることができる。
多くの事例において、トリアージ看護師はさらに、さまざまな医療器具を用いてブロック110でさまざまな初期バイタルサインおよび/または生理パラメータを取得しうる。これらの初期のバイタルサインおよび/または生理パラメータは、血圧、脈拍、グルコースレベル、SpO2、フォトプレチスモグラム(「PPG」)、呼吸数(たとえば呼吸のレート)、温度、皮膚の色などを含みうるが、これらに限定されない。図1には描かれていないが、いくつかの実施形態では、患者の病歴の取得/更新、患者のアレルギーの判別、患者の医薬使用の判別など、トリアージにおいて他の情報も収集されてもよい。いくつかの実施形態では、患者は、患者の疾患の重症度をランク付けするために使われる指標となりえ、場合によっては、救急治療室資源の予期される必要性を示しうる、いわゆる「患者緊急度指標(patient acuity measure)」を割り当てられてもよい。患者緊急度指標を決定および/または割り当てするためには、いくつもある一般に使われているインジケーターおよび/または臨床決定支援(「CDS」)アルゴリズムが使用されうる。それには、緊急重症度指数(「ESI」)、台湾トリアージシステム(「TTS」)、カナダ・トリアージ・アンド・アキュイティ・スケール(「CTAS」)などを含まれるが、これらに限定されない。たとえば、いくつかの実施形態では、患者のバイタルサインは、システム・データベースに記憶されている、あらかじめ定義されたバイタルサイン閾値、または所与の患者年齢、性別、体重などに典型的な公表されているかまたは既知のバイタルサイン値と比較されて、患者の初期患者緊急度指標および/または患者待ち行列における患者の初期位置を決定してもよい。いくつかの実施形態では、患者についてのさまざまな生理的および他の情報がトレーニングされたモデル(たとえば回帰モデル、ニューラルネットワーク、深層学習ネットワークなど)、症例に基づく推論アルゴリズム、または一つまたは複数の緊急度指標を導出するための他の臨床推論アルゴリズムを通じて入力として適用されてもよい。いくつかの実施形態では、緊急度指標を導出するために使用される情報は、バイタルまたはバイタルサイン取得カメラによって捕捉されうる他の情報を含んでいてもよく、または完全にそれらに限定されていてもよい。いくつかの実施形態では、緊急度指標を導出するために使用される情報は、代替的または追加的に、患者の以前の電子医療記録(「EMR」)からの情報、トリアージ時に患者から取得された情報、患者によって携行されるウェアラブル装置もしくは他のセンサーからの情報、待合室の他の患者または人についての情報(たとえば、室内の他の人のバイタル)、家族メンバーまたは患者に関連する他の人についての情報(たとえば、家族メンバーのEMR)などの情報を含んでいてもよい。
ひとたび患者が登録および/またはトリアージされると、ブロック112において、患者は待合室104に送られてもよい。多くのシナリオにおいて、図1の動作は少し異なる順序で生起してもよい。たとえば、場合によっては、患者はまず登録されて、次いでトリアージされることができるようになるまで待合室に行ってもよく、次いで、トリアージ後の何らかの時点で(すぐにまたは待合室に送り返された後に)医者のところに送られてもよい。緊急状況のようないくつかの状況では(たとえば災害の間)、患者はまっすぐトリアージに行って、次いで医師のところに行ってもよく、後で、患者が落ち着いたときにはじめて登録されてもよい。
ブロック114では、たとえば、一つまたは複数のカメラ、センサーまたは医療人員からの入力を用いて、患者が待合室を離れたことが判別されてもよい。ブロック114は、現在待合室内にいる各人物をスキャンし(たとえば、後述するブロック120の実行のように、ひとたび患者がバイタルが捕捉されるべき患者の待ち行列の先頭になったら該患者を位置特定しようとするシーク機能の一部として、または後述するブロック118および120を含むループの多重実行のように、バイタルを捕捉するために室内の各人物を通じて巡回する)、患者が位置特定されなかったことを判別することを含んでいてもよい。いくつかの実施形態では、システムは、一時的な不在(たとえばトイレに行くまたは臨床スタッフと話す)を考慮に入れるために、患者が待合室を離れたとみなされる前に、その患者がみつからない事例の所定回数に達するまたはその患者がみつからない所定の長さの時間が経過するまで待ってもよい。たとえば、患者は、医師の診察を受ける番なので、ER本体に連れて行かれたことがありうる。あるいは待っている間に患者の状態が改善したため患者が病院を去ったことがありうる。あるいは、患者がしびれをきらして、他所でケアを求めるために去ったことがありうる。理由がどうあれ、ひとたび患者が少なくとも閾値時間にわたって待合室を離れたことが判別されると、ブロック116において、患者は、診察を受けずに去ったと見なされてもよく、たとえば登録された患者が入力される待ち行列から除去することによって、システムから解放されてもよい。
ブロック118では、待合室104内の患者が、モニタリングのために選択されてもよい。たとえば、いくつかの実施形態では、ブロック108~110で得られた登録情報を記憶しているデータベース(たとえば図4の被写体参照データベース412)が検索されて、最も高い患者緊急度指標をもつ患者または最近モニタリングされていなかった最も高い緊急度指標をもつ患者を選択してもよい。最近というのは、全患者について設定されているまたは緊急度指標に基づいて設定される(たとえば負の相関をもつ)時間閾値によって判別されうる。他の実施形態では、待合室内の複数の患者に関連する登録情報が、たとえば、待ち時間、待合室における患者の存在(たとえば、みつからない患者は、繰り返し不在であるようなら解放されるべきかどうかを判定するために、より頻繁に、モニタリングするために選択されてもよい)などといった他の指標に加えてまたはかかる他の指標の代わりに、それぞれの患者緊急度指標によって、患者モニタリング待ち行列においてランク付けされてもよい。さらに他の実施形態では、患者緊急度指標は、患者モニタリング待ち行列をランク付けするときには考慮されなくてもよく、代わりに、患者の待ち時間、患者の存在等の事情のみが考慮されてもよい。
しかしながら、そのような患者モニタリング待ち行列はランク付けされ、いくつかの実施形態では、待ち行列における最初の患者が、次にモニタリングされるべき患者として選択されてもよい。患者モニタリング待ち行列が、患者緊急度指標によって順序付けされた物理的メモリ位置のシーケンスにおいて格納されることは要求されない(可能ではあるが)。むしろ、いくつかの実施形態では、ランク付けされた患者モニタリング待ち行列は、単に、各患者に関連付けられたランクまたは優先度レベル値を含むのでもよい。換言すれば、本稿に記載される「患者モニタリング待ち行列」は、必ずしもメモリ位置の連続するシーケンスではなく、患者緊急度指標、待ち時間などに基づいて論理的にランク付けされる「論理的」待ち行列のことであってもよい。ブロック118において、患者は、患者モニタリング待ち行列におけるそれぞれのランク付けの順で、モニタリングのために選択されてもよい。
ブロック120において、ブロック118で選択された患者は待合室104において位置特定されてもよい。さまざまな実施形態において、待合室104の中または近くに配備された一つまたは複数のバイタルサイン取得カメラ(図1には描かれていない;図2および図3参照)のような一つまたは複数のカメラが、待合室104内の患者の一つまたは複数のデジタル画像を取得するよう動作(たとえばパン、チルト、ズームなど)させられてもよい。のちにより詳細に述べるように、それらの取得されたデジタル画像は、ブロック108における登録の間に捕捉された一つまたは複数の参照患者画像(本稿ではしばしば「被写体参照テンプレート」と称される)と比較されてもよい。
ブロック122では、待合室104の中または近くに取り付けられるか、または他の仕方で配備された一つまたは複数のバイタルサイン取得カメラが、ブロック118において選択され、ブロック120において位置特定された患者からの一つまたは複数の更新されたバイタルサインおよび/または生理パラメータの邪魔にならない(unobtrusive)(たとえば非接触の)取得を実行するように動作させられてもよい。バイタルサイン取得カメラは、血圧、脈拍数(または心拍数)、皮膚の色、呼吸数、SpO2、温度、姿勢、発汗レベルなどを含むがこれらに限定されない、患者からの多様な異なるバイタルサインおよび/または生理パラメータを(患者に物理的に接触することなく)取得するように構成されてもよい。いくつかの実施形態では、バイタルサイン取得カメラは、患者からバイタルサインを取得するおよび/または生理的情報を抽出するためにいわゆる「非接触法」を実行するよう備えがされていてもよく、医療画像装置として使われてもよい。そのようなカメラの限定しない例は、特許文献1~7に記載されている。これらの文献はあらゆる目的について参照によってここに組み込まれる。
米国特許出願公開第20140192177号 米国特許出願公開第20140139656号 米国特許出願公開第20140148663号 米国特許出願公開第20140253709号 米国特許出願公開第20140235976号 米国特許出願公開第20140275880号 米国特許第9125606号
ブロック124では、たとえば図2(後述)に描かれた一つまたは複数のコンポーネントによって、患者の状態が変化したかどうかが、ブロック122で取得された更新されたバイタルサイン(単数または複数)および/または生理パラメータと、以前に取得されたバイタルサインおよび/または生理パラメータ(たとえば、ブロック110で取得された初期バイタルサイン、またはバイタルサイン取得カメラによって取得された更新されたバイタルサイン/生理パラメータの前の反復)との比較に基づいて判定されてもよい。たとえば、患者の脈拍数、呼吸数、血圧、SpO2、PPG、体温などが、患者が待っている間に増加または減少したかどうかが判定されてもよい。答えがノーである場合、制御はブロック118に戻ってもよく、新たな患者(たとえば、次に高い患者緊急度指標をもつ患者)が選択されてもよく、制御はブロック120に戻ってもよい。しかしながら、ブロック124における答えがイエスである(すなわち、患者の状態が変化した)場合、制御はブロック126に渡されてもよい。いくつかの実施形態において、患者の状態は、(少なくとも部分的には)モニタリング順序を決定する目的のために使用される同じ緊急度指標によって表わされてもよい。
ブロック126では、ブロック124で検出された変化に基づいて医療アラートが正当化されるかどうかが(やはり図2の一つまたは複数のコンポーネントによって)判定されてもよい。たとえば、一つまたは複数のバイタルサインまたは患者緊急度指標の変化が一つまたは複数の閾値を満たすかどうか(たとえば、血圧がこの特定の患者にとって安全と考えられるレベルを超えて上昇したか?)が判定されてもよい。答えがイエスである場合、制御はブロック128に渡されてもよい。ブロック128では、たとえば、当番看護師または他の医療人員に対して、患者が悪化しつつあるというアラートが出力されてもよい。次いで、医療人員は患者をチェックして、医師の診察を受けるためにすぐEDに受け容れるなどの是正アクションが正当化されるかどうかを判断してもよい。いくつかの実施形態では、次いで制御はブロック118に渡されてもよい。しかしながら、ブロック126における答えがノーである場合、いくつかの実施形態では、制御はブロック118に戻ってもよい。
図2は、さまざまな実施形態に従って、開示された技法を実施するために使用されうる例示的コンポーネントを描いている。病院情報システム240は、病院、医師の診察室などに一般的に見られるタイプのものであってもよい。病院情報システム240は、一つまたは複数のコンピュータ・ネットワーク(図示せず)を介して接続されていてもいなくてもよい一つまたは複数のコンピューティング・システムを用いて実装されてもよい。病院情報システム240は、なかでも、登録モジュール242、トリアージ・モジュール244、解放モジュール246およびアラーム・モジュール248を含んでいてもよい。モジュール242~248または本稿に記載される他の任意のモジュールまたはエンジンのうちの一つまたは複数は、メモリに記憶された命令を実行する一つまたは複数のマイクロプロセッサを含む、ハードウェアおよびソフトウェアの任意の組み合わせを使用して実装されてもよい。たとえば、登録モジュール242は、プロセッサ上で実行される登録に関連して本稿に記載される機能を実装する登録命令を含んでいてもよく、一方、トリアージ・モジュール244は、同じプロセッサ上で実行されるトリアージに関連して本明細書に記載の機能を実装するトリアージ命令を含んでいてもよい。同様の基礎となるハードウェアおよびソフトウェアが、本稿に記載される他の「モジュール」を実施するために使われてもよい。
登録モジュール242は、たとえば、当番看護師からの手動入力として、新規患者の登録(registration)情報を受領するように構成されてもよい。これは、たとえば、患者の氏名、年齢、保険情報などを含みうる。トリアージ・モジュール244は、たとえば、当番看護師から手動入力として、またはネットワーク接続された医療設備から直接、上述のようなバイタルサインおよび/または他の生理データ、たとえば体重、身長、患者の来院理由などを受領するよう構成されてもよい。さまざまな実施形態において、トリアージ・モジュール244によって受信されるバイタルサインおよび/または患者緊急度指標(たとえば図2におけるESI)は、登録モジュール242によって受信される対応する患者情報と、たとえば病院情報システム240に関連する一つまたは複数のデータベース(図示せず)において、関連付けられてもよい。
アラーム・モジュール248は、患者の悪化などのさまざまなイベントを示す情報を受信し、応答してさまざまなアラーム(alarm)および/またはアラート(alert)を発するように構成されてもよい。これらのアラームおよび/またはアラートは、視覚的出力(たとえば、病院人員に見えるディスプレイ・スクリーン)、インターホン・アナウンス、テキスト・メッセージ、電子メール、オーディオ・アラート、触覚アラート、ページ、ポップアップ・ウインドー、フラッシュライトなどを含むが、これらに限定されない多様なモダリティーを使って出力されうる。病院情報システム240のモジュール242~248は、たとえば、一つまたはコンピュータ・ネットワーク(図示せず)を介して、病院情報システム・インターフェース250(図2の「H.I.S.インターフェース」)に動作可能に結合されてもよい。
病院情報システム・インターフェース250は、伝統的な病院情報システム240と、本開示の選択された諸側面をもって構成された患者モニタリング・システム252との間のインターフェースとして機能しうる。さまざまな実施形態において、病院情報システム・インターフェース250は、たとえば、患者モニタリング・システム252の他のモジュールに対して、患者についてのさまざまな情報を公開してもよい。該情報は、登録情報、患者緊急度指標(たとえばESI)、処方および/または投与された医薬、患者が解放されたかどうか、さまざまなアラーム/アラートなどである。後述するように、いくつかの実施形態では、これらの公開は、イベント公開・申し込み(event publish and subscribe)(「EPS」)モジュール270に提供されてもよく、次いでこのモジュールが、それらを選択的にデータベース272に格納し、および/またはそれらを患者モニタリング・システム252の他のモジュールに選択的に公開してもよい。いくつかの実施形態では、病院情報システム・インターフェース250は、追加的にまたは代替的に、他のモジュールによって提供される一つまたは複数のアラートまたは公開に申し込んでもよい。たとえば、病院情報システム・インターフェース250は、悪化検出モジュール268からのアラートに申し込んでもよい。それによりたとえば、病院情報システム・インターフェース250が、アラーム・モジュール248のような病院情報システム240の適切なコンポーネントに、患者が悪化しつつあることを通知してもよい。EPSは、システム・コンポーネントの間の通信のために使用できる多くの可能なプロトコルの一つにすぎず、限定することは意図されていない。
患者モニタリング・システム252は、患者が実際の医学的状態に適した仕方でサービスを受けることを確実にするために、待合室104のようなエリアにいる患者のモニタリングを容易にする多様なコンポーネントを含んでもよい。患者モニタリング・システム252は、たとえば、一つまたは複数のカメラ256とインターフェースをもつ患者捕捉モジュール254、患者待ち行列モジュール258、患者識別モジュール260、動的較正モジュール262、顔/胴体取得モジュール264、バイタルサイン測定モジュール266、悪化検出モジュール268、前述のEPSモジュール270および一つまたは複数のデータベース272、274を含みうる。上述のように、モジュール250、254および258~270のそれぞれは、ハードウェアおよびソフトウェアの任意の組み合わせを使って実装されてもよい。また、これらのモジュールは別々に描かれているが、これは限定したり、各モジュールが別々のハードウェアに実装されることを示唆したりすることを意図するものではない。たとえば、一つまたは複数のモジュールが組み合わされたり、および/または省略されたりしてもよく、一つまたは複数のモジュールが、一つまたは複数のコンピュータ・ネットワーク(図示せず)を介して動作可能に接続された一つまたは複数のコンピューティング・システム上に実装されてもよい。図2のさまざまなコンポーネントを接続するように描かれている線は、これらのコンポーネントにアクセス可能な通信チャネルを表わしていてもよい。これらの通信チャネルは、一つまたは複数のバス、イーサネット(登録商標)、Wi-Fi、Bluetooth(登録商標)、Z-Wave、ZigBee、セルラー通信などのような、いくつもあるネットワーキングまたは他のコンピュータ通信技術を用いて実装されうる。
患者モニタリング・システム252は、患者からある距離のところから、患者の一つまたは複数のバイタルサインおよび/または生理パラメータを取得するよう構成された一つまたは複数のバイタルサイン取得カメラ276をも含んでもよい。そのようなバイタルサイン取得カメラの例を上述した。さまざまな実施形態において、バイタルサイン取得カメラ276は、待合室104のようなエリアの種々の部分がそのFOV内に含まれるようにパン、チルトおよびズームするように動作可能なパン‐チルト‐ズーム(「PTZ」)カメラであってもよい。このようにして、モニタリングされるエリアをスキャンして、種々の患者を位置特定することが可能であり、それにより、更新されたバイタルサインおよび/または生理パラメータが、邪魔にならないように取得されうる。
患者捕捉モジュール254は、一つまたは複数のカメラ256から、患者の捕捉された画像データを担持する一つまたは複数の信号を受領してもよい。たとえば、いくつかの実施形態では、患者捕捉モジュール254は、カメラ256からビデオ・ストリームを受領してもよい。患者捕捉モジュール254は、患者が存在するときを検出するために、ビデオ・ストリームに対して画像処理(たとえば、顔検出、セグメンテーション、人間の形態を検出するための形状検出など)を実行してもよく、該検出に応答して患者の一つまたは複数の参照デジタル画像(たとえば後述する受け入れデジタル画像)を捕捉してもよい。いくつかの実施形態では、参照デジタル画像は、ビデオ・ストリームの個々のフレームよりも高い解像度で捕捉されてもよいが、これは必須ではない。いくつかの実施形態では、カメラ256は、ウェブカメラ、PTZカメラ(たとえば276)などといった、待合室前のエリア102の中または近くで配備されるスタンドアローンのカメラであってもよい。カメラ256によって捕捉された受け入れ画像の部分集合が、患者(より一般には「被写体」)に関連付けられた被写体参照テンプレートを生成するために使われてもよく、それが後に、モニタリングされるエリア内の患者を識別するために使用されてもよい。
患者待ち行列モジュール258は、たとえばデータベースにおいて、エリア内の患者がモニタリングされるべき順序の優先度待ち行列を確立および/または維持するよう構成されてもよい。さまざまな実施形態において、待ち行列は、さまざまなパラメータによって順序付けられてもよい。いくつかの実施形態において、待ち行列における患者は、患者緊急度指標の順に(すなわち、優先度によって)ランク付けされてもよい。いくつかの実施形態において、更新されたバイタルサインは、待合室104のようなモニタリングされるエリアで待っている患者から、待ち行列の順序で取得されてもよい。他の実施形態では、更新されたバイタルサインは、FIFOまたはラウンドロビン順に患者から取得されてもよい。他の実施形態では、更新されたバイタルサインは、バイタルサイン取得カメラ276にプログラムされた所定のスキャン軌跡に対応する順序で、諸患者から取得されてもよい(たとえば、椅子の各列を順にスキャンする)。
患者識別モジュール260は、患者捕捉モジュール254によって捕捉された被写体参照テンプレートとの関連で、バイタルサイン取得カメラ276(または邪魔にならないようにバイタルサインを取得するよう構成されていない別のカメラ)によって捕捉された一つまたは複数のデジタル画像を使って、モニタリングされているエリア(たとえば待合室104)における一または複数の患者を位置特定するよう、本開示の選択された諸側面をもって構成されてもよい。患者識別モジュール260は、患者(被写体)を識別し、位置特定するために、後述するさまざまな技法を使って、取得されたデジタル画像を解析してもよい。後述する図4~図10は、何らかのコンテキストにおいて、患者、あるいはより一般には被写体を認識/識別/位置特定することの一部として用いられうるさまざまな技法のさまざまな側面を例証する。
いくつかの実施形態において、患者識別モジュール260は、更新されたバイタルサインを得るもとになる特定の患者を求めて、モニタリングされるエリアを探索してもよい。たとえば、患者識別モジュール260は、患者待ち行列モジュール258によって選択された患者を求めて、モニタリングされるエリアを探索してもよい。患者待ち行列モジュール258によって選択された患者は、たとえば、待ち行列において、最も高い患者緊急度指標をもつ患者であってもよい。いくつかの実施形態において、患者識別モジュール260は、選択された患者が識別されるまで、バイタルサイン取得カメラ276に、モニタリングされているエリア(たとえば待合室104)をスキャンさせてもよい。
動的較正モジュール262は、バイタルサイン取得カメラ276の使用を追跡し、必要に応じてそれらを較正するよう構成されてもよい。たとえば、動的較正モジュール262は、バイタルサイン取得カメラ276が特定のPTZ位置を指すように命令されるときはいつでも、それが常に正確に同じ場所を指すことを確実にしうる。PTZカメラは、絶えず、または少なくとも頻繁に動いていてもよい。よって、その機械的コンポーネントは、摩耗を受けることがある。小さな機械的誤差/バイアスが累積し、その結果、バイタルサイン取得カメラ276が時間の経過とともに、所与のPTZコマンドに対して異なる仕方で応答をすることがありうる。動的較正モジュール262は、たとえば、ランドマーク(たとえば、壁上の小さなステッカーのような印)を用いて、バイタルサイン取得カメラ276が適切に応答するようにする補正機構をトレーニングしうる較正ルーチンを時折実行することによって、これを是正することができる。
ひとたび患者待ち行列モジュール258によって同定された患者が、患者識別モジュール260によって認識/位置特定されると、顔/胴体取得モジュール264は、その視野が患者の所望される部分を捕捉するように、一つまたは複数のバイタルサイン取得カメラ276をパン、チルトおよび/またはズームするように構成されてもよい。たとえば、いくつかの実施形態では、顔/胴体取得モジュール264は、患者の顔および/または胴体にフォーカスされるように、バイタルサイン取得カメラ276をパン、チルトまたはズームしてもよい。追加的または代替的に、顔/胴体取得モジュール264は、主として患者の顔を捕捉するために一つのバイタルサイン取得カメラ276をパン、チルト、またはズームし、主として患者の胴体を捕捉するために別のバイタルサイン取得カメラ276をパン、チルト、またはズームしてもよい。次いで、さまざまなバイタルサインおよび/または生理パラメータが取得されうる。たとえば、患者の脈拍数およびSpO2などのバイタルサインが、たとえば、バイタルサイン測定モジュール266によって、バイタルサイン取得カメラ276によって捕捉された患者の顔のビデオに対して画像処理を実行することによって、取得されてもよい。患者の呼吸数などといったバイタルサインおよび/または生理パラメータが、バイタルサイン取得カメラ276によって捕捉された患者の胴体のビデオに対して画像処理を実行することによって、たとえばバイタルサイン測定モジュール266によって、取得されてもよい。もちろん、顔および胴体は、バイタルサインを得るために検査されうる身体部分の二つの例にすぎず、限定することは意図されていない。
悪化検出モジュール268は、さまざまな信号および/またはデータを分析して、登録された患者(あるいはさらには登録されていない同伴者)の状態が悪化、改善および/または安定のままであるかどうかを判定するように構成されてもよい。いくつかの実施形態において、患者の状態は、少なくとも部分的には、モニタリングのための患者の順序を決定するための上述した同じ患者緊急度指標によって表わされてもよい。よって、悪化検出モジュール268は、本稿に記載される一つまたは複数のCDS、症例ベース推論もしくは他の臨床推論アルゴリズム、または、本稿に記載される緊急度指標以外の患者状態指標を評価するための他の臨床推論アルゴリズム(たとえばトレーニングされたロジスティック回帰モデルまたは他の機械学習モデル)を含んでいてもよい。いくつかの実施形態において、悪化検出モジュール268によって使用される患者緊急度または患者状態の他の指標を評価するためのアルゴリズムは、たとえば、選択された機械学習モジュールのための新しいトレーニングされた重み(たとえばシータ値)を書くことによって、またはプロセッサによる実行のための新しい命令を(たとえばJava(登録商標)アーカイブ、JAR、ファイルまたはコンパイルされたライブラリの形で)提供することによって、随時更新されてもよい。これらの信号は、たとえば、患者の初期バイタルサインおよび他の生理情報(たとえば、図1のブロック108~110で得られたもの)、バイタルサイン測定モジュール266によって得られた更新されたバイタルサイン、患者の初期の患者緊急度指標(たとえば登録の際に計算される)および/または患者の更新された患者緊急度指標(たとえばバイタルサイン測定モジュール266から受領される更新されたバイタルサインおよび/または生理パラメータに基づいて計算される)を含んでいてもよい。
これらのデータおよび/または信号を使ってなされた判定に基づいて、悪化検出モジュール268は、さまざまなアクションを行なうために、さまざまなアラートをさまざまな他のモジュールに送ってもよい。たとえば、悪化検出モジュール268は、たとえば、EPSモジュール270にアラートを送ることにより、アラートを公開してもよく、それにより、EPSモジュールは、病院情報システム240のアラーム・モジュール248のような申し込んでいるモジュールに対して該アラートを公開することができる。いくつかの実施形態では、そのようなアラートは、たとえば、患者名(またはより一般的には患者識別子)、写真、ライブ・ビデオ・ストリーム、待合室における患者の最後に検出された位置、ベースラインのバイタルサイン、一つまたは複数の更新されたバイタルサイン、および/または患者緊急度指標の指示を含んでいてもよい。アラートを受信すると、アラーム・モジュール248は、患者の悪化およびなかでも待合室で患者の最後に検出された位置について、医療人員に対してアラートまたはアラームを発してもよい。
EPSモジュール270は、図2のさまざまな他のコンポーネントによって発された(released)イベントを分配するよう構成された一般的な通信ハブであってもよい。いくつかの実施形態では、図2に描かれる他のモジュールの全部または少なくともいくつかは、そのモジュールからの結果/決定/計算/判定の何らかの形を示すイベントを生成しうる。これらのイベントは、EPSモジュール270に送られるか、または「公開される」(published)ことができる。図2に描かれる他のモジュールの全部または一部は、他の任意のモジュールから任意のイベントを受信することを選択する、またはかかるイベントに「申し込む」ことができる。EPSモジュール270は、イベントを受信すると、そのイベントを示すデータを、そのイベントに申し込んでいるすべてのモジュールに送ってもよい(たとえばそのイベントを転送する)。
いくつかの実施形態では、EPSモジュール270は、データベース272および/またはアーカイブ274(これは任意的であってもよい)のような一つまたは複数のデータベースと通信してもよい。いくつかの実施形態では、EPSモジュール270は、一つまたは複数のデータベース272および/または274に記憶された情報へのアクセスを提供する、および/または他のモジュールから受領された情報(たとえばアラート)をデータベース272および/または274に追加するために、任意のモジュールからリモート手続き呼出し(remote procedure call)(「RPC」)を受け入れてもよい。データベース272(これはいくつかの実施形態では被写体参照データベース412と同じであってもよい)は、図2の一つまたは複数の他のモジュールによって送られる/ブロードキャストされる/送信されるアラート、公開または他の通信に含まれる情報を記憶してもよい。いくつかの実施形態では、データベース272は、たとえば、患者に関連する被写体参照テンプレートおよび/または患者の初期バイタルサイン、更新されたバイタルサイン(バイタルサイン取得カメラ276によって取得される)および/または患者緊急度指標を記憶してもよい。任意的なアーカイブ274は、いくつかの実施形態では、同じまたは類似の情報をより長い期間にわたって記憶してもよい。
さまざまなハードウェア構成が、患者モニタリング・システム252を実装するために利用されうることは明白であろう。たとえば、いくつかの実施形態では、単一の装置が、システム252全体を実装してもよい(たとえば、単一のサーバーがカメラ276を動作させてバイタル取得機能260~266を実行し、悪化検出268および待ち行列管理258を含むバイタルサイン解析およびアラート機能を実行する)。他の実施形態では、複数の独立した装置がシステム252を形成してもよい。たとえば、第一の装置がバイタルサイン取得カメラ276を駆動し、機能260~266を実装してもよく、一方、別の装置(単数または複数)が残りの機能を実行してもよい。いくつかのそのような実施形態では、ある装置は待合室にローカルであってもよく、別の装置は遠隔であってもよい(たとえば、地理的に遠隔なクラウド・コンピューティング・アーキテクチャーにおける仮想マシンとして実装される)。いくつかの実施形態では、装置(たとえばプロセッサおよびメモリを含む)がバイタルサイン取得カメラ276自体の内部に配置されてもよく、よって、カメラ276は、単に単能周辺機器ではなくてもよく、バイタルサイン機能260~266を実行してもよい。いくつかのそのような実施形態では、別のサーバーは、さらなる処理のためにバイタルが返されることを要求するために、カメラ276に指示(たとえば、識別子、フル・レコード、または登録された顔画像)を提供してもよい。いくつかのそのような実施形態では、追加的な機能がカメラ276に搭載されてもよく、たとえば、悪化検出268(またはそのための前処理)および/または患者待ち行列258の管理がカメラ276上で実行されてもよい。いくつかの実施形態では、カメラ276が、HISインターフェース250またはEPS 270までも実装してもよい。さまざまな追加的な構成が明白であろう。
図3は、開示される技法が待合室304内の複数の患者378A~Cを識別するために実装されうる例示的シナリオを示す。この例では、三人の患者378A~Cは、医療人員380の診療を受けるために病院待合室304で待っている。二つのビデオ・カメラ376A、376Bが、待合室304の表面(たとえば天井、壁)に取り付けられている。二つのビデオ・カメラ376A、376Bは、待合室304内の患者378をモニタリングするために使用されてもよい。患者378A~Cはそれぞれ、予備的な患者状態分析に基づいてトリアージ医療人員(図示せず)により、患者緊急度指標を割り当てられていてもよい。患者378が診療する医師を待つ間、二つのビデオ・カメラ376A、376Bが、デジタル画像(単数または複数)を捕捉してもよい。その画像が、モニタリングするために選択された患者を識別するために本稿に記載される技法を使って解析される。その際、同じビデオ・カメラ(それらが邪魔にならないようにバイタルサインを取得するよう構成されているとして)または異なるビデオ・カメラが、上記のように患者378をモニタリングするために、たとえば患者の悪化を検出するために、動作させられてもよい。いくつかの実施形態では、患者に関連付けられた患者緊急度指標が、患者が悪化したことが患者モニタリング・システム(より具体的には、悪化検出モジュール268)によって検出されたことに応答して、医療人員によって更新されてもよい。さまざまな実施形態において、新たな患者が待合室304にはいるとき、新たなラウンドの患者モニタリングおよび優先順位付けが、たとえば患者モニタリング・システムによって実行されてもよい。患者待ち行列は、たとえば患者待ち行列モジュール258によって、新たな患者が待合室304にはいるたびに、自動的に更新されてもよい。追加的または代替的に、医療人員が、トリアージ後に新たに到着した患者を含めるよう、手動で患者待ち行列を更新してもよい。
本稿に記載される技法は、病院の待合室に限定されない。本稿に記載される技法が実装されてデジタル画像またはビデオにおける被写体を識別/位置特定する他の多くのシナリオがある。たとえば、開示された技法は、空港、アリーナ、国境検問所および他の公共の場所における群衆のセキュリティー・モニタリングのためにも使用されうる。そのようなシナリオでは、患者緊急度指標を決定するために患者をモニタリングするのではなく、被写体はリスク評価または他の事象後捜査のような他の目的のために識別されてもよい。本稿に記載される技法は、フィットネス環境(たとえば、ジム、ナーシングホーム)または他の監視シナリオ(たとえば、空港、国境検問所など)のようなシナリオで、デジタル画像に描写される個々の被写体の識別が実施されうる場合にも適用可能である。たとえば、空港では、ゲートで待っている被写体を、たとえば、ゲートで待っている被写体の画像を、チェックインで得られた被写体参照テンプレートと比較することによって、識別することができる。加えて、本稿に記載される技法を用いて、診察を受けずに去った患者を、患者の顔が見えることを必要とせずに、識別するために使用されてもよい。
図4は、比較的高いレベルで、本開示の選択された諸側面で構成されたコンポーネントの例と、それらのコンポーネント間の例示的な相互作用とを概略的に示している。さまざまな実施形態において、これらのコンポーネントのうちの一つまたは複数は、ハードウェアおよびソフトウェアの任意の組み合わせを用いて、たとえば図2の患者モニタリング・システム252の一部として実装されてもよい。たとえば、図4のコンポーネントは、被写体参照データベース412に患者などの被写体を登録するために、図1のブロック108において使用されてもよい。被写体の受け入れ情報(たとえば、年齢、性別、氏名、初期バイタルサインなど)とともに、複数のビュー(たとえば、異なる角度、異なる顔の表情、異なる照明条件、異なる頭部位置など)からの被写体の顔のデジタル画像を含む任意の数の「被写体参照テンプレート」が選択され、たとえば医療記録番号(medical record number)(「MRN」)によって被写体参照データベース412内の被写体と関連付けられてもよい。次いで、これらの被写体参照テンプレートは、たとえば、患者識別モジュール260によって、その視野において待合室を捕捉する別のカメラ(たとえば、バイタルサイン取得カメラ276、376)を用いて待合室などのエリアにおいて被写体を識別するために、後に使用されてもよい。ひとたび被写体が識別されると、被写体の位置は、医療人員による接触、バイタルサインの目立たない取得など、さまざまな目的のために使用されることができる。
右下から始めて、さまざまな実施形態に基づく、新たに登録された対象の受け入れ(たとえば、新しい患者を登録および/またはトリアージ)およびその被写体の被写体参照データベース412への追加のための動作を含む受け入れルーチン402が描かれている。第一のカメラ456は、本明細書中で「受け入れ」(intake)デジタル画像404と称されるもの(たとえば、個々の画像および/またはビデオ・ストリームのような画像のストリーム)の一つまたは複数を捕捉するよう構成されてもよい。図2のカメラ256に対応しうる第一のカメラ456は、場合によっては、受け入れエリア(たとえば登録および/またはトリアージ)に配置されたウェブカメラ、受け入れ人員(たとえばトリアージ看護師)によって操作されるコンピューティング装置と一体のカメラなど、さまざまな形態をとりうる。この画像捕捉は、ほとんどまたは全く人の介入なしで自動的に起こりうるので、受け入れ人員および被写体の両方に対して邪魔にならないものでありうる(ただし、これは、限定することを意図するものではない)。
ブロック406において、受け入れデジタル画像404は、たとえば、カメラ456(たとえば、図2の患者捕捉モジュール254)と動作可能に結合された一つまたは複数のコンピューティング・システムによって解析されて、受け入れエリア(たとえば、登録および/またはトリアージ)に現在位置する被写体の顔を描くデジタル画像404の一つまたは複数の部分を検出してもよい。図6は、被写体の顔を検出するための一つの例示的な技法を例証する。
ブロック408において、被写体の顔の複数の異なるビューを描写する受け入れデジタル画像の部分集合が、複数の受け入れデジタル画像404から選択されてもよい。選択された部分集合は、後で被写体を視覚的に識別/位置特定するために使用される被写体参照テンプレートを生成するために使用されてもよい。いくつかの実施形態では、被写体参照テンプレートを生成するために使用される受け入れデジタル画像の部分集合は、一つまたは複数の他の受け入れデジタル画像と十分に異なっていることに基づいて選択されてもよい。下記の図5および図8は、被写体参照テンプレートを生成するための受け入れ画像の部分集合を選択するための例示的な技法を例証する。
ブロック410において、生成された被写体参照テンプレートは、被写体に関連付けて、たとえば被写体参照データベース412に格納されてもよい。さまざまな実施形態において、生成された被写体参照テンプレートは、たとえば、前述のMRNにより、被写体に関連する情報に関連付けて被写体参照データベース412に格納されてもよい。より一般には、被写体参照データベース412は、医療処置を待っていることがありうる待合室104内の複数の登録患者などの、複数の被写体に関連する被写体参照テンプレートを格納してもよい。
右上に移ると、被写体(たとえば、患者)モニタリング・ルーチン414が描かれている。これは、さまざまな実施形態に基づく、特定の被写体(たとえば、患者)が、たとえば当番看護師などの医療人員によって、および/または自動的に(たとえば、被写体の患者緊急度指標に基づいて)どのように選択されうるか、ならびに、待合室などのエリアにおいて被写体を位置特定しようとシークする照会がどのように発行されうるかの例を例証する。考えている被写体は、これからは「照会される被写体」と称される。
ブロック416において、照会される被写体に関連付けられた諸被写体参照テンプレートが、たとえば、患者識別モジュール260によって、被写体参照データベース412から取り出されてもよい。一方、たとえば、図2の患者識別モジュール260によって実行されうる進行中の患者識別ルーチン418の一部として、前述のバイタルサイン取得カメラの形を取っていてもいなくてもよい別のカメラ476が、待合室104のような、照会される患者がいると思われるエリアを描くジタル画像420を取得してもよい。
ブロック422では、エリア内の一または複数の被写体の顔を描くデジタル画像420の一つまたは複数の部分が、本稿で「検出された顔画像」と称されるものとして、たとえば患者識別モジュール260によって検出されてもよい。さまざまな実施形態において、ブロック422の動作は、連続的に実行されてもよく、および/または患者モニタリング・ルーチン414からの被写体照会の受信によってトリガーされてもよい。ブロック406において適用されたのと同様の、顔検出のための技法がブロック422で適用されてもよく、下記でさらに詳細に述べる。
ブロック424において、ブロック422で検出された部分に描かれる顔を正規化するために、一つまたは複数の動作が実行されてもよい。たとえば、いくつかの実施形態では、幾何学的な歪めおよび/または他の類似の技法を用いて、検出された顔を正面ビューまたはほぼ正面ビューに正規化してもよい。下記の図7は、検出された顔を正規化するための一つの例示的な技法を例証する。このように、ブロック424の出力は、一連の正規化された検出された顔画像であってもよい。
いくつかの実施形態では、ブロック426において、正規化された検出された顔の「第一のパス(pass)」が実行されて、照会される被写体の予備的な一致を得ることができる。たとえば、いくつかの実装形態では、検出された顔画像のそれぞれが、トレーニングされた機械学習モデルを通じて入力として適用されてもよい。さまざまな実施形態において、機械学習モデルは、線形判別分析モデル、サポートベクトルマシン、ニューラルネットワークなどのさまざまな形をとりうる。さまざまな実施形態において、機械学習モデルは、被写体参照データベース412に現在格納されている被写体参照テンプレートを使用して、たとえばブロック419においてトレーニングされるおよび/または動的に再トレーニングされてもよい。さまざまな実施形態において、機械学習モデルを介して生成される出力は、それぞれの入力された検出された顔画像とそれぞれの被写体との間の類似性スコアを含んでいてもよく、あるいは検出された顔画像に最も類似した被写体を含んでいてもよい。所与の正規化された検出された顔画像について、(たとえば、何らかの事前設定された最小閾値を満たす)最も高い類似性スコアを生じる登録された被写体は、一致として識別されてもよい。たとえば、図4のブロック428において、照会される被写体が所与の検出顔画像において識別されるかどうかが判定されてもよい。答えがノーである(たとえば、最小閾値が満たされない)場合、制御はブロック424に戻ってもよく、次に検出される顔画像が正規化され、機械学習モデルを通じて入力として適用されてもよい。
機械学習モデルは、さまざまな時点において、ブロック419でトレーニングされ、および/または動的に再トレーニングされてもよい。いくつかの実施形態では、被写体参照データベース412内に新しい患者記録が生成されるか、または既存の患者が被写体参照データベース412から解放されるときはいつでも、被写体参照データベース412は、イベントを、たとえばEPSモジュール270に公開することができる。応答して、EPSモジュール270は、被写体参照データベース412に現在格納されている被写体参照テンプレートに基づいて、新しい機械学習モデルのトレーニングをトリガーするか、または既存の機械学習モデルを再トレーニングすることができる。病院のようないくつかの状況では、一日の患者数は一般にそれほど多くないため、これは実現可能である。このように、複数クラス線形判別分析機械学習モデルは、再トレーニングするのが計算量的に比較的安価であり、よって、ほぼリアルタイムで再トレーニングできるので、使用されうる。
ブロック428に戻って、答えがイエスである場合、いくつかの実施形態では、試験の「第二のパス」が、正規化された検出された顔画像に適用されてもよい。たとえば、ブロック430において、いわゆる「姿勢適応顔画像マッチング」が適用されてもよく、この場合、正規化された検出された顔画像は、照会された被写体に関連付けられた被写体参照テンプレートのそれぞれと比較される。下記の図9は、姿勢適応顔画像マッチングを実行するための一つの例示的な技法を例証する。下記で説明するように、姿勢適応顔画像マッチングは、ブロック426~428でマッチされた正規化された検出された顔画像が、本当に照会された被写体のものであるかどうかを判定するために、所定の回数繰り返す逐次反復プロセスであってもよい。換言すれば、ブロック430の動作は、ブロック426~428の初期発見を裏付ける役割を果たしうる。
ブロック432において、正規化された検出された顔画像が本当に照会された被写体を描いていると判定される場合、ブロック436において、正規化された検出された顔画像に関連付けられた位置(たとえば、被写体が位置する待合室内の座席のような特定の位置)が出力として提供されてもよい。他方、たとえば逐次反復的な姿勢適応顔画像マッチング・プロセスの間に何らかの所定の類似性閾値が満たされないため、裏付けが可能でない場合、ブロック434において、カメラ476は、異なるエリア、たとえば異なる被写体を含むエリアにフォーカスするために、再位置決め(たとえば、パン、チルト、ズーム)されてもよい。
図5は、さまざまな実施形態に基づく、受け入れルーチン402のワークフローのさまざまな側面がどのように実現されうるかの一例を示す。上述のように、カメラ456は、たとえばビデオ・ストリームとして、受け入れデジタル画像404を取得してもよい。いくつかの実施形態では、受け入れデジタル画像404は、受け入れ(たとえばトリアージ)エリアを描くことができるが、これは必須ではない。図5に描かれる動作は、受け入れエリア内またはその近くでカメラ456と動作可能に結合されたコンピューティング装置のようなさまざまなコンピューティング装置で実行されうる。
カメラ456によって捕捉されたそれぞれの新しい受け入れデジタル画像(たとえば、ビデオ・ストリームのフレーム)について、新しい被写体が評価される(たとえば、臨床的に評価される)受け入れ(たとえばトリアージ)エリアにおいて、ブロック502および504において、それぞれ(たとえば新しい顔の)顔検出および(たとえば以前の受け入れデジタル画像において検出された顔の)顔追跡が並行して実行されてもよい。これは、どの被写体が先にはいるかにかかわりなく、受け入れエリアにおける各被写体の顔が検出されることを保証する。それぞれの新たに検出された顔について、ブロック506では、新規顔追跡器が立ち上げられる。この新規顔追跡器は、次の画像フレームにおいてその解析を開始する。次いで、ブロック508において、新たに検出された顔が、たとえば、ほぼ正面ビューに正規化される(正規化は図7において、より詳細に例証される)。
いくつかの実施形態では、この正規化された検出された顔は、被写体テンプレート候補とみなされてもよい。次いで、新しい被写体参照テンプレート候補は、たとえばブロック510で、既存の被写体参照テンプレート候補(たとえば、前の諸画像フレームから取得されたもの)がまだ存在していればそれと、比較されてもよい。新しい被写体参照テンプレート候補を、たとえば別の以前に捕捉された被写体参照テンプレート候補の代わりに保持するか、または新しい被写体参照テンプレート候補を破棄するかを決定するために、さまざまな基準が使用されうる。最終的に、最も代表的な諸被写体参照テンプレート候補のみが選択され、被写体参照データベース412に保持されうる。図8は、被写体参照テンプレートを生成する際に使用するために、受け入れデジタル画像がどのように選択されうるか(510)の一例をより詳細に例証する。
ここで顔追跡ブロック504を参照すると、ブロック512において、各受け入れ画像フレームにおいて事前に検出されたそれぞれの追跡される顔について、対応する被写体がカメラの視野を去りつつあるかどうかが判定されてもよい。図6は、被写体が去りつつあるかどうかの判定がどのようになされるかの一例を示す。ブロック512の答えがイエスである場合、動作はブロック504に戻り、次に追跡される顔が選択される。ブロック512における答えがノーである場合、ブロック514において、ホモグラフィー推定が実行されてもよく、たとえば、現在の受け入れ画像フレームにおける追跡される顔の三次元頭部姿勢を推定する。推定された姿勢に基づいて、現在のフレームにおける追跡される顔画像は、ブロック516で「正面化」(顔の見え方における姿勢効果を除去する)されてもよい。次いで、制御はブロック508に渡されてもよい。
図6は、たとえば、受け入れの際(たとえばブロック406)または後に被写体モニタリングの間に(たとえばブロック422)、被写体の顔を検出するための一つの例示的な技法を例証する。カメラの視野(「FOV」)640が示されており、カメラ456またはカメラ476のような、本稿に記載される任意のカメラと関連付けられてもよい。図6は、はいってくる被写体(642A)および去っていく被写体(642B)の両方の検出を示す。両方の状況は、被写体の顔がFOV 640において部分的に見えるときにのみ起こる。被写体の存在は、たとえば、FOV 640に対する顔領域の重なり比を測定することによって検出されうる。比が1のような特定の数より小さく、かつ前のフレーム(単数または複数)と比較して増加しつつある場合、被写体は入室しつつあると判断されうる。そうではなく、比が1より大きく、かつ前のフレーム(単数または複数)と比較して減少しつつある場合、被写体は、去りつつあると判定されてもよい。二つの状況のどちらかが5秒などの所定時間区間にわたって続く場合、被写体がはいったまたは去ったと判定することができる。
図7は、たとえば図4のブロック424および/または図5のブロック508で実行されうる、一つの例示的な顔正規化ルーチンの詳細を示す。入力は、たとえば図4のブロック422および/または図5のブロック506/516からの、検出された顔画像の形をとってもよい。出力は、正規化された検出された顔画像であってもよい。ブロック702および704において、左目および右目検出動作が実行されてもよい(動作702および704は、逆の順序で、または並列に実行されてもよい)。これらの動作は、エッジ検出、テンプレート照合、固有空間法、ハフ変換、形態学的演算、トレーニングされたニューラルネットワーク等のような多様な画像処理技法を含みうる。ブロック706において、両目が首尾よく検出される場合、制御はブロック714に渡されてもよく、その時点で、顔が正規化されてもよい(たとえば、顔をほぼ正面向きにするために、検出された顔画像に対して幾何学的な歪めが適用されてもよい)。ブロック714から、制御は、たとえば図4のブロック426または図5のブロック510に渡されてもよい。
ブロック706における答えがノーである場合、ブロック708において、いずれかの目が検出されたかどうかが判定されてもよい。答えがノーである場合、制御は、動作714の下流に渡されてもよく、場合によっては、失敗イベントが発生されてもよく、次いで、制御は、たとえば、図4のブロック426または図5のブロック510に進んでもよい。ブロック702~704において片方の目のみが首尾よく検出された場合、ブロック710において、検出された目領域が水平に鏡映されてもよく、他方の目を位置特定するために、たとえばテンプレート照合を用いて、鏡映目パッチが探索されてもよい。次いで、動作は、先に説明したブロック714に進んでもよい。
図8は、たとえば、図4のブロック408および図5のブロック510において被写体参照データベース412に含めるために、どのようにして、検出された顔画像が被写体参照テンプレートとして選択されうるかの一例を示す。制御は、図4のブロック406、図5のブロック508(考えている検出された顔画像が現在の受け入れデジタル画像フレームにおいて新たに検出されたものである場合)および/または図5のブロック516(考えている検出された顔画像が以前の受け入れデジタル画像フレームにおいて検出されており、現在、追跡されている場合)のような種々の位置から図8の動作に渡されうる。ブロック802では、顔が隠蔽されているかどうかかが判定されてもよい。答えがイエスである場合、制御はブロック504に渡されてもよく、その時点で(もしあれば)次の追跡される顔が解析されてもよい。
ブロック802における答えがノーである場合、ブロック806において、現在の検出された顔画像と、現在の被写体についてのいずれかの既存の被写体参照テンプレートとの間の画像類似性が決定されてもよい。ブロック808において、現在の被写体についてすでに十分な被写体参照テンプレートが収集されたかどうかが判定されてもよい。新しい被写体ごとに、さまざまな数の被写体参照テンプレートが選択されうる。いくつかの実施形態では、9個もの被写体参照テンプレートが収集されてもよい。より多くの被写体参照テンプレートを収集することは実現可能であるが、ある点以降は、見返りの減少が経験されうる。
現在の被写体についてまだ十分な被写体参照テンプレートが収集されていない場合、ブロック408/410(図4と同じ)において、現在の検出された顔画像を用いて、被写体参照テンプレートを生成し、それを次に被写体参照データベース412に追加してもよい。しかしながら、ブロック808において、すでに十分なテンプレートが収集されている場合、いくつかの実施形態において、現在の検出された顔画像が、先に収集された被写体参照テンプレートを置き換えることを正当化するために、現在の被写体の先に収集された被写体参照テンプレートと十分に異なっているかどうかが判定されてもよい。たとえば、ブロック812において、現在の検出された顔画像が、以前に収集された各被写体参照テンプレートと、以前に収集された任意の被写体参照テンプレート相互の間の相違よりも、異なっているかどうかの判定がなされてもよい。特定の被写体参照テンプレートについて答えがイエスである場合、現在の検出された顔画像を用いて、被写体参照データベース412内のその特定の被写体参照テンプレートを置き換える新しい被写体参照テンプレートを生成してもよい。
図8の動作(より一般には図5の動作)は、カメラ456によって捕捉される各受け入れデジタル画像に対して繰り返され、各被写体は、たとえば、受け入れエリアを去るまで(ブロック512)、追跡されてもよい。従って、被写体がカメラ567のFOV 640内にいる間に取得された受け入れデジタル画像の総数のうち、最も適切な(たとえば最も多様な)ビューを有するn個の受け入れデジタル画像が、その特定の被写体に対する被写体参照テンプレートを生成するために選択されてもよい。前述のように、これらの被写体参照テンプレートは、後に、たとえば被写体モニタリング・ルーチン414で被写体が照会されることに応答して、使用されてもよい。
図5および図8は、被写体参照データベース412に記憶される各被写体についての被写体参照テンプレートを収集することに関する。図6および図7は、被写体参照テンプレートを収集することと、これらの被写体参照テンプレートを用いて、病院の待合室などの、受け入れエリアから下流のエリアで被写体を識別することの両方に関する。図9は後者に関する。具体的には、図9は、図4におけるブロック430の姿勢適応顔画像マッチング動作の一部として実行されうる動作の一例を示す。上述のように、いくつかの実施形態では、姿勢適応顔画像マッチングは、たとえばトレーニングされた機械学習モデルを使用してブロック426で実行される初期の被写体マッチングの後の「第二のパス」をなしてもよい。さまざまな実施形態においいて、姿勢適応顔画像マッチングは、ブロック426単独の動作よりも、エリア内の被写体(たとえば待合室にいる患者)のより正確な識別を提供しうる。
姿勢適応顔画像マッチングのプロセスは、一般に、検出された顔画像(これは正規化されていてもいなくてもよい)を、被写体照会に応答して取り出された一つまたは複数の被写体参照テンプレートとマッチングすることに関する。特に、空間的な整列不良によって引き起こされるマッチング誤差をなくすまたは低減するために、マッチング閾値を増加させ、検出された顔画像を被写体参照テンプレートと逐次反復的に整列させることによって、検出された顔画像は参照被写体テンプレートに反復的にマッチングされてもよい。
図9では、二つの入力が受領される:考えている現在の検出された顔画像と、照会された被写体(すなわち、探される被写体)に関連付けられた被写体参照テンプレートである。ブロック902では、両方の入力を使って、単一の検出された顔画像と、照会された被写体に関連付けられた複数の被写体参照テンプレートとの間の一対多のマッチングを実行してもよい。いくつかの実施形態では、検出された顔画像と各被写体参照テンプレートとの間でそれぞれの類似性スコアが計算されてもよい。ブロック904において、類似性スコアの一つまたは複数が比較的小さな類似性閾値を満たすかどうかが判定されてもよい。ブロック904における答えがノーである場合、現在の検出された顔画像に描かれている被写体が被写体参照テンプレートと一致しないと判断されてもよく、モニタリングされるエリア内の次の検出された被写体に関連付けられた検出された顔画像が選択されてもよい。
ブロック904における答えがイエスである場合、ブロック906において、検出された顔画像に最も類似している被写体参照テンプレート、たとえば、ブロック902で最も高い類似性スコアが計算された被写体参照テンプレートが選択されてもよい。ブロック908において、選択された最も類似した被写体参照テンプレートおよび単一の検出された顔画像が整列されてもよい。たとえば、いくつかの実施形態では、両者の間の幾何学的誤差が計算されてもよい。この幾何学的誤差に基づいて、ブロック910において、検出された顔画像が、被写体参照テンプレートに合うよう幾何学的に歪められてもよい。いくつかの実施形態では、このプロセスは、ブロック912において何らかの類似性閾値(たとえば0.9)が満たされるまで、またはブロック914において何らかの最大反復回数に達するまで、逐次反復されてもよい。ブロック912の類似性閾値が満たされる場合、検出された顔画像と被写体参照テンプレートに関連付けられた被写体との間に一致が見出され、検出された顔画像に描かれた被写体が、照会された被写体として識別される。しかし、この類似性閾値を満たさずにブロック914において最大反復回数に達した場合は、検出された顔画像に描かれた被写体は、被写体参照テンプレートに関連付けられた被写体と一致しないことが示される。
考えている検出された顔画像が被写体参照テンプレートと一致しないとき、いくつかの実施形態では、待合室などのエリアをモニタリングするカメラ(たとえば、276、376、476)は、患者などの被写体が見出される可能性が高い特定の数の位置のうちの別の位置を捕捉するために、パン、傾斜、および/またはズームされてもよい。これらの位置は、たとえば、待合室における座席、ジムにおけるエクササイズ設備、空港ゲートの座席等に対応してもよい。いくつかの実施形態では、カメラ476のPTZ制御は、これらの位置を逐次的に捕捉するためにあらかじめ較正されてもよい。照会された被写体が現在の位置に見つからない場合、カメラ476は、照会された被写体が見つかるまで、またはすべての事前設定された位置がスキャンされるまで、存在する位置の残りを通して順次再配置されてもよい。あるいはまた、事前設定された位置が利用可能でない場合は、いくつかの実施形態では、人検出技術を用いて、エリア内全般にいる人の位置を決定し、次いで、それらの位置の各々がスキャンされてもよい。さらに、照会された被写体が見つからない場合、特に照会された被写体が病院の救急部門(emergency department)に受け容れられた患者であるとき、病院のスタッフなどのさまざまな人員に一つまたは複数の通知が送られてもよい。不在の被写体が一つまたは複数のバイタルサイン取得カメラ276を用いて目立たないモニタリングのために同定される患者である場合、不在の患者は、患者待ち行列に再挿入するために患者待ち行列モジュール258に差し戻されてもよい。
他方、検出された顔画像が被写体参照テンプレートと一致する場合、たとえば患者識別モジュール260によって、図2の別のモジュールおよび/または図4の被写体モニタリング414に関連する人員に、出力が提供されてもよい。この出力は、たとえば、モニタリングされている待合室または他のエリアにおける照会された患者の位置を示してもよい。図9には描かれていないが、さまざまな実施形態において、二つ以上の検出された顔画像が、一度に、たとえば、並列に、作用されてもよい。たとえば、カメラのFOV内に捕捉された二つ以上の別個の検出された顔画像が並列に処理されてもよい。
図10は、さまざまな実施形態に基づく、本開示の選択された諸側面を実施するための例示的な方法1000を示す。便宜上、フローチャートの動作は、動作を実行するシステムを参照して記述される。このシステムは、患者モニタリング・システム252を含むさまざまなコンピュータ・システムのさまざまなコンポーネントを含むことができる。さらに、方法1000の動作は特定の順序で示されるが、これは限定することは意図されていない。一つまたは複数の動作が、並べ替えられ、省略され、あるいは追加されてもよい。
ブロック1002では、システムは、少なくとも第一の被写体を捕捉する複数の受け入れデジタル画像を取得してもよい。たとえば、いくつかの実施形態では、患者捕捉モジュール254は、カメラ256から複数の受け入れ(たとえば、待合室より前のエリア102)デジタル画像を取得してもよい。カメラ256は、病院の登録/トリアージ、空港または駅のチェックインデスク、ジムのチェックインデスク、国境検問所に関連する受け入れエリア等の受け入れエリアに位置されてもよい。いくつかの実施形態では、複数の受け入れデジタル画像は、被写体が受け入れエリアにいる全時間にわたって(たとえば被写体がはいってくるのが検出される瞬間から、去るのが検出される瞬間まで)、またはトリアージが実行されている間、手動で選択された時間区間などの他の何らかの時間区間にわたって、捕捉されるビデオ・フレームを含んでいてもよい。
ブロック1004において、システムは、複数の受け入れデジタル画像から、第一の被写体の顔の複数の異なるビューを描写する受け入れデジタル画像の部分集合を選択してもよい。図5および図8は、複数の受け入れ画像から被写体参照テンプレートがどのように選択されうるかの限定しない例を示す。一般に、特定の被写体に関連付けられた諸被写体参照テンプレートは、異なる顔の表情、異なる照明条件、異なるポーズなどの被写体の顔の多様な異なるビューを提供するよう選択されてもよい。
ブロック1006において、システムは、受け入れデジタル画像の選択された部分集合に基づいて、第一の諸被写体参照テンプレートを生成し、それらを被写体参照データベース412に格納してもよい。いくつかの実施形態では、被写体参照テンプレートは、選択された受け入れ画像と同じデジタル画像である。しかしながら、他の実施形態では、被写体参照テンプレートは、対応する選択された受け入れデジタル画像の変更されたバージョン、たとえば、トリミング、エンハンスメント等されたものであってもよい。たとえば、各被写体参照テンプレートは、対応する選択された受け入れデジタル画像の(からクロッピングされた)サブ部分、たとえば、被写体の顔を描くサブ部分を含んでもよい。さまざまな実施形態において、生成された第一の被写体参照テンプレートは、第一の被写体に関連する情報に関連付けて被写体参照データベース412に格納されてもよい。より一般には、被写体参照データベース412は、所与の日または特定の時間区間の間に登録および/またはトリアージされたすべての患者のような、複数の被写体に関連する被写体参照テンプレートを記憶していてもよい。
ブロック1008において、システムは、エリア内で識別するための第二の被写体を選択してもよい。たとえば、患者モニタリングのコンテキストにおいて、患者待ち行列の先頭になるような患者緊急度スコアをもつ患者が、たとえば図1のブロック108において選択されてもよい。代替的または追加的に、医療人員は、たとえば、緊急度指標、写真等のような登録された患者についての情報を描写するグラフィカル・ユーザー・インターフェースを用いて、識別すべき患者を手動で選択してもよい。図4および本明細書の他の箇所では、選択された被写体はしばしば「照会される被写体」と称される。さらに他の実施形態では、照会された患者を位置特定しようと試みるのではなく、システムは単に、たとえば一連の待合室椅子に対応する、事前選択された位置のシーケンス通じてスキャンし、開示された技術を用いて、各位置にどの被写体がいようと、各位置において、被写体を特定しようと試みてもよい(たとえば、描かれた被写体のMRNを判別する)。
ブロック1010において、システムは、被写体参照データベース412から、第二の被写体に関連する第二の被写体参照テンプレートを検索してもよい。たとえば、ブロック1008で選択された被写体に関連するMRNは、被写体参照データベース412への入力として提供されてもよい。そのMRNに関連付けられた、以前に収集された被写体参照テンプレートは、出力として提供されてもよい。
ブロック1012において、エリア(たとえば待合室104)を描く一つまたは複数のデジタル画像が、たとえばカメラ276、346、476または他のカメラによって取得されてもよい。患者モニタリングのコンテキストにおいて、ブロック1012でデジタル画像を取得するカメラは、バイタルサイン取得カメラであってもなくてもよい。他のコンテキストでは、ブロック1012でデジタル画像を取得するカメラは、他の型のカメラであってもよく、PTZ機能を有していても有していてもいなくてもよい。上述のように、さまざまな実施形態では、エリアを捕捉するデジタル画像を取得する任意の数のカメラがあってもよい。いくつかの実施形態では、カメラは、エリアのデジタル画像を絶えずおよび/または連続的に捕捉してもよく、たとえば被写体がブロック1008で選択された後に捕捉されるデジタル画像のみが、下記の動作のために使用されてもよい。
ブロック1014において、システムは、ブロック1012において取得された一つまたは複数のデジタル画像のうちの、エリア内の一または複数の被写体の顔を描いている一つまたは複数の部分を、一つまたは複数の検出された顔画像として検出(または特定)してもよい。顔検出を実行するためには、深層学習、遺伝的アルゴリズムおよび/または固有顔技法を含むがそれに限定されない、さまざまな技法が使用されうる。たとえば、可能な人間の目領域は、グレーレベルのデジタル画像内のすべての谷領域を試験することによって検出されてもよい。次いで、遺伝的アルゴリズムを用いて、たとえば眉、虹彩、鼻孔および/または口角を含むすべての可能な顔領域を生成してもよい。追加的または代替的に、テンプレート照合、スケール不変特徴変換(「SIFT」)、線形判別分析、弾性バンチ・グラフ・マッチング、隠れマルコフ・モデルなどの、さまざまな他の技術を使用することができる。上述のように、いくつかの実施形態では、モニタリングされるエリア(たとえば待合室104)内のいくつかの事前決定された位置が、被写体を含む可能性が高い位置として確立/選択されてもよい。病院待合室のコンテキストまたは空港ゲートのコンテキストにおいて、事前決定された位置は、エリア内の座席に対応してもよい。さまざまな実施形態において、一つまたは複数のカメラ(たとえば、276、376、476)は、PTZ動作を実行して、各位置を順次スキャンし、たとえば、上述した動作の一つまたは複数を実行して、描かれた顔を検出してもよい。
ブロック1016において、検出された一つまたは複数の検出された顔画像の所与の検出顔画像が、第二の被写体参照テンプレートと比較されてもよい。たとえば、複数の事前決定された位置のうちの第一の位置からの検出された顔画像が選択されてもよい。追加的または代替的に、現在照会されている被写体の最後に知られていた位置が最初に選択されてもよい。実行されうる比較の型の例は、図4のブロック426に関連して上述した「第一のパス」の機械学習モデル・アプローチおよび/またはブロック430に関連して上述した「第二のパス」アプローチを含み、後者はいくつかの実施形態では、図9に例証されるように、姿勢適応顔画像マッチングをなしてもよい。
ブロック1018において、システムは、前記比較に基づいて、エリアを捕捉する一つまたは複数のデジタル画像において第二の被写体を識別してもよい。たとえば、所与の検出された顔画像(これは上述のように、待合室104内の座席のような位置と関連付けられていてもよい)が、照会された被写体を描写すると判定される場合、所与の検出された顔画像と関連付けられた位置が、照会された患者の位置として提供されてもよい。この位置はさまざまな目的のために使用されうる。たとえば、一つまたは複数のバイタルサイン取得カメラ(これはデジタル画像待合室104を捕捉したのと同じカメラであってもなくてもよい)は、上述のように、その位置で被写体から一つまたは複数のバイタルサインを取得してもよい。追加的または代替的に、被写体が手動で、たとえば、医療または他の人員によって照会された場合、照会された被写体(subject)の位置が出力として提供されてもよい。いくつかの実施形態では、出力位置は、テキストで提供されてもよく、たとえば、"<subject> is sitting in seat13"〔<subject>は座席13に座っている〕などでもよい。他の実施形態では、出力位置は、グラフィカル・ユーザー・インターフェース(たとえば、当番看護師または他の人員によって操作される)内で使用されて、モニタリングされるエリアの視覚的表現に注釈付けしてもよい。たとえば、照会された被写体は、たとえばバウンディングボックスを用いて視覚的に強調され、あるいは他の仕方で、エリア内の他の被写体よりも目立つように描画されうる。
図11は、例示的なコンピュータ・システム1110のブロック図である。コンピュータ・システム1110は、典型的には、バス・サブシステム1112を介していくつかの周辺装置と通信する少なくとも一つのプロセッサ1114を含む。本稿で使用されるところでは、用語「プロセッサ」は、たとえばマイクロプロセッサ、GPU、FPGA、ASIC、他の同様のデバイスおよびそれらの組み合わせなどの、本稿に記載されるコンポーネントに帰されるさまざまな機能を実行することができるさまざまなデバイスを包含するものと理解されるであろう。これらの周辺装置は、たとえばメモリ・サブシステム1125およびファイル記憶サブシステム1126を含むデータ保持サブシステム1124と、ユーザー・インターフェース出力装置1120と、ユーザー・インターフェース入力装置1122と、ネットワーク・インターフェース・サブシステム1116とを含んでいてもよい。入出力装置は、コンピュータ・システム1110とのユーザー対話を許容する。ネットワーク・インターフェース・サブシステム1116は、外部ネットワークへのインターフェースを提供し、他のコンピュータ・システム内の対応するインターフェース・デバイスに結合される。
ユーザー・インターフェース入力装置1122は、キーボード、マウス、トラックボール、タッチパッドまたはグラフィックス・タブレットのようなポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システム、マイクロフォンおよび/または他の型の入力装置などのオーディオ入力装置を含んでいてもよい。一般に、用語「入力装置」の使用は、コンピュータ・システム1110または通信ネットワーク上に情報を入力するための可能なあらゆる型の装置および方法を含むことが意図されている。
ユーザー・インターフェース出力装置1120は、ディスプレイ・サブシステム、プリンター、ファクシミリ機またはオーディオ出力装置のような非視覚的ディスプレイを含むことができる。表示サブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)のようなフラットパネル装置、投影装置または可視画像を生成するための他の何らかの機構を含みうる。前記ディスプレイ・サブシステムはまた、オーディオ出力装置を介してなど、非視覚的ディスプレイをも設けてもよい。一般に、「出力装置」という用語の使用は、コンピュータ・システム1110からユーザーまたは別の機械もしくはコンピュータ・システムに情報を出力するためのあらゆる可能な型の装置および方法を含むことが意図されている。
データ保持システム1124は、本稿に記載されるモジュールの一部または全部のモジュールの機能を提供するプログラミングおよびデータ構造体を記憶する。たとえば、データ保持システム1124は、図4~図10の選択された諸側面を実行する、および/または患者モニタリング・システム252の、患者識別モジュール260、患者捕捉モジュール254などを含む一つまたは複数のコンポーネントを実装する論理を含んでいてもよい。
これらのソフトウェア・モジュールは、一般に、プロセッサ1114単独によって、または他のプロセッサとの組み合わせで、実行される。記憶サブシステムにおいて使用されるメモリ1125は、プログラム実行中に命令およびデータを記憶するためのメイン・ランダムアクセスメモリ(RAM)1130、固定した命令が記憶されるリードオンリーメモリ(ROM)1132および命令/データ・キャッシュ(これは追加的または代替的に少なくとも一つのプロセッサ1114と一体であってもよい)のような他の型のメモリを含むいくつかのメモリを含むことができる。ファイル記憶サブシステム1126は、プログラムおよびデータ・ファイルのための持続的記憶装置を提供することができ、ハードディスクドライブ、関連のリムーバブル媒体と一緒のフロッピーディスクドライブ、CD-ROMドライブ、光学式ドライブまたはリムーバブル媒体カートリッジを含んでいてもよい。ある種の実装の機能を実装するモジュールは、ファイル記憶サブシステム1126によってデータ保持システム1124に、またはプロセッサ1114によってアクセス可能な他のマシンに記憶されてもよい。本稿で使用されるところの用語「非一時的なコンピュータ読取り可能媒体」は、揮発性メモリ(たとえばDRAMおよびSRAM)および不揮発性メモリ(たとえばフラッシュメモリ、磁気記憶装置および光学式記憶装置)の両方を包含するが、一時的な信号を除外することが理解されるであろう。
バス・サブシステム1112は、コンピュータ・システム1110のさまざまなコンポーネントおよびサブシステムが意図したように互いと通信するようにする機構を提供する。バス・サブシステム1112は単一のバスとして概略的に示されているが、バス・サブシステムの代替的な実装は複数のバスを使用してもよい。いくつかの実施形態では、特に、コンピュータ・システム1110が一つまたは複数のネットワークを介して接続された複数の個々のコンピューティング装置を含む場合、一つまたは複数のバスが追加される、および/または有線もしくは無線のネットワーク接続で置換されることができる。
コンピュータ・システム1110は、ワークステーション、サーバー、計算クラスター、ブレードサーバー、サーバーファームまたは他の任意のデータ処理システムもしくはコンピューティング装置を含むさまざまな型であることができる。いくつかの実施形態では、コンピュータ・システム1110は、クラウド・コンピューティング環境内に実装されてもよい。コンピュータおよびネットワークの絶えず変化する性質のため、図11に描かれるコンピュータ・システム1110の記述は、いくつかの実装を例解するための個別的な例としてのみ意図される。図11に描かれるコンピュータ・システムよりも多数または少数のコンポーネントを有する、コンピュータ・システム1110の他の多くの構成が可能である。
いくつかの実施形態が本願に記載され図示されているが、当業者は、機能を実行するおよび/または本明細書に記載される結果および/または利点の一つもしくは複数を得るための、多様な他の手段および/または構造を容易に構想するであろう。そのような変形および/または修正の各々は、本明細書に記載される実施形態の範囲内にあると見なされる。より一般的には、当業者は、本明細書に記載されるすべてのパラメータ、寸法、材料および構成が例示的であることが意味されており、実際のパラメータ、寸法、材料および/または構成は、教示が使用される特定の用途(単数または複数)に依存することを容易に理解するであろう。当業者は、本明細書に記載する個別的な実施形態への多くの等価物を認識するか、または高々日常的な試行を用いて確かめることができるであろう。よって、上述の実施形態は単に例として呈示されており、添付の請求項およびその等価物の範囲内で、実施形態が、具体的に記載され、特許請求される以外の仕方で実施されうることは理解される。本開示の発明的実施形態は、本明細書中で記載されたそれぞれの個別の特徴、システム、物品、材料、キットおよび/または方法に向けられる。さらに、二つ以上のそのような特徴、システム、物品、材料、キットおよび/または方法の組み合わせは、もしそのような特徴、システム、物品、材料、キットおよび/または方法が相互に矛盾するものでなければ、本開示の範囲内に含まれる。
本明細書中で定義され、用いられるあらゆる定義は、辞書の定義、参照により組み込まれた文書における定義および/または定義された用語の通常の意味よりも優先することが理解されるべきである。
本願の明細書および特許請求の範囲において使われる不定冠詞「a」および「an」は、そうでないことが明瞭に示されるのでない限り、「少なくとも一つ」を意味することが理解されるべきである。
本願の明細書および特許請求の範囲において使われる句「および/または」は、そのように連結された要素、すなわち、いくつかの場合には同時に存在し、他の場合には一方のみが存在する要素の「いずれかまたは双方」を意味すると理解されるべきである。「および/または」を用いて挙げられる複数の要素は同じように、すなわち、そのように連結された要素の「一つまたは複数」と解釈されるべきである。任意的に、「および/または」節によって具体的に特定された要素に以外の要素が任意的に存在していてもよく、具体的に特定された要素に関係していてもいなくてもよい。このように、限定しない例として、「Aおよび/またはB」への言及は、「含む」のようなオープンエンドの言辞との関連で使われるときは、ある実施形態ではAのみ(任意的に、B以外の要素を含む)を;もう一つの実施形態ではBのみ(任意的に、A以外の要素を含む)を;さらにもう一つの実施形態ではAおよびBの両方(任意的に、他の要素を含む);などをいうことができる。
本願で明細書および特許請求の範囲において使われるところでは、「または」は上記で定義した「および/または」と同じ意味を有すると理解されるべきである。たとえば、リスト中で項目を分離するときに、「または」または「および/または」は、包含的である、すなわち、いくつかのもしくはリストの要素の、二つ以上をも含め少なくとも一つを含み、任意的にはリストにない追加的な項目をも含むと解釈されるべきである。「…の一つのみ」または「…のちょうど一つ」、あるいは請求項で使われるときの「…からなる」など、そうでないことが明瞭に示された用語のみが、いくつかの要素またはリストの要素のちょうど一つの要素を含むことをいう。一般に、本明細書において使用される「または」という用語は、排他的選択肢(すなわち、「一方または他方であるが両方ではない」)を示すものと解釈されるのは、「いずれか」、「…の一つ」、「…の一方のみ」または「…のちょうど一つ」のような排他性の用語を伴うときのみである。請求項において使用されるときの「本質的には…からなる」は、特許法の分野において使用される通常の意味を有する。
本願で明細書および特許請求の範囲において用いられるところでは、一つまたは複数の要素のリストに言及しての句「少なくとも一つ」は、要素のリスト中のいずれか一つまたは複数の要素から選択される少なくとも一つの要素を意味すると理解されるべきであるが、必ずしも要素のリスト内に具体的に挙げられている一つ一つの要素の少なくとも一つを含むとは限らず、要素のリスト中の要素のどんな組合せも排除しない。この定義は、具体的に特定された要素に関連するかまたは関連しないかを問わず、句「少なくとも一つ」が言及する要素のリスト内で具体的に特定された要素以外の要素が任意的に存在していてもよいことをも許容する。このように、限定しない例として、「AおよびBのうちの少なくとも一つ」(または、等価だが、「AまたはBの少なくとも一つ」、または等価だが、「Aおよび/またはBの少なくとも一つ」)は、ある実施形態では、任意的には二つ以上を含む少なくとも一つのAであって、Bは存在しない(任意的に、B以外の要素を含む)こと;もう一つの実施形態では、任意的には二つ以上を含む少なくとも一つのBであって、Aは存在しない(任意的に、A以外の要素を含む)こと;さらにもう一つの実施形態では、任意的には二つ以上を含む少なくとも一つのAおよび任意的には二つ以上を含む少なくとも一つのB(任意的に、他の要素を含む);などをいう。
また、そうでないことが明瞭に示されているのでない限り、二つ以上の段階または工程を含む本願で特許請求されるいずれの方法においても、該方法の段階または工程の順序は、必ずしも該方法の段階または工程が記載される順序に限定されないことも理解されるべきである。
特許請求の範囲ならびに上記の明細書において、「有する」、「含む」、「担持する」、「もつ」、「含有する」、「関わる」、「保持する」、「から構成された」などのようなすべての移行句は、オープンエンドである、すなわち、それを含むがそれに限定されるものではないことを意味すると理解されるべきである。「…からなる」および「本質的には…からなる」という移行句のみが、それぞれ、米国特許庁特許審査手続マニュアル、第2111.03節に記載されるクローズドまたは半クローズドな移行句である。特許協力条約(「PCT」)の規則6.2(b)に準拠して請求項において使用されるある種の表現および参照符号は範囲を限定するものでないことを理解しておくべきである。
いくつかの態様を記載しておく。
〔態様1〕
一つまたは複数のプロセッサによって実装される方法であって、当該方法は:
少なくとも第一の被写体を捕捉する複数の受け入れデジタル画像を取得するステップと;
前記複数の受け入れデジタル画像から、前記第一の被写体の顔の複数の異なるビューを描く受け入れデジタル画像の部分集合を選択するステップと;
選択された受け入れデジタル画像の部分集合に基づいて、第一の被写体参照テンプレートを生成するステップであって、それらの第一の被写体参照テンプレートは、前記第一の被写体に関連する情報と関連付けて被写体データベースに記憶され、前記被写体データベースは、複数の被写体に関連した被写体参照テンプレートを記憶する、ステップと;
エリア内で識別すべき第二の被写体を選択するステップと;
前記被写体参照データベースから前記第二の被写体に関連した第二の被写体参照テンプレートを取得するステップと;
前記エリアを描写する一つまたは複数のデジタル画像を取得するステップと;
前記エリアにおける一または複数の被写体の顔を描いている、前記一つまたは複数のデジタル画像の一つまたは複数の部分を、一つまたは複数の検出された顔画像として検出するステップと;
検出された一つまたは複数の検出された顔の画像のうち所与の検出された顔画像を、前記第二の被写体参照テンプレートと比較するステップと;
前記比較に基づいて、前記エリアを捕捉する前記一つまたは複数のデジタル画像において前記第二の被写体を識別するステップとを含む、
方法。
〔態様2〕
前記エリアは待合室を含み、前記受け入れ画像は、登録またはトリアージ・エリアを捕捉するよう構成された第一のカメラを使って取得され、前記待合室を描写する前記デジタル画像は、待前記合室を捕捉するよう構成された第二のカメラを使って取得される、態様1記載の方法。
〔態様3〕
前記比較することは、前記所与の検出された顔画像を、トレーニングされた機械学習モデルを通じて入力として適用して、前記所与の検出された顔画像と前記第二の被写体との間の類似性の指標を示す出力を生成することを含み、前記機械学習モデルは、少なくとも部分的には前記第二の被写体参照テンプレートに基づいてトレーニングされる、態様1記載の方法。
〔態様4〕
前記トレーニングされた機械学習モデルは、線形判別分析モデルを含む、態様3記載の方法。
〔態様5〕
新たな被写体が前記被写体データベースに追加されるまたは既存の被写体が前記被写体データベースから除去されることに応答して、前記機械学習モデルを再トレーニングすることをさらに含む、態様4記載の方法。
〔態様6〕
前記トレーニングされた機械学習モデルは、前記複数の被写体に関連する被写体参照テンプレートに基づいてトレーニングされる、態様3記載の方法。
〔態様7〕
前記部分集合の受け入れデジタル画像の一つまたは複数が、一つまたは複数の他の受け入れデジタル画像と十分に異なっていることに基づいて選択される、態様3記載の方法。
〔態様8〕
各検出された顔画像が顔の正面ビューを描くよう、前記一つまたは複数の顔画像を正規化することをさらに含む、態様1記載の方法。
〔態様9〕
前記正規化が、幾何学的な歪めを含む、態様8記載の方法。
〔態様10〕
一つまたは複数のプロセッサと、該一つまたは複数のプロセッサに動作可能に結合されたメモリとを有するシステムであって、前記メモリは命令を記憶しており、前記命令は、一つまたは複数のプロセッサによる該命令の実行に応答して、前記一つまたは複数のプロセッサに:
少なくとも第一の被写体を捕捉する複数の受け入れデジタル画像を取得するステップと;
前記複数の受け入れデジタル画像から、前記第一の被写体の顔の複数の異なるビューを描く受け入れデジタル画像の部分集合を選択するステップと;
選択された受け入れデジタル画像の部分集合に基づいて、第一の被写体参照テンプレートを生成するステップであって、それらの第一の被写体参照テンプレートは、前記第一の被写体に関連する情報と関連付けて被写体データベースに記憶され、前記被写体データベースは、複数の被写体に関連した被写体参照テンプレートを記憶する、ステップと;
エリア内で識別すべき第二の被写体を選択するステップと;
前記被写体参照データベースから前記第二の被写体に関連した第二の被写体参照テンプレートを取得するステップと;
前記エリアを描写する一つまたは複数のデジタル画像を取得するステップと;
前記エリアにおける一または複数の被写体の顔を描いている、前記一つまたは複数のデジタル画像の一つまたは複数の部分を、一つまたは複数の検出された顔画像として検出するステップと;
検出された一つまたは複数の検出された顔の画像のうち所与の検出された顔画像を、前記第二の被写体参照テンプレートと比較するステップと;
前記比較に基づいて、前記エリアを捕捉する前記一つまたは複数のデジタル画像において前記第二の被写体を識別するステップとを実行させるものである、
システム。
〔態様11〕
前記エリアは待合室を含み、前記受け入れ画像は、登録またはトリアージ・エリアを捕捉するよう構成された第一のカメラを使って取得され、前記待合室を描写する前記デジタル画像は、待前記合室を捕捉するよう構成された第二のカメラを使って取得される、態様10記載のシステム。
〔態様12〕
前記所与の検出された顔画像を、トレーニングされた機械学習モデルを通じて入力として適用して、前記所与の検出された顔画像と前記第二の被写体との間の類似性の指標を示す出力を生成するための命令をさらに含み、前記機械学習モデルは、少なくとも部分的には前記第二の被写体参照テンプレートに基づいてトレーニングされる、態様10記載のシステム。
〔態様13〕
前記トレーニングされた機械学習モデルは、線形判別分析モデルを含む、態様12記載のシステム。
〔態様14〕
新たな被写体が前記被写体データベースに追加されるまたは既存の被写体が前記被写体データベースから除去されることに応答して、前記機械学習モデルを再トレーニングするための命令をさらに、態様13記載のシステム。
〔態様15〕
前記トレーニングされた機械学習モデルは、前記複数の被写体に関連する被写体参照テンプレートに基づいてトレーニングされる、態様12記載のシステム。
〔態様16〕
前記部分集合の受け入れデジタル画像の一つまたは複数が、一つまたは複数の他の受け入れデジタル画像と十分に異なっていることに基づいて選択される、態様10記載のシステム。
〔態様17〕
各検出された顔画像が顔の正面ビューを描くよう、前記一つまたは複数の顔画像を正規化することをさらに含む、態様10記載のシステム。
〔態様18〕
前記正規化が、幾何学的な歪めを含む、態様17記載のシステム。
〔態様19〕
命令を有する少なくとも一つの非一時的な機械可読媒体であって、前記命令は、一つまたは複数のプロセッサによる該命令の実行に応答して、前記一つまたは複数のプロセッサに以下の動作、すなわち:
少なくとも第一の被写体を捕捉する複数の受け入れデジタル画像を取得するステップと;
前記複数の受け入れデジタル画像から、前記第一の被写体の顔の複数の異なるビューを描く受け入れデジタル画像の部分集合を選択するステップと;
選択された受け入れデジタル画像の部分集合に基づいて、第一の被写体参照テンプレートを生成するステップであって、それらの第一の被写体参照テンプレートは、前記第一の被写体に関連する情報と関連付けて被写体データベースに記憶され、前記被写体データベースは、複数の被写体に関連した被写体参照テンプレートを記憶する、ステップと;
エリア内で識別すべき第二の被写体を選択するステップと;
前記被写体参照データベースから前記第二の被写体に関連した第二の被写体参照テンプレートを取得するステップと;
前記エリアを描写する一つまたは複数のデジタル画像を取得するステップと;
前記エリアにおける一または複数の被写体の顔を描いている、前記一つまたは複数のデジタル画像の一つまたは複数の部分を、一つまたは複数の検出された顔画像として検出するステップと;
検出された一つまたは複数の検出された顔の画像のうち所与の検出された顔画像を、前記第二の被写体参照テンプレートと比較するステップと;
前記比較に基づいて、前記エリアを捕捉する前記一つまたは複数のデジタル画像において前記第二の被写体を識別するステップとを実行させるものである、
少なくとも一つの非一時的なコンピュータ可読媒体。
〔態様20〕
前記エリアは待合室を含み、前記受け入れ画像は、登録またはトリアージ・エリアを捕捉するよう構成された第一のカメラを使って取得され、前記待合室を描写する前記デジタル画像は、待前記合室を捕捉するよう構成された第二のカメラを使って取得される、態様19記載の少なくとも一つの非一時的なコンピュータ可読媒体。

Claims (12)

  1. 一つまたは複数のプロセッサによって実装される方法であって、当該方法は:
    少なくとも第一の被写体を捕捉する複数の受け入れデジタル画像を取得するステップと;
    前記複数の受け入れデジタル画像から、前記第一の被写体の顔の複数の異なるビューを描く受け入れデジタル画像の部分集合を選択するステップと;
    選択された受け入れデジタル画像の部分集合に基づいて、第一の被写体参照テンプレートを生成するステップであって、それらの第一の被写体参照テンプレートは、前記第一の被写体に関連する情報と関連付けて被写体データベースに記憶され、前記被写体データベースは、複数の被写体に関連した被写体参照テンプレートを記憶する、ステップと;
    エリア内で識別すべき第二の被写体を選択するステップと;
    前記被写体データベースから前記第二の被写体に関連した第二の被写体参照テンプレートを取得するステップと;
    前記エリアを描写する一つまたは複数のデジタル画像を取得するステップと;
    前記エリアにおける一または複数の被写体の顔を描いている、前記一つまたは複数のデジタル画像の一つまたは複数の部分を、一つまたは複数の検出された顔画像として検出するステップと;
    検出された一つまたは複数の検出された顔の画像のうち所与の検出された顔画像を、前記第二の被写体参照テンプレートと比較するステップと;
    前記比較に基づいて、前記エリアを捕捉する前記一つまたは複数のデジタル画像において前記第二の被写体を識別するステップとを含み、
    前記エリアは待合室を含み、前記受け入れ画像は、登録またはトリアージ・エリアを捕捉するよう構成された第一のカメラを使って取得され、前記待合室を描写する前記デジタル画像は、前記待合室を捕捉するよう構成された第二のカメラを使って取得される、
    法。
  2. 前記比較することは、前記所与の検出された顔画像を、トレーニングされた機械学習モデルを通じて入力として適用して、前記所与の検出された顔画像と前記第二の被写体との間の類似性の指標を示す出力を生成することを含み、前記機械学習モデルは、少なくとも部分的には前記第二の被写体参照テンプレートに基づいてトレーニングされる、請求項1記載の方法。
  3. 前記トレーニングされた機械学習モデルは、線形判別分析モデルを含む、請求項記載の方法。
  4. 新たな被写体が前記被写体データベースに追加されるまたは既存の被写体が前記被写体データベースから除去されることに応答して、前記機械学習モデルを再トレーニングすることをさらに含む、請求項記載の方法。
  5. 前記トレーニングされた機械学習モデルは、前記複数の被写体に関連する被写体参照テンプレートに基づいてトレーニングされる、請求項記載の方法。
  6. 前記部分集合の受け入れデジタル画像の一つまたは複数が、一つまたは複数の他の受け入れデジタル画像と十分に異なっていることに基づいて選択される、請求項記載の方法。
  7. 各検出された顔画像が顔の正面ビューを描くよう、前記一つまたは複数の顔画像を正規化することをさらに含む、請求項1記載の方法。
  8. 前記正規化が、幾何学的な歪めを含む、請求項記載の方法。
  9. 一つまたは複数のプロセッサと、該一つまたは複数のプロセッサに動作可能に結合されたメモリとを有するシステムであって、前記メモリは命令を記憶しており、前記命令は、一つまたは複数のプロセッサによる該命令の実行に応答して、前記一つまたは複数のプロセッサに:
    少なくとも第一の被写体を捕捉する複数の受け入れデジタル画像を取得するステップと;
    前記複数の受け入れデジタル画像から、前記第一の被写体の顔の複数の異なるビューを描く受け入れデジタル画像の部分集合を選択するステップと;
    選択された受け入れデジタル画像の部分集合に基づいて、第一の被写体参照テンプレートを生成するステップであって、それらの第一の被写体参照テンプレートは、前記第一の被写体に関連する情報と関連付けて被写体データベースに記憶され、前記被写体データベースは、複数の被写体に関連した被写体参照テンプレートを記憶する、ステップと;
    エリア内で識別すべき第二の被写体を選択するステップと;
    前記被写体データベースから前記第二の被写体に関連した第二の被写体参照テンプレートを取得するステップと;
    前記エリアを描写する一つまたは複数のデジタル画像を取得するステップと;
    前記エリアにおける一または複数の被写体の顔を描いている、前記一つまたは複数のデジタル画像の一つまたは複数の部分を、一つまたは複数の検出された顔画像として検出するステップと;
    検出された一つまたは複数の検出された顔の画像のうち所与の検出された顔画像を、前記第二の被写体参照テンプレートと比較するステップと;
    前記比較に基づいて、前記エリアを捕捉する前記一つまたは複数のデジタル画像において前記第二の被写体を識別するステップとを実行させるものであ
    前記エリアは待合室を含み、前記受け入れ画像は、登録またはトリアージ・エリアを捕捉するよう構成された第一のカメラを使って取得され、前記待合室を描写する前記デジタル画像は、前記待合室を捕捉するよう構成された第二のカメラを使って取得される、
    ステム。
  10. 前記所与の検出された顔画像を、トレーニングされた機械学習モデルを通じて入力として適用して、前記所与の検出された顔画像と前記第二の被写体との間の類似性の指標を示す出力を生成するための命令をさらに含み、前記機械学習モデルは、少なくとも部分的には前記第二の被写体参照テンプレートに基づいてトレーニングされる、請求項記載のシステム。
  11. 前記トレーニングされた機械学習モデルは、線形判別分析モデルを含む、請求項10記載のシステム。
  12. 命令を有する少なくとも一つの非一時的な機械可読媒体であって、前記命令は、一つまたは複数のプロセッサによる該命令の実行に応答して、前記一つまたは複数のプロセッサに以下の動作、すなわち:
    少なくとも第一の被写体を捕捉する複数の受け入れデジタル画像を取得するステップと;
    前記複数の受け入れデジタル画像から、前記第一の被写体の顔の複数の異なるビューを描く受け入れデジタル画像の部分集合を選択するステップと;
    選択された受け入れデジタル画像の部分集合に基づいて、第一の被写体参照テンプレートを生成するステップであって、それらの第一の被写体参照テンプレートは、前記第一の被写体に関連する情報と関連付けて被写体データベースに記憶され、前記被写体データベースは、複数の被写体に関連した被写体参照テンプレートを記憶する、ステップと;
    エリア内で識別すべき第二の被写体を選択するステップと;
    前記被写体データベースから前記第二の被写体に関連した第二の被写体参照テンプレートを取得するステップと;
    前記エリアを描写する一つまたは複数のデジタル画像を取得するステップと;
    前記エリアにおける一または複数の被写体の顔を描いている、前記一つまたは複数のデジタル画像の一つまたは複数の部分を、一つまたは複数の検出された顔画像として検出するステップと;
    検出された一つまたは複数の検出された顔の画像のうち所与の検出された顔画像を、前記第二の被写体参照テンプレートと比較するステップと;
    前記比較に基づいて、前記エリアを捕捉する前記一つまたは複数のデジタル画像において前記第二の被写体を識別するステップとを実行させるものであ
    前記エリアは待合室を含み、前記受け入れ画像は、登録またはトリアージ・エリアを捕捉するよう構成された第一のカメラを使って取得され、前記待合室を描写する前記デジタル画像は、前記待合室を捕捉するよう構成された第二のカメラを使って取得される、
    なくとも一つの非一時的なコンピュータ可読媒体。
JP2019528481A 2016-11-30 2017-11-22 患者識別システムおよび方法 Active JP7107932B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662427833P 2016-11-30 2016-11-30
US62/427,833 2016-11-30
US201762517306P 2017-06-09 2017-06-09
US62/517,306 2017-06-09
PCT/EP2017/079988 WO2018099773A1 (en) 2016-11-30 2017-11-22 Patient identification systems and methods

Publications (2)

Publication Number Publication Date
JP2020502642A JP2020502642A (ja) 2020-01-23
JP7107932B2 true JP7107932B2 (ja) 2022-07-27

Family

ID=60661898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528481A Active JP7107932B2 (ja) 2016-11-30 2017-11-22 患者識別システムおよび方法

Country Status (5)

Country Link
US (1) US10997397B2 (ja)
EP (1) EP3549059A1 (ja)
JP (1) JP7107932B2 (ja)
CN (1) CN110050276B (ja)
WO (1) WO2018099773A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110088765B (zh) * 2016-12-21 2023-01-03 松下知识产权经营株式会社 对照装置和对照方法
JP2020533702A (ja) 2017-09-13 2020-11-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対象者識別システム及び方法
JP7199426B2 (ja) 2017-09-13 2023-01-05 コーニンクレッカ フィリップス エヌ ヴェ 対象者の識別のためのカメラ及び画像校正
CN109858354B (zh) * 2018-12-27 2022-01-25 厦门市美亚柏科信息股份有限公司 一种人脸身份库、轨迹表建立和人脸轨迹查询方法和系统
CN110765846B (zh) * 2019-09-05 2022-09-30 北京旷视科技有限公司 抓拍机推图测试方法及装置
US11475997B2 (en) 2020-02-21 2022-10-18 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for automated healthcare services
US11501875B1 (en) * 2022-01-11 2022-11-15 inFormed Consent LLC Informed patient consent through video tracking

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109275A (ja) 2009-11-13 2011-06-02 Victor Co Of Japan Ltd 映像処理装置および映像処理方法
JP2013186495A (ja) 2012-03-05 2013-09-19 Glory Ltd 販売管理システム、販売管理装置及び販売管理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8995715B2 (en) 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
US20100002941A1 (en) * 2006-11-14 2010-01-07 Koninklijke Philips Electronics N.V. Method and apparatus for identifying an object captured by a digital image
JP2009025874A (ja) * 2007-07-17 2009-02-05 Nec Corp 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
JP2011095948A (ja) * 2009-10-29 2011-05-12 Toshiba Corp 受診者確認装置及び受診カード作成装置
MX347895B (es) 2011-08-01 2017-05-18 Koninklijke Philips Nv Dispositivo y método para obtener y procesar lecturas de medición de un ser vivo.
WO2013030745A1 (en) 2011-09-02 2013-03-07 Koninklijke Philips Electronics N.V. Camera for generating a biometrical signal of a living being
KR20130118512A (ko) 2012-04-20 2013-10-30 경희대학교 산학협력단 얼굴 인식을 통한 환자 상태 모니터링 시스템 및 이를 이용한 환자 상태 모니터링 서비스 제공 방법
BR112015011573A2 (pt) 2012-11-23 2017-07-11 Koninklijke Philips Nv dispositivo de monitoramento remoto, método de monitoramento remoto e programa de computador
EP2767232A1 (en) 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
US11272142B2 (en) * 2013-03-06 2022-03-08 Koninklijke Philips N.V. System and method for determining vital sign information
US9125606B2 (en) 2013-03-13 2015-09-08 Koninklijke Philips N.V. Device and method for determining the blood oxygen saturation of a subject
JP6427973B2 (ja) * 2014-06-12 2018-11-28 オムロン株式会社 画像認識装置及び画像認識装置への特徴量データ登録方法
JP6544900B2 (ja) * 2014-09-17 2019-07-17 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム
US20170004507A1 (en) 2015-07-02 2017-01-05 Google Inc. Identifying consumers in a transaction via facial recognition
CN106372566A (zh) 2015-07-23 2017-02-01 深圳市飞思未来云媒体科技有限公司 一种基于数字标牌紧急疏散系统及方法
US10631743B2 (en) * 2016-05-23 2020-04-28 The Staywell Company, Llc Virtual reality guided meditation with biofeedback

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109275A (ja) 2009-11-13 2011-06-02 Victor Co Of Japan Ltd 映像処理装置および映像処理方法
JP2013186495A (ja) 2012-03-05 2013-09-19 Glory Ltd 販売管理システム、販売管理装置及び販売管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岩井儀雄, 外3名,"画像処理による顔検出と顔認識",情報処理学会研究報告,日本,社団法人情報処理学会,2005年05月13日,第2005巻, 第38号,p.343-368

Also Published As

Publication number Publication date
CN110050276A (zh) 2019-07-23
US20190362137A1 (en) 2019-11-28
JP2020502642A (ja) 2020-01-23
EP3549059A1 (en) 2019-10-09
US10997397B2 (en) 2021-05-04
CN110050276B (zh) 2023-09-29
WO2018099773A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
US10832035B2 (en) Subject identification systems and methods
JP7199426B2 (ja) 対象者の識別のためのカメラ及び画像校正
CN111344715B (zh) 对象识别系统和方法
JP7107932B2 (ja) 患者識別システムおよび方法
US20220036055A1 (en) Person identification systems and methods
US11694809B2 (en) Patient monitoring systems and methods
US20190267136A1 (en) Queue for patient monitoring
JP2020501634A (ja) 患者モニタリング・システムおよび方法
JP7299923B2 (ja) 個人識別システムおよび方法
WO2019137886A1 (en) Capturing subject data in dynamic environments using mobile cameras

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190603

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220714

R150 Certificate of patent or registration of utility model

Ref document number: 7107932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150