JP7199426B2 - 対象者の識別のためのカメラ及び画像校正 - Google Patents

対象者の識別のためのカメラ及び画像校正 Download PDF

Info

Publication number
JP7199426B2
JP7199426B2 JP2020514706A JP2020514706A JP7199426B2 JP 7199426 B2 JP7199426 B2 JP 7199426B2 JP 2020514706 A JP2020514706 A JP 2020514706A JP 2020514706 A JP2020514706 A JP 2020514706A JP 7199426 B2 JP7199426 B2 JP 7199426B2
Authority
JP
Japan
Prior art keywords
camera
images
face
subject
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020514706A
Other languages
English (en)
Other versions
JP2020533701A5 (ja
JP2020533701A (ja
Inventor
ハーイボー ワン
ゾン コルネリス コンラドゥス アドリアヌス マリア ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020533701A publication Critical patent/JP2020533701A/ja
Publication of JP2020533701A5 publication Critical patent/JP2020533701A5/ja
Application granted granted Critical
Publication of JP7199426B2 publication Critical patent/JP7199426B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Description

[0001] 本開示は概して、限定するわけではないが、(デジタル画像のストリームを含む)デジタル画像における人を識別することに関する。より具体的には、限定するわけではないが、本明細書に開示されている様々な方法及び装置は、病院の待合室などのエリアにいる人が識別され得るように、デジタル画像(又は、そのストリーム)における人を識別するためにカメラ設定及び/又は画像を校正することに関する。
[0002] 人を含むシーンを捕捉したデジタル画像に基づいて、人(又は「対象者」)を自動的に識別することが望ましいものである多くのシナリオが存在する。例えば、患者が病院を訪れるとき、患者は、典型的には登録され、トリアージされ、次に、患者を検査及び/又は処置するために医師などの病院リソースが利用可能になるのを待つための待合室などのエリアに送られる。個々の患者を自動的に識別することができることは、患者が医療リソースの割当てを待つ間に(例えば悪化について)患者の症状を監視することに役立つ。それは、患者が診察を受けずに去った(LWBS)か否か/いつ去ったかを判定するためにも役立つ。デジタル画像に基づいて人を自動的に識別することは、例えば空港、鉄道の駅、国境検問所、ジム及びフィットネスセンター、様々なビジネスなどの様々な他のコンテキストにおいても有用である。
[0003] いくつかの状況において、複数人の対象者を含むデジタル画像における個々の対象者を識別することが所望される。例えば、待合室においてカメラにより捕捉されたデジタル画像は、待っている患者に加えて、例えば患者とともに待つ友人、親類などの他の人を写し出す可能性がある。顔検出技術は、デジタル画像におけるすべての顔を検出するが、どの顔が患者に属するか、及び、どれが他者、例えばスタッフ又は同伴者に属するかが明確ではない場合がある。さらに、待合室などの監視されるエリアにおける対象者がカメラを見ない可能性がある。代わりに、対象者は、対象者の電話、雑誌、お互いなどを見る場合がある。したがって、写し出された顔が検出された場合でも、対象者の生の状態において写し出された検出された顔は、登録時に、例えば、対象者がカメラを直接見得るときに獲得された取り込み画像におけるものとは実質的に異なるように見受けられる。加えて、エリアにおける光の状態は、時間とともに(例えば日中と夜間との間で)、及び/又は、物理的空間にわたって変動する。
[0004] 本開示は、獲得されたデジタル画像に写し出された人を自動的に識別するための方法、システム、及び装置に関する。非限定的な一例として、複数のトリアージされた患者は、患者が救急医療医師により診察可能になるまで、待合室において待つ。患者は、例えば、トリアージ看護師により患者から取得/獲得された情報、及び、他のデータ点、例えば患者の待ち時間、患者の存在などに基づいて決定された各患者に関連した重症度の尺度(本明細書において「患者重症度尺度」と呼ばれる)に基づいて順序付けられた、又はランク付けされた患者監視キュー(単に「患者キュー」とも呼ばれる)に含められる。この特定のシナリオにおいて待合室に搭載された1つ又は複数の「生命兆候獲得カメラ」が、各患者からのもう1つの更新された生命兆候及び/又は生理学的パラメータの非接触の、及び/又は目立たない獲得を、定期的に実施するように構成される。これらの更新された生命兆候及び/又は生理学的パラメータとして、体温、脈拍数、酸素飽和度(「SpO」)、呼吸速度、姿勢、汗などが挙げられるが、これらに限定されない。
[0005] 特定の患者であって、生命兆候獲得カメラがその特定の患者から更新された生命兆候を獲得しなければならない、その特定の患者を識別するために、本明細書において説明される技術が、「登録された」対象者-例えば、登録された、及び/又はトリアージされた患者-を、1つ又は複数のカメラにより獲得された1つ又は複数のデジタル画像において捕捉されたシーンに写し出された「検出された」対象者と照合するために使用される。より概括的には、本明細書において説明される技術は、例えば、(本明細書において「登録された対象者」と呼ばれる)監視される対象者の各々から1つ又は複数の参照画像を収集すること、各参照画像から参照テンプレート及び/又は対応する特徴ベクトルを抽出すること、及び、後からそれらの対象者参照テンプレート及び/又は特徴ベクトルを使用して、後から捕捉されたデジタル画像において対象者を識別することとにより、デジタル画像(例えば1つの画像及び/又はデジタル画像のストリーム、例えばビデオフィード)に写し出された対象者を識別するために様々な場面において実施される。
[0006] 概して、一態様において、方法は、第1のエリアにおける複数人の対象者の顔を写し出した複数の第1のカメラ顔画像を、第1のエリアにおける第1のカメラを使用して獲得することと;複数の第1のカメラ顔画像のうちの第1のカメラ顔画像の各々に対して、第1のカメラ顔画像に写し出された顔の視覚属性測定結果を特定し、第1のカメラ顔画像に写し出された顔の視覚属性測定結果に基づいて、複数の所定の分類のうちの1つに第1のカメラ顔画像を割り当てることを行うことと;複数の分類のうちの各分類に対して、当該分類に割り当てられた複数の第1のカメラ顔画像のうちの幾つかの第1のカメラ顔画像間において共有された第1のカメラ分類ディストリビューションを特定することと;第2のエリアにおける対象者の顔を写し出した複数の第2のカメラ顔画像を、第2のエリアにおける第2のカメラを使用して獲得することと;複数の第2のカメラ顔画像のうちの第2のカメラ顔画像の各々に対して、第2のカメラ顔画像に写し出された顔の視覚属性測定結果を特定し、第2のカメラ顔画像に写し出された顔の視覚属性測定結果に基づいて、複数の所定の分類のうちの1つに第2のカメラ顔画像を割り当てることを行うことと;複数の分類のうちの各分類に対して、当該分類に割り当てられた複数の第2のカメラ顔画像のうちの幾つかの第2のカメラ顔画像間において共有された第2のカメラ分類ディストリビューションを特定することと;識別されていない対象者の顔を写し出した後続の顔画像を、第2のカメラを使用して獲得することと;後続の顔画像に写し出された識別されていない対象者の顔の視覚属性測定結果を特定することと;後続の顔画像に写し出された顔の視覚属性測定結果に基づいて、複数の所定の分類のうちの所与の所定の分類に、後続の顔画像を割り当てることと;校正された後続の顔画像を生成するために後続の顔画像に調節を適用することであって、調節を適用することが、所与の所定の分類に関連した第1のカメラ分類ディストリビューションと第2のカメラ分類ディストリビューションとに基づく、適用することと;校正された後続の顔画像の1つ又は複数の特徴と、複数の第1のカメラ顔画像及び複数の第2のカメラ顔画像のうちの何れか又は両方の1つ又は複数の特徴との比較に基づいて、識別されていない対象者の識別情報を特定することとを有する。
[0007] 様々な実施形態において、第1のカメラ分類ディストリビューションは、分類に割り当てられた複数の第1のカメラ顔画像のうちの第1のカメラ顔画像のRGBヒストグラムに関連した第1の統計量を含み、第2のカメラ分類ディストリビューションは、分類に割り当てられた複数の第2のカメラ顔画像のうちの第2のカメラ顔画像のRGBヒストグラムに関連した第2の統計量を含む。様々なバージョンにおいて、第1の統計量は、分類に割り当てられた複数の第1のカメラ顔画像のうちの第1のカメラ顔画像のRGBヒストグラムの平均ヒストグラムを含み、第2の統計量は、分類に割り当てられた複数の第2のカメラ顔画像のうちの第2のカメラ顔画像のRGBヒストグラムの平均ヒストグラムを含む。
[0008] 様々な実施形態において、方法は、分類に割り当てられた複数の第1のカメラ顔画像のうちの第1のカメラ顔画像のRGBヒストグラムを正規化することと、分類に割り当てられた複数の第2のカメラ顔画像のうちの第2のカメラ顔画像のRGBヒストグラムを正規化することとをさらに有する。
[0009] 様々な実施形態において、調節は、ヒストグラム修正を含む。様々な実施形態において、本方法は、第2のカメラのアパーチャを第1のカメラのアパーチャに校正することをさらに有する。様々な実施形態において、本方法は、第2のカメラのシャッター速度を第1のカメラのシャッター速度に校正することをさらに有する。様々な実施形態において、本方法は、第2のカメラのホワイトバランスを第1のカメラのホワイトバランスに校正することをさらに有する。様々な実施形態において、複数の所定の分類は、複数の皮膚の色調の範囲を含む。
[0010] 密接に関連した態様において、別の方法は、第1のカメラにより捕捉された第1の複数のデジタル画像を、第1の複数のデジタル画像の1つ又は複数の視覚属性に基づいて、複数の所定のカテゴリにカテゴリ分けすることであって、第1の複数の画像のうちの各デジタル画像が、第1のエリアにいる複数人の対象者のうちの1人を写し出す、第1の複数のデジタル画像を複数の所定のカテゴリにカテゴリ分けすることと、第2のカメラにより捕捉された第2の複数のデジタル画像を、第2の複数のデジタル画像の1つ又は複数の視覚属性に基づいて、同じ複数の所定のカテゴリにカテゴリ分けすることであって、第2の複数のデジタル画像のうちの各デジタル画像が、第2のエリアにいる複数人の対象者のうちの少なくとも1人を写し出す、第2の複数のデジタル画像を同じ複数の所定のカテゴリにカテゴリ分けすることと、第2のエリアにいる未知の対象者を写し出した後続のデジタル画像を第2のカメラを使用して獲得することと、後続のデジタル画像の1つ又は複数の視覚属性に基づいて、後続のデジタル画像を複数の所定のカテゴリのうちの所与の所定のカテゴリにカテゴリ分けすることと、所与の所定のカテゴリにカテゴリ分けされた第1の複数のデジタル画像のうちの1つ又は複数のデジタル画像と、所与の所定のカテゴリにカテゴリ分けされた第2の複数のデジタル画像のうちの1つ又は複数のデジタル画像との間の関連に基づき、後続のデジタル画像を調節すること、調節された後続のデジタル画像の分析に基づいて、未知の対象者の識別情報を識別することとを有する。
[0011] システム及び非一時的なコンピュータ可読媒体が、前述の方法の実施を可能にするために本明細書においてさらに説明されている。前述の概念及び以下でさらに詳細に説明される追加的な概念のすべての組合せは(このような概念が相互に矛盾しないことを条件として)、本明細書において開示されている主題の一部であると想定されることが理解されなければならない。特に、本開示の末尾に記載されている請求項に記載された主題のすべての組合せが、本明細書において開示されている主題の一部であると想定される。参照により組み込まれる任意の開示にも現れる本明細書において明示的に使用される用語は、本明細書において開示されている特定の概念に最も整合する意味が与えられなければならないことも理解されなければならない。
[0012] 図面において、同様の参照符号は全体を通して、異なる図面にわたって同じ部分を表す。さらに、図は一定の縮尺とは限らず、代わりに全体を通して本開示の原理を示すことに重点が置かれている。
[0013] 様々な実施形態による、開示される技術を使用してデジタル画像において識別された患者を監視するための概括的な工程フローを概略的に示す図である。 [0014] 様々な実施態様による、本開示の様々なコンポーネントが本開示の選択された態様を実施する例示的な環境を示す図である。 [0015] 様々な実施形態による、開示される技術が実施される例示的なシナリオを示す図である。 [0016] 本開示の様々な態様を実施するための例示的なコンポーネント及び動作を示す図である。 [0017] 様々な実施形態による、対象者参照テンプレート及び対応するテンプレート特徴ベクトルが取り込みデジタル画像からどのように生成されるかについての例を示す図である。 [0018] 様々な実施形態による、対象者がカメラの視野に入ること、及び/又は、カメラの視野から去ることがどのように検出されるかについての例を示す図である。 [0019] 様々な実施形態による、検出された顔画像が例えば前を向くようにどのように正規化されるかについての一例を示す図である。 [0020] 様々な実施形態による、対象者参照テンプレートが取り込みデジタル画像からどのように選択されるかについての例を図5よりさらに詳細に示す図である。 [0021] 様々な実施形態による、監視されるエリアにおいて対象者がどのように識別されるかについての一例を示す図である。 [0022] 様々な実施形態による、本開示の選択された態様を実施する例示的な方法を示す図である。 [0023] 様々な実施形態による、画像が複数のカメラ間においてどのように校正されるかの一例を示す図である。 [0024] 様々な実施形態による、本開示の選択された態様を実施するための例示的な方法を示す図である。 [0024] 様々な実施形態による、本開示の選択された態様を実施するための例示的な方法を示す図である。 [0024] 様々な実施形態による、本開示の選択された態様を実施するための例示的な方法を示す図である。 [0025] 例示的なコンピュータシステムのコンポーネントを示す図である。
[0026] 図1は、概して、開示されている技術を使用して患者がどのように監視されるかについて概略的に示す。特に、受付及び/又は登録及び/又はトリアージステーション又はブースを含む事前待合室エリアにおいて、例えば事前待合室エリア102において発生する動作及びアクションが示される。加えて、待合室104において発生する動作及びアクションが示される。図1のシーケンスは限定することを意味しておらず、他のシーケンスが可能であることが理解されなければならない。
[0027] ブロック106において、新しい患者が例えば受付カウンター(図示されていない)における確認後に事前待合室エリア102に入り、及び/又は近づく。ブロック108において、新しい患者が登録される。登録は、例えば、患者に関する情報、例えば、患者の名前、年齢、性別、保険情報、及び来院の理由を収集することを有する。典型的には、限定するわけではないが、この情報は、医療関係者、例えば、受付係又は登録係によりコンピュータに手動で入力される。いくつかの実施形態において、患者の1つ又は複数の参照デジタル画像が、例えば、医療関係者により操作されるコンピューティングデバイスに統合されたカメラにより、独立型カメラにより、及び/又は、生命兆候獲得カメラにより(この場合、少なくともいくつかの生命兆候がベースラインを提供するために登録時に任意選択的に獲得される)獲得される。以下でより詳細に説明されるように、いくつかの実施形態において、ブロック108において登録中にカメラにより獲得されたデジタル画像は、「取り込みデジタル画像」と呼ばれる。これらの取り込みデジタル画像の部分集合-及びいくつかの場合において、例えば顔を写し出したこれらの画像の選択されたサブ部分-は、待合室104などのエリアにおける患者(又は、より概括的には「対象者」)を識別するために後で使用され得る「対象者参照テンプレート」として選択的に保持される。
[0028] 多くの例において、医療関係者はさらに、ブロック110において、様々な医療器具を使用して、様々な初期生命兆候及び/又は生理学的パラメータを獲得する。これらの初期生命兆候及び/又は生理学的パラメータとして、血圧、脈拍数、グルコースレベル、SpO、フォトプレチスモグラム(「PPG」)、呼吸速度(すなわちブリージングレート)、体温、皮膚色などが挙げられるが、これらに限定されない。いくつかの実施形態において、患者は、患者の病気の重症度をランク付けするために使用される尺度である、及び、救急治療室リソースの予測される必要性を示す、いわゆる「患者重症度尺度」を割り当てられる。救急重症度指数(「ESI」)、台湾トリアージシステム(「TTS」)、カナダトリアージ重症度スケール(「CTAS」)などが挙げられるがこれらに限定されない患者重症度尺度を決定する、及び/又は割り当てるために、任意の数の一般的に使用される指標、スケール及び/又は臨床意思決定支援(「CDS」)アルゴリズムが使用される。例えば、いくつかの実施形態において、患者の生命兆候は、患者の初期患者重症度尺度及び/又は患者キュー内の患者の初期位置を決定するために、システムデータベースに記憶された既定の生命兆候閾値と、又は、所与の患者の年齢、性別、体重などに対して典型的な公開された、又は知られた生命兆候値と比較される。いくつかの実施形態において、患者に関する様々な生理学的な、及び他の情報が、1つ又は複数の重症度尺度を導出するために、訓練されたモデル(例えば、回帰モデル、ニューラルネットワーク、深層学習ネットワークなど)、ケースベースの推論アルゴリズム、又は、他の臨床推論アルゴリズムにわたる入力として適用される。いくつかの実施形態において、重症度尺度を導出するために使用される情報は、生命兆候獲得カメラにより捕捉される生命兆候又は他の情報を含み、或いは、さらには、生命兆候獲得カメラにより捕捉される生命兆候又は他の情報に完全に制限される。いくつかの実施形態において、重症度尺度を導出するために使用される情報は、代替的に、又は追加的に、例えば、患者の以前の電子医療記録(「EMR」)からの情報、トリアージにおいて患者から獲得された情報、装着型デバイス又は患者により持ち運ばれる他のセンサーからの情報、待合室にいる他の患者又は人に関する情報(例えば、部屋にいる他の人の生命兆候)、家族、又は患者に関連した他の人に関する情報(例えば家族のEMR)などの情報を含む。
[0029] 患者が登録及び/又はトリアージされた後、ブロック112において、患者は、待合室104に向かわされる。多くのシナリオにおいて、図1の動作は、わずかに異なる順序で行われる。例えば、いくつかの場合において、患者は、まず登録されて、次に、患者がトリアージされ得るまで待合室に行き、及び、その後、トリアージ後のある時点において(すぐに、又は待合室に戻された後に)医師のもとに送られる。いくつかの病院において、患者がまずトリアージされた後、待合室に行くか、又は直接医師の診察を受け、これらの場合において、それぞれ、待合室において、又は、患者が医師により安定にされた後、患者が登録される。
[0030] ブロック114において、例えば1つ又は複数のカメラ、センサー、又は医療関係者からの入力を使用して、患者が待合室を去ったか判定される。ブロック114は、(例えば、生命兆候が捕捉される対象となる患者のキューの最上位に患者が来たとき、患者を位置特定しようと試みる探索機能、例えば、以下で説明されるブロック120の実行、又は、以下で説明されるブロック118及び120を含むループの複数回の実行時に、生命兆候を捕捉するために部屋にいる各人を循環することの一部として)現在待合室にいる各人をスキャンすること、及び、患者がいなかったことを特定することを有する。いくつかの実施形態において、システムは、一時的な不在(例えば、洗面所に行っていること、又は、臨床スタッフと話していること)を考慮するために、患者が待合室を去ったとみなされる前に、患者の行方不明の事例が所定の数に達するまで、又は、患者が行方不明である間に所定の期間が経過するまで待つ。例えば、患者が医師の診察を受ける順番が来たという理由から、患者が適切な状態でERに連れて行かれた可能性がある。又は患者が待っている間に患者の症状が改善されて、患者が病院を去ることにつながった可能性がある。又は、患者は、待ちきれなくなって別の場所でケアを受けようとして去った可能性がある。どのような理由であれ、患者が少なくとも閾値時間長にわたって待合室を去ったと判定された場合、ブロック116において、患者は診察を受けずに去ったとみなされ、例えば、登録された患者が入れられたキューから患者を除去することにより、システムから解放される。
[0031] ブロック118において、待合室104にいる1人又は複数人の患者が監視のために選択される。例えば、いくつかの実施形態において、すべての患者に対して設定された、又は、重症度尺度に基づいて設定された(例えば逆相関させられた)時間閾値により決定されるように、最高の患者重症度尺度を付与された患者、又は、最近監視されていない最高の重症度尺度を付与された患者を選択するために、ブロック108~110において取得された登録情報を記憶したデータベース(例えば図4における対象者参照データベース412)が検索される。他の実施形態において、待合室にいる複数の患者に関連した登録情報は、例えば、待ち時間、待合室における患者の存在などの他の尺度に加えて、又は他の尺度の代わりに、例えば、患者のそれぞれの患者重症度尺度により、患者監視キューにおいてランク付けされる(例えば、行方不明の患者は、繰り返し不在となる場合、その患者が解放されなければならないか否かを判定するために、より頻繁に監視のために選択される)。さらに異なる他の実施形態において、患者監視キューをランク付けする場合、患者重症度尺度は考慮されなくてよく、代替的に、患者の待ち時間、患者の存在などの考慮のみが検討されてよい。さらに違う他の実施形態において、患者は、例えば、待合室104における椅子又はカウチの並びにより決められた例えば決定された所定のスキャン順序により、単に1人ずつ選択される。
[0032] しかし、このような患者監視キューはランク付けされ、いくつかの実施形態において、キューにおける最初の患者が、次に監視される者として選択される。患者監視キューが患者重症度尺度により順序付けられた物理的なメモリの位置の並びとして記憶されることが(可能ではあるが)必要とされるわけではない。むしろ、いくつかの実施形態において、ランク付けされた患者監視キューは、各患者に関連したランク又は優先度レベル値を含むにすぎない場合がある。言い換えると、本明細書において説明されている「患者監視キュー」は、患者重症度尺度、待ち時間などに基づいて論理的にランク付けされた「論理的な」キューを表し、メモリ位置の連続した並びを表すとは限らない。患者は、患者監視キュー内の患者のそれぞれのランク付けの順序により、ブロック118において、監視のために選択される。
[0033] ブロック120において、ブロック118において選択された患者は、待合室104において位置特定される。様々な実施形態において、1つ又は複数のカメラ、例えば、1つ又は複数の生命兆候獲得カメラ(図1には示されておらず、図2及び図3を参照されたい)、又は、待合室104に、又は待合室104付近に配備された他のより前の従来のカメラが、待合室104にいる患者の1つ又は複数のデジタル画像を獲得するために、動作させられる(例えば、パンされる、傾けられる、ズームされるなど)。以下でより詳細に説明されるように、それらの獲得されたデジタル画像は、ブロック108における登録中に捕捉された1つ又は複数の参照患者画像(多くの場合、本明細書において「対象者参照テンプレート」と呼ばれる)と比較される。いくつかの実施形態において、機械学習モデル、例えば訓練された畳み込みニューラルネットワークを使用して抽出されたそれらの獲得されたデジタル画像の特徴が、登録された患者に関連した対象者参照テンプレートの同様に抽出された特徴と比較される。
[0034] ブロック122において待合室104に、又は待合室104付近に搭載された、又は別様に配備された1つ又は複数の生命兆候獲得カメラが、ブロック118において選択された、及び、ブロック120において位置特定された患者からの1つ又は複数の更新された生命兆候及び/又は生理学的パラメータの目立たない(例えば非接触の)獲得を実施するように動作させられる。これらの生命兆候獲得カメラは、血圧、脈拍数(又は、心拍数)、皮膚色、呼吸速度、SpO、体温、姿勢、汗のレベルなどが挙げられるがこれらに限定されない、患者からの様々な異なる生命兆候及び/又は生理学的パラメータを(患者に物理的に接触せずに)獲得するように構成される。いくつかの実施形態において、生命兆候獲得カメラは、いわゆる「非接触方法」を実施して患者からの生命兆候を獲得するように、及び/又は生理学的情報を抽出するように具備され、並びに、医療画像デバイスとして使用される。このようなカメラの非限定的な例は、すべての目的のために参照により本明細書に組み込まれる米国特許出願公開第20140192177(A1)号、第20140139656(A1)号、第20140148663(A1)号、第20140253709(A1)号、第20140235976(A1)号、及び米国特許第9125606(B2)号において説明されている。他の実施形態において、従来のカメラからの画像及び/又はビデオストリームが生命兆候を抽出するために分析される。
[0035] ブロック124において、ブロック122において獲得された更新された生命兆候及び/又は生理学的パラメータと、以前に獲得された生命兆候及び/又は生理学的パラメータ(例えばブロック110において獲得された初期生命兆候、又は、生命兆候獲得カメラにより獲得された以前の繰り返しによる更新された生命兆候/生理学的パラメータ)との比較に基づいて、患者の症状が変化したか否かが、例えば(以下で説明される)図2に示される1つ又は複数のコンポーネントにより判定される。例えば、患者が待っている間に患者の脈拍数、呼吸速度、血圧、SpO、PPG、体温などが上昇又は低下したか否かが判定される。判定結果が「いいえ(no)」である場合、制御がブロック118に戻るように進み、新しい患者(例えば2番目に高い患者重症度尺度を付与された患者)が選択され、制御がブロック120に戻るように進む。しかし、ブロック124における判定結果が「はい(yes)」である(すなわち患者の症状が変化した)場合、制御はブロック126に進む。いくつかの実施形態において、患者の症状は、監視順序を決定することを目的として使用される同じ重症度尺度により(少なくとも部分的に)表される。
[0036] ブロック126において、ブロック124において検出された変化に基づいて医療的なアラートが許可されるか否か(この場合も図2の1つ又は複数のコンポーネントにより)判定される。例えば、1つ又は複数の生命兆候又は患者重症度尺度の変化が1つ又は複数の閾条件を満たすか否か(例えば、この特定の患者に対して安全とみなされるレベルより高くまで血圧が上昇したか?)が判定される。判定結果が「はい(yes)」である場合、制御はブロック128に進む。ブロック128では、例えば勤務中の看護師又は他の医療関係者に、患者が悪化していることのアラームが出力される。次に、医療関係者が患者を検査して、治療のためのアクション、例えば医師の診察を受けるためにEDにすぐに入れることが許可されるか否かを判定する。いくつかの実施形態において、制御は、次に、ブロック118に戻るように進む。しかし、ブロック126における判定結果が「いいえ(no)」である場合、いくつかの実施形態において、制御はブロック118に戻るように進む。
[0037] 図2は、様々な実施形態による、開示される技術を実施するために使用される例示的なコンポーネントを示す。病院情報システム240は、病院、診療所などにおいて一般的に見られる種類のものである。病院情報システム240は、1つ又は複数のコンピュータネットワーク(図示されていない)を介して接続されてよい、又は、接続されなくてよい1つ又は複数のコンピューティングシステムを使用して実施される。病院情報システム240は、とりわけ、登録モジュール242、トリアージモジュール244、解放モジュール246、及びアラームモジュール248を含んでよい。モジュール242~248のうちの1つ又は複数、或いは、本明細書において説明される任意の他のモジュール又はエンジンは、メモリに記憶された命令を実行する1つ又は複数のマイクロプロセッサを含む、ハードウェアとソフトウェアとの任意の組合せを使用して実施されてよい。例えば、登録モジュール242は、プロセッサにおいて実行する登録に関連した本明細書において説明される機能を実施する登録命令を含み、トリアージモジュール244は、同じプロセッサにおいて実行するトリアージに関連した本明細書において説明される機能を実施するトリアージ命令を含む。同様の基本的なハードウェア及びソフトウェアが、本明細書において説明される他の「モジュール」を実施するために使用される。
[0038] 登録モジュール242は、新しい患者の登録情報を、例えば、勤務中の看護師からの手動入力として受信するように構成される。これは、患者の名前、年齢、保険情報などを含む。トリアージモジュール244は、例えば、生命兆候、例えば、前述したもの、及び/又は他の生理学的データ、例えば、体重、身長、患者の来院の理由などを、例えば、勤務中の看護師からの手動入力として、又は、ネットワーク接続された医療機器から直接的に受信するように構成される。様々な実施形態において、トリアージモジュール244により受信された生命兆候及び/又は患者重症度尺度(例えば図2におけるESI)は、例えば、病院情報システム240に関連した1つ又は複数のデータベース(図示されていない)における、登録モジュール242により受信された対応する患者情報と関連付けられる。
[0039] アラームモジュール248は、患者の悪化などの様々なイベントを示す情報を受信し、それに応答して、様々なアラーム及び/又はアラートを発するように構成される。これらのアラーム及び/又はアラートは、(例えば病院職員にとって視認可能なディスプレイスクリーンにおける)視覚出力、インターコムによる告知、テキストメッセージ、電子メール、音声アラート、触覚アラート、ポケベル、ポップアップウィンドウ、点滅光などが挙げられるがこれらに限定されない様々なモダリティを使用して出力される。病院情報システム240のモジュール242~248は、例えば、1つ又は複数のコンピュータネットワーク(図示されていない)を介して、病院情報システムインターフェース250(図2における「H.I.S.インターフェース」)に動作可能に結合される。
[0040] 病院情報システムインターフェース250は、従来の病院情報システム240と本開示の選択された態様を使用して構成された患者監視システム252との間のインターフェースとして機能する。様々な実施形態において、病院情報システムインターフェース250は、患者に関する様々な情報、例えば、登録情報、患者重症度尺度(例えばESI)、処方された、及び/又は投与された薬剤、患者が解放されたか否か、様々なアラーム/アラートなどを、例えば患者監視システム252の他のモジュールに公開する。以下で説明されるように、いくつかの実施形態において、これらの公開内容は、イベント公開及びサブスクライブ(「EPS」)モジュール270に提供され、EPSモジュール270が、次に、データベース272にそれらを選択的に記憶し、及び/又は、患者監視システム252の他のモジュールにそれらを選択的に公開する。いくつかの実施形態において、病院情報システムインターフェース250は、追加的に、又は代替的に、他のモジュールにより提供される1つ又は複数のアラート又は公開内容をサブスクライブする。例えば、病院情報システムインターフェース250が、患者が悪化していることを病院情報システム240の適切なコンポーネント、例えばアラームモジュール248に通知するように、例えば、病院情報システムインターフェース250は、悪化検出モジュール268からアラートをサブスクライブする。EPSは、システムコンポーネント間の通信のために使用され得る多くの可能なプロトコルのうちの1つにすぎず、限定することを意味しない。
[0041] 患者監視システム252は、患者の実際の病状に役立つ手法により患者がサービス提供されることを確実なものとするために、待合室104などのエリアにおける患者の監視を円滑化する様々なコンポーネントを含む。患者監視システム252は、例えば、1つ又は複数のカメラ256とインターフェース接続する患者捕捉モジュール254、患者キューモジュール258、患者識別モジュール260、動的校正モジュール262、顔/胴獲得モジュール264、生命兆候測定モジュール266、悪化検出モジュール268、前述のEPSモジュール270、及び、1つ又は複数のデータベース272、274を含む。上述のように、モジュール250、254、及び258~270の各々は、ハードウェアとソフトウェアとの任意の組合せを使用して実施される。さらに、これらのモジュールは別々に示されているが、そのことは、限定することも、各々が独立したハードウェアにおいて実施されることを示唆することも意味しない。例えば、1つ又は複数のモジュールが組み合わされてよく、及び/又は、省略されてよく、並びに、1つ又は複数のモジュールが、1つ又は複数のコンピュータネットワーク(図示されていない)を介して動作可能に接続された1つ又は複数のコンピューティングシステムにおいて実施されてよい。図2の様々なコンポーネントを接続するように示された線は、これらのコンポーネントにアクセス可能な通信チャンネルを表す。これらの通信チャンネルは、例えば、1つ又は複数のバス、Ethernet、Wi-Fi、Bluetooth、Z-Wave、ZigBee、セルラー通信などの任意の数のネットワーク構築又は他のコンピュータ通信技術を使用して実施される。
[0042] 患者監視システム252は、1つ又は複数の生命兆候獲得カメラ276をさらに含む。1つ又は複数の生命兆候獲得カメラ276は、患者の1つ又は複数の生命兆候及び/又は生理学的パラメータを患者から、ある距離から獲得するように構成される。このような生命兆候獲得カメラの例は、ここまでに説明されている。様々な実施形態において、生命兆候獲得カメラ276は、待合室104などのエリアの異なる部分がそのFOVに包含されるようにパン、チルト、及びズームするように動作可能なパン-チルト-ズーム(「PTZ」)カメラである。この手法により、異なる患者を位置特定するために監視されるエリアをスキャンすることが可能であり、結果として、更新された生命兆候及び/又は生理学的パラメータが目立たずに獲得される。他の実施形態において、1つ又は複数の従来のカメラが、生命兆候獲得カメラ276の代わりに使用される。いくつかのこのような実施形態において、生命兆候情報を抽出するために画像を分析するタスクが生命兆候測定モジュール266に残される。
[0043] 患者捕捉モジュール254は、患者の捕捉された画像データを搬送する1つ又は複数の信号を1つ又は複数のカメラ256から受信する。例えば、いくつかの実施形態において、患者捕捉モジュール254は、カメラ256からビデオストリームを受信する。患者捕捉モジュール254は、患者がいつ存在しているかを検出するために、ビデオストリームに画像処理(例えば、顔検出、セグメント分け、ヒトの形態を検出するための形状検出など)を実施し、検出に応答して、患者の1つ又は複数の参照デジタル画像(例えば、以下で説明される取り込みデジタル画像)を捕捉する。いくつかの実施形態において、カメラ256により捕捉された参照デジタル画像は、生命兆候獲得カメラ276により捕捉されたビデオストリームの個々のフレームより高い分解能で捕捉されるが、常にそのようにされるとは限らない。いくつかの実施形態において、カメラ256は、事前待合室エリア102に、又は事前待合室エリア102付近に配備された独立型カメラ、例えば、ウェブカメラ、PTZカメラ(例えば276)などである。カメラ256により捕捉された取り込みデジタル画像の部分集合が、登録された患者(及び、より概括的には「対象者」)に関連した、及び、監視されるエリアにおいて登録された患者を識別するために、及び/又は位置特定するために後で使用される対象者参照テンプレート及び対応するテンプレート特徴ベクトルを生成するために使用される。
[0044] 患者キューモジュール258は、エリアにおける患者が監視されなければならない順序の、例えばデータベースにおける優先度キューを確立及び/又は維持するように構成される。様々な実施形態において、キューは、様々なパラメータにより順序付けされる。いくつかの実施形態において、キュー内の患者は、患者重症度尺度の順序により(すなわち、医療ケアを受けるための優先度により)ランク付けされる。例えば、ほとんどの重症患者は、重症度の低い患者より頻繁にキューの先頭に配置される。いくつかの実施形態において、更新された生命兆候が、キューの順序に従って、待合室104などの監視されるエリアにおいて待っている患者から獲得される。他の実施形態において、更新された生命兆候は、FIFO又は総当たりの順序により患者から獲得される。他の実施形態において、更新された生命兆候は、生命兆候獲得カメラ276にプログラムされた所定のスキャン軌道に対応した順序により患者から獲得される(例えば、椅子の並びの各々を順番にスキャンする)。
[0045] 患者識別モジュール260は、監視されるエリア(例えば待合室104)において1人又は複数人の患者を位置特定するために、患者捕捉モジュール254により捕捉された対象者参照テンプレート及び/又は対応するテンプレート特徴ベクトルと組み合わされて、生命兆候獲得カメラ276(又は、目立たずに生命兆候を獲得するように構成されていない別のカメラ)により捕捉された1つ又は複数のデジタル画像を使用するために、本開示の選択された態様を使用して構成される。患者識別モジュール260は、患者(対象者)を識別及び位置特定するために、以下で説明される様々な技術を使用して、獲得されたデジタル画像を分析する。以下で説明される図4~図10は、任意のコンテキストにおいて、患者、又はより概括的には対象者を認識/識別/位置特定することの一部として使用される様々な技術の様々な態様を例示する。
[0046] いくつかの実施形態において、患者識別モジュール260は、特定の患者であって、その特定の患者から更新された生命兆候を取得するその特定の患者を探すために監視されるエリアを探索する。例えば、患者識別モジュール260は、例えば、最高の患者重症度尺度を付与されたキュー内の患者である、患者キューモジュール258により選択された患者を探すために監視されるエリアを探索する。いくつかの実施形態において、患者識別モジュール260は、選択された患者が識別されるまで、生命兆候獲得カメラ276が監視されるエリア(例えば待合室104)をスキャンすることをもたらす。
[0047] 動的校正モジュール262は、生命兆候獲得カメラ276の使用を追跡し、必要に応じて生命兆候獲得カメラ276を校正するように構成される。例えば、動的校正モジュール262は、生命兆候獲得カメラ276が特定のPTZ位置を指し示すように指示されたときに常に、生命兆候獲得カメラ276が常に厳密に同じ位置を指し示すことを確実なものとする。PTZカメラは、一定の、又は、少なくとも高頻度な動きをする。したがって、PTZカメラの機械的コンポーネントは、摩耗及び断裂による影響を受ける。小さい機械的エラー/バイアスが蓄積して、生命兆候獲得カメラ276が所与のPTZコマンドに対して経時的に異なる形態により応答することをもたらす。動的校正モジュール262は、例えば、校正ルーチンを時折実行することによりこれを修正し、校正ルーチンでは、標識(例えば、指標、例えば壁の小さいステッカー)が、生命兆候獲得カメラ276を適切に応答させる修正メカニズムを訓練するために使用される。いくつかの実施形態において、動的校正モジュール262は、図4のブロック423の選択された態様を、及び/又は、以下で説明される図11及び図12の選択された態様を実施するが、これが必須とは限らない。
[0048] 患者キューモジュール258により識別された患者が患者識別モジュール260により認識/位置特定された後、顔/胴獲得モジュール264は、1つ又は複数の生命兆候獲得カメラ276の視野が患者の所望の部分を捕捉するように、1つ又は複数の生命兆候獲得カメラ276をパン、チルト、及び/又はズームするように構成される。例えば、いくつかの実施形態において、顔/胴獲得モジュール264は、生命兆候獲得カメラ276が患者の顔及び/又は上部胴体に焦点を当てるように、生命兆候獲得カメラ276をパン、チルト、又はズームする。追加的に、又は代替的に、顔/胴獲得モジュール264は、ある生命兆候獲得カメラ276を主に患者の顔を捕捉するように、及び、別の生命兆候獲得カメラ276を主に患者の胴を捕捉するようにパン、チルト、又はズームする。次に、様々な生命兆候及び/又は生理学的パラメータが獲得される。例えば、生命兆候、例えば患者の脈拍数及びSpOが、生命兆候獲得カメラ276により捕捉された患者の顔のビデオに画像処理を実施することにより、例えば生命兆候測定モジュール266により取得される。生命兆候及び/又は生理学的パラメータ、例えば患者の呼吸速度などは、生命兆候獲得カメラ276により捕捉された患者の胴のビデオに画像処理を実施することにより、例えば生命兆候測定モジュール266により取得される。もちろん、顔及び胴は、生命兆候を取得するために検査される体の部分の2つの例にすぎず、限定することを意味しない。いくつかの実施形態において、生命兆候測定モジュール266がカメラと統合され、このことが、そのカメラが実際に生命兆候獲得カメラ276となることをもたらす。
[0049] 悪化検出モジュール268は、様々な信号及び/又はデータを分析して、登録された患者(又は、さらには、登録されていない同伴者)の症状が悪化している、改善している、及び/又は安定に留まっているか否かを判定するように構成される。いくつかの実施形態において、患者の症状は、監視のための患者の順序を決定するために、上述の同じ患者重症度尺度により少なくとも部分的に表される。したがって、悪化検出モジュール268は、本明細書において説明されている重症度尺度以外の患者症状尺度を評価するために、1つ又は複数のCDS、事例ベースの推論、又は本明細書において説明されている他の臨床推論アルゴリズム、若しくは他の臨床推論アルゴリズム(例えば、訓練されたロジスティック回帰モデル又は、他の機械学習モデル)を含む。いくつかの実施形態において、悪化検出モジュール268により使用される患者重症度又は患者の症状の他の尺度を評価するためのアルゴリズムは、例えば、選択された機械学習モデルに対して新しい訓練された重み(例えばシータ値)を書き込むこと、又は、(例えば、javaアーカイブ(JAR)ファイル又はコンパイルされたライブラリの形態をとる)プロセッサによる実行のための新しい命令を提供することにより、時に応じてアップデートされる。これらの信号は、例えば、(例えば図1のブロック108~110において取得された)患者の初期生命兆候及び他の生理学的情報、生命兆候測定モジュール266により取得された更新された生命兆候、(例えば登録中に計算された)患者の初期患者重症度尺度、及び/又は、(例えば、生命兆候測定モジュール266から受信された更新された生命兆候及び/又は生理学的パラメータに基づいて計算された)患者の更新された患者重症度尺度を含む。
[0050] これらのデータ及び/又は信号を使用して生成された決定に基づいて悪化検出モジュール268は、様々なアクションをとるために、様々な他のモジュールに様々なアラートを送信する。例えば、悪化検出モジュール268は、例えば、EPSモジュールがサブスクライブされたモジュール、例えば、病院情報システム240のアラームモジュール248にアラートを公開し得るように、EPSモジュール270にアラートを送信することによりアラートを公開する。いくつかの実施形態において、このようなアラートは、例えば、患者の名前(又は、より概括的には患者識別子)、写真、ライブビデオストリーム、待合室における患者の最終検出位置、ベースライン生命兆候、1つ又は複数の更新された生命兆候、及び/又は、患者重症度尺度の標示を含む。アラートの受信時、アラームモジュール248は、患者の悪化、及び、とりわけ待合室における患者の最終検出位置について、医療関係者にアラート又はアラームを発する。
[0051] EPSモジュール270は、図2の様々な他のコンポーネントにより出されたイベントを拡散するように構成された一般的な通信ハブである。いくつかの実施形態において、図2に示される他のモジュールのうちのすべて又は少なくともいくつかは、そのモジュールからの何らかの形態の結果/決定/演算/判断を示すイベントを生成する。これらのイベントは、EPSモジュール270に送信又は「公開」される。図2に示される他のモジュールのうちのすべて又は一部は、任意の他のモジュールからの任意のイベントを受信又は「サブスクライブ」することを選択する。EPSモジュール270がイベントを受信した場合、EPSモジュール270は、そのイベントをサブスクライブしたすべてのモジュールに、イベントを示すデータを送信(例えば、イベントを転送)する。
[0052] いくつかの実施形態において、EPSモジュール270は、1つ又は複数のデータベース、例えばデータベース272及び/又は(任意選択的であってよい)アーカイブ274と通信する。いくつかの実施形態において、EPSモジュール270は、任意のモジュールからリモートプロシージャコール(「RPC」)を受け入れて、1つ又は複数のデータベース272及び/又は274に記憶された情報へのアクセスを提供し、並びに/或いは、他のモジュールから受信された情報(例えばアラート)をデータベース272及び/又は274に追加する。(いくつかの実施形態において対象者参照データベース412と同じである)データベース272は、アラート、公開内容、又は、図2における1つ又は複数の他のモジュールにより送られた/ブロードキャストされた/送信された他の通信に含まれる情報を記憶する。いくつかの実施形態において、データベース272は、例えば、患者及び/又は患者の初期生命兆候に関連した対象者参照テンプレート、(生命兆候獲得カメラ276により獲得された)更新された生命兆候、及び/又は、患者重症度尺度を記憶する。任意選択的なアーカイブ274は、いくつかの実施形態において、より長い期間にわたって同一又は類似の情報を記憶する。
[0053] 患者監視システム252を実施するために様々なハードウェア構成が使用されてよいことが明らかである。例えば、いくつかの実施形態において、1つのデバイス(例えば、生命兆候獲得機能260~266を実施するようにカメラ276を動作させるための、及び、生命兆候分析、及び、悪化検出268及び患者キュー管理258を含むアラート機能を実施するための1つのサーバー)がシステム252全体を実施してよい。他の実施形態において、複数の独立したデバイスがシステム252を形成してよい。例えば、第1のデバイスが生命兆候獲得カメラ276を駆動し、及び機能260~266を実施するとともに、別のデバイスが残りの機能を実施してよい。いくつかのこのような実施形態において、1つのデバイスが待合室に対して現場にあってよいとともに、別のデバイスが遠隔にあってよい(例えば、地理的に離れたクラウドコンピューティングアーキテクチャにおける仮想マシンとして実施される)。いくつかの実施形態において、(例えばプロセッサ及びメモリを含む)デバイスが生命兆候獲得カメラ276自体内に位置してよく、そうした場合、生命兆候獲得カメラ276は、単なる処理能力のない周辺機器でないものであってよく、代わりに、生命兆候機能260~266を実施してよい。いくつかのこのような実施形態において、別のサーバーが、さらなる処理のために生命兆候が返信されることを要求するために、カメラ276に標示(例えば、識別子、完全な記録、又は登録された顔の画像)を提供する。いくつかのこのような実施形態において、追加的な機能、例えば例として、悪化検出268(又は、悪化検出268のための前処理)がカメラ276に内蔵されて提供されてよく、及び/又は、患者キューモジュール258管理がカメラ276内で実施されてよい。いくつかの実施形態において、カメラ276が、HISインターフェース250又はEPS270を実施することさえしてよい。様々な追加的な構成が明らかとなる。
[0054] 図3は、例示的なシナリオを示す。開示される技術が監視を目的として待合室304にいる患者378A~Cを識別するように実施される。この例では、3人の患者378A~Cが医療関係者380による介護を受けるために病院の待合室304において待っている。2つのビデオカメラ376A、376Bが待合室304の表面(例えば天井、壁)に搭載されている。2つのビデオカメラ376A、376Bが、待合室304にいる患者378を監視するために使用される。患者378A~Cは、予備的な患者の症状の分析に基づいて、トリアージ担当の医療関係者(図示されていない)により各々に患者重症度尺度を割り当てられる。患者378が主治医を待っている間、2つのビデオカメラ376A、376Bが、監視のために選択された患者を識別するために本明細書において説明される技術を使用して分析されるデジタル画像を捕捉する。同じビデオカメラ(それらは生命兆候を目立たずに獲得するように構成されることが想定される)又は異なるビデオカメラが、次に、上述のように患者378を監視するように、例えば患者の悪化を検出するように動作させられる。いくつかの実施形態において、患者に関連した患者重症度尺度は、患者が悪化したことの患者監視システム(より具体的には、悪化検出モジュール268)による検出に応答して、医療関係者によりアップデートされる。様々な実施形態において、新しい患者が待合室304に入ったとき、患者監視及び優先順位付けの新しいラウンドが、例えば患者監視システム252により実施される。患者キューは、新しい患者が待合室304に入る度に、例えば患者キューモジュール258により自動的に更新される。追加的に、又は代替的に、医療関係者は、トリアージ後に新たに到着した患者を含むように、患者キューを手動で更新する。
[0055] 本明細書において説明される技術は、病院の待合室に限定されない。デジタル画像又はビデオにおいて対象者を識別/位置特定するために本明細書において説明される技術が実施される多くの他のシナリオが存在する。例えば、開示される技術は、空港、アリーナ、国境検問所、及び他の公共の場における群衆のセキュリティー監視のためにも使用される。このようなシナリオにおいて、患者重症度尺度を決定するために患者を監視するのではなく、他の目的、例えばリスク評価又はイベント後調査のために対象者が識別される。本明細書において説明される技術は、例えばフィットネス環境(例えばジム、療養施設)といったシナリオにおいて、又は、デジタル画像に写し出された個々の対象者の識別が実施される他の監視シナリオ(例えば空港、国境検問所など)においても適用可能である。例えば、空港において、ゲートにおいて待っている対象者は、例えば、ゲートにおいて待っている対象者の画像を、チェックイン時に、及び/又はパスポート/身分証明写真から取得された対象者参照テンプレートと比較することにより識別され得る。加えて、本明細書において説明される技術は、診察を受けずに去った患者を特定するために使用される。
[0056] 図4は、本開示の選択された態様を使用して構成されたコンポーネントの例、及び、それらのコンポーネント間の例示的な相互作用を、比較的高いレベルにおいて概略的に示す。様々な実施形態において、これらのコンポーネントのうちの1つ又は複数が、例えば図2における患者監視システム252の一部、特に患者捕捉モジュール254及び患者識別モジュール260の一部として、ハードウェアとソフトウェアとの任意の組合せを使用して実施されてよい。例えば、図4のコンポーネントは、対象者参照データベース412に患者などの対象者を登録するために、図1のブロック108において使用される。対象者の取り込み情報(例えば、年齢、性別、名称、初期生命兆候など)とともに、複数のビューからの対象者の顔のデジタル画像を含む任意の数の「対象者参照テンプレート」(例えば、異なる角度、異なる顔の表情、異なるライティング状態、異なる頭部位置など)が選択され、例えば医療記録番号(「MRN」)により対象者参照データベース412における対象者に関連付けられる。これらの対象者参照テンプレート(及び、後述のように、これらの対象者参照テンプレートから生成されたテンプレート特徴ベクトル)は、次に、例えば、その視野内において待合室を捕捉する別のカメラ(例えば、生命兆候獲得カメラ276、376)を使用して待合室などのエリアにおける対象者を識別するために、患者識別モジュール260により後で使用される。対象者が識別された後、対象者の位置は、例えば、医療関係者による連絡を受けること、生命兆候を目立たずに獲得されるようにすることなど、様々な目的のために使用され得る。
[0057] 右下から始まり、様々な実施形態による、新たに登録された対象者の取り込み(例えば新しい患者を登録及び/又はトリアージすること)のための、並びに、その対象者の参照テンプレート及び/又は参照特徴ベクトルを対象者参照データベース412に追加するための動作を含む取り込みルーチン402が示される。第1のカメラ456は、本明細書において「取り込み」デジタル画像404と呼ばれるもののうちの1つ又は複数(例えば個々の画像、及び/又は、画像のストリーム、例えばビデオストリーム)を捕捉するように構成される。いくつかの場合において図2におけるカメラ256に対応する第1のカメラ456は、例えば、取り込みエリア(例えば登録及び/又はトリアージ)に位置するウェブカメラ、取り込み者(例えば登録係又はトリアージ看護師)により動作させられるコンピューティングデバイスに統合されたカメラなどの様々な形態をとる。この画像捕捉は、それは、ヒトの介入をほとんど伴わずに、又はまったく伴わずに自動的に発生する(しかし、これは限定することを意味しない)ので、取り込み者と対象者との両方にとって煩わしくない。
[0058] ブロック406において、取り込みデジタル画像404は、例えば、取り込み(例えば登録及び/又はトリアージ)エリアに現在位置する対象者の顔を写し出したデジタル画像404の1つ又は複数の部分を検出するために、カメラ456に動作可能に結合された1つ又は複数のコンピューティングシステム(例えば、図2における患者捕捉モジュール254)により分析される。図6は、対象者の顔を検出するための1つの例示的な技術を示している。他の技術は、例えば、遺伝的アルゴリズム、固有顔技術、テンプレートマッチング、畳み込みニューラルネットワークなどを含む。いくつかの実施形態において、取り込みデジタル画像404のうちの1つ又は複数が、対象者の顔に注目するために、切り取られ、又は別様に変更され(例えば背景を切り取られ)てよいが、これが必須とは限らない。
[0059] ブロック408において、対象者の顔の複数の異なるビューを写し出した取り込みデジタル画像の部分集合が、複数の取り込みデジタル画像404から選択される。選択された部分集合は、後で対象者を視覚的に識別/位置特定するために使用される対象者参照テンプレートを生成するために使用される。いくつかの実施形態において、対象者参照テンプレートを生成するために使用される取り込みデジタル画像の部分集合は、1つ又は複数の他の取り込みデジタル画像と十分に異なることに基づいて選択される。以下の図5及び図8は、対象者参照テンプレートの生成のための取り込み画像の部分集合を選択するための例示的な技術を示す。
[0060] いくつかの実施形態において、ブロック409において、ブロック408において生成された対象者参照テンプレートは、本明細書において「テンプレート特徴ベクトル」と呼ばれるものを生成するために、機械学習モデル、例えば畳み込みニューラルネットワークにわたる入力として適用される。これらのテンプレート特徴ベクトルは、対象者参照テンプレートの生データに加えて、又は代えて様々な特徴を含む。畳み込みニューラルネットワークは特に、最近、他の顔認識アプローチに勝る改善を示している。ソース画像単独の場合より判別能力のあるテンプレート特徴ベクトル(及び、後述の他の特徴ベクトル)を生成するために畳み込みニューラルネットワークが使用可能であることを確実なものとするために、様々な頭部のポーズ、顔の表情、ライティング状態などを含む何百万もの(又は、それ以上の)顔画像を使用して、畳み込みニューラルネットワークが訓練される。いくつかの実施形態において、畳み込みニューラルネットワークは、畳み込み、正則化、及びプーリング層のスタックを備える。いくつかの実施形態において、1つ又は複数のグラフィカル処理ユニット(「GPU」)が、畳み込みニューラルネットワークを使用して特徴抽出を実施するために使用されてよく、その理由は、GPUが標準的な中央処理ユニット(「CPU」)より効率的にそれを実施することが可能であるからである。他の実施形態において、特徴抽出は、1つ又は複数のテンソル処理ユニット(「TPU」)、フィールドプログラム可能ゲートアレイ(「FPGA」)、特定用途向け集積回路(「ASIC」)、又はこれらの組合せにより実行され得る。
[0061] 本明細書において説明される(「ベクトル化記述子」、「埋め込み記述子」、「埋め込み」などとも呼ばれる)様々な特徴ベクトルを生成するために使用される適切な畳み込みニューラルネットワークの例、及び、それらがどのように訓練されるかは、O.M.Parkhi、A.Vedaldi、A.Zisserman、Deep Face Recognition、British Machine Vision Conference(2015);Yaniv Taigman、Ming Yang、Marc’Aurelio Ranzato、Lior Wolf、DeepFace:Closing the Gap to Human-Level Performance in Face Verification、IEEE International Conference on Computer Vision and Pattern Recognition(2014):及びFlorian Schroff、Dmitry Kalenichenko、James Philbin、FaceNet:A Unified Embedding for Face Recognition and Clustering、IEEE International Conference on Computer Vision and Pattern Recognition(2015)において説明されている。一般的には、これらの刊行物は、顔画像から、埋め込み間の距離が顔の類似性の尺度に直接対応するコンパクトなユークリッド空間へのマッピングを学習するように畳み込みニューラルネットワークを訓練することについて説明している。このコンパクトなユークリッド空間が決定された後、顔認識は、特徴ベクトル、例えば前述のテンプレート特徴ベクトルとして埋め込みを使用して実施され得る。様々な実施形態において、畳み込みニューラルネットワークは、固有のクラスラベルとして各対象者識別情報を使用して最後のネットワーク層におけるソフトマックス損失を最小化することにより訓練される。次に、損失が、各層におけるすべての係数を徐々に更新するように、すべての以前の層にバックプロパゲーションされる。バックプロパゲーションは、例えば何千回も繰り返し実行される。各繰り返しの間に、何十、又は何百といった少ない顔画像が、損失の最小化のために使用されるように、収集された何百万もの訓練顔画像から無作為にサンプリングされる。
[0062] ブロック410において、生成された対象者参照テンプレート及び対応するテンプレート特徴ベクトルは、対象者に関連付けて、例えば対象者参照データベース412に記憶される。様々な実施形態において、生成された対象者参照テンプレート及びテンプレート特徴ベクトルは、例えば前述のMRNにより対象者に関連した情報に関連付けて、対象者参照データベース412に記憶される。より概括的には、対象者参照データベース412は、複数人の対象者、例えば、医療処置を待つ待合室104にいる複数の登録された患者に関連した対象者参照テンプレート及び関連するテンプレート特徴ベクトルを記憶する。他の実施形態において、登録された対象者に関連したテンプレート特徴ベクトルは、必要に応じて、及び/又はオンデマンドベースで生成される。
[0063] 例えば、前述の生命兆候獲得カメラの形態をとるものであってよく、又は、とらないものであってよい別のカメラ476を使用して、図2の患者識別モジュール260により実施される対象者識別ルーチン418が左上に示される。対象者識別ルーチン418は、例えば、様々な事象に応答して、周期的に、連続的に様々な時点において実施される。いくつかの実施形態において、職員、例えば看護師が特定の対象者を位置特定することを要求するクエリを発する対象者監視ルーチン414の一部として、対象者が探索される。他の実施形態において、対象者識別ルーチン418は、患者の重症度を監視するために、前述の継続中の活動の一部として連続的に実施される。いくつかの実施形態において、カメラ476は、検出された対象者の識別情報を特定し、検出された対象者の識別情報を検出された対象者の位置と関連付けるために、検出された対象者の各々を通るように循環させられる。
[0064] 対象者識別ルーチン418は、待合室104などの、クエリを出された1人又は複数人の対象者が通常存在すると考えられるエリアを写し出したデジタル画像420(例えばビデオストリーム)の獲得から始まる。ブロック422において、エリアにおける特定の対象者の顔を写し出したデジタル画像420の1つ又は複数の部分が、本明細書において「検出された顔画像」と呼ばれるものとして、例えば患者識別モジュール260により検出される。様々な実施形態において、ブロック422の動作は、連続的に実施され、及び/又は、患者監視ルーチン414からの対象者クエリの受信によりトリガーされる。顔検出のための同様の技術が、ブロック406において適用されたことと同様に、ブロック422において適用される。そのうちのいくつかが、後でさらに詳細に説明される。
[0065] 対象者の参照テンプレートがその同じ対象者の捕捉された後続のデジタル画像とより類似しているほど、対象者参照テンプレート及び後続のデジタル画像が同じ人を捕捉したことを検証することがより簡単となる。多くの要因が、例えば待合室104において捕捉した、対象者参照テンプレートデジタル画像(例えば取り込みデジタル画像404)と後続のデジタル画像との間の差に寄与し、それらのうちのいくつかは管理不能であることがある。例えば、対象者は、ジャケットを脱ぐこと、眼鏡を身に着けることなどをする。しかし、参照画像と後続の画像との間の相違につながる他の寄与する要因は、最小化され得る。何よりもまず、取り込みデジタル画像と後続のデジタル画像との両方が同一のセンサーを使用して捕捉されるので、256及び276に対して同じ種類のカメラを使用することが類似度の観点から有益である。加えて、ライティング状態などが参照獲得環境と待合室との間において異なり得るので、様々な実施形態において、カメラ256及び/又はカメラ276の1つ又は複数の設定、並びに/或いは、それらが捕捉するデジタル画像に関連した1つ又は複数の設定/パラメータが、このような相違につながる要因を減らすために調整及び/又は校正される。
[0066] いくつかの実施形態において、ブロック423において、例えば、カメラ456(又は、例えば256)により獲得された取り込みデジタル画像404とできる限り近くなるように、カメラ476により獲得された画像420を校正するために、1つ又は複数の調節が行われる。この校正を達成するために、様々な動作がブロック423において実施される。いくつかの実施形態において、カメラ456の対応する設定と設定を揃えるために、例えばアパーチャ、露出、シャッター速度、ホワイトバランスなどの、カメラ476の1つ又は複数の設定が行われる。アパーチャ(開口であって、その開口を通して光が光センサーに伝播するその開口の寸法)、及びシャッター速度(光センサーが露光される時間長)は、特に、光学的な調節である。アパーチャサイズを小さくすることは、画像の鮮明さを高め、結果として得られる画像をより暗くする。より短いシャッター時間は、運動の不鮮明さを減らし、さらに、結果として得られる画像をより暗くする傾向を示す。カメラのアパーチャ及びシャッター速度の設定は、典型的には離散的であり、すなわち、カメラのアパーチャは直径を約√2倍ずつ調節可能であり、これは、光の強さの2倍の変化に対応する。同様に、シャッター速度も典型的には2倍ずつ制御され得る。この離散性は、いくつかの場合において画像調節の正確さを制限する。これらの光学的な調節と対照的に、1つ又は複数のカメラに対して行われ得る電子的な調節は、赤色、緑色、及び/又は青色(RGB)に関連した個々のゲインにおけるホワイトバランス調節である。
[0067] 追加的に、又は代替的に、いくつかの実施形態において、互いに画像を校正するために一方又は両方のカメラ(例えば456及び/又は476)により獲得されたデジタル画像(404、420)に(例えば画像処理ソフトウェア処理を使用して)調節が行われる。例えば、いくつかの実施形態において、取り込みデジタル画像404及び/又は後から獲得されたデジタル画像420が、例えば、明度を調節するために、色相を調節するために、例えば1つ又は複数の画像処理ソフトウェア処理を使用して色修正される。追加的に、又は代替的に、いくつかの実施形態において、様々な画像処理技術が、取り込みデジタル画像404と後から獲得されたデジタル画像420との間における頭部のポーズの修正を達成するために実施される。
[0068] いくつかの実施形態において、ブロック424において、例えば異なるポーズ、位置、ライティング、顔の表情などを写し出した検出された対象者の顔の描写の最大の変化を表す、ブロック422において生成された1つ又は複数の検出された顔画像の部分集合(又は「キーフレーム」)が選択される。いくつかの実施形態において、図8に示される工程と同様の工程が、検出された顔画像の部分集合(又は「キーフレーム」)を選択するために使用される。ブロック425において、1つ又は複数の動作が、検出された顔画像に写し出された顔を正規化(又は「正面化」)するために実施される。例えば、いくつかの実施形態において、幾何学的ワーピング及び/又は他の同様の技術が、正面ビューになるように、正面ビューに近くなるように、検出された顔を正規化するために使用される。以下で説明される図7は、検出された顔を正規化するための1つの例示的な技術を例示している。したがって、ブロック425の出力は、監視されるエリアにおける特定の対象者の1つ又は複数の正規化された検出された顔画像である。
[0069] ブロック426において、本明細書において「特徴比較」と呼ばれる工程が、特定の対象者を、対象者参照データベース412における登録された対象者と照合することにより、特定の対象者の識別情報を特定するために使用される。「特徴比較」の工程は、図9との関連において以下でより詳細に説明される。ブロック428において、検出された対象者の識別情報及び/又は検出された対象者の位置(例えば、特定の位置、例えば、対象者が位置する待合室におけるシートの数)が、出力として提供される。ブロック430において、例えば、位置(例えば待合室104における椅子)の並びの次の位置において(存在する場合に)対象者を捕捉するために、カメラ476がパン、チルト、及び/又はズームされる。
[0070] 図5は、様々な実施形態による、図4の取り込みルーチン402のワークフローの様々な態様がどのように実施されるかの一例を示す。上述のように、カメラ456は、取り込みデジタル画像404を例えばビデオストリームとして獲得する。いくつかの実施形態において、取り込みデジタル画像404は、取り込み(例えばトリアージ)エリアを写し出してよいが、これが必須とは限らない。図5に示される動作は、例えば、取り込みエリアにおいて、又は取り込みエリア付近においてカメラ456に動作可能に結合されたコンピューティングデバイスといった、様々なコンピューティングデバイスにおいて実施される。
[0071] 新しい対象者が評価される(例えば臨床的に評価)される取り込み(例えばトリアージ)エリアでは、ブロック502及び504において、カメラ456により捕捉された新しい取り込みデジタル画像(例えばビデオストリームのフレーム)の各々に対してそれぞれ、(例えば新しい顔の)顔検出、及び、(例えば以前の取り込みデジタル画像において検出された顔の)顔追跡が並列に実施される。これは、どの対象者が最初に入ったのであろうと、取り込みエリアにおける各対象者の顔が検出されることを確実なものとする。ブロック506において、新たに検出された顔の各々に対して新しい顔トラッカーが起動される。この新しい顔トラッカーは、次の画像フレームにおいてその分析を開始する。次に、ブロック508において、新たに検出された顔が例えば正面に近いビューに正規化される(正規化は図7において、より詳細に例示される)。
[0072] いくつかの実施形態において、この正規化された検出された顔は、対象者テンプレート候補とみなされる。次に、新しい対象者参照テンプレート候補は、例えばブロック510において、まだ存在するものがある場合、(例えば以前の画像フレームから獲得された)既存の対象者参照テンプレート候補と比較される。様々な基準が、例えば、別の以前に捕捉された対象者参照テンプレート候補の置換として新しい対象者参照テンプレート候補を維持するか、又は、新しい対象者参照テンプレート候補を破棄するかを判定するために使用される。最終的に、最も代表的な対象者参照テンプレート候補のみが選択されて、対象者参照データベース412に保持される。図8は、対象者参照テンプレートを生成することにおける使用のために、取り込みデジタル画像がどのように選択(510)されるかについての一例をさらに詳細に例示している。
[0073] ここで顔追跡ブロック504を見ると、各取り込み画像フレームにおける以前に検出された追跡対象の顔の各々に対して、ブロック512において、対応する対象者がカメラの視野を去ろうとしているか否かが判定される。図6は、対象者が去ろうとしているか否かについての判定がどのように行われるかの一例を示す。ブロック512における判定結果がはい(yes)である場合、動作はブロック504に戻り、次の追跡対象の顔が選択される。ブロック512における判定結果が「いいえ(no)」である場合、ブロック514においてホモグラフィ推定が、例えば、現在の取り込み画像フレームにおける追跡対象の顔の三次元的な頭部のポーズを推定するために実施される。推定されたポーズに基づいて、現在のフレームにおける追跡対象顔画像が、ブロック516において(顔の外観におけるポーズの効果を除去して)「正面化」される。制御は、次に、ブロック508に進む。
[0074] 図6は、例えば(例えばブロック406における)取り込み中に、又は、後から(例えばブロック422における)対象者監視中に対象者の顔を検出するための1つの例示的な技術を示している。カメラの視野(「FOV」)640が示されており、本明細書において説明される任意のカメラ、例えばカメラ456又はカメラ476と関連付けられる。図6は、入る対象者(642A)と去る対象者(642B)との両方の検出を示す。両方の状況は、対象者の顔がFOV640において部分的に視認可能であるときにのみ発生する。対象者の存在は、例えば、FOV640に対する顔領域の重なりの割合を測定することにより検出される。割合が例えば1といった特定の数未満であり、以前のフレームに比べて増加している場合、対象者が入りつつあると判定される。そうでない場合、割合が1より大きく、以前のフレームに比べて減少している場合、対象者が去りつつあると判定される。2つの状況のうちのいずれかが所定の時間インターバル、例えば5秒の間続いた場合、対象者が入ったか去ったかを判定することが可能である。
[0075] 図7は、例えば、図4のブロック425、及び/又は図5のブロック508において実施される1つの例示的な顔正規化ルーチンの詳細を示す。入力は、例えば、図4のブロック422又はブロック424から、及び/又は、図5のブロック506/516からの検出された顔画像の形態をとる。出力は、正規化された検出された顔画像である。ブロック702及び704において、左目及び右目の検出動作が実施される(動作702及び704は逆の順序で、又は並列に実施されてもよい)。これらの動作は、様々な画像処理技術、例えば、エッジ検出、テンプレートマッチング、固有空間法、ハフ変換、形態的演算、訓練されたニューラルネットワークなどを含む。ブロック706において、両目が首尾よく検出された場合、制御はブロック714に進み、この段階で顔が正規化される(例えば、幾何学的ワーピングが顔を概ね前向きにするために、検出された顔画像に適用される)。ブロック714から、制御は、例えば、図4のブロック426、又は図5のブロック510に進む。
[0076] ブロック706における判定結果が「いいえ(no)」である場合、次にブロック708において、どちらかの目が検出されたかが判定される。判定結果が「いいえ(no)」である場合、次に制御は、動作714の下流に進み、いくつかの場合において、失敗イベントが発せられ、次に制御が、例えば図4のブロック426に、又は図5のブロック510に進む。ブロック702~704において片目のみが首尾よく検出された場合、ブロック710において、検出された目領域が水平にミラーリングされ、ミラーアイパッチが、他方の目を位置特定するために、例えばテンプレートマッチングを使用して探索される。次に、動作は、前述のブロック714に進む。
[0077] 図8は、例えば、図4のブロック408及び図5のブロック510において、例えば、対象者参照データベース412に含めるために、検出された顔画像が対象者参照テンプレートとしてどのように選択されるかの一例を示す。制御は、例えば、図4のブロック406、(検討中の検出された顔画像が現在の取り込みデジタル画像フレームにおいて新たに検出された場合)図5のブロック508、及び/又は、(検討中の検出された顔画像が以前の取り込みデジタル画像フレームにおいて検出されており、現在追跡されている場合)図5のブロック516といった様々な位置から図8の動作に進む。ブロック802において、顔が塞がれているか否かが判定される。判定結果が「はい(yes)」である場合、制御はブロック504に進み、この段階で、(存在する場合は)次の追跡対象の顔が分析される。
[0078] ブロック802における判定結果が「いいえ(no)」である場合、ブロック806において、現在の対象者に対する現在の検出された顔画像と任意の既存の対象者参照テンプレートとの間における画像の類似性が判定される。ブロック808において、現在の対象者に対して収集されたまだ十分な対象者参照テンプレートが存在するか否かが判定される。様々な数の対象者参照テンプレートが、新しい対象者の各々に対して選択される。いくつかの実施形態において、9つという多さの対象者参照テンプレートが収集される。より多くの対象者参照テンプレートを収集することが実施可能であるが、ある点を超えた後は、見返りは少なくなる。
[0079] 現在の対象者に対して収集された十分な対象者参照テンプレートがまだ存在しない場合、(図4と同じ)ブロック408~410において、現在の検出された顔画像が対象者参照テンプレートを生成するために使用され(408)、対応するテンプレート特徴ベクトルが生成され(409)、次に、両方が、対象者参照データベース412に追加される(410)。しかし、ブロック808において、収集されたテンプレートが既に十分に存在している場合、いくつかの実施形態において、以前に収集された対象者参照テンプレートを置換することを許可するために、現在の検出された顔画像が、現在の対象者の以前に収集された対象者参照テンプレートと十分に異なるか否かが判定される。例えば、ブロック812において、以前に収集された対象者参照テンプレートのうちの任意のものが互いに異なっていることに比べて、現在の検出された顔画像が以前に収集された対象者参照テンプレートの各々からさらに大きく異なっているか否かについて判定が行われる。特定の対象者参照テンプレートに対して判定結果が「はい(yes)」である場合、現在の検出された顔画像は、対象者参照データベース412における特定の対象者参照テンプレートを置換する新しい対象者参照テンプレートを生成するために使用される(409)。例えば、対応するテンプレート特徴ベクトルが生成され409、テンプレート及び特徴ベクトルが対象者参照データベース412に追加される(410)。
[0080] 図8の動作(及び、より概括的には図5の動作)は、カメラ456により捕捉された取り込みデジタル画像ごとに反復され、各対象者は、例えば、対象者が取り込みエリアを去るまで(ブロック512)追跡される。結果として、対象者がカメラ456のFOV640にいる間に獲得された取り込みデジタル画像の総数のうち、最も適切な(例えば最も多様な)ビューを含むn個の取り込みデジタル画像が、その特定の対象者に対する対象者参照テンプレートを生成するために選択される。上述のように、これらの対象者参照テンプレート及び/又は対応するテンプレート特徴ベクトルは、例えば、対象者が対象者監視ルーチン414においてクエリを出されたことに応答して、後で使用される。
[0081] 図5及び図8は、対象者参照データベース412に記憶される各対象者に対する対象者参照テンプレート及び対応するテンプレート特徴ベクトルを収集することに関連している。図6及び図7は、対象者参照テンプレートを収集することと、例えば病院の待合室といった取り込みエリアより下流のエリアにおける対象者を識別するために、それらの対象者参照テンプレートを使用することとの両方に関連している。図9は後者に関連している。特に、図9は、図4の「特徴比較」ブロック426、及び図4のブロック427及び428の一部として、例えば患者識別モジュール260により実施される動作の一例を示す。
[0082] 図9において2つの入力、すなわち、検討中の現在の検出された顔画像と、対象者参照データベース412からの対象者参照テンプレートとが受信される。図9に示されるように、現在の検出された顔画像は、待合室104などのエリアに配備されたカメラ976(又は図4における476)から獲得されたデジタル画像(例えば、図4における420)に基づいて生成される。図9に示されていないが、様々な実施形態において、図9において入力として受信される検出された顔画像を生成するために、図4におけるブロック422~425の動作のうちの1つ又は複数が実施される。
[0083] ブロック902において、検出された顔画像が、検出された顔画像のうちの1つ又は複数に関連した(「ベクトル化記述子」とも呼ばれる)いわゆる「顔特徴ベクトル」を(ブロック904において)生成するために、機械学習モデル、例えば上述の畳み込みニューラルネットワークにわたる入力として適用される。いくつかの実施形態において、対象者参照テンプレートとともに対象者参照データベース412に記憶されたテンプレート特徴ベクトルを生成するために図4のブロック409において使用されたものと同じ畳み込みニューラルネットワークが使用される。その一方で、ブロック906において、すべての登録された対象者のテンプレート特徴ベクトルが入手され、及び/又は、対象者参照データベース412において位置特定される。他の実施形態において、すべての登録された対象者のテンプレート特徴ベクトルは、例えば同じ畳み込みニューラルネットワークを使用してブロック902の動作と同時に、オンザフライにより生成される。
[0084] いくつかの実施形態において、ブロック908において、1つ又は複数の顔特徴ベクトル904(例えば、複数の顔特徴ベクトルの平均)とテンプレート特徴ベクトル906との間の距離が特定される。特徴ベクトル間の距離は、ユークリッド距離であってもなくてもよく、様々な手法により、例えばコサイン類似度、ドット積などを使用して特定される。いくつかの実施形態において、検討中の顔特徴ベクトル(例えば、検討中の顔特徴ベクトルからの最短ユークリッド距離)に最も類似した1つ又は複数のテンプレート特徴ベクトルが特定される最近傍(「NN」)探索の一部として、距離(又は、類似度の他の尺度)が使用される。いくつかの実施形態において、1番目の最近傍及び2番目の最近傍が特定され、例えば、顔特徴ベクトルからのそれぞれのユークリッド距離に逆相関した、及び、したがって類似度の尺度を表すいわゆる「相関スコア」であるNN及びNN_2ndスコアと関連付けられる。
[0085] いくつかの実施形態において、NNスコアとNN_2ndスコアとの間の関連、比率などは、(対象者参照データベース412における登録された対象者に対する対応を再確認する)最近傍テンプレート特徴ベクトルが、(対象者参照データベース412における別の登録された対象者に対応した)2番目の最近傍テンプレート特徴ベクトルより、(検出された対象者に対応した)顔特徴ベクトルと十分に類似しているか否かを判定するために分析される。例えば、ブロック910において、NNスコア/NN_2ndスコアが(例えば、手動で設定される、経験的に学習されるなどされる)何らかの所定の閾値より大きいか否かについて判定が行われる。判定結果が「はい(yes)」である場合、そのことは、最近傍テンプレート特徴ベクトルが、2番目の最近傍より、検出された対象者に対して実質的に適切に適合しており、したがって、最近傍が、検出された顔画像と同じ対象者に対応する可能性が高いことを直感的に意味する。その一方で、判定結果が「いいえ(no)」である場合、最近傍は2番目の最近傍より実質的に適切に適合するものではない。
[0086] ブロック910における判定結果が(yes)であると仮定すると、いくつかの実施形態において、現在の検出された顔画像及び/又は検討中の顔特徴ベクトルが、それぞれ、本明細書において「補助対象者参照テンプレート」及び「補助テンプレート特徴ベクトル」と呼ばれるものとして記憶されなければならないか否かについて判定が行われる。補助対象者参照テンプレート及び/又はそれらの対応する補助テンプレート特徴ベクトルは、対象者参照データベース412に既に記憶された既存の対象者参照テンプレート/テンプレート特徴ベクトルを補完する、又は置き換えるために使用される。すなわち、補助対象者参照テンプレート及び/又は補助テンプレート特徴ベクトルは、待合室104などのエリアにおける対象者をより正確に識別するために後で使用される。いくつかの実施形態において、補助テンプレート特徴ベクトルのみが、対象者参照データベース412に記憶されてよいが、これが必須とは限らない。
[0087] このような補助データを記憶することは、様々な技術的な利点を生む。補助対象者参照テンプレート/補助テンプレート特徴ベクトルは、通常、(例えばカメラ、例えばカメラ256、456を使用して捕捉される)登録中に生成された対象者参照テンプレートとは異なるカメラ(例えば276、376、476、976)により獲得されたデジタル画像(例えば420)を使用して生成される。登録時に生成された対象者参照テンプレート及びそれらの対応するテンプレート特徴ベクトルは、対象者がより管理された環境(例えばトリアージ、登録など)にいる、及び、カメラを向いている可能性のより高い取り込みデジタル画像404に基づく。対照的に、補助対象者参照テンプレート及びそれらの対応する補助テンプレート特徴ベクトルは、待合室104などのあまり管理されていない環境において獲得されたデジタル画像(例えば420)に基づいて生成される。結果として、補助対象者参照テンプレート/テンプレート特徴ベクトルは、登録/トリアージ時などのライティングと異なるライティングのもとで(及び多くの場合において、カメラを、又はカメラ付近を見ていない)様々な角度から対象者を写し出したデジタル画像から生成される。
[0088] 場合によってはより重要なことに、補助対象者参照テンプレート/テンプレート特徴ベクトルは、例えば雑誌を読みながら待合室104において座っている対象者の現在の状態において対象者をより正確に表す。したがって、顔特徴ベクトルが確信をもって対象者に適合したものであり得る場合、その顔特徴ベクトルは、将来の使用のために補助テンプレート特徴ベクトルを生成及び記憶するための適切な候補である。より多くの補助テンプレート特徴ベクトルが経時的に対象者に対して生成されるとき、これらの補助テンプレート特徴ベクトルは、登録時に生成された元のテンプレート特徴ベクトルに比べて、様々な(例えば待合室104後の)環境における対象者のより正確な識別を可能にする。
[0089] 図9を再度参照すると、いくつかの実施形態において、ブロック912において、最近傍テンプレート特徴ベクトルに対してブロック908において決定されたNNスコア(例えば相関スコア)が、検討中の顔特徴ベクトルと、最近傍に対応した登録された対象者に対する既に存在する任意の補助テンプレート特徴ベクトルとの間における(例えばユークリッド距離に基づいて)計算された相関スコアより大きいか否かについて判定が行われる。判定結果が「はい(yes)」である場合(又は、最近傍に対するどのような補助テンプレート特徴ベクトルもまだ存在しない場合)、ブロック916において、顔特徴ベクトルが、将来の使用のために対象者参照データベース412に新しい補助テンプレート特徴ベクトルとして追加される。いくつかの実施形態において、検出された顔画像自体は、また、補助対象者参照テンプレートとして追加されてよいがこれが必須とは限らない。
[0090] 次に、ブロック914(又は図4の428)において、検出された対象者の識別情報(及び/又は位置、例えば待合室の椅子)が、例えば、医療関係者に出力として、又は、1つ又は複数の生命兆候獲得カメラを使用した対象者からの生命兆候の目立たない獲得に役立つように提供される。ブロック912における判定結果が「いいえ(no)」である場合-対象者に対する対象者参照データベース412に記憶された、1つ又は複数の「より適切な」補助テンプレート特徴ベクトルが既に存在することを意味する-、制御は、対象者参照データベース412に新しい補助テンプレート特徴ベクトルを追加せずに、ブロック914に直接進む。
[0091] いくつかの場合において、登録中に生成された対象者参照テンプレート及び/又は対応するテンプレート特徴ベクトルは、検出された顔画像に写し出された対象者を識別するのに十分ではない場合がある。例えば、待合室にいる対象者の獲得されたデジタル画像(例えば420)が(例えば、異なる角度、ライティングなどに起因して)登録中に獲得された取り込みデジタル画像404と大幅に異なることを想定してみる。このような状況において検出された対象者が、1人より多い登録された対象者に比較的近く適合するものであることが可能である。例えば、図9のブロック910において、2番目の最近傍に比べると、最近傍が顔特徴ベクトルにより類似していると十分にいえない(例えば、NN/NN_2nd<前述の閾値)と判定される。
[0092] このようなシナリオにおいて、補助テンプレート特徴ベクトルは、特に有用であることを証明する。例えば、ブロック910における判定結果が「いいえ(no)」である場合、ブロック918において、最近傍に対応した登録された対象者に関連した任意の補助テンプレート特徴ベクトルが(例えば対象者参照データベース412に)存在するか否かが判定される。判定結果が「はい(yes)」である場合、ブロック920において、新しいNNスコアが、例えば、最近傍の補助テンプレート特徴ベクトルと現在検討中の顔特徴ベクトルとの間のユークリッド距離として計算される。新しいNN_2ndスコアを生成するために2番目の最近傍に対して、ブロック922及び924において、同様の動作が実施される。次に、ブロック926において、例えば(例えば式、例えばNN/NN_2nd又はNN_2nd/NNを使用して決定された)それらの間の比が所定の閾値(例えば、ブロック910におけるものと同じ閾値又は異なる閾値)を満たすか否かを判定するように、新しいNNスコア及び新しいNN_2ndスコアが分析される。判定結果が「はい(yes)」である場合、制御は(上述の)ブロック914に進み、そうでない場合、ブロック928において、検出された対象者の識別情報について判断がなされない(例えば、「結論なし」の出力が提供される)。
[0093] 図10は、様々な実施形態による、本開示の選択された態様を実施するための例示的な方法1000を示す。便宜上、フロー図の動作は、動作を実施するシステムを参照しながら説明される。このシステムは、患者監視システム252を含む様々なコンピュータシステムの様々なコンポーネントを含んでよい。さらに、方法1000の動作は特定の順序で示されるが、これは限定することを意味しない。1つ又は複数の動作が並べ変えられ、省略され、又は追加されてよい。
[0094] ブロック1002において、システムは、例えば第1のカメラ(例えば276、376、476)から待合室104などのエリアにおける対象者を写し出した1つ又は複数のデジタル画像(例えばビデオフレーム)を獲得する。例えば、いくつかの実施形態において、システムは、第1のデジタルカメラにより獲得された複数のデジタル画像を含むビデオフィードを獲得する。ブロック1004において、システムは、対象者の顔を写し出した1つ又は複数のデジタル画像の1つ又は複数の部分を、1つ又は複数の検出された顔画像として検出する。様々な実施形態において、図4のブロック406において使用された技術と同様の技術(そのうちの一例が図6においてさらに詳細に説明される)が、顔を検出するために使用される。いくつかの実施形態において、カメラを向いた状態から40度から45度の程度の頭部のポーズが、顔を検出するために使用可能である。上述のように、いくつかの実施形態において、検出された対象者の様々な異なるポーズ、顔の表情などを写し出した、複数のデジタル画像(例えばビデオストリーム)の「キーフレーム」が(例えばブロック424において)選択される。さらに、様々な実施形態において、検出された顔画像が対象者の顔のみを含む、又は主に対象者の顔を含むように、デジタル画像(例えばキーフレーム)が、様々な顔検出技術(例えばテンプレート比較)を使用して分析される、切り取られる、それらの背景を除去させることなどが行われる。
[0095] ブロック1006において、システムは、1つ又は複数の検出された顔画像の特徴を、対象者参照データベース(412)における1人又は複数人の対象者に関連した対象者参照テンプレートの特徴と比較する。追加的に、又は代替的に、システムは、1つ又は複数の検出された顔画像の特徴を、対象者に関連した補助テンプレート特徴ベクトルと比較する。特に、対象者参照テンプレートは、第2のカメラ(例えば256、456)により獲得された取り込みデジタル画像(404)に基づいて生成されたものであるのに対し、補助テンプレート特徴ベクトルは、異なる第2のカメラ(例えば276、376、476)により獲得されたデジタル画像に基づいて生成されたものである。したがって、及び上述のように、補助テンプレート特徴ベクトルは、対象者の現在の状態(例えば待合室104において座っている、カメラを見ていない)をより正確に表し、したがって、対象者を正確に識別するという、例えば患者識別モジュール260の能力を高める。
[0096] 様々な実施形態において、ブロック1006の比較は、例えば、対応する顔特徴ベクトルを生成するために、システムが(ブロック1008において)、検出された顔画像を1つ又は複数のニューラルネットワーク(例えば上述の畳み込みニューラルネットワーク)にわたる入力として適用することといった動作を有する。ブロック1010において、システムは、生成された顔特徴ベクトルを、同じ又は異なるニューラルネットワークにわたって対象者参照テンプレートの(例えば、登録/トリアージ中に、又は登録/トリアージのすぐ後に発生したものである)適用により生成されたテンプレート特徴ベクトルと比較する。ここまでに説明されているように、対象者参照テンプレートが、第2のカメラ(例えば256、456)により獲得された取り込みデジタル画像404に基づいて生成されたものであるので、テンプレート特徴ベクトルも、第2のカメラにより獲得されたデジタル画像に基づいて生成されたものである。ブロック1012において、システムは、追加的に、又は代替的に、顔特徴ベクトルを、第2のカメラではなく第1のカメラ(例えば276、376、476)により獲得されたデジタル画像(例えば420)に基づいて生成された補助テンプレート特徴ベクトルと比較する。上述のように、ブロック1008~1012の比較動作のうちの1つ又は複数は、様々な技術、例えば、ドット積、コサイン類似度、ジョイントエンベッディングなどを使用してユークリッド距離を特定することを伴う。
[0097] ブロック1014において、比較することに基づいて、対象者の識別情報が特定される。さらに、比較することに基づいて-例えば検出された顔画像の特徴が、2番目の最近傍より最近傍に十分に近い場合-ブロック1016において、1つ又は複数の検出された顔画像の特徴が、例えば補助テンプレート特徴ベクトルとして対象者に関連して対象者参照データベース412に記憶される。例えば、いくつかの実施形態において、システムは、検出された顔画像のうちの1つ又は複数から生成された顔特徴ベクトルと、対象者参照データベース412における第1の対象者に関連した対象者参照テンプレートから生成された第1のテンプレート特徴ベクトルとの間の第1の(例えばユークリッド)距離を特定する。システムは、顔特徴ベクトルと、対象者参照データベース412における第2の対象者に関連した対象者参照テンプレートから生成された第2のテンプレート特徴ベクトルの間の第2の距離を同様に特定する。いくつかの場合において、これらの距離(及び、追加的な登録された対象者が存在する場合の追加的な距離)は、類似度に直接関係した前述の「相関スコア」を計算するために、ブロック908に関連してここまでに説明されている最近傍探索の一部として使用される。前述のNNスコア及びNN_2ndスコアに対応する第1の相関スコアと第2の相関スコアとの間の関係に基づき、顔特徴ベクトルは、対象者参照データベース412に補助テンプレート特徴ベクトルとして記憶される。
[0098] ブロック1016において特定された対象者の識別情報は、様々な目的のために使用される。いくつかの実施形態において、(ブロック1002において獲得された)元のデジタル画像に写し出された対象者の位置は、例えば、デジタル画像を捕捉したカメラのPTZ設定に基づいて特定される。例えば、いくつかの実施形態において、カメラは、各位置における対象者を探索しながら、複数の位置、例えば待合室104における椅子にわたって走査するように構成される。対象者が特定の位置において検出され、次に、登録された対象者に適合している場合、対象者の識別情報が、例えば、対象者の位置とともに、勤務中の看護師又は他の医療関係者に音声又は視覚出力として提供される。いくつかの実施形態において、識別情報/位置は、患者監視システム252の他のモジュールに出力される。
[0099] 他のシナリオにおいて例えば、対象者の生命兆候が(例えばカメラ276を目立たずに使用して)監視され得ること、対象者が医師の診察を受けるように選ばれ得ることなどのために、特定の登録された対象者(例えばクエリを出された対象者)の位置が所望される。このような状況において、方法1000は、探索されている対象者が位置特定されるまで、待合室104などのエリアを監視する1つ又は複数のカメラにより検出された各対象者に対して実施される。いくつかのこのようなシナリオにおいて、(例えば対象者が救急部門の処置エリアに入院させられた、又は、対象者が診察を受けずに去ったという理由から)クエリを出された対象者が発見されない場合、関連する職員(例えば病院スタッフ)が通知を受ける。対象者が、例えば洗面所を利用するために一時的に去った場合、対象者が後の時点において監視され得るように、対象者が上述の患者キューに再度入れられる。
[00100] 図11は、(例えば、取り込みデジタル画像404が中で獲得される事前待合室エリア102と、後続のデジタル画像420が中で獲得される待合室104との間における)例えば、様々なカメラ設定、照明のばらつきなどによりもたらされる画像間の差を小さくするために、例えば256及び/又は456といったカメラにより捕捉された取り込みデジタル画像404、並びに/或いは、例えばカメラ276、376、476、及び/又は976といったカメラにより捕捉された後続のデジタル画像が互いにどのように校正されるかの一例を概略的に示す。
[00101] 図11において、第1のカメラ1156は、例えば病院の登録及び/又はトリアージエリアに位置するカメラ256及び/又は456に対応する。第1のカメラ1156は、例えば上述の対象者参照テンプレートを生成するために使用される(取り込み画像404に対応する)複数の取り込みデジタル画像1104を捕捉する。これらの取り込みデジタル画像1104は、「第1のカメラ画像」1104とも呼ばれ、又は、いくつかの実施形態において、これらの取り込みデジタル画像1104は、関心対象である(及び、いくつかの場合において、上述の様々な技術を使用して分離される)デジタル画像に写し出された顔であるので、いくつかの場合において、より具体的には「第1のカメラ顔画像」1104と呼ばれる。
[00102] 様々な実施形態において、複数の第1のカメラ顔画像1104のうちの第1のカメラ顔画像の各々に対して、第1のカメラ顔画像に写し出された顔の視覚属性測定結果が、例えば動的校正モジュール262又は患者監視システム252の別のコンポーネントにより判定される。第1のカメラ顔画像に写し出された顔の視覚属性に基づいて、複数の所定の分類のうちの1つが、第1のカメラ顔画像に割り当てられる。これは図11に示されており、図中、複数の第1のカメラ顔画像1104が複数の所定の分類にカテゴリ分けされ、図11では分類は分類A、B、及びCを含む(が、より多い、又は、より少ない分類を含んでよい)。
[00103] 様々な視覚属性が、所与の第1のカメラ顔画像がどの所定の分類に属するかを特定するために、様々な実施形態において測定される。いくつかの実施形態において、測定された視覚属性は、皮膚の色調(又は、皮膚色素沈着又は皮膚色)であり、所定の分類は、例えば皮膚の色調の範囲を含む。他の実施形態において、写し出された対象者の顔に関連した他の視覚属性又はデジタル画像の別の特徴が測定されてよい。
[00104] 第1のカメラ顔画像が、複数の所定の分類のうちの所定の分類の各々に対して、様々な実施形態において、1つ又は複数の測定された視覚属性に基づいて複数の所定のカテゴリのうちの所定のカテゴリにカテゴリ分けされた後、分類に割り当てられた第1のカメラ顔画像間において共有された「第1のカメラ分類ディストリビューション」1184が特定される。したがって、例えば、分類Aにおける第1のカメラ顔画像は、第1の分類ディストリビューション1184を共有する。分類Bにおける第1のカメラ顔画像は、第2の分類ディストリビューション1184を共有する。分類Cにおける第1のカメラ顔画像は、第3の分類ディストリビューション1184を共有する。その他いろいろある。
[00105] 図11において、第1のカメラ分類ディストリビューション11841~3は、平均的なRGBヒストグラムの形態をとるが、これは限定することを意味しない。様々な実施形態において、RGBヒストグラムは、特定の所定の分類の第1のカメラ顔画像の各々に対して特定される。いくつかの実施形態において、RGBヒストグラムは、取り得るR、G、及びB値の各々が各画像内において何回発生するかのカウントを含む。いくつかの実施形態において、第1のカメラ顔画像の各々に対して演算されたRGBヒストグラムは、例えば、各カウントを画像のサイズ(例えばピクセルで表した幅にピクセルで表した高さを乗じたもの)で除算することにより正規化されるが、これが必須とは限らない。RGBヒストグラムが特定の所定の分類において第1のカメラ顔画像の各々に対して演算された後、いくつかの実施形態において、その特定の所定の分類に対するRGBヒストグラムの平均が、第1のカメラ分類ディストリビューション11841~3として演算される。いくつかの実施形態において、特定の第1のカメラ顔画像が特定の所定の分類に割り当てられる第1のものである場合、その第1のカメラ顔画像のヒストグラムが平均的なRGBヒストグラムとして単に使用される。
[00106] 第1のカメラ1156により捕捉された取り込みデジタル画像1104に実施されたものと同じ動作(この再現は、登録及び/又はトリアージにおいて獲得され、例えば待合室104における、対象者を識別するために後で使用される前述の対象者参照テンプレートを生成するために使用される)が、(いくつかの場合において、生命兆候獲得カメラであるが、これが必須とは限らない)カメラ1176により捕捉された後続のデジタル画像1120に実施されてもよい。例えば、本明細書において「第2のカメラ顔画像」1120と呼ばれる後続のデジタル画像1120が、第1のカメラ顔画像1104と同じ所定の分類(例えば図11のA~C)にカテゴリ分けされる。さらに、第2のカメラ分類ディストリビューション11844~6は、第1のカメラ分類ディストリビューション11841~3が計算された手法と同じ手法により、所定の分類に対して計算される。
[00107] 第1のカメラ分類ディストリビューション11841~3及び第2のカメラ分類ディストリビューション11844~6、並びに、特に、所定の分類の各々に対する第1のカメラ分類ディストリビューションと第2のカメラ分類ディストリビューションとの間の差(又は、第1のカメラ分類ディストリビューションと第2のカメラ分類ディストリビューションとの間の他の関連)が、次に、写し出された対象者が取り込みデジタル画像1104に写し出された対象者に、より類似して見えるように、(例えば待合室104にいる対象者の)第2のカメラ1176により捕捉された後続のデジタル画像を校正するために使用される。例えば待合室104にいる1人又は複数人の患者を、対象者参照データベース412における1つ又は複数の対象者参照テンプレートと照合することを目的として獲得された、例えば第2のカメラ1176により捕捉された入来する後続のデジタル画像が(例えば皮膚の色調に基づいて)複数の所定の分類のうちの特定の所定の分類にカテゴリ分けされる(又は特定の所定の分類に割り当てられる)。入来する後続のデジタル画像は、次に、割り当てられた所定の分類に関連した第1のカメラ分類ディストリビューションと割り当てられた所定の分類に関連した第2のカメラ分類ディストリビューションとの間の関連に基づいて、例えばヒストグラム修正を使用して処理される。
[00108] いくつかの実施形態において、ヒストグラム修正は、以下のように第2のカメラ1176により捕捉された入来する後続のデジタル画像に適用される。各ピクセルのR、G、及びB成分の各々に対して、オフセット及び/又はゲインが適用され、例えば、x→px+qである。いくつかの実施形態において、例えば平均的なRGBヒストグラム値の95%を含む、いくつかの基準を満たす割り当てられた分類に対する第1のカメラ分類ディストリビューションの選択されたピクセル範囲aref~brefが特定される。同様に、例えば平均的なRGBヒストグラム値の95%を含む、いくつかの基準を満たす割り当てられた分類に対する第2のカメラ分類ディストリビューションの選択されたピクセル範囲amon~bmonが特定される。様々な実施形態において、pは、(bmon-amon)/(bref-aref)に設定され、qは、amon-arefに設定される。
[00109] 他の技術が、第1のカメラ1156及び第2のカメラ1176により捕捉された画像を校正するために、及び、上述のように互いにカメラの設定自体を校正するために使用される。いくつかの実施形態において、一方又は両方のカメラが、カメラの設定を読み取る、及び/又は調節するために使用可能なアプリケーションプログラムインターフェース(「API」)を含む。追加的に、又は代替的に、いくつかの実施形態において、例えば対象者を識別するために使用される前に、一方又は両方のカメラにより捕捉されたデジタル画像に、より高度な画像処理が適用される。例えば、いくつかの実施形態において、特に頭上からのライティングによりもたらされる影を修正するために、対象者の顔の暗い領域が明るくされる。他の実施形態において、例えば自動ホワイトバランス又は自動露出といった技術が、一方又は両方のカメラにより捕捉されたデジタル画像に、例えば検出された顔領域に適用される。いくつかのカメラは、カメラのAPIの一部としてこのような機能を提供し、例えば、バウンディングエリアは、デジタル画像の境界内に(例えば対象者の顔を写し出した領域に)規定され、及び、自動露出及び/又は自動ホワイトバランスが、境界に囲まれた領域内に適用される。他のカメラは、露出、シャッター速度、及び/又は成分ゲインの調節を可能にするAPIを提供する。いくつかのこのような実施形態において、本明細書において説明される様々な技術が、カメラの外部にあるソフトウェアにより実施される。
[00110] 図12は、様々な実施形態による、本開示の選択された態様を実施するための例示的な方法1200を示す。便宜上、フロー図の動作は、動作を実施するシステムを参照しながら説明される。このシステムは、1510を含む様々なコンピュータシステムの様々なコンポーネントを含んでよい。さらに、方法1200の動作が特定の順序で示されるが、これは限定することを意味しない。1つ又は複数の動作が並べ変えられ、省略され、又は追加されてよい。
[00111] ブロック1202において、システムは、第1のエリアにおける複数人の対象者の顔を写し出した複数の第1のカメラ顔画像(1104)を、第1のエリア(102)における第1のカメラ(256、456、1156)を使用して獲得する。ブロック1204において、システムは、分析するための複数の第1のカメラ顔画像のうちのさらなる第1のカメラ顔画像が存在するか否かを判定する。判定結果が「はい(yes)」である場合、ブロック1206において、システムは、複数の第1のカメラ顔画像のうちの次の第1のカメラ顔画像を選択する。ブロック1208において、システムは、選択された第1のカメラ顔画像に写し出された顔の視覚属性測定結果(例えば皮膚の色調)を特定する。ブロック1210において、システムは、選択された第1のカメラ顔画像に写し出された顔の視覚属性測定結果に基づいて、選択された第1のカメラ顔画像を複数の所定の分類(例えば皮膚の色調の範囲)のうちの1つに割り当てる。分析のための第1のカメラ顔画像がもはや存在しないと、ブロック1204において判定されるまで、ブロック1204~1210が繰り返される。ブロック1214において、システムは、複数の分類のうちの各分類に対して、分類に割り当てられた複数の第1のカメラ顔画像のうちの第1のカメラ顔画像間において共有された第1のカメラ分類ディストリビューションを特定する。
[00112] 図13は、様々な実施形態による、本開示の選択された態様を実施するための例示的な方法1300を示す。便宜上、フロー図の動作は、動作を実施するシステムを参照しながら説明される。このシステムは、1510を含む様々なコンピュータシステムの様々なコンポーネントを含んでよい。さらに、方法1300の動作が特定の順序で示されるが、これは限定することを意味しない。1つ又は複数の動作が並べ変えられ、省略され、又は追加されてよい。
[00113] 方法1300の動作は、第1のカメラ(例えば256、456、1156)ではなく第2のカメラ(例えば276、376、476、976、1176)であることを除いて、方法1200の動作と同様である。ブロック1302において、システムは、第2のエリアにおける複数人の対象者の顔を写し出した複数の第2のカメラ顔画像(1120)を、第2のエリア(例えば待合室104)における第2のカメラ(276、376、476、976、1176)を使用して獲得する。ブロック1304において、システムは、分析するための複数の第2のカメラ顔画像のうちのさらなる第2のカメラ顔画像が存在するか否かを判定する。判定結果が「はい(yes)」である場合、ブロック1306において、システムは、複数の第2のカメラ顔画像のうちの次の第2のカメラ顔画像を選択する。ブロック1308において、システムは、選択された第2のカメラ顔画像に写し出された顔の視覚属性測定結果(例えば皮膚の色調)を特定する。ブロック1310において、システムは、選択された第2のカメラ顔画像に写し出された顔の視覚属性測定結果に基づいて、選択された第2のカメラ顔画像を複数の所定の分類(例えば皮膚の色調の範囲)のうちの1つに割り当てる。分析するための第2のカメラ顔画像がもはや存在しないと、ブロック1304において判定されるまで、ブロック1304~1310が繰り返される。ブロック1314において、システムは、複数の分類のうちの各分類に対して、分類に割り当てられた複数の第2のカメラ顔画像のうちの第2のカメラ顔画像間において共有された第2のカメラ分類ディストリビューションを特定する。
[00114] 図14は、様々な実施形態による、本開示の選択された態様を実施するための例示的な方法1400を示す。便宜上、フロー図の動作は、動作を実施するシステムを参照しながら説明される。このシステムは、1510を含む様々なコンピュータシステムの様々なコンポーネントを含んでよい。さらに、方法1400の動作が特定の順序で示されるが、これは限定することを意味しない。1つ又は複数の動作が並べ変えられ、省略され、又は追加されてよい。
[00115] いくつかの実施形態において、例えば方法1400は、例えば方法1200及び1300により、様々な所定の分類に対して第1のカメラ分類ディストリビューション及び第2の分類ディストリビューションが特定された後に実施される。ブロック1402において、システムは、識別されていない対象者の顔を写し出した後続の顔画像を、第2のカメラ(例えば276、376、476、976、1176)を使用して獲得する。この動作は、例えば図10における動作1002~1004に相当する。
[00116] ブロック1404において、システムは、後続の顔画像に写し出された識別されていない対象者の顔の視覚属性測定結果(例えば皮膚の色調)を特定する。ブロック1406において、システムは、後続の顔画像に写し出された顔の視覚属性測定結果に基づいて、複数の所定の分類(例えば皮膚の色調値の範囲)のうちの所与の所定の分類に、後続の顔画像を割り当てる。
[00117] ブロック1408において、システムは、校正された後続の顔画像を生成するために後続の顔画像に調節を適用する。様々な実施形態において、調節を適用することは、所与の所定の分類に関連した第1のカメラ分類ディストリビューションと第2のカメラ分類ディストリビューションとに基づく。例えば、上述のように、ヒストグラム修正は、後続の顔画像を対象者参照テンプレートの視覚属性とより正確にそろえるために適用される。ブロック1410において、方法1000のブロック1014と同様に、システムは、例えば、校正された後続の顔画像の1つ又は複数の特徴(例えば特徴ベクトル/低次元埋め込み)と、(上述のように対象者参照テンプレートに対して使用される)複数の第1のカメラ顔画像及び複数の第2のカメラ顔画像の1つ又は複数の特徴(例えば特徴ベクトル/低次元埋め込み)との比較に基づいて、識別されていない対象者の識別情報を特定する。
[00118] 図15は、例示的なコンピュータシステム1510のブロック図である。コンピュータシステム1510は、典型的には、バスサブシステム1512を介して多くの周辺デバイスと通信する少なくとも1つのプロセッサ1514を含む。本明細書において使用されるとき、「プロセッサ」という用語は、例えば、マイクロプロセッサ、GPU、TPU、FPGA、ASIC、他の同様のデバイス、及びそれらの組合せといった、本明細書において説明されるコンポーネントによる様々な機能を実施することができる様々なデバイスを包含するように理解される。これらの周辺デバイスは、例えば、メモリサブシステム1525及びファイル記憶サブシステム1526を含むデータ保持サブシステム1524、ユーザーインターフェース出力デバイス1520、ユーザーインターフェース入力デバイス1522、及びネットワークインターフェースサブシステム1516を含む。入力及び出力デバイスは、コンピュータシステム1510とのユーザーの対話を可能にする。ネットワークインターフェースサブシステム1516は、他のコンピュータシステムにおける対応するインターフェースデバイスに結合された外部ネットワークへのインターフェースを提供する。
[00119] ユーザーインターフェース入力デバイス1522は、キーボード、ポインティングデバイス、例えば、マウス、トラックボール、タッチパッド、又はグラフィックスタブレット、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声入力デバイス、例えば、音声認識システム、マイクロホン、及び/又は、他の種類の入力デバイスを含む。概して、「入力デバイス」という用語の使用は、コンピュータシステム1510に、又は通信ネットワーク上に情報を入力するためのすべての可能な種類のデバイス及び手法を含むことが意図される。
[00120] ユーザーインターフェース出力デバイス1520は、ディスプレイサブシステム、プリンター、ファックス機、又は、非視覚表示器、例えば、音声出力デバイスを含んでよい。ディスプレイサブシステムは、ブラウン管(CRT)、フラットパネルデバイス、例えば、液晶ディスプレイ(LCD)、投影デバイス、又は、視認可能画像を生成するための何らかの他のメカニズムを含んでよい。ディスプレイサブシステムは、例えば音声出力デバイスを介して非視覚表示をさらに提供してよい。概して、「出力デバイス」という用語の使用は、コンピュータシステム1510からユーザーに、又は別の機械又はコンピュータシステムに情報を出力するすべての可能な種類のデバイス及び手法を含むことが意図される。
[00121] データ保持システム1524は、本明細書において説明されているモジュールのうちの一部又はすべての機能を提供するプログラミング及びデータ構造を記憶する。例えば、データ保持システム1524は、図4~図14の選択された態様を実施するための、及び/又は、患者識別モジュール260、患者捕捉モジュール254、動的校正モジュール262などを含む患者監視システム252の1つ又は複数のコンポーネントを実施するための論理部を含む。
[00122] これらのソフトウェアモジュールは、概して、単独で、又は他のプロセッサと組み合わされてプロセッサ1514により実行される。記憶サブシステムにおいて使用されるメモリ1525は、プログラム実行中における命令及びデータの記憶のための主ランダムアクセスメモリ(RAM)1530、固定の命令が記憶された読み出し専用メモリ(ROM)1532、及び、(追加的に、又は代替的に、少なくとも1つのプロセッサ1514と統合されてよい)他の種類のメモリ、例えば命令/データキャッシュを含む多くのメモリを含み得る。ファイル記憶サブシステム1526は、プログラム及びデータファイルのための永続的記憶装置を提供し得、ハードディスクドライブ、関連する取り外し可能媒体を伴うフロッピーディスクドライブ、CD-ROMドライブ、光学ドライブ、又は取り外し可能媒体カートリッジを含んでよい。特定の実施態様の機能を実施するモジュールは、データ保持システム1524における、又は、プロセッサ1514によりアクセス可能な他の機械におけるファイル記憶サブシステム1526により記憶されてよい。本明細書において使用されるとき、「非一時的なコンピュータ可読媒体」という用語は、揮発性メモリ(例えばDRAM及びSRAM)と不揮発性メモリ(例えばフラッシュメモリ、磁気記憶装置、及び光記憶装置)との両方を包含するが、一時的な信号を排除しないと理解される。
[00123] バスサブシステム1512は、コンピュータシステム1510の様々なコンポーネント及びサブシステムを意図される通りに互いに通信させるためのメカニズムを提供する。バスサブシステム1512は1つのバスとして概略的に示されるが、バスサブシステムの代替的な実施態様が複数のバスを使用してよい。いくつかの実施形態において、特に、コンピュータシステム1510が、1つ又は複数のネットワークを介して接続された複数の個々のコンピューティングデバイスを備える場合、1つ又は複数のバスは、有線又は無線ネットワーク接続を追加され、及び/又は有線又は無線ネットワーク接続と置換され得る。
[00124] コンピュータシステム1510は、ワークステーション、サーバー、演算クラスター、ブレードサーバー、サーバーファーム、又は、任意の他のデータ処理システム又はコンピューティングデバイスを含む様々な種類のものであり得る。いくつかの実施形態において、コンピュータシステム1510は、クラウドコンピューティング環境において実施されてよい。コンピュータ及びネットワークの絶えず変わり続ける性質に起因して、図15に示されるコンピュータシステム1510の説明は、いくつかの実施態様を示すことを目的とした特定の例であることが意図されるにすぎない。コンピュータシステム1510の多くの他の構成が、図15に示されるコンピュータシステムより多くの、又は、より少ないコンポーネントを含むことが可能である。
[00125] いくつかの実施形態が本明細書において説明されており、及び示されているが、当業者は本明細書において説明されている機能を実施するための、及び/又は、結果及び/又は利点のうちの1つ又は複数を得るための様々な他の手段及び/又は構造を容易に導き出し、このような変形例及び/又は修正例の各々が本明細書において説明される実施形態の範囲内であるとみなされる。より概括的には、当業者は、本明細書において説明されているすべてのパラメータ、寸法、材料、及び構成が例示的であることが意図されること、及び、実際のパラメータ、寸法、材料、及び/又は構成が、本教示が使用される特定の1つ又は複数の用途に依存することを容易に理解する。当業者は、本明細書において説明される特定の実施形態と均等な多くのものを、通常の範囲を越えない実験を行うことにより認識する、又は把握することができる。したがって前述の実施形態が単なる例示として提示されること、及び、添付の請求項及び請求項と均等なものの範囲において、実施形態が具体的に説明されたもの、及び請求項に記載されたものとは別様に実施されてよいことが理解される。本開示の本発明の実施形態は、本明細書において説明される個々の機能、システム、物品、材料、キット、及び/又は方法の各々に関する。加えて、2つ以上のこのような特徴、システム、物品、材料、キット、及び/又は方法の任意の組合せは、このような特徴、システム、物品、材料、キット、及び/又は方法が相互に矛盾を生じない場合、本開示の範囲に含まれる。
[00126] 本明細書において定義されている、及び使用されているすべての定義が、辞書の定義、参照により組み込まれる文献における定義、及び/又は、定義される用語の通常の意味に優先すると理解されなければならない。
[00127] 本明細書において、及び特許請求の範囲において本開示において使用される単数形の表現は、そうでないことが明示的に示されない限り、「少なくとも1つの」を意味すると理解されなければならない。
[00128] 本明細書において、及び特許請求の範囲において本開示において使用される「及び/又は」という表現は、そのように等位結合された要素の「いずれか又は両方」、すなわち、いくつかの場合において接続的に存在し、他の場合において離接的に存在する要素を意味すると理解されなければならない。「及び/又は」を使用して列挙された複数の要素は、同じ手法により、すなわち、そのように等位結合された要素のうちの「1つ又は複数」と解釈されなければならない。特に特定された要素に関連するか関連しないかにかかわらず、「及び/又は」節により特に特定された要素以外に、他の要素が任意選択的に存在してよい。したがって、非限定的な例として、「A及び/又はB」という表現は、例えば「備える(含む、有する、もつ)」といったオープンエンドな表現と併用されたとき、例えば、一実施形態において(B以外の要素を任意選択的に含んで)Aのみを表してよく、別の実施形態において、(A以外の要素を任意選択的に含んで)Bのみを表してよく、さらに異なる別の実施形態において、(他の要素を任意選択的に含んで)AとBとの両方を表してよい。
[00129] 本明細書において、及び特許請求の範囲において本開示において使用されるとき、「又は」は、上記のように定義された「及び/又は」と同じ意味をもつと理解されなければならない。例えば、リストにより項目を区別している場合、「又は」又は「及び/又は」は非排他的であるとして、すなわち、多くの要素のうちの、又は要素のリストのうちの少なくとも1つを含むことだけでなく、1つより多くの要素を含むこと、及び、任意選択的に追加的でリストにない項目を含むことを表すと解釈されることとする。その反対に例えば「のうちの1つのみ」又は「のうちのただ1つ」と明示された、又は、特許請求の範囲において使用される場合に「からなる」と明示された項目のみが、多くの要素のうちの、又は要素のリストのうちのただ1つの要素を含むことを表す。概して、本明細書において使用される「又は」という用語は、例えば「いずれか」、「のうちの1つ」、「のうちの1つのみ」、又は「のうちのただ1つ」といった排他性の用語により修飾されている場合、排他的な選択肢(すなわち「一方又は他方であり両方ではない」)のみを示すと解釈されることとする。「実質的に~からなる」は、特許請求の範囲において使用される場合、特許法の分野において使用されるその通常の意味をもつこととする。
[00130] 本明細書において、及び特許請求の範囲において本開示において使用されるとき、1つ又は複数の要素のリストにおける「少なくとも1つの」という表現は、要素のリストに含まれる要素のうちの任意の1つ又は複数のものから少なくとも1つの要素が選択されることを意味するが、要素のリスト内に特に列挙された要素の各々のうちの少なくとも1つを含むことに限定されず、要素のリストにおける要素の任意の組合せを排除しないことを意味すると理解されなければならない。この定義は、特に特定された要素に関連するか関連しないかにかかわらず、「少なくとも1つの」という表現が参照する要素のリストにおいて特に特定された要素以外の要素が、任意選択的に存在してよいことをさらに可能にする。したがって、非限定的な例として、例えば、「AとBとのうちの少なくとも1つ」(又は、同様に、「A又はBのうちの少なくとも1つ」、又は、同様に「A及び/又はBのうちの少なくとも1つ」)は、一実施形態において、Bの存在しない(及びB以外の要素を任意選択的に含む)状態において少なくとも1つ(1つより多い場合を任意選択的に含む)のAを参照してよく、別の実施形態において、Aの存在しない(及びA以外の要素を任意選択的に含む)状態において、少なくとも1つ(1つより多い場合を任意選択的に含む)のBを参照してよく、さらに異なる別の実施形態において、少なくとも1つ(1つより多い場合を任意選択的に含む)のA、及び、少なくとも1つ(1つより多い場合を任意選択的に含む)のBを(及び他の要素を任意選択的に含むように)参照してよい。
[00131] そうでないことが明示的に示されない限り、1つより多いステップ又は動作を有する本明細書の請求項に記載された任意の方法において、方法のステップ又は動作の順序は、方法のステップ又は動作が記載されている順序に限定されるとは限らないことも理解されなければならない。
[00132] 特許請求の範囲において、及び、ここまでの明細書において例えば「備える」、「含む」、「もつ」、「有する」、「含有する」、「伴う」、「保持する」、「から構成された」などのすべての移行句は、オープンエンドであり、すなわち、~を含むがこれらに限定されないということを意味すると理解される。米国特許庁特許審査便覧のセクション2111.03に記載されているように、「からなる」及び「実質的に~からなる」という移行句のみが、それぞれ、クローズな、又は半クローズな移行句であるとする。特許協力条約(「PCT」)の規則6.2(b)に基づいて特許請求の範囲において使用される特定の表現及び参照符号は、特許請求の範囲を限定しないことが理解されなければならない。

Claims (20)

  1. 第1のエリアにおける複数人の対象者の顔を写し出した複数の第1のカメラ顔画像を、前記第1のエリアにおける第1のカメラを使用して獲得するステップと、
    複数の前記第1のカメラ顔画像のうちの前記第1のカメラ顔画像の各々に対して、
    前記第1のカメラ顔画像に写し出された前記顔の視覚属性測定結果を特定し、
    前記第1のカメラ顔画像に写し出された前記顔の前記視覚属性測定結果に基づいて、前記第1のカメラ顔画像を複数の所定の分類のうちの1つに割り当てる、
    ことを行うステップと、
    複数の前記所定の分類のうちの各前記分類に対して、当該分類に割り当てられた複数の前記第1のカメラ顔画像のうちの幾つかの前記第1のカメラ顔画像間において共有された第1のカメラ分類ディストリビューションを特定するステップと、
    第2のエリアにおける対象者の顔を写し出した複数の第2のカメラ顔画像を、前記第2のエリアにおける第2のカメラを使用して獲得するステップと、
    複数の前記第2のカメラ顔画像のうちの前記第2のカメラ顔画像の各々に対して、
    前記第2のカメラ顔画像に写し出された前記顔の視覚属性測定結果を特定し、
    前記第2のカメラ顔画像に写し出された前記顔の前記視覚属性測定結果に基づいて、複数の所定の前記分類のうちの1つを前記第2のカメラ顔画像に割り当てる、
    ことを行うステップと、
    複数の前記分類のうちの各前記分類に対して、当該分類に割り当てられた複数の前記第2のカメラ顔画像のうちの幾つかの前記第2のカメラ顔画像間において共有された第2のカメラ分類ディストリビューションを特定するステップと、
    識別されていない対象者の顔を写し出した後続の顔画像を前記第2のカメラを使用して獲得するステップと、
    前記後続の顔画像に写し出された前記識別されていない対象者の前記顔の視覚属性測定結果を特定するステップと、
    前記後続の顔画像に写し出された前記顔の前記視覚属性測定結果に基づいて、複数の所定の前記分類のうちの所与の所定の分類に前記後続の顔画像を割り当てるステップと、
    校正された後続の顔画像を生成するために前記後続の顔画像に調節を適用するステップであって、前記調節を適用するステップが、所与の所定の前記分類に関連した前記第1のカメラ分類ディストリビューションと前記第2のカメラ分類ディストリビューションとに基づく、調節を適用するステップと、
    前記校正された後続の顔画像の1つ又は複数の特徴と、複数の前記第1のカメラ顔画像及び複数の前記第2のカメラ顔画像のうちの何れか又は両方の1つ又は複数の特徴との比較に基づいて、前記識別されていない対象者の識別情報を特定するステップと、
    を有する、方法。
  2. 前記第1のカメラ分類ディストリビューションが、前記分類に割り当てられた複数の前記第1のカメラ顔画像のうちの前記幾つかの第1のカメラ顔画像のRGBヒストグラムに関連した第1の統計量を含み、前記第2のカメラ分類ディストリビューションが、前記分類に割り当てられた複数の前記第2のカメラ顔画像のうちの前記幾つかの第2のカメラ顔画像のRGBヒストグラムに関連した第2の統計量を含む、
    請求項1に記載の方法。
  3. 前記第1の統計量が、前記分類に割り当てられた複数の前記第1のカメラ顔画像のうちの前記幾つかの第1のカメラ顔画像の前記RGBヒストグラムの平均ヒストグラムを含み、前記第2の統計量が、前記分類に割り当てられた複数の前記第2のカメラ顔画像のうちの前記幾つかの第2のカメラ顔画像の前記RGBヒストグラムの平均ヒストグラムを含む、
    請求項2に記載の方法。
  4. 前記分類に割り当てられた複数の前記第1のカメラ顔画像のうちの前記幾つかの第1のカメラ顔画像の前記RGBヒストグラムを正規化するステップと、
    前記分類に割り当てられた複数の前記第2のカメラ顔画像のうちの前記幾つかの第2のカメラ顔画像の前記RGBヒストグラムを正規化するステップと、
    をさらに有する、請求項2に記載の方法。
  5. 前記調節が、ヒストグラム修正を含む、
    請求項1に記載の方法。
  6. 前記第2のカメラのアパーチャを前記第1のカメラのアパーチャに校正するステップをさらに有する、
    請求項1に記載の方法。
  7. 前記第2のカメラのシャッター速度を前記第1のカメラのシャッター速度に校正するステップをさらに有する、
    請求項1に記載の方法。
  8. 前記第2のカメラのホワイトバランスを前記第1のカメラのホワイトバランスに校正するステップをさらに有する、
    請求項1に記載の方法。
  9. 複数の所定の前記分類が、複数の皮膚の色調の範囲を含む、
    請求項1に記載の方法。
  10. 1つ又は複数のプロセッサによる命令の実行に応答して、1つ又は複数の前記プロセッサに、以下の動作、すなわち、
    第1のカメラにより捕捉された第1の複数のデジタル画像を、前記第1の複数のデジタル画像の1つ又は複数の視覚属性に基づいて、複数の所定のカテゴリにカテゴリ分けすることであって、前記第1の複数のデジタル画像のうちの各デジタル画像が、第1のエリアにいる複数人の対象者のうちの1人を写し出す、カテゴリ分けすることと、
    第2のカメラにより捕捉された第2の複数のデジタル画像を、前記第2の複数のデジタル画像の1つ又は複数の視覚属性に基づいて、同じ複数の所定の前記カテゴリにカテゴリ分けすることであって、前記第2の複数のデジタル画像のうちの各デジタル画像が、第2のエリアにいる複数の前記対象者のうちの少なくとも1人を写し出す、カテゴリ分けすることと、
    前記第2のエリアにいる未知の対象者を写し出した後続のデジタル画像を、前記第2のカメラを使用して獲得することと、
    前記後続のデジタル画像の1つ又は複数の視覚属性に基づいて、前記後続のデジタル画像を複数の所定の前記カテゴリのうちの所与の所定の前記カテゴリにカテゴリ分けすることと、
    所与の所定の前記カテゴリにカテゴリ分けされた前記第1の複数のデジタル画像のうちの1つ又は複数の前記デジタル画像と、所与の所定の前記カテゴリにカテゴリ分けされた前記第2の複数のデジタル画像のうちの1つ又は複数の前記デジタル画像との間の関連に基づき、前記後続のデジタル画像を調節することと、
    調節された前記後続のデジタル画像の分析に基づいて、前記未知の対象者の識別情報を特定することと、
    を実施させる前記命令を含む、少なくとも1つの非一時的なコンピュータ可読媒体。
  11. 前記関連が、所与の前記カテゴリにカテゴリ分けされた前記第1の複数のデジタル画像のうちの前記デジタル画像のRGBヒストグラムに関連した第1の統計量と、所与の前記カテゴリにカテゴリ分けされた前記第2の複数のデジタル画像のRGBヒストグラムに関連した第2の統計量との間の関連を含む、
    請求項10に記載の少なくとも1つの非一時的なコンピュータ可読媒体。
  12. 前記第1の統計量が、所与の前記カテゴリにカテゴリ分けされた前記第1の複数のデジタル画像のうちの幾つかのデジタル画像の前記RGBヒストグラムの平均ヒストグラムを含み、前記第2の統計量が、所与の前記カテゴリにカテゴリ分けされた前記第2の複数のデジタル画像の幾つかのデジタル画像の前記RGBヒストグラムの平均ヒストグラムを含む、
    請求項11に記載の少なくとも1つの非一時的なコンピュータ可読媒体。
  13. 以下の動作、すなわち、
    所与の前記カテゴリにカテゴリ分けされた前記第1の複数のデジタル画像のうちの前記幾つかのデジタル画像の前記RGBヒストグラムを正規化することと、
    所与の前記カテゴリにカテゴリ分けされた前記第2の複数のデジタル画像のうちの前記幾つかのデジタル画像の前記RGBヒストグラムを正規化することと、
    を実施するための命令をさらに含む、
    請求項12に記載の少なくとも1つの非一時的なコンピュータ可読媒体。
  14. 前記調節が、ヒストグラム修正を含む、
    請求項10に記載の少なくとも1つの非一時的なコンピュータ可読媒体。
  15. 前記第2のカメラのアパーチャを前記第1のカメラのアパーチャに校正するための命令をさらに含む、
    請求項10に記載の少なくとも1つの非一時的なコンピュータ可読媒体。
  16. 前記第2のカメラのシャッター速度を前記第1のカメラのシャッター速度に校正するための命令をさらに含む、
    請求項10に記載の少なくとも1つの非一時的なコンピュータ可読媒体。
  17. 前記第2のカメラのホワイトバランスを前記第1のカメラのホワイトバランスに校正するための命令をさらに含む、
    請求項10に記載の少なくとも1つの非一時的なコンピュータ可読媒体。
  18. 複数の所定の前記カテゴリが、複数の皮膚の色調の範囲を含む、
    請求項10に記載の少なくとも1つの非一時的なコンピュータ可読媒体。
  19. 1つ又は複数のプロセッサと1つ又は複数の前記プロセッサに動作可能に結合されたメモリとを備えるシステムであって、
    前記メモリが、1つ又は複数の前記プロセッサによる命令の実行に応答して、1つ又は複数の前記プロセッサに、以下の動作、すなわち、
    第1のエリアにおける複数人の対象者の顔を写し出した複数の第1のカメラ顔画像を、前記第1のエリアにおける第1のカメラを使用して獲得することと、
    複数の前記第1のカメラ顔画像のうちの前記第1のカメラ顔画像の各々に対して、
    前記第1のカメラ顔画像に写し出された前記顔の視覚属性測定結果を特定し、
    前記第1のカメラ顔画像に写し出された前記顔の前記視覚属性測定結果に基づいて、前記第1のカメラ顔画像を複数の所定の分類のうちの1つに割り当てる、
    ことを行うことと、
    複数の前記分類のうちの各前記分類に対して、当該分類に割り当てられた複数の前記第1のカメラ顔画像のうちの幾つかの前記第1のカメラ顔画像間において共有された第1のカメラ分類ディストリビューションを特定することと、
    第2のエリアにおける対象者の顔を写し出した複数の第2のカメラ顔画像を、前記第2のエリアにおける第2のカメラを使用して獲得することと、
    複数の前記第2のカメラ顔画像のうちの前記第2のカメラ顔画像の各々に対して、
    前記第2のカメラ顔画像に写し出された前記顔の視覚属性測定結果を特定し、
    前記第2のカメラ顔画像に写し出された前記顔の前記視覚属性測定結果に基づいて、複数の所定の前記分類のうちの1つに前記第2のカメラ顔画像を割り当てる、
    ことを行うことと、
    複数の前記分類のうちの各前記分類に対して、当該分類に割り当てられた複数の前記第2のカメラ顔画像のうちの幾つかの前記第2のカメラ顔画像間において共有された第2のカメラ分類ディストリビューションを特定することと、
    識別されていない対象者の顔を写し出した後続の顔画像を、前記第2のカメラを使用して獲得することと、
    前記後続の顔画像に写し出された前記識別されていない対象者の前記顔の視覚属性測定結果を特定することと、
    前記後続の顔画像に写し出された前記顔の前記視覚属性測定結果に基づいて、複数の所定の前記分類のうちの所与の所定の前記分類に前記後続の顔画像を割り当てることと、
    校正された前記後続の顔画像を生成するために前記後続の顔画像に調節を適用することであって、前記調節を適用することが、所与の所定の前記分類に関連した前記第1のカメラ分類ディストリビューションと前記第2のカメラ分類ディストリビューションとに基づく、前記調節を適用することと、
    前記校正された前記後続の顔画像の1つ又は複数の特徴と、複数の前記第1のカメラ顔画像及び複数の前記第2のカメラ顔画像のうちの何れか又は両方の1つ又は複数の特徴との比較に基づいて、前記識別されていない対象者の識別情報を特定することと、
    を実施させることをもたらす前記命令を記憶している、
    システム。
  20. 前記第1のカメラ分類ディストリビューションが、前記分類に割り当てられた複数の前記第1のカメラ顔画像のうちの前記幾つかの第1のカメラ顔画像のRGBヒストグラムに関連した第1の統計量を含み、前記第2のカメラ分類ディストリビューションが、前記分類に割り当てられた複数の前記第2のカメラ顔画像のうちの前記幾つかの第2のカメラ顔画像のRGBヒストグラムに関連した第2の統計量を含む、
    請求項19に記載のシステム。
JP2020514706A 2017-09-13 2018-09-11 対象者の識別のためのカメラ及び画像校正 Active JP7199426B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US62/577,946 2017-09-13
US201762577946P 2017-10-27 2017-10-27
PCT/EP2018/074436 WO2019052997A1 (en) 2017-09-13 2018-09-11 CAMERA AND IMAGE CALIBRATION FOR SUBJECT IDENTIFICATION

Publications (3)

Publication Number Publication Date
JP2020533701A JP2020533701A (ja) 2020-11-19
JP2020533701A5 JP2020533701A5 (ja) 2021-12-16
JP7199426B2 true JP7199426B2 (ja) 2023-01-05

Family

ID=63683139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020514706A Active JP7199426B2 (ja) 2017-09-13 2018-09-11 対象者の識別のためのカメラ及び画像校正

Country Status (5)

Country Link
US (1) US11232287B2 (ja)
EP (1) EP3682366A1 (ja)
JP (1) JP7199426B2 (ja)
CN (1) CN111344713B (ja)
WO (1) WO2019052997A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2958003C (en) 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
CN107516105B (zh) * 2017-07-20 2020-06-16 阿里巴巴集团控股有限公司 图像处理方法及装置
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
AU2018400475B2 (en) 2018-01-08 2024-03-07 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
EP3806727A1 (en) 2018-06-15 2021-04-21 Covidien LP Systems and methods for video-based patient monitoring during surgery
CN110769175B (zh) * 2018-07-27 2022-08-09 华为技术有限公司 一种智能分析系统、方法及装置
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
WO2020124448A1 (en) * 2018-12-19 2020-06-25 Zhejiang Dahua Technology Co., Ltd. Systems and methods for video surveillance
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
EP3799067A1 (en) * 2019-09-30 2021-03-31 Koninklijke Philips N.V. Automatic patient record updating
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
US11847778B2 (en) * 2020-08-21 2023-12-19 Apple Inc. Image capture techniques personalized to individual subjects being imaged
US11810385B2 (en) * 2020-12-28 2023-11-07 Microsoft Technology Licensing, Llc Subject identification based on iterated feature representation
US20220237405A1 (en) * 2021-01-28 2022-07-28 Macronix International Co., Ltd. Data recognition apparatus and recognition method thereof
CN113133762B (zh) * 2021-03-03 2022-09-30 刘欣刚 一种无创血糖预测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222118A (ja) 2003-01-17 2004-08-05 Omron Corp 撮影装置
JP2013210844A (ja) 2012-03-30 2013-10-10 Secom Co Ltd 画像照合装置
US20140099026A1 (en) 2012-10-09 2014-04-10 Aravind Krishnaswamy Color Correction Based on Multiple Images

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242737A (ja) * 1998-02-26 1999-09-07 Ricoh Co Ltd 画像処理方法及び装置並びに情報記録媒体
AUPP400998A0 (en) 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
TW200539046A (en) 2004-02-02 2005-12-01 Koninkl Philips Electronics Nv Continuous face recognition with online learning
US7697026B2 (en) 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US8345030B2 (en) 2011-03-18 2013-01-01 Qualcomm Mems Technologies, Inc. System and method for providing positive and negative voltages from a single inductor
US10687706B2 (en) 2011-08-01 2020-06-23 Koninklijke Philips N.V. Device and method for obtaining and processing measurement readings including at least a component representative of a physical phenomenon in a living being
JP6053793B2 (ja) 2011-09-02 2016-12-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生体の生体測定信号を生成するカメラ
EP2922462A1 (en) 2012-11-23 2015-09-30 Koninklijke Philips N.V. Device and method for extracting physiological information
EP2767232A1 (en) 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
JP6389831B2 (ja) 2013-03-06 2018-09-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. バイタルサイン情報を決定するためのシステム及び方法
US9125606B2 (en) 2013-03-13 2015-09-08 Koninklijke Philips N.V. Device and method for determining the blood oxygen saturation of a subject
US9355312B2 (en) * 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US9805252B2 (en) * 2015-05-15 2017-10-31 Toshiba Tec Kabushiki Kaisha Video based facial recognition for customer verification at touchless checkout
JP7107932B2 (ja) 2016-11-30 2022-07-27 コーニンクレッカ フィリップス エヌ ヴェ 患者識別システムおよび方法
US10832035B2 (en) 2017-06-22 2020-11-10 Koninklijke Philips N.V. Subject identification systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222118A (ja) 2003-01-17 2004-08-05 Omron Corp 撮影装置
JP2013210844A (ja) 2012-03-30 2013-10-10 Secom Co Ltd 画像照合装置
US20140099026A1 (en) 2012-10-09 2014-04-10 Aravind Krishnaswamy Color Correction Based on Multiple Images

Also Published As

Publication number Publication date
US11232287B2 (en) 2022-01-25
US20200250406A1 (en) 2020-08-06
CN111344713A (zh) 2020-06-26
CN111344713B (zh) 2024-04-16
JP2020533701A (ja) 2020-11-19
EP3682366A1 (en) 2020-07-22
WO2019052997A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
JP7199426B2 (ja) 対象者の識別のためのカメラ及び画像校正
US11295150B2 (en) Subject identification systems and methods
US10832035B2 (en) Subject identification systems and methods
JP7229174B2 (ja) 人識別システム及び方法
US10997397B2 (en) Patient identification systems and methods
JP7197475B2 (ja) 患者モニタリング・システムおよび方法
JP7299923B2 (ja) 個人識別システムおよび方法
Kessler et al. Machine learning driven heart rate detection with camera photoplethysmography in time domain
Carrato et al. Computer vision for the blind: a dataset for experiments on face detection and recognition
WO2019137886A1 (en) Capturing subject data in dynamic environments using mobile cameras
Her et al. Keypoint-based gaze tracking
Vasavi et al. Pattern recognition of grooves in human lips for improved authentication in cyber-physical systems using U-Net architecture
Torres Multimodal Analytics for Healthcare

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211102

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221220

R150 Certificate of patent or registration of utility model

Ref document number: 7199426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150