JP2024512045A - メンタルヘルスを診断および監視するための視覚システム - Google Patents

Abstract

非侵襲的な視覚指標を測定する方法は、患者のメンタルヘルス状態を診断するために使用される。この方法は、電子表示画面上に刺激を提示することと、ビデオカメラによって患者の少なくとも片目の映像を記録することとを含む。刺激は、患者の目の視覚信号の変化を誘発するように構成されている。ソフトウェアは、成分を分離する画像マスクを適用することによって少なくとも１つの視覚信号を分離および定量化するように構成された一連の最適化されたアルゴリズムを通じて映像の画像フレームを処理する。アルゴリズムは、少なくとも１つの視覚信号の変化に基づいてメンタルヘルス状態の確率を推定する。推定されたメンタルヘルス状態を、患者またはメンタルヘルス専門家に示すことができる。

Description

関連出願の相互参照
[0001]本国際出願は、２０２２年３月２２日に出願された米国実用出願第１７／６５５，９７７号に対する優先権を主張し、同出願は、２０２１年３月２３日に出願された米国仮出願第６３／２００，６９６号に対する優先権を主張し、その全内容は、この参照により完全に本明細書に組み込まれる。

[0002]本発明は、一般に、メンタルヘルスを監視するための視覚システムに関する。より具体的には、本発明は、目の中の視覚的動き（すなわち、瞳孔の拡張筋（pupil dilation）、虹彩の拡張筋（iris dilator）、および括約筋の拡張および収縮（sphincter muscle dilation and constriction））と組み合わされたユーザの（患者の）目の動き（すなわち、凝視）を視覚的に走査して、ユーザまたはメンタルヘルス専門家に表示できるメンタルヘルスコンディションを診断する視覚システムに関する。

[0003]イラクおよびアフガニスタンから帰還した退役軍人の心的外傷後ストレス障害（ＰＴＳＤ）の有病率は、２３％にも達すると推定されている。米国成人全員の生涯におけるＰＴＳＤ発生率は、６．８％と推定されている。しかしながら、ＰＴＳＤの診断には、メンタルヘルス臨床医との、組織化された臨床面接が必要であり、ＤＳＭ－５のための臨床医管理ＰＴＳＤスケール（ＣＡＰＳ－５）などのスクリーニングツールを組み込む必要があり、これには、時間と労力がかかり、患者からの主観的な自己申告に大きく依存する。ＰＴＳＤの蔓延と、迅速で効果的、客観的かつ正確な診断ツールの必要性（特に、軍人などの高リスクの母集団）とを考慮して、Ｓｅｎｓｅｙｅは、コンピュータビジョンおよび分析技法を通じて測定されたＰＴＳＤ症状の存在および重症度を定量的に評価するための、機械学習を活用した医療デバイスとしてのソフトウェア（ＳＡＭＤ）を開発した。

[0004]ＰＴＳＤは、有害な攻撃的挙動、感情の収縮、および社会的引きこもりと関連付けられており、恐怖の消滅および神経可塑性（neuroplasticity）の障害の証跡を伴い、目の反応性の障害、自律神経（ＡＮＳ）反応、および動きの増加、神経血管炎症、睡眠障害、自殺傾向、および重症心血管事象に関連している。（９～１８）実際、先行研究は、視覚および聴覚の脅威刺激に対する瞳孔の反応に基づいて、ＰＴＳＤ患者を、対照参加者から正確に区別できることを実証している。（１９）この非典型的な反応は、拡張筋が過剰に動くために、交感神経の過剰駆動により、光に対する収縮速度および振幅が減少するため、単純な反射反応としても現れる可能性がある。（１９～２２）
[0005]先行研究は、目の追跡によって測定される眼神経反応の障害、および脅威関連刺激に対する瞳孔光反射作用によって測定されるＡＮＳ反応の障害が、ＰＴＳＤの症状の重症度を直接評価できることを示している。（１９～２２）
[0006]ＤＳＭ－５のための臨床医管理ＰＴＳＤスケール（ＣＡＰＳ－５）、ＵＣＬＡ ＰＴＳＤ反応指数（ＲＩ）は、ＰＴＳＤの診断におけるゴールドスタンダードツールとして、性別と、年齢層と、ＰＴＳＤの中核症状を評価するための高い実現可能性および受容性を備え、ＰＴＳＤのリスクがある個人のリスク層別化および転帰予測を促進する啓発とにわたって標準化された組織的な臨床面接に対して、広範に検証されている。（２３，２４）
[0007]深層機械学習および人工知能（ＡＩ）は、目の反応、感覚知覚、および関与を検出することができる。（９～１５）ＡＩは、現実世界の環境に対してデジタル的に作成されたシナリオの脅威および中立的な刺激に対する個人の反応を評価し、ＰＴＳＤをリアルタイムで検出する固有の機会を提供する。（９～１５）ＰＴＳＤの存在および重症度を評価し、介入に対する反応を監視するための、オペレータに依存しないスケーラブルなリアルタイムのツールの欠如が、ＰＴＳＤのリスクのある、個人の早期特定および管理を大幅に制限している。（１７，２５～２８）Ｓｅｎｓｅｙｅの、オペレータに依存しない視覚脳コンピュータインターフェース（ＯＢＣＩ）は、これらの制限を排除し、標準化され組織化された臨床面接に、安全で実行可能な補助手段を追加して、ＰＴＳＤの存在および重症度をリアルタイムに評価し、介入への反応を監視することができる。（２９）ＳｅｎｓｅｙｅのＣＶおよび機械学習アルゴリズムを用いて、ＰＴＳＤをリアルタイムに検出および監視することが可能な深層機械学習技術の出現により、我々は、機械学習を活用したソフトウェアを診断デバイスとして利用して、コンピュータビジョンと、Ｓｅｎｓｅｙｅによって開発された独自の分析技法とによって測定されるＰＴＳＤ症状の存在および重症度を定量的に評価することを提案する。

[0008]患者のメンタルヘルス状態を診断するために非侵襲的な視覚指標を測定する方法は、以下のステップ、すなわち、ビデオカメラ、電子表示画面、ハードウェアシステム、およびハードウェアシステム上で動作するように構成されたソフトウェアを提供するステップであって、ビデオカメラおよび電子表示画面は、ハードウェアシステムに接続され、ソフトウェアによって制御される、提供するステップと、ソフトウェアと対話するために患者へのアクセスを電子表示画面に提供するステップであって、ビデオカメラは、電子表示画面の近くに、または電子表示画面の一部として配置され、電子表示画面を見ているときの患者の少なくとも片目を、非侵襲的に記録するように構成されている、提供するステップと、ソフトウェアによって電子表示画面上に刺激を提示するステップと、刺激を提示している間、ビデオカメラによって患者の少なくとも片目の映像を記録するステップであって、刺激は、患者の少なくとも片目の少なくとも１つの視覚信号の変化を誘発するように構成された視神経タスクまたは視神経刺激を含み、刺激は、刺激画像、一連の刺激画像、または患者による受動的視聴のための刺激映像を含み、少なくとも１つの視覚信号の変化を誘発するように構成され、少なくとも１つの視覚信号は、目の動き、凝視位置Ｘ、凝視位置Ｙと、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、注視期間、注視エントロピ（空間）、凝視偏差（極角度）、凝視偏差（離心率）、再注視、スムーズな追跡、スムーズな追跡期間、スムーズな追跡平均速度、スムーズな追跡振幅、走査経路（経時的な凝視軌跡）、瞳孔径、瞳孔面積、瞳孔対称性、速度（瞳孔径の変化）、加速度（速度の変化）、ジャーク（瞳孔変化加速度）、瞳孔変動軌跡（pupillary fluctuation trace）、瞳孔面積収縮レイテンシ（pupil area constriction latency）、瞳孔面積収縮速度、瞳孔面積拡張期間、スペクトル特徴、虹彩筋特徴、虹彩筋群特定、虹彩筋線維収縮、虹彩括約筋特定、虹彩拡張筋特定、虹彩括約筋対称性、瞳孔および虹彩の中心ベクトル、瞬き率、瞬き期間、瞬きレイテンシ、瞬き速度、部分的瞬き率、部分的瞬き期間、瞬きエントロピ（周期性からの偏差）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、ストロマ変化検出、閉目率、眼球面積（斜視）、イリデア変化とからなる群から選択され、ハードウェアシステムは、機械学習分類モデルおよびコンピュータビジョンモデルを実行するように構成されたプロセッサを備える、記録するステップと、コンピュータビジョンモデルにより、患者の少なくとも片目の成分を分離する画像マスクを適用することによって、少なくとも１つの視覚信号を分離および定量化するように構成された、一連の最適化されたアルゴリズムを通じて、少なくとも１つの視覚信号の映像の画像フレームを処理するステップと、機械学習分類モデルによって実行されるアルゴリズムによって、少なくとも１つの視覚信号から、それがメンタルヘルス状態を表す確率を推定するステップと、処理後、患者のソフトウェアによって推定されたメンタルヘルス状態を患者に表示するか、または、電子通信を通じてメンタルヘルス状態をメンタルヘルス専門家に送信するステップとを含む。

[0009]メンタルヘルス状態は、メンタルヘルス障害、薬物乱用障害、心的外傷後ストレス障害、不安障害、うつ病性障害、急性ストレス障害、または急性ストレス反応を含んでもよい。

[0010]少なくとも１つの視覚信号は、少なくとも２つの視覚信号または少なくとも３つの視覚信号を含んでもよい。

[0011]この方法は、一定期間にわたるメンタルヘルス障害の重症度を測定するために、最初の診断後に繰り返されてもよい。

[0012]この方法は、治療効果を測定するために、患者が治療を受けている間、ある期間にわたってメンタルヘルス障害の重症度を測定するために、最初の診断後に繰り返されてもよい。

[0013]この方法は、患者のメンタルヘルス状態を、検索可能なデータ保持システムに格納することを含んでもよい。

[0014]ビデオカメラ、電子表示画面、ハードウェアシステムおよびソフトウェアは、すべて電子モバイルデバイス、タブレット、デスクトップコンピュータ、またはラップトップコンピュータの一部であるハードウェアシステム上で実行されるように構成されてもよい。

[0015]ビデオカメラおよび電子表示画面は、ハードウェアシステム、およびハードウェアシステムを実行するように構成されたソフトウェアに関して遠隔に配置されてもよい。たとえば、ハードウェアシステムおよびソフトウェアは、クラウドベースのシステムを含んでもよい。

[0016]ビデオカメラは、ウェブカメラ、セル電話カメラ、または十分な解像度およびフレームレートを備えた他の任意のビデオカメラであってもよい。十分なフレームレートは、１秒あたり３０フレームであってもよく、十分な解像度は、２．５４ｃｍ（１インチ）あたり１００ピクセルであってもよい。

[0017]この方法は、心拍数を測定するステップを含んでもよく、機械学習分類モデルによって実行されるアルゴリズムによる確率の推定は、少なくとも１つの視覚信号と心拍数との両方からの情報を含む。

[0018]この方法は、呼吸を測定するステップを含んでもよく、機械学習分類モデルによって実行されるアルゴリズムによる確率の推定は、少なくとも１つの視覚信号と呼吸との両方からの情報を含む。

[0019]本発明の他の特徴および利点は、本発明の原理を例として示す添付図面と併せて、以下のより詳細な説明から明らかになるであろう。

[0020]添付図面は、本発明を例示する。

[0021]瞳孔光反応刺激の４つの段階中の画面の色および輝度を使用した視覚刺激を例示する図である。 [0022]刺激が円形パターンで移動するスムーズな追跡タスク刺激を使用した視覚刺激を例示する図である。 [0023]本発明が正しく機能するための最小要件を表示する表である。 [0024]患者の少なくとも１つの視覚信号に変化を生じさせるように設計された静止画像の形態の視覚刺激の一例を示す図である。 [0025]患者の少なくとも１つの視覚信号に変化を生じさせるように設計された静止画像の形態の視覚刺激の別の例を示す図である。 [0026]患者の少なくとも１つの視覚信号に変化を生じさせるように設計された静止画像の形態の視覚刺激の別の例を示す図である。 [0027]患者の少なくとも１つの視覚信号に変化を生じさせるように設計された静止画像の形態の視覚刺激の別の例を示す図である。 [0028]患者の少なくとも１つの視覚信号に変化を生じさせるように設計された静止画像の形態の視覚刺激の別の例を示す図である。

[0029]メンタルヘルスを監視するための視覚システム
[0030]概要：Ｓｅｎｓｅｙｅメンタルヘルス監視（ＳＭＨＭ）は、メンタルヘルス療法と技術との交点で機能する。これは、メンタルヘルス状態と、療法技法の影響とを定量化する新しい客観的な方法を提供する。このシステムは、非侵襲性の視覚測定を使用して、交感神経系および副交感神経系を測定し、交感神経系の混乱において現れるメンタルヘルス障害（不安、うつ病、ＰＴＳＤなど）の発生を特定して追跡する。ＳＭＨＭアルゴリズムは、これらのメンタル状態を、個人ベースで監視し、分類する。ＳＭＨＭアルゴリズムは、メンタルヘルス障害を特定できるだけではなく、メンタルヘルス状態を長期にわたって追跡することもできる。ＳＭＨＭは、対話療法からマイクロドージングまで、療法介入を、個人の固有のメンタル状態に適応させるのに役立つ。このレベルの適応療法および監視は、介入の遵守および有用性を確保しながら、治療を加速する。

[0031]製品の機能：Ｓｅｎｓｅｙｅシステムは、様々なハードウェアオプションで実行するように設計されている。目の映像は、ウェブカメラ、セル電話カメラ、または十分な解像度およびフレームレートを有する他の任意のビデオカメラで取得できる。たとえば、十分なフレームレートは、３０ｆｐｓまたは６０ｆｐｓであるが、技術の向上により、経時的にフレームレートが低下する可能性がある。また、十分な解像度は、目の上の２４０×２４０ピクセルのボックスであるが、２．５４ｃｍ（１インチ）あたり１００ピクセル程度の低解像度になる可能性がある。刺激は、セル電話、タブレット、またはラップトップ画面、または標準的なコンピュータモニタに表示できる。ソフトウェアの実行に必要なハードウェアは、デバイス内、またはＡＰＩを通じてアクセスされるサーバ上の、ニューラルネットワーク対応のｆｐｇａ（フィールドプログラマブルゲートアレイ）、ａｓｉｃ（特定用途向け集積回路）、または高速化されたハードウェアである。

[0032]Ｓｅｎｓｅｙｅ評価は、ユーザがシステムにログインすることによってプロセスを開始することで始まる。これは、ＨＣＰ（医療提供者）によって発行されたユーザ名およびパスワードを入力することで実現できる。１つの実施形態では、ユーザには、一連の眼神経タスクおよびまたは刺激が提示される。別の実施形態では、走査は、より受動的になるように設計されているため、ユーザが、画面を受動的に見ている間にユーザの目が記録される。

[0033]信号：Ｓｅｎｓｅｙｅメンタルヘルス監視検出は、視覚信号に基づいて分類を行う。これらは、
目の動き、
凝視位置Ｘ、
凝視位置Ｙ、
サッカード率、
サッカードピーク速度、
サッカード平均速度、
サッカード振幅、
注視期間、
注視エントロピ（空間）、
凝視偏差（極角度）、
凝視偏差（偏心）、
再注視、
スムーズな追跡、
スムーズな追跡期間、
スムーズな追跡平均速度、
スムーズな追跡振幅、
走査経路（経時的な凝視軌跡）、
瞳孔径、
瞳孔面積、
瞳孔対称性、
速度（瞳孔径の変化）、
加速度（速度の変化）、
ジャーク（瞳孔変化加速度）、
瞳孔変動追跡、
瞳孔面積収縮レイテンシ、
瞳孔面積収縮速度、
瞳孔面積拡張期間、
スペクトル特徴、
虹彩筋特徴、
虹彩筋群特定、
虹彩筋線維収縮、
虹彩括約筋特定、
虹彩拡張筋特定、
虹彩括約筋対称性、
瞳孔および虹彩の中心ベクトル、
瞬き率、
瞬き期間、
瞬きレイテンシ、
瞬き速度、
部分的瞬き率、
部分的瞬き期間、
瞬きエントロピ（周期性からの偏差）、
強膜セグメンテーション、
虹彩セグメンテーション、
瞳孔セグメンテーション、
ストロマ変化検出、
閉目率、
眼球面積（斜視）、
イリデア変化、
心拍数変動、
呼吸数、
顔の表情
を含む。

[0034]信号は、目から微妙な情報を抽出するように設計された多段階プロセスを使用して取得される。ビデオデータからの画像フレームは、対象の構造を分離して定量化するように設計された、一連の最適化されたアルゴリズムを通じて処理される。これらの分離されたデータは、自動的に最適化され、手動でパラメータ化され、非パラメトリックな変換およびアルゴリズムを組み合わせて使用してさらに処理される。

[0035]障害の検出：ＳＭＨＭソフトウェアは、前面カメラを備えたあらゆるデバイス（タブレット、電話、コンピュータなど）で動作できる。ＳＭＨＭソフトウェアは、以前の科学的発見（２０１４年のＤ’Ｈｏｎｄｔら、２０１３年のＦｅｒｎｅｙｈｏｕｇｈら、２０１１年のＫａｔｔｏｕｌａｓら、２０１１年のＬａｒｅｔｚａｋｉら、２００２年のＮａｇａｉら、２０１２年のＱｕｉｇｌｅｙら、２０１３年のＳｔｒｏｌｌｓｔｏｒｆら、２０１２年のＹｏｕｎｇら）を利用し、画像から抽出された解剖学的および生理学的信号を使用して、最適化されたアルゴリズムを通じて、異なるメンタル状態を予測する。アルゴリズムは、入力データが、特定の障害のあるメンタル状態を表す推定確率を提供し、１つまたは複数の状態の存在を特定してもよい。画像信号は、一連のデータ処理操作を通じて実行され、信号および推定値が抽出される。最初に複数の画像マスクが適用され、目と顔の特徴の成分が分離され、画像から様々な指標をリアルタイムで抽出できるようになる。画像フィルタから、メンタル状態の最終推定をサポートする変換アルゴリズムを通じて関連信号が抽出される。複数のデータストリームおよび推定を１回の計算で行うことができ、メンタル状態信号は、複数の固有の処理アルゴリズムおよび推定アルゴリズムの組合せから発生してもよい。メンタル状態の出力は、刺激中の処理信号を関連付けることにより、刺激（示された映像および／または画像および／または空白の画面）に直接関連付けられる。このソフトウェアは、スクリーニング直後に、個人のメンタル状態を表示できる。

[0036]ＳＨＭＨソフトウェアは、縦断ベースでも同様に動作することができる。ユーザが、ソフトウェアにチェックインし続けると、ユーザが、メンタル障害状態を経験する頻度に関する情報を得るために、ユーザの状態が経時的に監視される。システムは、各ユーザに固有のこの情報を格納する。これにより、ユーザおよび治療専門家に追加情報を提供する。

[0037]療法効果および介入：ユーザを縦断的かつ遠隔的に追跡できるため、療法介入の有効性を分析できる。ユーザが療法を受けている間、システムは、ユーザごとに縦断的に格納されたメンタル状態に関する情報を出力し続ける。これにより、ユーザおよび他の関係者は、視覚信号の変化を通じて状態の改善を客観的に監視できる。療法介入に制限はなく、従来の療法方法、ならびにスマート投薬に対する患者の反応の分析を含んでもよい。視覚指標は、異なる投薬レベルで取得でき、治療専門家が、効果的な治療レベルを迅速に把握するのに役立つ。

[0038]客観的かつ非侵襲的な方式での物質使用障害の検出、診断、および監視
[0039]概要：Ｓｅｎｓｅｙｅ物質使用障害診断（ＳＳＵＤＤ）は、脳の状態および生理機能の非侵襲的視覚測定を使用して、物質使用障害を特定および追跡する。これは、異なる物質、特に乱用物質と、療法介入に使用される物質とを区別できるため、療法監視ツールとして機能する。ＳＳＵＤＤは、薬物ベースの療法介入の様々なレベルを通じて視覚指標を監視することにより、個人の固有の事例に介入を適応させるのに役立つ。このレベルの監視は、介入の遵守および有用性を確保しながら、治療を加速する。

[0040]製品の機能：Ｓｅｎｓｅｙｅシステムは、様々なハードウェアオプションで実行できるように設計されている。目の映像は、ウェブカメラ、セル電話のカメラ、または十分な解像度およびフレームレートを備えた他の任意のビデオカメラで取得できる。刺激は、セル電話、タブレット、もしくはラップトップ画面、または標準的なコンピュータのモニタに表示できる。デバイス内、またはＡＰＩを通じてアクセスされるサーバ上のいずれかで、ソフトウェアの実行に必要なハードウェアは、ニューラルネットワーク対応のｆｐｇａ、ａｓｉｃ、または高速化されたハードウェアである。

[0041]Ｓｅｎｓｅｙｅ評価は、ユーザがシステムにログインすることによってプロセスを開始することで始まる。これは、ユーザ名およびパスワードを入力するか、または顔認識を使用することで実現できる。１つの実施形態では、ユーザには、一連の眼神経タスクおよびまたは刺激が提示される。別の実施形態では、走査は、より受動的になるように設計されているため、ユーザが画面を受動的に見ている間に、ユーザの目が記録される。

[0042]信号：Ｓｅｎｓｅｙｅ物質使用障害検出は、視覚信号に基づいて、その分類を行う。これらは、
目の動き、
凝視位置Ｘ、
凝視位置Ｙ、
サッカード率、
サッカードピーク速度、
サッカード平均速度、
サッカード振幅、
注視期間、
注視エントロピ（空間）、
凝視偏差（極角度）、
凝視偏差（偏心）、
再注視、
スムーズな追跡、
スムーズな追跡期間、
スムーズな追跡平均速度、
スムーズな追跡振幅、
走査経路（経時的な凝視軌跡）、
瞳孔径、
瞳孔面積、
瞳孔対称性、
速度（瞳孔径の変化）、
加速度（速度の変化）、
ジャーク（瞳孔変化加速度）、
瞳孔変動追跡、
瞳孔面積収縮レイテンシ、
瞳孔面積収縮速度、
瞳孔面積拡張期間、
スペクトル特徴、
虹彩筋特徴、
虹彩筋群特定、
虹彩筋線維収縮、
虹彩括約筋特定、
虹彩拡張筋特定、
虹彩括約筋対称性、
瞳孔および虹彩の中心ベクトル、
瞬き率、
瞬き期間、
瞬きレイテンシ、
瞬き速度、
部分的瞬き率、
部分的瞬き期間、
瞬きエントロピ（周期性からの偏差）、
強膜セグメンテーション、
虹彩セグメンテーション、
瞳孔セグメンテーション、
ストロマ変化検出、
閉目率、
眼球面積（斜視）、
イリデア変化
を含む。

[0043]信号は、目から微妙な情報を抽出するように設計された多段階プロセスを使用して取得される。ビデオデータからの画像フレームは、対象の構造を分離して定量化するように設計された、一連の最適化されたコンピュータビジョンアルゴリズムを通じて処理される。これらの分離されたデータは、自動的に最適化され、手動でパラメータ化され、非パラメトリックな変換およびアルゴリズムを組み合わせて使用してさらに処理される。

[0044]物質使用の検出：ＳＳＵＤＤソフトウェアは、前面カメラを備えたあらゆるデバイス（タブレット、電話、コンピュータなど）で動作できる。ＳＳＵＤＤソフトウェアは、画像から抽出された解剖学的信号を使用し、最適化されたアルゴリズムを通じてユーザに存在する異なる物質のレベルを予測する。このアルゴリズムは、入力データが特定の物質の存在を表す推定確率を提供し、１つまたは複数の物質の存在を特定してもよい。画像信号は、一連のデータ処理操作を通じて実行され、信号および推定値が抽出される。最初に複数の画像マスクが適用され、目と顔の特徴の成分が分離され、画像から様々な指標をリアルタイムで抽出できるようになる。画像フィルタから、物質レベルの最終推定をサポートする変換アルゴリズムを通じて関連信号が抽出される。複数のデータストリームおよび推定を、１回の計算で行うことができ、物質存在信号は、複数の固有の処理アルゴリズムと推定アルゴリズムとの組合せから発生してもよい。以前の科学研究（２０１９年のＤｈｉｎｇｒａ、ＫａｕｒおよびＲａｍ、２０１１年のＦａｚａｒｉ、２０１０年のＫａｕｔ、Ｏｌｉｖｅｒ、Ｋｏｒｎｂｌｕｍ、およびＣｏｒｎｅｌｉａ、２００８年のＭｅｒｌｉｎ、２００４年のＭｕｒｉｌｌｏ、Ｃｒｕｃｉｌｌａ、Ｓｃｈｍｉｔｔｎｅｒ、Ｈｏｔｃｈｋｉｓｓ、およびＰｉｃｋｗｏｒｔｈ、２００２年のＲｏｔｔａｃｈ、Ｗｏｈｌｇｅｍｕｔｈ、Ｄｚａｊａ、Ｅｇｇｅｒｔ、およびＳｔｒａｕｂｅ）では、視覚生理機能と、人の組織に存在する物質との関連性が示されている。ＳＳＵＤＤでは、物質レベルの出力は、視覚信号の分析を通じて刺激（示された映像および／または画像および／または空白の画面）に直接関連付けられる。このソフトウェアは、スクリーニング直後に、オピオイド、アルコール、または他の乱用物質の有無を表示できる。

[0045]療法効果および介入：ＳＳＵＤＤは、物質、特に乱用物質と療法物質とを区別できるため、このアプリケーションを使用して、療法介入の遵守を追跡することができる。読取値が有益であるだけでなく、ユーザが、設定されたチェックインスケジュールから逸脱する割合は、療法プログラムの遵守に関する情報を提供することもできる。ユーザが療法を受けている間、システムは、療法物質の使用を含む物質使用に関する情報を出力し続け、これは、ユーザごとに縦断的に格納される。これにより、ユーザ、ならびに医師および他の療法士などの他の関係者は、視覚信号の変化を通じて状態の改善を客観的に監視することができる。

[0046]心的外傷後ストレス障害の客観的診断
[0047]概要：Ｓｅｎｓｅｙｅ ＰＴＳＤ診断は、メンタルヘルス状態と、療法技法の影響とを定量化する新しい客観的な方法を提供する。これは、ＰＴＳＤの客観的な診断および継続的な監視を可能にするための、この種のツールとしては初めてのものである。このツールは、ＰＴＳＤを診断するだけでなく、治療反応、重症度の変化の監視、および治療反応の予測もするために、反復走査により、患者を継続的に監視することもできる。

[0048]システムは、ユーザが様々な視神経タスクを実行している間、および／または、受動的に画面を見ている間、ユーザの目の映像を記録する。ＯＲＭシステムは、ユーザに刺激を提示するソフトウェアも含む。このシステムは、コンピュータビジョンを使用して、目をセグメント化し、様々な視覚特徴を定量化する。視覚指標は、コンディションを診断し、その重症度を報告するように設計された機械学習アルゴリズムへの入力になる。この製品のアルゴリズムは、不安に関連したメンタルヘルス障害を特定できるだけでなく、メンタルヘルスの状態を長期にわたって追跡することもできる。ＳＨＭＨは、対話療法からマイクロドージングまで、療法介入を、個人の固有のメンタル状態に適応させるのに役立つ。このレベルの適応療法および監視は、介入の遵守および有用性を確保しながら、治療を加速する。

[0049]入力および出力：Ｓｅｎｓｅｙｅシステムの主な入力は、システムによって提示された眼神経タスクを実行しているユーザの目の映像フィルムである。開いた目から見える解剖学的特徴（すなわち、強膜、虹彩、および瞳孔）の位置およびアイデンティティは、もともと医療画像セグメンテーションのために開発された畳込みニューラルネットワークを通じてピクセル単位で、デジタル画像内で分類される。畳込みニューラルネットワークの出力に基づいて、多数の視覚特徴が生成される。これらの視覚指標は、コンテキストおよびラベルを提供する眼神経タスクからの事象データと組み合わされる。視覚指標および事象データは、機械学習アルゴリズムに提供され、機械学習アルゴリズムは、診断もしくは不足、または「さらに情報が必要」という結果を返す。これは、眼神経タスク全体を通じて瞳孔および虹彩のダイナミクスを定量化することによって実現される。

[0050]信号：Ｓｅｎｓｅｙｅメンタルヘルス監視検出は、視覚信号に基づいて分類を行う。これらは、
目の動き、
凝視位置Ｘ、
凝視位置Ｙ、
サッカード率、
サッカードピーク速度、
サッカード平均速度、
サッカード振幅、
注視期間、
注視エントロピ（空間）、
凝視偏差（極角度）、
凝視偏差（偏心）、
再注視、
スムーズな追跡、
スムーズな追跡期間、
スムーズな追跡平均速度、
スムーズな追跡振幅、
走査経路（経時的な凝視軌跡）、
瞳孔径、
瞳孔面積、
瞳孔対称性、
速度（瞳孔径の変化）、
加速度（速度の変化）、
ジャーク（瞳孔変化加速度）、
瞳孔変動追跡、
瞳孔面積収縮レイテンシ、
瞳孔面積収縮速度、
瞳孔面積拡張期間、
スペクトル特徴、
虹彩筋特徴、
虹彩筋群特定、
虹彩筋線維収縮、
虹彩括約筋特定、
虹彩拡張筋特定、
虹彩括約筋対称性、
瞳孔および虹彩の中心ベクトル、
瞬き率、
瞬き期間、
瞬きレイテンシ、
瞬き速度、
部分的瞬き率、
部分的瞬き期間、
瞬きエントロピ（周期性からの偏差）、
強膜セグメンテーション、
虹彩セグメンテーション、
瞳孔セグメンテーション、
ストロマ変化検出、
閉目率、
眼球面積（斜視）、
イリデア変化、
顔からのＨＲＶ
を含む。

[0051]信号は、目から微妙な情報を抽出するように設計された多段階プロセスを使用して取得される。ビデオデータからの画像フレームは、対象の構造を分離して定量化するように設計された一連の最適化されたアルゴリズムを通じて処理される。これらの分離されたデータは、自動的に最適化され、手動でパラメータ化され、非パラメトリックな変換およびアルゴリズムを組み合わせて使用してさらに処理される。

[0052]製品の機能：Ｓｅｎｓｅｙｅ ＰＴＳＤシステムは、様々なハードウェアオプションで実行できるように設計される。このソフトウェアは、前面カメラを備えたあらゆるデバイス（タブレット、電話、コンピュータなど）で動作できる。ＳＭＨＭソフトウェアは、以前の科学的発見（２０１４年のＤ’Ｈｏｎｄｔら、２０１３年のＦｅｒｎｅｙｈｏｕｇｈら、２０１１年のＫａｔｔｏｕｌａｓら、２０１１年のＬａｒｅｔｚａｋｉら、２００２年のＮａｇａｉら、２０１２年のＱｕｉｇｌｅｙら、２０１３年のＳｔｒｏｌｌｓｔｏｒｆら、２０１２年のＹｏｕｎｇら）を利用し、画像から抽出された解剖学的および生理学的信号を使用して、最適化されたアルゴリズムを通じて、異なるメンタル状態を予測する。アルゴリズムは、入力データが、特定の障害のあるメンタル状態を表す推定確率を提供し、１つまたは複数の状態の存在を特定してもよい。画像信号は、一連のデータ処理操作を通じて実行され、信号および推定値が抽出される。最初に複数の画像マスクが適用され、目ならびに顔の特徴の成分が分離され、画像から様々な指標をリアルタイムで抽出できるようになる。画像フィルタから、メンタル状態の最終推定をサポートする変換アルゴリズムを通じて関連信号が抽出される。複数のデータストリームおよび推定を１回の計算で行うことができ、メンタル状態信号は、複数の固有の処理アルゴリズムおよび推定アルゴリズムの組合せから発生してもよい。メンタル状態の出力は、刺激中の処理信号を関連付けることにより、刺激（示された映像および／または画像および／または空白の画面）に直接関連付けられる。このソフトウェアは、スクリーニング直後に、個人のメンタル状態を表示できる。

[0053]このソフトウェアは、縦断ベースでも同様に動作することができる。ユーザが、ソフトウェアにチェックインし続けると、ユーザが、メンタル障害状態を経験する頻度に関する情報を得るために、ユーザの状態が経時的に監視される。システムは、各ユーザに固有のこの情報を格納する。これにより、ユーザおよび治療専門家に追加情報を提供する。

[0054]療法効果および介入：ユーザを縦断的かつ遠隔的に追跡できるため、療法介入の有効性を分析できる。ユーザが療法を受けている間、システムは、ユーザごとに縦断的に格納されたメンタル状態に関する情報を出力し続ける。これにより、ユーザおよび他の関係者は、視覚信号の変化を通じて状態の改善を客観的に監視できる。療法介入には制限はなく、従来の療法方法、ならびにスマート投薬に対する患者の反応の分析を含んでもよい。視覚指標は、異なる投薬レベルで取得でき、治療専門家が、効果的な治療レベルを迅速に把握するのに役立つ。

[0055]説明：Ｓｅｎｓｅｙｅデバイスは、医療デバイスとしてのＡＩ／ＭＬベースのソフトウェアである。患者は、モバイル電話で視覚タスクの形態で一連の刺激を観察し、我々は、そのような刺激に反応する視覚的な動きを追跡する。本明細書で説明する方法は、各実験セッションの基礎を形成する視覚スクリーニングタスクの高レベルの構成を提供することを目的としている。最終的なタスクの構成および期間は、変更される可能性がある。

[0056]関心のある瞳孔および目の動きのダイナミクスを引き出すことが知られている視覚タスクが使用される。いくつかの例示的なタスクについては、図１を参照されたい。図１Ａには、瞳孔光反応タスクが示されている。このタスクでは、参加者は、輝度が変化する画面の中心を見つめ、瞳孔の反応が測定される。図１Ｂは、正確な目の動きを使用して、動く刺激を目で追跡する参加者の能力を測定するスムーズな追跡を示している。

[0057]他のタスクは、参加者に画面上にランダムに現れる標的に向かって衝動的な目の動きをするように要求するタスクと、中立画像および嫌悪画像を自由に見ることを要求するタスクと、覚醒度または反応時間を測定するタスクとを含む。これらのタスクは、すべて短い期間（１分未満）であるが、実験セッション内で複数回繰り返されてもよいため、参加者は、現場で５～３０分の時間を費やす必要がある。タスクは、モバイルデバイスで簡単に展開でき、参加者は、必要に応じて、指定された間隔で、１日を通じて定期的にチェックイン（５～１０分）するために持ち帰ることができる。Ｓｅｎｓｅｙｅは、最初に臨床試験で１０～１５の視覚タスクとともに製品を展開し、ＰＴＳＤ診断において、どの３～５が最も正確であるかを特定するように意図している。

[0058]図１は、瞳孔光反応刺激の４つの段階中の画面の色および輝度を示す。各画面の状態は５秒間続く。

[0059]図２は、スムーズな追跡タスク刺激を例示する。刺激は、０．１６６Ｈｚの周波数で、円形パターンで移動する。

[0060]図３は、本発明が正しく機能するための現在の最小要件を表示する表である。これは、デバイスが現在機能するために必要な最小画面サイズ、オペレーティングシステム、およびカメラ解像度である。これは経時的に改善される。

[0061]図４Ａ～図４Ｅは、ポジティブな表情、ネガティブな表情、興奮を伴うネガティブな表情、中立的な表情、および顔の表情のようなカテゴリを含む、患者の少なくとも１つの視覚信号に変化を生じさせるように設計された、静止画像の形態の視覚刺激の例を示している。これらは、我々が、数千の画像のデータベースから、上記のカテゴリから選択された画像を表示する、感情画像タスクの例示的な画像である。感情画像タスク、これは、内容が脅迫的と中立的との両方である画像を受動的に見ることを含む。ユーザ／患者は、灰色のコンピュータ画面を３０秒間見て、その後、５秒間隔で画像を見る。画像は、中立的なシーンと脅迫的なシーンとを均等に分割したもので、疑似ランダムな順序で提示される。

[0062]ハードウェア：オンサイトの高解像度データは、内蔵カメラ、もしくは電話にプラグインされた外部カメラのいずれかを備えたモバイル電話を使用して、またはラップトップコンピュータにプラグインされたカメラを用いて収集される。我々が開発した機能を利用し、デバイスのパフォーマンスを最適化するために、我々は、図２に示すように、Ｓｅｎｓｅｙｅアプリケーションとともに使用するための要件の最小リストを選択した。Ｓｅｎｓｅｙｅアプリケーションは、前面（セルフィー）カメラを使用して映像を記録する。

[0063]患者が、ＰＴＳＤを患っている場合、瞳孔径は、画像に応じて異なる変化をすることが示されている。しかしながら、発明者の知る限り、またこのデバイスに対するＦＤＡのＤｅ Ｎｏｖｏ分類に基づくと、瞳孔径の変化に基づいて機能する製品を構築できた人は誰もいない。本発明が機能するのは、瞳孔サイズだけでなく、それらすべてを測定しているからである。したがって、システムは、少なくとも２，３，４，５，１０，１５，２０または瞳孔サイズを超える任意の「ｎ」個の視覚指標を測定できなければならない。メンタルヘルス状態を判定するために視覚指標を１つだけ使用することは肯定的であるが、これは、誤判定の率が高すぎるなどの誤った肯定につながる可能性がある。したがって、発明者らは、メンタルヘルス状態のより信頼性の高い判定を提供するために、視覚指標の組合せを使用することを好む。

[0064]発明者らは、本発明のために通常のカメラを使用できるコンピュータビジョンアルゴリズムを開発した。したがって、発明者らによる以下の特許出願のリスト、すなわち、２０２０年１２月１８日に出願された出願１７／２４７，６３４号、２０２０年１２月１８日に出願された出願１７／２４７，６３５号、２０２０年１２月１８日に出願された出願１７／２４７，６３６号、２０２０年１２月１８日に出願された出願１７／２４７，６３７号、および２０２０年１２月１９日に出願されたＰＣＴ出願ＰＣＴ／ＵＳ２０／７０９３９号の全内容は、この参照により完全に本明細書に組み込まれる。より具体的には、これらの先願は、敵対的生成ネットワーク（generative adversarial network）と、可視光および赤外光の組合せとを使用して、ＲＧＢカメラからＮＩＲ画像を生成するための方法を教示している。したがって、便宜上、これらの出願の関連テキストが、本明細書で繰り返される。

[0065]可視光で見える表面構造におけるＩＲ光で見える表面下の虹彩構造間のマッピングを作成するというテーマを継続して、Ｓｅｎｓｅｙｅは、ＩＲ画像上に形成された虹彩マスクを、可視光から抽出されたデータ上に投影する方法を開発した。この技法は、敵対的生成ネットワーク（ＧＡＮ）を使用して、可視光下で捉えられた入力画像のＩＲ画像を予測する（先願の図１４を参照）。次に、ＣＶマスクが、予測されたＩＲ画像上で実行され、可視光画像に重ね合わされる（先願の図１５を参照）。

[0066]この方法の一部は、ＧＡＮが、可視光画像からＩＲ画像を予測することを学習する画像のトレーニングセットを生成することである（先願の図１４を参照）。Ｓｅｎｓｅｙｅは、これらの画像を生成するためのハードウェアシステムおよび実験プロトコルを開発した。この装置は、１台はカラー感応型、もう１台はＮＩＲ感応型である２台のカメラで構成される（先願の図１６の符号１６．１，１６．２を参照）。２台は、ホットミラーが両方に対して４５度の角度を形成するように、互いに接して配置される（先願の図１６の符号１６．３を参照）。ミラーの第１の面の重心は、両センサから等距離にある。可視光は、ホットミラーを直接通過して可視光センサに到達し、ＮＩＲは反射してＮＩＲセンサに入る。このように、システムは、高度に光学的に調整されたＮＩＲおよびカラー画像を作成し、ピクセルごとに重ね合わせることができる。ハードウェアトリガが使用され、カメラが、１μＳ未満の誤差で同時に露光されることを保証する。

[0067]先願の図１６は、ＮＩＲおよび可視光映像を同時に捉えるハードウェア設計の図である。１台には近ＩＲセンサが備えられ、もう１台には可視光センサが備えられた２台のカメラが、（１台のカメラセンサには見えず、もう１台のカメラセンサには不透明なミラーである）ホットミラーを備えた４５度の角度のシャーシに取り付けられ、ピクセルレベルの精度で、画像オーバレイを作成する。

[0068]光学的および時間的に整列された可視データセットおよびＮＩＲデータセットを低誤差で作成することにより、Ｓｅｎｓｅｙｅは、ラベル付けする必要のない膨大で多様なデータセットを作成することができる。手動でラベル付けする代わりに、位置合わせにより、Ｓｅｎｓｅｙｅは、カラー画像をトレーニングするための基準としてＮＩＲ画像を使用できるようになる。既存のネットワークには、目を、強膜、虹彩、瞳孔などに分類およびセグメント化する能力をすでに有しており、その出力を、トレーニングラベルとして使用する能力を我々に与える。それに加えて、ｐｉｘ－ｔｏ－ｐｉｘ ＧＡＮのような教師なし技法は、このフレームワークを利用して、画像タイプ間の類似点および相違点をモデル化する。これらのデータは、可視および不可視の虹彩特徴の表面から表面へのマッピング、および／または表面から部分表面へのマッピングを作成するために使用される。

[0069]ＲＧＢスペクトルを適切にフィルタリングしてＮＩＲ画像に類似させるために考慮される他の方法は、レンダリングされた画像が、自然光と、ＮＩＲ光スペクトルにおける自然光との両方に類似するように、目のシミュレーションを使用することである。ニューラルネットワーク構造は、以前にリストしたもの（ｐｉｘ－ｔｏ－ｐｉｘ）と類似しており、その目的は、自然光スペクトル（３６０から７３０ｎｍ）の特定の目との相互作用によって引き起こされる反射または他のアーティファクトにも関わらず、角膜下構造（虹彩および瞳孔）が、適切に復元およびセグメント化できるようにすることである。

[0070]ＧＡＮの有用性は、ＲＧＢ画像からＮＩＲ画像を生成できる機能を学習することである。ＲＧＢ画像の問題は、特に暗い目の場合の、瞳孔と虹彩との間のコントラストの低下に起因する。これが意味するものは、目に十分な光が届かない場合、茶色の虹彩と瞳孔の穴との境界は、色のスペクトルが近接しているために、区別できないということである。ＲＧＢ空間では、我々は、光の特定のスペクトルを制御できないため、我々は、鏡として機能するという、目の別の特性の影響を受けることになる。この特性により、あらゆる対象を、瞳孔／虹彩上に、透明フィルムとして表示できる。この例として、あなたは、ｒｇｂ画像を与えられたときに、明るいモニタを小さくしたものを目で認識できる。したがって、ＧＡＮはフィルタとして機能する。ＧＡＮは、反射を除去し、境界を鮮明にし、学習された埋め込みにより、虹彩と瞳孔との真の境界を復元することができる。

[0071]本発明の改良を促進するために、発明者らは、ＧＡＮを使用せずに、通常のカメラだけで本発明を機能させることができた。しかしながら、常にではないが、ＧＡＮの使用が未だに必要になる場合がある。繰り返すが、これは、本願の発明者らによって継続的に改善されている領域である。

[0072]例示の目的でいくつかの実施形態が、詳細に説明されたが、本発明の範囲および精神から逸脱することなく、おのおのに様々な修正を加えることができる。したがって、本発明は、添付の特許請求の範囲による場合を除き、限定されるものではない。

Claims (22)

1. 患者のメンタルヘルス状態を診断するために非侵襲的な視覚指標を測定する方法であって、以下のステップ、すなわち、
   ビデオカメラ、電子表示画面、ハードウェアシステム、およびハードウェアシステム上で動作するように構成されたソフトウェアを提供するステップであって、前記ビデオカメラおよび前記電子表示画面は、前記ハードウェアシステムに接続され、前記ソフトウェアによって制御される、提供するステップと、
   前記ソフトウェアと対話するために前記患者へのアクセスを前記電子表示画面に提供するステップであって、前記ビデオカメラは、前記電子表示画面の近くに、または前記電子表示画面の一部として配置され、前記電子表示画面を見ているときの前記患者の少なくとも片目を、非侵襲的に記録するように構成されている、提供するステップと、
   前記ソフトウェアによって前記電子表示画面上に刺激を提示するステップと、
   前記刺激を提示している間、前記ビデオカメラによって前記患者の前記少なくとも片目の映像を記録するステップであって、
   前記刺激は、前記患者の少なくとも片目の少なくとも１つの視覚信号の変化を誘発するように構成された視神経タスクまたは視神経刺激を含み、前記刺激は、刺激画像、一連の刺激画像、または前記患者による受動的視聴のための刺激映像を含み、前記少なくとも１つの視覚信号の変化を誘発するように構成され、
   前記少なくとも１つの視覚信号は、
   目の動き、凝視位置Ｘ、凝視位置Ｙと、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、注視期間、注視エントロピ（空間）、凝視偏差（極角度）、凝視偏差（離心率）、再注視、スムーズな追跡、スムーズな追跡期間、スムーズな追跡平均速度、スムーズな追跡振幅、走査経路（経時的な視線軌道）、瞳孔径、瞳孔面積、瞳孔対称性、速度（瞳孔径の変化）、加速度（速度の変化）、ジャーク（瞳孔変化加速度）、瞳孔変動軌跡、瞳孔面積収縮レイテンシ、瞳孔面積収縮速度、瞳孔面積拡張期間、スペクトル特徴、虹彩筋特徴、虹彩筋群特定、虹彩筋線維収縮、虹彩括約筋特定、虹彩拡張筋特定、虹彩括約筋対称性、瞳孔および虹彩の中心ベクトル、瞬き率、瞬き期間、瞬きレイテンシ、瞬き速度、部分的瞬き率、部分的瞬き期間、瞬きエントロピ（周期性からの偏差）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、ストロマ変化検出、閉目率、眼球面積（斜視）、イリデア変化とからなる群から選択され、
   前記ハードウェアシステムは、機械学習分類モデルおよびコンピュータビジョンモデルを実行するように構成されたプロセッサを備える、記録するステップと、
   前記コンピュータビジョンモデルにより、前記患者の前記少なくとも片目の成分を分離する画像マスクを適用することによって、前記少なくとも１つの視覚信号を分離および定量化するように構成された、一連の最適化されたアルゴリズムを通じて、前記少なくとも１つの視覚信号の前記映像の画像フレームを処理するステップと、
   前記機械学習分類モデルによって実行されるアルゴリズムによって、前記少なくとも１つの視覚信号から、それが前記メンタルヘルス状態を表す確率を推定するステップと、
   前記処理後、前記患者の前記ソフトウェアによって推定された前記メンタルヘルス状態を前記患者に表示するか、または、電子通信を通じて前記メンタルヘルス状態をメンタルヘルス専門家に送信するステップとを含む、方法。
2. 前記メンタルヘルス状態は、メンタルヘルス障害を含む、請求項１に記載の方法。
3. 前記メンタルヘルス状態は、薬物乱用障害を含む、請求項１に記載の方法。
4. 前記メンタルヘルス状態は、心的外傷後ストレス障害を含む、請求項１に記載の方法。
5. 前記メンタルヘルス状態は、不安障害を含む、請求項１に記載の方法。
6. 前記メンタルヘルス状態は、うつ病性障害を含む、請求項１に記載の方法。
7. 前記メンタルヘルス状態は、急性ストレス障害を含む、請求項１に記載の方法。
8. 前記メンタルヘルス状態は、急性ストレス反応を含む、請求項１に記載の方法。
9. 前記少なくとも１つの視覚信号は、少なくとも２つの視覚信号を含む、請求項１に記載の方法。
10. 前記少なくとも１つの視覚信号は、少なくとも３つの視覚信号を含む、請求項１に記載の方法。
11. 前記方法は、一定期間にわたるメンタルヘルス障害の重症度を測定するために、最初の診断後に繰り返される、請求項１に記載の方法。
12. 前記方法は、治療効果を測定するために、前記患者が治療を受けている間、ある期間にわたってメンタルヘルス障害の重症度を測定するために、最初の診断後に繰り返される、請求項１に記載の方法。
13. 前記患者の前記メンタルヘルス状態を、検索可能なデータ保持システムに格納するステップを含む、請求項１に記載の方法。
14. 前記ビデオカメラ、前記電子表示画面、前記ハードウェアシステムおよび前記ソフトウェアは、すべて電子モバイルデバイス、タブレット、デスクトップコンピュータ、またはラップトップコンピュータの一部である前記ハードウェアシステム上で実行されるように構成される、請求項１に記載の方法。
15. 前記ビデオカメラおよび電子表示画面は、前記ハードウェアシステム、および前記ハードウェアシステムを実行するように構成されたソフトウェアに関して遠隔に配置される、請求項１に記載の方法。
16. 前記ハードウェアシステムおよびソフトウェアは、クラウドベースのシステムを備える、請求項１５に記載の方法。
17. 前記ビデオカメラは、ウェブカメラ、セル電話カメラ、または十分な解像度およびフレームレートを備えた他の任意のビデオカメラである、請求項１に記載の方法。
18. 前記十分なフレームレートは、１秒あたり３０フレームである、請求項１７に記載の方法。
19. 前記十分な解像度は、２．５４ｃｍ（１インチ）あたり１００ピクセルである、請求項１８に記載の方法。
20. 心拍数を測定するステップを含み、前記機械学習分類モデルによって実行される前記アルゴリズムによる確率の推定は、前記少なくとも１つの視覚信号と前記心拍数との両方からの情報を含む、請求項１に記載の方法。
21. 呼吸を測定するステップを含み、前記機械学習分類モデルによって実行される前記アルゴリズムによる前記確率の推定は、前記少なくとも１つの視覚信号と前記呼吸との両方からの情報を含む、請求項１に記載の方法。
22. 呼吸および心拍数を測定するステップを含み、前記機械学習分類モデルによって実行される前記アルゴリズムによる前記確率の推定は、前記少なくとも１つの視覚信号、前記心拍数、および前記呼吸からの情報を含む、請求項１に記載の方法。

Images