JP2023536988A - 人の一部の画像を分析して病状の重症度を検出するためのシステム、方法、及びコンピュータプログラム - Google Patents

人の一部の画像を分析して病状の重症度を検出するためのシステム、方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2023536988A
JP2023536988A JP2023507832A JP2023507832A JP2023536988A JP 2023536988 A JP2023536988 A JP 2023536988A JP 2023507832 A JP2023507832 A JP 2023507832A JP 2023507832 A JP2023507832 A JP 2023507832A JP 2023536988 A JP2023536988 A JP 2023536988A
Authority
JP
Japan
Prior art keywords
image
person
computers
severity
autoimmune condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023507832A
Other languages
English (en)
Inventor
ジェンキンス,ジュリアン
レザーズ,トッド
アリ,ライアッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Incyte Corp
Original Assignee
Incyte Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Incyte Corp filed Critical Incyte Corp
Publication of JP2023536988A publication Critical patent/JP2023536988A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

人の皮膚状態を監視するための方法、システム、及びコンピュータプログラムが開示される。一態様では、方法は、人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを取得することと、人の自己免疫状態の重症度が上昇傾向にある尤度、または人の自己免疫状態の重症度が低下傾向にある尤度を示す重症度スコアを生成することと、ユーザの過去画像が自己免疫状態を有する人の皮膚を描写する尤度を示す過去重症度スコアと、重症度スコアを比較することと、比較に基づいて、人の自己免疫状態の重症度が上昇傾向にあるか、人の自己免疫状態の重症度が低下傾向にあるかを判定することと、を含み得る。

Description

白斑とは、皮膚色の損失により皮膚にシミを生じる症状である。これは、色素産生細胞が死滅または機能停止した時に生じ得る。
本開示の革新的な一態様によれば、人の身体の一部の画像を分析して、画像が、特定の病状またはあるレベルの病状重症度変化を伴う人を描写するか否かを判定するためのシステムが開示される。
一態様では、自己免疫状態の発症を検出するためのデータ処理システムが開示される。システムは、1つ以上のコンピュータと、命令を格納した1つ以上のストレージデバイスとを含み得、命令は、1つ以上のコンピュータにより実行されると、1つ以上のコンピュータに動作を実行させる。一態様では、動作は、人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、1つ以上のコンピュータにより取得することと、機械学習モデルにより処理された画像データが自己免疫状態を有する人の皮膚を描写する尤度を特定するようにトレーニングされた機械学習モデルへの入力として、第1の画像を表すデータを、1つ以上のコンピュータにより提供することと、第1の画像を表すデータが機械学習モデルにより処理されたことに基づいて、機械学習モデルにより生成された出力データを、1つ以上のコンピュータにより取得することであって、出力データは、第1の画像が自己免疫状態を有する人の皮膚を描写する尤度を表す、取得することと、取得された出力データに基づいて、人が自己免疫状態を有するか否かを、1つ以上のコンピュータにより判定することと、を含み得る。
他のバージョンは、対応するデバイス、方法、及びコンピュータプログラムを含み、コンピュータプログラムは、コンピュータ可読ストレージデバイス上でエンコードされた命令により定義された方法のアクションを実行する。
これらのバージョン及び他のバージョンは、任意で、下記の特徴のうちの1つ以上を含み得る。例えば、いくつかの実施態様では、人の身体の一部は、顔である。
いくつかの実施態様では、第1の画像を表すデータを取得することは、ユーザデバイスにより生成された自撮り画像である画像データを、1つ以上のコンピュータにより取得することを含み得る。
いくつかの実施態様では、第1の画像を表すデータを取得することは、ユーザデバイスのカメラへのアクセスが許可されているという判定に基づいて、ユーザデバイスのカメラを使用して人の身体の少なくとも一部を表す画像データを時々取得することを含み得、時々取得される画像データは、画像データを生成及び取得するように人から明示的な命令を受けることなく生成及び取得される画像データである。
本開示の別の革新的な態様によれば、人の皮膚状態を監視するためのデータ処理システムが開示される。システムは、1つ以上のコンピュータと、命令を格納した1つ以上のストレージデバイスとを含み得、命令は、1つ以上のコンピュータにより実行されると、1つ以上のコンピュータに動作を実行させる。一態様では、動作は、人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、1つ以上のコンピュータにより取得することと、人の自己免疫状態の重症度が上昇傾向にある尤度、または人の自己免疫状態の重症度が低下傾向にある尤度を示す重症度スコアを、1つ以上のコンピュータにより生成することであって、重症度スコアを生成することは、機械学習モデルにより処理された画像データが自己免疫状態を有する人の皮膚を描写する尤度を特定するようにトレーニングされた機械学習モデルへの入力として、第1の画像を表すデータを、1つ以上のコンピュータにより提供することと、第1の画像を表すデータが機械学習モデルにより処理されたことに基づいて、機械学習モデルにより生成された出力データを、1つ以上のコンピュータにより取得することであって、出力データは、第1の画像が自己免疫状態を有する人の皮膚を描写する尤度を表し、機械学習モデルにより生成された出力データが重症度スコアである、取得することと、を含む重症度スコアを生成することと、ユーザの過去画像が自己免疫状態を有する人の皮膚を描写する尤度を示す過去重症度スコアと、重症度スコアを、1つ以上のコンピュータにより比較することと、比較に基づいて、人の自己免疫状態の重症度が上昇傾向にあるか、人の自己免疫状態の重症度が低下傾向にあるかを、1つ以上のコンピュータにより判定することと、を含む。
他のバージョンは、対応するデバイス、方法、及びコンピュータプログラムを含み、コンピュータプログラムは、コンピュータ可読ストレージデバイス上でエンコードされた命令により定義された方法のアクションを実行する。
これらのバージョン及び他のバージョンは、任意で、下記の特徴のうちの1つ以上を含み得る。例えば、いくつかの実施態様では、人の自己免疫状態の重症度が上昇傾向にあるか、人の自己免疫状態の重症度が低下傾向にあるかを判定することは、重症度スコアが過去重症度スコアより閾値を超えて大きいと、1つ以上のコンピュータにより判定することと、重症度スコアが過去スコアより閾値を超えて大きいと判定したことに基づいて、人の自己免疫状態の重症度が上昇傾向にあると判定することと、を含み得る。
いくつかの実施態様では、人の自己免疫状態の重症度が上昇傾向にあるか、人の自己免疫状態の重症度が低下傾向にあるかを判定することは、重症度スコアが過去重症度スコアより閾値を超えて小さいと、1つ以上のコンピュータにより判定することと、重症度スコアが過去スコアより閾値を超えて小さいと判定したことに基づいて、人の自己免疫状態の重症度が低下傾向にあると判定することと、を含み得る。
本開示の別の革新的な態様によれば、病状の発症を検出するためのデータ処理システムが開示される。システムは、1つ以上のコンピュータと、命令を格納した1つ以上のストレージデバイスとを含み得、命令は、1つ以上のコンピュータにより実行されると、1つ以上のコンピュータに動作を実行させる。一態様では、動作は、人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、1つ以上のコンピュータにより取得することと、第1の画像に類似する過去画像を、1つ以上のコンピュータにより識別することと、第1の画像に関連付けられるべき、過去画像の1つ以上の属性を、1つ以上のコンピュータにより特定することと、1つ以上の属性を記述するデータを含む第1の画像のベクトル表現を、1つ以上のコンピュータにより生成することと、機械学習モデルにより処理された画像データが病状を有する人の皮膚を描写する尤度を特定するようにトレーニングされた機械学習モデルへの入力として、第1の画像の生成されたベクトル表現を、1つ以上のコンピュータにより提供することと、第1の画像の生成されたベクトル表現が機械学習モデルにより処理されたことに基づいて、機械学習モデルにより生成された出力データを、1つ以上のコンピュータにより取得することと、取得された出力データに基づいて、人が病状を伴うか否かを、1つ以上のコンピュータにより判定することと、を含み得る。
他のバージョンは、対応するデバイス、方法、及びコンピュータプログラムを含み、コンピュータプログラムは、コンピュータ可読ストレージデバイス上でエンコードされた命令により定義された方法のアクションを実行する。
これらのバージョン及び他のバージョンは、任意で、下記の特徴のうちの1つ以上を含み得る。例えば、いくつかの実施態様では、病状は、自己免疫状態を含む。
いくつかの実施態様では、1つ以上の属性は、照明条件、時刻、日付、GPS座標、顔の毛、病変領域、日焼け止めの使用、化粧の使用、または一時的な切り傷もしくは打撲などの過去画像属性を含む。
いくつかの実施態様では、第1の画像に類似する過去画像を1つ以上のコンピュータにより識別することは、過去画像が、過去画像内の病変領域の部位を識別するデータを含む1つ以上の属性を有する最新保存画像であることを、1つ以上のコンピュータにより特定することを含み得る。
本開示のこれらの革新的な態様及び他の革新的な態様は、明細書、図面、及び特許請求の範囲で、より詳細に説明される。
人の一部の画像を分析して、画像が特定の病状を伴う人を描写するか否かを判定するためのシステムの図である。 人の一部の画像を分析して、画像が特定の病状を伴う人を描写するか否かを判定するためのプロセスのフローチャートである。 人の一部の画像を分析して、画像が、病状の重症度が上昇傾向にある人を描写するか、特定の病状の重症度が低下傾向にある人を描写するかを、判定するためのプロセスのフローチャートである。 人の一部の画像を分析して、画像が特定の病状を伴う人を描写するか否かを判定するようにトレーニングされた機械学習モデルへの入力用に、最適化画像を生成するためのプロセスのフローチャートである。 人の一部の画像を分析して、画像が特定の病状を伴う人を描写するか否かを判定するためのシステムを実施するために使用され得るシステムコンポーネントの図である。
本開示は、人の画像を分析して、画像が特定の病状を伴う人を描写するか否かを検出するためのシステム、方法、及びコンピュータプログラムを対象とする。いくつかの実施態様では、特定の病状は、白斑などの自己免疫状態であり得る。人が特定の病状を伴うか否かを検出することには、人が特定の病状を有することを検出すること、人の特定の病状の重症度が上昇傾向にあることを検出すること、人の特定の病状の重症度が低下傾向にあることを検出すること、または、人が特定の病状を有さないことを検出すること、が含まれ得る。
白斑のような病状などのいくつかの病状の検出には、人の身体の少なくとも一部の画像により描写される人の皮膚の色素の色または他の態様における変化の分析が必要となり得る。したがって、このような分析は、画像分析モジュールに対し、患者の皮膚の正確な描写を提示する入力画像を生成することに、本質的に依存する。数多くの環境要因及び非環境要因が、人の画像の歪みを生じ得る。例えば、照明、雨、または霧などの環境要因により、画像における人の皮膚の色素の正確な表現に歪みが生じ得る。同様に、「自撮りモード」、「ビューティモード」などのカメラフィルタ、またはプログラムされた画像安定化もしくは画像補正といった非環境要因により、人の皮膚の色素の正確な表現に歪みが生じ得る。本開示は、これらの環境要因、非環境要因、または両方により生じるこれらの歪みを考慮して、画像を前処理し、これらの画像のベクトル表現を変更できるという点で、著しい技術改善を提供する。その結果、本開示の画像分析モジュールへの入力用に、最適化入力画像のベクトル表現が生成され得、これは、従来のシステムを使用して生成された入力画像と比較して、人の皮膚の色素をより正確に描写する。したがって、本開示の画像分析モジュールにより生成された出力に基づいて、本開示により行われる、画像により描写される人が特定の病状を伴うか否かに関する判定は、従来のシステムよりも正確である。
図1は、人の一部の画像を分析して、画像が特定の病状を伴う人を描写するか否かを判定するためのシステム100の図である。システム100は、ユーザデバイス110、ネットワーク120、及びアプリケーションサーバ130を含み得る。アプリケーションサーバ130は、アプリケーションプログラミングインターフェース(API)モジュール131、入力生成モジュール132、画像分析モジュール133、出力分析モジュール135、及び通知モジュール137を含み得る。アプリケーションサーバ130はまた、過去画像データベース134に格納された画像、及び過去スコアデータベース136に格納された過去スコアに、アクセスすることができる。いくつかの実施態様では、これらのデータベースの一方または両方は、アプリケーションサーバ130に格納され得る。他の実施態様では、これらのデータベースの一方または両方の全てまたは一部は、アプリケーションサーバ130によりアクセス可能な別のコンピュータにより、格納され得る。
本明細書の目的では、モジュールという用語は、1つ以上のソフトウェアコンポーネント、1つ以上のハードウェアコンポーネント、またはこれらの任意の組み合わせを含み得、これらを使用して、本明細書によるそれぞれのモジュールに帰属する機能が実現され得る。
ソフトウェアコンポーネントは、例えば1つ以上のソフトウェア命令を含み得、これらは実行されると、本明細書によるそれぞれのモジュールに帰属する機能をコンピュータにより実現させる。ハードウェアコンポーネントは、例えば、中央処理装置(CPU)またはグラフィック処理装置(GPU)などの1つ以上のプロセッサ、メモリデバイス、またはこれらの組み合わせを含み得、1つ以上のプロセッサは、ソフトウェア命令を実行して、本明細書によるモジュールに帰属する機能を1つ以上のプロセッサにより実現させるように構成され、メモリデバイスは、ソフトウェア命令を格納するように構成される。代替的または付加的に、ハードウェアコンポーネントは、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)などの1つ以上の回路を含み得、これらは、本明細書によるモジュールに帰属する機能を実現するためにハードワイヤードロジックを使用して動作を実行するように構成されたものである。
いくつかの実施態様では、システム100は、ユーザデバイス110のカメラ110aを使用して、人105の身体の一部の第1の画像を表す第1の画像データ112aを生成するプロセスの実行を開始し得る。いくつかの実施態様では、第1の画像データ112aには、GIF画像、またはJPEG画像などの静止画像データが含まれ得る。いくつかの実施態様では、第1の画像データ112aには、MPEG-4ビデオなどのビデオデータが含まれ得る。いくつかの実施態様では、ユーザデバイス110には、スマートフォンが含まれ得る。しかし、他の実施態様では、ユーザデバイス110は、カメラを含む任意のデバイスであり得る。例えば、いくつかの実施態様では、ユーザデバイスは、一体型カメラを含む、あるいはカメラに接続されたスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、スマートウォッチ、またはスマートグラスなどであり得る。図1の実施例では、ユーザデバイス110は、カメラ110aを使用して、人105の顔の画像をキャプチャする。しかし、本開示はこのように限定されず、代わりに、ユーザデバイス110のカメラ110aを使用して、人105の身体のいかなる部分の画像もキャプチャし得る。
いくつかの実施態様では、ユーザデバイス110は、人105のコマンドに応じて、人105の身体の一部の第1の画像を表す第1の画像データ112aを生成し得る。例えば、第1の画像データ112aは、ユーザデバイス110の物理ボタンのユーザ選択に応じて、またはユーザデバイス110のグラフィカルユーザインターフェース上に表示されるボタンの視覚表現のユーザ選択に応じて、生成され得る。しかし、本開示は、このように限定される必要はない。代わりに、いくつかの実施態様では、ユーザデバイス110には、プログラムドロジックがインストール済みであり得、プログラムドロジックにより、ユーザデバイス110は、人105の身体の一部の画像データを定期的または非同期的に生成する。
後者のシナリオでは、ユーザデバイス110のプログラムドロジックは、人105の顔といった人105の身体の一部がカメラ110aの視線内にあることを検出するように、ユーザデバイス110を構成し得る。次に、人の身体の一部がカメラ110aの視線内にあるという判定に基づいて、ユーザデバイス110は、ユーザデバイス110による人105の顔の画像を表す画像データの生成を、自動的にトリガし得る。これにより、人105がこのシステム100に明らかに関与しているかどうかに関係なく、確実に人の画像が継続的に取得され分析され得る。これは、人105が白斑などの特定の病状を伴っている可能性がある状況では、重要であり得、その理由は、人105は、自身の皮膚の色素変化により心理的に影響を受けており、アプリケーションを開いて自身の画像を撮り、アプリケーションサーバ130に提出して、自身の受けているレジメンにより白斑の重症度が上昇傾向にあるか、白斑の重症度が低下傾向にあるかを判定する意欲を喪失した状態にあり得るためである。
ユーザデバイス110は、第1の画像データ112aを含む第1のデータ構造112を生成し、生成された第1のデータ構造112を、第1のデータ構造112を使用するアプリケーションサーバ130に、ネットワーク120を使用して送信し得る。生成された第1のデータ構造112は、第1の画像データ112aを構造化するフィールドと、例えばアプリケーションサーバ130の宛先アドレスといった第1の画像データ112aをアプリケーションサーバ130に送信するのに必要な任意のメタデータと、を含み得る。いくつかの実施態様では、第1のデータ構造112は、ユーザデバイス110からアプリケーションサーバ130へ第1の画像データ112aを送信するために使用される複数の異なるメッセージとして、実施され得る。例えば、画像データ112aを複数の異なるパケットにパケット化し、パケットが目的とするアプリケーションサーバ130の宛先に向けて、ネットワーク120を介してパケットを送信することにより、第1のデータ構造112の概念は実施され得る。他の実施態様では、第1のデータ構造112は、概念的に、例えば第1の画像データ112aが電子メールに添付されたSMTPを介して送信される電子メールなどの電子メッセージとして、みなされ得る。図1の実施例では、ネットワーク120には、有線イーサネットネットワーク、有線光ネットワーク、WiFiネットワーク、LAN、WAN、セルラーネットワーク、インターネット、またはこれらの任意の組み合わせが含まれ得る。
アプリケーションサーバ130は、アプリケーションプログラミングインターフェース(API)131を介して、第1のデータ構造112を受信し得る。API131は、ユーザデバイス110などの1つ以上のユーザデバイスと、アプリケーションサーバ130との間のインターフェースとして機能し得るソフトウェアモジュール、ハードウェアモジュール、またはこれらの組み合わせであり得る。API131は、第1の画像データ112aを抽出するために、第1のデータ構造112を処理し得る。API131は、入力生成モジュール132への入力として、第1の画像データ112aを提供し得る。
入力生成モジュール132は、第1の画像データ112aを処理して、画像分析モジュール133への入力用に第1の画像データ112aを準備し得る。いくつかの実施態様では、これは、画像分析モジュール133へ入力するために、第1の画像データ112aをベクトル化するなどの正規処理を含み得る。第1の画像データ112aをベクトル化することは、例えば複数のフィールドを含むベクトルを生成することを含み得、ベクトルの各フィールドは、第1の画像データ112aのピクセルに対応する。生成されたベクトルは、ベクトルフィールドのそれぞれに、フィールドが対応する画像のピクセルの1つ以上の特徴を表す数値を含み得る。結果得られるベクトルは、画像分析モジュール133による入力及び処理に適した第1の画像データ112aの数値表現であり得る。このような実施態様では、生成されたベクトルは、システム100によるさらなる処理のために、画像分析モジュール133への入力として提供され得る。
しかし、図1の実施例のようないくつかの実施態様では、入力生成モジュール132は、画像分析モジュール133への入力として第1の画像データ112aを提供する前に、画像分析モジュール133への入力用に第1の画像データ112aを準備する追加動作を実行し得る。例えば、入力生成モジュール132は、人105の身体の部分を示す過去画像データベース134に格納された過去画像に基づいて、画像分析モジュール133への入力用に画像112aを最適化し得る。過去画像データベース134に格納されたこれらの過去画像は、分析のためにアプリケーションサーバ130に以前に提出された人105の画像を含み得る。他の実施態様では、過去画像データベース134に格納された過去画像は、医師の往診中にキャプチャされた画像、または人105に関連付けられたソーシャルメディアアカウントから取得された画像など、1つ以上の他のソースから取得された画像であり得る。過去画像のこれらの実施例は、限定としてみなされるべきではなく、過去画像データベース134に格納された人105の過去画像は、いずれの手段で取得されてもよい。
いくつかの実施態様では、過去画像のうちの1つ以上は、過去画像の属性を記述するメタデータに関連付けられ得る。例えば、メタデータを使用して、複数の過去画像のそれぞれに注釈を付け、過去画像の属性を示すことができ、属性には、例えば照明条件、時刻、日付、GPS座標、顔の毛、病変領域、日焼け止めの使用、化粧の使用、または一時的な切り傷もしくは打撲などが挙げられ、過去画像に関連付けられた環境要因または非環境要因を考慮して、過去画像が人105の皮膚の色素沈着を正確に表しているか否かに関して、領域にタグが付けられる。いくつかの実施態様では、これらのタグは、過去画像のレビューに基づいて、人間のユーザにより割り当てられ得る。
入力生成モジュール132は、過去画像データベース134に格納された過去画像を使用して、多数の異なる方法で画像112aを最適化し得る。本開示の目的では、画像112aなどの画像を「最適化する」ことは、画像112aを画像分析モジュール133による処理により適したものにするために、(i)画像を表すデータを生成すること、または(ii)画像分析モジュール133への入力として提供され得る画像に関連付けられたデータを生成すること、を含み得る。画像分析モジュール133が最適化前の画像を処理して生成した出力データと比べて、最適化画像により画像分析モジュール133がより良い出力データ133aを生成する場合、最適化画像は、画像分析モジュールによる処理により適したものであり得る。より良い出力とは、例えば、人が特定の病状を伴うか、人の特定の病状の重症度が上昇傾向にあるか、人の特定の病状の重症度が低下傾向にあるか、人が特定の病状を伴わないかに関して、画像分析モジュール133により生成された出力データ133aに基づいて、出力分析モジュール135がより正確な判定を行うことができる出力が挙げられ得る。
いくつかの実施態様では、最適化画像112bを生成するために、入力生成モジュール132により画像112aが多数の異なる方法で処理され得る。一実施態様では、入力生成モジュールは、新たに受信した画像112aと過去画像134との比較を実行し得る。最適化画像112bに十分に類似する過去画像が識別されると、入力生成モジュール132は、画像ベクトルの1つ以上のフィールドの値を、入力画像112aに類似すると特定された識別過去画像のメタデータ属性に対応する値に設定し得る。
例えば、入力生成モジュール132は、新たに取得された画像112aが過去画像のうちの1つに類似すると、特定することができる。いくつかの実施態様では、類似性は、例えば、画像112aを表すベクトルと、それぞれの過去画像を表す1つ以上のベクトルとのベクトルベース比較に基づく画像類似性に基づいて、特定され得る。新たに取得された画像112aが特定の照明条件でキャプチャされた過去画像に類似すると特定されると、入力生成モジュール132は、画像112aが特定の照明条件の中で撮像されたことを示すように、最適化画像112bの画像ベクトル表現のフィールドを設定し得る。この追加情報は、画像分析モジュール133により行われる推論に情報を与え得る信号を、画像分析モジュール133に提供し得る。
別の実施例として、新たに取得された画像112aが、日焼け止めを付けた人105をキャプチャした過去画像に類似すると特定されると、入力生成モジュール132は、画像内の描写人物105が日焼け止めを付けた状態で画像112aは撮像されたことを示すように、最適化画像112bの画像ベクトル表現のフィールドを設定し得る。この追加情報は、画像分析モジュール133により行われる推論に情報を与え得る信号を、画像分析モジュール133に提供し得る。
別の実施例として、入力生成モジュールは、新たに取得された画像112aと類似過去画像との関係を特定し得る。いくつかの実施態様では、画像112aと過去画像との類似性は、画像間の時間的関係に基づいて特定され得る。例えば、特定の過去画像は、人105の皮膚の一部を描写する最新キャプチャ画像または最新保存画像である場合、画像112aに類似すると特定され得る。このような場合、入力生成モジュール132は、類似過去画像に関連付けられたメタデータであって、過去画像により描写される人105の皮膚上に描写される既知の白斑病変の部位を示すメタデータに基づいて、最適化画像を表すベクトル112bに含めるデータを生成し得る。この追加情報は、画像分析モジュール133により行われる推論に情報を与え得る信号を、画像分析モジュール133に提供し得る。
これらの実施例のいかなるものも、本開示の範囲を限定するものとして解釈されるべきではない。代わりに、任意の過去写真の任意の属性を記述する任意のメタデータを使用して、画像分析モジュール133への入力用に画像を最適化することができる。
入力生成モジュール132は、画像分析モジュールへの入力用に、最適化画像112bのベクトル表現を生成し得る。ベクトル表現には、複数のフィールドを含むベクトルが含まれ得、ベクトルの各フィールドは、第1の画像データ112aのピクセルに対応し、1つ以上のフィールドは、1つ以上の類似過去画像から第1の画像データ112aに帰属させた追加情報を表す。生成されたベクトル112bは、ベクトルフィールドのそれぞれに数値を含み得、これは、フィールドが対応する画像ピクセルの1つ以上の特徴を表し、1つ以上の数値は、入力画像に帰属する追加情報の存在、不在、程度、部位、または他の特徴を示す。
画像分析モジュール133は、最適化画像112bのベクトル表現を分析し、出力データ133aを生成するように構成され得、出力データ133aは、最適化画像112bのベクトル表現により表される画像112aが、白斑などの病状を伴う人を描写する尤度を示す。最適化画像データ112bを表すベクトルが画像分析モジュール133により処理されたことに基づいて、画像分析モデル133により生成された出力データ133aは、出力分析モジュール135により分析されて、人105が病状を伴うか否かが判定され得る。
いくつかの実施態様では、画像分析モジュール133は、1つ以上の機械学習モデルを含み得、機械学習モデルにより処理された最適化画像データ112bのベクトル表現などの画像データが、1つ以上の自己免疫状態などの病状を有する人105の皮膚を描写する画像を表す尤度を特定するように、機械学習モデルはトレーニング済みである。いくつかの実施態様では、自己免疫状態は、白斑であり得る。すなわち、機械学習モデルは、出力データ133aを生成するようにトレーニングされ得、出力データ133aは、機械学習モデルにより処理されたベクトル表現112bが表す画像データで描写される人が、白斑を有する可能性が高い人である確率、または白斑を有さない可能性が高い人である確率などの値を表し得る。しかし、機械学習モデルにより生成された出力データ133aを、機械学習モデル自身が実際に分類するわけではない。代わりに、機械学習モデルは、出力データ133aを生成し、出力データ133aを出力分析モジュール135に提供し、出力分析モジュール135は、出力データ133aを人105の1つ以上のクラスに閾値で分けるように構成され得る。
機械学習モデルは、数多くの異なる方法でトレーニングされ得る。一実施態様では、最適化画像を表すトレーニングベクトルのトレーニングラベルを生成するシミュレータを使用して、トレーニングが達成され得る。トレーニングラベルは、トレーニングベクトル表現が、病状を伴う人の画像に対応するか、病状を伴わない人の画像に対応するかに関して、指示を提供し得る。このような実施態様では、最適化画像を表す各トレーニングベクトルが、機械学習モデルへの入力として提供され、機械学習モデルにより処理され得、次に、機械学習モデルにより生成されたトレーニング出力を使用して、トレーニングベクトル表現の予測ラベルが特定され得る。トレーニングベクトル表現の予測ラベルは、処理されたトレーニングベクトル表現に対応するトレーニングラベルと比較され得る。次に、予測ラベルとトレーニングラベルとの違いに基づいて、第1の機械学習モデルのパラメータが調整され得る。このプロセスは、新たに処理されたトレーニングベクトル表現の予測ラベルが、トレーニングベクトル表現のシミュレータにより生成されたトレーニングラベルと、所定の誤差レベル内で一致し始めるまで、複数のトレーニングベクトル表現のそれぞれに関して、反復的に続けられ得る。
最適化画像のベクトル表現を処理して、ベクトル表現に対応する画像が特定の病状を伴う人を描写する尤度を示す出力データ133aを生成するようにトレーニングされた機械学習モデルなどの画像分析モジュール133により生成された出力データ133aは、出力分析モジュール135への入力として提供され得る。出力分析モジュール135は、出力データ133aを受信し、確率などの出力データ133aに1つ以上のビジネスロジックルールを適用して、最適化画像のベクトル表現の基となった画像112aで描写される人が、病状を伴うか、病状を伴わないかを判定し得る。
このような実施態様では、出力データ133aを評価するために、出力分析モジュール135により単一の閾値が使用され得る。例えば、いくつかの実施態様では、出力分析モジュール135は、確率などの出力データ133aを取得し、取得した出力データ133aを所定閾値と比較し得る。取得した出力データ133aが所定閾値を満たさないと出力分析モジュール135が判定した場合は、人105が特定の病状を伴わないと出力分析モジュール135は判定し得る。あるいは、取得した出力データ133aが所定閾値を満たすと出力分析モジュール135が判定した場合は、人105が特定の病状を伴うと出力分析モジュール135は判定し得る。
いくつかの実施態様では、出力分析モジュール135は、出力データ135a生成し得、出力データ135aは、人105が病状を伴うか否かに関して、生成された出力データ133aに基づいて出力分析モジュール135が下した判定を示すデータを含む。通知モジュール137は、レンダリングを含む通知137aを生成し得、通知137aは、ユーザデバイス110によりレンダリングされると、ユーザデバイスにより、出力分析モジュール135が下した判定を人105に伝えるアラートまたは他の視覚的メッセージを、ユーザデバイス110のディスプレイ上に表示させる。しかし、本開示は、このように限定される必要はない。例えば、通知137aは、ユーザデバイス110により処理されると、出力分析モジュール135の判定を他の方法で伝達するように構成され得る。例えば、通知137aは、ユーザデバイス110により処理されると、視覚的メッセージとは別に、または視覚的メッセージと組み合わせて、触覚フィードバックまたは音声メッセージにより、出力データ133aに基づく出力分析モジュール135の判定結果を伝達させるように構成され得る。通知137aは、アプリケーションサーバ130により、ネットワーク120を介してユーザデバイス110に送信され得る。
しかし、本明細書の主題は、通知137aをユーザデバイス110に送信するアプリケーションサーバ130に限定されない。例えば、アプリケーションサーバ130は、異なるユーザデバイスなどの別のコンピュータに通知137aを送信することもできる。いくつかの実施態様では、例えば、人105の医師、家族、または他の人のユーザデバイスに、通知137aは送信され得る。
出力分析モジュール135は、他の種類の判定を下すこともできる。いくつかの実施態様では、例えば、出力分析モジュール135は、最適化画像のベクトル表現が、病状の重症度が上昇傾向にある人を描写する画像に対応するか、病状の重症度が低下傾向にある人を描写する画像に対応するかに関して、判定を下し得る。
実施例として、図1を参照すると、最適化画像112bのベクトル表現の処理に基づいて画像分析モジュール133が出力データを生成した後、出力分析モジュール135は、確率または重症度スコアなどの出力データ133aを、過去スコア136データベースに格納し得る。この出力データは、画像112aにより描写される患者105が伴う病状の重症度のレベルを表す重症度スコアとして、使用され得る。いくつかの実施態様では、この重症度スコアは、人105の病状の重症度が上昇傾向にある尤度、または人105の病状の重症度が低下傾向にある尤度を示すことができる。それから後の時点で、ユーザデバイス110は、カメラ110aを使用して、ユーザ105の第2の画像114aをキャプチャし得る。ユーザデバイス110は、第2のデータ構造114を使用して、ネットワーク120を介してアプリケーションサーバに、第2の画像114aを送信し得る。APIモジュール131は、第2のデータ構造を受信し、画像114aを抽出し、次いで入力生成モジュール132への入力として画像114aを提供し得る。
この実施例を続けると、入力生成モジュール132は、前述の動作を実行して、画像114aを最適化し得る。いくつかの実施態様では、これは、過去画像データベース134の検索を実行することと、1つ以上の過去画像の属性を現在の画像114aに移植することと、を含み得る。入力生成モジュール132は、移植された属性に基づいて、最適化画像114bの第2のベクトル表現を生成し得る。入力生成モジュール132は、画像分析モジュール133への入力として、最適化画像114bの第2のベクトル表現を提供し得る。画像分析モジュール133は、最適化画像114bの第2のベクトル表現を処理して、第2の出力データ133bを生成し得、第2の出力データ133bは、第2の画像114aが特定の病状を伴う人105を描写する尤度を示す。
この時点で、出力分析モジュール135は、最適化画像112bの第1のベクトル表現に基づいて生成された第1の出力データ133aを考慮して、最適化画像114bの第2のベクトル表現に基づいて生成された第2の出力データ133bを分析し得る。具体的には、出力分析モジュール135は、第1の出力データ133aに対する第2の出力データ133bの変化に基づいて、画像114aにより描写される人105の特定の病状の重症度が上昇傾向にあるか、このような人105の特定の病状の重症度が低下傾向にあるかを、判定し得る。例えば、出力値「1」は、人が病状を有することを意味し、出力値「0」は、人が病状を有さないことを意味する尺度が確立されていると仮定する。このような尺度の下、第1の出力データ133aが0.65であり、第2の出力データ133bが0.78であった場合、第1の出力データ133aと第2の出力データ133bとの差により、人105の病状の重症度は上昇傾向にあることが示される。同様に、同じ尺度で、第1の出力データ133aが0.65であり、第2の出力データ133bが0.49であったシナリオでは、第1の出力データ133aと第2の出力データ133bとの差により、人105の病状の重症度は低下傾向にあることが示される。
これらの実施例のいずれも、本開示を限定するものではない。例えば、「1」は、人が病状を有さないことを意味し、「0」は、人が病状を有することを意味するなど、他の尺度が使用されてもよい。別の実施例として、「-1」は、人が病状を有さないことを意味し、「1」は、人が病状を有することを意味するように、尺度が決定されてもよい。実際、いずれの尺度が使用されてもよく、入力生成モジュール132により生成された出力データ133a、133bの範囲に基づいて、調整することができる。
しかし、本開示は、このように限定される必要はない。例えば、いくつかの実施態様では、出力分析モジュール135は、他のプロセス、システム、またはこれらの組み合わせを使用して、画像114aにより描写される人の特定の病状の重症度が上昇傾向にあるか、このような人の特定の病状の重症度が低下傾向にあるかを判定し得る。例えば、いくつかの実施態様では、出力分析モジュール135は、1つ以上の機械学習モデルを備え得、機械学習モデルは、MLモデル133により生成された出力データ133bが、画像114aにより描写される人の特定の病状の重症度が上昇傾向を示すか、このような人の特定の病状の重症度が低下傾向を示すかを、予測するようにトレーニング済みである。
より詳細には、画像114aに基づいて生成された現在の重症度スコアと、画像112aに基づいて生成された重症度スコアなどの1つ以上の過去重症度スコアとに関連付けられた人の病状(例えば自己免疫状態)の重症度が上昇傾向にある尤度、またはこのような人の病状(例えば自己免疫状態)の重症度が低下傾向にある尤度を、特定するようにトレーニングされた1つ以上の機械学習モデルを、このような実施態様の出力分析モジュール135は含み得る。すなわち、画像114aに基づいて生成された現在の重症度スコアと、画像112aに基づいて生成された重症度スコアなどの1つ以上の過去重症度スコアとに関連付けられた人の病状(例えば自己免疫状態)の重症度が上昇傾向にある確率、またはこのような人の病状(例えば自己免疫状態)の重症度が低下傾向にある確率などの値を表し得る出力データ135aを生成するように、機械学習モデルはトレーニングされ得る。次に、出力分析モジュール135の1つ以上の機械学習モデルにより生成された出力データを分析して、現在の重症度スコア及び1つ以上の過去重症度スコアに関連付けられた人の病状(例えば自己免疫状態)の重症度が上昇傾向にあるか、このような人の病状(例えば自己免疫状態)の重症度が低下傾向にあるかが、判定され得る。いくつかの実施態様では、重症度スコアに関連付けられた人の病状が進行傾向にあるか、退行傾向にあるかを判定する際、機械学習モデルが考慮できるデータ信号をより多く提供するために、1つ以上の機械学習モデルは、現在の重症度スコアに加えて、複数の過去重症度スコアを入力として受信するように、トレーニングされ得る。
出力分析モジュール135により下された判定は、通知モジュール137aを使用して、ユーザデバイス110または他のユーザデバイスに送信され得る。例えば、出力分析モジュール135は、人105の病状の重症度が上昇傾向にあるか、人105の病状の重症度が低下傾向にあるか、人105の病状の重症度に変化がないかなどを示す出力データ135aを生成し得る。出力データ135aは、通知モジュール137に提供され得、通知モジュールは、出力データ135aに基づいて通知137aを生成し得る。アプリケーションサーバ130は、ユーザデバイス110または他のユーザデバイスへの通知を、それぞれのユーザデバイスのうちの1つ以上に通知137aを送信することにより行い得る。
人105の病状の重症度が上昇傾向にあるか、人105の病状の重症度が低下傾向にあるか、人105の病状の重症度に変化がないかを示す出力データ135aを分析するために、追加のアプリケーションが使用されてもよい。いくつかの実施態様では、例えば、出力データ135aまたは通知137aは、第1の画像データ112a及び第2の画像データ114aにそれぞれ対応するベクトルに基づいて、第1の出力データ133aと第2の出力データ133bとの変化度を表すデータを含み得る。ユーザデバイス110または別のユーザデバイス上のソフトウェアは、第1の出力データ133aと第2の出力データ133bとの変化度を分析して、人105または人の医師に1つ以上のアラートを生成することができる。このようなアラートは、人105に自分の薬を塗布することを思い出させ、または医師にその人の処方箋を調整するように提案することなどができる。例えば、病状が白斑であるようないくつかの実施態様では、ソフトウェアは、第1の出力データ133aと第2の出力データ133bとの差は、ユーザの白斑病変がより深刻化傾向にあることを示すと、判断するように構成され得る。このような事例では、ソフトウェアは、第1の出力データ133aと第2の出力データ133bとの変化度に基づいて、人105に自分の薬を塗布することを思い出させ、人105に自分の薬をより頻繁に塗布することを提案し、または医師に人105の薬の投与量を増やすように提案するアラートを生成し得る。同様の範囲の他のアプリケーションも、本開示の範囲内であることが意図される。これらのリマインダアラート/提案アラートのための分析は、ユーザデバイス上のアプリケーションにより実行されると説明されるが、本開示はこのように限定されない。代わりに、出力データ133aと出力データ133bとの差の度合の分析は、アプリケーションサーバ130上の出力分析モジュール135により実行されてもよく、リマインダアラート/提案アラートは、通知モジュール137により生成されてもよい。
通知モジュール137がAPIモジュール131を介して通知137aを渡すことは明示的に示されていないが、いくつかの実施態様では、ユーザデバイスとアプリケーションサーバとの間のデータ通信は、アプリケーションサーバ130とユーザデバイス(複数可)との間のミドルウェア形態であるAPI131を介して行われるとみなされる。
図2は、人の一部の画像を分析して、画像が特定の病状を伴う人を描写するか否かを判定するためのプロセス200のフローチャートである。通常、プロセス200は、人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、1つ以上のコンピュータにより取得すること(210)と、機械学習モデルにより処理された画像データが自己免疫状態を有する人の皮膚を描写する尤度を特定するようにトレーニングされた機械学習モデルへの入力として、第1の画像を表すデータを、1つ以上のコンピュータにより提供すること(220)と、第1の画像を表すデータが機械学習モデルにより処理されたことに基づいて、機械学習モデルにより生成された出力データを、1つ以上のコンピュータにより取得することであって、出力データは、第1の画像が自己免疫状態を有する人の皮膚を描写する尤度を表す、取得すること(230)と、取得された出力データに基づいて、人が自己免疫状態を有するか否かを、1つ以上のコンピュータにより判定すること(240)と、を含み得る。
図3は、人の一部の画像を分析して、画像が、病状の重症度が上昇傾向にある人を描写するか、特定の病状の重症度が低下傾向にある人を描写するかを、判定するためのプロセス300のフローチャートである。例えば、いくつかの実施態様では、プロセス300は、人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、1つ以上のコンピュータにより取得すること(310)と、人の自己免疫状態の重症度が上昇傾向にある尤度、または人の自己免疫状態の重症度が低下傾向にある尤度を示す重症度スコアを、1つ以上のコンピュータにより生成すること(320)と、ユーザの過去画像が自己免疫状態を有する人の皮膚を描写する尤度を示す過去重症度スコアと、重症度スコアを、1つ以上のコンピュータにより比較すること(330)と、比較に基づいて、人の自己免疫状態の重症度が上昇傾向にあるか、人の自己免疫状態の重症度が低下傾向にあるかを、1つ以上のコンピュータにより判定すること(340)と、を含み得る。
図4は、人の一部の画像を分析して、画像が特定の病状を伴う人を描写するか否かを判定するようにトレーニングされた機械学習モデルへの入力用に、最適化画像を生成するためのプロセス400のフローチャートである。通常、プロセス400は、人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、1つ以上のコンピュータにより取得すること(410)と、第1の画像に類似する過去画像を、1つ以上のコンピュータにより識別すること(420)と、第1の画像に関連付けられるべき、過去画像の1つ以上の属性を、1つ以上のコンピュータにより特定すること(430)と、1つ以上の属性を記述するデータを含む第1の画像のベクトル表現を、1つ以上のコンピュータにより生成すること(440)と、機械学習モデルにより処理された画像データが特定の病状を有する人の皮膚を描写する尤度を特定するようにトレーニングされた機械学習モデルへの入力として、第1の画像の生成されたベクトル表現を、1つ以上のコンピュータにより提供すること(450)と、第1の画像の生成されたベクトル表現が機械学習モデルにより処理されたことに基づいて、機械学習モデルにより生成された出力データを、1つ以上のコンピュータにより取得すること(460)と、取得された出力データに基づいて、人が病状を伴うか否かを、1つ以上のコンピュータにより判定すること(470)と、を含み得る。
図5は、人の一部の画像を分析して、画像が特定の病状を伴う人を描写するか否かを判定するためのシステムを実施するために使用され得るシステムコンポーネントの図である。
コンピューティングデバイス500は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及び他の好適なコンピュータなど、様々な形態のデジタルコンピュータを表すことが意図される。コンピューティングデバイス550は、携帯情報端末、携帯電話、スマートフォン、及び他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すことが意図される。さらに、コンピューティングデバイス500または550は、ユニバーサルシリアルバス(USB)フラッシュドライブを含み得る。USBフラッシュドライブは、オペレーティングシステム及び他のアプリケーションを格納し得る。USBフラッシュドライブは、無線送信器、または別のコンピューティングデバイスのUSBポートに挿入できるUSBコネクタなど、入力/出力コンポーネントを含み得る。ここに示されるコンポーネント、これらの接続及び関係、ならびにこれらの機能は、例示のみを目的としており、本書で説明及び/または特許請求される発明の実施態様を限定する目的はない。
コンピューティングデバイス500は、プロセッサ502、メモリ504、ストレージデバイス506、メモリ504と高速拡張ポート510を接続する高速インターフェース508、及び低速バス514とストレージデバイス506に接続する低速インターフェース512を含む。コンポーネント502、504、506、508、510、及び512のそれぞれは、様々なバスを使用して相互接続され、共通のマザーボード上に、または必要に応じて他の方法で、取り付けられ得る。プロセッサ502は、メモリ504またはストレージデバイス506に格納された命令を含む、コンピューティングデバイス500内で実行される命令を処理して、高速インターフェース508に接続されたディスプレイ516などの外部入力/出力デバイス上に、GUIのグラフィック情報を表示し得る。他の実施態様では、複数のプロセッサ及び/または複数のバスが、必要に応じて複数のメモリ及びメモリ類とともに使用され得る。また、複数のコンピューティングデバイス500は、例えばサーババンク、ブレードサーバ群、またはマルチプロセッサシステムとして、必要な動作の部分を提供する各デバイスと接続され得る。
メモリ504は、コンピューティングデバイス500内で情報を格納する。一実施態様では、メモリ504は、揮発性メモリユニット(複数可)である。別の実施態様では、メモリ504は、不揮発性メモリユニット(複数可)である。メモリ504はまた、磁気ディスクまたは光ディスクなどのコンピュータ可読媒体の別の形態であってもよい。
ストレージデバイス506は、コンピューティングデバイス500に大容量ストレージを提供することができる。一実施態様では、ストレージデバイス506は、コンピュータ可読媒体であり得、またはコンピュータ可読媒体を含み得、例えば、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、またはフラッシュメモリ、もしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構造内のデバイスを含むデバイスアレイなどが挙げられる。コンピュータプログラム製品は、情報担体で有形に具現化され得る。コンピュータプログラム製品はまた、命令を含み得、命令は、実行されると、前述の方法などの1つ以上の方法を実行する。情報担体は、メモリ504、ストレージデバイス506、またはプロセッサ502上のメモリなどのコンピュータ可読媒体またはマシン可読媒体である。
高速コントローラ508は、コンピューティングデバイス500の帯域幅集約型動作を管理し、一方で低速コントローラ512は、より低い帯域幅集約型動作を管理する。このような機能の割り当ては、単なる例である。一実施態様では、高速コントローラ508は、メモリ504、例えばグラフィックプロセッサまたはアクセラレータを介してディスプレイ516、及び様々な拡張カード(図示せず)を受け入れることができる高速拡張ポート510に、接続される。実施態様では、低速コントローラ512は、ストレージデバイス506及び低速拡張ポート514に接続される。例えばUSB、ブルートゥース(登録商標)、イーサネット、ワイヤレスイーサネットなどの様々な通信ポートを含み得る低速拡張ポートは、キーボード、ポインティングデバイス、マイクロフォン/スピーカペア、スキャナ、またはスイッチもしくはルータなどのネットワークデバイスといった、1つ以上の入力/出力デバイスに、例えばネットワークアダプタを介して、接続され得る。コンピューティングデバイス500は、図に示されるように、多数の異なる形態で実装することができる。例えば、コンピューティングデバイス500は、標準サーバ520として実装されてもよく、またはこのようなサーバ群で複数回実装されてもよい。また、コンピューティングデバイス500は、ラックサーバシステム524の一部として実装されてもよい。さらに、コンピューティングデバイス500は、ラップトップコンピュータ522などのパーソナルコンピュータで実装されてもよい。あるいは、コンピューティングデバイス500のコンポーネントは、デバイス550などのモバイルデバイス(図示せず)の他のコンポーネントと組み合わされてもよい。このようなデバイスのそれぞれは、コンピューティングデバイス500、550のうちの1つ以上を含み得、システム全体は、相互通信する複数のコンピューティングデバイス500、550で構成され得る。
コンピューティングデバイス500は、図に示されるように、多数の異なる形態で実装することができる。例えば、コンピューティングデバイス500は、標準サーバ520として実装されてもよく、またはこのようなサーバ群で複数回実装されてもよい。また、コンピューティングデバイス500は、ラックサーバシステム524の一部として実装されてもよい。さらに、コンピューティングデバイス500は、ラップトップコンピュータ522などのパーソナルコンピュータで実装されてもよい。あるいは、コンピューティングデバイス500のコンポーネントは、デバイス550などのモバイルデバイス(図示せず)内の他のコンポーネントと組み合わされてもよい。このようなデバイスのそれぞれは、コンピューティングデバイス500、550のうちの1つ以上を含み得、システム全体は、相互通信する複数のコンピューティングデバイス500、550で構成され得る。
コンピューティングデバイス550は、プロセッサ552、メモリ564、及び入力/出力デバイス、例えば他のコンポーネントの中でもディスプレイ554、通信インターフェース566、トランシーバ568などを含む。追加のストレージを提供するために、デバイス550には、マイクロドライブまたは他のデバイスといったストレージデバイスも提供され得る。コンポーネント552、564、554、566、及び568のそれぞれは、様々なバスを使用して相互接続され、コンポーネントのうちのいくつかは、共通のマザーボード上に、または必要に応じて他の方法で、取り付けられ得る。
プロセッサ552は、メモリ564に格納された命令を含む、コンピューティングデバイス550内の命令を実行し得る。プロセッサは、別個の複数のアナログプロセッサ及びデジタルプロセッサを含むチップのチップセットとして、実装され得る。さらに、プロセッサは、多数のアーキテクチャのうちのいずれかを使用して実装され得る。例えば、プロセッサ552は、CISC(複合命令セットコンピュータ)プロセッサ、RISC(縮小命令セットコンピュータ)プロセッサ、またはMISC(最小命令セットコンピュータ)プロセッサであり得る。プロセッサは、例えば、ユーザインターフェース、デバイス550により実行されるアプリケーション、及びデバイス550によるワイヤレス通信の制御など、デバイス550の他のコンポーネントの調整を提供し得る。
プロセッサ552は、ディスプレイ554に接続された制御インターフェース558及びディスプレイインターフェース556を介して、ユーザと通信し得る。ディスプレイ554は、例えば、TFT(薄膜トランジスタ液晶)ディスプレイ、またはOLED(有機発光ダイオード)ディスプレイ、または他の好適なディスプレイ技術であり得る。ディスプレイインターフェース556は、ディスプレイ554を駆動してグラフィック及び他の情報をユーザに提示させる好適な回路を備え得る。制御インターフェース558は、ユーザからコマンドを受信し、プロセッサ552に提出するためにコマンドを変換し得る。さらに、デバイス550と他のデバイスとの近距離通信を可能にするために、プロセッサ552と通信する外部インターフェース562が設けられ得る。外部インターフェース562は、例えば、いくつかの実施態様では、有線通信を提供し得、または他の実施態様では、無線通信を提供し得、複数のインターフェースも使用され得る。
メモリ564は、コンピューティングデバイス550内で情報を格納する。メモリ564は、コンピュータ可読媒体(複数可)、揮発性メモリユニット(複数可)、または不揮発性メモリユニット(複数可)のうちの1つ以上として実装され得る。拡張メモリ574も提供され、拡張インターフェース572を介してデバイス550に接続され得、拡張インターフェース572には、例えばSIMM(シングルインラインメモリモジュール)カードインターフェースが含まれ得る。このような拡張メモリ574は、デバイス550に割り増しのストレージ空間を提供することができ、またはデバイス550のアプリケーションまたは他の情報を格納することもできる。具体的には、拡張メモリ574は、前述のプロセスを実行または補足するための命令を含むことができ、セキュア情報も含むことができる。よって、例えば、拡張メモリ574は、デバイス550のセキュリティモジュールとして設けられ得、デバイス550の安全な使用を可能にする命令でプログラムされ得る。さらに、ハッキング不可能な方法でSIMMカードに識別情報を配置するなど、追加情報とともに、SIMMカードを介して、セキュアアプリケーションが提供され得る。
メモリには、下記で論述されるように、例えばフラッシュメモリ及び/またはNVRAMメモリが含まれ得る。一実施態様では、コンピュータプログラム製品は、情報担体で有形に具現化される。コンピュータプログラム製品は、命令を含み、命令は、実行されると、前述の方法などの1つ以上の方法を実行する。情報担体は、メモリ564、拡張メモリ574、またはプロセッサ552上のメモリなどのコンピュータ可読媒体またはマシン可読媒体であり、例えばトランシーバ568または外部インターフェース562を介して受け付けられ得る。
デバイス550は、必要に応じてデジタル信号処理回路を含み得る通信インターフェース566を介して、無線で通信し得る。通信インターフェース566は、数ある中でもGSM音声通話、SMS、EMS、もしくはMMSメッセージング、CDMA、TDMA、PDC、WCDMA(登録商標)、CDMA2000、またはGPRSなど、様々なモードまたはプロトコル下の通信を提供し得る。このような通信は、例えば無線周波数トランシーバ568を介して実行され得る。さらに、例えばブルートゥース(登録商標)、Wi-Fi、または他のこのようなトランシーバ(図示せず)を使用して、短距離通信が実行され得る。さらに、GPS(全地球測位システム)受信器モジュール570は、デバイス550に追加のナビゲーション関連無線データ及び位置関連無線データを提供することができ、これらは、デバイス550上で実行されるアプリケーションにより必要に応じて使用され得る。
デバイス550はまた、オーディオコーデック560を使用して可聴通信を行うことができ、オーディオコーデック560は、ユーザからの発話情報を受信し、それを使用可能なデジタル情報に変換し得る。同様に、オーディオコーデック560は、例えばデバイス550のハンドセット内のスピーカを介するなどして、ユーザに可聴音を生成し得る。このような音には、音声通話からの音が含まれ得、例えば音声メッセージ、音楽ファイルなどの録音された音が含まれ得、またデバイス550上で作動するアプリケーションにより生成される音も含まれ得る。
コンピューティングデバイス550は、図に示されるように、多数の異なる形態で実装することができる。例えば、コンピューティングデバイス550は、携帯電話580として実装されてもよい。また、コンピューティングデバイス550は、スマートフォン582、携帯情報端末、または他の同様のモバイルデバイスの一部として実装されてもよい。
本明細書で説明されるシステム及び方法の様々な実施態様は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/またはこのような実施態様の組み合わせで、実現され得る。これらの様々な実施態様は、1つ以上のコンピュータプログラムの実施態様を含み得、1つ以上のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能システムで実行可能及び/または解釈可能であり、少なくとも1つのプログラマブルプロセッサは、専用または汎用であり、ストレージシステム、少なくとも1つの入力デバイス、及び少なくとも1つの出力デバイスに接続され、これらからデータ及び命令を受信し、これらにデータ及び命令を送信し得る。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる)は、プログラマブルプロセッサ用のマシン命令を含み、高次手続き型言語及び/またはオブジェクト指向プログラミング言語で、及び/またはアセンブリ/マシン言語で実装され得る。本明細書で使用される用語「マシン可読媒体」、「コンピュータ可読媒体」は、マシン命令をマシン可読信号として受信するマシン可読媒体を含むプログラマブルプロセッサにマシン命令及び/またはデータを提供するために使用される、例えば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD)といった、任意のコンピュータプログラム製品、装置、及び/またはデバイスを指す。用語「マシン可読信号」は、マシン命令及び/またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
ユーザとのインタラクションを提供するために、例えばCRT(ブラウン管)またはLCD(液晶表示)モニタなどのユーザに情報を表示するためのディスプレイデバイスと、例えばマウスまたはトラックボールなどのユーザがコンピュータ入力することを可能にするキーボード及びポインティングデバイスと、を有するコンピュータ上で、本明細書で説明されるシステム及び技法は実施され得る。同様に他の種類のデバイスも、ユーザとのインタラクションを提供するために使用され得、例えば、ユーザに提供されるフィードバックは、例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバックなどの任意の形態の感覚フィードバックであり得、ユーザからの入力は、音声入力、発話入力、または触覚入力を含む任意の形態で受信され得る。
本明細書で説明されるシステム及び技法は、例えばデータサーバのようなバックエンドコンポーネントを含むコンピューティングシステム、または例えばアプリケーションサーバなどのミドルウェアコンポーネントを含むコンピューティングシステム、または例えば本明細書で説明されるシステム及び技法の実施態様とユーザがインタラクトすることを可能にするグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータなどのフロントエンドコンポーネントを含むコンピューティングシステム、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムにおいて、実施され得る。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、例えば通信ネットワークにより、相互接続され得る。通信ネットワークの例として、ローカルエリアネットワーク(「LAN」)、広域ネットワーク(「WAN」)、及びインターネットが挙げられる。
コンピューティングシステムは、クライアント及びサーバを含み得る。クライアント及びサーバは、一般に互いに離れており、通常、通信ネットワークを介してインタラクションを行う。クライアントとサーバの関係は、各自のコンピュータ上で作動し、互いにクライアント‐サーバ関係を有するコンピュータプログラムにより、生じる。
他の実施形態
数多くの実施形態が説明された。しかしながら、本発明の趣旨及び範囲から逸脱することなく、様々な改変が行われてもよいことが、理解されよう。さらに、図に示される論理フローは、望ましい結果を達成するために、示される特定の順序または連続的順序を必要としない。さらに、説明されるフローに対し、他のステップが提供されてもよく、またはステップが削除されてもよく、説明されるシステムに対し、他のコンポーネントが追加されてもよく、またはコンポーネントが削除されてもよい。したがって、他の実施形態は、下記の特許請求の範囲内である。

Claims (36)

  1. 自己免疫状態の発症を検出するための方法であって、
    人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、1つ以上のコンピュータにより取得することと、
    機械学習モデルにより処理された画像データが前記自己免疫状態を有する人の皮膚を描写する尤度を特定するようにトレーニングされた前記機械学習モデルへの入力として、前記第1の画像を表す前記データを、前記1つ以上のコンピュータにより提供することと、
    前記第1の画像を表す前記データが前記機械学習モデルにより処理されたことに基づいて、前記機械学習モデルにより生成された出力データを、前記1つ以上のコンピュータにより取得することであって、前記出力データは、前記第1の画像が前記自己免疫状態を有する人の皮膚を描写する尤度を表す、前記取得することと、
    前記取得された出力データに基づいて、前記人が前記自己免疫状態を有するか否かを、前記1つ以上のコンピュータにより判定することと、
    を含む、方法。
  2. 前記人の前記身体の前記一部は、顔である、請求項1に記載の方法。
  3. 前記第1の画像を表す前記データを取得することは、
    ユーザデバイスにより生成された自撮り画像である画像データを、前記1つ以上のコンピュータにより取得すること、
    を含む、請求項1に記載の方法。
  4. 前記第1の画像を表す前記データを取得することは、
    ユーザデバイスのカメラへのアクセスが許可されているという判定に基づいて、前記ユーザデバイスの前記カメラを使用して人の身体の少なくとも一部を表す画像データを時々取得することであって、時々取得される前記画像データは、前記画像データを生成及び取得するように前記人から明示的な命令を受けることなく生成及び取得される画像データである、前記取得すること、
    を含む、請求項1に記載の方法。
  5. 自己免疫状態の発症を検出するためのデータ処理システムであって、前記システムは、
    1つ以上のコンピュータと、
    命令を格納した1つ以上のストレージデバイスと、
    を備え、前記命令は、前記1つ以上のコンピュータにより実行されると、前記1つ以上のコンピュータに動作を実行させ、前記動作は、
    人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、前記1つ以上のコンピュータにより取得することと、
    機械学習モデルにより処理された画像データが前記自己免疫状態を有する人の皮膚を描写する尤度を特定するようにトレーニングされた前記機械学習モデルへの入力として、前記第1の画像を表す前記データを、前記1つ以上のコンピュータにより提供することと、
    前記第1の画像を表す前記データが前記機械学習モデルにより処理されたことに基づいて、前記機械学習モデルにより生成された出力データを、前記1つ以上のコンピュータにより取得することであって、前記出力データは、前記第1の画像が前記自己免疫状態を有する人の皮膚を描写する尤度を表す、前記取得することと、
    前記取得された出力データに基づいて、前記人が前記自己免疫状態を有するか否かを、前記1つ以上のコンピュータにより判定することと、
    を含む、システム。
  6. 前記人の前記身体の前記一部は、顔である、請求項5に記載のシステム。
  7. 前記第1の画像を表す前記データを取得することは、
    ユーザデバイスにより生成された自撮り画像である画像データを、前記1つ以上のコンピュータにより取得すること、
    を含む、請求項5に記載のシステム。
  8. 前記第1の画像を表す前記データを取得することは、
    ユーザデバイスのカメラへのアクセスが許可されているという判定に基づいて、前記ユーザデバイスの前記カメラを使用して人の身体の少なくとも一部を表す画像データを時々取得することであって、時々取得される前記画像データは、前記画像データを生成及び取得するように前記人から明示的な命令を受けることなく生成及び取得される画像データである、前記取得すること、
    を含む、請求項5に記載のシステム。
  9. 1つ以上のコンピュータにより実行可能な命令を含むソフトウェアを格納する非一時的コンピュータ可読媒体であって、前記命令は、前記1つ以上のコンピュータにより実行されると、前記1つ以上のコンピュータに動作を実行させ、前記動作は、
    人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、前記1つ以上のコンピュータにより取得することと、
    機械学習モデルにより処理された画像データが自己免疫状態を有する人の皮膚を描写する尤度を特定するようにトレーニングされた前記機械学習モデルへの入力として、前記第1の画像を表す前記データを、前記1つ以上のコンピュータにより提供することと、
    前記第1の画像を表す前記データが前記機械学習モデルにより処理されたことに基づいて、前記機械学習モデルにより生成された出力データを、前記1つ以上のコンピュータにより取得することであって、前記出力データは、前記第1の画像が前記自己免疫状態を有する人の皮膚を描写する尤度を表す、前記取得することと、
    前記取得された出力データに基づいて、前記人が前記自己免疫状態を有するか否かを、前記1つ以上のコンピュータにより判定することと、
    を含む、コンピュータ可読媒体。
  10. 前記人の前記身体の前記一部は、顔である、請求項9に記載のコンピュータ可読媒体。
  11. 前記第1の画像を表す前記データを取得することは、
    ユーザデバイスにより生成された自撮り画像である画像データを、前記1つ以上のコンピュータにより取得すること、
    を含む、請求項9に記載のコンピュータ可読媒体。
  12. 前記第1の画像を表す前記データを取得することは、
    ユーザデバイスのカメラへのアクセスが許可されているという判定に基づいて、前記ユーザデバイスの前記カメラを使用して人の身体の少なくとも一部を表す画像データを時々取得することであって、時々取得される前記画像データは、前記画像データを生成及び取得するように前記人から明示的な命令を受けることなく生成及び取得される画像データである、前記取得すること、
    を含む、請求項9に記載のコンピュータ可読媒体。
  13. 人の皮膚状態を監視するための方法であって、
    人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、1つ以上のコンピュータにより取得することと、
    前記人の自己免疫状態の重症度が上昇傾向にある尤度、または前記人の自己免疫状態の重症度が低下傾向にある尤度を示す重症度スコアを、前記1つ以上のコンピュータにより生成することであって、前記重症度スコアを生成することは、
    機械学習モデルにより処理された画像データが前記自己免疫状態を有する人の皮膚を描写する尤度を特定するようにトレーニングされた前記機械学習モデルへの入力として、前記第1の画像を表す前記データを、前記1つ以上のコンピュータにより提供することと、
    前記第1の画像を表す前記データが前記機械学習モデルにより処理されたことに基づいて、前記機械学習モデルにより生成された出力データを、前記1つ以上のコンピュータにより取得することであって、前記出力データは、前記第1の画像が前記自己免疫状態を有する人の皮膚を描写する尤度を表し、前記機械学習モデルにより生成された前記出力データが前記重症度スコアである、前記取得することと、
    を含む、前記重症度スコアを生成することと、
    前記ユーザの過去画像が前記自己免疫状態を有する人の皮膚を描写する尤度を示す過去重症度スコアと、前記重症度スコアを、前記1つ以上のコンピュータにより比較することと、
    前記比較に基づいて、前記人の前記自己免疫状態の重症度が上昇傾向にあるか、前記人の前記自己免疫状態の重症度が低下傾向にあるかを、前記1つ以上のコンピュータにより判定することと、
    を含む、方法。
  14. 前記人の前記自己免疫状態の重症度が上昇傾向にあるか、前記人の前記自己免疫状態の重症度が低下傾向にあるかを判定することは、
    前記重症度スコアが前記過去重症度スコアより閾値を超えて大きいと、前記1つ以上のコンピュータにより判定することと、
    前記重症度スコアが前記過去スコアより前記閾値を超えて大きいと判定したことに基づいて、前記人の前記自己免疫状態の重症度が上昇傾向にあると判定することと、
    を含む、請求項13に記載の方法。
  15. 前記人の前記自己免疫状態の重症度が上昇傾向にあるか、前記人の前記自己免疫状態の重症度が低下傾向にあるかを判定することは、
    前記重症度スコアが前記過去重症度スコアより閾値を超えて小さいと、前記1つ以上のコンピュータにより判定することと、
    前記重症度スコアが前記過去スコアより前記閾値を超えて小さいと判定したことに基づいて、前記人の前記自己免疫状態の重症度が低下傾向にあると判定することと、
    を含む、請求項13に記載の方法。
  16. 人の皮膚状態を監視するためのデータ処理システムであって、前記システムは、
    1つ以上のコンピュータと、
    命令を格納した1つ以上のストレージデバイスと、
    を備え、前記命令は、前記1つ以上のコンピュータにより実行されると、前記1つ以上のコンピュータに動作を実行させ、前記動作は、
    人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、前記1つ以上のコンピュータにより取得することと、
    前記人の自己免疫状態の重症度が上昇傾向にある尤度、または前記人の自己免疫状態の重症度が低下傾向にある尤度を示す重症度スコアを、前記1つ以上のコンピュータにより生成することであって、前記重症度スコアを生成することは、
    機械学習モデルにより処理された画像データが前記自己免疫状態を有する人の皮膚を描写する尤度を特定するようにトレーニングされた前記機械学習モデルへの入力として、前記第1の画像を表す前記データを、前記1つ以上のコンピュータにより提供することと、
    前記第1の画像を表す前記データが前記機械学習モデルにより処理されたことに基づいて、前記機械学習モデルにより生成された出力データを、前記1つ以上のコンピュータにより取得することであって、前記出力データは、前記第1の画像が前記自己免疫状態を有する人の皮膚を描写する尤度を表し、前記機械学習モデルにより生成された前記出力データが前記重症度スコアである、前記取得することと、
    を含む、前記重症度スコアを生成することと、
    前記ユーザの過去画像が前記自己免疫状態を有する人の皮膚を描写する尤度を示す過去重症度スコアと、前記重症度スコアを、前記1つ以上のコンピュータにより比較することと、
    前記比較に基づいて、前記人の前記自己免疫状態の重症度が上昇傾向にあるか、前記人の前記自己免疫状態の重症度が低下傾向にあるかを、前記1つ以上のコンピュータにより判定することと、
    を含む、システム。
  17. 前記人の前記自己免疫状態の重症度が上昇傾向にあるか、前記人の前記自己免疫状態の重症度が低下傾向にあるかを判定することは、
    前記重症度スコアが前記過去重症度スコアより閾値を超えて大きいと、前記1つ以上のコンピュータにより判定することと、
    前記重症度スコアが前記過去スコアより前記閾値を超えて大きいと判定したことに基づいて、前記人の前記自己免疫状態の重症度が上昇傾向にあると判定することと、
    を含む、請求項16に記載のシステム。
  18. 前記人の前記自己免疫状態の重症度が上昇傾向にあるか、前記人の前記自己免疫状態の重症度が低下傾向にあるかを判定することは、
    前記重症度スコアが前記過去重症度スコアより閾値を超えて小さいと、前記1つ以上のコンピュータにより判定することと、
    前記重症度スコアが前記過去スコアより前記閾値を超えて小さいと判定したことに基づいて、前記人の前記自己免疫状態の重症度が低下傾向にあると判定することと、
    を含む、請求項16に記載のシステム。
  19. 1つ以上のコンピュータにより実行可能な命令を含むソフトウェアを格納する非一時的コンピュータ可読媒体であって、前記命令は、前記1つ以上のコンピュータにより実行されると、前記1つ以上のコンピュータに動作を実行させ、前記動作は、
    人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、前記1つ以上のコンピュータにより取得することと、
    前記人の自己免疫状態の重症度が上昇傾向にある尤度、または前記人の自己免疫状態の重症度が低下傾向にある尤度を示す重症度スコアを、前記1つ以上のコンピュータにより生成することであって、前記重症度スコアを生成することは、
    機械学習モデルにより処理された画像データが前記自己免疫状態を有する人の皮膚を描写する尤度を特定するようにトレーニングされた前記機械学習モデルへの入力として、前記第1の画像を表す前記データを、前記1つ以上のコンピュータにより提供することと、
    前記第1の画像を表す前記データが前記機械学習モデルにより処理されたことに基づいて、前記機械学習モデルにより生成された出力データを、前記1つ以上のコンピュータにより取得することであって、前記出力データは、前記第1の画像が前記自己免疫状態を有する人の皮膚を描写する尤度を表し、前記機械学習モデルにより生成された前記出力データが前記重症度スコアである、前記取得することと、
    を含む、前記重症度スコアを生成することと、
    前記ユーザの過去画像が前記自己免疫状態を有する人の皮膚を描写する尤度を示す過去重症度スコアと、前記重症度スコアを、前記1つ以上のコンピュータにより比較することと、
    前記比較に基づいて、前記人の前記自己免疫状態の重症度が上昇傾向にあるか、前記人の前記自己免疫状態の重症度が低下傾向にあるかを、前記1つ以上のコンピュータにより判定することと、
    を含む、コンピュータ可読媒体。
  20. 前記人の前記自己免疫状態の重症度が上昇傾向にあるか、前記人の前記自己免疫状態の重症度が低下傾向にあるかを判定することは、
    前記重症度スコアが前記過去重症度スコアより閾値を超えて大きいと、前記1つ以上のコンピュータにより判定することと、
    前記重症度スコアが前記過去スコアより前記閾値を超えて大きいと判定したことに基づいて、前記人の前記自己免疫状態の重症度が上昇傾向にあると判定することと、
    を含む、請求項19に記載のコンピュータ可読媒体。
  21. 前記人の前記自己免疫状態の重症度が上昇傾向にあるか、前記人の前記自己免疫状態の重症度が低下傾向にあるかを判定することは、
    前記重症度スコアが前記過去重症度スコアより閾値を超えて小さいと、前記1つ以上のコンピュータにより判定することと、
    前記重症度スコアが前記過去スコアより前記閾値を超えて小さいと判定したことに基づいて、前記人の前記自己免疫状態の重症度が低下傾向にあると判定することと、
    を含む、請求項19に記載のコンピュータ可読媒体。
  22. 病状の発症を検出するための方法であって、
    人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、1つ以上のコンピュータにより取得することと、
    前記第1の画像に類似する過去画像を、前記1つ以上のコンピュータにより識別することと、
    前記第1の画像に関連付けられるべき、前記過去画像の1つ以上の属性を、前記1つ以上のコンピュータにより特定することと、
    前記1つ以上の属性を記述するデータを含む前記第1の画像のベクトル表現を、前記1つ以上のコンピュータにより生成することと、
    機械学習モデルにより処理された画像データが前記病状を有する人の皮膚を描写する尤度を特定するようにトレーニングされた前記機械学習モデルへの入力として、前記第1の画像の前記生成されたベクトル表現を、前記1つ以上のコンピュータにより提供することと、
    前記第1の画像の前記生成されたベクトル表現が前記機械学習モデルにより処理されたことに基づいて、前記機械学習モデルにより生成された出力データを、前記1つ以上のコンピュータにより取得することと、
    前記取得された出力データに基づいて、前記人が前記病状を伴うか否かを、前記1つ以上のコンピュータにより判定することと、
    を含む、方法。
  23. 前記病状は、自己免疫状態を含む、請求項22に記載の方法。
  24. 前記1つ以上の属性は、照明条件、時刻、日付、GPS座標、顔の毛、病変領域、日焼け止めの使用、化粧の使用、または一時的な切り傷もしくは打撲などの過去画像属性を含む、請求項22に記載の方法。
  25. 前記第1の画像に類似する過去画像を、前記1つ以上のコンピュータにより識別することは、
    前記過去画像が前記人の最新保存画像であると、前記1つ以上のコンピュータにより特定すること、
    を含む、請求項22に記載の方法。
  26. 前記1つ以上の属性は、前記過去画像内の病変領域の部位を識別するデータを含む、請求項25に記載の方法。
  27. 病状の発症を検出するためのデータ処理システムであって、前記システムは、
    1つ以上のコンピュータと、
    命令を格納した1つ以上のストレージデバイスと、
    を備え、前記命令は、前記1つ以上のコンピュータにより実行されると、前記1つ以上のコンピュータに動作を実行させ、前記動作は、
    人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、前記1つ以上のコンピュータにより取得することと、
    前記第1の画像に類似する過去画像を、前記1つ以上のコンピュータにより識別することと、
    前記第1の画像に関連付けられるべき、前記過去画像の1つ以上の属性を、前記1つ以上のコンピュータにより特定することと、
    前記1つ以上の属性を記述するデータを含む前記第1の画像のベクトル表現を、前記1つ以上のコンピュータにより生成することと、
    機械学習モデルにより処理された画像データが前記病状を有する人の皮膚を描写する尤度を特定するようにトレーニングされた前記機械学習モデルへの入力として、前記第1の画像の前記生成されたベクトル表現を、前記1つ以上のコンピュータにより提供することと、
    前記第1の画像の前記生成されたベクトル表現が前記機械学習モデルにより処理されたことに基づいて、前記機械学習モデルにより生成された出力データを、前記1つ以上のコンピュータにより取得することと、
    前記取得された出力データに基づいて、前記人が前記病状を伴うか否かを、前記1つ以上のコンピュータにより判定することと、
    を含む、システム。
  28. 前記病状は、自己免疫状態を含む、請求項27に記載のシステム。
  29. 前記1つ以上の属性は、照明条件、時刻、日付、GPS座標、顔の毛、病変領域、日焼け止めの使用、化粧の使用、または一時的な切り傷もしくは打撲などの過去画像属性を含む、請求項27に記載のシステム。
  30. 前記第1の画像に類似する過去画像を、前記1つ以上のコンピュータにより識別することは、
    前記過去画像が前記人の最新保存画像であると、前記1つ以上のコンピュータにより特定すること、
    を含む、請求項27に記載のシステム。
  31. 前記1つ以上の属性は、前記過去画像内の病変領域の部位を識別するデータを含む、請求項30に記載のシステム。
  32. 1つ以上のコンピュータにより実行可能な命令を含むソフトウェアを格納する非一時的コンピュータ可読媒体であって、前記命令は、前記1つ以上のコンピュータにより実行されると、前記1つ以上のコンピュータに動作を実行させ、前記動作は、
    人の身体の少なくとも一部における皮膚を描写する第1の画像を表すデータを、前記1つ以上のコンピュータにより取得することと、
    前記第1の画像に類似する過去画像を、前記1つ以上のコンピュータにより識別することと、
    前記第1の画像に関連付けられるべき、前記過去画像の1つ以上の属性を、前記1つ以上のコンピュータにより特定することと、
    前記1つ以上の属性を記述するデータを含む前記第1の画像のベクトル表現を、前記1つ以上のコンピュータにより生成することと、
    機械学習モデルにより処理された画像データが病状を有する人の皮膚を描写する尤度を特定するようにトレーニングされた前記機械学習モデルへの入力として、前記第1の画像の前記生成されたベクトル表現を、前記1つ以上のコンピュータにより提供することと、
    前記第1の画像の前記生成されたベクトル表現が前記機械学習モデルにより処理されたことに基づいて、前記機械学習モデルにより生成された出力データを、前記1つ以上のコンピュータにより取得することと、
    前記取得された出力データに基づいて、前記人が前記病状を伴うか否かを、前記1つ以上のコンピュータにより判定することと、
    を含む、コンピュータ可読媒体。
  33. 前記病状は、自己免疫状態を含む、請求項32に記載のコンピュータ可読媒体。
  34. 前記1つ以上の属性は、照明条件、時刻、日付、GPS座標、顔の毛、病変領域、日焼け止めの使用、化粧の使用、または一時的な切り傷もしくは打撲などの過去画像属性を含む、請求項32に記載のコンピュータ可読媒体。
  35. 前記第1の画像に類似する過去画像を、前記1つ以上のコンピュータにより識別することは、
    前記過去画像が前記人の最新保存画像であると、前記1つ以上のコンピュータにより特定すること、
    を含む、請求項32に記載のコンピュータ可読媒体。
  36. 前記1つ以上の属性は、前記過去画像内の病変領域の部位を識別するデータを含む、請求項35に記載のコンピュータ可読媒体。
JP2023507832A 2020-08-05 2021-08-05 人の一部の画像を分析して病状の重症度を検出するためのシステム、方法、及びコンピュータプログラム Pending JP2023536988A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063061572P 2020-08-05 2020-08-05
US63/061,572 2020-08-05
PCT/US2021/044797 WO2022032001A1 (en) 2020-08-05 2021-08-05 Systems, methods, and computer programs, for analyzing images of a portion of a person to detect a severity of a medical condition

Publications (1)

Publication Number Publication Date
JP2023536988A true JP2023536988A (ja) 2023-08-30

Family

ID=77519847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023507832A Pending JP2023536988A (ja) 2020-08-05 2021-08-05 人の一部の画像を分析して病状の重症度を検出するためのシステム、方法、及びコンピュータプログラム

Country Status (8)

Country Link
US (1) US20220044405A1 (ja)
EP (1) EP4193300A1 (ja)
JP (1) JP2023536988A (ja)
CN (1) CN116648730A (ja)
AU (1) AU2021322264A1 (ja)
CA (1) CA3190773A1 (ja)
TW (1) TW202221725A (ja)
WO (1) WO2022032001A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245603A1 (en) * 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
BRPI0905668A2 (pt) * 2008-01-07 2015-07-07 Myskin Inc Sistema e método para análise da interação matéria-luz baseada na convulação espectral
US8891841B2 (en) * 2012-06-04 2014-11-18 Verizon Patent And Licensing Inc. Mobile dermatology collection and analysis system
US20210027897A1 (en) * 2018-03-26 2021-01-28 Dermala Inc. Skin health tracker

Also Published As

Publication number Publication date
US20220044405A1 (en) 2022-02-10
CA3190773A1 (en) 2022-02-10
CN116648730A (zh) 2023-08-25
EP4193300A1 (en) 2023-06-14
AU2021322264A1 (en) 2023-03-09
WO2022032001A1 (en) 2022-02-10
TW202221725A (zh) 2022-06-01

Similar Documents

Publication Publication Date Title
US20220036079A1 (en) Context based media curation
US8831362B1 (en) Estimating age using multiple classifiers
KR102299764B1 (ko) 전자장치, 서버 및 음성출력 방법
US9418390B2 (en) Determining and communicating user's emotional state related to user's physiological and non-physiological data
US20150317837A1 (en) Command displaying method and command displaying device
CN110869938A (zh) 人员识别系统和方法
US11551023B2 (en) Determining an item that has confirmed characteristics
US20190236450A1 (en) Multimodal machine learning selector
US20140361905A1 (en) Context monitoring
US11641403B2 (en) Analyzing augmented reality content usage data
US11354922B2 (en) Image landmark detection
US20230013116A1 (en) Multimodal entity identification
CN107665232A (zh) 检测类似应用的方法及其适配的电子装置
Palaghias et al. A survey on mobile social signal processing
KR20220023734A (ko) 사용자 맞춤형 상품 정보 제공 장치
US20210409502A1 (en) Tracking usage of augmented reality content across multiple users
US20240045899A1 (en) Icon based tagging
JP2023536988A (ja) 人の一部の画像を分析して病状の重症度を検出するためのシステム、方法、及びコンピュータプログラム
US20230289560A1 (en) Machine learning techniques to predict content actions
RU2768797C1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео
KR20220150060A (ko) 사용자 정보에 기반하여 업체 매칭 서비스를 제공하고 이에 대한 보안 서비스를 제공하는 플랫폼
CN108334804B (zh) 图像处理装置和方法以及图像处理系统
US20240086622A1 (en) Methods and system for paraphrasing communications
US20210089599A1 (en) Audience filtering system
KR20230114604A (ko) 시각장애인을 위한 객체추출 및 객체간결화를 통한 촉각정보생성시스템 및 방법