JP2024502338A - 三次元(3d)画像モデルを生成するための皮膚科学的撮像システム及び方法 - Google Patents
三次元(3d)画像モデルを生成するための皮膚科学的撮像システム及び方法 Download PDFInfo
- Publication number
- JP2024502338A JP2024502338A JP2023540875A JP2023540875A JP2024502338A JP 2024502338 A JP2024502338 A JP 2024502338A JP 2023540875 A JP2023540875 A JP 2023540875A JP 2023540875 A JP2023540875 A JP 2023540875A JP 2024502338 A JP2024502338 A JP 2024502338A
- Authority
- JP
- Japan
- Prior art keywords
- skin
- user
- image
- images
- dermatological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims description 94
- 238000005286 illumination Methods 0.000 claims description 54
- 230000015654 memory Effects 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 28
- 230000036555 skin type Effects 0.000 claims description 9
- 238000004883 computer application Methods 0.000 claims description 6
- 210000003491 skin Anatomy 0.000 description 141
- 239000000047 product Substances 0.000 description 41
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000003902 lesion Effects 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 16
- 208000002874 Acne Vulgaris Diseases 0.000 description 13
- 206010000496 acne Diseases 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 206010013786 Dry skin Diseases 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 7
- 230000000887 hydrating effect Effects 0.000 description 7
- 239000006210 lotion Substances 0.000 description 7
- 208000010201 Exanthema Diseases 0.000 description 6
- 206010020751 Hypersensitivity Diseases 0.000 description 6
- 201000005884 exanthem Diseases 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 206010037844 rash Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000003020 moisturizing effect Effects 0.000 description 5
- 206010042496 Sunburn Diseases 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 231100000046 skin rash Toxicity 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 208000000453 Skin Neoplasms Diseases 0.000 description 3
- 208000009621 actinic keratosis Diseases 0.000 description 3
- 208000030961 allergic reaction Diseases 0.000 description 3
- 230000018044 dehydration Effects 0.000 description 3
- 238000006297 dehydration reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 231100000241 scar Toxicity 0.000 description 3
- 201000000849 skin cancer Diseases 0.000 description 3
- 206010012434 Dermatitis allergic Diseases 0.000 description 2
- 206010040880 Skin irritation Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000004013 groin Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 238000004439 roughness measurement Methods 0.000 description 2
- 230000036559 skin health Effects 0.000 description 2
- 230000036556 skin irritation Effects 0.000 description 2
- 231100000475 skin irritation Toxicity 0.000 description 2
- 206010040882 skin lesion Diseases 0.000 description 2
- 231100000444 skin lesion Toxicity 0.000 description 2
- 230000000475 sunscreen effect Effects 0.000 description 2
- 239000000516 sunscreening agent Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 206010049047 Chapped lips Diseases 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 208000032544 Cicatrix Diseases 0.000 description 1
- 201000004624 Dermatitis Diseases 0.000 description 1
- 241000021559 Dicerandra Species 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 235000010654 Melissa officinalis Nutrition 0.000 description 1
- 206010039792 Seborrhoea Diseases 0.000 description 1
- 206010040849 Skin fissures Diseases 0.000 description 1
- 208000024780 Urticaria Diseases 0.000 description 1
- 206010048222 Xerosis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 229940125715 antihistaminic agent Drugs 0.000 description 1
- 239000000739 antihistaminic agent Substances 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000005713 exacerbation Effects 0.000 description 1
- -1 exfoliants Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000000865 liniment Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000032361 posttranscriptional gene silencing Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000037390 scarring Effects 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 208000008742 seborrheic dermatitis Diseases 0.000 description 1
- 210000004927 skin cell Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
- G03B17/565—Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dermatology (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
皮膚表面の三次元(3D)画像モデルを生成するためのシステム及び方法が記載される。例示的な方法は、1つ以上のプロセッサによって、ユーザの皮膚の一部分の複数の画像を分析することを含み、複数の画像は、皮膚の一部分に焦点を合わせるように構成された1つ以上のレンズを通って延在する撮像軸を有するカメラによって取り込まれ、複数の画像のうちの各画像は、皮膚の一部分の周辺で位置決めされるように構成された複数のLEDの異なるサブセットによって照明される。例示的な方法は、1つ以上のプロセッサによって、複数の画像に基づいて、皮膚の一部分のトポグラフィ表現を定義する3D画像モデルを生成することと、1つ以上のプロセッサによって、皮膚の一部分の3D画像モデルに基づいて、ユーザ固有の推奨を生成することとを更に含み得る。
Description
本開示は、概して、皮膚科学的撮像システム及び方法に関し、より具体的には、三次元(three-dimensional、3D)画像モデルを生成するための皮膚科学的撮像システム及び方法に関する。
皮膚の健康、及びそれに対応する、皮膚ケアは、全ての人々の全体的な健康及び外観において極めて重要な役割を果たす。多くの一般的な活動は、皮膚の健康に悪影響を及ぼすので、十分に情報を得た皮膚ケアルーチン、並びにあらゆる皮膚状態の評価及び診断のための皮膚科医への定期的な訪問は、多くの人々にとって優先事項である。問題なことに、皮膚科医の訪問をスケジュールすることは、面倒で時間がかかる可能性があり、迅速な予約を得ることができない場合、皮膚状態が悪化するリスクに患者を追い込む可能性がある。更に、多くの一般的な皮膚状態を評価するための従来の皮膚科学的方法は、皮膚表面上の異常な肌合い又は特徴を正確かつ確実に識別することができないことなどによって、不正確である可能性がある。
結果として、多くの患者は、定期的な皮膚科学的評価を受けることを怠り得、更に、一般的な理解不足から皮膚ケアを全く怠る可能性がある。この問題は、発現し得る無数の皮膚状態、並びに関連する無数の製品及び利用可能な治療計画を考慮すると、急性に顕著である。そのような既存の皮膚ケア製品はまた、その製品が自分の皮膚状態に適用されるか否か、又は皮膚状態を処置するためにその製品をいかに最良に利用するかを判定する際に、ユーザを補助するフィードバック若しくはガイダンスをほとんど又は全く提供しない場合がある。したがって、多くの患者は、皮膚状態を誤って診断するか、又は皮膚状態を効果的に治療する製品を購入しないので、実際の若しくは知覚された皮膚状態を治療又は別な方法で管理するために、誤った又は不要な製品を購入する。
前述の理由により、皮膚表面の三次元(3D)画像モデルを生成するための皮膚科学的撮像システム及び方法が必要とされている。
本明細書に記載されているのは、皮膚表面の3D画像モデルを生成するように構成された皮膚科学的撮像システムである。皮膚科学的撮像システムは、ユーザの皮膚の一部分の周辺で位置決めされるように構成された複数の発光ダイオード(light-emitting diode、LED)と、皮膚の一部分に焦点を合わせるように構成された1つ以上のレンズと、を備える、皮膚科学的撮像デバイスを含む。皮膚科学的撮像システムは、コンピュータアプリケーション(アプリ)であって、プロセッサ上で実行されるときに、プロセッサに、皮膚の一部分の複数の画像を分析することであって、複数の画像は、1つ以上のレンズを通って延在する撮像軸を有するカメラによって取り込まれ、複数の画像のうちの各画像は、複数のLEDの異なるサブセットによって照明される、ことと、複数の画像に基づいて、皮膚の一部分のトポグラフィ表現を定義する3D画像モデルを生成することと、を実行させるコンピューティング命令を含む、コンピュータアプリケーション(アプリ)を更に含む。ユーザ固有の推奨が、皮膚の一部分の3D画像モデルに基づいて生成され得る。
本明細書に記載される皮膚科学的撮像システムは、少なくとも、本開示が皮膚科学的撮像デバイス及び付随する皮膚ケア製品の分野に対する改善を記載又は紹介するので、他の技術又は技術分野に対する改善を含む。例えば、本開示の皮膚科学的撮像デバイスは、ユーザが、皮膚表面画像を迅速かつ簡便に取り込み、撮像された皮膚表面の完全な3D画像モデルをユーザのモバイルデバイスのディスプレイ上で受信することを可能にする。加えて、皮膚科学的撮像システムは、当技術分野においてよく理解されている、ルーチン的な従来の活動以外の特定の特徴、又は特許請求の範囲を特定の有用な用途に限定する非従来的なステップを追加すること、例えば、カメラが皮膚表面から短い撮像距離に配置される、皮膚表面と接触している撮像デバイスを使用して分析のために皮膚表面画像を取り込むことを含む。
本明細書の皮膚科学的撮像システムは、少なくとも、訓練された3D画像モデリングアルゴリズムでユーザコンピューティングデバイスの知能又は予測能力を改善するので、コンピュータ機能における改善又は他の技術に対する改善を提供する。ユーザコンピューティングデバイス又は撮像サーバ上で実行される3D画像モデリングアルゴリズムは、ユーザの皮膚の一部分の画素データに基づいて、ユーザの皮膚の一部分のトポグラフィ表現を定義する3D画像モデルを正確に生成することができる。3D画像モデリングアルゴリズムはまた、3D画像モデルの画素データ内で識別可能な特徴に対処するように設計されたユーザ固有の推奨(例えば、製造された製品又は医学的注意のためなど)を生成する。これは、少なくとも、従来のシステムが、そのようなリアルタイム生成又は分類機能を欠いており、単純に、3D画像モデルの画素データ内で識別可能な特徴に対処するために、ユーザ固有の結果を出力するようにユーザ固有の画像を正確に分析することができないため、従来のシステムよりも改善されている。
図1は、本明細書に開示される様々な実施形態による、ユーザの皮膚表面の3D画像モデルを生成するためのユーザの皮膚表面の画像(例えば、画像130a、130b、及び/又は130c)の画素データを分析するように構成された、例示的なデジタル撮像システム100を例示する。本明細書で言及される場合、「皮膚表面」とは、胴体、腰、顔、頭、腕、脚、若しくは他の付属器官、又はこれらの、ユーザの身体の一部分若しくは一部を含む、人体の任意の一部分を指し得る。図1の例示的な実施形態では、デジタル撮像システム100は、1つ以上のコンピュータサーバを備え得る、撮像サーバ102(本明細書では「サーバ」としても言及される)を含む。様々な実施形態では、撮像サーバ102は、サーバファームの部分として、複数の、冗長な又は複製されたサーバを備え得る、複数のサーバを備える。なおも更なる実施形態では、撮像サーバ102は、クラウドベースのコンピューティングプラットフォームなどのクラウドベースのサーバとして実装され得る。例えば、サーバ102は、MICROSOFT AZURE、AMAZON AWSなどの任意の1つ以上のクラウドベースのプラットフォームであってもよい。サーバ102は、1つ以上のプロセッサ104、並びに1つ以上のコンピュータメモリ106を含むことができる。
メモリ106には、読み取り専用メモリ(read-only memory、ROM)、電子プログラマブル読み取り専用メモリ(electronic programmable read-only memory、EPROM)、ランダムアクセスメモリ(random access memory、RAM)、消去可能電子プログラマブル読み取り専用メモリ(erasable electronic programmable read-only memory、EEPROM)、及び/又は他のハードドライブ、フラッシュメモリ、MicroSDカードなどの、1つ以上の形態の揮発性及び/又は不揮発性メモリの固定及び/又は取り外し可能メモリが含まれ得る。メモリ106は、本明細書で考察されるように、機能、アプリ、方法、又は他のソフトウェアを容易にすることができるオペレーティングシステム(operating system、OS)(例えば、Microsoft Windows、Linux、Unixなど)を格納することができる。メモリ106はまた、本明細書に記載されるように、様々な画像(例えば、画像130a、130b、及び/又は130c)上で訓練された機械学習モデルなどの人工知能ベースモデルであり得る、3D画像モデリングアルゴリズム108を格納し得る。追加的、又は代替的に、3D画像モデリングアルゴリズム108はまた、撮像サーバ102にアクセス可能であるか、若しくは別な方法で通信可能に結合されるデータベース105、並びに/又は1つ以上のユーザコンピューティングデバイス111c1~111c3及び/若しくは112c1~112c3のメモリに格納され得る。メモリ106はまた、機械可読命令も格納することができ、この機械可読命令は、1つ以上のアプリケーション、1つ以上のソフトウェアコンポーネント、及び/又は1つ以上のアプリケーションプログラミングインターフェース(application programming interfaces、API)のうちのいずれかを含み、それらは、本明細書内の様々なフロー図、説明図、略図、図、及び/又は他の開示について例示、図示、又は説明されているように、任意の方法、プロセス、要素、又は制限などの、本明細書に記載の特徴、機能、又は他の開示を容易にするか又は実行するように実装され得る。例えば、アプリケーション、ソフトウェアコンポーネント、又はAPIのうちの少なくともいくつかは、3D画像モデリングアルゴリズム108などの撮像ベースの機械学習モデル又はコンポーネントであり得、それらを含み得、そうでなければそれらの部分であり得、この場合、各々は、本明細書で考察されるそれらの様々な機能を容易にするように構成され得る。1つ以上の他のアプリケーションが想定され得、プロセッサ104によって実行されることを理解されたい。
プロセッサ104は、本明細書での様々なフローチャート、説明図、概略図、図、及び/又は他の開示について例示、描写、又は記載されているように、機械可読命令、方法、プロセス、要素、又は制限を実装又は実行するために、プロセッサ104及びメモリ106との間で、電子データ、データパケット、又はそうでなければ電子信号を伝送するために責任を負うコンピュータバスを介してメモリ106に接続され得る。
プロセッサ104は、コンピュータバスを介してメモリ106とインターフェース接続して、オペレーティングシステム(OS)を実行することができる。プロセッサ104はまた、コンピュータバスを介してメモリ106ともインターフェース接続して、メモリ106及び/又はデータベース104(例えば、Oracle、DB2、MySQLなどのリレーショナルデータベース、又はMongoDBなどのNoSQLベースのデータベース)に格納されるデータを作成、読み取り、更新、削除、ないしアクセス若しくは対話することもできる。メモリ106及び/又はデータベース105に格納されるデータは、例えば、訓練画像及び/又はユーザ画像(例えば、そのいずれかが任意の画像130a、130b、及び/又は130cを含む)、若しくは人口統計、年齢、人種、皮膚タイプなどを含むユーザの他の情報を含む、本明細書に記載されるデータ又は情報のいずれかの全て又は一部を含み得る。
撮像サーバ102は、1つ以上の外部/ネットワークポートを介して、本明細書に記載されるコンピュータネットワーク120及び/又は端末109(レンダリング又は視覚化するための)などの1つ以上のネットワーク又はローカル端末にデータを通信(例えば、送信及び受信)するように構成された通信コンポーネントを更に含み得る。いくつかの実施形態では、撮像サーバ102は、電子リクエストを受信及び応答することを担うASP.NET、Java J2EE、Ruby on Rails、Node.js、ウェブサービス、又はオンラインAPIなどのクライアントサーバプラットフォーム技術を含むことができる。撮像サーバ102は、本明細書での様々なフローチャート、説明図、概略図、図、及び/又は他の開示について例示、描写、又は記載されているように、機械可読命令、方法、プロセス、要素、又は制限を実装又は実行するために、コンピュータバスを介して、メモリ106(その中に格納されたアプリケーション、コンポーネント、API、データなどを含む)及び/又はデータベース105と対話し得るクライアントサーバプラットフォーム技術を実装し得る。いくつかの実施形態によれば、撮像サーバ102は、IEEE標準規格、3GPP標準規格、又は他の標準規格に従って機能し、コンピュータネットワーク120に接続された外部/ネットワークポートを介してデータの受信及び伝送に使用され得る、1つ以上の送受信機(例えば、WWAN、WLAN、及び/又はWPAN送受信機)を含むか、又はそれと対話し得る。いくつかの実施形態では、コンピュータネットワーク120は、プライベートネットワーク又はローカルエリアネットワーク(local area network、LAN)を含み得る。追加的、又は代替的に、コンピュータネットワーク120は、インターネットなどの公衆ネットワークを含み得る。
撮像サーバ102は、管理者又はオペレータに情報を提示し、かつ/又は管理者又はオペレータから入力を受信するように構成されたオペレータインターフェースを更に含むか、又は実装し得る。図1に示すように、オペレータインターフェースは、ディスプレイ画面を提供することができる(例えば、ターミナル109を介して)。撮像サーバ102はまた、I/Oコンポーネント(例えば、ポート、容量性又は抵抗性タッチセンシティブ入力パネル、キー、ボタン、照明、LED)も提供し得、それらは、撮像サーバ102を介して直接アクセス可能であり得、若しくはそのサーバに取り付けられ得るか、又は端末109を介して間接的にアクセス可能であり得るか、若しくはその端末に取り付けられ得る。いくつかの実施形態によれば、管理者又はオペレータは、情報を再調査し、変更を行い、訓練データ又は画像を入力し、かつ/又は他の機能を実行するために、端末109を介してサーバ102にアクセスし得る。
本明細書に上記で記載されるように、いくつかの実施形態では、撮像サーバ102は、「クラウド」ネットワークの部分として本明細書で考察されたような機能を実行し得るか、又は別な方法で本明細書に記載されるデータ又は情報を送信し、取り出し、又は別な方法で分析するために、クラウド内の他のハードウェア又はソフトウェアコンポーネントと通信し得る。
通常、コンピュータプログラム若しくはコンピュータベース製品、アプリケーション、又はコード(例えば、本明細書に記載されるAIモデルなどのモデル若しくは他のコンピューティング命令)は、内部に具現化されたそのようなコンピュータ可読プログラムコード若しくはコンピュータ命令を有するコンピュータ使用可能格納媒体、又は有形の非一時的コンピュータ可読媒体(例えば、標準的なランダムアクセスメモリ(RAM)、光ディスク、ユニバーサルシリアルバス(universal serial bus、USB)ドライブなど)上に格納され得、コンピュータ可読プログラムコード又はコンピュータ命令は、プロセッサ104(例えば、メモリ106内のそれぞれのオペレーティングシステムに関連して作業する)上にインストールされ得るか、又は別な方法でそのプロセッサによって実行されるように適合され得、本明細書での様々なフローチャート、説明図、概略図、図、及び/又は他の開示について例示、描写、又は記載されているように、機械可読命令、方法、プロセス、要素、又は制限を容易にし、実装し、又は実行し得る。これに関して、プログラムコードは、任意の所望のプログラム言語で実装されてもよく、機械コード、アセンブリコード、バイトコード、インタープリット型ソースコードなどとして(例えば、Golang、Python、C、C++、C#、Objective-C、Java、Scala、ActionScript、JavaScript、HTML、CSS、XMLなどを介して)、実装されてもよい。
図1に示されるように、撮像サーバ102は、コンピュータネットワーク120を介して1つ以上のユーザコンピューティングデバイス111c1~111c3に、かつ/又は、基地局111b及び112bを介して、112c1~112c3に、通信可能に接続されている。いくつかの実施形態では、基地局111b及び112bは、セルタワーなどのセルラー基地局を含むことができ、それらは、NMT、GSM、CDMA、UMMTS、LTE、5Gなどを含む、様々なモバイル電話標準規格のうちの任意の1つ以上に基づいて、無線通信121を介して、1つ以上のユーザコンピューティングデバイス111c1~111c3、及び112c1~112c3と通信する。追加的又は代替的に、基地局111b及び112bは、非限定的な例によってIEEE802.11a/b/c/g(WIFI)、BLUETOOTH標準規格などを含む、様々な無線標準規格のうちの任意の1つ以上に基づいて、無線通信122を介して1つ以上のユーザコンピューティングデバイス111c1~111c3、及び112c1~112c3と通信するルータ、無線スイッチ、又は他のそのような無線接続ポイントを含み得る。
1つ以上のユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3のうちのいずれかは、撮像サーバ102にアクセスし、かつ/又はそれと通信するためのモバイルデバイス及び/若しくはクライアントデバイスを備え得る。様々な実施形態では、ユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3は、非限定的な例によって、APPLE iPhone若しくはiPadデバイス、又はGOOGLE ANDROIDベースのモバイル電話若しくはタブレットを含む、セルラー電話、モバイル電話、タブレットデバイス、携帯情報端末(personal data assistance、PDA)などを備え得る。なおも更なる実施形態では、ユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3は、例えば、非限定的な例として、GOOGLE HOMEデバイス、AMAZON ALEXAデバイス、ECHO SHOWデバイスなどのうちの任意の1つ以上を含む、ディスプレイ画面を有するホームアシスタントデバイス及び/又はパーソナルアシスタントデバイスを備え得る。
更に、ユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3は、例えば、ユーザコンピューティングデバイス111c1~111c3について本明細書に記載されるように、同じ又は同様の方法で構成された小売コンピューティングデバイスを備え得る。小売コンピューティングデバイスは、本明細書に記載されるような3D画像モデリングアルゴリズム108を実装するための、又はそれと(例えば、サーバ102を介して)通信するためのプロセッサ及びメモリを含み得る。しかしながら、小売コンピューティングデバイスは、小売環境のユーザ及び/又は顧客が、小売環境内の現場でデジタル撮像システム並びに方法を利用することを可能にするように、小売環境内に位置し、設置され、又は別な方法で位置決めされ得る。例えば、小売コンピューティングデバイスは、ユーザによるアクセスのためにキオスク内に設置され得る。ユーザは、次いで、本明細書に記載される皮膚科学的撮像システム及び方法を実装するために、画像を(例えば、ユーザモバイルデバイスから)キオスクにアップロード又は転送し得る。追加的又は代替的に、キオスクは、ユーザがアップロード及び分析のために自身の新しい画像を(例えば、保証される場合、プライベート様式で)撮影することを可能にするようにカメラ及び皮膚科学的撮像デバイス110を伴って構成され得る。そのような実施形態では、ユーザ又は消費者自身は、本明細書に記載されるように、小売コンピューティングデバイスのディスプレイ画面上で、ユーザ固有の推奨を受信し、及び/又はレンダリングされるように、小売コンピューティングデバイスを使用することができる。追加的又は代替的に、小売コンピューティングデバイスは、現場でユーザ又は消費者と対話するために小売環境の従業員又は他の人員によって携行されるような(本明細書に記載されるような)モバイルデバイスであり得る。そのような実施形態では、ユーザ又は消費者は、本明細書に記載されるように、小売コンピューティングデバイスのディスプレイ画面上でユーザ固有の推奨を受信及び/又はレンダリングするために、小売コンピューティングデバイスを介して(例えば、ユーザのモバイルデバイスから小売コンピューティングデバイスに画像を転送することによって、又は皮膚科学的撮像デバイス110を通して焦点が合わされた小売コンピューティングデバイスのカメラによって新しい画像を取り込むことによって)、小売環境の従業員又はそうでなければ人員と対話することが可能であり得る。
加えて、1つ以上のユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3は、AppleのiOS及び/若しくはGoogleのAndroidオペレーションシステムなどのオペレーティングシステム(OS)又はモバイルプラットフォームを実装又は実行し得る。1つ以上のユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3のうちのいずれも、本明細書での様々な実施形態に記載されているように、本開示の機能の一部又は全てを実行するように構成された、コンピューティング命令又はコード、例えば、モバイルアプリケーション又はホーム若しくはパーソナルアシスタントアプリケーションを格納、実装、又は実行するための1つ以上のプロセッサ及び/又は1つ以上のメモリを備え得る。図1に示されるように、3D画像モデリングアルゴリズム108は、ユーザコンピューティングデバイス(例えば、ユーザコンピューティングデバイス111c1)のメモリ上にローカルに格納され得る。更に、ユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3上に格納されたモバイルアプリケーションは、本開示の機能の一部又は全てを実行するために、3D画像モデリングアルゴリズム108を利用し得る。
加えて、1つ以上のユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3は、デジタル画像及び/又はフレーム(例えば、画像130a、130b、及び/又は130cであることができる)を取り込み又は撮影するためのデジタルカメラ及び/又はデジタルビデオカメラを含み得る。各デジタル画像は、本明細書に記載されるように、人工知能(artificial intelligence、AI)、機械学習モデル及び/又はルールベースのアルゴリズムなどのモデルを訓練又は実装するための画素データを含み得る。例えば、ユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3のうちのいずれかのデジタルカメラ及び/又はデジタルビデオカメラは、デジタル画像を撮影、取り込み、又は別な方法で生成するように構成され得、少なくともいくつかの実施形態では、そのような画像をそれぞれのユーザコンピューティングデバイスのメモリに格納し得る。ユーザはまた、ユーザコンピューティングデバイスが3D画像モデリングアルゴリズム108を使用して取り込まれた画像をローカルに処理するのに十分な画像を取り込むことを容易にするために、皮膚科学的撮像デバイス110をユーザコンピューティングデバイスに取り付け得る。
なおも更に、1つ以上のユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3の各々は、グラフィック、画像、テキスト、製品推奨、データ、画素、特徴、及び/又は本明細書に記載されるような他のそのような視覚化若しくは情報を表示するためのディスプレイ画面を含み得る。これらのグラフィックス、画像、テキスト、製品推奨、データ、画素、特徴、及び/又は他のそのような視覚化若しくは情報は、例えば、皮膚科学的撮像デバイス110を通して焦点が合わせられたユーザコンピューティングデバイスのカメラによって取り込まれた画像を利用して3D画像モデリングアルゴリズム108を実装することの結果として、ユーザコンピューティングデバイスによって生成され得る。様々な実施形態では、グラフィック、画像、テキスト、製品推奨、データ、画素、特徴、及び/又は他のそのような視覚化若しくは情報は、ユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3のうちの任意の1つ以上のディスプレイ画面上に表示するために、サーバ102によって受信され得る。追加的又は代替的に、ユーザコンピューティングデバイスは、少なくとも部分的に、そのディスプレイ画面上にテキスト及び/又は画像を表示するためのインターフェース又はガイド付きユーザインターフェース(guided user interface、GUI)を、備え得るか、実装し得るか、それへのアクセスを有し得るか、レンダリングし得るか、又は別な方法で露出させ得る。
ユーザコンピューティングデバイス111c1~111c3及び/又は112c1~112c3は、基地局111b及び/又は112bとの間で無線通信121及び/又は122を受信及び伝送するための無線送受信機を備え得る。画素ベースの画像(例えば、画像130a、130b、及び/又は130c)は、本明細書に記載されるような、モデルの訓練及び/又は画像分析のために、コンピュータネットワーク120を介して、撮像サーバ102に伝送され得る。
図2は、本明細書に開示される様々な実施形態による、皮膚科学的撮像デバイス110の俯瞰図200、側面図210、及び切断図214である。俯瞰図200は、ユーザモバイルデバイス202の後部に取り付けられた皮膚科学的撮像デバイス110を特徴とする。概して、皮膚科学的撮像デバイス110は、ユーザモバイルデバイスのカメラを皮膚科学的撮像デバイス110のレンズ及び開口と光学的に整合して位置決めする方法において、ユーザモバイルデバイス202に結合するように構成される。皮膚科学的撮像デバイス110は、任意の好適な手段を使用してユーザモバイルデバイス202に分離できるように又は動かせないように結合することができることを理解されたい。
側面図210は、ユーザモバイルデバイス202のカメラ212に対する皮膚科学的撮像デバイス110の位置を例示する。より具体的には、切断図214は、ユーザモバイルデバイス202のカメラ212と、皮膚科学的撮像デバイス110のレンズセット216及び開口218との整合を例示する。レンズセット216は、カメラ212から開口218の距離に位置決められる物体にカメラ212の焦点を合わせるように構成され得る。したがって、本明細書で更に考察されるように、ユーザは、皮膚科学的撮像デバイス110の開口をユーザの皮膚の一部分に接触させて配置し得、レンズセット216は、ユーザモバイルデバイス202のカメラ212がユーザの皮膚部分の画像を取り込むことを可能にする。様々な実施形態では、開口218からカメラ212までの距離は、35mm以下であり得る短い撮像距離を画定し得る。様々な実施形態では、開口218は、円形であり得、おおよそ20mmの直径を有し得る。
皮膚科学的撮像デバイス110はまた、開口218を通してカメラ212の視野(field of view、FOV)内に配置された物体を照明するように構成された発光ダイオード(LED)220を含み得る。LED220の各々は、皮膚科学的撮像デバイス110内に位置決めされ得、LED220が開口218によって画定されたFOV内に配置された物体の周辺で境界線を形成するように、皮膚科学的撮像デバイス110内に配設され得る。例えば、ユーザは、皮膚の一部分が開口218を通してカメラ212に視認可能であるように、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせをユーザの皮膚の一部分に配置し得る。LED220は、皮膚の一部分の周りに周辺を形成する方法で、皮膚科学的撮像デバイス110内に位置決めされ得る。更に、皮膚科学的撮像デバイス110は、任意の好適な数のLED220を含み得る。様々な実施形態では、皮膚科学的撮像デバイス110は、21個のLED220を含み得、それらは、開口218によって画定されたFOV内に配置された物体の周りに周辺を確立するために、おおよそ円形のリング状の様式で均一に分布され得る。いくつかの実施形態では、LED220は、カメラ212から開口218までのおおよそ半分の距離で、カメラ212と開口218との間に位置決めされ得る。
そのような短い撮像距離では、従来の撮像システムは、光源の実質的な内部反射に悩まされ得、その結果、画質が悪くなる。従来の撮像システムのこれらの問題を回避するために、皮膚科学的撮像デバイス110の内面222は、高光吸収性塗料で被覆され得る。このようにして、LED220は、実質的な内部反射を生成することなく、開口218の外面と接触している物体を照明し得、それによって最適な画質を保証する。
しかしながら、最適な画像品質を更に保証し、3D画像モデリングアルゴリズムが本明細書に記載される機能を最適に実行し得るようにするために、カメラ212及びLED220は、較正され得る。従来のシステムは、歪んだ画像特性(例えば、物体表面の劣化)及び他の同様の異常に起因して、そのような短い撮像距離でカメラ及び照明デバイスを較正するのに苦労し得る。本開示の技術は、例えば、ランダムサンプリングコンセンサスアルゴリズム(図3Aに関して考察される)及び光線経路追跡(図3Bに関して考察される)を使用して、従来のシステムに関連付けられたこれらの問題を解決する。より概して、図3A、図3B、及び図4の各々は、従来のシステムの欠点を克服するために使用され得、図5A~図8を参照して本明細書に記載される3D撮像モデリング技術の前に、又はその一部として実行され得る較正技術を記載する。
図3Aは、本明細書に開示される様々な実施形態による、図2A~図2Cの皮膚科学的撮像デバイス110とともに使用するためのカメラ(例えば、カメラ202)を較正するために使用される、例示的なカメラ較正表面300を例示する。概して、例示的なカメラ較正表面300は、既知の寸法を有し得、例示的なカメラ較正表面300を等間隔/寸法のサブセクションに分割するために使用されるパターン又は他の設計を含み得る。図3Aに例示されるように、例示的なカメラ較正表面300は、市松模様(checkerboard)パターンを含み、パターンの各正方形は、等しい寸法を有し得る。例示的なカメラ較正表面300の取り込まれた画像から導出される画像データを使用して、ユーザモバイルデバイス202は、カメラ212及びレンズセット216に対応する撮像パラメータを判定し得る。画像データは、例示的なカメラ較正表面300の画像に表される識別可能な特徴の寸法を広く指し得る。例えば、ユーザモバイルデバイス202は、皮膚科学的撮像デバイス110がユーザモバイルデバイス202に取り付けられたときに、カメラ212によって取り込まれた画像に適用されるスケーリングパラメータ、焦点距離、焦点面までの距離、及び/又は例示的なカメラ較正表面300の画像から導出された画像データに基づく他の好適なパラメータを(例えば、モバイルアプリケーションを介して)判定し得る。
カメラ212を較正することを開始するために、ユーザは、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせを例示的なカメラ較正表面300上に配置し得る。ユーザモバイルデバイス202及び皮膚科学的撮像デバイス110が所定の位置にあるときに、ユーザモバイルデバイス202は、較正画像取り込みシーケンスを実行するようにユーザに促し得、及び/又はユーザは、較正画像取り込みシーケンスを手動で開始し得る。ユーザモバイルデバイス202は、例示的なカメラ較正表面300の1つ以上の画像を取り込むことに進み得、ユーザは、表面300の異なる部分の画像を取り込むために、例示的なカメラ較正表面300にわたってユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせをスライドさせるか又は別な方法で移動させ得る。いくつかの実施形態では、較正画像取り込みシーケンスは、ビデオシーケンスであり、ユーザモバイルデバイス202は、画像データを導出するために、ビデオシーケンスからの静止フレームを分析し得る。他の実施形態では、較正画像取り込みシーケンスは、一連の単一画像取り込みであり、ユーザモバイルデバイス202は、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせを例示的カメラ較正表面300上の異なる場所に移動させるように、各取り込みの間にユーザを促し得る。
較正画像取り込みシーケンスの間(例えば、リアルタイムで)又はその後に、ユーザモバイルデバイス202は、画像データを判定するために、ビデオシーケンス又は一連の単一画像取り込みから画像のセットを選択し得る。概して、画像のセットにおける各画像は、画像データを判定するのに適した理想的撮像特性を特徴とし得る。例えば、ユーザモバイルデバイス202は、それらの画像特性に基づいてそのような領域を識別するように構成されたランダムサンプリングコンセンサスアルゴリズムを使用することによって、領域302a、302b、及び302cの各々を表す又は含む画像を選択し得る。これらの領域302a、302b、302cを含む画像は、市松模様の異なる色/パターンの正方形間の最適なコントラスト、例示的なカメラ較正表面300にわたってユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせを移動させることに関連付けられた物理的影響による最小限の画像劣化(例えば、解像度干渉)、及び/又は任意の他の好適な撮像特性若しくはそれらの組み合わせを含み得る。
画像のセットにおける各画像を使用して、ユーザモバイルデバイス202は(例えば、モバイルアプリを介して)、例えば、識別された画像特徴を既知の特徴寸法と相関させることによって、画像データを判定し得る。例示的なカメラ較正表面300の市松模様内の単一の正方形は、10mm×10mmの寸法であり得る。したがって、ユーザモバイルデバイス202が、領域302cを表す画像が1つの完全な正方形を含むことを識別する場合、ユーザモバイルデバイス202は、10mm×10mmを測定するように、画像内の領域を相関させ得る。この画像データはまた、皮膚科学的撮像デバイス110の既知の寸法と比較され得る。例えば、皮膚科学的撮像デバイス110の開口218は、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせが表面と接触しているときに、カメラ212によって取り込まれた画像によって表されるエリアが、概して直径20mmを超えて測定されないように、直径20mmを測定し得る。したがって、ユーザモバイルデバイス202は、画像によって表されるエリアのおおよその寸法を考慮して、画像データをより正確に判定し得る。もちろん、表面異常又は他の欠陥は、画像によって表されるエリアが開口218の既知の寸法よりも大きくさせ得る。例えば、ユーザは、表面を変形させるのに十分な力を使用して、皮膚科学的撮像デバイス110を可撓性表面(例えば、皮膚表面)に押し付け得、直径20mmによって画定される円形エリアよりも多くの表面エリアが開口218を通って皮膚科学的撮像デバイス110に入るようにする。
いずれにしても、LED220はまた、本明細書に記載される3D画像モデリング機能を最適に実行するために較正を必要とし得る。図3Bは、本明細書に開示される様々な実施形態による、図2A~図2Cの皮膚科学的撮像デバイス110の照明コンポーネント(例えば、LED220)についての例示的な較正技術に対応する、照明較正図310である。照明較正図310は、カメラ212と、物体312を照明する複数のLED220と、LED220から放射された照明がカメラ212に到達するために横断した経路を表す光線314とを含む。ユーザモバイルデバイス202は(例えば、モバイルアプリケーションを介して)、皮膚科学的撮像デバイス110内のLED220の各々が個別にランプアップ/ランプダウンして物体312を照明する照明較正シーケンスを開始し得、カメラ212は、物体312を個別に照明する各それぞれのLED220に対応する画像を取り込む。物体312は、例えば、ボールベアリング及び/又は任意の他の好適な物体又はそれらの組み合わせであり得る。
図3Bに例示されるように、最も左側のLED220から放射された照明は、物体312の各々に入射し、光線314によって表される経路に沿ってカメラ212まで反射する。ユーザモバイルデバイス202は、モバイルアプリケーションの一部として、物体312から反射されてそれらの交点に戻る光線の各々を追跡するように構成された経路追跡モジュールを含み得る。そうすることで、経路追跡モジュールは、最も左側のLED220の位置を識別し得る。したがって、ユーザモバイルデバイス202は、例えば、LED220の数、各それぞれのLED220に関連付けられた照明角度、各それぞれのLED220の強度、各それぞれのLED220から放射された照明の温度、及び/又は任意の他の好適な照明パラメータとともに、LED220の各々及びそれらのそれぞれの照明に対応する3D位置及び方向を計算し得る。照明較正図310は、4つの物体312を含み、ユーザモバイルデバイス202は、交点を正確に識別するために、LED220からの照明を反射する少なくとも2つの物体312を必要とし得、それによって、照明較正シーケンスを可能にする。
有利なことに、適切に較正されたカメラ212及びLED220で、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせは、本明細書に記載される3D画像モデリング機能を実行し得る。しかしながら、他の物理的影響(例えば、カメラジッター)は、較正にもかかわらず、3D画像モデリング機能を更に損ない得る。これらの他の物理的効果の影響を最小化するために、カメラ212及びLED220は、非同期的に制御され得る。そのような非同期制御は、撮像されている表面が画像取り込み中に移動することを防止し得、結果として、カメラジッターのような効果の影響を最小限にし得る。非同期制御の一部として、カメラ212は、各LED220が照明シーケンスにおいて独立してランプアップ/ランプダウンする間に、カメラ212が一連のフレーム(例えば、高解像度(high-definition、HD)ビデオ)を取り込むビデオサンプリング周期を実行し得る。
概して、カメラ212及びLED220の非同期制御は、完全にランプアップされた(例えば、完全に照明された)それぞれのLED220を特徴としないビデオサンプリング周期の一部としてカメラ212によって取り込まれたフレームをもたらし得る。この潜在的な問題を解決するために、ユーザモバイルデバイス202は、完全にランプアップされたLED220照明に対応する個々のフレームを識別することによって、カメラ212のフレームをLED220のランプアップ時間と同期させるように構成された同期モジュール(例えば、モバイルアプリケーションの一部として)を含み得る。図4は、本明細書に開示される様々な実施形態による、図2A~図2Cの皮膚科学的撮像デバイス110の照明コンポーネント(例えば、LED220)の照明シーケンスとカメラ212のフレーム取り込みを同期させるために同期モジュールが使用し得る、例示的なビデオサンプリング周期を例示するグラフ400である。グラフ400は、カメラ212によって取り込まれた個々のフレームに対応するx軸と、それぞれのフレームの平均画素強度に対応するy軸とを含む。グラフに含まれる各円(例えば、フレーム取り込み404、406a、406b)は、カメラ212による単一の画像取り込みに対応し、円のうちのいくつか(例えば、フレーム取り込み404、406a)は、追加的に、外接円によって表される画像取り込みが、個々のLED220の発光照明に対応する最大平均画素強度を有することを示す、円に外接する正方形含む。
図4に例示されるように、グラフ400は、21個のピークを有し、各ピークは、特定のLED220のランプアップ/ランプダウンシーケンスに対応する。ユーザモバイルデバイス202は(例えば、モバイルアプリケーションを介して)、カメラ212が、照明シーケンスの一部として、開口218を通して視認可能である関心領域(region of interest、ROI)を照明するために個々にランプアップ/ランプダウンする各LED220のビデオサンプリング周期中にHDビデオを取り込み得るように、ビデオサンプリング周期及び照明シーケンスを非同期的に開始し得る。結果として、カメラ212は、部分的及び/又は完全に照明されている間の1つ以上のLED220からの照明を含むROIの複数のフレームを取り込み得る。同期モジュールは、取り込まれた各フレームの平均画素強度を特徴付けるグラフ400と同様のプロットを生成するために、各フレームを分析し得、各LED220についての最大平均画素強度に対応するフレーム取り込みを更に判定し得る。同期モジュールは、例えば、最大平均画素強度フレーム取り込みの数を判定するために、所定の数のLED220を使用し得、及び/又はモジュールは、生成されたプロットに含まれるピークの数を判定し得る。
例示するために、同期モジュールは、各LED220についての既知のランプアップ時間(例えば、ランプアップ/ランプダウンフレーム帯域幅)に基づいて最初の7つの取り込まれたフレームの画素強度を分析し、最初の7つのフレームの中の最大平均画素強度値を判定し、最大平均画素強度に対応するフレームをLED220照明フレームとして指定し、全ての取り込まれたフレームが分析されるまで、同様の様式で後続の7つの取り込まれたフレームを分析するために進み得る。追加的又は代替的に、同期モジュールは、所定の数のLED220に対応する最大平均画素強度フレームとしていくつかのフレームが指定されるまで、取り込まれたフレームを分析し続け得る。例えば、所定の数のLED220が21個である場合、同期モジュールは、21個の取り込まれたフレームが最大平均画素強度フレームとして指定されるまで、取り込まれたフレームを分析し続け得る。
もちろん、画素強度値は、平均画素強度、平均(average、代表値)画素強度、加重平均(average、代表値)画素強度、及び/若しくは任意の他の好適な画素強度測定値、又はそれらの組み合わせに従って分析され得る。更に、画素強度は、修正された色空間(例えば、赤-緑-青(red-green-blue、RGB)空間とは異なる色空間)において計算され得る。このようにして、ROI内の画素強度の信号プロファイルは、改善され得、結果として、同期モジュールは、最大平均画素強度フレームをより正確に指定/判定し得る。
同期モジュールが各LED220に対応する最大平均画素強度フレームを指定すると、同期モジュールは、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせによって取り込まれた後続のビデオサンプリング周期において、各それぞれのLED220からの完全な照明を含むフレームを自動的に識別し得る。各ビデオサンプリング周期は、同じ数のフレーム取り込みに及び得、LED220の非同期制御は、各LED220を、ビデオサンプリング周期の同じフレームにおいて、同じ順次点弧順序でランプアップ/ランプダウンさせ得る。したがって、特定のビデオサンプリング周期の後に、同期モジュールは、フレーム取り込み404、406aを最大平均画素強度フレームとして自動的に指定し得、フレーム取り込み406bを非最大平均画素強度フレームとして自動的に指定し得る。同期モジュールは、ビデオサンプリング周期及び照明シーケンスを最初に較正する(例えば、同期する)ために1回、所定の周波数に従って、又はリアルタイムで判定されるようにビデオサンプリング周期及び照明シーケンスを周期的に再較正するために複数回、及び/又は各ビデオサンプリング周期及び照明シーケンスの一部として、本明細書に記載される同期技術を実行し得ることが理解されたい。
ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせが適切に較正されるときに、ユーザは、本開示の技術に従って、自分の皮膚表面の3D画像モデルを受信するために、自分の皮膚表面の画像を取り込むことを開始し得る。例えば、図5A~図5Cは、ユーザの皮膚表面の3D画像モデルを生成するために、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせによって撮像及び分析され得る、例示的画像130a、130b、及び130cを例示する。これらの画像の各々は、ユーザモバイルデバイス202で収集/集約され得、3D画像モデリングアルゴリズム(例えば、3D画像モデリングアルゴリズム108)によって分析され得、及び/又は3D画像モデリングアルゴリズムを訓練するために使用され得る。いくつかの実施形態では、皮膚表面画像は、撮像サーバ102で収集又は集約され得、3D画像モデリングアルゴリズム(例えば、本明細書に記載されるような機械学習画像モデルなどのAIモデル)によって分析され、及び/又はそれを訓練するために使用され得る。
例示的な領域130a、130b、130cを表す各画像は、特徴データを表し、それぞれの画像内のそれぞれの皮膚表面の特定の属性の各々に対応する画素データ502ap、502bp、及び502cp(例えば、RGBデータ)を含み得る。概して、本明細書に記載されるように、画素データ502ap、502bp、502cpは、画像内のデータの点又は正方形を含み、各点又は正方形は、画像内の単一画素(例えば、画素502ap1、502ap2、502bp1、502bp2、502cp1、及び502cp2)を表す。各画素は、画像内の特定の場所であり得る。加えて、各画素は、特定の色(又はその欠如)を有し得る。画素色は、所与の画素に関連付けられた色フォーマット及び関連するチャネルデータによって判定され得る。例えば、一般的な色フォーマットは、赤、緑、及び青のチャネルを有する赤-緑-青(RGB)フォーマットを含む。すなわち、RGBフォーマットでは、画素のデータは、画像内の画素のエリアの色を操作するために、チャネルデータと称され得る3つの数値RGB成分(赤、緑、青)によって表される。いくつかの実装形態では、3つのRGB成分は、画素ごとに3つの8ビット数として表され得る。3つの8ビットバイト(RGBの各々について1バイト)は、24ビット色を生成するために使用される。各8ビットRGB成分は、0~255の範囲の256個の可能な値を有することができる(すなわち、基数2の2進システムでは、8ビットバイトは、0~255の範囲の256個の数値のうちの1つを含むことができる)。このチャネルデータ(R、G、及びB)は、画素の色を設定するために使用される、0~255までの値を割り当てられることができる。例えば、(赤=250、緑=165、青=0)を意味する(250、165、0)のような3つの値は、1つのオレンジ画素を表すことができる。更なる例として、(赤=255、緑=255、青=0)は、赤及び緑を意味し、各々完全に飽和され(255は8ビットが可能な明るさである)、青がなく(0)、結果として生じる色は黄色である。なおも更なる例として、黒は、(赤=0、緑=0、青=0)のRGB値を有し、白は、(赤=255、緑=255、青=255)のRGB値を有する。グレーは、等しい又は同様のRGB値を有するという特性を有する。したがって、(赤=220、緑=220、青=220)は、明るいグレー(白に近い)であり、(赤=40、緑=40、青=40)は、暗いグレー(黒に近い)である。
このようにして、3つのRGB値の合成は、所与の画素に対する最終的な色を生成する。3バイトを使用する24ビットRGB色画像では、256階調の赤、256階調の緑、及び256階調の青が存在することができる。これは、256×256×256、すなわち、24ビットRGB色画像について1670万の可能な組み合わせ又は色を提供する。このようにして、画素のRGBデータ値は、画素が赤、及び緑、及び青の各々でどれだけを構成しているかを示す。3つの色及び強度レベルは、その画像画素において、すなわち、ディスプレイ画面上のその画素位置において組み合わされて、その位置においてその色でディスプレイ画面を照明する。しかしながら、より少ない又はより多いビット、例えば、10ビットを有する他のビットサイズが、より少ない又はより多い全体的な色及び範囲をもたらすために使用され得ることが理解されたい。例えば、ユーザモバイルデバイス202は、RGB色空間の代わりにグレースケールで取り込まれた画像を分析し得る。
全体として、グリッドパターンに一緒に位置決めされた様々な画素は、デジタル画像(例えば、画像130a、130b、及び/又は130c)を形成する。単一のデジタル画像は、数千又は数百万の画素を含むことができる。画像は、JPEG、TIFF、PNG、及びGIFなどのいくつかのフォーマットでキャプチャ、生成、格納、及び/又は伝送することができる。これらのフォーマットは、画像を格納及び表現するために画素を使用する。
図5Aは、本明細書に開示される種々の実施形態による、3D画像モデリングアルゴリズム(例えば、3D画像モデリングアルゴリズム108)を訓練及び/又は実装するために使用され得る、例示的画像130a及びその関連画素データ(例えば、画素データ502ap)を例示する。例示的な画像130aは、ざ瘡病変を特徴付けるユーザの皮膚表面の一部分(例えば、ユーザの顔エリア)を例示する。様々な実施形態では、ユーザは、ユーザの顔、ユーザの頬、ユーザの首、ユーザの顎、ユーザの頭、ユーザの鼠径部、ユーザの脇の下、ユーザの胸、ユーザの背中、ユーザの脚、ユーザの腕、ユーザの腹部、ユーザの足、及び/若しくはユーザの身体の任意の他の好適なエリア、又はそれらの組み合わせの少なくとも1つのユーザモバイルデバイス202による分析のために画像を取り込み得る。例示的な画像130aは、例えば、本明細書で考察されるように、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせを使用して、ユーザが経時的にざ瘡病変の形成及び除去を追跡しようとすることを表し得る。
画像130aは、例えば、画素502ap1及び502ap2を含む画素データ502apから構成される。画素502ap1は、例えば、皮膚表面上の異常(例えば、拡大された毛穴又は損傷した皮膚細胞)に起因して、画素502ap1によって表される位置で比較的低い程度の皮膚起伏/反射率を有するユーザから生じる、画像130aに位置決められた比較的暗い画素(例えば、低いR、G、及びB値を伴う画素)であり得る。画素502ap2は、ユーザが画素502ap2によって表される位置にざ瘡病変を有することから生じる、画像130aに位置決められた比較的明るい画素(例えば、高いR、G、及びB値を伴う画素)であり得る。
ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせは、ビデオサンプリング周期及び照明シーケンスの一部として、(例えば、LED220を介して)複数の角度/強度の照明の下で画像130aを取り込み得る。したがって、画素データ502apは、ビデオサンプリング周期中の画像130aの各取り込みに関連付けられた複数の照明角度/強度に対応する個々の画素(例えば、502ap1、502ap2)についての複数の暗さ/明るさ値を含み得る。画素502ap1は、概して、2つの画素502ap1、502ap2によって表される特徴の差に起因して、ビデオサンプリング周期の画像取り込みにおいて画素502ap2よりも暗く見え得る。したがって、この暗い/明るい外観における差及び画素502ap2に起因して投影される任意の影は、本明細書で更に考察するように、部分的に、3D画像モデリングアルゴリズム108に、画素502ap1に対して画像130aによって表される皮膚表面の隆起部分として画素502ap2を表示させ得る。
図5Bは、本明細書に開示される種々の実施形態による、3D画像モデリングアルゴリズム(例えば、3D画像モデリングアルゴリズム108)を訓練及び/又は実装するために使用され得る、更なる例示的画像130b及びその関連画素データ(例えば、画素データ502bp)を例示する。例示的な画像130bは、光線性角化症病変を含むユーザの皮膚表面の一部分(例えば、ユーザの手又は腕エリア)を例示する。例示的な画像130bは、例えば、ユーザの手に形成された皮膚病変の微起伏を検査/分析するために、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせを利用するユーザを表し得る。
画像130bは、画素データ502bpを含む画素データから構成される。画素データ502bpは、画素502bp1、及び画素502bp2を含む複数の画素を含む。画素502bp1は、画素502bp1によって表される位置において比較的低い程度の皮膚の起伏を有するユーザから生じる、画像130bに位置決められた明るい画素(例えば、高いR、G、及び/又はB値を伴う画素)であり得る。画素502bp2は、例えば、皮膚病変に起因して、画素502bp2によって表される位置において比較的高い程度の皮膚起伏を有するユーザから生じる、画像130bに位置決められた暗い画素(例えば、低いR、G、及びB値を伴う画素)であり得る。
ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせは、ビデオサンプリング周期及び照明シーケンスの一部として、(例えば、LED220を介して)複数の角度/強度の照明の下で画像130bを取り込み得る。したがって、画素データ502bpは、ビデオサンプリング周期中の画像130bの各取り込みに関連付けられた複数の照明角度/強度に対応する個々の画素(例えば、502bp1、502bp2)についての複数の暗さ/明るさ値を含み得る。画素502bp2は、概して、2つの画素502bp1、502bp1によって表される特徴の差に起因して、ビデオサンプリング周期の画像取り込みにおいて画素502bp2よりも暗く見え得る。したがって、この暗い/明るい外観における差及び画素502bp2上に投影される任意の影は、本明細書で更に考察されるように、部分的に、3D画像モデリングアルゴリズム108に、画素502bp2に対して画像130bによって表される皮膚表面の隆起部分として画素502bp1を表示させ得る。
図5Cは、本明細書に開示される種々の実施形態による、3D画像モデリングアルゴリズム(例えば、3D画像モデリングアルゴリズム108)を訓練及び/又は実装するために使用され得る、更なる例示的画像130c及びその関連画素データ(例えば、502cp)を例示する。例示的な画像130cは、ユーザが経験しているアレルギー反応の結果としての皮膚発疹を含むユーザの皮膚表面の一部分(例えば、ユーザの胸又は背中エリア)を例示する。例示的な画像130cは、例えば、本明細書で更に考察されるように、アレルギー反応によって引き起こされる発疹を検査/分析するために、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせを利用するユーザを表し得る。
画像130cは、画素データ502cpを含む画素データから構成される。画素データ502cpは、画素502cp1、及び画素502cp2を含む複数の画素を含む。画素502cp1は、ユーザが画素502cp1によって表される位置に皮膚発疹を有することから生じる、画像130cに位置決められた明るい赤色画素(例えば、比較的高いR値を伴う画素)であり得る。画素502cp2は、画素502cp2によって表される位置において最小の皮膚発疹を有するユーザ130cuから生じる、画像130cに位置決められた明るい画素(例えば、高いR、G、及び/又はB値を伴う画素)であり得る。
ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせは、ビデオサンプリング周期及び照明シーケンスの一部として、(例えば、LED220を介して)複数の角度/強度の照明の下で画像130cを取り込み得る。したがって、画素データ502cpは、ビデオサンプリング周期中の画像130cの各取り込みに関連付けられた複数の照明角度/強度に対応する個々の画素(例えば、502cp1、502cp2)についての複数の暗さ/明るさ値及び複数の色値を含み得る。画素502cp2は、概して、2つの画素502cp1、502cp2によって表される特徴の差に起因して、ビデオサンプリング周期の画像取り込みにおいて、画素502cp1よりも明るく、よりニュートラルな皮膚色調に見え得る。したがって、この暗い/明るい外観における差、RGB色値、及び画素502cp2に起因して投影される任意の影は、本明細書で更に考察されるように、部分的に、3D画像モデリングアルゴリズム108に、画素502cp2に対して画像130cによって表される皮膚表面の隆起した、より赤い部分として画素502cp1を表示させ得る。
画素データ130ap、130bp、及び130cpは各々、様々な明度/暗度値及び色値を特徴とするユーザの皮膚表面エリアの残りの部分を含む、様々な残りの画素を含む。画素データ130ap、130bp、及び130cpは各々、図5A~図5Cに示されるように、ユーザの皮膚表面の解剖学的特徴及び他の特徴によるユーザの皮膚の起伏を含む、更なる特徴を表す画素を更に含む。
図5A~図5Cに表される画像の各々は、リアルタイム及び/又はほぼリアルタイムで、本明細書で更に記載されるように、3D画像モデリングアルゴリズム(例えば、3D画像モデリングアルゴリズム108)に従って到着し、処理され得ることを理解されたい。例えば、ユーザは、アレルギー反応が起こっている際に画像130cを取り込み得、3D画像モデリングアルゴリズムは、リアルタイム又はほぼリアルタイムで、フィードバック、推奨、及び/又は他のコメントを提供し得る。
いずれにしても、画像がユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせによって取り込まれるときに、画像は、ユーザモバイルデバイス202に格納された3D画像モデリングアルゴリズム108によって(例えば、モバイルアプリケーションの一部として)処理され得る。図6は、皮膚表面のトポグラフィ表現を定義する3D画像モデル610を生成するために入力皮膚表面画像600を使用する3D画像モデリングアルゴリズム108の例示的ワークフローを例示する。概して、3D画像モデリングアルゴリズム108は、3D画像モデル610を構築するために、複数の皮膚表面画像(例えば、入力皮膚表面画像600に類似する)の画素値を分析し得る。
より具体的には、3D画像モデリングアルゴリズム108は、次式によって与えられるような照度差ステレオ方程式を解くために画素値を利用することによって、3D画像モデル610を推定し得る。
3D画像モデル610を推定することは、取り込まれた画像に表される皮膚表面に対応する皮膚タイプ(例えば、皮膚色、皮膚表面エリアなど)に大きく依存し得る。有利なことに、3D画像モデリングアルゴリズム108は、式(1)に従って法線を反復的に推定することによって、取り込まれた画像において表される皮膚表面に対応する皮膚タイプを自動的に判定し得る。3D画像モデリングアルゴリズム108はまた、各画素について推定された法線を考慮して、皮膚タイプの判定を容易にするために、取り込まれた画像にわたって画素強度のバランスをとり得る。
更に、3D画像モデリングアルゴリズム108は、3D画像モデル610を生成するときに、特定の取り込まれた画像について照明の確率的円錐を推定し得る。概して、撮像される平面を照明する光源が無限遠にあるときに、平面に入射する光線は、平行であると仮定され、平面上の全ての点は、等しい強度で照明される。しかしながら、光源が表面に非常に近い(例えば、35mm以内)ときに、平面に入射する光線は、円錐を形成する。結果として、光源に近い平面上の点は、光源から更に離れた平面上の点よりも明るくなる。したがって、3D画像モデリングアルゴリズム108は、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせを記述する既知の寸法パラメータ(例えば、3D LED220の位置、LED220からROIまでの距離、カメラ212からROIまでの距離など)と併せて、取り込まれた画像を使用して、取り込まれた画像について照明の確率的円錐を推定し得る。
図7は、本明細書に開示される様々な実施形態による、皮膚表面の三次元(3D)画像モデルを生成するためのユーザの皮膚表面の画像(例えば、画像130a、130b、及び/又は130c)の画素データを分析する皮膚科学的撮像方法700の図を例示する。画像は、本明細書に記載されるように、概して、デジタルカメラ(例えば、ユーザモバイルデバイス202のカメラ212)によって取り込まれるような画素画像である。いくつかの実施形態では、画像は、デジタルビデオカメラを使用して収集されたような複数の画像(例えば、フレーム)などの複数の画像を含むか、又はそれらを指し得る。フレームは、動きを定義する連続画像を含み、動画、ビデオなどを含むことができる。
ブロック702で、方法700は、1つ以上のプロセッサによって、ユーザの皮膚の一部分の画像を分析することを含み、画像は、皮膚の一部分に焦点を合わせるように構成された1つ以上のレンズ(例えば、レンズセット216)を通って延在する撮像軸を有するカメラ(例えば、カメラ212)によって取り込まれる。各画像は、皮膚の一部分の周辺でおおよそ位置決めされるように構成されたLEDの異なるサブセット(例えば、LED220)によって照明され得る。例えば、画像は、それぞれのユーザのざ瘡病変(例えば、図5Aに例示されるような)、それぞれのユーザの光線性角化症病変(例えば、図5Bに例示されるような)、それぞれのユーザのアレルギー発疹(例えば、図5Cに例示されるような)、並びに/又はそれぞれのユーザの頭、それぞれのユーザの鼠径部、それぞれのユーザの脇の下、それぞれのユーザの胸、それぞれのユーザの背中、それぞれのユーザの脚、それぞれのユーザの腕、それぞれのユーザの腹、それぞれのユーザの足、及び/若しくはそれぞれのユーザの身体の任意の他の好適なエリア、若しくはそれらの組み合わせに位置する任意の種類のそれぞれのユーザの皮膚状態(若しくはその欠如)を表し得る。
いくつかの実施形態では、LEDのサブセットは、第1の照明強度で皮膚の一部分を照明し得、LEDの異なるサブセットは、第1の照明強度とは異なる第2の照明強度で皮膚の一部分を照明し得る。例えば、第1のLEDは、第1のワット数で皮膚の一部分を照明し得、第2のLEDは、第2のワット数で皮膚の一部分を照明し得る。この実施例では、第2のワット数は、第2のLEDが第1のLEDの2倍の強度で皮膚の一部分を照らすように、第1のワット数の値の2倍であり得る。
更に、いくつかの実施形態では、LEDの各異なるサブセットによって提供される照明は、異なる照明角度から皮膚の一部分を照明し得る。例えば、ROIの中心から両方向に垂直に延在するユーザモバイルデバイス202の向きに対する平行線(例えば、「法線」)が、0度の照明角度を定義すると仮定する。したがって、第1のLEDは、法線から90度の第1の照明角度から皮膚の一部分を照明し得、第2のLEDは、法線から30度の第2の照明角度から皮膚の一部分を照明し得る。この実施例では、第1の照明角度から第1のLEDによって照明された第1の取り込まれた画像は、第2の照明角度から第2のLEDによって照明された第2の取り込まれた画像とは異なる影を含み得る。結果として、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせによって取り込まれた各画像は、異なる照明角度からの照明の結果として皮膚の一部分上に投影される異なるセットの影を特徴とし得る。
追加的に、いくつかの実施形態では、ユーザモバイルデバイス202は(例えば、モバイルアプリケーションを介して)、取り込まれた画像を分析する前に、ランダムサンプリングコンセンサスアルゴリズムを使用してカメラ212を較正し得る。ランダムサンプリングコンセンサスアルゴリズムは、較正プレートのビデオ取り込みシーケンスから理想的画像を選択するように構成され得る。本明細書で参照されるように、ビデオ取り込みシーケンスは、本明細書に記載される「ビデオサンプリング周期」及び「照明シーケンス」を集合的に指し得る。例えば、ユーザモバイルデバイス202は、カメラ212、LED220、及び/又は任意の他の好適なハードウェアを較正するために、ビデオ取り込みシーケンスを利用し得る。更に、ユーザモバイルデバイス202は、ユーザの皮膚表面の3D画像モデルを生成するために、ビデオ取り込みシーケンスを利用し得る。これらの実施形態では、ユーザモバイルデバイス202はまた、複数の反射物体(例えば、物体312)から反射された光線を経路追跡することによって、LED220を較正し得る。
いくつかの実施形態では、ユーザモバイルデバイス202は、短い撮像距離で画像を取り込み得る。例えば、短い撮像距離は、カメラとROIとの間の距離(例えば、開口218によって画定される)が35mm以下であるように、35mm以下であり得る。
いくつかの実施形態では、カメラ212は、ビデオ取り込みシーケンス中に画像を取り込み得、LED220の各異なるサブセットは、ビデオ取り込みシーケンス中に(例えば、照明シーケンスの一部として)順次アクティブ化及び順次非アクティブ化され得る。更に、これらの実施形態では、3D画像モデリングアルゴリズム108は、各画像について平均画素強度を演算し、各画像をそれぞれの最大平均画素強度と整合させ得る。例えば、前述されたように、皮膚科学的撮像デバイス110が21個のLED220を含む場合、3D画像モデリングアルゴリズム108は、21個の画像を最大平均画素強度画像として指定し得る。更に、LED220及びカメラ212は、ビデオ取り込みシーケンス中にユーザモバイルデバイス202によって(例えば、モバイルアプリケーションを介して)非同期的に制御され得る。
任意選択のブロック704で、方法700は、3D画像モデリングアルゴリズム108が、各画像に対応する照明の確率的円錐を推定することを含み得る。例えば、前述されたように、3D画像モデリングアルゴリズム108は、取り込まれた画像について照明の確率的円錐を推定するために、ユーザモバイルデバイス202(例えば、ユーザコンピューティングデバイス111c1~111c3及び/若しくは112c1~112c3のいずれか)並びに/又は撮像サーバ102のプロセッサを利用し得る。確率的円錐は、画像取り込み中にROI上のLED220からの推定された入射照明を表し得る。
ブロック706で、方法700は、1つ以上のプロセッサによって、取り込まれた画像に基づいて、皮膚の一部分のトポグラフィ表現を定義する3D画像モデル(例えば、3D画像モデル610)を生成することを含み得る。3D画像モデルは、例えば、3D画像モデリングアルゴリズム108によって生成され得る。いくつかの実施形態では、3D画像モデリングアルゴリズム108は、3D画像モデルを、別のユーザの皮膚の一部分の別のトポグラフィ表現を定義する別の3D画像モデルと比較し得る。これらの実施形態では、他のユーザは、年齢又は皮膚状態をユーザと共有し得る。皮膚状態は、(i)皮膚がん、(ii)日焼け、(iii)ざ瘡、(iv)乾燥症、(v)脂漏症、(vi)湿疹、又は(vii)じんま疹のうちの少なくとも1つを含み得る。
いくつかの実施形態では、3D画像モデリングアルゴリズム108は、3D画像モデルが、皮膚タイプクラスを有するユーザのセットの皮膚に対応するトポグラフィ表現を定義することを判定し得る。概して、皮膚タイプクラスは、毛穴サイズ、赤み、瘢痕、病変数、そばかす密度、及び/又は任意の他の好適な特性若しくはそれらの組み合わせなどの、皮膚の任意の好適な特性に対応し得る。更なる実施形態では、皮膚タイプクラスは、皮膚の色に対応し得る。
様々な実施形態では、3D画像モデリングアルゴリズム108は、少なくとも1つの人工知能(AI)アルゴリズムで訓練されたAIベースモデルである。3D画像モデリングアルゴリズム108の訓練は、将来の画像を予測及び/又は分類するために使用される、3D画像モデリングアルゴリズム108の重みを構成するための訓練画像の画像分析を含む。例えば、本明細書の様々な実施形態では、3D画像モデリングアルゴリズム108の生成は、複数のユーザの複数の訓練画像で3D画像モデリングアルゴリズム108を訓練することを含み、訓練画像の各々は、それぞれのユーザの皮膚表面の画素データを含む。いくつかの実施形態では、サーバ又はクラウドベースのコンピューティングプラットフォーム(例えば、撮像サーバ102)の1つ以上のプロセッサは、コンピュータネットワーク(例えば、コンピュータネットワーク120)を介して、複数のユーザの複数の訓練画像を受信し得る。そのような実施形態では、サーバ及び/又はクラウドベースのコンピューティングプラットフォームは、複数の訓練画像の画素データで3D画像モデリングアルゴリズム108を訓練し得る。
様々な実施形態では、本明細書に記載されるような、機械学習撮像モデル(例えば、3D画像モデリングアルゴリズム108)は、教師あり若しくは教師なし機械学習プログラム又はアルゴリズムを使用して訓練され得る。機械学習プログラム又はアルゴリズムは、ニューラルネットワークを採用し得、そのニューラルネットワークは、畳み込みニューラルネットワーク、深層学習ニューラルネットワーク、又は特定の関心領域内での2つ以上の特徴若しくは特徴データセット(例えば、画素データ)を学習する混合学習モジュール若しくはプログラムであり得る。これらの機械学習プログラム又はアルゴリズムには、自然言語処理、意味解析、自動推論、回帰分析、サポートベクタマシン(support vector machine、SVM)分析、決定樹解析、ランダムフォレスト分析、K近傍法分析、単純ベイズ分析、クラスタリング、強化学習、並びに/又は他の機械学習アルゴリズム及び/若しくは技術もまた含まれ得る。いくつかの実施形態では、人工知能及び/又は機械学習ベースのアルゴリズムは、撮像サーバ102上で実行されるライブラリ又はパッケージとして含まれ得る。例えば、ライブラリは、TENSORFLOWベースのライブラリ、PYTORCHライブラリ、及び/又はSCIKIT-LEARN Pythonライブラリを含み得る。
機械学習は、後続のデータについて予測又は識別を行うこと(新しいユーザの皮膚表面の3D画像モデルを生成するために、新しいユーザの新しい画素データ上でモデルを使用することのような)を容易にするために、既存のデータにおけるパターンを識別すること及び認識すること(それぞれのユーザの皮膚表面の画素データを有する画像内の画素データに基づいてモデルを訓練することなど)を含み得る。
いくつかの実施形態について本明細書に記載される3D画像モデリングアルゴリズム108などの機械学習モデルは、試験レベル又は生産レベルのデータ又は入力などの新しい入力について、有効かつ信頼できる予測を行うために、例示的なデータ(例えば、「訓練データ」及び関連画素データ)の入力又はデータ(「特徴」及び「ラベル」と呼ばれ得る)に基づいて、作成及び訓練され得る。教師あり機械学習では、サーバ、コンピュータ処理デバイス、又はそうでなければプロセッサ上で動作する機械学習プログラムは、例示的な入力(例えば、「特徴」)、及びそれらの関連する又は観察される出力(例えば、「ラベル」)を提供されて、機械学習プログラム又はアルゴリズムは、例えば、モデルの様々な特徴カテゴリにわたって重み付け若しくは他の測定項目をそのモデルに対して決定すること及び/又は割り当てることによって、出力(例えば、ラベル)に対してそのような入力(例えば、「特徴」)をマッピングする規則、関係、パターン、又はそうでなければ機械学習「モデル」を決定又は発見し得る。次いで、そのような規則、関係、又はそうでなければモデルは、後続の入力が提供されて、そのモデルがサーバ、コンピュータ処理デバイス、又はそうでなければプロセッサ上で実行され、発見された規則、関係、又はモデルに基づいて、予想される出力を予測し得る。
教師なし機械学習では、サーバ、コンピュータ処理デバイス、又はそうでなければプロセッサは、ラベル付けされていない例示的な入力において、それ自体の構造を見出すことが必要とされ得、この場合、例えば、複数の訓練反復が、サーバ、コンピュータ処理デバイス、又はそうでなければプロセッサによって実行されて、満足なモデル、例えば、試験レベル又は生産レベルのデータ又は入力が与えられたときに、十分な予測正確度を提供するモデルが生成されるまで、複数世代のモデルを訓練する。本明細書の開示は、そのような教師あり又は教師なし機械学習技術のうちの一方又は両方を使用し得る。
画像分析は、1つ以上のユーザの皮膚表面の画像の画素データ上で、機械学習ベースのアルゴリズム(例えば、3D画像モデリングアルゴリズム108)を訓練することを含み得る。追加的、又は代替的に、画像分析は、ユーザの1つ以上の画像の画素データ(例えば、それらのRGB値を含む)に基づいて、特定のユーザの皮膚表面の3D画像モデルを生成するために、以前に訓練されたような、機械学習撮像モデルを使用することを含み得る。モデルの重みは、所与の画像のユーザ画素の様々なRGB値の分析を介して訓練され得る。例えば、暗い又は低いRGB値(例えば、値R=25、G=28、B=31を有する画素)は、ユーザの皮膚表面の比較的低いエリアを示し得る。赤の色調のRGB値(例えば、値R=215、G=90、B=85を有する画素)は、刺激された皮膚を示し得る。より明るいRGB値(例えば、R=181、G=170、及びB=191を有する画素)は、ユーザの皮膚の比較的上昇されたエリア(例えば、ざ瘡病変など)を示し得る。このようにして、何万もの訓練画像の画素データ(例えば、ユーザの皮膚表面の1つ以上の特徴を詳述する)は、特定のユーザの皮膚表面の3D画像モデルを生成するために、機械学習撮像アルゴリズムを訓練又は使用するために使用され得る。
ブロック708で、方法700は、1つ以上のプロセッサ(例えば、ユーザモバイルデバイス202)によって、ユーザの皮膚の一部分の3D画像モデルに基づいて、ユーザ固有の推奨を生成することを含む。例えば、ユーザ固有の推奨は、製造された製品についてユーザ固有の製品推奨であり得る。したがって、製造された製品は、ユーザの皮膚の一部分の画素データ内で識別可能な少なくとも1つの特徴に対処するように設計され得る。いくつかの実施形態では、ユーザ固有の推奨は、ユーザが皮膚の一部分に製品を適用すること、又は皮膚の一部分に関する医療アドバイスを求めることを推奨する。例えば、3D画像モデリングアルゴリズム108が、ユーザの皮膚の一部分が皮膚がんを示す特性を含むと判定した場合、3D画像モデリングアルゴリズム108は、直ちに医療処置を求めるようにユーザにアドバイスするユーザ固有の推奨を生成し得る。
いくつかの実施形態では、ユーザモバイルデバイス202は、ユーザの皮膚の一部分の第2の複数の画像を取り込み得る。ユーザモバイルデバイス202のカメラ212は、画像を取り込み得、第2の複数の各画像は、LED220の異なるサブセットによって照明され得る。次いで、3D画像モデリングアルゴリズム108は、第2の複数の画像に基づいて、皮膚の一部分の第2のトポグラフィ表現を定義する第2の3D画像モデルを生成し得る。更に、3D画像モデリングアルゴリズム108は、ユーザ固有の推奨を生成するために、第1の3D画像モデルを第2の3D画像モデルと比較し得る。例えば、ユーザは、最初に、(例えば、図5Aに例示されるように)ざ瘡病変を含む皮膚表面の第1の画像のセットを取り込み得る。数日後に、ユーザは、ざ瘡病変を含む皮膚表面の第2の画像のセットを取り込み得、3D画像モデリングアルゴリズムは、第1の画像のセットと第2の画像のセットとを比較することによって、数日間にわたるざ瘡病変の体積/高さの低減を計算し得る。別の実施例として、3D画像モデリングアルゴリズム108は、ユーザの皮膚の一部分の粗さ測定値を追跡するために、第1の画像セットと第2の画像セットとを比較し得、経時的なしわ、ほくろなどの発現を追跡するために更に適用され得る。他の実施例は、反応を鎮める際の抗ヒスタミン剤の有効性を測定するために、皮膚病変(例えば、図5Bに例示される光線性角化症病変)における微起伏、アレルギー反応によって引き起こされる皮膚発疹(例えば、図5Cに例示されるアレルギー発疹)を、皮膚表面を治癒させることを意図した薬剤の有効性を判定するために、瘢痕及び瘢痕組織を追跡することを、リップバームの有効性を測定するために、荒れた唇/皮膚フレークを追跡/研究すること、及び/又は任意の他の好適な目的又はそれらの組み合わせを含み得る。
いくつかの実施形態では、ユーザモバイルデバイス202は、ユーザモバイルデバイス202の1つ以上のプロセッサによって実行可能である命令を含むモバイルアプリケーションを実行し得る。モバイルアプリケーションは、ユーザモバイルデバイス202の非一時的コンピュータ可読媒体上に格納され得る。命令は、1つ以上のプロセッサによって実行されるときに、1つ以上のプロセッサに、ユーザモバイルデバイス202のディスプレイ画面上に3D画像モデルをレンダリングさせ得る。命令は、1つ以上のプロセッサに、3D画像モデルの特徴をテキストで記述するか又はグラフィカルに例示する出力をディスプレイ画面上に更にレンダリングさせ得る。
いくつかの実施形態では、3D画像モデリングアルゴリズム108は、それぞれのユーザの皮膚の一部分のトポグラフィ表現を各々が描写する複数の3D画像モデルで訓練され得る。3D画像モデリングアルゴリズム108は、皮膚の一部分の3D画像モデル(例えば、3D画像モデル610)を分析することによって、ユーザ固有の推奨を生成するように訓練され得る。更に、ユーザモバイルデバイス202上に格納されたコンピューティング命令は、デバイス202の1つ以上のプロセッサによって実行されるときに、1つ以上のプロセッサに、皮膚の一部分の3D画像モデルに基づいてユーザ固有の推奨を生成するために、3D画像モデリングアルゴリズム108で3D画像モデルを分析させ得る。ユーザモバイルデバイス202は、追加的に、3D画像モデルを受信し、カメラ212による複数の画像の取り込み時又は取り込み後にリアルタイム又はほぼリアルタイムで3D画像モデルをレンダリングするように構成されたディスプレイ画面を含み得る。
グラフィカル表示の実施例として、図8は、本明細書に開示される様々な実施形態による、ユーザモバイルデバイス202のディスプレイ画面800上にレンダリングされるような例示的なユーザインターフェース802を例示する。例えば、図8の実施例に示されるように、ユーザインターフェース802は、ユーザモバイルデバイス202上で実行されるアプリケーション(アプリ)を介して、実装又はレンダリングされ得る。
図8の実施例に示されるように、ユーザインターフェース802は、ユーザモバイルデバイス202上で実行されるネイティブアプリを介して、実装又はレンダリングされ得る。図8の実施例では、ユーザモバイルデバイス202は、図1及び図2について記載されたようなユーザコンピューティングデバイスであり、例えば、ユーザコンピューティングデバイス111c1及びユーザモバイルデバイス202は、APPLE iOSオペレーティングシステムを実装するAPPLE iPhoneとして例示され、ユーザモバイルデバイス202は、ディスプレイ画面800を有する。ユーザモバイルデバイス202は、そのオペレーティングシステム上で1つ以上のネイティブアプリケーション(アプリ)を実行し得る。そのようなネイティブアプリは、ユーザモバイルデバイス202のプロセッサによって、ユーザコンピューティングデバイスオペレーティングシステム(例えば、APPLE iOS)によって実行可能なコンピューティング言語(例えば、SWIFT)において実装又はコード化(例えば、コンピューティング命令として)され得る。追加的、又は代替的に、ユーザインターフェース802は、ウェブインターフェースを介して、例えば、ウェブブラウザアプリケーション、例えば、Safari及び/若しくはGoogle Chromeアプリ、又は他のそのようなウェブブラウザなどを介して、実装又はレンダリングされ得る。
図8の実施例に示されるように、ユーザインターフェース802は、ユーザの皮膚のグラフィカル表現(例えば、3D画像モデル610)を含む。グラフィカル表現は、本明細書に記載されるように、3D画像モデリングアルゴリズム108によって生成されるようなユーザの皮膚表面の3D画像モデル610であり得る。図8の実施例では、ユーザの皮膚表面の3D画像モデル610は、ユーザの皮膚表面のトポグラフィ表現に対応する、1つ以上のグラフィックス(例えば、画素データ610apのエリア)、テキストレンダリング、及び/若しくは任意の他の好適なレンダリング、又はそれらの組み合わせで注釈が付けられ得る。テキストレンダリングタイプ又は値が、例えば、皮膚の示された部分の粗さ測定値(例えば、画素610ap2における)、ざ瘡病変の体積/高さにおける変化(例えば、画素610ap1における)などとしてレンダリングされ得る場合、他のグラフィカル/テキストレンダリングタイプ又は値が本明細書で企図されることを理解されたい。追加的、又は代替的に、色値は、ユーザの皮膚表面のトポグラフィ特徴を示すために、ユーザインターフェース802上に示されるグラフィカル表現(例えば、3D画像モデル610)上で使用及び/又はオーバーレイされ得る(例えば、経時的なトポグラフィカル特徴における変化を詳述する熱マッピング)。
他のグラフィカルオーバーレイは、例えば、3D画像モデル610上にオーバーレイされた特定の色彩配合が、経時的なトポグラフィカル特徴移動の大きさ若しくは方向、及び/又は3D画像モデル610内の特徴間の寸法差(例えば、特徴間の高さ差)を示す、熱マッピングを含み得る。3D画像モデル610はまた、矢印及び/又は他のグラフィカルオーバーレイによって示される相対的な大きさ及び/又は方向に注釈を付けるように構成されたテキストオーバーレイを含み得る。例えば、3D画像モデル610は、矢印及び/又は他のグラフィカル表現によって示される特徴を記載するために、「日焼け」、「ざ瘡病変」、「ほくろ」、「瘢痕組織」などのテキストを含み得る。追加的又は代替的に、3D画像モデル610は、矢印及び/又は他のグラフィカルインジケータを補足するために、パーセンテージスケール又は他の数値インジケータを含み得る。例えば、3D画像モデル610は、0%~100%の皮膚粗さ値を含み得、ここで、0%は、特定の皮膚表面部分についての最小皮膚粗さを表し、100%は、特定の皮膚表面部分についての最大皮膚粗さを表す。値は、67%の皮膚粗さ値が、同じ3D画像モデル610又は(同じ若しくは異なるユーザ及び/又は皮膚の一部分の)異なる3D画像モデル内の1つ以上の異なる画素について検出された10%の皮膚粗さ値よりも高い皮膚粗さ値を有する3D画像モデル610内で検出された1つ以上の画素を表す、このマップにわたって変動することができる。更に、パーセンテージスケール又は他の数値インジケータは、3D画像モデリングアルゴリズム108がグラフィカルインジケータ、テキストインジケータ、及び/若しくは他のインジケータ又はそれらの組み合わせのサイズ及び/若しくは方向を判定するときに、内部的に使用され得る。
例えば、画素データ610apのエリアは、3D画像モデリングアルゴリズム108によって画素データ(例えば、特徴データ及び/又は生画素データ)内で識別されたエリア又は特徴を強調するために、3D画像モデル610の上に注釈が付けられるか又はオーバーレイされ得る。図8の実施例では、画素データ610apのエリア内で識別される特徴は、皮膚表面異常(例えば、ほくろ、ざ瘡病変など)、皮膚の刺激(例えば、アレルギー反応)、皮膚タイプ(例えば、推定年齢値)、皮膚色調、及び画素データ610apのエリア内に示される他の特徴を含み得る。様々な実施形態では、画素データ610ap内の特定の特徴として識別された画素(例えば、画素610ap1及び画素610ap2)は、レンダリングされるときに、強調されるか、又は別な方法で注釈が付けられ得る。
ユーザインターフェース802はまた、ユーザ固有の推奨812を含むか、又はレンダリングし得る。図8の実施形態では、ユーザ固有の推奨812は、ユーザの皮膚表面の画素データ(例えば、画素データ610ap)内で識別可能な特徴に対処するように設計された、ユーザへのメッセージ812mを含む。図8の実施例に示されるように、メッセージ812mは、ユーザの皮膚表面が脱水されていることが示された3D画像モデリングアルゴリズム108の分析に基づいて、ユーザが自分の皮膚を保湿して若返らせるために水和ローションを適用することについて製品推奨を含む。製品推奨は、画素データ内の識別された特徴(例えば、皮膚の脱水を緩和するための水和ローション)に相関され得、ユーザモバイルデバイス202は、特徴(例えば、皮膚の脱水、日焼けなど)が識別されるときに、製品推奨を出力するように命令され得る。前述されたように、ユーザモバイルデバイス202は、3D画像モデリングアルゴリズム108が、ユーザが医学的見解を必要とする/所望し得る医学的状態(例えば、皮膚がん)を示す画素データ内の特徴を識別する場合において、ユーザが医療処置/アドバイスを求めるための推奨を含み得る。
ユーザインターフェース802はまた、製造された製品824r(例えば、上述されたように、水和/保湿ローション)について製品推奨822のためのセクションを含むか、又はレンダリングし得る。製品推奨822は、概して、上述されたように、ユーザ固有の推奨12に対応する。例えば、図8の実施例では、ユーザ固有の推奨812は、ユーザの皮膚表面の画素データ(例えば、画素データ610ap)において識別可能な少なくとも1つの特徴(例えば、画素610ap1、610ap2における皮膚脱水)を、製造された製品(製造された製品824r(例えば、水和/保湿ローション))で処置するための命令(例えば、メッセージ812m)とともに、ユーザモバイルデバイス202のディスプレイ画面800上に表示され得る。
図8に示されるように、ユーザインターフェース802は、ユーザ固有の推奨812に基づいて、製品(例えば、製造された製品824r(例えば、水和/保湿ローション))について推奨を提示する。図8の実施例では、3D画像モデリングアルゴリズム108を使用する画像(例えば、皮膚表面画像600)の出力又は分析は、対応する製品について推奨を生成又は識別するために、使用され得る。そのような推奨は、3D画像モデリングアルゴリズム108によって画素データ内で検出された特徴に対処するために、水和/保湿ローション、角質除去剤、日焼け止め、クレンザー、シェービングジェルなどの製品を含み得る。図4の実施例では、ユーザインターフェース802は、3D画像モデリングアルゴリズム108によって判定された、推奨される製品(例えば、製造された製品824r)、並びに3D画像モデル610及びその画素データ及び様々な特徴のその関連する画像分析をレンダリング又は提供する。図8の実施例では、これは、ユーザインターフェース802上に示され、注釈が付けられる(824p)。
ユーザインターフェース802は、ユーザが、対応する製品(例えば、製造された製品824r)を購入又は出荷するために選択することを可能にする、選択可能なUIボタン824sを更に含み得る。いくつかの実施形態では、選択可能なUIボタン824sの選択は、推奨される製品をユーザに出荷させ得、かつ/又はユーザが製品に関心があることを第三者に通知し得る。例えば、ユーザモバイルデバイス202及び/又は撮像サーバ102のいずれかは、ユーザ固有の推奨812に基づいて、ユーザへの出荷について製造された製品824r(例えば、水和/保湿ローション)を開始し得る。そのような実施形態では、製品は包装され、ユーザに出荷され得る。
様々な実施形態では、グラフィカル注釈(例えば、画素データ610apのエリア)を有するグラフィカル表現(例えば、3D画像モデル610)、及びユーザ固有の推奨812は、ディスプレイ画面800上でレンダリングするために、コンピュータネットワークを介して(例えば、撮像サーバ102及び/又は1つ以上のプロセッサから)ユーザモバイルデバイス202に伝送され得る。他の実施形態では、ユーザの特定画像の撮像サーバ102への伝送は行われず、ユーザ固有の推奨(及び/又は製品固有の推奨)は、代わりに、ユーザモバイルデバイス202上で実行及び/又は実装される3D画像モデリングアルゴリズム108によってローカルに生成され、モバイルデバイスのプロセッサによってユーザモバイルデバイス202のディスプレイ画面800上でレンダリングされ得る。
いくつかの実施形態では、図8の実施例に示されるように、ユーザは、新しい画像を(例えば、ユーザモバイルデバイス202でローカルに、又は撮像サーバ102で遠隔に)再分析するために選択可能なボタン812iを選択し得る。選択可能なボタン812iは、ユーザインターフェース802に、新しい画像を取り込むためにユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせをユーザの皮膚表面上に位置決めし、及び/又はユーザがアップロードのために新しい画像を選択するように、ユーザに促させ得る。ユーザモバイルデバイス202及び/又は撮像サーバ102は、ユーザ固有の推奨812に提示される治療選択肢/提案の一部又は全てを実行する前、その間、及び/又はその後に、ユーザの新しい画像を受信し得る。新しい画像(例えば、ちょうど皮膚表面画像600のような)は、ユーザの皮膚表面の画素データを含み得る。ユーザモバイルデバイス202のメモリ上で実行される3D画像モデリングアルゴリズム108は、ユーザの皮膚表面の新しい3D画像モデルを生成するために、ユーザモバイルデバイス202と皮膚科学的撮像デバイス110との組み合わせによって取り込まれた新しい画像を分析し得る。ユーザモバイルデバイス202は、新しい3D画像モデルに基づいて、新しい3D画像モデルの画素データ内で識別可能な特徴に関する新しいユーザ固有の推奨又はコメントを生成し得る。例えば、新しいユーザ固有の推奨は、グラフィックス及び/又はテキストを含む新しいグラフィカル表現を含み得る。新しいユーザ固有の推奨は、追加的な推奨、例えば、ユーザが、皮膚表面の一部分に関連付けられた腫れを低減するために推奨される製品を適用し続けるべきであること、ユーザが、任意のアレルギー発疹を排除するために推奨される製品を利用すべきであること、ユーザが、現在の日焼けの悪化を回避するために皮膚表面を太陽光に晒す前に日焼け止めを適用すべきであることなどを含み得る。コメントは、ユーザが画素データ内で識別可能な少なくとも1つの特徴を修正したこと(例えば、ユーザは、推奨される製品を適用した後に皮膚刺激がほとんど又は全く有さない)を含み得る。
いくつかの実施形態では、新しいユーザ固有の推奨又はコメントは、ユーザモバイルデバイス202のディスプレイ画面800上でレンダリングするために、ユーザのユーザモバイルデバイス202にコンピュータネットワークを介して伝送され得る。他の実施形態では、ユーザの新しい画像の撮像サーバ102への伝送は行われず、新しいユーザ固有の推奨(及び/又は製品固有の推奨)は、代わりに、ユーザモバイルデバイス202上で実行及び/又は実装される3D画像モデリングアルゴリズム108によってローカルに生成され、ユーザモバイルデバイス202のプロセッサによってユーザモバイルデバイス202のディスプレイ画面800上でレンダリングされ得る。
加えて、特定の実施形態は、論理又はいくつかのルーチン、サブルーチン、アプリケーション、又は命令を含むものとして本明細書に記載されている。これらは、ソフトウェア(例えば、機械可読媒体上に若しくは送信信号内に具現化されたコード)又はハードウェアのいずれかを構築し得る。ハードウェアでは、ルーチンなどは、特定の動作を実施することが可能な有形のユニットであり、特定の様式で構成又は配設され得る。例示的な実施形態では、1つ以上のコンピュータシステム(例えば、スタンドアロン、クライアント若しくはサーバコンピュータシステム)又はコンピュータシステムの1つ以上のハードウェアモジュール(例えば、プロセッサ若しくはプロセッサのグループ)が、本明細書に記載されるような特定の動作を実施するように動作するハードウェアモジュールとしてソフトウェア(例えば、アプリケーション若しくはアプリケーション部分)によって構成され得る。
本明細書に記載される例示的方法の様々な動作は、少なくとも部分的に、関連する動作を実施するように一時的に構成された(例えば、ソフトウェアによって)又は恒久的に構成された1つ以上のプロセッサによって実施され得る。一時的に構成されたか、又は恒久的に構成されたかにかかわらず、このようなプロセッサは、1つ以上の動作若しくは機能を実施するように動作するプロセッサ実装モジュールを形成し得る。本明細書で言及されるモジュールは、いくつかの例示的な実施形態では、プロセッサ実装モジュールを含み得る。
同様に、本明細書に記載される方法又はルーチンは、少なくとも部分的にプロセッサ実装され得る。例えば、ある方法の動作のうちの少なくともいくつかは、1つ以上のプロセッサ又はプロセッサ実装ハードウェアモジュールによって実施され得る。それらの動作の特定の性能は、1つ以上のプロセッサに分散され得、単一のマシン内に存在するだけでなく、多数のマシンにわたって展開され得る。いくつかの例示的な実施形態では、プロセッサ(単数又は複数)は、単一の場所に配置され得、これに対して、他の実施形態では、プロセッサは、いくつかの場所にわたって分散され得る。
それらの動作の特定の性能は、1つ以上のプロセッサに分散され得、単一のマシン内に存在するだけでなく、多数のマシンにわたって展開され得る。いくつかの例示的な実施形態では、1つ以上のプロセッサ又はプロセッサ実装モジュールが、単一の地理的場所(例えば、家庭環境、オフィス環境、又はサーバファーム内)に配置され得る。他の実施形態では、1つ以上のプロセッサ又はプロセッサ実装モジュールは、多数の地理的場所にわたって分散され得る。
本明細書に開示される寸法及び値は、列挙された正確な数値に厳密に限定されるものとして理解されるべきではない。その代わりに、特に指示されない限り、そのような寸法は各々、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図される。例えば、「35mm」として開示された寸法は、「約35mm」を意味することが意図される。
相互参照される又は関連するあらゆる特許又は特許出願、及び本願が優先権又はその利益を主張する任意の特許出願又は特許を含む、本明細書に引用される全ての文書は、除外又は限定することが明言されない限りにおいて、参照によりその全体が本明細書に組み込まれる。いずれの文献の引用も、本明細書中で開示又は特許請求されるいずれの発明に対する先行技術であるともみなされず、あるいはそれを単独で又は他の任意の参考文献(単数又は複数)と組み合わせたときに、そのようないずれの発明も教示、示唆又は開示するとはみなされない。更に、本文書における用語のいずれの意味又は定義も、参照により組み込まれた文書内の同じ用語の任意の意味又は定義と矛盾する場合、本文書においてその用語に与えられた意味又は定義が適用されるものとする。
本発明の特定の実施形態を例示及び説明してきたが、本発明の趣旨及び範囲から逸脱することなく様々な他の変更及び修正を行うことができる点は当業者には明白であろう。したがって、本発明の範囲内にある全てのそのような変更及び修正を添付の特許請求の範囲に網羅することが意図される。
Claims (15)
- 皮膚表面の三次元(3D)画像モデルを生成するように構成された皮膚科学的撮像システムであって、前記皮膚科学的撮像システムは、
a)皮膚科学的撮像デバイスであって、
i)ユーザの皮膚の一部分の周辺で位置決められるように構成された複数の発光ダイオード(LED)と、
ii)前記皮膚の一部分に焦点を合わせるように構成された1つ以上のレンズと、を備える、皮膚科学的撮像デバイスと、
b)コンピュータアプリケーション(アプリ)であって、プロセッサ上で実行されるときに、前記プロセッサに、
i)前記皮膚の一部分の複数の画像を分析することであって、前記複数の画像は、前記1つ以上のレンズを通って延在する撮像軸を有するカメラによって取り込まれ、前記複数の画像のうちの各画像は、前記複数のLEDの異なるサブセットによって照明される、ことと、
ii)前記複数の画像に基づいて、前記皮膚の一部分のトポグラフィ表現を定義する3D画像モデルを生成することと、を実行させるコンピューティング命令を含む、コンピュータアプリケーション(アプリ)と、を備える、皮膚科学的撮像システム。 - 前記複数のLEDの各異なるサブセットによって提供される前記照明は、異なる照明角度から前記皮膚の一部分を照明し、前記複数の画像のうちの各画像は、前記異なる照明角度からの前記照明の結果として前記皮膚の一部分上に投影される異なる影のセットを特徴とする、請求項1に記載のシステム。
- 前記コンピュータアプリケーションは、プロセッサ上で実行されるときに、前記プロセッサに、前記3D画像モデルを、第2のユーザの皮膚の一部分の別のトポグラフィ表現を定義する少なくとも1つの他の3D画像モデルと更に比較させるコンピューティング命令を含み、前記第2のユーザは、年齢又は皮膚状態を前記ユーザと共有する、請求項1又は2に記載の皮膚科学的撮像システム。
- 前記コンピュータアプリケーションは、プロセッサ上で実行されるときに、前記プロセッサに、前記3D画像モデルが皮膚タイプクラスを有するユーザのセットの皮膚に対応するトポグラフィ表現を定義することを更に判定させるコンピューティング命令を含む、請求項1~3のいずれか一項に記載の皮膚科学的撮像システム。
- 前記複数の画像の各々は、短い撮像距離、好ましくは35mm以下で前記カメラによって取り込まれる、請求項1~4のいずれか一項に記載の皮膚科学的撮像システム。
- 前記カメラは、ビデオ取り込みシーケンス中に前記複数の画像を取り込み、前記複数のLEDの各異なるサブセットは、前記ビデオ取り込みシーケンス中に順次アクティブ化及び順次非アクティブ化され、前記コンピューティング命令は、前記1つ以上のプロセッサによって実行されるときに、前記1つ以上のプロセッサに、
前記複数の画像のうちの各画像について平均画素強度を演算することと、
前記複数の画像の各々をそれぞれの最大平均画素強度と整合させることと、を更に実行させる、請求項1~5のいずれか一項に記載の皮膚科学的撮像システム。 - 前記複数のLED及び前記カメラは、前記ビデオ取り込みシーケンス中に前記コンピュータアプリケーションによって非同期的に制御される、請求項6に記載の皮膚科学的撮像システム。
- 1つ以上のプロセッサと、
前記1つ以上のプロセッサに通信可能に結合された1つ以上のメモリと、
それぞれのユーザの皮膚の一部分のトポグラフィ表現を各々が描写する複数の3D画像モデルで訓練された撮像モデルであって、前記皮膚の一部分の前記3D画像モデルを分析することによってユーザ固有の推奨を生成するように訓練された、撮像モデルと、
前記1つ以上のプロセッサによって実行可能であり、前記1つ以上のメモリに格納されたコンピューティング命令であって、前記コンピューティング命令は、前記1つ以上のプロセッサによって実行されるときに、前記1つ以上のプロセッサに、前記皮膚の一部分の前記3D画像モデルに基づいて、前記ユーザ固有の推奨を生成するように、前記撮像モデルで、前記3D画像モデルを分析させる、コンピューティング命令と、を更に備える、請求項1~7のいずれか一項に記載の皮膚科学的撮像システム。 - 前記システムは、前記皮膚の一部分の前記3D画像モデルに基づいて、ユーザ固有の推奨を生成するように構成される、請求項1~8のいずれか一項に記載の皮膚科学的撮像システム。
- 前記複数の画像は、第1の複数の画像であり、前記3D画像モデルは、第1の3D画像モデルであり、前記皮膚の一部分の前記トポグラフィ表現は、前記皮膚の一部分の第1のトポグラフィ表現であり、ユーザ固有の推奨を生成することは、
a)前記カメラによって取り込まれた前記皮膚の一部分の第2の複数の画像を前記アプリで分析することであって、前記第2の複数の画像のうちの各画像は、前記複数のLEDの異なるサブセットによって照明される、ことと、
b)前記第2の複数の画像に基づいて、前記皮膚の一部分の第2のトポグラフィ表現を定義する第2の3D画像モデルを生成することと、を含む、請求項1に記載の皮膚科学的撮像システム。 - 前記複数のLEDの少なくとも1つの異なるサブセットは、第1の照明強度で前記皮膚の一部分を照明し、前記複数のLEDの少なくとも1つの異なるサブセットは、前記第1の照明強度とは異なる第2の照明強度で前記皮膚の一部分を照明する、請求項1~10のいずれか一項に記載の皮膚科学的撮像システム。
- 前記カメラは、較正プレートのビデオ取り込みシーケンスから1つ以上の理想的画像を選択するように構成されたランダムサンプリングコンセンサスアルゴリズムを使用して較正される、請求項1~11のいずれか一項に記載の皮膚科学的撮像システム。
- 前記ユーザの前記皮膚の一部分の前記複数の画像を分析することは、前記複数の画像のうちの各画像に対応する照明の確率的円錐を、前記1つ以上のプロセッサによって、推定することを更に含む、請求項1~12のいずれか一項に記載の皮膚科学的撮像システム。
- 前記複数のLEDの各々は、前記1つ以上のプロセッサを使用して、複数の反射物体から反射された1つ以上の光線を経路追跡することによって較正される、請求項1~13のいずれか一項に記載の皮膚科学的撮像システム。
- 皮膚表面の三次元(3D)画像モデルを生成するための皮膚科学的撮像方法であって、請求項1~14のいずれか一項に記載のシステムで、1つ以上のプロセッサによって、ユーザの皮膚の一部分の複数の画像を分析することを含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163136066P | 2021-01-11 | 2021-01-11 | |
US63/136,066 | 2021-01-11 | ||
PCT/US2022/011401 WO2022150449A1 (en) | 2021-01-11 | 2022-01-06 | Dermatological imaging systems and methods for generating three-dimensional (3d) image models |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024502338A true JP2024502338A (ja) | 2024-01-18 |
Family
ID=80123213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023540875A Pending JP2024502338A (ja) | 2021-01-11 | 2022-01-06 | 三次元(3d)画像モデルを生成するための皮膚科学的撮像システム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220224876A1 (ja) |
JP (1) | JP2024502338A (ja) |
CN (1) | CN116829055A (ja) |
WO (1) | WO2022150449A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230196551A1 (en) * | 2021-12-16 | 2023-06-22 | The Gillette Company Llc | Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin roughness |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298906B2 (en) * | 2016-08-18 | 2019-05-21 | Verily Life Sciences Llc | Dermal camera attachment |
KR102581649B1 (ko) * | 2017-07-28 | 2023-09-25 | 템플 유니버시티-오브 더 커먼웰쓰 시스템 오브 하이어 에듀케이션 | 표면 아래 및 표면 물체 특성화를 위한 모바일 플랫폼 압축 유도 촬영 |
WO2019083154A1 (ko) * | 2017-10-26 | 2019-05-02 | 주식회사 루멘스 | 개별 제어되는 마이크로 led 픽셀들을 갖는 플래쉬 유닛을 포함하는 촬상 장치 및 피부 진단용 촬상 장치 |
-
2022
- 2022-01-06 JP JP2023540875A patent/JP2024502338A/ja active Pending
- 2022-01-06 CN CN202280009698.6A patent/CN116829055A/zh active Pending
- 2022-01-06 WO PCT/US2022/011401 patent/WO2022150449A1/en active Application Filing
- 2022-01-11 US US17/572,709 patent/US20220224876A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116829055A (zh) | 2023-09-29 |
WO2022150449A1 (en) | 2022-07-14 |
US20220224876A1 (en) | 2022-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11903723B2 (en) | Anatomical surface assessment methods, devices and systems | |
US10521924B2 (en) | System and method for size estimation of in-vivo objects | |
Jung et al. | Review on the current trends in tongue diagnosis systems | |
US20170246473A1 (en) | Method and system for managing treatments | |
US20220335614A1 (en) | Digital Imaging and Learning Systems and Methods for Analyzing Pixel Data of a Scalp Region of a Users Scalp to Generate One or More User-Specific Scalp Classifications | |
US8913807B1 (en) | System and method for detecting anomalies in a tissue imaged in-vivo | |
TW202103484A (zh) | 具改善之影像擷取之用於外用劑之產生的系統及方法 | |
EP3933851A1 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity | |
US11875468B2 (en) | Three-dimensional (3D) image modeling systems and methods for determining respective mid-section dimensions of individuals | |
CA3199439A1 (en) | Digital imaging and learning systems and methods for analyzing pixel data of an image of a hair region of a user's head to generate one or more user-specific recommendations | |
JP2024502338A (ja) | 三次元(3d)画像モデルを生成するための皮膚科学的撮像システム及び方法 | |
Udrea et al. | Real-time acquisition of quality verified nonstandardized color images for skin lesions risk assessment—A preliminary study | |
JP2021058361A (ja) | 生体情報取得装置およびプログラム | |
US20240065554A1 (en) | Systems and methods for skin analysis | |
US20220326074A1 (en) | Ultraviolet Imaging Systems and Methods | |
US11967031B2 (en) | Digital imaging analysis of biological features detected in physical mediums | |
KR102543172B1 (ko) | 사용자 단말을 통한 인공지능에 기반한 피부진단용 데이터 수집 방법 및 시스템 | |
Lihacova et al. | Challenges of automatic processing of large amount of skin lesion multispectral data | |
EP4002380A1 (en) | Assessing a region of interest of a subject | |
US20230196835A1 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining dark eye circles | |
CN114449714A (zh) | 基于视觉识别的光色调整方法、装置及电子设备 | |
Udrea | Pigmented Nevi Risk Assessment Based on the Correlation Dimension of the Associated Lesion's Attractor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |