JP2023524416A - 患者の2dの正面画像から患者の3dの顔情報の決定 - Google Patents
患者の2dの正面画像から患者の3dの顔情報の決定 Download PDFInfo
- Publication number
- JP2023524416A JP2023524416A JP2022565568A JP2022565568A JP2023524416A JP 2023524416 A JP2023524416 A JP 2023524416A JP 2022565568 A JP2022565568 A JP 2022565568A JP 2022565568 A JP2022565568 A JP 2022565568A JP 2023524416 A JP2023524416 A JP 2023524416A
- Authority
- JP
- Japan
- Prior art keywords
- patient
- frontal image
- determining
- facial information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000000241 respiratory effect Effects 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 14
- 239000007789 gas Substances 0.000 description 11
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 201000002859 sleep apnea Diseases 0.000 description 6
- 206010021079 Hypopnoea Diseases 0.000 description 4
- 238000002560 therapeutic procedure Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 208000000884 Airway Obstruction Diseases 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 206010063968 Upper airway resistance syndrome Diseases 0.000 description 2
- 208000008784 apnea Diseases 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000414 obstructive effect Effects 0.000 description 2
- 208000001797 obstructive sleep apnea Diseases 0.000 description 2
- 206010007559 Cardiac failure congestive Diseases 0.000 description 1
- 208000003417 Central Sleep Apnea Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 208000007590 Disorders of Excessive Somnolence Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 208000008166 Right Ventricular Dysfunction Diseases 0.000 description 1
- 206010041235 Snoring Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 208000030303 breathing problems Diseases 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000003434 inspiratory effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 210000001034 respiratory center Anatomy 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 230000006814 right ventricular dysfunction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M16/00—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
- A61M16/06—Respiratory or anaesthetic masks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M16/00—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
- A61M16/06—Respiratory or anaesthetic masks
- A61M2016/0661—Respiratory or anaesthetic masks with customised shape
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/33—Controlling, regulating or measuring
- A61M2205/3306—Optical measuring means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
患者に呼吸ガス流を送達する際に使用するための患者の特定のマスクを識別する方法は、最初に患者の2Dの正面画像を受信することにより実行される。次いで、2Dの正面画像から患者の3Dの顔情報が決定される。3Dの顔情報の少なくとも幾つかは、複数の候補マスクの次元情報と比較される。最後に、3Dの顔情報の少なくとも幾つかと複数の候補マスクの次元情報との比較の結果から、患者の特定のマスクが決定される。
Description
本特許出願は、米国特許法第119(e)の下、2020年5月15日に出願された米国仮特許出願第63/025,822号の優先権を主張し、その内容は、参照することにより本明細書に組み込まれる。
本発明は、気道陽圧(PAP)療法を用いて、例えば睡眠呼吸障害のような状態を治療する際に使用するための患者のマスクを決定するためのシステム及び方法に関する。より具体的には、本発明は、患者の2次元(2D)の正面画像から決定される3次元(3D)の顔情報を用いて、そのような患者のマスクを決定するためのシステム及び方法に関する。本発明はさらに、人の2Dの正面画像からその人の3Dの顔情報を決定するための方法に関する。
多くの人々は、睡眠中の呼吸障害を患っている。睡眠時無呼吸は、世界中で数百万の人々が苦しんでいる上記睡眠時呼吸障害の一般的な例である。睡眠時無呼吸の1つの種類は、閉塞性睡眠時無呼吸(OSA)であり、これは、気道、一般的に上気道又は咽頭領域の閉塞によって呼吸ができないことにより、睡眠が繰り返し中断される状態である。気道の閉塞は、少なくとも一部は、上気道部分を安定させる筋肉の一般的な弛緩によるもので、それによって組織が気道を潰すことを可能にすることによるものであると一般的に信じられている。睡眠時無呼吸症候群のもう1つの種類は、中枢性無呼吸であり、これは、脳の呼吸中枢からの呼吸信号が無いことによる呼吸の中断である。閉塞性、中枢性、又は閉塞性と中枢性との組み合わせである混合性であろうとなかろうと、無呼吸の状態は、呼吸の完全な又はそれに近い中断として、例えば最大呼吸気流量の90%又はそれ以上の減少として定義される。
睡眠時無呼吸を患う人々は、睡眠中、睡眠の断片化及び換気の完全な或いは略完全な停止を断続的に経験し、酸素ヘモグロビン飽和度のレベルが重症化する可能性がある。これらの症状は、臨床的に、日中の過度の眠気、不整脈、肺動脈高血圧、うっ血性心不全及び/又は認知機能障害へと臨床的に変換される。睡眠時無呼吸の他の結果は、右心室機能不全、睡眠中だけでなく覚醒中の二酸化炭素の貯留、及び連続的な動脈血酸素分圧の減少を含む。睡眠時無呼吸を患う人々は、危険の可能性がある機器の運転及び/又は操作中、事故の危険性が高くなることによってだけでなく、これらの要因によって死亡率が高くなる危険性がある。
患者が気道の完全な又は略完全な閉塞を患っていなくても、気道の一部だけが閉塞している場合、例えば睡眠からの覚醒のような悪影響が起こることも分かっている。気道の一部の閉塞は通例、呼吸低下と呼ばれる浅い呼吸をもたらす。呼吸低下は通例、最大呼吸気流量の50%又はそれ以上の減少として定義される。他の種類の睡眠呼吸障害は、これらに限定されないが、上気道抵抗症候群(UARS)及び例えば、一般にいびきと呼ばれる咽頭壁の振動のような気道の振動を含む。
患者の気道に持続陽圧呼吸(CPAP)を加えることにより、睡眠呼吸障害を治療することがよく知られている。この陽圧は、気道に効果的に"副子(splint)"を当て、それにより、肺までの通路を開いたまま維持する。患者の快適さを増大させるために、患者に送達されるガスの圧力が、患者の呼吸サイクルと共に変化する、又は患者の呼吸努力と共に変化する陽圧療法を施すことも知られている。この圧力支持技術は、二層式(bi-level)の圧力支持と呼ばれ、この技術において、患者に送達される吸気気道陽圧(IPAP)は、呼気気道陽圧(EPAP)よりも高い。さらに、例えば患者が無呼吸及び/又は低呼吸を経験しているかどうかのような、患者の検出される状態に基づいて、圧力が自動的に調整される陽圧療法を施すことも知られている。この圧力支持技術は、圧力支持装置が呼吸障害を治療するのに必要な分の高さだけの圧力を患者に供給しようとするので、自動滴定タイプの圧力支持と呼ばれる。
上述したような圧力支持療法は、患者の顔の上に、柔らかく柔軟性のある封止クッションを持つマスク構成要素を含む患者インターフェース装置を配置することを含む。このマスク構成要素は、限定ではないが、患者の鼻を覆う鼻マスク、患者の鼻の下で結合する鼻クレードル、患者の個々の鼻孔と結合する鼻枕マスク、患者の鼻及び口を覆う鼻/口マスク、又は患者の顔を覆うフルフェイスマスクでもよい。そのような患者インターフェース装置は、例えば額支持体、頬パッド、顎パッド、シリコーンフレーム及びヘッドギア要素のようなの他の患者と接触する構成要素も使用する。患者インターフェース装置は、ガス送達チューブ又は導管に接続され、圧力支持装置と患者の気道とを結合するので、呼吸ガス流が、圧力/フロー発生装置から患者の気道に送達される。
患者に治療ガス流を送達する際に使用するための、患者の「カスタム」マスクを作成又は決定するための現在の最先端のシステムは、高価な3D画像取込装置を用いて得られる患者の3次元スキャンを使用している。或いは、特定の場所で撮影された複数の画像を使用する他の方法が、患者の3Dモデルを作成するために使用され、これら3Dモデルは、次いで、患者にとって最良のマスク、すなわち「カスタム」マスクを決定するために使用される。そのような3Dスキャンを取り込むために必要な装置のコスト、及び複数の画像を用いて正確なデータを上手く得るために必要な方法の複雑さは、このような解決策の適用性を制限する。
本発明の一態様として、患者に呼吸ガス流を送達する際に使用するための患者の特定のマスクを識別する方法が提供される。この方法は、患者の2Dの正面画像を受信するステップ、前記2Dの正面画像から患者の3Dの顔情報を決定するステップ、前記3Dの顔情報の少なくとも幾つかを複数の候補マスクの次元情報と比較するステップ、並びに3Dの顔情報の少なくとも幾つかと複数の候補マスクの次元情報との比較の結果から患者の特定のマスクを決定するステップを有する。
患者の2Dの正面画像を受信するステップは、患者の2DのRGB正面画像を受信するステップを有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、訓練されたニューラルネットワークを用いて2Dの正面画像を分析するステップを有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、訓練されたニューラルネットワークによる前記分析から3DのUV位置マップを決定するステップをさらに有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、3DのUV位置マップから患者の顔のパラメトリックモデルを決定するステップをさらに有する。前記方法は、特定のマスクを患者に提供するステップをさらに有する。患者の2Dの正面画像を受信するステップは、デジタル撮像装置を用いて患者の2Dの正面画像を取り込むステップを有する。デジタル撮像装置を用いて患者の2Dの正面画像を取り込むステップは、コンピュータ装置と通信するスマートフォンの前面カメラ又はウェブカメラの1つを用いて2Dの正面画像を取り込むステップを有する。
本発明の別の態様として、患者の3Dの顔情報を決定する方法が提供される。この方法は、患者の2Dの正面画像を受信するステップ、及び訓練されるニューラルネットワークを用いて2Dの正面画像を分析することにより、この2Dの正面画像から患者の3Dの顔情報を決定するステップを有する。
患者の2Dの正面画像を受信するステップは、患者の2DのRGB画像を受信するステップを有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、訓練されるニューラルネットワークによる分析から3DのUV位置マップを決定するステップをさらに有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、3DのUV位置マップからパラメトリックモデルを作成するステップをさらに有する。患者の2Dの正面画像を受信するステップは、デジタル撮像装置を用いて患者の2Dの正面画像を取り込むステップを有する。デジタル撮像装置を用いて患者の2Dの正面画像を取り込むステップは、コンピュータ装置と通信するスマートフォンの前面カメラ又はウェブカメラの1つを用いて2Dの正面画像を取り込むステップを有する。
本発明のさらなる態様として、患者に呼吸ガス流を送達する際に使用するための特定のマスクを識別する際に使用するためのシステムが提供される。このシステムは、患者の2Dの正面画像を受信するための入力部、患者の2Dの正面画像を受信し、患者の顔の3DのUV位置マップを決定するように訓練されたニューラルネットワーク、3DのUV位置マップから患者の顔の3D顔の情報を決定し、3Dの顔情報の少なくとも幾つかを複数の候補マスクの次元情報と比較し、及び3Dの顔情報の少なくとも幾つかと複数の候補マスクの次元情報との比較の結果から患者の特定のマスクを決定するようにプログラムされた処理装置、並びに特定のマスクの指標を提供するための処理装置と通信する出力装置を有する。
構成物の関連する要素の動作方法及び機能、並びに製造部品と製造の経済性との組み合わせと同じく、本開示のこれら及び他の目的、特徴並びに特性は、付随する図面を参照して、以下の説明及び添付の請求項を考慮するとより明白となり、これらの全てが本明細書を形成している。様々な図面において、同様の参照番号は対応する部品を示している。しかしながら、これら図面は単に例証及び説明を目的とするものであり、本発明の境界を規定するものとは意図されないことは明白に理解されるべきである。
明細書において、特に文脈上はっきりと述べていない限り、複数あると述べていなくても、それらが複数あることを含む。明細書において、2つ以上の部品又は構成要素が「結合される」と述べることは、連動している限り、これらの部品が直接的に又は間接的、すなわち1つ以上の中間部品若しくは構成要素を介しての何れかにより接合される又は共に動作することを意味する。明細書において、「数字」は、1若しくは1以上の整数(すなわち複数)を意味する。
明細書において、「患者」及び「ユーザ」という用語は、その人の3D情報を決定し、さらにその情報から、その人の「カスタム」マスクを決定ために、その人の画像が取り込まれる/利用される人を指すために同じ意味で使用される。
明細書において、患者の顔の「正面画像」は、直接取り込まれた又は適切な画像取込装置を用いて提供された、概ね真っ直ぐカメラの方を見るように位置決められた患者の顔(例えば、鼻、口及び付近の構造)を最小限含む電子画像を意味する。
本発明の例示的な実施形態において、患者の顔が画像の少なくとも50%を占めている正面画像が利用される。患者の顔が占めるのが画像の50%未満である画像は、最適な結果とならない可能性がある。その上、本発明の例示的な実施形態において、患者の顔を2等分する垂直面の50°以内に位置決められる装置により取り込まれる正面画像が用いられる。一般に、上述した垂直面にできるだけ近くに位置決められた装置を用いて取り込まれた画像が、最良の結果を提供する。
明細書において、患者の3次元(3D)の顔情報は、3次元空間における、患者の顔の上にあるランドマーク又は他の点の相互の間隔及び/又は位置を記述する情報を指す。
本発明の実施形態は、患者の顔の単一の2次元(以下、「2D」)の正面画像を利用して、患者の3次元(以下、「3D」)の顔情報を決定し、この顔情報は、次いで、1つ以上の候補マスクの2次元又は3次元情報と比較して、患者に提案及び/又は提供するための特定のマスクを決定するために用いられる。背景技術において上述したように、既存の解決策は、3Dスキャン又は様々な角度で撮影された複数の画像を利用して、同等の3Dの顔情報を生成している。
本発明の1つの例示的な実施形態による、患者に呼吸ガス流を送達する際に使用するための、患者の特定のマスクを識別する際に使用するためのシステム10の概略図を図1に示す。システム10は、ローカル装置12と、リモート処理装置14とを含み、リモート処理装置14は、このリモート処理装置14がローカル装置12から入力を受信する、及びローカル装置12に出力を提供することができるように、(例えば、何れかの適切な有線又は無線接続を介して)ローカル装置12と双方向の電子通信を行う。ローカル装置12は、スマートフォン、ラップトップ若しくは他のコンピュータ、電子キオスク、又は他の適切な装置でもよく、ローカル処理装置16、並びにローカル処理装置16と電子通信する2D画像取込装置18、入力装置20及び出力装置22を含む。ローカル処理装置16は、処理器、固定ディスク記憶装置及びメモリモジュールを有する(番号なし)。
ローカル処理装置16は、例えば、限定ではないが、例えばコンピュータの内部記憶領域のようなデータを記憶するための記憶レジスタ、すなわち機械可読媒体を提供するRAM、ROM、EPROM、EEPROM、及びFLASH等のような様々な種類の内部及び/又は外部記憶媒体の何れか1つ以上であり、揮発性メモリ又は不揮発性メモリであり得る上述したメモリモジュールと対話するマイクロプロセッサ(μP)である。ローカル処理装置16の前記固定ディスク記憶装置は、ローカル処理装置16によって実行可能な多数のルーチンを記憶している。
2D画像取込装置18は、人の2D画像を直接又は間接的に電子的に取り込むための何れかの適切な装置(例えば、スマートフォンの前面又は後面カメラ、ウェブカメラ、電子スキャナ等)とすることができる。以下に説明するように、そのような2D画像は、以下にさらに説明されるようなシステム10の1つ以上の他の構成要素の詳細に応じて、RGB画像(すなわち、カラー画像)、グレースケール画像、又は白黒画像とすることができる。
入力装置20は、本発明の範囲から逸脱することなく、少なくとも最小限の入力をローカル装置12に、より具体的にはローカル処理装置16に供給するための何れかの適切な装置(例えば、限定ではないが、物理的キーパッド又はキーボード、タッチスクリーン、マイクロフォン、ビデオカメラ等)とすることがきる。出力装置22は、一般に、ローカル処理装置16及び/又はローカル装置12からの出力を提供するための何れかの適切な配置とすることができる。より具体的には、出力装置22は、特定のマスクの指標を提供するため、又は実際の特定のマスクをユーザに提供するのに適した何れかの装置とすることができる。例えば、以下にさらに説明するように、システム10は、患者の特定のマスクを決定し、特定のアプリケーションに依存して、決定された前記特定のマスクに関する情報(例えば、限定ではないが、モデル、サイズ、取得方法等)を提供する及び/又は決定された前記特定のマスクを実際に提供することができる。故に、出力装置22は、本発明の範囲から逸脱することなく、多数の適切な装置(例えば、限定ではないが、表示スクリーン、スピーカー、複数のマスクを収容している選択的にアクセス可能な部屋)の何れとすることができる。
リモート処理装置14は、一般的に知られるアーキテクチャからなる訓練可能なニューラルネットワーク24の全体又は一部を有するクラウドベースの処理装置である。より具体的には、ニューラルネットワーク24は、専ら、ニューラルネットワーク24への入力として提供されるユーザの単一の2Dの正面画像から、ユーザの顔の3Dの位置マップを生成するように訓練される。明細書において、「訓練されたニューラルネットワーク」は、ユーザ/患者の2Dの正面画像からユーザ/患者の顔の3Dの位置マップを生成するために、例えば従来の技法によって訓練されたニューラルネットワークである。例えば、図3に一般的に例示されるような、本発明の1つの例示的な実施形態において、ニューラルネットワーク24は、ユーザ30の顔の2DのRGB正面画像28を入力26として受信し、出力32をUV位置マップ34の形式で提供するように訓練される。明細書において、「UV位置マップ」は、ユーザ(例えば、図3のユーザ30)の顔(又は顔の関連部分)の画素の全ての深度情報を有するマップである。そのようなニューラルネットワーク24の訓練は、従来の3Dスキャン機器及び技術を用いて約3000の多様なサンプリングから得られたUV位置マップをニューラルネットワーク24に供給することにより行われた。ニューラルネットワーク24は、上述したUV位置マップの各々から抽出された人々の各々の2Dの正面画像も供給される。そのような訓練から、ニューラルネットワーク24は、専ら、ニューラルネットワーク24への入力26として供給される2DのRGB正面画像(例えば、図3の正面画像28)から、出力32として3DのUV位置マップ(例えば、図3のマップ34)を作成するよう効果的に教えられる。
図4に示されるように、そのような3DのUV位置マップ34は、次いで、ユーザの推奨マスクを決定する際に1つ以上の候補マスクの3Dの次元情報と比較するときに使用するための(3つの2D画像が図4の実施例に示される)3Dのパラメトリックモデル36に変換される。2DのRGB画像を使用する場合が示されているが、RGBの代わりにグレースケールの材料を使用する場合を除き、同様の訓練材料を用いてニューラルネットワーク24を同様に訓練することにより、2Dのグレースケール画像が用いられることも理解されたい。
本発明の別の例示的実施形態による、患者に呼吸ガス流を送達する際に使用するための、患者の特定のマスクを識別する際に使用するための別のシステム10'の概略図が、図2に示される。システム10'は、このシステム10'が完全にローカル装置12'内に含まれていることを除き、上述したシステム10と同様である。より具体的には、ローカル装置12'は、このローカル装置12'がローカル処理装置16'として、又はその一部として提供される(上述したニューラルネットワーク24と同様の)ニューラルネットワーク24'を含んでいることを除き、ローカル装置12と同様の構成である。
このように、本発明の幾つかの例示的な実施形態に従う幾つかの例示的なシステム10、10'を、そのシステムの構成要素の詳細及び一般的な動作と共に説明したが、本発明の1つの例示的な実施形態に従う呼吸ガス流を患者に送達する際に使用するための患者の特定のマスクを識別する、上記システム10、10'(又は他の何れかの適切な装置)の何れかにより実行される例示的な方法40は、図5を参照して説明されない。
方法40は、42で始まり、ここで患者の2Dの正面画像が受信される。図1及び図2の例示的なシステム10及び10'において、そのような2Dの正面画像は、2D画像取込装置18を使用して取り込まれ、それにより、処理するために訓練されたニューラルネットワーク24又は24'に供給され、訓練されたニューラルネットワーク24又は24'により受信されるRGB画像である。
次に、44において、患者の3Dの顔情報が、2Dの正面画像から決定される。図1及び図2の例示的なシステム10及び10'において、そのような決定は、2DのRGB正面画像を受信し、この画像から出力として3DのUV位置マップを決定/生成する、訓練されたニューラルネットワーク24又は24'により実行される。患者の顔のパラメトリックモデルは、3DのUV位置マップから決定される。
次に、46において、3Dの顔情報の少なくとも一部が、複数の候補マスクの次元情報と比較される。図1及び図2の例示的なシステム10及び10'において、上記比較は、マスクの接触(インターフェース)部分と患者/ユーザの顔との間の最良の3Dフィットを見つけるために、例えば当技術分野で一般に知られるようなルールセット又は他の方法論を使用して、ニューラルネットワーク24或いは24'、又はローカル処理装置16或いは16'により実行される。
最後に、方法40は、一般に、48で終わり、ここで患者の特定のマスクは、46で実行された、3Dの顔情報の少なくとも幾つかと、複数の候補マスクの次元情報との比較の結果から決定される。患者/ユーザの特定のマスクの上記決定は、特定のマスクを識別する情報(例えば、限定ではないが、スタイル、モデル#、サイズ等)をユーザに提供すること、及び/又は実際の特定のマスクを患者に提供することを含む。図1及び図2の例示的なシステム10及び10'において、特定のマスクを識別する情報及び/又は実際の特定のマスクを患者に提供することは、例えば上述したような出力装置22を用いて実行される。
図6A-6C、7A-7C、8A-8C及び9A-9Cは、システム10の訓練されたニューラルネットワーク24に供給されるRGB正面画像28の例(図6A、7A、8A及び9A)、対応する正面画像28から、訓練されたニューラルネットワーク24により生成されるUV位置マップ34(図6B、7B、8B及び9B)、並びに上述した前記生成されるUV位置マップ34から、訓練されたニューラルネットワーク24によりさらに生成される3Dパラメトリックモデル36(図6C、7C、8C及び9C)の例示的な表示を示す。
故に、上述したことから、本発明の実施形態は、患者の容易に取得可能な基本的な2Dの正面画像から、特定のユーザ/患者の「カスタム」マスクを識別/提供するための解決策を提供することを理解されたい。
開示される概念の態様は、有形のコンピュータ可読の記録媒体上のコンピュータ可読コードとして具現化されることを検討している。このコンピュータ可読の記録媒体は、その後、コンピュータシステムにより読み取られるデータを記憶することができる如何なるデータ記憶装置である。コンピュータ可読の記録媒体の例は、ROM、RAM、CD-ROM、磁気テープ、フロッピー(登録商標)ディスク及び光学データ記憶装置を含む。
請求項において、括弧の間に置かれる如何なる参照記号もその請求項を限定すると解釈されるべきではない。「有する」又は「含む」という言葉は、請求項に挙げられる以外の素子又はステップの存在を排除するものではない。幾つかの手段を列挙している装置の請求項において、これらの手段の幾つかは、ハードウェアの同一のアイテムにより具現化されてもよい。要素が複数あると述べていなくても、その要素が複数あることを排除しない。幾つかの手段を列挙している如何なる装置の請求項において、これらの手段の幾つかは、ハードウェアの1つの同じアイテムにより具現化されてもよい。幾つかの要素が互いに異なる従属請求項に挙げられているという単なる事実は、これらの要素が組み合わせて使用されることができないことを示していない。
本発明は、最も実用的で好ましい実施例であると現在考えられているものに基づいて、例示を目的に詳細に説明されているが、そのような詳細は、単に例示が目的であること、並びに本発明は、開示される実施例に限定されるのではなく、それどころか添付の特許請求の範囲の主旨及び範囲内にある修正案及び同等の構成を含むことが意図されることを理解されたい。
例えば、本発明は、可能な限り、何れかの実施例の1つ以上の特徴が他の何れかの実施例の1つ以上の特徴と組み合わされ得ることも考慮していることを理解すべきである。
例えば、本発明は、可能な限り、何れかの実施例の1つ以上の特徴が他の何れかの実施例の1つ以上の特徴と組み合わされ得ることも考慮していることを理解すべきである。
Claims (15)
- 患者に呼吸ガス流を送達する際に使用するための患者の特定のマスクを識別する方法において、
前記患者の2Dの正面画像を受信するステップ、
前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップ、
前記3Dの顔情報の少なくとも幾つかを複数の候補マスクの次元情報と比較するステップ、及び
前記3Dの顔情報の少なくとも幾つかと、前記複数の候補マスクの次元情報との比較の結果から、前記患者の特定のマスクを決定するステップ
を有する、方法。 - 前記患者の2Dの正面画像を受信するステップは、前記患者の2DのRGB正面画像を受信するステップを有する、請求項1に記載の方法。
- 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、訓練されたニューラルネットワークを用いて前記2Dの正面画像を分析するステップを有する、請求項1に記載の方法。
- 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、前記訓練されたるニューラルネットワークによる前記分析から3DのUV位置マップを決定するステップをさらに有する、請求項3に記載の方法。
- 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、前記3DのUV位置マップから前記患者の顔のパラメトリックモデルを決定するステップをさらに有する、請求項4に記載の方法。
- 前記特定のマスクを前記患者に提供するステップをさらに有する、請求項1に記載の方法。
- 前記患者の2Dの正面画像を受信するステップは、デジタル撮像装置を用いて前記患者の2Dの正面画像を取り込むステップを有する、請求項1に記載の方法。
- デジタル撮像装置を用いて前記患者の2Dの正面画像を取り込むステップは、コンピュータ装置と通信するスマートフォンの前面カメラ又はウェブカメラの1つを用いて前記2Dの正面画像を取り込むステップを有する、請求項7に記載の方法。
- 患者の3Dの顔情報を決定する方法において、
前記患者の2Dの正面画像を受信するステップ、及び
訓練されたニューラルネットワークを用いて前記2Dの正面画像を分析することにより、前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップ
を有する方法。 - 前記患者の2Dの正面画像を受信するステップは、前記患者の2DのRGB画像を受信するステップを有する、請求項9に記載の方法。
- 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、前記訓練されたニューラルネットワークによる前記分析から3DのUV位置マップを決定するステップをさらに有する、請求項9に記載の方法。
- 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、前記3DのUV位置マップからパラメトリックモデルを作成するステップをさらに有する、請求項11に記載の方法。
- 前記患者の2Dの正面画像を受信するステップは、デジタル撮像装置を用いて前記患者の前記2Dの正面画像を取り込むステップを有する、請求項9に記載の方法。
- 前記デジタル撮像装置を用いて前記患者の前記2Dの正面画像を取り込むステップは、コンピュータ装置と通信するスマートフォンの前面カメラ又はウェブカメラの1つを用いて前記2Dの正面画像を取り込むステップを有する、請求項9に記載の方法。
- 患者に呼吸ガス流を送達する際に使用する特定のマスクを識別する際に使用するためのシステムにおいて、
前記患者の2Dの正面画像を受信するための入力、
前記患者の2Dの正面画像を受信し、前記患者の前記顔の3DのUV位置マップを決定するように訓練されるニューラルネットワーク、
前記3DのUV位置マップから前記患者の顔の3Dの顔情報を決定し、前記3Dの顔情報の少なくとも幾つかを複数の候補マスクの次元情報と比較し、及び前記3Dの顔情報の少なくとも幾つかと前記複数の候補マスクの次元情報との比較の結果から、前記患者の特定のマスクを決定するようにプログラムされた処理装置、並びに
前記特定のマスクの指標を提供するための前記処理装置と通信する出力装置
を有する、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063025822P | 2020-05-15 | 2020-05-15 | |
US63/025,822 | 2020-05-15 | ||
PCT/EP2021/062241 WO2021228727A1 (en) | 2020-05-15 | 2021-05-08 | Determining 3-d facial information of a patient from a 2-d frontal image of the patient |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023524416A true JP2023524416A (ja) | 2023-06-12 |
JPWO2021228727A5 JPWO2021228727A5 (ja) | 2024-03-26 |
Family
ID=75904923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022565568A Pending JP2023524416A (ja) | 2020-05-15 | 2021-05-08 | 患者の2dの正面画像から患者の3dの顔情報の決定 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210358144A1 (ja) |
EP (1) | EP4150509A1 (ja) |
JP (1) | JP2023524416A (ja) |
CN (1) | CN115605923A (ja) |
WO (1) | WO2021228727A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11810256B2 (en) * | 2021-11-11 | 2023-11-07 | Qualcomm Incorporated | Image modification techniques |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7904193B2 (en) * | 2006-09-29 | 2011-03-08 | Nellcor Puritan Bennett Llc | Systems and methods for providing custom masks for use in a breathing assistance system |
US10881827B2 (en) * | 2017-09-29 | 2021-01-05 | Koninklijke Philips N.V. | Providing a mask for a patient based on a temporal model generated from a plurality of facial scans |
US10650564B1 (en) * | 2019-04-21 | 2020-05-12 | XRSpace CO., LTD. | Method of generating 3D facial model for an avatar and related device |
US11602314B2 (en) * | 2020-06-15 | 2023-03-14 | Microsoft Technology Licensing, Llc | Animating physiological characteristics on 2D or 3D avatars |
-
2021
- 2021-04-28 US US17/242,655 patent/US20210358144A1/en active Pending
- 2021-05-08 CN CN202180035556.2A patent/CN115605923A/zh active Pending
- 2021-05-08 EP EP21725109.9A patent/EP4150509A1/en active Pending
- 2021-05-08 WO PCT/EP2021/062241 patent/WO2021228727A1/en active Application Filing
- 2021-05-08 JP JP2022565568A patent/JP2023524416A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021228727A1 (en) | 2021-11-18 |
EP4150509A1 (en) | 2023-03-22 |
US20210358144A1 (en) | 2021-11-18 |
CN115605923A (zh) | 2023-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107735136B (zh) | 使用移动应用的面罩大小调整工具 | |
US11791042B2 (en) | Methods and systems for providing interface components for respiratory therapy | |
CN108348719B (zh) | 确定关于患者的面部的信息 | |
US10881827B2 (en) | Providing a mask for a patient based on a temporal model generated from a plurality of facial scans | |
JP2023524416A (ja) | 患者の2dの正面画像から患者の3dの顔情報の決定 | |
US20230098579A1 (en) | Mask sizing tool using a mobile application | |
US11583649B2 (en) | Patient interface device component design selection or generation systems and methods | |
JP2023507899A (ja) | マスクのフィッティングをガイドするアプリケーション | |
US20240001062A1 (en) | Method and system for patient interface device data collection with privacy | |
US20190188455A1 (en) | Capturing and using facial metrics for mask customization | |
US20240099621A1 (en) | Prescribing a cpap mask based on patients stress response | |
NZ762184B2 (en) | Methods and systems for providing interface components for respiratory therapy | |
NZ762184A (en) | Methods and systems for providing interface components for respiratory therapy | |
NZ762180B2 (en) | Methods and systems for providing interface components for respiratory therapy | |
NZ726142B2 (en) | Methods and systems for providing interface components for respiratory therapy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240311 |