JP2023524416A - 患者の2dの正面画像から患者の3dの顔情報の決定 - Google Patents

患者の2dの正面画像から患者の3dの顔情報の決定 Download PDF

Info

Publication number
JP2023524416A
JP2023524416A JP2022565568A JP2022565568A JP2023524416A JP 2023524416 A JP2023524416 A JP 2023524416A JP 2022565568 A JP2022565568 A JP 2022565568A JP 2022565568 A JP2022565568 A JP 2022565568A JP 2023524416 A JP2023524416 A JP 2023524416A
Authority
JP
Japan
Prior art keywords
patient
frontal image
determining
facial information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022565568A
Other languages
English (en)
Other versions
JPWO2021228727A5 (ja
Inventor
シャンムガナサン プラヴェーン クマル パンディアン
リチャード アンドリュー ソフランコ
アンソニー ヴィンセント スタータレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2023524416A publication Critical patent/JP2023524416A/ja
Publication of JPWO2021228727A5 publication Critical patent/JPWO2021228727A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M16/00Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
    • A61M16/06Respiratory or anaesthetic masks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M16/00Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
    • A61M16/06Respiratory or anaesthetic masks
    • A61M2016/0661Respiratory or anaesthetic masks with customised shape
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3306Optical measuring means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

患者に呼吸ガス流を送達する際に使用するための患者の特定のマスクを識別する方法は、最初に患者の2Dの正面画像を受信することにより実行される。次いで、2Dの正面画像から患者の3Dの顔情報が決定される。3Dの顔情報の少なくとも幾つかは、複数の候補マスクの次元情報と比較される。最後に、3Dの顔情報の少なくとも幾つかと複数の候補マスクの次元情報との比較の結果から、患者の特定のマスクが決定される。

Description

本特許出願は、米国特許法第119(e)の下、2020年5月15日に出願された米国仮特許出願第63/025,822号の優先権を主張し、その内容は、参照することにより本明細書に組み込まれる。
本発明は、気道陽圧(PAP)療法を用いて、例えば睡眠呼吸障害のような状態を治療する際に使用するための患者のマスクを決定するためのシステム及び方法に関する。より具体的には、本発明は、患者の2次元(2D)の正面画像から決定される3次元(3D)の顔情報を用いて、そのような患者のマスクを決定するためのシステム及び方法に関する。本発明はさらに、人の2Dの正面画像からその人の3Dの顔情報を決定するための方法に関する。
多くの人々は、睡眠中の呼吸障害を患っている。睡眠時無呼吸は、世界中で数百万の人々が苦しんでいる上記睡眠時呼吸障害の一般的な例である。睡眠時無呼吸の1つの種類は、閉塞性睡眠時無呼吸(OSA)であり、これは、気道、一般的に上気道又は咽頭領域の閉塞によって呼吸ができないことにより、睡眠が繰り返し中断される状態である。気道の閉塞は、少なくとも一部は、上気道部分を安定させる筋肉の一般的な弛緩によるもので、それによって組織が気道を潰すことを可能にすることによるものであると一般的に信じられている。睡眠時無呼吸症候群のもう1つの種類は、中枢性無呼吸であり、これは、脳の呼吸中枢からの呼吸信号が無いことによる呼吸の中断である。閉塞性、中枢性、又は閉塞性と中枢性との組み合わせである混合性であろうとなかろうと、無呼吸の状態は、呼吸の完全な又はそれに近い中断として、例えば最大呼吸気流量の90%又はそれ以上の減少として定義される。
睡眠時無呼吸を患う人々は、睡眠中、睡眠の断片化及び換気の完全な或いは略完全な停止を断続的に経験し、酸素ヘモグロビン飽和度のレベルが重症化する可能性がある。これらの症状は、臨床的に、日中の過度の眠気、不整脈、肺動脈高血圧、うっ血性心不全及び/又は認知機能障害へと臨床的に変換される。睡眠時無呼吸の他の結果は、右心室機能不全、睡眠中だけでなく覚醒中の二酸化炭素の貯留、及び連続的な動脈血酸素分圧の減少を含む。睡眠時無呼吸を患う人々は、危険の可能性がある機器の運転及び/又は操作中、事故の危険性が高くなることによってだけでなく、これらの要因によって死亡率が高くなる危険性がある。
患者が気道の完全な又は略完全な閉塞を患っていなくても、気道の一部だけが閉塞している場合、例えば睡眠からの覚醒のような悪影響が起こることも分かっている。気道の一部の閉塞は通例、呼吸低下と呼ばれる浅い呼吸をもたらす。呼吸低下は通例、最大呼吸気流量の50%又はそれ以上の減少として定義される。他の種類の睡眠呼吸障害は、これらに限定されないが、上気道抵抗症候群(UARS)及び例えば、一般にいびきと呼ばれる咽頭壁の振動のような気道の振動を含む。
患者の気道に持続陽圧呼吸(CPAP)を加えることにより、睡眠呼吸障害を治療することがよく知られている。この陽圧は、気道に効果的に"副子(splint)"を当て、それにより、肺までの通路を開いたまま維持する。患者の快適さを増大させるために、患者に送達されるガスの圧力が、患者の呼吸サイクルと共に変化する、又は患者の呼吸努力と共に変化する陽圧療法を施すことも知られている。この圧力支持技術は、二層式(bi-level)の圧力支持と呼ばれ、この技術において、患者に送達される吸気気道陽圧(IPAP)は、呼気気道陽圧(EPAP)よりも高い。さらに、例えば患者が無呼吸及び/又は低呼吸を経験しているかどうかのような、患者の検出される状態に基づいて、圧力が自動的に調整される陽圧療法を施すことも知られている。この圧力支持技術は、圧力支持装置が呼吸障害を治療するのに必要な分の高さだけの圧力を患者に供給しようとするので、自動滴定タイプの圧力支持と呼ばれる。
上述したような圧力支持療法は、患者の顔の上に、柔らかく柔軟性のある封止クッションを持つマスク構成要素を含む患者インターフェース装置を配置することを含む。このマスク構成要素は、限定ではないが、患者の鼻を覆う鼻マスク、患者の鼻の下で結合する鼻クレードル、患者の個々の鼻孔と結合する鼻枕マスク、患者の鼻及び口を覆う鼻/口マスク、又は患者の顔を覆うフルフェイスマスクでもよい。そのような患者インターフェース装置は、例えば額支持体、頬パッド、顎パッド、シリコーンフレーム及びヘッドギア要素のようなの他の患者と接触する構成要素も使用する。患者インターフェース装置は、ガス送達チューブ又は導管に接続され、圧力支持装置と患者の気道とを結合するので、呼吸ガス流が、圧力/フロー発生装置から患者の気道に送達される。
患者に治療ガス流を送達する際に使用するための、患者の「カスタム」マスクを作成又は決定するための現在の最先端のシステムは、高価な3D画像取込装置を用いて得られる患者の3次元スキャンを使用している。或いは、特定の場所で撮影された複数の画像を使用する他の方法が、患者の3Dモデルを作成するために使用され、これら3Dモデルは、次いで、患者にとって最良のマスク、すなわち「カスタム」マスクを決定するために使用される。そのような3Dスキャンを取り込むために必要な装置のコスト、及び複数の画像を用いて正確なデータを上手く得るために必要な方法の複雑さは、このような解決策の適用性を制限する。
本発明の一態様として、患者に呼吸ガス流を送達する際に使用するための患者の特定のマスクを識別する方法が提供される。この方法は、患者の2Dの正面画像を受信するステップ、前記2Dの正面画像から患者の3Dの顔情報を決定するステップ、前記3Dの顔情報の少なくとも幾つかを複数の候補マスクの次元情報と比較するステップ、並びに3Dの顔情報の少なくとも幾つかと複数の候補マスクの次元情報との比較の結果から患者の特定のマスクを決定するステップを有する。
患者の2Dの正面画像を受信するステップは、患者の2DのRGB正面画像を受信するステップを有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、訓練されたニューラルネットワークを用いて2Dの正面画像を分析するステップを有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、訓練されたニューラルネットワークによる前記分析から3DのUV位置マップを決定するステップをさらに有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、3DのUV位置マップから患者の顔のパラメトリックモデルを決定するステップをさらに有する。前記方法は、特定のマスクを患者に提供するステップをさらに有する。患者の2Dの正面画像を受信するステップは、デジタル撮像装置を用いて患者の2Dの正面画像を取り込むステップを有する。デジタル撮像装置を用いて患者の2Dの正面画像を取り込むステップは、コンピュータ装置と通信するスマートフォンの前面カメラ又はウェブカメラの1つを用いて2Dの正面画像を取り込むステップを有する。
本発明の別の態様として、患者の3Dの顔情報を決定する方法が提供される。この方法は、患者の2Dの正面画像を受信するステップ、及び訓練されるニューラルネットワークを用いて2Dの正面画像を分析することにより、この2Dの正面画像から患者の3Dの顔情報を決定するステップを有する。
患者の2Dの正面画像を受信するステップは、患者の2DのRGB画像を受信するステップを有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、訓練されるニューラルネットワークによる分析から3DのUV位置マップを決定するステップをさらに有する。2Dの正面画像から患者の3Dの顔情報を決定するステップは、3DのUV位置マップからパラメトリックモデルを作成するステップをさらに有する。患者の2Dの正面画像を受信するステップは、デジタル撮像装置を用いて患者の2Dの正面画像を取り込むステップを有する。デジタル撮像装置を用いて患者の2Dの正面画像を取り込むステップは、コンピュータ装置と通信するスマートフォンの前面カメラ又はウェブカメラの1つを用いて2Dの正面画像を取り込むステップを有する。
本発明のさらなる態様として、患者に呼吸ガス流を送達する際に使用するための特定のマスクを識別する際に使用するためのシステムが提供される。このシステムは、患者の2Dの正面画像を受信するための入力部、患者の2Dの正面画像を受信し、患者の顔の3DのUV位置マップを決定するように訓練されたニューラルネットワーク、3DのUV位置マップから患者の顔の3D顔の情報を決定し、3Dの顔情報の少なくとも幾つかを複数の候補マスクの次元情報と比較し、及び3Dの顔情報の少なくとも幾つかと複数の候補マスクの次元情報との比較の結果から患者の特定のマスクを決定するようにプログラムされた処理装置、並びに特定のマスクの指標を提供するための処理装置と通信する出力装置を有する。
構成物の関連する要素の動作方法及び機能、並びに製造部品と製造の経済性との組み合わせと同じく、本開示のこれら及び他の目的、特徴並びに特性は、付随する図面を参照して、以下の説明及び添付の請求項を考慮するとより明白となり、これらの全てが本明細書を形成している。様々な図面において、同様の参照番号は対応する部品を示している。しかしながら、これら図面は単に例証及び説明を目的とするものであり、本発明の境界を規定するものとは意図されないことは明白に理解されるべきである。
図1は、本発明の1つの例示的な実施形態による、患者に呼吸ガス流を送達する際に使用するための患者の特定のマスクを識別する際に使用するためのシステムの概略図である。 図2は、本発明の1つの例示的な実施形態による、患者に呼吸ガス流を送達する際に使用するための患者の特定のマスクを識別する際に使用するための別のシステムの概略図である。 図3は、本発明の1つの例示的な実施形態による、ニューラルネットワークの動作の例示的な表現であり、例示的な入力及び対応する出力を示す。 図4は、図3と同様のニューラルネットワークの動作の例示的な表現であるが、3D形式に変換されたニューラルネットワークの出力例をさらに示す。 図5は、本発明の1つの例示的な実施形態による、方法のフローチャートである。 図6Aは、図1に例示されるような2D画像撮像装置により取り込まれるRGB正面画像の例を示す。 図6Bは、図6Aの対応するRGB正面画像から、図1に例示されるような訓練されたニューラルネットワークにより生成されるUV位置マップの例を示す。 図6Cは、図6Bの対応するUV位置マップから、図1に例示される訓練されたニューラルネットワークにより生成されるような、3Dパラメトリックモデルの選択された例示的な表示を示す。 図7Aは、図1に例示されるような2D画像撮像装置により取り込まれるRGB正面画像の例を示す。 図7Bは、図7Aの対応するRGB正面画像から、図1に例示されるような訓練されたニューラルネットワークにより生成されるUV位置マップの例を示す。 図7Cは、図7Bの対応するUV位置マップから、図1に例示される訓練されるニューラルネットワークにより生成されるような、3Dパラメトリックモデルの選択された例示的な表示を示す。 図8Aは、図1に例示されるような2D画像撮像装置により取り込まれるRGB正面画像の例を示す。 図8Bは、図8Aの対応するRGB正面画像から、図1に例示されるような訓練されたニューラルネットワークにより生成されるUV位置マップの例を示す。 図8Cは、図8Bの対応するUV位置マップから、図1に例示される訓練されるニューラルネットワークにより生成されるような、3Dパラメトリックモデルの選択された例示的な表示を示す。
明細書において、特に文脈上はっきりと述べていない限り、複数あると述べていなくても、それらが複数あることを含む。明細書において、2つ以上の部品又は構成要素が「結合される」と述べることは、連動している限り、これらの部品が直接的に又は間接的、すなわち1つ以上の中間部品若しくは構成要素を介しての何れかにより接合される又は共に動作することを意味する。明細書において、「数字」は、1若しくは1以上の整数(すなわち複数)を意味する。
明細書において、「患者」及び「ユーザ」という用語は、その人の3D情報を決定し、さらにその情報から、その人の「カスタム」マスクを決定ために、その人の画像が取り込まれる/利用される人を指すために同じ意味で使用される。
明細書において、患者の顔の「正面画像」は、直接取り込まれた又は適切な画像取込装置を用いて提供された、概ね真っ直ぐカメラの方を見るように位置決められた患者の顔(例えば、鼻、口及び付近の構造)を最小限含む電子画像を意味する。
本発明の例示的な実施形態において、患者の顔が画像の少なくとも50%を占めている正面画像が利用される。患者の顔が占めるのが画像の50%未満である画像は、最適な結果とならない可能性がある。その上、本発明の例示的な実施形態において、患者の顔を2等分する垂直面の50°以内に位置決められる装置により取り込まれる正面画像が用いられる。一般に、上述した垂直面にできるだけ近くに位置決められた装置を用いて取り込まれた画像が、最良の結果を提供する。
明細書において、患者の3次元(3D)の顔情報は、3次元空間における、患者の顔の上にあるランドマーク又は他の点の相互の間隔及び/又は位置を記述する情報を指す。
本発明の実施形態は、患者の顔の単一の2次元(以下、「2D」)の正面画像を利用して、患者の3次元(以下、「3D」)の顔情報を決定し、この顔情報は、次いで、1つ以上の候補マスクの2次元又は3次元情報と比較して、患者に提案及び/又は提供するための特定のマスクを決定するために用いられる。背景技術において上述したように、既存の解決策は、3Dスキャン又は様々な角度で撮影された複数の画像を利用して、同等の3Dの顔情報を生成している。
本発明の1つの例示的な実施形態による、患者に呼吸ガス流を送達する際に使用するための、患者の特定のマスクを識別する際に使用するためのシステム10の概略図を図1に示す。システム10は、ローカル装置12と、リモート処理装置14とを含み、リモート処理装置14は、このリモート処理装置14がローカル装置12から入力を受信する、及びローカル装置12に出力を提供することができるように、(例えば、何れかの適切な有線又は無線接続を介して)ローカル装置12と双方向の電子通信を行う。ローカル装置12は、スマートフォン、ラップトップ若しくは他のコンピュータ、電子キオスク、又は他の適切な装置でもよく、ローカル処理装置16、並びにローカル処理装置16と電子通信する2D画像取込装置18、入力装置20及び出力装置22を含む。ローカル処理装置16は、処理器、固定ディスク記憶装置及びメモリモジュールを有する(番号なし)。
ローカル処理装置16は、例えば、限定ではないが、例えばコンピュータの内部記憶領域のようなデータを記憶するための記憶レジスタ、すなわち機械可読媒体を提供するRAM、ROM、EPROM、EEPROM、及びFLASH等のような様々な種類の内部及び/又は外部記憶媒体の何れか1つ以上であり、揮発性メモリ又は不揮発性メモリであり得る上述したメモリモジュールと対話するマイクロプロセッサ(μP)である。ローカル処理装置16の前記固定ディスク記憶装置は、ローカル処理装置16によって実行可能な多数のルーチンを記憶している。
2D画像取込装置18は、人の2D画像を直接又は間接的に電子的に取り込むための何れかの適切な装置(例えば、スマートフォンの前面又は後面カメラ、ウェブカメラ、電子スキャナ等)とすることができる。以下に説明するように、そのような2D画像は、以下にさらに説明されるようなシステム10の1つ以上の他の構成要素の詳細に応じて、RGB画像(すなわち、カラー画像)、グレースケール画像、又は白黒画像とすることができる。
入力装置20は、本発明の範囲から逸脱することなく、少なくとも最小限の入力をローカル装置12に、より具体的にはローカル処理装置16に供給するための何れかの適切な装置(例えば、限定ではないが、物理的キーパッド又はキーボード、タッチスクリーン、マイクロフォン、ビデオカメラ等)とすることがきる。出力装置22は、一般に、ローカル処理装置16及び/又はローカル装置12からの出力を提供するための何れかの適切な配置とすることができる。より具体的には、出力装置22は、特定のマスクの指標を提供するため、又は実際の特定のマスクをユーザに提供するのに適した何れかの装置とすることができる。例えば、以下にさらに説明するように、システム10は、患者の特定のマスクを決定し、特定のアプリケーションに依存して、決定された前記特定のマスクに関する情報(例えば、限定ではないが、モデル、サイズ、取得方法等)を提供する及び/又は決定された前記特定のマスクを実際に提供することができる。故に、出力装置22は、本発明の範囲から逸脱することなく、多数の適切な装置(例えば、限定ではないが、表示スクリーン、スピーカー、複数のマスクを収容している選択的にアクセス可能な部屋)の何れとすることができる。
リモート処理装置14は、一般的に知られるアーキテクチャからなる訓練可能なニューラルネットワーク24の全体又は一部を有するクラウドベースの処理装置である。より具体的には、ニューラルネットワーク24は、専ら、ニューラルネットワーク24への入力として提供されるユーザの単一の2Dの正面画像から、ユーザの顔の3Dの位置マップを生成するように訓練される。明細書において、「訓練されたニューラルネットワーク」は、ユーザ/患者の2Dの正面画像からユーザ/患者の顔の3Dの位置マップを生成するために、例えば従来の技法によって訓練されたニューラルネットワークである。例えば、図3に一般的に例示されるような、本発明の1つの例示的な実施形態において、ニューラルネットワーク24は、ユーザ30の顔の2DのRGB正面画像28を入力26として受信し、出力32をUV位置マップ34の形式で提供するように訓練される。明細書において、「UV位置マップ」は、ユーザ(例えば、図3のユーザ30)の顔(又は顔の関連部分)の画素の全ての深度情報を有するマップである。そのようなニューラルネットワーク24の訓練は、従来の3Dスキャン機器及び技術を用いて約3000の多様なサンプリングから得られたUV位置マップをニューラルネットワーク24に供給することにより行われた。ニューラルネットワーク24は、上述したUV位置マップの各々から抽出された人々の各々の2Dの正面画像も供給される。そのような訓練から、ニューラルネットワーク24は、専ら、ニューラルネットワーク24への入力26として供給される2DのRGB正面画像(例えば、図3の正面画像28)から、出力32として3DのUV位置マップ(例えば、図3のマップ34)を作成するよう効果的に教えられる。
図4に示されるように、そのような3DのUV位置マップ34は、次いで、ユーザの推奨マスクを決定する際に1つ以上の候補マスクの3Dの次元情報と比較するときに使用するための(3つの2D画像が図4の実施例に示される)3Dのパラメトリックモデル36に変換される。2DのRGB画像を使用する場合が示されているが、RGBの代わりにグレースケールの材料を使用する場合を除き、同様の訓練材料を用いてニューラルネットワーク24を同様に訓練することにより、2Dのグレースケール画像が用いられることも理解されたい。
本発明の別の例示的実施形態による、患者に呼吸ガス流を送達する際に使用するための、患者の特定のマスクを識別する際に使用するための別のシステム10'の概略図が、図2に示される。システム10'は、このシステム10'が完全にローカル装置12'内に含まれていることを除き、上述したシステム10と同様である。より具体的には、ローカル装置12'は、このローカル装置12'がローカル処理装置16'として、又はその一部として提供される(上述したニューラルネットワーク24と同様の)ニューラルネットワーク24'を含んでいることを除き、ローカル装置12と同様の構成である。
このように、本発明の幾つかの例示的な実施形態に従う幾つかの例示的なシステム10、10'を、そのシステムの構成要素の詳細及び一般的な動作と共に説明したが、本発明の1つの例示的な実施形態に従う呼吸ガス流を患者に送達する際に使用するための患者の特定のマスクを識別する、上記システム10、10'(又は他の何れかの適切な装置)の何れかにより実行される例示的な方法40は、図5を参照して説明されない。
方法40は、42で始まり、ここで患者の2Dの正面画像が受信される。図1及び図2の例示的なシステム10及び10'において、そのような2Dの正面画像は、2D画像取込装置18を使用して取り込まれ、それにより、処理するために訓練されたニューラルネットワーク24又は24'に供給され、訓練されたニューラルネットワーク24又は24'により受信されるRGB画像である。
次に、44において、患者の3Dの顔情報が、2Dの正面画像から決定される。図1及び図2の例示的なシステム10及び10'において、そのような決定は、2DのRGB正面画像を受信し、この画像から出力として3DのUV位置マップを決定/生成する、訓練されたニューラルネットワーク24又は24'により実行される。患者の顔のパラメトリックモデルは、3DのUV位置マップから決定される。
次に、46において、3Dの顔情報の少なくとも一部が、複数の候補マスクの次元情報と比較される。図1及び図2の例示的なシステム10及び10'において、上記比較は、マスクの接触(インターフェース)部分と患者/ユーザの顔との間の最良の3Dフィットを見つけるために、例えば当技術分野で一般に知られるようなルールセット又は他の方法論を使用して、ニューラルネットワーク24或いは24'、又はローカル処理装置16或いは16'により実行される。
最後に、方法40は、一般に、48で終わり、ここで患者の特定のマスクは、46で実行された、3Dの顔情報の少なくとも幾つかと、複数の候補マスクの次元情報との比較の結果から決定される。患者/ユーザの特定のマスクの上記決定は、特定のマスクを識別する情報(例えば、限定ではないが、スタイル、モデル#、サイズ等)をユーザに提供すること、及び/又は実際の特定のマスクを患者に提供することを含む。図1及び図2の例示的なシステム10及び10'において、特定のマスクを識別する情報及び/又は実際の特定のマスクを患者に提供することは、例えば上述したような出力装置22を用いて実行される。
図6A-6C、7A-7C、8A-8C及び9A-9Cは、システム10の訓練されたニューラルネットワーク24に供給されるRGB正面画像28の例(図6A、7A、8A及び9A)、対応する正面画像28から、訓練されたニューラルネットワーク24により生成されるUV位置マップ34(図6B、7B、8B及び9B)、並びに上述した前記生成されるUV位置マップ34から、訓練されたニューラルネットワーク24によりさらに生成される3Dパラメトリックモデル36(図6C、7C、8C及び9C)の例示的な表示を示す。
故に、上述したことから、本発明の実施形態は、患者の容易に取得可能な基本的な2Dの正面画像から、特定のユーザ/患者の「カスタム」マスクを識別/提供するための解決策を提供することを理解されたい。
開示される概念の態様は、有形のコンピュータ可読の記録媒体上のコンピュータ可読コードとして具現化されることを検討している。このコンピュータ可読の記録媒体は、その後、コンピュータシステムにより読み取られるデータを記憶することができる如何なるデータ記憶装置である。コンピュータ可読の記録媒体の例は、ROM、RAM、CD-ROM、磁気テープ、フロッピー(登録商標)ディスク及び光学データ記憶装置を含む。
請求項において、括弧の間に置かれる如何なる参照記号もその請求項を限定すると解釈されるべきではない。「有する」又は「含む」という言葉は、請求項に挙げられる以外の素子又はステップの存在を排除するものではない。幾つかの手段を列挙している装置の請求項において、これらの手段の幾つかは、ハードウェアの同一のアイテムにより具現化されてもよい。要素が複数あると述べていなくても、その要素が複数あることを排除しない。幾つかの手段を列挙している如何なる装置の請求項において、これらの手段の幾つかは、ハードウェアの1つの同じアイテムにより具現化されてもよい。幾つかの要素が互いに異なる従属請求項に挙げられているという単なる事実は、これらの要素が組み合わせて使用されることができないことを示していない。
本発明は、最も実用的で好ましい実施例であると現在考えられているものに基づいて、例示を目的に詳細に説明されているが、そのような詳細は、単に例示が目的であること、並びに本発明は、開示される実施例に限定されるのではなく、それどころか添付の特許請求の範囲の主旨及び範囲内にある修正案及び同等の構成を含むことが意図されることを理解されたい。
例えば、本発明は、可能な限り、何れかの実施例の1つ以上の特徴が他の何れかの実施例の1つ以上の特徴と組み合わされ得ることも考慮していることを理解すべきである。

Claims (15)

  1. 患者に呼吸ガス流を送達する際に使用するための患者の特定のマスクを識別する方法において、
    前記患者の2Dの正面画像を受信するステップ、
    前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップ、
    前記3Dの顔情報の少なくとも幾つかを複数の候補マスクの次元情報と比較するステップ、及び
    前記3Dの顔情報の少なくとも幾つかと、前記複数の候補マスクの次元情報との比較の結果から、前記患者の特定のマスクを決定するステップ
    を有する、方法。
  2. 前記患者の2Dの正面画像を受信するステップは、前記患者の2DのRGB正面画像を受信するステップを有する、請求項1に記載の方法。
  3. 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、訓練されたニューラルネットワークを用いて前記2Dの正面画像を分析するステップを有する、請求項1に記載の方法。
  4. 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、前記訓練されたるニューラルネットワークによる前記分析から3DのUV位置マップを決定するステップをさらに有する、請求項3に記載の方法。
  5. 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、前記3DのUV位置マップから前記患者の顔のパラメトリックモデルを決定するステップをさらに有する、請求項4に記載の方法。
  6. 前記特定のマスクを前記患者に提供するステップをさらに有する、請求項1に記載の方法。
  7. 前記患者の2Dの正面画像を受信するステップは、デジタル撮像装置を用いて前記患者の2Dの正面画像を取り込むステップを有する、請求項1に記載の方法。
  8. デジタル撮像装置を用いて前記患者の2Dの正面画像を取り込むステップは、コンピュータ装置と通信するスマートフォンの前面カメラ又はウェブカメラの1つを用いて前記2Dの正面画像を取り込むステップを有する、請求項7に記載の方法。
  9. 患者の3Dの顔情報を決定する方法において、
    前記患者の2Dの正面画像を受信するステップ、及び
    訓練されたニューラルネットワークを用いて前記2Dの正面画像を分析することにより、前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップ
    を有する方法。
  10. 前記患者の2Dの正面画像を受信するステップは、前記患者の2DのRGB画像を受信するステップを有する、請求項9に記載の方法。
  11. 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、前記訓練されたニューラルネットワークによる前記分析から3DのUV位置マップを決定するステップをさらに有する、請求項9に記載の方法。
  12. 前記2Dの正面画像から前記患者の3Dの顔情報を決定するステップは、前記3DのUV位置マップからパラメトリックモデルを作成するステップをさらに有する、請求項11に記載の方法。
  13. 前記患者の2Dの正面画像を受信するステップは、デジタル撮像装置を用いて前記患者の前記2Dの正面画像を取り込むステップを有する、請求項9に記載の方法。
  14. 前記デジタル撮像装置を用いて前記患者の前記2Dの正面画像を取り込むステップは、コンピュータ装置と通信するスマートフォンの前面カメラ又はウェブカメラの1つを用いて前記2Dの正面画像を取り込むステップを有する、請求項9に記載の方法。
  15. 患者に呼吸ガス流を送達する際に使用する特定のマスクを識別する際に使用するためのシステムにおいて、
    前記患者の2Dの正面画像を受信するための入力、
    前記患者の2Dの正面画像を受信し、前記患者の前記顔の3DのUV位置マップを決定するように訓練されるニューラルネットワーク、
    前記3DのUV位置マップから前記患者の顔の3Dの顔情報を決定し、前記3Dの顔情報の少なくとも幾つかを複数の候補マスクの次元情報と比較し、及び前記3Dの顔情報の少なくとも幾つかと前記複数の候補マスクの次元情報との比較の結果から、前記患者の特定のマスクを決定するようにプログラムされた処理装置、並びに
    前記特定のマスクの指標を提供するための前記処理装置と通信する出力装置
    を有する、システム。
JP2022565568A 2020-05-15 2021-05-08 患者の2dの正面画像から患者の3dの顔情報の決定 Pending JP2023524416A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063025822P 2020-05-15 2020-05-15
US63/025,822 2020-05-15
PCT/EP2021/062241 WO2021228727A1 (en) 2020-05-15 2021-05-08 Determining 3-d facial information of a patient from a 2-d frontal image of the patient

Publications (2)

Publication Number Publication Date
JP2023524416A true JP2023524416A (ja) 2023-06-12
JPWO2021228727A5 JPWO2021228727A5 (ja) 2024-03-26

Family

ID=75904923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022565568A Pending JP2023524416A (ja) 2020-05-15 2021-05-08 患者の2dの正面画像から患者の3dの顔情報の決定

Country Status (5)

Country Link
US (1) US20210358144A1 (ja)
EP (1) EP4150509A1 (ja)
JP (1) JP2023524416A (ja)
CN (1) CN115605923A (ja)
WO (1) WO2021228727A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11810256B2 (en) * 2021-11-11 2023-11-07 Qualcomm Incorporated Image modification techniques

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7904193B2 (en) * 2006-09-29 2011-03-08 Nellcor Puritan Bennett Llc Systems and methods for providing custom masks for use in a breathing assistance system
US10881827B2 (en) * 2017-09-29 2021-01-05 Koninklijke Philips N.V. Providing a mask for a patient based on a temporal model generated from a plurality of facial scans
US10650564B1 (en) * 2019-04-21 2020-05-12 XRSpace CO., LTD. Method of generating 3D facial model for an avatar and related device
US11602314B2 (en) * 2020-06-15 2023-03-14 Microsoft Technology Licensing, Llc Animating physiological characteristics on 2D or 3D avatars

Also Published As

Publication number Publication date
WO2021228727A1 (en) 2021-11-18
EP4150509A1 (en) 2023-03-22
US20210358144A1 (en) 2021-11-18
CN115605923A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN107735136B (zh) 使用移动应用的面罩大小调整工具
US11791042B2 (en) Methods and systems for providing interface components for respiratory therapy
CN108348719B (zh) 确定关于患者的面部的信息
US10881827B2 (en) Providing a mask for a patient based on a temporal model generated from a plurality of facial scans
JP2023524416A (ja) 患者の2dの正面画像から患者の3dの顔情報の決定
US20230098579A1 (en) Mask sizing tool using a mobile application
US11583649B2 (en) Patient interface device component design selection or generation systems and methods
JP2023507899A (ja) マスクのフィッティングをガイドするアプリケーション
US20240001062A1 (en) Method and system for patient interface device data collection with privacy
US20190188455A1 (en) Capturing and using facial metrics for mask customization
US20240099621A1 (en) Prescribing a cpap mask based on patients stress response
NZ762184B2 (en) Methods and systems for providing interface components for respiratory therapy
NZ762184A (en) Methods and systems for providing interface components for respiratory therapy
NZ762180B2 (en) Methods and systems for providing interface components for respiratory therapy
NZ726142B2 (en) Methods and systems for providing interface components for respiratory therapy

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240311