JP2023549317A - 医用撮像プロセス中のセンサ信号依存対話生成のための方法及びシステム - Google Patents
医用撮像プロセス中のセンサ信号依存対話生成のための方法及びシステム Download PDFInfo
- Publication number
- JP2023549317A JP2023549317A JP2023524997A JP2023524997A JP2023549317A JP 2023549317 A JP2023549317 A JP 2023549317A JP 2023524997 A JP2023524997 A JP 2023524997A JP 2023524997 A JP2023524997 A JP 2023524997A JP 2023549317 A JP2023549317 A JP 2023549317A
- Authority
- JP
- Japan
- Prior art keywords
- patient
- data
- medical imaging
- imaging process
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 37
- 230000008569 process Effects 0.000 title claims abstract description 36
- 230000003993 interaction Effects 0.000 title claims abstract description 21
- 230000001419 dependent effect Effects 0.000 title claims abstract description 12
- 230000003862 health status Effects 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008909 emotion recognition Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 206010041349 Somnolence Diseases 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 208000019901 Anxiety disease Diseases 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 230000036407 pain Effects 0.000 description 5
- 230000036506 anxiety Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 206010016334 Feeling hot Diseases 0.000 description 1
- 206010033670 Panic reaction Diseases 0.000 description 1
- 229910003798 SPO2 Inorganic materials 0.000 description 1
- 101100478210 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spo2 gene Proteins 0.000 description 1
- 230000005534 acoustic noise Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 208000022925 sleep disturbance Diseases 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000000106 sweat gland Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
Abstract
本発明は医用撮像プロセス中にセンサ信号従属対話生成のためのシステムに関し、システムは患者の状態データを測定するように構成されるセンサモジュールと、患者の状態データを分析して患者のバイオメトリック及び健康状態データを決定するように構成されるプロセッサモジュールと、医用撮像プロセス中に患者からリアルタイムフィードバックを取得するための質問票データを生成するように構成される対話データ生成モジュールとを備え、質問票データは医用撮像プロセスのパラメータと、決定される患者のバイオメトリック及び健康状態データとに基づく。
Description
本発明は、患者の状態及び関連する動作生成を捕捉するためのセンサ信号依存対話マネージャのためのシステム及び方法に関する。特に、本発明は、医用撮像プロセス中のセンサ信号従属対話生成のためのシステム及び方法ならびにシステム、機械学習モデルをトレーニングする方法、コンピュータプログラム要素、ならびにコンピュータ可読媒体に関する。
EP 3 473 181 A1は、医用画像記録装置、画像記録装置、コンピュータプログラム、及び電子的に読み取り可能なデータキャリアを動作させるための方法を記載している。その中に記載される装置は患者受信マイクロフォンの少なくとも雑音及び患者への少なくとも1つのスピーカを有する音声対話システムを備え、患者から発せられる音声はマイクロフォンの手段によって記録され、患者の状態及び／又は発話される単語の内容を記述する患者情報を決定するために音声対話システムの音声認識ユニットによって評価される。
自律撮像中、患者が準備段階、スキャン段階、スキャン後に一人でいるときにいくつかの状況がある。磁気共鳴イメージング、MRI、又はコンピュータ断層撮影、CT、手順の間、患者は、モダリティ部屋において隔離され、遵守するためのいくつかの指示が与えられる。
これらの命令は、静止していること、間隔を置いて息を止めること、及び一定の時間移動しないことに関するものであり得る。患者には、スキャンに必要な時間の大まかな概念が与えられる。患者はまた、処置を受けるときに時間の進行の感覚をもたない。
いくつかのシナリオでは、患者がスキャン又は医用撮像プロセス中に不安及び不快感を感じ得る。これは、予測されるよりも長いスキャンの持続時間、他のバイオメトリック条件の変化、又は同様の態様及び対応する態様に起因し得る。
しかしながら、自律的撮像シナリオでは、患者がスキャン中又は医用撮像プロセス中に、彼らのフィードバック又は彼らの不安を明確に表現することができない場合がある。
したがって、改善される医用撮像システムが必要とされ得る。本発明の目的は、独立請求項の主題によって達成され、さらなる実施形態が従属請求項に組み込まれる。本発明の以下に説明する態様は、システム及び方法、機械学習モデルをトレーニングする方法、コンピュータプログラム要素、及びコンピュータ可読媒体に等しく適用されることに留意される。
本発明の第1の態様によれば、医用撮像プロセス中のセンサ信号従属対話生成のためのシステムであって、前記システムは、
患者の状態データを測定するように構成されるセンサモジュールと、
前記患者の状態データを分析して、前記患者のバイオメトリック及び健康状態データを決定するように構成される、プロセッサモジュールと、
対話データ生成モジュールであって、前記医用撮像プロセス中に前記患者からリアルタイムフィードバックを取得するための質問票データを生成するように構成され、前記質問票データは前記医用撮像プロセスのパラメータと、前記患者の決定されるバイオメトリック及び健康状態データとに基づく、対話データ生成モジュールと
を有する、システムが提供される。
患者の状態データを測定するように構成されるセンサモジュールと、
前記患者の状態データを分析して、前記患者のバイオメトリック及び健康状態データを決定するように構成される、プロセッサモジュールと、
対話データ生成モジュールであって、前記医用撮像プロセス中に前記患者からリアルタイムフィードバックを取得するための質問票データを生成するように構成され、前記質問票データは前記医用撮像プロセスのパラメータと、前記患者の決定されるバイオメトリック及び健康状態データとに基づく、対話データ生成モジュールと
を有する、システムが提供される。
本発明は先行技術とは対照的に、医用撮像プロセス中又は医用撮像プロセスの単一スキャン中に患者からリアルタイムフィードバックを得るための方法を自動化することを可能にする。
本発明は、有利には患者の心理的及び健康状態に基づく関連質問票の自動生成を使用して、所望のフィードバックを得る。
本発明は有利には自動化システムを使用して、患者の生体、生理学的、又は健康状態を連続的に監視し、適切な後続の動作を行うために関連するフィードバックを取得する。
本発明は、患者が患者によって示される顔及び身体の表現からの質問を理解したかどうかを認定することを可能にする。本発明は、有利には感覚入力及び／又はフィードバックデータを使用して、簡単なジェスチャー、音声コマンド、及び口唇読み取りを含む顔の表情を使用してフィードバックを提供するように患者を柔軟にすることによって、患者をより快適にする。
本発明は有利なことに、より良好な患者協力及び患者不安の低減により、改善されるワークフローを可能にする。
本発明の例示的な実施形態によれば、センサモジュールは、患者のオーディオデータを測定するようにさらに構成され、プロセッサモジュールは患者の測定されるオーディオデータを分析して、感情認識を実行し、患者の快適性レベルを決定するようにさらに構成される。
本発明の例示的な実施形態によれば、患者の快適性レベルは例えば、患者に影響を及ぼす身体的疼痛、音響ノイズ、視覚的刺激もしくは不動化もしくは運動制限、又は睡眠障害を記述するレベルを指し得る。
本発明の例示的な実施形態によれば、センサモジュールは、患者のビデオデータを測定するようにさらに構成され、プロセッサモジュールは患者の測定されるビデオデータを分析して、感情認識を実行し、患者の快適性レベルを決定するようにさらに構成される。
本発明の例示的な実施形態によれば、感情認識は、顔認識、音声認識、及びジェスチャ認識のうちの少なくとも1つを含む。
本発明の例示的な実施形態によれば、センサモジュールは、患者のフィードバックデータを測定するようにさらに構成され、プロセッサモジュールは医用撮像プロセスを制御するために、測定される患者のフィードバックを分析するようにさらに構成される。
本発明の例示的な実施形態によれば、医用画像プロセスのパラメータは、医用画像プロセスのスキャンタイプ、医用画像プロセスのスキャンシーケンス、医用画像プロセスのスキャンの期間、医用画像プロセスの特許のターゲット部分のうちの少なくとも1つを含む。
本発明の例示的な実施形態によれば、対話データ生成モジュールは、患者から必要とされるフィードバックデータの量を最小限に抑えるために質問票データを生成するように構成される。
本発明の例示的な実施形態によれば、プロセッサモジュールはニューラルネットワークを備え、ニューラルネットワークは医用撮像プロセスのパラメータと、患者の決定されるバイオメトリック及び健康状態データとに基づいて、質問票データの生成を最適化するように構成される。
さらに別の態様では、少なくとも1つの処理ユニットによって実行されるときに、方法に前の態様による方法を実行させるように適合されるコンピュータプログラム要素が提供される。
さらに別の態様では、プログラム要素を記憶した、又は機械学習モジュールを記憶した、少なくとも1つのコンピュータ可読媒体が提供される。
一般に、「機械学習」は明示的にプログラムされることなく予測又は決定を行うために、「トレーニングデータ」として知られるサンプルデータに基づいてモデルを構築するアルゴリズムに基づいてプログラムされる分類を含むことができる。
いくつかの機械学習アルゴリズムは、モデルベースである。モデルベースのMLアルゴリズムは、機械学習モデルのパラメータを調整するように動作する。この調整手順を「トレーニング」と呼ぶ。
したがって、モデルは、タスクを実行するためのトレーニングによって構成される。MLアルゴリズムは、インスタンスベースの学習も含む。MLアルゴリズムによるタスク性能は測定可能に改善され、より新しいトレーニングデータが訓練に使用される。性能は、システムにテストデータを供給する際の客観的テスト測定することができる。性能は、所与の試験データについて達成されるべき特定の誤り率に関して定義され得る。
ここで、本発明の例示的な実施形態を、以下の図面を参照して説明するが、図面は特に明記しない限り、一定の縮尺ではない。
図1に機能モジュールのフローチャートを示す。本発明の例示的な実施形態によれば、図1に示されるブロック図は提案されるシステムを実現する際に、先に説明される全ての異なるモジュールがどのように接続されるかを示す。
本発明の例示的な実施形態によれば、プロセスは、以下を含む様々なセンサデータを連続的に監視することから開始することができる。
i)患者の心理的状態(ECG、EMG、温度、血圧、SPO2、又は対応するパラメーターや状態)を監視するセンサー。
ii)顔認識及び患者の動き検出のためのカメラ(心拍数及び呼吸検出のために使用することもできる)。
iii)音声及び音声感情認識のためのマイクロフォン。
iv)電磁センサに基づくマットレス内の統合される痛みセンサ。
v)GSR等の皮膚コンダクタンスセンサ。
vi)各センサモジュールの出力は、AIモジュールによって分析されて、患者の心理的及び健康状態を決定する。
vii)患者の心理的／バイオメトリック状態は、患者のバイタルパラメータ(酸素飽和度、心拍数、血圧など)の変動を連続的に推定している。
viii)ストレスレベルは、事前訓練されるAIモデルを用いて、1つ又は複数のカメラから得られた一連の画像を使用して、顔の表情を分析することによって実現される。
i)患者の心理的状態(ECG、EMG、温度、血圧、SPO2、又は対応するパラメーターや状態)を監視するセンサー。
ii)顔認識及び患者の動き検出のためのカメラ(心拍数及び呼吸検出のために使用することもできる)。
iii)音声及び音声感情認識のためのマイクロフォン。
iv)電磁センサに基づくマットレス内の統合される痛みセンサ。
v)GSR等の皮膚コンダクタンスセンサ。
vi)各センサモジュールの出力は、AIモジュールによって分析されて、患者の心理的及び健康状態を決定する。
vii)患者の心理的／バイオメトリック状態は、患者のバイタルパラメータ(酸素飽和度、心拍数、血圧など)の変動を連続的に推定している。
viii)ストレスレベルは、事前訓練されるAIモデルを用いて、1つ又は複数のカメラから得られた一連の画像を使用して、顔の表情を分析することによって実現される。
本発明の例示的な実施形態によれば、ストレスレベル識別モジュールは、バイオメトリックAIモデルの出力を入力特徴の1つとして使用することもできる。最初に、教師ありAIモデルが、ラベルとして患者からのフィードバックによって得ることができる既知のグラウンドトゥルースサンプルを使用して実現される。
本発明の例示的な実施形態によれば、アルゴリズムは、現在のストレスレベル(SVM、CNNなど)の推定のための機械学習アプローチと、次の数分間のストレスレベル(RNN又はLSTMなど)の発達を予測するための機械学習アプローチとの組み合わせであってもよい。
本発明の例示的な実施形態によれば、ストレスレベルは2つの特定のバイタルパラメータセンサi)GSRセンサの出力に焦点を合わせることによって評価され、ここで、ストレスレベルは数分の期間にわたる移動平均としてとられたピーク強度(より正確にはバックグラウンドレベルを上回るピークの立ち上がりエッジの合計)及び／又はii)患者の心拍変動の周期性の合計として登録され、それによって、より強い周期性はより弛緩した患者に関連付けられる。
本発明の例示的な実施形態によれば、任意選択で、ii)について、心拍数変動が周期的であり、さらに患者の呼吸速度(第3のバイタルパラメータセンサによって測定される)と同期している場合、患者は、さらにより弛緩しているとみなされ得る。
本発明の例示的な実施形態によれば、患者の疼痛レベルはマットレス内の統合される疼痛センサから取得されてもよく、又は、電磁センサに基づいて、又はGSR、ガルバニック皮膚応答などの皮膚から、足などに取り付けられた、例えば、一方で2つの隣接するフィンガ、リストバンドの内側の2つの電極など、多くの汗腺が存在する患者の任意の便利な周辺点に取り付けられてもよい。
本発明の例示的な実施形態によれば、患者の運動レベル又は運動グレードは例えば、カメラから得られた一連の画像又は運動センサの出力又はそれらの両方の組み合わせを分析することによって、全くない、最小の、中程度の、重度の運動レベルの間で識別される。
本発明の例示的な実施形態によれば、患者の快適性レベルは顔の表情、他の物理的な動き、及び上記で示されるバイタルパラメータ測定値を使用して、患者の感情レベルを検出することが推定される。
本発明の例示的な実施形態によれば、具体的には自律スキャンを受けるなどのストレスの多い状況では感情レベルが遭遇するストレスの総量に関連することが多く、感情の価数はストレスの総量が増えるにつれてより負になる。
本発明の例示的な実施形態によれば、これは、例えば、(上述の走行平均とは対照的に)GSR測定におけるピーク強度の全測定期間中に積分和を測定することによってさらに評価される。
図2に示すブロック図は患者の心理的及び健康状態を決定する際に、異なるセンサの出力をどのように使用することができるかを示す。
本発明の例示的な実施形態によれば、次のステップにおいて、これらのAIモデルの出力は必要とされるフィードバックをより容易かつ快適に得るために、関連する質問票を生成するために使用される。
本発明の例示的な実施形態によれば、問題は、単純さ及び回答範囲(回答として「はい」及び「いいえ」のみ)、半開問題(「寒い」、「暖かい」、「良い」、「悪い」、「良い」)、及び開かれた問題)によって事前定義及び評価され得る。
本発明の例示的な実施形態によれば、患者状態モジュールの出力は、これらのグループから問題を選択するために使用され、その結果、問題はより悪い患者状態の場合、意図的に、より単純に保たれる。実際のMRスキャンの間、好ましくは、クローズド質問又は半オープン質問のみが発行される。これは、答えを短く保ち、したがって、答えによって誘発される動きを最小限に抑える。第二に、口唇読み取りは、解答範囲が小さく、ほとんど知られているので、雑音のある環境における解答を分析するために適用することができる。
本発明の例示的な実施形態によれば、質問のリストは、解剖学的スキャンの各々ごとのスキャンのシーケンス／ステージに基づいてルックアップテーブルとして生成することができる。このリストは、選択される患者プロファイルについての通常のスキャンにおいて人間の技術者によって質問される質問を分析することによって、入力することができる。
本発明の例示的な実施形態によれば、患者プロファイルがOLD AGEに関連する場合、システムは、スキャンの各フェーズにおいてより多くの質問を行う必要がある。このリストは母集団レベルデータを分析し、患者プロファイル、スキャンの段階、及びスキャン解剖学的構造などに依存する文脈問題を生成することによって、ポピュレートされる。
本発明の例示的な実施形態によれば、質問票データは、命令も含むことができる。
本発明の例示的な実施形態によれば、生成される質問票データの問題はそれに限定されないが、以下を含むことができる。
痛みを感じているか。
不安、不快感を感じているか。
スキャンを時間停止するか。
スキャンを永続的に停止するか。
リラックスするために身体を少し動かしたいか。
スキャンの残り時間を知りたいか。
息が苦しいか。
とても寒いか。
休憩室に行くか。
暖かく感じるか。
本発明の例示的な実施形態によれば、生成される質問票は、視覚テキストオーディオ、触覚、骨伝導などによって患者に伝達される。
本発明の例示的な実施形態によれば、ほとんどのシナリオにおいて、患者はスキャン又は医用撮像プロセス中に、彼らのフィードバック又は彼らの不安を明確に表現することができない場合がある。したがって、より関連する問題に基づいて、検査中の患者はマイクロフォンを使用して、動きの手、目の動き、又は「はい」又は「いいえ」などの単純な音声コマンドなどの単純な形態のジェスチャによってフィードバック／応答を提供することができる。
本発明の例示的な実施形態によれば、バイオメトリックパラメータセンサはまた、横臥検出器技術から知られるように、患者の応答を評価するために使用されてもよい。
本発明の例示的な実施形態によれば、関連する又はより関連する問題は、スキャンタイプ、スキャンのシーケンス、標的化される解剖学的構造、患者の生理学的及び心理的状態に基づいて生成することができる。
本発明の例示的な実施形態によれば、例えば、一旦頸部及び上背部が問題を越えると、完全な脊椎スキャンのために、患者がスキャンの最初の部分の間に静止しようとしており、少し弛緩する必要があり得るので、「首を少し弛緩させるか／動かすか」のように、問題が生成され得る。患者の心理的状態が「ストレス」として示されている場合、対話ジェネレータは例えば、あなたがストレス下にあるなど、ストレスに関連する問題を生成し、 また、問題が肯定的であれば、音楽を演奏するなどしてストレスを軽減するアクションなどのアクション生成を行うこともできる。
同様に、患者の生理学的状態、例えば、HR／RRの増加が識別される場合、不安についての質問を生成することができ、確認すると、ハプティックソリューションを展開してHRを減少させることができる。負のフィードバックが予想される正のフィードバックよりも受信される場合、スキャン手順は、患者の安全のために適合されるか、又は停止さえされ得る。これは、マシンによって実行される別のアクションとすることができる。
別の例では、睡眠に向かう患者のパニック反応がカメラ及び他のセンサから受け取った組み合わせ画像を使用して、追加の方法で分析することができる。例えば、呼吸制御スキャンにおいて、システムは、患者が睡眠に入った場合に患者を起床させ、患者が指示に従い始めることを確実にしなければならない。別の例は、患者が快適であると感じているかどうかをチェックするために造影剤を投与した後である。
本発明の例示的な実施形態によれば、CT造影は、身体を通る熱フラッシングの感覚を誘発することができる。本発明の例示的な実施形態によれば、問題は「あなたは暑い／暖かいと感じる」とすることができ、回答に基づいて、患者は、これが正常であることを安心させることができる。
本発明の例示的な実施形態によれば、NLPモジュールは、スキャンシーケンス、患者の状態、スキャンにおける時間インスタンス、ターゲットとする解剖学的構造、ならびにグランドトゥルース質問／質問票のセットを用いて訓練されるニューラルネットワーク分類モデルとして実装することができる。次いで、訓練されるモデルは、入力に基づいて質問／質問表を検索することができる。
本発明の例示的な実施形態によれば、スキャン又は腫瘍治療セッション中に、眠気検出を使用して、患者が睡眠に落ちるか、又は一連の異なるスキャン中に意識を失うことを回避すべきである。患者はしばしば、短時間眠りに落ち、目覚めたときにパニック反応を示す。加えて、オペレータと患者との間の通信は不可能である。
本発明の例示的な実施形態によれば、睡眠中のアクチュエータの落下又は音声信号と組み合わせたナッジを防止するために使用される。
本発明の例示的な実施形態によれば、検出は患者のNLP応答時間と組み合わせて、3D検知、例えば、レーダー又はライダー、光検出及び測距を使用して実現される。
本発明の例示的な実施形態によれば、入眠の場合、Hallo do not sleep、stay wake等特別な通信プロトコルが適用され、追加的なエンターテインメントは、入眠を防止するように修正され適応される。
本発明の例示的な実施形態によれば、一連の異なるスキャンが開始されると、各スキャンはスキャンのタイプについて患者に知らせるか、又は通信するための短い自律オーディオタグを有し、これは、不安を低減するのに役立つ。オーディオタグのアプリケーションの決定は、患者の感情状態を直接分類するAIアルゴリズムによって制御される。タグは、タイミング、動きに対する堅牢性などについて患者に知らせる。タグは、療法と組み合わせてスキャンに適用することもできる。
本発明の例示的な実施形態によれば、MRIスキャン中のマイクロフォンベースの通信は、通常のスキャンの90％が実行不可能である。技術的には、ノイズレベルキャンセルを含むマイクロフォン信号が3Dレーダー又はライダベースのアプローチを使用するジェスチャー及び唇の非接触読み取りによってサポートされ得る。異なるセンサからのすべての信号は、NLPのためのAIベースのSWに供給される。
本発明の例示的な実施形態によれば、通信は強いノイズレベルを有する環境／スキャンにおいて実行され、単純な通信のために、患者が「はい」又は「いいえ」又は「いいえ」に答えることを可能にし、さらには、呼吸応答検出器を使用することが提案される。検出器は閾値を有し、患者が短呼吸を行うときに作動される。音声バイト通信を用いて、患者に対して異なる検知技術を適用することができる。無線バイトセンサは、口内に配置され、通信インターフェースに信号を送信することを可能にする。
本発明の例示的な実施形態によれば、別の例は、対話型対話マネージャを使用して患者が開発する「信頼レベル」の分析も可能にする。患者が対話マネージャが患者の関心事、問題及び要求に適切な方法で反応していると感じる場合、センサを介して、リラックスする気分及び受け入れが分析され、そのような確認を介して、システムは、アルゴリズムによって提案されるように継続することができる。
患者の反応が低い信頼レベルを示し、患者のより高い不安レベルを示す場合には第1の漸増レベルとして別の所定のアプローチを選択することができ、それが機能しない場合には状況を改善するためにスタッフも関与させることができる。
本発明の例示的な実施形態によれば、これらの状況のうちのいくつかを管理することからのAI「学習」はシステムを最適化し、最も成功した対話処理のための患者プロファイルに基づく最良の提案戦略を構築するのに役立つ。同時に、受け入れ及び「信頼レベル」の継続的な制御は、自律システムを使用する患者のための安全な環境を保証する。
これを行う別の方法は、反応分析器モジュールの出力に信頼度を与えることである。信頼度が、ユーザからの帰還を手段する特定の閾値を下回る場合、十分に分析又は検出されない。このシナリオでは、システムがシステムのさらなるステップ及び実行のためにリモートスタッフに自動的に接続するのに役立つ第2レベルの手順を生成する。
本発明の例示的な実施形態によれば、自律的撮像ワークフローの場合、これらのフィードバックは、カメラから受信される画像を処理することによって(手／目のジェスチャ、唇の読み取り)、又はフィードバックが音声コマンドの形態で伝達されるときにテキスト認識モジュールへの音声を使用することによって、自動的に処理される。
本発明の例示的な実施形態によれば、フィードバックに基づいて、スキャナユニットの制御センタは、適切な処置をとるように通知される。
本明細書で説明する1つ又は複数の特徴は、コンピュータ可読媒体内に符号化される回路として、又は回路を用いて、及び／又はそれらの組合せとして構成又は実装され得る。回路は、ディスクリート及び／又は集積回路、システムオンチップ(SOC)、及びそれらの組み合わせ、マシン、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムを含み得る。
本発明の別の例示的な実施形態では、前述の実施形態のうちの1つによる方法の方法ステップを適切なシステム上で実行するように適合されることを特徴とする、コンピュータプログラム又はコンピュータプログラム要素が提供される。
したがって、コンピュータプログラム要素は、本発明の実施形態の一部であってもよいコンピュータユニットに記憶されてもよい。この計算ユニットは、上述の方法のステップの実行を実行又は誘発するように適合され得る。さらに、それは、上述の装置の構成要素を動作させるように適合され得る。計算ユニットは自動的に動作するように、及び／又はユーザの順序を実行するように適合され得る。
コンピュータプログラムは、データプロセッサの作業メモリにロードされ得る。したがって、データプロセッサは、本発明の方法を実行するように装備されてもよい。
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートの手段によって既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラムの両方を包含する。
さらに、コンピュータプログラム要素は、上述の方法の例示的な実施形態の手順を満たすために必要なすべてのステップを提供することができる。
本発明のさらなる例示的な実施形態によれば、CDROMなどのコンピュータ可読媒体が提示され、コンピュータ可読媒体はその上に記憶されるコンピュータプログラム要素を有し、そのコンピュータプログラム要素は、前のセクションによって説明される。
コンピュータプログラムは他のハードウェアと共に、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体(特に、ただし必ずしもそう必要はないが、非一時的媒体)上に記憶及び／又は配布され得るが、インターネット又は他の有線もしくはワイヤレス電気通信システムを介してなど、他の形態で配布されてもよい。
しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提示されてもよく、そのようなネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明のさらなる例示的な実施形態によれば、ダウンロードのためにコンピュータプログラム要素を利用可能にするための媒体が提供され、このコンピュータプログラム要素は、本発明の前述の実施形態のうちの1つによる方法を実行するように構成される。
本発明の実施形態は、異なる主題を参照して説明されることに留意される。特に、いくつかの実施形態は方法タイプの請求項を参照して説明され、他の実施形態は装置タイプの請求項を参照して説明される。しかしながら、当業者は別段の通知がない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関連する特徴間の任意の組み合わせも、本出願で開示されると見なされる、上記及び以下の説明から集まるのであろう。しかしながら、全ての特徴を組み合わせて、特徴の単純な合計以上の相乗効果を提供することができる。
本発明は図面及び前述の説明において詳細に図示及び説明されているが、そのような図示及び説明は例示的又は例示的であり、限定的ではないと見なされるべきである。本発明は、開示される実施形態に限定されない。開示される実施形態に対する他の変形は図面、開示、及び従属請求項の研究から、請求される発明を実施する際に当業者によって理解され、実行され得る。
請求項において、単語「有する(comprising)」は他の要素又はステップを除外せず、不定冠詞「a」又は「an」は複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に列挙されるいくつかの項目の機能を満たすことができる。特定の手段が相互に異なる従属請求項に引用されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。請求項におけるいかなる参照符号も、請求項の保護範囲を限定するものとして解釈されるべきではない。
10 センサモジュール
20 プロセッサモジュール
30 対話データ生成モジュール
100 システム
S1 測定
S2 分析
S3 生成
20 プロセッサモジュール
30 対話データ生成モジュール
100 システム
S1 測定
S2 分析
S3 生成
Claims (14)
- 医用撮像プロセス中のセンサ信号従属対話生成のためのシステムであって、前記システムは、
患者の状態データを測定するように構成されるセンサモジュールと、
前記患者の状態データを分析して、前記患者のバイオメトリック及び健康状態データを決定するように構成される、プロセッサモジュールと、
対話データ生成モジュールであって、前記医用撮像プロセス中に前記患者からリアルタイムフィードバックを取得するための質問票データを生成するように構成され、前記質問票データは前記医用撮像プロセスのパラメータと、前記患者の決定されるバイオメトリック及び健康状態データとに基づく、対話データ生成モジュールと
を有する、システム。 - 前記センサモジュールは、患者のオーディオデータを測定するようにさらに構成され、前記プロセッサモジュールは前記患者の測定されるオーディオデータを分析して、感情認識を実行し、前記患者の快適性レベルを決定するようにさらに構成される、請求項1に記載のシステム。
- 前記センサモジュールは、患者のビデオデータを測定するようにさらに構成され、前記プロセッサモジュールは前記患者の測定されるビデオデータを分析して、感情認識を実行し、前記患者の快適性レベルを決定するようにさらに構成される、請求項1又は2に記載のシステム。
- 前記感情認識は、顔認識、音声認識、及びジェスチャ認識の少なくとも1つを有する、請求項2又は3に記載のシステム。
- 前記対話データ生成モジュールは、前記医用撮像プロセス中に前記患者からリアルタイムフィードバックを取得するようにさらに構成される、請求項１乃至４の何れか一項に記載のシステム。
- 前記センサモジュールは、患者のフィードバックデータを測定するようにさらに構成され、前記プロセッサモジュールは、前記医用撮像プロセスを制御するために、前記患者の測定されるフィードバックを分析するようにさらに構成される、請求項１乃至４の何れか一項に記載のシステム。
- 前記医用撮像プロセスのパラメータは、前記医用撮像プロセスのスキャンタイプ、前記医用撮像プロセスのスキャンシーケンス、前記医用撮像プロセスのスキャンの期間、前記医用撮像プロセスの前記患者のターゲット部分の少なくとも1つを有する、請求項１乃至６の何れか一項にシステムの装置。
- 前記対話データ生成モジュールは、前記患者から必要とされるフィードバックデータの量を最小化するために質問票データを生成するように構成される、請求項１乃至７の何れか一項に記載のシステム。
- 前記センサモジュールは、前記患者の眠気検出に関して前記患者の状態データを測定するように構成され、前記対話データ生成モジュールは前記眠気検出に基づいて前記患者を刺激するためのオーディオベース又はビデオベースのウェイクアップ信号を生成するように構成される、請求項１乃至８の何れか一項に記載のシステム。
- 前記プロセッサモジュールは、前記質問票データの前記生成を最適化するように構成されるニューラルネットワークを有する、請求項１乃至９の何れか一項に記載のシステム。
- 請求項1乃至8の何れか一項に記載のシステムを有する、医用撮像装置。
- 医用撮像プロセス中のセンサ信号従属対話生成のための方法であって、
患者の状態データを測定するステップと、
前記患者の状態データを分析して、前記患者のバイオメトリック及び健康状態データを決定するステップと、
前記医用撮像プロセス中に前記患者からリアルタイムフィードバックを取得するための質問票データを生成するステップであって、前記質問票データは、前記医用撮像プロセスのパラメータと、前記患者の決定されるバイオメトリック及び健康状態データとに基づく、ステップと
を有する、方法。 - 少なくとも1つのプロセッサによって実行されるとき、前記プロセッサに、請求項12に記載の方法を実行させるように適合される、コンピュータプログラム要素。
- 請求項13に記載のプログラム要素を記憶している少なくとも1つのコンピュータ可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20207197.3 | 2020-11-12 | ||
| EP20207197.3A EP4000520A1 (en) | 2020-11-12 | 2020-11-12 | Method and system for sensor signals dependent dialog generation during a medical imaging process |
| PCT/EP2021/081171 WO2022101232A1 (en) | 2020-11-12 | 2021-11-10 | Method and system for sensor signals dependent dialog generation during a medical imaging process |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023549317A true JP2023549317A (ja) | 2023-11-24 |
Family
ID=73646062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023524997A Pending JP2023549317A (ja) | 2020-11-12 | 2021-11-10 | 医用撮像プロセス中のセンサ信号依存対話生成のための方法及びシステム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240008783A1 (ja) |
| EP (2) | EP4000520A1 (ja) |
| JP (1) | JP2023549317A (ja) |
| CN (1) | CN116568204A (ja) |
| WO (1) | WO2022101232A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240032835A1 (en) * | 2021-03-15 | 2024-02-01 | Mitsubishi Electric Corporation | Emotion estimation apparatus and emotion estimation method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3473181B1 (de) | 2017-10-20 | 2020-02-19 | Siemens Healthcare GmbH | Verfahren zum betrieb einer medizinischen bildaufnahmeeinrichtung, bildaufnahmeeinrichtung, computerprogramm und elektronisch lesbarer datenträger |
| WO2019220428A1 (en) * | 2018-05-16 | 2019-11-21 | Moodify Ltd. | Emotional state monitoring and modification system |
| US11510629B2 (en) * | 2018-12-26 | 2022-11-29 | General Electric Company | Systems and methods for detecting patient state in a medical imaging session |
-
2020
- 2020-11-12 EP EP20207197.3A patent/EP4000520A1/en not_active Withdrawn
-
2021
- 2021-11-10 CN CN202180075853.XA patent/CN116568204A/zh active Pending
- 2021-11-10 JP JP2023524997A patent/JP2023549317A/ja active Pending
- 2021-11-10 EP EP21805969.9A patent/EP4243691A1/en active Pending
- 2021-11-10 US US18/036,181 patent/US20240008783A1/en active Pending
- 2021-11-10 WO PCT/EP2021/081171 patent/WO2022101232A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022101232A1 (en) | 2022-05-19 |
| US20240008783A1 (en) | 2024-01-11 |
| CN116568204A (zh) | 2023-08-08 |
| EP4000520A1 (en) | 2022-05-25 |
| EP4243691A1 (en) | 2023-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hong et al. | Feature extraction and classification methods for hybrid fNIRS-EEG brain-computer interfaces | |
| KR102022667B1 (ko) | 환자를 모니터링하는 방법 및 장치 | |
| JP5320543B2 (ja) | 脳機能亢進支援装置および脳機能亢進支援方法 | |
| JP6495235B2 (ja) | 放射線撮像における予測動きゲーティングのための神経生理学的監視 | |
| JP6124140B2 (ja) | 患者の認知機能の評価 | |
| CN111492438A (zh) | 睡眠阶段预测以及基于此的干预准备 | |
| Brouwer et al. | Improving real-life estimates of emotion based on heart rate: a perspective on taking metabolic heart rate into account | |
| US20090192402A1 (en) | System and method providing biofeedback for anxiety and stress reduction | |
| WO2019173237A1 (en) | Systems, devices, and methods for tracking and analyzing subject motion during a medical imaging scan and/or therapeutic procedure | |
| US20110263997A1 (en) | System and method for remotely diagnosing and managing treatment of restrictive and obstructive lung disease and cardiopulmonary disorders | |
| CN112996431A (zh) | 用于影响呼吸参数的呼吸适配系统和方法 | |
| Fernandez Rojas et al. | A systematic review of neurophysiological sensing for the assessment of acute pain | |
| JP2022525985A (ja) | 前頭部脳活動モニタリングセンサからの情報に基づいた深い睡眠の強化 | |
| US20240008783A1 (en) | Method and system for sensor signals dependent dialog generation during a medical imaging process | |
| Balan et al. | Automatic adaptation of exposure intensity in VR acrophobia therapy, based on deep neural networks | |
| Zhang et al. | Recognition of public speaking anxiety on the recurrence quantification analysis of GSR signals | |
| JP5870465B2 (ja) | 脳機能訓練装置および脳機能訓練プログラム | |
| US20210183509A1 (en) | Interactive user system and method | |
| KR102235716B1 (ko) | 가상현실을 이용한 학습장애 진단/치유장치, 및 그 방법 | |
| Mughal et al. | Emotion recognition techniques for geriatric users: a snapshot | |
| US20230059015A1 (en) | Apparatus for monitoring of a patient undergoing a magnetic resonance image scan | |
| WO2023275975A1 (ja) | 認知機能推定装置、認知機能推定方法及び記憶媒体 | |
| JP5681917B2 (ja) | 脳機能亢進支援装置および脳機能亢進支援方法 | |
| JP7435965B2 (ja) | 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム | |
| KR102610271B1 (ko) | 사용자의 행동 데이터에 대응되는 생각 데이터를 유도하기 위한 컨텐츠를 제공하는 방법 및 이를 이용한 컴퓨팅 장치 |