JP7409627B2 - 画像処理装置、画像処理方法、プログラム、及び画像処理システム - Google Patents
画像処理装置、画像処理方法、プログラム、及び画像処理システム Download PDFInfo
- Publication number
- JP7409627B2 JP7409627B2 JP2023538665A JP2023538665A JP7409627B2 JP 7409627 B2 JP7409627 B2 JP 7409627B2 JP 2023538665 A JP2023538665 A JP 2023538665A JP 2023538665 A JP2023538665 A JP 2023538665A JP 7409627 B2 JP7409627 B2 JP 7409627B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- image
- region
- image processing
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 590
- 238000003672 processing method Methods 0.000 title description 5
- 210000004204 blood vessel Anatomy 0.000 claims description 233
- 239000003550 marker Substances 0.000 claims description 131
- 238000011282 treatment Methods 0.000 claims description 130
- 206010002329 Aneurysm Diseases 0.000 claims description 107
- 230000010102 embolization Effects 0.000 claims description 70
- 230000003073 embolic effect Effects 0.000 claims description 23
- 239000000463 material Substances 0.000 claims description 17
- 208000007536 Thrombosis Diseases 0.000 claims description 11
- 238000000034 method Methods 0.000 description 106
- 238000001356 surgical procedure Methods 0.000 description 76
- 238000010586 diagram Methods 0.000 description 58
- 238000003860 storage Methods 0.000 description 49
- 238000001514 detection method Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 27
- 230000033001 locomotion Effects 0.000 description 26
- 238000012360 testing method Methods 0.000 description 21
- 238000009826 distribution Methods 0.000 description 20
- 230000001133 acceleration Effects 0.000 description 19
- 238000010801 machine learning Methods 0.000 description 18
- 238000003780 insertion Methods 0.000 description 17
- 230000037431 insertion Effects 0.000 description 17
- 230000011218 segmentation Effects 0.000 description 17
- 201000008450 Intracranial aneurysm Diseases 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000010191 image analysis Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000002792 vascular Effects 0.000 description 15
- 239000002872 contrast media Substances 0.000 description 14
- 238000000605 extraction Methods 0.000 description 14
- 208000031481 Pathologic Constriction Diseases 0.000 description 13
- 238000002583 angiography Methods 0.000 description 12
- 230000003902 lesion Effects 0.000 description 12
- 230000036262 stenosis Effects 0.000 description 12
- 208000037804 stenosis Diseases 0.000 description 12
- 239000000284 extract Substances 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 230000002490 cerebral effect Effects 0.000 description 9
- 239000007924 injection Substances 0.000 description 9
- 238000002347 injection Methods 0.000 description 9
- 239000007788 liquid Substances 0.000 description 9
- 238000012276 Endovascular treatment Methods 0.000 description 8
- 210000001367 artery Anatomy 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 7
- 210000004004 carotid artery internal Anatomy 0.000 description 7
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- 239000008280 blood Substances 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000002594 fluoroscopy Methods 0.000 description 6
- 206010053648 Vascular occlusion Diseases 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 5
- 230000008034 disappearance Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006698 induction Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 206010068149 Vessel perforation Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 210000001715 carotid artery Anatomy 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 208000002263 Intracranial Arteriovenous Malformations Diseases 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- 210000002376 aorta thoracic Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 206010008118 cerebral infarction Diseases 0.000 description 3
- 208000026106 cerebrovascular disease Diseases 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 210000004013 groin Anatomy 0.000 description 3
- 210000002216 heart Anatomy 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 210000003657 middle cerebral artery Anatomy 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 210000005259 peripheral blood Anatomy 0.000 description 3
- 239000011886 peripheral blood Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 208000021331 vascular occlusion disease Diseases 0.000 description 3
- 208000000483 Central Nervous System Vascular Malformations Diseases 0.000 description 2
- 208000034710 Cerebral arteriovenous malformation Diseases 0.000 description 2
- 206010047163 Vasospasm Diseases 0.000 description 2
- 206010047249 Venous thrombosis Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 201000000034 arteriovenous malformations of the brain Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002224 dissection Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 210000001636 ophthalmic artery Anatomy 0.000 description 2
- 210000004197 pelvis Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000003388 posterior cerebral artery Anatomy 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000001994 temporal artery Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- CNHDIAIOKMXOLK-UHFFFAOYSA-N toluquinol Chemical compound CC1=CC(O)=CC=C1O CNHDIAIOKMXOLK-UHFFFAOYSA-N 0.000 description 2
- 231100000216 vascular lesion Toxicity 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 206010069729 Collateral circulation Diseases 0.000 description 1
- 208000005189 Embolism Diseases 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- 241000032989 Ipomoea lacunosa Species 0.000 description 1
- 208000032851 Subarachnoid Hemorrhage Diseases 0.000 description 1
- 208000009443 Vascular Malformations Diseases 0.000 description 1
- 206010058990 Venous occlusion Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000002551 anterior cerebral artery Anatomy 0.000 description 1
- 210000005097 arteria cerebelosa anteroinferior Anatomy 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000002302 brachial artery Anatomy 0.000 description 1
- 210000002168 brachiocephalic trunk Anatomy 0.000 description 1
- 230000006931 brain damage Effects 0.000 description 1
- 231100000874 brain damage Toxicity 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000000269 carotid artery external Anatomy 0.000 description 1
- 210000000711 cavernous sinus Anatomy 0.000 description 1
- 210000001627 cerebral artery Anatomy 0.000 description 1
- 210000004298 cerebral vein Anatomy 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- JJJFUHOGVZWXNQ-UHFFFAOYSA-N enbucrilate Chemical compound CCCCOC(=O)C(=C)C#N JJJFUHOGVZWXNQ-UHFFFAOYSA-N 0.000 description 1
- 210000002532 foramen magnum Anatomy 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 201000007272 intracranial sinus thrombosis Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002966 stenotic effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000013151 thrombectomy Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
図1は、実施の形態に係る画像処理システムSの外観を模式的に示す図である。画像処理システムSは、画像処理装置1、表示装置2、及びX線撮像装置3を備える。以下、図1を参照して、実施の形態の概要を述べる。
図2は、実施の形態に係る画像処理装置1の機能構成を模式的に示す図である。画像処理装置1は、記憶部10と制御部11とを備える。図2において、矢印は主なデータの流れを示しており、図2に示していないデータの流れがあってもよい。図2において、各機能ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図2に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。また、図33は、別の実施の形態に係る画像処理装置1の機能構成を模式的に示す図である。図33では、出力部116から外部デバイス4に対して出力が行われることが示されている。
検出方法は機械学習には限らないが、例えば機械学習の場合、学習のための入力データとしては、実際の手術動画・検査動画、ファントムを用いた血管撮影装置の動画、バーチャルで作った手術動画などを用いる。動画でなく静止画でも良い。バーチャルの手術動画は、手作業で作成しても良いし、アルゴリズムで手術に似た画像を生成しても良いし、「敵対的生成ネットワーク」(Generative Adversarial Networks;GAN)などを用いても良い。
実施の形態に係る画像処理装置1は、デバイスを含む関心領域だけなく、血管も認識することができる。方法は上記に記載したデバイスの認識と同じである。機械学習・ディープラーニング(AI)やルールベースの手法を用いるが、手法はこれに限らない。例えば、ライブもしくはマスクの動画もしくは静止画において血管のアノテーション(セグメンテーションによる塗りつぶしなど)を行い、ディープラーニングで学習する。もしくは、画像はグレースケール(モノクロ)であるため、閾値をもうけて白い部分・黒い部分のみを抽出してもよい。輪郭抽出により血管を抽出してもよい。動画であれば加算平均をとってもよい。これらの組み合わせにより血管を抽出する。血管は1つのもしくは経時的な複数のマスク画像から認識しても良いし、造影時の1つまたは複数の画像を用いて認識しても良い。更に、正面画像と側面画像をあわせて認識しても良い。2方向からの画像で認識することにより認識精度の向上が期待される。
血管を認識する際に、解剖の情報を同時に推測することもできる。例えば、左右の識別、内頚動脈・外頸動脈、中大脳動脈、後大脳動脈、後交通動脈、前交通動脈などの解剖的分類で認識しても良い。内頚動脈をC1~C5や、中大脳動脈をM1, M2 (superior trunk, inferior trunk, anterior temporal arteryなど), M3などに分けて認識しても良い。更に血管をセグメンテーション(塗りつぶし、2D)だけでなく、そこから中心線をとるなどによりツリー状(線状、1D)に変換してもよい。認識の手法や表現方法は上に記載したものと同じである。
血管を認識する際に病変を認識しても良い。例えば、脳動脈瘤、狭窄、脳動静脈奇形、閉塞などを認識しても良い。認識の手法や表現方法は上に記載したものと同じである。
手術における重要な血管を手動もしくは自動で抽出して、それを強調表示もしくは、その血管のみを表示しても良い。自動抽出は例えば、血管径が閾値より太い血管を選択したり、上記の血管解剖の認識から内頚動脈などのメインの血管を抽出したり、上記の病変部の認識から動脈瘤や狭窄を同定してそれに沿った血管のみを抽出したりするが、これに限らない。
血管抽出の具体例を図32に示す。このような血管抽出を自動で行うことができる。
血管内治療は最大4画面のX線画像を見て行うことが特徴的である(正面像・側面像の2方向×マスク・ライブ画像)。そのため、input画像として、4画面のうち、1画面ではなく、2~4画面を入力として学習しても良い。もしくは、4画面を適宜組み合わせて生成した画像を入力画像にしても良い(差分を取るなど)。もしくは、マスク画像の元になるのは、前に撮影したDSA画像(digital subtraction angiography=造影剤が入る前後のライブ画像の差分)とリアルタイムのDA画像(digital angiography)の差分であるため、これらの大元になっている画像を入力画像として使用しても良い。
Faster R-CNNは、領域の切り出しと認識とを同時に行うCNN(Convolutional Neural Network)である。畳み込みニューラルネットワーク(CNN)は、「畳み込み層」や「プーリング層」などの幾つかの特徴的な機能を持った層を積み上げることで構成される何段もの深い層を持つニューラルネットワークであり、特に画像認識の分野で優れた性能を発揮している。Faster R-CNNは、ほぼ実時間(1秒あたり10~20フレーム程度)で入力画像から関心領域の切り出しと認識を行うことができる。Faster R-CNNでは、画像の入力から物体の検出までEnd-to-Endでの学習が可能である。
続いて、関心領域Rに設定される条件の具体例を説明する。
続いて、関心領域Rに設定される条件の別の例として、塞栓用コイルのデリバリーワイヤーを誘導するガイディングカテーテルに関する条件について説明する。
続いて、関心領域Rに設定される条件のさらに別の例として、デバイスD(例えば、ガイドワイヤー)の形状に関する条件について説明する。
動脈瘤塞栓用カテーテルには、先端マーカー(1stマーカー)と2ndマーカー(通常は先端から3cmの位置)が付されている。動脈瘤内のどこにカテーテルの先端があるかを術者が把握することは、手術を安全に行うために重要であるが、動脈瘤内にコイルが入ると、先端マーカーの位置がわかりにくくなり、安全性が低下する(図17を参照)。例えば、先端マーカーが動脈瘤の奥に移動すると、その先端、もしくは、その先端から出るコイルによって動脈瘤を穿孔し、くも膜下出血という重大な合併症につながる。逆に先端マーカーが動脈瘤から出そうになっていると、カテーテルやコイルが動脈瘤外に逸脱し、再度、動脈瘤内に入れなければならず、この操作に動脈瘤壁の穿孔の危険が伴う。
図22は、実施の形態に係る画像処理装置が実行する2ndマーカーを利用したカテーテル先端位置の推定処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したとき、あるいはユーザまたは画像処理装置1により処理の開始が必要と判断されたときに開始される。
医療従事者は施術中、特定の場所を注目しているため、本開示に係るシステムが通知を発した際に、警告が出されたデバイスに注目していない場合、もしくは別の画面を見ている場合、警告発生以降に状況の把握に努めることになる。しかしリアルタイムの映像は刻々と更新されるため、警告が出た時刻周辺の詳細を確認することはしばしば困難である。また、警告の性質により、デバイスの動作自体の詳細、警告発生時点と現在の差異、警告発生時点からの経過時間、等の把握が必要となる。
図23は、実施の形態に係る画像処理装置が実行するリプレイ機能の処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
ガイドワイヤー先端やガイディングカテーテル先端などの関心領域が、X線画角の範囲外へ移動(フレームアウト)することは危険なことであるが、危険度はその移動量により異なる。具体的には例えば、ガイドワイヤーの先端が少し(5mm以内など)枠外に出ただけであれば血管穿孔の可能性は低いが、大きく枠外に出た場合(20mm以上など)、血管穿孔のリスクが高く、関心領域がフレームアウトした時には、X線画像の画角内に引き戻す必要がるが、状況等によっては即座に対処できない場合もある。このような場合に、フレームアウトした関心領域が、X線画角の範囲外へどの程度移動しているか、またその移動がどの程度危険であるかを知ることは重要である。よって、本発明の一部の態様は、フレームアウトした関心領域の位置、速度、加速度の状態を推定し、表示する装置に関する。
図24は、実施の形態に係る画像処理装置が実行するフレーム外の関心領域の位置の推定処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
本発明の一部の態様では、画像解析の結果を、サイズの異なる2つの画面で表示することができる。上述のように、血管内手術では一般的に、複数の画面(例えば、4画面)を見ながら手術が行われ、術者は最低でも2画面(一般的には正面(AP方向もしくはF方向:Anterior-Posterior, Frontal)と側面(RL方向もしくはLAT方向:Right to Left, Lateral))を見ることにより立体的な情報を把握している。そのため、正面と側面の画像を表示しておくことは重要であり、物理的に限られたサイズのモニターに見やすく表示することは非常に重要である。実際の手術では、モニターは患者のベッド越しに1m以上離れて配置されることが多く、モニターを1cmでも術者に近づけるように指示が出されることも多い。なお、正面と側面は角度が立体的に動き、例えば正面の管球を用いて、右15度、頭側に10度の角度をつけて、斜めから見ることは常に行っている。これにより、3次元が2次元に投影された場合でも、2次元でもよく分かるように角度をつけて見ている。更に、4画面の場合は、正面のLiveとMask、側面のLiveとMaskとなる。Liveは通常の透視画像で一般的なレントゲン写真と似ており、それをリアルタイムで見ている。Maskは術者が選ぶ過去の任意のLive画像との差分(サブトラクション)を取っている。それにより、Liveで見えていた骨が消え、例えば、造影剤で写っている血管とデバイスのみが見えて、術者にわかりやすい映像が得られる。
本発明の一部の態様では、画面内にある関心領域は確率分布として出力されるため、関心領域の存在を確率で表現することも可能である。存在する領域の確率分布は数値、色、バーなどで表示しても良い。さらに、通知すべき場面かどうかも確率で表現することも可能である。通知すべき場面かどうかを確率に応じた数値、色、バーなどで表示しても良い。また、画面内のどの部分が責任部分かを確率分布としてのヒートマップなどによる表示をしても良い。
確率分布はわかりやすいように変換して表示しても良い。例えば、0~30%はlow、30~70%はmiddle、70~100%はhighとして文字表示したり、3色で表示したりしても良い。別の例として、70%未満の領域を少し暗くして、関心領域もしくは通知すべき領域がスポットライトのように明るく見えるようにしてもよい。
血管内治療で使用するデバイスは様々なものがあり、それぞれにおいて多くの種類が存在する。デバイスの例としては、様々なカテーテル、バルーン付きカテーテル、ガイドワイヤー、ステント、フローダイバータステント(メッシュの細かいステント)、コイル、塞栓物質(液体や粒子などの物質)、その他の塞栓デバイス(WEBなど)がある。また、それぞれのデバイスにおいて、様々な種類がある。例えばカテーテルでは、先端形状・長さ・内腔・外腔・硬さなどの規格がある。コイルでは、メーカー・太さ・全長・直径・硬さなどの規格があり、数百種類存在する。これらを全て覚えておくことは不可能であり、また、在庫もあるかわからないため、手術中にそれを術者が業者に確認しながら、治療を進めていく。組み合わせも重要であり、またコイルの大きさなどは画像を見ながら判断していく。コイルは動脈瘤であれば通常5~15本くらい使用するため、次にどれを使うかを考えなければならないが、在庫管理やラインナップなどを術者・助手は覚えることは困難である。新製品が出たり、旧製品がなくなったりするため、状況を把握することも困難であり、また施設によって揃えているラインナップが変わる。現在は、治療中に業者とコミュニケーションを取ることにより、デバイスの選択をしているが、スムーズではない。
例えば、脳動脈瘤の治療のためにデバイスを挿入した際、術者は、いつX線画面内にデバイスが到達するかわからないため、デバイスの移動を進めながらずっとX線を出して画面をみておく必要があり、通常は、デバイスが見えるようになるまでは素早く、見えるようになった後はゆっくりとデバイスの移動を進める。この際、デバイスの出現を見落として、スピードを落とすことができないと、血管穿孔や解離のリスクがある。デバイスが見えるまでは本来は画面の変化がない状況でX線を照射しており、患者および術者・助手・医療従事者の被爆の増大につながる。よって、本発明の一部の態様では、画像処理装置は、画像中、例えば、画像中の縁部もしくは縁部から一定の距離の範囲内または特定の領域内に新たに出現したデバイスが関心領域として新たに検出されることを条件としてユーザ(術者)に通知することができる(図25)。より詳細には、本発明の一部の態様は、血管内の検査用又は治療用のために画像を取得する画像取得部と、前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記通知部は、画像中または特定の領域内の新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、画像処理装置に関する。これにより、血管内治療を行う際の術者の負担を減らすことができる。
例えば、動脈瘤にコイルを挿入しているときに、ガイディングカテーテルや中間カテーテルが移動したり、ステントが移動したり、バルーンが移動したり、バルーンを誘導するガイドワイヤーの先端が移動したりするが、術者は動脈瘤を中心に見ているため、その移動や変化に気づかない。本発明の一部の態様では、画像処理装置は、画像中、例えば、特定の領域内に新たに出現したデバイスが関心領域として新たに検出されることを条件としてユーザ(術者)に通知することができる(図37)。より詳細には、本発明の一部の態様は、血管内の検査用又は治療用のために画像を取得する画像取得部と、前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記通知部は、画像中または特定の領域内の新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、画像処理装置に関する。これにより、血管内治療を行う際の術者の負担を減らすことができる。加えて、本発明の一部の態様では、画像処理装置は、前記画像において前記関心領域を追跡する追跡部をさらに含んでいてもよい。ここで、通知部は、画像中の縁部もしくは縁部から一定の距離の範囲内または特定の領域内に新たに出現したデバイスが関心領域として新たに検出されることを条件として前記ユーザに通知することができる。
図26は、実施の形態に係る画像処理装置が実行する画面内に新たに入ってきたデバイスの認識の処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置が起動したときに開始する。
(特定の境界線の指定に基づく通知)
本発明の一部の態様では、画像処理装置は、関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件としてユーザ(術者)に通知することができる。より詳細には、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記通知部は、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記ユーザに通知する、画像処理装置に関する。これにより、画像処理装置が通知を行う条件をより柔軟に設定することができる(図27および図28)。通過の予測は、前記関心領域と境界線との間の距離、または前記距離/前記関心領域の速度にもとづき行われうる。この画像処理装置は、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていてもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。
例えば、手術中にユーザ(術者)が画面上のデバイスをマウスやタッチパネルなどのポインティングデバイスを使って指定する必要がある場合、動いているデバイスを手術中にピンポイントで選択することは容易でない。例えば、カテーテル治療中にはデバイスが意図しない動きを見せることがある。そのため、画面上で矩形など任意の図形で一定の領域で囲むことで、その中にあるデバイスを選択することができれば、デバイスが動いていても取りこぼしにくい。よって、本発明の一部の態様では、画像処理装置は、関心領域として、画像上でユーザが指定する領域内に含まれる関心領域を取得することができる。より詳細には、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、画像処理装置に関する。この画像処理装置は、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていてもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。
手術中のリアルタイムでのデバイス認識の際、血管造影、穿刺、ノイズ発生時などの場面で推論してしまうと、間違った認識結果を出してしまうことがある。そのため、特定の手術の状況を自動で認識して、状況に応じてデバイス認識を停止するなどの対応をとることが望ましい。よって、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に基づき特定の手術の状況を認識する状況認識部と、を備える画像処理装置に関する。
手術動画は記録、医療従事者の教育、患者およびその家族への説明の上で重要である。しかし、例えば脳血管手術の場合、最大4つの画面に対応する動画があり、それぞれ1~2時間の長さがあるため、閲覧や編集には時間がかかる。そこで、AIで自動的にイベントの検出やシーン分類を行い、手術記録、教育、説明用の動画の保存や、重要な画像の静止画保存を行うことが望ましい。よって、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、その条件に対応する手術の状況を記録する記録部とを備える、画像処理装置に関する。
リアルタイム手術支援の場合には、ROIの設定時に、境界(ROI)をシーン分類に応じて、提案・出現・消去・移動・拡大・縮小しても良い。また認識や通知の有無やタイプを変更しても良い例えば、造影中であるというシーン分類ができた場合は、認識を止めたり、通知をとめたりしても良い。それは、一般的には、造影の目的は血管を見ることであり、そのときにデバイスが動くことは稀であり、通知をする必要性は低いからである。一方で通知をしても良い。稀ではあるが、造影により、デバイスが動くことがあるからである。
複数のデバイスを含む画像においては、画面内に様々な情報が増えすぎることで、瞬間的な状況の把握が難しくなる場合がある。そこで、メインの手術画面の横にデバイスの上下位置のみを表示するサブ画面を用意することにより、そのような問題を解決する(図29)。よって、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる表示部をさらに備える、画像処理装置に関する。この画像処理装置は、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていてもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。
本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記画像において前記関心領域それぞれを追跡する追跡部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記関心領域が複数追跡される場合、複数の関心領域をそれぞれ異なる表示様式で表示する表示部をさらに備える、画像処理装置に関する。このような態様では、複数の関心領域をそれぞれ異なる表示様式で表示されるため、個々のデバイスの識別が容易となる。表示様式は、例えば、色、形、模様、記号、文字、キャプション、またはアニメーションである。
本発明の一部の態様は、血管カテーテル手術支援システム、例えば、脳、心臓、四肢抹消、および腹部の血管、特に脳血管のカテーテル手術支援システムに関する。このようなシステムは、画像処理装置と、血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置とを備え、前記画像処理装置が、手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む領域(例えば、固定された領域)のX線画像を経時的に取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部とを備え、前記1又は複数のデバイスがカテーテル、ガイドワイヤー、ステント及び/又はバルーンであり、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となること、または前記関心領域が一定距離ずれたことを条件として前記ユーザに通知する、システムでありうる。このシステムは、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていてもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。
図10は、実施の形態に係る画像処理装置1が実行する画像解析処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
血管撮影の検査や治療において、造影によって血管の撮影を行い、病変を診断するが、見落とすことや、同日の前に撮った撮影や、別の日の撮影と比較して判断しなければならず、時間がかかったり、比較が難しかったりすることがある。また二次元に投影されるため、判断が難しいことがある。よって、本発明の一部の態様は、造影剤による血管撮影において、ディープラーニングなどを用いて、脳動脈瘤、狭窄、閉塞、血栓形成、血管穿孔(造影剤の流出)、シャント疾患、腫瘍血管の栄養血管・腫瘍濃染、静脈血栓症、毛細血管相の無血管領域(血管閉塞の所見)、側副血行路などを含むが、これらに限定はされない病変または部位を指摘する画像診断装置に関する。よって、本発明の一部の態様において、画像処理装置は、前記画像中の動脈瘤、狭窄、血管攣縮、解離、閉塞、再開通、血栓形成、血栓の部位と両端の位置、血管穿孔、造影剤の血管外への漏出、血管の石灰化、動脈硬化、シャント疾患やその栄養血管や流出血管、血液(造影剤)の逆流、脳動静脈奇形、硬膜動静脈瘻、無血管領域、骨のメルクマーク(内耳道、眼底、眼窩上縁、錐体部、大後頭孔、頚椎、鎖骨、肋骨・脊椎の番号、大腿骨頭、骨盤)、腫瘍血管の栄養血管・腫瘍濃染、静脈閉塞、静脈洞血栓症、毛細血管相の無血管領域、血管閉塞、コイルの動脈瘤内の形状や分布、バルーンの位置・膨らみ・形状、コイルの正常血管への逸脱、ステントの拡張不足や血管への密着度合いやねじれ、ステントの移動、ステントの両端の位置、穿刺部と血管の位置関係(狭窄がないか、分岐部近くにないか)、血管の蛇行、大動脈弓部のタイプ(右腕頭動脈が大動脈弓部のトップからどのくらい下にあるか)、液体塞栓物質の浸透範囲、血液(造影剤)の流れの遅延や停滞、血管のバリエーション(前交通動脈・前大脳動脈A1・後交通動脈・後大脳動脈P1・後下小脳動脈・前下小脳動脈・上小脳動脈・浅側頭動脈・各静脈洞・各静脈の有無・発達度合い)、もやもや血管(内頚動脈先端部の狭窄・閉塞とその先の側副血行路の発達)、動脈の分岐部とセグメント(内頚動脈錐体部・海綿静脈洞部・眼動脈部、中大脳動脈M1の分岐部)の位置、過去の手術痕跡(クリップ、コイル、プレート、シャントチューブ・バルブ、脳室チューブ、脳槽チューブ)、WEBデバイスの位置・開き具合、異物(義歯、プレート)、および側副血行路から成る群より選択される病変を認識する病変認識部をさらに含むことができる。指摘まで行わず、異常所見が疑わしい場合に通知したり、どのあたりが異常な可能性があるかを領域で指摘したりしても良い。その場合、最終的には医師が判断することができる。同様に、本発明の一部の態様は、血管撮影を行った際に、前の撮影と比較して、もしくは別の日に行った撮影と比較して、その変化を指摘する画像診断装置に関する。よって、本発明の一部の態様において、画像処理装置は、画像中の血管撮影像を以前に取得して記憶した血管撮影像と比較して、変化を通知する画像認識部をさらに含むことができる。例えば、血管攣縮の程度の変化、血栓形成の変化(出現、消失、拡大、縮小など)、閉塞血管の解除、血管の閉塞、コイルの逸脱、ステントの移動などを指摘することができる。
以上説明したように、実施の形態に係る画像処理装置1によれば、血管のカテーテル検査又は治療において、医療従事者であるユーザを注目部における作業に集中させ、注目部の判断をサポートするための技術を提供することができる。
上記では、脳血管の検査又は治療について主に説明した。しかしながら、本発明の適用対象は脳血管に限られず、心臓、四肢抹消、腹部など、循環器領域を含む血管内の検査及び治療に適用できる。
上記では、図7(a)-(b)のような2画面の装置を例に説明を行ったが、画面の数はこれに限定されず、例えば1画面や3画面以上であってもよい。
上記では、X線撮像装置3が被験者Pの術部の画像を撮影する場合について説明した。しかしながら、被験者Pの術部の画像を撮影する撮像装置はX線撮像装置3に限られない。この他、例えばMRI(Magnetic Resonance Imaging)や超音波撮影装置等のモダリティを用いて術部の画像を撮影してもよい。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、本出願の開示事項は以下の付記に限定はされない。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備える画像処理装置。
(付記2)
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知する、
付記1に記載の画像処理装置。
(付記3)
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
付記1に記載の画像処理装置。
(付記4)
前記通知部は、前記画像内における前記関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つがあらかじめ定められた閾値を超えることを条件として前記ユーザに通知する、
付記1から3のいずれか1項に記載の画像処理装置。
(付記5)
前記通知部は、前記関心領域と前記画像の縁部との距離を、前記画像を表示する表示装置に表示させる、
付記1から4のいずれか1項に記載の画像処理装置。
(付記6)
前記通知部は、前記関心領域と前記画像の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、
付記5に記載の画像処理装置。
(付記7)
前記通知部は、前記関心領域と前記画像の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、
付記1から6のいずれか1項に記載の画像処理装置。
(付記8)
塞栓用コイルのデリバリーワイヤーに設けられたマーカーであって、前記デリバリーワイヤーを誘導するマイクロカテーテルの一部に設定された関心領域に接近するマーカーを検出するマーカー検出部をさらに備え、
前記追跡部は、検出された前記マーカーをさらに追跡し、
前記通知部は、前記マーカーと前記関心領域とが重畳することを契機として、前記塞栓用コイルを前記デリバリーワイヤーから切断してもよいタイミングを前記ユーザに通知する、
付記1から7のいずれか1項に記載の画像処理装置。
(付記9)
前記通知部は、前記マーカーが前記関心領域を通過した場合、そのことを前記ユーザに通知する、
付記8に記載の画像処理装置。
(付記10)
前記通知部は、前記塞栓用コイルを前記デリバリーワイヤーから切断するまでに前記マーカーが移動すべき距離を表示装置に表示させる、
付記8又は9に記載の画像処理装置。
(付記11)
前記通知部は、前記関心領域に含まれる前記デバイスの形状を示す特徴量が所定の条件を満たす場合、そのことを前記画像処理装置のユーザに通知する、
付記1から10のいずれか1項に記載の画像処理装置。
(付記12)
前記特徴量は曲率であり、
前記通知部は、前記関心領域に含まれる前記デバイスの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として前記ユーザに通知する、
付記11に記載の画像処理装置。
(付記13)
前記通知部は、前記画像または関心領域に含まれる前記デバイスの長さから前記画像または関心領域に含まれる前記血管の中心線の長さを減じた値が所定の閾長さを超えることを条件として前記ユーザに通知する、
付記11又は12に記載の画像処理装置。
(付記14)
前記通知部は、前記関心領域を前記画像と異なる色に着色して表示させる、表示する文字のフォント、サイズもしくは色を変える、表示装置の画面全体もしくは一部の場所の色を変える、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、関心領域を拡大表示する、または関心領域に付するマークの色もしくはサイズを変えることによりユーザに通知を行う、付記1から13のいずれか1項に記載の画像処理装置。
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、前記画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、
付記1から14のいずれか1項に記載の画像処理装置。
(付記16)
画像取得部から得た画像または動画を経時的に保存する映像記憶部をさらに含む、付記1から15のいずれか1項に記載の画像処理装置。
(付記17)
通知部が通知を発した前後の一定の期間の映像またはユーザが指定した任意の時間または期間の映像を前記映像記憶部より抽出する映像抽出部をさらに含む、付記16に記載の画像処理装置。
(付記18)
通知が発生した際の関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つに基づき、映像の抽出期間が自動で決定されることを特徴とする、付記17に記載の画像処理装置。
(付記19)
抽出された映像を表示装置に表示させる、付記17または18に記載の画像処理装置。
(付記20)
抽出された映像が、自動的に所定の回数繰り返して表示される、付記19に記載の画像処理装置。
(付記21)
再生、停止、早送り、巻き戻し、コマ送り、スロー再生、倍速再生を含む任意の操作に基づいて、抽出された映像が表示される、付記20に記載の画像処理装置。
(付記22)
通知が発生した時点からの経過時間、通知が発生した時点と任意の時間の経過後における関心領域の位置の比較、または追跡部が取得した関心領域の軌跡が、抽出された映像に重畳してさらに表示される、付記17から21のいずれか1項に記載の画像処理装置。
(付記23)
抽出された映像が、関心領域の近傍の一部の領域を切り出して表示される、付記17から22のいずれか1項に記載の画像処理装置。
(付記24)
抽出された映像が、関心領域の表示を妨げない位置に表示される、付記17から23のいずれか1項に記載の画像処理装置。
(付記25)
抽出された映像が、拡大されて表示される、付記17から24のいずれか1項に記載の画像処理装置。
(付記26)
抽出された映像が、通知の発生と同時または通知の発生から所定時間の経過後に表示される、付記17から25のいずれか1項に記載の画像処理装置。
(付記27)
複数の方向から撮影された映像が同時に表示される、付記17から26のいずれか1項に記載の画像処理装置。
(付記28)
前記関心領域が前記画像から消失する直前のカテーテルの先端部又はガイドワイヤーの先端部の位置、速度および/または加速度に基づき、前記画像から消失したカテーテルの先端部又はガイドワイヤーの先端部の現在位置および/または速度を推定する状態推定部をさらに備える、付記2から27のいずれか1項に記載の画像処理装置。
(付記29)
状態推定部が推定した関心領域の現在位置および/または速度が所定の閾値を超えた場合にユーザに警告が通知される、付記28に記載の画像処理装置。
(付記30)
前記画像を表示する表示装置が、2つの画像をサイズの異なる2つの画面に表示する、付記1から29のいずれか1項に記載の画像処理装置。
(付記31)
前記表示装置が、2つの画面のうち一方の画面の枠部分を光らせる、色を変える、または強調表示することにより、ユーザに注意を促す、付記30項に記載の画像処理装置。
(付記32)
前記画像を表示する表示装置が、血管内の検査用又は治療用のデバイスの製品一覧を表示する、付記1から31のいずれか1項に記載の画像処理装置。
(付記33)
前記表示装置が、サイズまたは在庫により絞り込んだ製品一覧を表示する、付記32に記載の画像処理装置。
(付記34)
前記表示装置が、画像解析結果、施設の情報、またはユーザの好みの情報に基づき、推奨される製品のリストを表示する、付記32または33に記載の画像処理装置。
(付記35)
使用されたデバイスの情報、取得された画像の情報、および画像解析結果を含む手術記録を自動で、またはユーザの選択に基づき作成する、付記1から34のいずれか1項に記載の画像処理装置。
(付記36)
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた数値、色、バーもしくはヒートマップ、または確率分布に任意の変換をほどこした値にもとづく数値、色、バーもしくはヒートマップを、前記画像を表示する表示装置に表示する、付記1から35のいずれか1項に記載の画像処理装置。
(付記37)
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた色もしくはヒートマップ、または確率分布を任意に変換した値に基づく色もしくはヒートマップにより、前記関心領域を着色して前記画像を表示する表示装置に表示する、あるいは条件を満たす確率を数値もしくは色に置き換えて前記画像を表示する表示装置に表示する、付記1から35のいずれか1項に記載の画像処理装置。
(付記38)
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、付記1から37のいずれか1項に記載の画像処理装置。
(付記39)
前記特定の範囲の境界線が、直線、曲線、円形、矩形、または、その他の多角形により表される、付記38に記載の画像処理装置。
(付記40)
前記特定の範囲が、X線画像上に重畳表示される、付記38または39に記載の画像処理装置。
(付記41)
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を、前記画像を表示する表示装置に表示させる、付記38から40のいずれか1項に記載の画像処理装置。
(付記42)
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、付記41に記載の画像処理装置。
(付記43)
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、付記38から42のいずれか1項に記載の画像処理装置。
(付記44)
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、付記3から43のいずれか1項に記載の画像処理装置。
(付記45)
血管内の検査用又は治療用のデバイスの任意の時点における位置および/もしくは形状を取得して記憶する記憶部を含み、記憶されたデバイスの位置および/もしくは形状が取得以降の画像に重畳表示される、付記1から44のいずれか1項に記載の画像処理装置。
(付記46)
前記画像中の脳動脈瘤、狭窄、閉塞、血栓形成、血管穿孔、造影剤の血管外への漏出、シャント疾患、腫瘍血管の栄養血管・腫瘍濃染、静脈血栓症、毛細血管相の無血管領域、血管閉塞、および側副血行路から成る群より選択される病変を認識する病変認識部をさらに含む、付記1から42のいずれか1項に記載の画像処理装置。
(付記47)
前記画像中の血管撮影像を以前に取得して記憶した血管撮影像と比較して、変化を通知する画像認識部をさらに含む、付記1から43のいずれか1項に記載の画像処理装置。
画像処理装置のプロセッサが、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得するステップと、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得するステップと、
前記画像において前記関心領域それぞれを追跡するステップと、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知するステップと、
を実行する画像処理方法。
コンピュータに、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する機能と、
前記X線画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する機能と、
前記X線画像において前記関心領域それぞれを追跡する機能と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記コンピュータのユーザに通知する機能と、
を実現させるプログラム。
付記1から44のいずれか1項に記載の画像処理装置と、
血管内の検査用又は治療用のデバイスを挿入した状態の人物の画像を撮像して前記画像処理装置に送信する撮像装置と、
を備える画像処理システム。
脳血管カテーテル手術支援システムであって、
画像処理装置と、
血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と
を備え、
前記1又は複数のデバイスがカテーテル、ガイドワイヤー、ステント及び/又はバルーンであり、
前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
システム。
(付記52)
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤーとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
患者の血管に生じた動脈瘤と、血管内に挿入されたカテーテルと、塞栓用コイルのデリバリーワイヤーとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記ガイディングカテーテルの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記デリバリーワイヤーに設けられたマーカーであって、前記デリバリーワイヤーを誘導する前記カテーテルの一部に設定された1又は複数の関心領域に接近するマーカーを検出するマーカー検出部と、
前記画像において前記関心領域及び前記マーカーそれぞれを追跡する追跡部と、
前記マーカーと前記関心領域とが重畳することを契機として、塞栓用コイルを該デリバリーワイヤーから切断してもよいタイミングをユーザに通知する通知部と
を備える、システム。
(付記53)
前記通知部が、前記関心領域と前記画像の縁部との距離又は前記マーカーと前記関心領域との距離を、前記画像を表示する表示装置に表示させ、
ここで、前記通知部は、前記距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させることができ、表示態様の変化が、前記距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、前記距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、前記距離の大きさに応じて関心領域を拡大表示する、又は前記距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含む、付記51または52記載のシステム。
(付記54)
前記通知部が、前記距離の大きさに応じて通知音を鳴らすことができる、もしくは振動を伝えることができる、付記51から53のいずれか1項に記載のシステム。
(付記55)
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、付記51から54のいずれか1項に記載のシステム。
(付記56)
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤーとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
カテーテルの先端と2ndマーカーとの位置関係を記憶する位置関係記憶部と、
動脈瘤のネックラインと1stマーカーとの距離a及びその時点t1における2ndマーカーの位置を記憶する位置記憶部と、
時点t2における2ndマーカーの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a-bを推定する距離推定部と
推定された距離をユーザに通知する通知部と
を備える、システム。
(付記57)
推定された距離が確率分布により表される、付記56記載のシステム。
(付記58)
推定されるカテーテル先端の位置が確率分布に基づき着色して表示される、付記56または57に記載のシステム。
血管内手術支援システムであって、血管内の検査用又は治療用のデバイスの製品一覧を記憶した記憶部と、画像解析結果、施設の情報、またはユーザの好みの情報に基づき使用する製品を推奨する推奨部と、推奨される製品を表示する表示部とを含む、システム。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得可能な画像取得部を備える、画像処理装置。
(付記A2)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、画像中に新たに出現したデバイスが関心領域として新たに検出されることを条件として前記ユーザに通知する、
付記A1に記載の画像処理装置。
(付記A3)
前記通知部は、画像中の縁部または特定の領域内に新たに出現したデバイスが関心領域として新たに検出されることを条件として前記ユーザに通知する、付記A2に記載の画像処理装置。
(付記A4)
前記特定の領域がユーザにより指定される、付記A3に記載の画像処理装置。
(付記A5)
前記特定の領域が自動で指定される、付記A3に記載の画像処理装置。
(付記A6)
前記特定の領域が、画像処理装置が確認すべき領域であると自動で判断した領域である、付記A5に記載の画像処理装置。
(付記A7)
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記A2~A6のいずれか1項に記載の画像処理装置。
(付記A8)
前記関心領域として、ガイディングカテーテル、ガイドワイヤー、中間カテーテル、マイクロカテーテル、血栓回収用吸引カテーテル、マーカー、コイル、ステント、フィルター、塞栓物質、動脈瘤塞栓器具、およびバルーンから成る群より選択される、血管内の検査用又は治療用のデバイスの少なくとも一部を含む領域が設定される、付記A2~A7のいずれか1項に記載の画像処理装置。
(付記A9)
前記デバイスの少なくとも一部を含む領域が、血管内の検査用又は治療用のデバイスの先端を含む、付記A2~A8のいずれか1項に記載の画像処理装置。
(付記A10)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、前記関心領域が、画像上において指定された特定の境界線を通過することを条件として前記ユーザに通知する、
付記A1に記載の画像処理装置。
(付記A11)
前記特定の境界線が、ユーザにより指定される、付記A10に記載の画像処理装置。
(付記A12)
前記特定の境界線が、自動で指定される、付記A10に記載の画像処理装置。
(付記A13)
前記特定の境界線が、直線、曲線、円形、矩形、または任意の多角形もしくは閉曲線により表される、付記A9~A12のいずれか1項に記載の画像処理装置。
(付記A14)
前記特定の境界線が、前記デバイスの侵入が望ましくない血管への侵入を検出するために用いられる、付記A9~A13のいずれか1項に記載の画像処理装置。
(付記A15)
前記通知部が、1又は複数の領域を関心領域のそれぞれについて、前記条件が初めて満たされたときにのみ前記ユーザに通知する、付記A9~A14のいずれか1項に記載の画像処理装置。
(付記A16)
前記通知部が、1又は複数の領域を関心領域の全体において、前記条件が初めて満たされたときにのみ前記ユーザに通知する、付記A9~A15のいずれか1項に記載の画像処理装置。
(付記A17)
前記通知部が、ユーザが指定した特定の1又は複数の領域を関心領域について、前記条件が満たされたときにのみ前記ユーザに通知する、付記A9~A16のいずれか1項に記載の画像処理装置。
(付記A18)
前記通知部が、自動で特定された1又は複数の領域を関心領域について、前記条件が満たされたときにのみ前記ユーザに通知する、付記A9~A16のいずれか1項に記載の画像処理装置。
(付記A19)
前記特定の境界線が、X線画像上に重畳表示される、付記A9~A18のいずれか1項に記載の画像処理装置。
(付記A20)
前記特定の境界線が、X線画像の範囲または拡大率の変更に応じて再描画される、付記A9~A19のいずれか1項に記載の画像処理装置。
(付記A21)
前記通知が、警告音の発生、または境界線の表示様式の変更により行われる、付記A9~A20のいずれか1項に記載の画像処理装置。
(付記A22)
前記関心領域が、画像上において指定された特定の境界線を通過する向きに応じて、異なる通知の方法が用いられる、付記A9~A21のいずれか1項に記載の画像処理装置。
(付記A23)
前記関心領域が、前記特定の境界線を越える際の速度に応じて、異なる通知の方法が用いられる、付記A9~A22のいずれか1項に記載の画像処理装置。
(付記A24)
前記通知部は、前記関心領域と前記特定の境界線との距離を、前記画像を表示する表示装置に表示させる、付記A9~A23のいずれか1項に記載の画像処理装置。
(付記A25)
前記通知部は、前記関心領域と前記特定の境界線との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、付記A9~A24のいずれか1項に記載の画像処理装置。
(付記A26)
前記通知部は、前記関心領域と前記特定の境界線との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、付記A9~A25のいずれか1項に記載の画像処理装置。
(付記A27)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、
付記A1に記載の画像処理装置。
(付記A28)
前記画像上でユーザが指定する領域が、矩形、円形、または任意の閉曲線により表される、付記A27に記載の画像処理装置。
(付記A29)
ユーザが指定しうる領域の候補が、自動で表示される、付記A27またはA28に記載の画像処理装置。
(付記A30)
ユーザが領域を指定する際に、一時的に画像が静止画となる、付記A27~A29のいずれか1項に記載の画像処理装置。
(付記A31)
ユーザが領域を指定する際に、一時的に画像が遅延再生となる、付記A27~A29のいずれか1項に記載の画像処理装置。
(付記A32)
ユーザが領域を指定する際に、画像の一部が拡大表示される、付記A27~A31のいずれか1項に記載の画像処理装置。
(付記A33)
複数の関心領域が含まれる領域が指定された場合、確認すべき関心領域のみが自動で選択される、付記A27~A32のいずれか1項に記載の画像処理装置。
(付記A34)
確認すべき領域が、ガイドワイヤーの先端が一定の範囲内にあること、ステントのデリバリーワイヤーの先端が一定の範囲内にあること、コイルを切断してよいタイミングを見るためにカテーテルの2ndマーカーが移動する範囲、フィルターが一定の範囲内にあること、カテーテルの先端が一定の範囲内にあること、塞栓物質が一定の範囲内に収まっていること、デバイスが太い血管の内部にとどまっている範囲、動脈瘤、または重要な血管に基づき判断される、付記A33に記載の画像処理装置。
(付記A35)
確認すべき関心領域が、手術の状況に応じて決定される、付記A33またはA34記載の画像処理装置。
(付記A36)
画像が変更された場合に指定領域が自動的に調整される、付記A27~A35のいずれか1項に記載の画像処理装置。
(付記A37)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に基づき特定の手術の状況を認識する状況認識部と、
を備える、付記A1に記載の画像処理装置。
(付記A38)
前記特定の手術の状況が、手術内容、疾患名、血管漏出、血管穿孔、血栓の発生、抹消血管の消失、ガイドワイヤー・カテーテル・バルーンの誘導、カテーテルによる吸引、ステント留置、バルーン拡張、コイルの挿入、動脈瘤塞栓デバイスの挿入、コイルを切るタイミング、フィルターの誘導・留置・回収、液体塞栓物質の注入、造影剤の注入、一定時間以上の静止画像の継続、マスク画像・ライブ画像の判別、撮像部位・角度の判別、画像の切り換え、およびノイズの発生から成る群より選択される少なくとも1つの状況である、付記A37に記載の画像処理装置。
(付記A39)
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
をさらに備える、付記A37またはA38に記載の画像処理装置。
(付記A40)
ノイズの発生が認識された場合に、前記関心領域の取得を停止する、付記A38に記載の画像処理装置。
(付記A41)
一定時間以上の静止画像の継続が認識された場合に、被爆の低減推奨を通知する、付記A38に記載の画像処理装置。
(付記A42)
認識された特定の手術の状況を記録する記録部をさらに含む、付記A37~A41のいずれか1項に記載の画像処理装置。
(付記A43)
前記特定の手術の状況が、パターンマッチング、画像認識、時系列画像認識、時系列差分、または物体検出アルゴリズムにより認識される、付記A37~A42のいずれか1項に記載の画像処理装置。
(付記A44)
認識された特定の手術の状況に応じて、認識されるデバイスが特定される、付記A37~A43のいずれか1項に記載の画像処理装置。
(付記A45)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、その条件に対応する手術の状況を記録する記録部と、
を備える、付記A1に記載の画像処理装置。
(付記A46)
条件が、穿刺、ガイディングカテーテルの処置部位到達、バルーン誘導、バルーン拡張、ステント展開、カテーテル誘導、1本目のコイル挿入、2本目以降のコイル挿入、コイルの動脈瘤内の局在、コイルの母血管への逸脱、カテーテル抜去、コイル抜去、処置終了から成る群より選択される少なくとも1つの処置を含む、付記A45に記載の画像処理装置。
(付記A47)
記録される手術の状況が、静止画、動画、および/または手術の状況を説明するテキスト情報を含む、付記A45またはA46に記載の画像処理装置。
(付記A48)
動画が、前記条件が満たされた時点の前後一定期間の動画である、付記A47に記載の画像処理装置。
(付記A49)
記録された情報が、ユーザにより修正可能である、付記A45~A48のいずれか1項に記載の画像処理装置。
(付記A50)
記録された情報に基づきレポートを作成するレポート作成部をさらに含む、付記A45~A49のいずれか1項に記載の画像処理装置。
(付記A51)
レポート作成部が、記録された静止画、動画、および/または手術の状況を説明するテキスト情報に基づき、手術のサマリーを作成する、付記A50に記載の画像処理装置。
(付記A52)
特定の手術の状況が記録された場合に、ユーザに通知する通知部をさらに含む、付記A45~A51のいずれか1項に記載の画像処理装置。
(付記A53)
特定の手術の状況が記録された後の時間経過に応じて、ユーザに通知する通知部をさらに含む、付記A45~A52のいずれか1項に記載の画像処理装置。
(付記A54)
特定の手術の状況が記録された後の時間経過が、バルーンの拡張時間、ガイドワイヤーの移動時間、速度、もしくは加速度、またはコイルの移動時間に基づき判断される、付記A53に記載の画像処理装置。
(付記A55)
特定の手術の状況が記録された回数に応じて、ユーザに通知する通知部をさらに含む、付記A45~A54のいずれか1項に記載の画像処理装置。
(付記A56)
特定の手術の状況がコイルの挿入である、付記A55に記載の画像処理装置。
(付記A57)
前記画像が、リアルタイムで撮影された動画、または過去に記録された動画から取得される、付記A45~A56のいずれか1項に記載の画像処理装置。
(付記A58)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる表示部をさらに備える、
付記A1に記載の画像処理装置。
(付記A59)
マークの軌跡が一定時間表示される、付記A58記載の画像処理装置。
(付記A60)
マークの表示様式が、関心領域ごとに異なる、付記A60またはA61記載の画像処理装置
(付記A61)
前記表示様式が、色、形、模様、記号、文字、キャプション、またはアニメーションである、付記A60記載の画像処理装置。
(付記A62)
確認すべき関心領域を自動で認識して強調表示する、付記A58~A61のいずれか1項に記載の画像処理装置。
(付記A63)
確認すべき関心領域が、手術の状況に応じて決定される、付記A62に記載の画像処理装置。
(付記A64)
ユーザが指定した関心領域のみを表示する、付記A58~A63のいずれか1項に記載の画像処理装置。
(付記A65)
自動で選択された関心領域のみを表示する、付記A58~A64のいずれか1項に記載の画像処理装置。
(付記A66)
ユーザが指定した境界値をマークが超えた場合、ユーザに通知を行う、付記A58~A65のいずれか1項に記載の画像処理装置。
(付記A67)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記関心領域が複数追跡される場合、複数の関心領域をそれぞれ異なる表示様式で表示する表示部をさらに備える、
付記A1に記載の画像処理装置。
(付記A68)
前記表示様式が、色、形、模様、記号、文字、キャプション、またはアニメーションである、付記A67記載の画像処理装置。
(付記A69)
確認すべき関心領域を自動で認識して強調表示する、付記A67またはA68記載の画像処理装置。
(付記A70)
確認すべき関心領域が、手術の状況に応じて決定される、付記A67~A69のいずれか1項に記載の画像処理装置。
(付記A71)
ユーザが指定した関心領域のみを表示する、付記A67~A70のいずれか1項に記載の画像処理装置。
(付記A72)
自動で選択された関心領域のみを表示する、付記A67~A71のいずれか1項に記載の画像処理装置。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得可能な画像取得部を備える、画像処理装置。
(付記B2)
画像処理装置であって、
血管内の検査用又は治療用のために画像を取得する画像取得部と、
前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、画像中または特定の領域内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、
付記B1に記載の画像処理装置。
(付記B3)
画像処理装置であって、
血管内の検査用又は治療用のために画像を取得する画像取得部と、
前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記出力部は、画像中または特定の領域内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記機器に出力する、
付記B1に記載の画像処理装置。
(付記B4)
前記通知部は、画像中の縁部もしくは縁部から一定の距離の範囲内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、付記B2またはB3に記載の画像処理装置。
(付記B5)
前記出力部は、画像中の縁部もしくは縁部から一定の距離の範囲内、または特定の領域内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記機器に出力する、付記B2またはB3に記載の画像処理装置。
(付記B6)
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B2またはB3に記載の画像処理装置。
(付記B7)
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B6に記載の画像処理装置。
(付記B8)
処理の精度を高めるために複数の画面の情報を利用する、付記B6に記載の画像処理装置。
(付記B9)
前記特定の領域がユーザにより指定される、付記B2またはB3に記載の画像処理装置。
(付記B10)
前記特定の領域が自動で指定される、付記B2またはB3に記載の画像処理装置。
(付記B11)
前記特定の領域が、画像処理装置が確認すべき領域であると自動で判断した領域である、付記B2またはB3に記載の画像処理装置。
(付記B12)
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記B2またはB3に記載の画像処理装置。
(付記B13)
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B2またはB3に記載の画像処理装置。
(付記B14)
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B2またはB3記載の画像処理装置。
(付記B15)
前記関心領域として、ガイディングカテーテル、ガイドワイヤー、中間カテーテル、マイクロカテーテル、血栓回収用吸引カテーテル、マーカー、コイル、ステント、フィルター、塞栓物質、動脈瘤塞栓器具、およびバルーンから成る群より選択される、血管内の検査用又は治療用のデバイスの少なくとも一部を含む領域が設定される、付記B2またはB3に記載の画像処理装置。
(付記B16)
前記デバイスの少なくとも一部を含む領域が、血管内の検査用又は治療用のデバイスの先端を含む、付記B2またはB3に記載の画像処理装置。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記ユーザに通知する、付記B1に記載の画像処理装置。
(付記B18)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記出力部は、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記ユーザに通知する、付記B1に記載の画像処理装置。
(付記B19)
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記B17またはB18に記載の画像処理装置。
(付記B20)
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B17またはB18に記載の画像処理装置。
(付記B21)
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B17またはB18に記載の画像処理装置。
(付記B22)
通過の予測が、前記関心領域と境界線との間の距離、または前記距離/前記関心領域の速度にもとづき行われる、付記B17またはB18に記載の画像処理装置。
(付記B23)
前記特定の境界線が、ユーザにより指定される、付記B17またはB18に記載の画像処理装置。
(付記B24)
前記特定の境界線が、自動で指定される、付記B17またはB18に記載の画像処理装置。
(付記B25)
前記特定の境界線が、関心領域が一定時間移動していない場合に自動で指定される、付記B17またはB18に記載の画像処理装置。
(付記B26)
前記特定の境界線が、手術の状況に応じて自動で指定される、もしくは、自動で提案されてそれをユーザが同意もしくは拒否することができる、付記B17またはB18に記載の画像処理装置。
(付記B27)
前記特定の境界線が、手術の状況に応じて自動で解除される、もしくは、自動で提案されてそれをユーザが同意もしくは拒否することができる、付記B17またはB18に記載の画像処理装置。
(付記B28)
前記画像を表示する表示装置が複数の画面を有する場合において、1つの画面において指定された前記特定の境界線が、他の画面の対応する位置に自動で指定される、付記B17またはB18に記載の画像処理装置。
(付記B29)
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B17またはB18に記載の画像処理装置。
(付記B30)
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B29に記載の画像処理装置。
(付記B31)
処理の精度を高めるために複数の画面の情報を利用する、付記B29に記載の画像処理装置。
(付記B32)
前記特定の境界線が、直線、曲線、円形、矩形、または任意の多角形もしくは閉曲線により表される、付記B17またはB18に記載の画像処理装置。
(付記B33)
前記境界線がユーザの操作により移動、変形、拡大、または縮小することが可能である、付記B17またはB18に記載の画像処理装置。
(付記B34)
前記特定の境界線が、前記デバイスの侵入が望ましくない血管、動脈瘤や狭窄などの病変部位、もしくは血管外への侵入を検出するために用いられる、付記B17またはB18に記載の画像処理装置。
(付記B35)
前記通知部または出力部が、1又は複数の領域を関心領域のそれぞれについて、前記条件が初めて満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
(付記B36)
前記通知部または出力部が、1又は複数の領域を関心領域のそれぞれについて、前記条件が特定の時点以降に初めて満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
(付記B37)
前記通知部または出力部が、1又は複数の領域を関心領域の全体において、前記条件が初めて満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
(付記B38)
前記通知部または出力部が、1又は複数の領域を関心領域の全体において、前記条件が特定の時点以降に初めて満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
(付記B39)
前記通知部または出力部が、ユーザが指定した特定の1又は複数の領域を関心領域について、前記条件が満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
(付記B40)
前記通知部または出力部が、自動で特定された1又は複数の領域を関心領域について、前記条件が満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
(付記B41)
前記特定の境界線が、X線画像上に重畳表示される、付記B17またはB18に記載の画像処理装置。
(付記B42)
前記特定の境界線が、X線画像の範囲もしくは拡大率の変更または移動に応じて再描画される、付記B17またはB18に記載の画像処理装置。
(付記B43)
前記特定の境界線が、X線画像の中断および再取得後に再描画される、付記B17またはB18に記載の画像処理装置。
(付記B44)
前記通知が、警告音の発生、または境界線の表示様式の変更により行われる、付記B17に記載の画像処理装置。
(付記B45)
前記通知は、どの画面の、どのデバイスの、どのようなイベントか、の一部または全てを音声で伝える、付記B17に記載の画像処理装置。
(付記B46)
前記関心領域が、画像上において指定された特定の境界線を通過する向きに応じて、異なる通知の方法が用いられる、付記B17に記載の画像処理装置。
(付記B47)
前記関心領域が、画像上において指定された特定の境界線を通過する向きが、手術の状況に応じて自動で認識されるか、または自動で提案されてそれをユーザが同意もしくは拒否することができる、付記B17またはB18に記載の画像処理装置。
(付記B48)
前記関心領域が、前記特定の境界線を越える際の速度に応じて、異なる通知の方法が用いられる、付記B17に記載の画像処理装置。
(付記B49)
前記通知部は、前記関心領域と前記特定の境界線との距離を、前記画像を表示する表示装置に表示させる、付記B17に記載の画像処理装置。
(付記B50)
前記通知部は、前記関心領域と前記特定の境界線との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、付記B17に記載の画像処理装置。
(付記B51)
前記通知部または出力部は、前記関心領域と前記特定の境界線との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、通知または出力を行う、付記B17またはB18に記載の画像処理装置。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、
付記B1に記載の画像処理装置。
(付記B53)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、
付記B1に記載の画像処理装置。
(付記B54)
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記B52またはB53に記載の画像処理装置。
(付記B55)
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B52またはB53に記載の画像処理装置。
(付記B56)
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B52またはB53に記載の画像処理装置。
(付記B57)
前記画像上でユーザが指定する領域が、矩形、円形、または任意の閉曲線により表される、付記B52またはB53に記載の画像処理装置。
(付記B58)
ユーザが指定しうる領域の候補が、自動で表示される、付記B52またはB53に記載の画像処理装置。
(付記B59)
ユーザが指定しうる領域の候補が、手術の状況に応じて自動で表示される、付記B52またはB53に記載の画像処理装置。
(付記B60)
ユーザが領域を指定する際に、一時的に画像が静止画となる、付記B52またはB53に記載の画像処理装置。
(付記B61)
ユーザが領域を指定する際に、一時的に画像が遅延再生となる、付記B52またはB53に記載の画像処理装置。
(付記B62)
ユーザが領域を指定する際に、画像の一部が拡大表示される、付記B52またはB53に記載の画像処理装置。
(付記B63)
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B52またはB53に記載の画像処理装置。
(付記B64)
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B63に記載の画像処理装置。
(付記B65)
処理の精度を高めるために複数の画面の情報を利用する、付記B63に記載の画像処理装置。
(付記B66)
複数の関心領域が含まれる領域が指定された場合、確認すべき関心領域のみが自動で選択される、付記B52またはB53に記載の画像処理装置。
(付記B67)
確認すべき関心領域は、複数のデバイスの重要度、画面内における関心領域の位置、手術のシーンに基づき判断される、付記B66に記載の画像処理装置。
(付記B68)
確認すべき関心領域が、手術の状況に応じて決定される、付記B66に記載の画像処理装置。
(付記B69)
画像が変更された場合に指定領域が自動的に調整される、付記B52またはB53に記載の画像処理装置。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に基づき特定の手術の状況を認識する状況認識部と、
を備える、付記B1に記載の画像処理装置。
(付記B71)
前記特定の手術の状況が、手術内容、疾患名、血管漏出、血管穿孔、血栓の発生、抹消血管の消失、ガイドワイヤー・カテーテル・バルーンの誘導、カテーテルによる吸引、ステント留置、バルーン拡張、コイルの挿入、動脈瘤塞栓デバイスの挿入、コイルを切るタイミング、フィルターの誘導・留置・回収、液体塞栓物質の注入、造影剤の注入、一定時間以上の静止画像の継続、マスク画像・ライブ画像の判別、撮像部位・角度の判別、画像の切り換え、およびノイズの発生から成る群より選択される少なくとも1つの状況である、付記B70に記載の画像処理装置。
(付記B72)
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
をさらに備える、付記B70またはB71に記載の画像処理装置。
(付記B73)
ノイズの発生が認識された場合に、前記関心領域の取得を停止する、付記B70に記載の画像処理装置。
(付記B74)
造影剤の注入が認識された場合、もしくは3Dの画像を取得する場合、もしくはコーンビームCT(CBCT)を取得する場合に、前記関心領域の取得を停止する、もしくは、取得はするが通知は行わない、付記B70に記載の画像処理装置。
(付記B75)
一定時間以上の静止画像の継続が認識された場合に、被爆の低減推奨を通知する、付記B70に記載の画像処理装置。
(付記B76)
認識された特定の手術の状況を記録する記録部をさらに含む、付記B70またはB71に記載の画像処理装置。
(付記B77)
前記特定の手術の状況が、パターンマッチング、画像認識、時系列画像認識、時系列差分、または物体検出アルゴリズムにより認識される、付記B70またはB71に記載の画像処理装置。
(付記B78)
認識された特定の手術の状況に応じて、認識されるデバイスが特定される、付記B70またはB71に記載の画像処理装置。
(付記B79)
認識された特定の手術の状況に応じて、関心領域が画像上において指定された特定の境界線を通過することを条件としてユーザに通知するための前記特定の境界線が、自動で関心領域の周囲に指定または提案される、付記B70またはB71に記載の画像処理装置。
(付記B80)
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B70またはB71に記載の画像処理装置。
(付記B81)
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B80に記載の画像処理装置。
(付記B82)
処理の精度を高めるために複数の画面の情報を利用する、付記B80に記載の画像処理装置。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、その条件に対応する手術の状況を記録する記録部と、
を備える、付記B1に記載の画像処理装置。
(付記B84)
条件が、穿刺、ガイディングカテーテルの処置部位到達、バルーン誘導、バルーン拡張、ステント展開、カテーテル誘導、1本目のコイル挿入、2本目以降のコイル挿入、コイルの動脈瘤内の局在、コイルの母血管への逸脱、カテーテル抜去、コイル抜去、処置終了から成る群より選択される少なくとも1つの処置を含む、付記B83に記載の画像処理装置。
(付記B85)
記録される手術の状況が、静止画、動画、および/または手術の状況を説明するテキスト情報を含む、付記B83またはB84に記載の画像処理装置。
(付記B86)
動画が、前記条件が満たされた時点の前後一定期間の動画である、付記B83またはB84に記載の画像処理装置。
(付記B87)
記録された情報が、ユーザにより修正可能である、付記B83またはB84に記載の画像処理装置。
(付記B88)
記録された情報に基づきレポートを作成するレポート作成部をさらに含む、付記B83またはB84に記載の画像処理装置。
(付記B89)
レポート作成部が、記録された静止画、動画、および/または手術の状況を説明するテキスト情報に基づき、手術のサマリーを作成する、付記B83またはB84に記載の画像処理装置。
(付記B90)
特定の手術の状況が記録された場合に、ユーザに通知する通知部または出力を行う出力部をさらに含む、付記B83またはB84に記載の画像処理装置。
(付記B91)
特定の手術の状況が記録された後の時間経過に応じて、ユーザに通知する通知部または出力を行う出力部をさらに含む、付記B83またはB84に記載の画像処理装置。
(付記B92)
特定の手術の状況が記録された後の時間経過が、バルーンの拡張時間、ガイドワイヤーの移動時間、速度、もしくは加速度、またはコイルの移動時間に基づき判断される、付記B91に記載の画像処理装置。
(付記B93)
特定の手術の状況が記録された回数に応じて、ユーザに通知する通知部または出力を行う出力部をさらに含む、付記B83またはB84に記載の画像処理装置。
(付記B94)
特定の手術の状況がコイルの挿入である、付記B83またはB84に記載の画像処理装置。
(付記B95)
前記画像が、リアルタイムで撮影された動画、または過去に記録された動画から取得される、付記B83またはB84に記載の画像処理装置。
(付記B96)
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B83またはB84に記載の画像処理装置。
(付記B97)
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B96に記載の画像処理装置。
(付記B98)
処理の精度を高めるために複数の画面の情報を利用する、付記B96に記載の画像処理装置。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる表示部をさらに備える、
付記B1に記載の画像処理装置。
(付記B100)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる表示部をさらに備える、
付記B1に記載の画像処理装置。
(付記B101)
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記B99またはB100に記載の画像処理装置。
(付記B102)
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B99またはB100に記載の画像処理装置。
(付記B103)
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B99またはB100に記載の画像処理装置。
(付記B104)
マークの軌跡が一定時間表示される、付記B99またはB100に記載の画像処理装置。
(付記B105)
マークの表示様式が、関心領域ごとに異なる、付記B99またはB100に記載の画像処理装置
(付記B106)
前記表示様式が、色、形、模様、記号、文字、キャプション、またはアニメーションである、付記B99またはB100に記載の画像処理装置。
(付記B107)
確認すべき関心領域を自動で認識して強調表示する、付記B99またはB100に記載の画像処理装置。
(付記B108)
確認すべき関心領域が、手術の状況に応じて決定される、付記B92に記載の画像処理装置。
(付記B109)
ユーザが指定した関心領域のみを表示する、付記B99またはB100に記載の画像処理装置。
(付記B110)
自動で選択された関心領域のみを表示する、付記B99またはB100に記載の画像処理装置。
(付記B111)
ユーザが指定した境界値をマークが超えた場合、ユーザに通知を行う、付記B99またはB100に記載の画像処理装置。
(付記B112)
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B99またはB100に記載の画像処理装置。
(付記B113)
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B112に記載の画像処理装置。
(付記B114)
処理の精度を高めるために複数の画面の情報を利用する、付記B112に記載の画像処理装置。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記関心領域が複数追跡される場合、複数の関心領域をそれぞれ異なる表示様式で表示する表示部をさらに備える、
付記B1に記載の画像処理装置。
(付記B116)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記関心領域が複数追跡される場合、複数の関心領域をそれぞれ異なる表示様式で表示する表示部をさらに備える、
付記B1に記載の画像処理装置。
(付記B117)
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B115またはB116に記載の画像処理装置。
(付記B118)
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B117に記載の画像処理装置。
(付記B119)
前記表示様式が、色、形、模様、記号、文字、キャプション、またはアニメーションである、付記B115またはB116に記載の画像処理装置。
(付記B120)
確認すべき関心領域を自動で認識して強調表示する、付記B115またはB116に記載の画像処理装置。
(付記B121)
確認すべき関心領域が、手術の状況に応じて決定される、付記B120に記載の画像処理装置。
(付記B122)
ユーザが指定した関心領域のみを表示する、付記B115またはB116に記載の画像処理装置。
(付記B123)
自動で選択された関心領域のみを表示する、付記B115またはB116に記載の画像処理装置。
(付記B124)
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B115またはB116に記載の画像処理装置。
(付記B125)
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B124に記載の画像処理装置。
(付記B126)
処理の精度を高めるために複数の画面の情報を利用する、付記B124に記載の画像処理装置。
複数の方向から取得された脳血管画像を入力として用いてトレーニングを行うことを特徴とする、機械学習モデルの作成方法。
(付記B128)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、前記関心領域がガイドワイヤーを含み、ガイドワイヤー先端を含む特定の領域内におけるガイドワイヤーの長さもしくはセグメンテーションの面積が、一定の閾値を超えた場合に通知を行う、付記B1に記載の画像処理装置。
(付記B129)
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記出力部は、前記関心領域がガイドワイヤーを含み、ガイドワイヤー先端を含む特定の領域内におけるガイドワイヤーの長さもしくはセグメンテーションの面積が、一定の閾値を超えた場合に出力を行う、付記B1に記載の画像処理装置。
10・・・記憶部
11・・・制御部
110・・・画像取得部
111・・・関心領域取得部
112・・・追跡部
113・・・通知部
114・・・マーカー検出部
115・・・測距部
116・・・出力部
117・・・映像記憶部
118・・・映像抽出部
119・・・状態推定部
2・・・表示装置
3・・・X線撮像装置
4・・・外部デバイス
20・・・CPU
21・・・ROM
22・・・RAM
23・・・ストレージ
24・・・入出力インターフェース
25・・・入力部
26・・・出力部
27・・・記憶媒体
30・・・X線照射器
31・・・X線検出器
32・・・寝台
D・・・デバイス
E・・・塞栓用コイル
P・・・被験者
S・・・画像処理システム
Claims (15)
- 画像処理装置であって、
血管内の検査用又は治療用のために画像を取得する画像取得部と、
前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、画像中または特定の領域内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、
画像処理装置。 - 画像処理装置であって、
血管内の検査用又は治療用のために画像を取得する画像取得部と、
前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記出力部は、画像中または特定の領域内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記機器に出力する、
画像処理装置。 - 前記通知部は、画像中の縁部もしくは縁部から一定の距離の範囲内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、請求項1に記載の画像処理装置。
- 前記出力部は、画像中の縁部もしくは縁部から一定の距離の範囲内、または特定の領域内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記機器に出力する、請求項2に記載の画像処理装置。
- 前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、請求項1または2に記載の画像処理装置。
- 前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、請求項5に記載の画像処理装置。
- 処理の精度を高めるために複数の画面の情報を利用する、請求項5に記載の画像処理装置。
- 前記特定の領域がユーザにより指定される、請求項1または2に記載の画像処理装置。
- 前記特定の領域が自動で指定される、請求項1または2に記載の画像処理装置。
- 前記特定の領域が、画像処理装置が確認すべき領域であると自動で判断した領域である、請求項1または2に記載の画像処理装置。
- 前記画像において前記関心領域を追跡する追跡部をさらに含む、請求項1または2に記載の画像処理装置。
- 前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、請求項1または2に記載の画像処理装置。
- 前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、請求項1または2記載の画像処理装置。
- 前記関心領域として、ガイディングカテーテル、ガイドワイヤー、中間カテーテル、マイクロカテーテル、血栓回収用吸引カテーテル、マーカー、コイル、ステント、フィルター、塞栓物質、動脈瘤塞栓器具、およびバルーンから成る群より選択される、血管内の検査用又は治療用のデバイスの少なくとも一部を含む領域が設定される、請求項1または2に記載の画像処理装置。
- 前記デバイスの少なくとも一部を含む領域が、血管内の検査用又は治療用のデバイスの先端を含む、請求項1または2に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023209980A JP2024020647A (ja) | 2021-11-09 | 2023-12-13 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021182423 | 2021-11-09 | ||
JP2021182423 | 2021-11-09 | ||
PCT/JP2022/041503 WO2023085253A1 (ja) | 2021-11-09 | 2022-11-08 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023209980A Division JP2024020647A (ja) | 2021-11-09 | 2023-12-13 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2023085253A1 JPWO2023085253A1 (ja) | 2023-05-19 |
JPWO2023085253A5 JPWO2023085253A5 (ja) | 2023-10-04 |
JP7409627B2 true JP7409627B2 (ja) | 2024-01-09 |
Family
ID=86336097
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023538665A Active JP7409627B2 (ja) | 2021-11-09 | 2022-11-08 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
JP2023209980A Pending JP2024020647A (ja) | 2021-11-09 | 2023-12-13 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023209980A Pending JP2024020647A (ja) | 2021-11-09 | 2023-12-13 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Country Status (3)
Country | Link |
---|---|
JP (2) | JP7409627B2 (ja) |
CA (1) | CA3237390A1 (ja) |
WO (1) | WO2023085253A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150313563A1 (en) | 2014-04-30 | 2015-11-05 | Michael Kelm | Regression for periodic phase-dependent modeling in angiography |
JP2017185007A (ja) | 2016-04-05 | 2017-10-12 | 株式会社島津製作所 | 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6849966B2 (ja) * | 2016-11-21 | 2021-03-31 | 東芝エネルギーシステムズ株式会社 | 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、動体追跡装置および放射線治療システム |
-
2022
- 2022-11-08 WO PCT/JP2022/041503 patent/WO2023085253A1/ja active Application Filing
- 2022-11-08 CA CA3237390A patent/CA3237390A1/en active Pending
- 2022-11-08 JP JP2023538665A patent/JP7409627B2/ja active Active
-
2023
- 2023-12-13 JP JP2023209980A patent/JP2024020647A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150313563A1 (en) | 2014-04-30 | 2015-11-05 | Michael Kelm | Regression for periodic phase-dependent modeling in angiography |
JP2017185007A (ja) | 2016-04-05 | 2017-10-12 | 株式会社島津製作所 | 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法 |
Also Published As
Publication number | Publication date |
---|---|
CA3237390A1 (en) | 2023-05-19 |
JP2024020647A (ja) | 2024-02-14 |
WO2023085253A1 (ja) | 2023-05-19 |
JPWO2023085253A1 (ja) | 2023-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240164865A1 (en) | System and method for navigating a device through a path to a target location | |
JP5727583B2 (ja) | 医療介入中の脈管構造を記録する装置及び装置の作動方法 | |
JP4988557B2 (ja) | Ptca血管造影図の制御に対するビューイング装置 | |
JP5965840B2 (ja) | 血管ロードマッピング | |
JP5624308B2 (ja) | 画像処理装置及び画像処理方法 | |
US20080275467A1 (en) | Intraoperative guidance for endovascular interventions via three-dimensional path planning, x-ray fluoroscopy, and image overlay | |
JP6214646B2 (ja) | 血管造影図における時間的な解剖学的標的タグ付け | |
JP5641792B2 (ja) | 医用画像診断装置及び医用画像診断装置の制御方法 | |
JP2010519002A5 (ja) | ||
US20220104888A1 (en) | Estimating the endoluminal path of an endoluminal device along a lumen | |
EP3210536A2 (en) | X-ray/intravascular imaging colocation method and system | |
CN107347249B (zh) | 自动移动检测 | |
CN113424130A (zh) | 放射医师的虚拟工具套件 | |
JP7409627B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
EP3013234B1 (en) | Nearest available roadmap selection | |
JP6929687B2 (ja) | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム | |
WO2021225155A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
US8594765B2 (en) | Method for providing an aid for use in the therapeutic treatment of a somatic subject | |
US20140294149A1 (en) | Image Support | |
JPWO2019240032A1 (ja) | 診断方法および診断システム並びに診断システムの制御方法 | |
US20230190212A1 (en) | Actuation method for x-ray device and x-ray device | |
JPWO2021225155A5 (ja) | ||
JP2023130134A (ja) | プログラム、情報処理方法及び情報処理装置 | |
WO2024058837A1 (en) | Procedure information overlay over angiography data | |
WO2024058836A1 (en) | Virtual procedure modeling, risk assessment and presentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230621 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230621 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7409627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |