JP7480010B2 - Information processing device, program, and information processing method - Google Patents
Information processing device, program, and information processing method Download PDFInfo
- Publication number
- JP7480010B2 JP7480010B2 JP2020164604A JP2020164604A JP7480010B2 JP 7480010 B2 JP7480010 B2 JP 7480010B2 JP 2020164604 A JP2020164604 A JP 2020164604A JP 2020164604 A JP2020164604 A JP 2020164604A JP 7480010 B2 JP7480010 B2 JP 7480010B2
- Authority
- JP
- Japan
- Prior art keywords
- catheter
- indicator
- bookmark
- image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 33
- 238000003672 processing method Methods 0.000 title claims description 3
- 239000003550 marker Substances 0.000 claims description 53
- 238000002059 diagnostic imaging Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 description 24
- 238000000034 method Methods 0.000 description 23
- 239000000523 sample Substances 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000002608 intravascular ultrasound Methods 0.000 description 6
- 238000011282 treatment Methods 0.000 description 6
- 208000031481 Pathologic Constriction Diseases 0.000 description 5
- 208000037804 stenosis Diseases 0.000 description 5
- 230000036262 stenosis Effects 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000029777 axis specification Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002697 interventional radiology Methods 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000002583 angiography Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明は、情報処理装置、プログラムおよび情報処理方法に関する。 The present invention relates to an information processing device, a program, and an information processing method.
ラジアル走査型の画像診断用カテーテルの超音波センサを長手方向に移動させながら複数の断層像を撮影し、長手方向の断層像を自動的に表示する血管内超音波撮像システムが提案されている。 An intravascular ultrasound imaging system has been proposed that captures multiple cross-sectional images while moving an ultrasound sensor in a radial scanning diagnostic imaging catheter in the longitudinal direction, and automatically displays the longitudinal cross-sectional images.
特許文献１の血管内超音波システムでは、医師等のユーザが所望の断層面を簡単な操作で表示させることができない。
The intravascular ultrasound system in
情報処理装置は、ラジアル走査型の画像診断用カテーテルにより取得した複数のカテーテル画像に基づく三次元画像を出力する三次元画像出力部と、前記画像診断用カテーテルの長手方向に対応する第１インジケータを出力する第１インジケータ出力部と、前記第１インジケータを介して取得した第１ブックマークを記録する第１記録部と、前記画像診断用カテーテルのラジアル走査方向に対応する第２インジケータを出力する第２インジケータ出力部と、前記第２インジケータを介して取得した第２ブックマークを記録する第２記録部とを備える。 The information processing device includes a three-dimensional image output unit that outputs a three-dimensional image based on a plurality of catheter images acquired by a radial scanning type diagnostic imaging catheter, a first indicator output unit that outputs a first indicator corresponding to the longitudinal direction of the diagnostic imaging catheter, a first recording unit that records a first bookmark acquired via the first indicator, a second indicator output unit that outputs a second indicator corresponding to the radial scanning direction of the diagnostic imaging catheter, and a second recording unit that records a second bookmark acquired via the second indicator .
一つの側面では、ユーザが所望の断面を簡単な操作で表示させられる情報処理装置等を提供することを目的とする。 In one aspect, the objective is to provide an information processing device etc. that allows a user to display a desired cross section with simple operations.
［実施の形態１］
図１は、カテーテルシステム１０の構成を説明する説明図である。カテーテルシステム１０は、情報処理装置２０、ＭＤＵ（Motor Driving Unit）３３および画像診断用カテーテル４０を備える。画像診断用カテーテル４０は、ＭＤＵ３３を介して情報処理装置２０に接続されている。
[First embodiment]
1 is an explanatory diagram illustrating the configuration of a
画像診断用カテーテル４０は、プローブ部４１と、プローブ部４１の端部に配置されたコネクタ部４５とを有する。コネクタ部４５は、ＭＤＵ３３に接続される。以下の説明では画像診断用カテーテル４０のコネクタ部４５から遠い側を先端側と記載する。
The
プローブ部４１の内部に、シャフト４３が挿通されている。シャフト４３の先端側に、センサ４２が接続されている。シャフト４３およびセンサ４２は、プローブ部４１の内部で回転および進退可能である。
A
センサ４２は、たとえば超音波の送受信を行なう超音波トランスデューサ、または、近赤外光の照射と反射光の受信を行なうＯＣＴ（Optical Coherence Tomography）用の送受信部である。以下の説明では、画像診断用カテーテル４０は循環器の内側から超音波断層像を撮影する際に用いられるＩＶＵＳ（Intravascular Ultrasound）用カテーテルである場合を例にして説明する。
The
情報処理装置２０には、表示装置３１および入力装置３２が接続されている。入力装置３２は、たとえばキーボード、マウス、トラックボールまたはマイク等の入力デバイスである。表示装置３１と入力装置３２とは、一体に積層されて、タッチパネルを構成していてもよい。入力装置３２は、音声入力を受け付けるマイクであってもよい、入力装置３２は、ジェスチャ入力または視線入力等を受け付けるセンサであってもよい。表示装置３１および入力装置３２と情報処理装置２０とは、一体に構成されていてもよい。
The
情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、カテーテル制御部２７１およびバスを備える。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。
The
主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。
The
補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、分類モデル６２、ブックマークＤＢ（Database）６６、制御部２１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェースである。情報処理装置２０は、通信部２４を介して図示を省略するＨＩＳ（Hospital Information System）およびＸ線血管撮影装置等に接続されている。
The
表示部２５は、表示装置３１とバスとを接続するインターフェースである。入力部２６は、入力装置３２とバスとを接続するインターフェースである。カテーテル制御部２７１は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく画像の生成等を行なう。
The
カテーテル制御部２７１の機能および構成は、従来から使用されている超音波診断装置と同様であるため、詳細については説明を省略する。なお、制御部２１が、カテーテル制御部２７１の機能を実現してもよい。
The function and configuration of the
ＭＤＵ３３は、プローブ部４１の内部でセンサ４２を回転させる。カテーテル制御部２７１は、センサ４２の一回転ごとに１枚のカテーテル画像５１（図２参照）を生成する。生成されるカテーテル画像５１は、プローブ部４１を中心とし、プローブ部４１に略垂直な横断層像である。
The MDU 33 rotates the
ＭＤＵ３３は、プローブ部４１の内部でセンサ４２およびシャフト４３を回転させながら、さらにセンサ４２を進退させることも可能である。センサ４２を引っ張りながら、または押し込みながら回転させる操作により、カテーテル制御部２７１はプローブ部４１に略垂直な複数枚のカテーテル画像５１を連続的に生成する。以下の説明ではカテーテル画像５１を生成することを、「カテーテル画像５１を撮影する」と表現する場合がある。
The MDU 33 can also move the
連続的に撮影されたカテーテル画像５１は、三次元画像の生成に使用可能である。したがって、画像診断用カテーテル４０は長手方向に沿って複数のカテーテル画像５１を順次取得する三次元走査用カテーテルの機能を実現する。以下の説明では、三次元画像を生成可能な複数のカテーテル画像５１を撮影する走査を三次元走査と記載する場合がある。
The successively captured
センサ４２の進退操作には、プローブ部４１全体を進退させる操作と、プローブ部４１の内部でセンサ４２を進退させる操作との両方を含む。進退操作は、ＭＤＵ３３により所定の速度で自動的に行なわれても、ユーザにより手動で行なわれても良い。
The advance/retract operation of the
なお、画像診断用カテーテル４０は機械的に回転および進退を行なう機械走査方式に限定しない。複数の超音波トランスデューサを環状に配置したセンサ４２を用いた、電子ラジアル走査型の画像診断用カテーテル４０であってもよい。
The
図２は、カテーテルシステム１０の概要を説明する説明図である。制御部２１は、カテーテル画像５１を取得して、分類モデル６２に入力する。分類モデル６２は、カテーテル画像５１の入力を受け付けて、カテーテル画像５１を受け付けて、カテーテル画像５１を構成する各部分について、描出されているオブジェクトごとに分類した分類データ５２を出力するモデルである。
Figure 2 is an explanatory diagram illustrating an overview of the
本実施の形態においては、分類モデル６２は１枚のカテーテル画像５１を受け付けて、それぞれの画素に対して、第１領域５２１、第２領域５２２、第３領域５２３および第４領域５２４の４種類のラベルのいずれかを関連づけた分類データ５２を出力する。
In this embodiment, the
図２においては、分類データ５２を、それぞれの画素に関連づけられたラベルごとに異なるハッチングを施した画像の模式図で示す。たとえば、第１領域５２１は血管壁、第２領域５２２はプラーク、第３領域５２３は血管内腔、第４領域５２４は血管の外部にそれぞれ対応するラベルが付けられた画素の領域である。
In FIG. 2, the
分類モデル６２は、たとえばセマンテックセグメンテーションを行なう学習済モデルである。分類モデル６２は、複数枚のカテーテル画像５１を受け付けて、１枚または複数組の分類データ５２を出力するモデルであってもよい。分類モデル６２は、種々の画像処理を組み合わせてカテーテル画像５１から血管壁等の領域を抽出するモデルであってもよい。
The
制御部２１は、複数枚のカテーテル画像５１に基づいて、三次元カテーテルデータ５３を生成する。三次元カテーテルデータ５３は、ボクセルデータである。複数枚のカテーテル画像５１に基づいて三次元カテーテルデータ５３を作成する方法は公知であるため、説明を省略する。
The
制御部２１は、複数組の分類データ５２に基づいて三次元分類データ５４を生成する。三次元分類データ５４は、たとえばボクセルデータである。三次元分類データ５４は、それぞれの領域の境界を示す複数のポリゴンにより構成されたポリゴンデータであってもよい。複数組の分類データ５２に基づいて三次元分類データ５４を作成する方法は公知であるため、説明を省略する。
The
制御部２１は、第４領域５２４を透明な状態にした三次元分類データ５４を表示装置３１に表示する。以下の説明では三次元分類データ５４を表示装置３１に表示した画像を三次元分類画像と記載する場合がある。制御部２１は、ユーザの操作に基づいて三次元分類データ５４の向きおよび倍率を変更する。三次元画像の表示状態を変更するユーザインタフェースは公知であるため、詳細については説明を説明する。
The
制御部２１は、ユーザの操作または事前の指定に基づいて、たとえば第１領域５２１を透明または半透明に表示してもよい。第１領域５２１が透明または半透明に表示されることにより、ユーザは第２領域５２２の外形形状を確認できる。同様に、第１領域５２１および第２領域５２２が透明または半透明に表示されることにより、ユーザは第３領域５２３の外形形状を確認できる。
The
ユーザは、三次元分類データ５４に対して横切断面５７１を指定できる。横切断面５７１は、三次元分類データ５４をプローブ部４１に垂直な面で切断する断面である。制御部２１は、ユーザが指定した横切断面５７１の位置で三次元カテーテルデータ５３を切断した横断層像５７を出力する。
The user can specify a
横断層像５７は、たとえば横切断面５７１に最も近接するカテーテル画像５１である。制御部２１は、横切断面５７１の前後に位置するカテーテル画像５１を合成して横断層像５７を生成しても良い。制御部２１は、カテーテル画像５１が存在する位置に合わせて横切断面５７１の指定を受け付けても良い。
The
ユーザは、三次元分類データ５４に対して縦切断面５８１を指定できる。縦切断面５８１は、三次元分類データ５４をプローブ部４１の中心軸に対応する直線を含む平面で切断する断面である。制御部２１は、ユーザが指定した縦切断面５８１の位置で三次元カテーテルデータ５３を切断した縦断層像５８を出力する。
The user can specify a
ユーザは、横切断面５７１をプローブ部４１の長手方向に沿った任意の位置に移動させることができる。ユーザは、三次元分類データ５４の中心軸、すなわちプローブ部４１を軸として、任意の向きに縦切断面５８１を回転させることができる。
The user can move the
ユーザは、横切断面５７１および縦切断面５８１を適宜変更しながら横断層像５７および縦断層像５８を観察して、治療方針等を判断する。三次元分類データ５４を用いて横切断面５７１および縦切断面５８１を指定するため、ユーザは観察中の部位の立体構造を容易に把握し、速やかに適切な治療方針等を判断できる。
The user observes the
制御部２１は、ユーザから横切断面５７１および縦切断面５８１を示すブックマークの保存指示を受け付ける。制御部２１は、保存指示を受け付けたブックマークを、三次元カテーテルデータ５３および三次元分類データ５４と関連づけて記録する。ユーザは、必要に応じてブックマークを指定して、過去に指定した横断層像５７および縦断層像５８を再表示できる。
The
ブックマークを使用することにより、ユーザは、たとえばカルテに添付する画像、治療前後の評価に使用する画像、およびカンファレンス等に使用する画像を速やかに選択できる。ブックマークは、三次元分類データ５４に関連づけられているため、ユーザはブックマークに対応する横断層像５７および縦断層像５８の位置関係を容易に確認できる。
By using bookmarks, the user can quickly select, for example, images to be attached to a medical record, images to be used for pre- and post-treatment evaluations, and images to be used in conferences, etc. Since the bookmarks are associated with the three-
制御部２１は、事前に指定された順番で三次元分類データ５４の回転、拡大、縮小、透明化、切断等を自動的に行なう動画を生成して、表示しても良い。制御部２１は、事前に指定された条件に基づいて、自動的にブックマークを記録してもよい。ユーザは、手間を掛けずにルーチン的な確認および記録を行なえる。重点的な観察を要する部分のみ、後述する操作をユーザが行なうことで、ユーザの負担を低減するカテーテルシステム１０を提供できる。
The
制御部２１は、カテーテル制御部２７１から複数枚のカテーテル画像５１を順次取得して、リアルタイムで三次元分類データ５４の作成および横切断面５７１または縦切断面５８１の指定の受付を行なってもよい。そのようにする場合、三次元分類データ５４は三次元走査の進行に伴い徐々に伸びていくように表示される。
The
制御部２１は、ＨＩＳまたは外部の大容量記憶装置に保存された複数枚のカテーテル画像５１を読みだして、三次元カテーテルデータ５３および三次元分類データ５４を作成してもよい。制御部２１は、ＨＩＳまたは外部の大容量記憶装置に保存された三次元カテーテルデータ５３および三次元分類データ５４を読みだしてもよい。
The
図３は、ブックマークＤＢ６６のレコードレイアウトを説明する説明図である。ブックマークＤＢ６６は、データＩＤ（Identifier）と、三次元カテーテルデータ５３と、三次元分類データ５４と、ブックマークとを関連づけて記録したＤＢである。ブックマークＤＢ６６は、データＩＤフィールド、三次元カテーテルデータフィールド、三次元分類データフィールド、第１ブックマークフィールドおよび第２ブックマークフィールドを有する。
Figure 3 is an explanatory diagram explaining the record layout of the
第１ブックマークフィールドは、第１ブックマークＩＤフィールドおよび位置フィールドを有する。第２ブックマークフィールドは、第２ブックマークＩＤフィールドおよび角度フィールドを有する。 The first bookmark field has a first bookmark ID field and a position field. The second bookmark field has a second bookmark ID field and an angle field.
データＩＤフィールドには、三次元カテーテルデータ５３に固有に付与されたデータＩＤが記録されている。データＩＤは、たとえば患者の電子カルテ等に紐づけられている。三次元カテーテルデータフィールドには、三次元カテーテルデータ５３が記録されている。三次元分類データフィールドには、三次元カテーテルデータ５３に対応する三次元分類データ５４が記録されている。
The data ID field records a data ID that is uniquely assigned to the three-
第１ブックマークＩＤフィールドには、ユーザが横切断面５７１を指定して記録した横断面のブックマークに固有に付与された第１ブックマークＩＤが記録されている。位置フィールドには、ブックマークの位置が記録されている。第１ブックマークの位置は、たとえば三次元走査を開始した位置からの距離、または、三次元走査を開始してから何枚目のカテーテル画像５１に対応する位置であるかに基づいて記録される。
The first bookmark ID field records a first bookmark ID that is uniquely assigned to the bookmark of the transverse section recorded by the user specifying the
第２ブックマークＩＤフィールドには、ユーザが縦切断面５８１を指定して記録した縦断面のブックマークに固有に付与された第２ブックマークＩＤが記録されている。角度フィールドには縦切断面５８１の傾きを示す角度が記録されている。角度は、カテーテル画像５１の撮影を開始する際のセンサ４２の角度を０度としてセンサ４２の回転方向に沿って定義される。
The second bookmark ID field records a second bookmark ID that is uniquely assigned to the bookmark of the longitudinal section recorded by the user specifying the
制御部２１は、三次元カテーテルデータフィールドに記録された三次元カテーテルデータ５３および位置フィールドに記録された位置に基づいて、第１ブックマークＩＤに対応する横断層像５７を再現できる。同様に制御部２１は、三次元カテーテルデータフィールドに記録された三次元カテーテルデータ５３および角度フィールドに記録された角度に基づいて、第２ブックマークＩＤに対応する縦断層像５８を再現できる。横断層像５７および縦断層像５８を記録しないことにより、ブックマークＤＢ６６のサイズを低減できる。
The
三次元カテーテルデータフィールドおよび三次元分類データフィールドには、それぞれたとえば外部の大容量記憶装置に記録された三次元カテーテルデータ５３および三次元分類データ５４のファイル名が記録されていてもよい。第１ブックマークフィールドおよび第２ブックマークフィールドは、それぞれ横断層像５７および縦断層像５８を記録するフィールドを有してもよい。ユーザの操作に応じて速やかに横断層像５７および縦断層像５８を表示するカテーテルシステム１０を提供できる。
The three-dimensional catheter data field and the three-dimensional classification data field may each store the file names of the three-
図４から図１３は、カテーテルシステム１０が表示する画面の例である。制御部２１は、図４から図１３に例示する画面を表示装置３１に表示する。
Figures 4 to 13 are examples of screens displayed by the
図４は、三次元分類データ５４が表示された画面を示す。前述のように、制御部２１はユーザによる操作に基づき、三次元分類データ５４の回転、拡大、縮小、透明化および半透明化等を行なう。図４に示す画面の表示により、制御部２１は本実施の形態の三次元画像出力部の機能を実現する。
Figure 4 shows a screen on which three-
図５は、第１インジケータ８１および第２インジケータ８２が表示された画面を示す。ユーザがキーボードまたは音声入力等を介してインジケータの表示を指示した場合、制御部２１は三次元分類データ５４の近傍に第１インジケータ８１および第２インジケータ８２を表示する。
Figure 5 shows a screen on which a
なお制御部２１は、第１インジケータ８１および第２インジケータ８２の表示と非表示とを切り替えるボタンを画面に表示してもよい。図５に示す画面の表示により、制御部２１は本実施の形態の第１インジケータ出力部および第２インジケータ出力部の機能を実現する。
The
第１インジケータ８１は、カテーテル画像５１を撮影したプローブ部４１の長手方向、すなわち、複数のカテーテル画像５１の中心を結ぶ方向に長い略長円形状である。第１インジケータ８１の内部に楕円形状の第１スライダ８１１が配置されている。
The
第２インジケータ８２は、三次元分類データ５４の主要部分と第１インジケータ８１とを囲む円形である。第２インジケータ８２は、一部が三次元分類データ５４等により隠された円弧状であってもよい。第２インジケータ８２の内側に略長方形形状のフレームインジケータ８６が表示されている。前述の第１スライダ８１１は、フレームインジケータ８６の下辺の延長線上に配置されている。
The
第１インジケータ８１は、三次元走査を行なった際のプローブ部４１の長手方向に対応する。第２インジケータ８２は三次元走査を行なった際にセンサ４２が回転した走査方向に対応する。
The
図５に示す画面では、ユーザはカーソル８９を操作して第１スライダ８１１を第１インジケータ８１に沿って移動させることができる。制御部２１は、フレームインジケータ８６の下辺の延長線上に第１スライダ８１１が存在するように、フレームインジケータ８６を移動させる。
In the screen shown in FIG. 5, the user can operate the
制御部２１は、フレームインジケータ８６により三次元分類データ５４を切断したようにみえる断面を表示する。ユーザは第１スライダ８１１を移動させながら、三次元分類データ５４の横断面を観察して、たとえば狭窄部の位置または分岐の位置等を確認する。
The
なお、図示を省略するが、情報処理装置２０に複数の表示装置３１が接続されていてもよい。制御部２１は、一方の表示装置３１に図５に示す画像を表示し、他方の表示装置３１に三次元分類データ５４を切断した位置に対応するカテーテル画像５１を表示してもよい。表示装置３１の解像度が十分に高い場合には、制御部２１は図５に示す画像と、カテーテル画像５１とを１台の表示装置３１に並べて表示してもよい。ユーザは、三次元分類データ５４の切断面を変更しながら同時にカテーテル画像５１を観察できる。
Although not shown,
さらに制御部２１は、リアルタイムで撮影されたカテーテル画像５１を図５に示す画像と同時に表示してもよい。
Furthermore, the
図６は、ユーザがカーソル８９を水平方向、すなわち第１インジケータ８１に対して略垂直な方向に動かした場合に制御部２１が表示する画面を示す。カーソル８９を水平方向に動かす操作により、制御部２１は第１ブックマークを記録する指示を受け付ける。第１インジケータ８１の右側に、四角形で囲んだ「１」により第１ブックマークの位置を示す第１マーカ８１２が表示されている。四角形の内側の数字は、第１ブックマークの番号を意味する。
Figure 6 shows a screen displayed by the
三次元分類データ５４の右側に第１ブックマークに対応する横断層像５７がサムネール形式で表示されている。横断層像５７の左下に、第１ブックマークの番号が表示されている。制御部２１は、第１マーカ８１２の右側に記録中マーク８５を表示することにより、第１ブックマークを記録中であることを示す。図６に示す横断層像５７により、制御部２１は本実施の形態の横断層像出力部の機能を実現する。
A
図７は、第１ブックマークの記録後、さらにユーザが第１スライダ８１１を第１インジケータ８１に沿って移動させた状態を示す。図７では、ユーザは分岐部の状態を観察できる。
Figure 7 shows the state where, after recording the first bookmark, the user further moves the
なお、図７で明らかであるようにフレームインジケータ８６はカテーテル画像５１の撮影範囲を示すものではない。本実施の形態のカテーテルシステム１０は、プローブ部４１が図の右側の管腔内に挿入された状態で、左側の分岐を描出可能である。すなわち、カテーテル画像５１の撮影範囲は、図７に示すフレームインジケータ８６および第２インジケータ８２で囲まれた範囲よりも広い。
As is clear from FIG. 7, the
カテーテル画像５１の撮影範囲よりも狭い範囲を囲むフレームインジケータ８６および第２インジケータ８２を画面上に表示することにより、ユーザは三次元分類データ５４の立体構造および断面の位置を容易に把握できる。なお、フレームインジケータ８６および第２インジケータ８２のサイズは、観察対象の状態に応じてユーザが適宜設定できることが望ましい。
By displaying the
図８は、３番目の第１ブックマークの記録が終了した状態を示す。「２」番の第１マーカ８１２および「３」番の第１マーカ８１２が第１インジケータ８１の右側に表示されている。それぞれのブックマークに対応する横断層像５７が、画面の右側にサムネール形式で表示されている。
Figure 8 shows the state where recording of the third first bookmark has been completed. A
ユーザは、横断層像５７の左下に表示された数字と、第１マーカ８１２に表示された数字とを対比することにより、どの横断層像５７が第１インジケータ８１上のどの位置に対応するかを確認できる。
The user can confirm which
なお、図８においては、三次元分類データ５４および２番目および３番目の横断層像５７に黒塗りで示す石灰化した部分が描出されている。ユーザは、第１スライダ８１１を操作して石灰化した部分の広がり具合を確認できる。
In FIG. 8, the calcified areas are depicted in black in the three-
図９は、三次元分類データ５４の縦断面を表示した画面例を示す。ユーザがカーソル８９を第２インジケータ８２上に移動させた場合、制御部２１は第２インジケータ８２上に第２スライダ８２１を表示する。ユーザは、カーソル８９を操作して第２インジケータ８２に沿って第２スライダ８２１を移動させることができる。
Figure 9 shows an example of a screen displaying a vertical cross section of three-
制御部２１は、第２スライダ８２１と第２インジケータ８２の中心とを結ぶ直線と、カテーテル画像５１を撮影したプローブ部４１の長手方向を示す直線との２本の直線により定められる平面で三次元分類データ５４を切断した縦断面を表示する。すなわち、ユーザは第２インジケータ８２および第２スライダ８２１を使用して、縦断面の角度を指定できる。
The
ユーザは第２スライダ８２１を移動させながら、三次元分類データ５４の縦断面を観察して、たとえば狭窄部の長さまたは石灰化した部分の長さ等を確認する。
While moving the
なお、図示を省略するが、情報処理装置２０に複数の表示装置３１が接続されている場合、制御部２１は、一方の表示装置３１に図９に示す画像を表示し、他方の表示装置３１に三次元分類データ５４を切断した位置に対応する縦断層像５８を表示してもよい。表示装置３１の解像度が十分に高い場合には、制御部２１は図５に示す画像と、縦断層像５８とを１台の表示装置３１に並べて表示してもよい。ユーザは、三次元分類データ５４の切断面を変更しながら同時に縦断層像５８を観察できる。
Although not shown, when
図１０は、ユーザがカーソル８９を第２インジケータ８２の半径方向、すなわち第２インジケータ８２に対して略垂直な方向に動かした場合に制御部２１が表示する画面を示す。図１０においては、カーソル８９は第２インジケータ８２の中心方向に動かされている。
Figure 10 shows a screen displayed by the
カーソル８９を半径方向に動かす操作により、制御部２１は第２ブックマークを記録する指示を受け付ける。第２インジケータ８２の内側に、円形で囲んだ「１」により第２ブックマークの位置を示す第２マーカ８２２が表示されている。四角形の内側の数字は、第２ブックマークの番号を意味する。制御部２１は第２インジケータ８２の内側に、第２マーカ８２２と、第２インジケータ８２の中心とを結ぶ直線、すなわち縦断面の方向を示す直線を表示する。
By moving the
三次元分類データ５４の左側に第２ブックマークに対応する縦断層像５８が表示されている。縦断層像５８の左上に、第２ブックマークの番号が表示されている。制御部２１は、第２マーカ８２２の下側に記録中マーク８５を表示することにより、第２ブックマークを記録中であることを示す。図１０に示す縦断層像５８により、制御部２１は本実施の形態の縦断層像出力部の機能を実現する。
A longitudinal
図１１は、第２ブックマークの記録後、さらにユーザが第１マーカ８１２を第２インジケータ８２に沿って移動させた状態を示す。図７では、分岐部の一部の断面が表示されている。
Figure 11 shows the state where, after recording the second bookmark, the user further moves the
図１２は、２番目の第２ブックマークの記録が終了した状態を示す。図１２においては、ユーザはカーソル８９を第２インジケータ８２の外側に動かすことにより、第２ブックマークの記録を指示している。「２」番の第２マーカ８２２が第２インジケータ８２の外側に表示されている。２番目の第２ブックマークに対応する縦断層像５８が、三次元分類データ５４の左側に追加で表示されている。
Figure 12 shows the state where recording of the second second bookmark has been completed. In Figure 12, the user has moved the
ユーザは、縦断層像５８の左上に表示された数字と、第２マーカ８２２に表示された数字とを対比することにより、どの縦断層像５８が第２インジケータ８２上のどの位置に対応するかを確認できる。なお、図１２においては、分岐後の２本の管腔の両方の中心軸が表示される縦断面が表示されている。ユーザは、分岐部の構造を確認できる。
The user can confirm which
ユーザは、図１２の状態からカーソル８９を第１インジケータ８１上に動かして、三次元分類データ５４の横断面を再度表示させて、第１ブックマークを追加できる。以上に説明した操作を適宜繰り返して、ユーザは任意の数の第１ブックマークおよび第２ブックマークを記録できる。
The user can add a first bookmark by moving the
図１３は、ユーザが３番目の横断層像５７の拡大率を変更する指示を行なった状態を示す。ユーザはたとえばキーボードの操作または音声入力等により、横断層像５７および縦断層像５８の拡大率を変更できる。図１３においては、カテーテル画像５１全体が横断層像５７に表示された例を示す。
Figure 13 shows a state in which the user has instructed to change the magnification of the third
図６から図１３を使用して説明した画面において、制御部２１は第１マーカ８１２の選択を受け付けてもよい。第１マーカ８１２の選択を受け付けた場合、制御部２１は選択を受け付けた第１マーカ８１２に対応に対応する横断面を三次元分類データ５４に表示する。制御部２１は、横断面に対応する位置に第１スライダ８１１を表示する。
In the screens described using Figures 6 to 13, the
同様に図６から図１３を使用して説明した画面において、制御部２１は第２マーカ８２２の選択を受け付けてもよい。第２マーカ８２２の選択を受け付けた場合、制御部２１は選択を受け付けた第２マーカ８２２に対応に対応する縦断面を三次元分類データ５４に表示する。制御部２１は、縦断面に対応する位置に第２スライダ８２１を表示する。
Similarly, on the screens described using Figures 6 to 13, the
図５から図１３を使用して説明した画面において、制御部２１は三次元分類データ５４の回転、拡大、縮小、透明化または半透明化等の表示変更の指示を受け付けてもよい。制御部２１は、ユーザの指示に基づいて三次元分類データ５４、第１インジケータ８１および第２インジケータ８２の表示を変更する。
In the screens described using Figures 5 to 13, the
たとえば、三次元分類データ５４の回転させる指示を受け付けた場合、制御部２１は三次元分類データ５４を回転させるとともに、第１インジケータ８１および第２インジケータ８２も回転させる。なお、三次元分類データ５４の回転にともない第１インジケータ８１が三次元分類データ５４に隠れる場合、制御部２１は第１インジケータ８１を並行移動させて、ユーザが三次元分類データ５４と第１インジケータ８１との両方を確認できる状態に表示する。
For example, when an instruction to rotate the three-
制御部２１はユーザの指示に基づいて第１マーカ８１２、第２マーカ８２２、横断層像５７および縦断層像５８の表示と非表示とを切り替えてもよい。記録済のブックマークの数が多い場合に、ユーザは必要な第１マーカ８１２、第２マーカ８２２、横断層像５７および縦断層像５８適宜選択して表示させることができる。
The
記録済のブックマークの数が多い場合、制御部２１は横断層像５７および縦断層像５８を表示した領域にそれぞれスクロールバーを表示してもよい。制御部２１は横断層像５７および縦断層像５８のサイズを小さくして、多数の横断層像５７および縦断層像５８を表示可能にしてもよい。
When there are a large number of recorded bookmarks, the
［変形例１］
図１４は、変形例１のカテーテルシステム１０が表示する画面の例である。それぞれの横断層像５７に、三次元分類データ５４に表示されている縦断面の位置を示す第１補助マーカ８１５が実線で表示されている。ユーザがカーソル８９を操作して三次元分類データ５４の断面を回転させた場合、制御部２１は第１補助マーカ８１５も連動して回転させる。ユーザは第１補助マーカ８１５により、横断層像５７と三次元分類データ５４の断面との位置関係を容易に把握できる。
[Modification 1]
14 is an example of a screen displayed by the
それぞれの縦断層像５８に、第１ブックマークの位置に対応する第２補助マーカ８２５が実線で表示されている。第２補助マーカ８２５は、第１マーカ８１２と同様の内側に数字が表示された四角形と、第１ブックマークにより記録された横切断面５７１の位置を示す直線との組み合わせである。第２補助マーカ８２５により、縦断層像５８と横断層像５７との位置関係をユーザが容易に把握できるカテーテルシステム１０を提供できる。
A second
［変形例２］
図１５は、変形例２のカテーテルシステム１０が表示する画面の例である。変形例１と同様に、横断層像５７に第１補助マーカ８１５が、縦断層像５８に第２補助マーカ８２５がそれぞれ表示されている。
[Modification 2]
15 is an example of a screen displayed by the
第１補助マーカ８１５は、三次元分類データ５４に表示されている縦断面の位置を示す破線と、破線の両端の三角形で表示されている。第２補助マーカ８２５は、内側に数字が表示された四角形と、縦断層像５８の両側に配置された三角形との組み合わせである。三角形は、第１ブックマークにより記録された横切断面５７１の位置を示す。
The first
本変形例によると、第１補助マーカ８１５および第２補助マーカ８２５により横断層像５７および縦断層像５８の観察が妨げられにくいカテーテルシステム１０を提供できる。
This modified example provides a
なお、第１補助マーカ８１５および第２補助マーカ８２５の表示、非表示はユーザが適宜選択できることが望ましい。変形例１および変形例２の第１補助マーカ８１５および第２補助マーカ８２５はいずれも例示である。ユーザが、第１補助マーカ８１５および第２補助マーカ８２５の態様を適宜選択できることが望ましい。三次元分類データ５４の断面に対して、横断層像５７の位置または縦断層像５８の位置を示す補助マーカが表示されてもよい。
It is preferable that the user can appropriately select whether to display the first
制御部２１は、マウス等を用いたカーソル８９の操作の代わりに、タッチパネルへのタップ操作、ダブルタップ操作、ロングタップ操作、フリック操作等の各種のタッチ操作を介して、入力操作を受け付けてもよい。制御部２１は、音声入力、ジェスチャ入力、または視線入力等の、非接触型のユーザインタフェースを介して入力操作を受け付けてもよい。
Instead of operating the
図１６は、プログラムの処理の流れを説明するフローチャートである。図１６は、画像診断用カテーテル４０を使用中に制御部２１が実行するプログラムを示す。
Figure 16 is a flowchart explaining the flow of program processing. Figure 16 shows the program executed by the
制御部２１は、カテーテル制御部２７１からカテーテル画像５１を取得する（ステップＳ５０１）。ステップＳ５０１により、制御部２１は本実施の形態のカテーテル画像取得部の機能を実現する。制御部２１は、カテーテル画像５１を分類モデル６２に入力して、分類データ５２を取得する（ステップＳ５０２）。ステップＳ５０２により、制御部２１は本実施の形態の分類モデル入力部の機能を実現する。
The
制御部２１は、三次元走査を終了したか否かを判定する（ステップＳ５０３）。たとえば、所定の数のカテーテル画像５１の取得した場合に、制御部２１は三次元走査を完了したと判定する。
The
三次元走査を終了していないと判定した場合（ステップＳ５０３でＮＯ）、制御部２１はステップＳ５０１に戻る。三次元走査を終了したと判定した場合（ステップＳ５０３でＹＥＳ）、制御部２１はステップＳ５０１で取得した複数のカテーテル画像５１に基づいて三次元カテーテルデータ５３を生成する（ステップＳ５０４）。
If it is determined that the three-dimensional scanning has not ended (NO in step S503), the
前述のとおり、三次元カテーテルデータ５３はボクセルデータである。複数枚のカテーテル画像５１に基づいて三次元カテーテルデータ５３を作成する方法は公知であるため、説明を省略する。
As mentioned above, the three-
制御部２１は、複数組の分類データ５２に基づいて三次元分類データ５４を生成する（ステップＳ５０５）。ステップＳ５０５により、制御部２１は本実施の形態の三次元分類画像生成部の機能を実現する。
The
前述のとおり、三次元分類データ５４はたとえばボクセルデータである。三次元分類データ５４は、それぞれの領域の境界を示す複数のポリゴンにより構成されたポリゴンデータであってもよい。複数組の分類データ５２に基づいて三次元分類データ５４を作成する方法は公知であるため、説明を省略する。
As mentioned above, the three-
制御部２１は、ブックマークＤＢ６６に新規レコードを作成する。制御部２１は、三次元カテーテルデータ５３に固有のデータＩＤを付与して、データＩＤフィールドに記録する。制御部２１は、三次元カテーテルデータフィールドに三次元カテーテルデータ５３を、三次元分類データフィールドに三次元分類データ５４をそれぞれ記録する（ステップＳ５０６）。
The
なお、ステップＳ５０６の段階では、第１ブックマークフィールドおよび第２ブックマークフィールドには、データが記録されていない。これらのフィールドは、後からデータを追加できる状態に設定されている。 Note that at the stage of step S506, no data is recorded in the first bookmark field and the second bookmark field. These fields are set in a state in which data can be added later.
制御部２１は、ブックマークのサブルーチンを起動する（ステップＳ５０７）。ブックマークのサブルーチンは、ユーザによる指示に基づいて第１ブックマークおよび第２ブックマークを記録するサブルーチンである。その後、制御部２１は処理を終了する。
The
図１７は、ブックマークのサブルーチンの処理の流れを説明するフローチャートである。制御部２１は、図４を使用して説明したように表示装置３１に三次元分類データ５４を表示する（ステップＳ５１１）。制御部２１は、入力装置３２を介してユーザによる操作を受け付ける（ステップＳ５１２）。
Figure 17 is a flowchart explaining the process flow of the bookmark subroutine. The
制御部２１は、ステップＳ５１２で受け付けた操作が、三次元分類データ５４の回転、拡大、縮小、透明化および半透明化等の表示変更の指示であるか否かを判定する（ステップＳ５１３）。表示変更の指示であると判定した場合（ステップＳ５１３でＹＥＳ）、制御部２１はユーザによる指示に基づいて三次元分類データ５４の表示を変更する（ステップＳ５１４）。
The
表示変更の指示ではないと判定した場合（ステップＳ５１３でＮＯ）、制御部２１は第１スライダ８１１に対する操作を受け付けたか否かを判定する（ステップＳ５２１）。第１スライダ８１１に対する操作を受け付けたと判定した場合（ステップＳ５２１でＹＥＳ）、制御部２１は第１スライダ８１１の位置に基づいて三次元分類データ５４の横断面を変更する（ステップＳ５２２）。
If it is determined that the instruction is not to change the display (NO in step S513), the
制御部２１は、第１ブックマークを記録する指示を受け付けたか否かを判定する（ステップＳ５２３）。第１ブックマークを記録する指示を受け付けたと判定した場合（ステップＳ５２３でＹＥＳ）、制御部２１は第１ブックマークを記録する（ステップＳ５２４）。
The
具体的には、制御部２１は第１ブックマークに固有の第１ブックマークＩＤを付与する。制御部２１は第１ブックマークＩＤおよび第１ブックマークの位置を第１ブックマークフィールドに記録する。ステップＳ５２４により、制御部２１は本実施の形態の第１記録部の機能を実現する。
Specifically, the
第１スライダ８１１に対する操作を受け付けていないと判定した場合（ステップＳ５２１でＮＯ）、制御部２１は第２インジケータ８２に対する指示を受け付けたと判定する。制御部２１は、第２スライダ８２１の位置に基づいて三次元分類データ５４の縦断面を変更する（ステップＳ５２７）。
If it is determined that an operation on the
制御部２１は、第２ブックマークを記録する指示を受け付けたか否かを判定する（ステップＳ５２８）。第２ブックマークを記録する指示を受け付けたと判定した場合（ステップＳ５２８でＹＥＳ）、制御部２１は第２ブックマークを記録する（ステップＳ５２９）。
The
具体的には、制御部２１は第２ブックマークに固有の第２ブックマークＩＤを付与する。制御部２１は第２ブックマークＩＤおよび第２ブックマークの角度を第２ブックマークフィールドに記録する。ステップＳ５２９により、制御部２１は本実施の形態の第２記録部の機能を実現する。
Specifically, the
第１ブックマークを記録する指示を受け付けていないと判定した場合（ステップＳ５２３でＮＯ）、第２ブックマークを記録する指示を受け付けていないと判定した場合（ステップＳ５２８でＮＯ）、または、ステップＳ５１４、ステップＳ５２４もしくはステップＳ５２９の終了後、制御部２１は処理を終了するか否かを判定する（ステップＳ５１５）。たとえば、ユーザが次の三次元走査の実行を指示した場合、制御部２１は処理を終了すると判定する。
If it is determined that an instruction to record a first bookmark has not been received (NO in step S523), if it is determined that an instruction to record a second bookmark has not been received (NO in step S528), or after step S514, step S524, or step S529 is completed, the
処理を終了しないと判定した場合（ステップＳ５１５でＮＯ）、制御部２１はステップＳ５１２に戻る。処理を終了すると判定した場合（ステップＳ５１５でＹＥＳ）、制御部２１は処理を終了する。
If it is determined that the process should not be terminated (NO in step S515), the
本実施の形態によると、ユーザは第１インジケータ８１に沿って第１スライダ８１１を動かす操作により三次元分類データ５４の横断面の位置を容易に操作できる。ユーザは、第１インジケータ８１を操作中のカーソル８９を第１インジケータ８１に対して略垂直方向に動かすことにより、第１ブックマークを容易に記録できる。
According to this embodiment, the user can easily operate the position of the cross section of the three-
ユーザは第２インジケータ８２に沿って第２スライダ８２１を動かす操作により三次元分類データ５４の縦断面の位置を容易に操作できる。ユーザは、第２インジケータ８２を操作中のカーソル８９を第２インジケータ８２に対して略垂直方向に動かすことにより、第２ブックマークを容易に記録できる。
The user can easily operate the position of the vertical cross section of the three-
以上により、ユーザはたとえば治療効果の確認または経過観察等に適した横断層像５７および縦断層像５８を示すブックマークを容易に記録して、必要に応じて後日確認できる。
As a result, the user can easily record bookmarks that indicate transverse and
本実施の形態によると、ユーザが手技の実施中にリアルタイムでブックマークを記録可能なカテーテルシステム１０を提供できる。ブックマークを記録するためにＩＶＲ（Interventional Radiology）等の処置を停滞させないため、医療者および患者の負担を低減可能なカテーテルシステム１０を提供できる。
According to this embodiment, a
なお、第１ブックマークおよび第２ブックマークを記録する指示は、たとえばクリック、ダブルクリック、タップ等の任意の操作により受け付けてもよい。第１ブックマークおよび第２ブックマークを記録する指示は、音声入力またはフットスイッチの操作等により受け付けても良い。第１インジケータ８１および第２インジケータ８２を使用することにより、ブックマークを行なう位置をユーザが簡単な操作で正確に指定できるカテーテルシステム１０を提供できる。
The instruction to record the first bookmark and the second bookmark may be received by any operation, such as clicking, double-clicking, tapping, etc. The instruction to record the first bookmark and the second bookmark may be received by voice input or operation of a foot switch, etc. By using the
制御部２１は、ユーザの指示に基づいて三次元分類データ５４を横切断面５７１と縦切断面５８１の両方を用いて略Ｌ字型に切断した態様を表示してもよい。ユーザは、三次元分類データ５４の横断面と縦断面との関係を容易に把握できる。
The
図６から図１５を使用した画面において、制御部２１は横断層像５７または縦断層像５８に対する計測の指示を受け付けてもよい。制御部２１は、計測の指示を受け付けた横断層像５７または縦断層像５８を大きなサイズで表示して、計測に関する操作を受け付けても良い。ユーザは、たとえばプラークの厚さ、狭窄部の長さ、または狭窄率等の計測を行なえる。ＩＶＵＳ画像に対する種々の計測を行なう方法は公知であるため、説明を省略する。
In the screens shown in Figures 6 to 15, the
ブックマークＤＢ６６は、計測対象である横断層像５７または縦断層像５８のブックマークに関連づけて計測結果を記録するフィールドを備えてもよい。制御部２１は、計測結果を対応するフィールドに記録する。
The
制御部２１は、それぞれのブックマークに関連づけて所定の計測項目を自動的に計測し、ブックマークＤＢ６６に記録してもよい。
The
図４から図１５を使用して説明した画面において、制御部２１は三次元分類データ５４の代わりに、三次元カテーテルデータ５３を表示してもよい。制御部２１は、たとえば血管壁に対応する輝度のボクセル以外を透過させた状態で表示することにより、三次元カテーテルデータ５３に含まれる血管壁をユーザが視認しやすい状態で表示できる。
In the screens described using Figures 4 to 15, the
［実施の形態２］
本実施の形態は、ブックマークＤＢ６６に保存済のデータを表示し、ブックマークの追加を受け付けるプログラムに関する。実施の形態１と共通する部分については、説明を省略する。
[Embodiment 2]
This embodiment relates to a program for displaying data stored in the
図１８は、実施の形態２のプログラムの処理の流れを説明するフローチャートである。制御部２１は、ブックマークＤＢ６６の三次元カテーテルデータフィールドから三次元カテーテルデータ５３を取得する（ステップＳ５４１）。ステップＳ５４１により、制御部２１は本実施の形態の三次元分類画像取得部の機能を実現する。
Figure 18 is a flowchart explaining the flow of processing of the program of the second embodiment. The
制御部２１は、ブックマークＤＢ６６の三次元分類データフィールドから三次元分類データ５４を取得する（ステップＳ５４２）。制御部２１は、ブックマークＤＢ６６の第１ブックマークフィールドおよび第２ブックマークフィールドからブックマークを取得する（ステップＳ５４３）。
The
制御部２１は、ブックマークのサブルーチンを起動する（ステップＳ５４４）。ブックマークのサブルーチンは、図１７を使用して説明したサブルーチンと同一のサブルーチンである。なお、制御部２１は、ブックマークのサブルーチンのステップＳ５１１において、三次元分類データ５４に加えてステップＳ５４３で取得したブックマークに対応する横断層像５７、縦断層像５８、第１マーカ８１２および第２マーカ８２２も表示する。その後、制御部２１は処理を終了する。
The
本実施の形態によると、ブックマークＤＢ６６に記録したブックマークを表示し、必要に応じて追加のブックマークを記録可能なカテーテルシステム１０を提供できる。たとえば、経過観察を行なう場合等に、ユーザは新しく撮影した三次元画像上の着目箇所に合わせて、過去に撮影した三次元画像にブックマークを記録できる。複数回におよぶ経過観察結果を、容易に比較可能なカテーテルシステム１０を提供できる。
According to this embodiment, a
［実施の形態３］
本実施の形態は、ステント留置術を支援するカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
[Embodiment 3]
This embodiment relates to a
図１９は、実施の形態３のカテーテルシステム１０が表示する画面の例である。図１２を使用して説明した画面に、ステントサイズ欄７１およびステントマーカ７２が追加で表示されている。
Figure 19 is an example of a screen displayed by the
制御部２１は、ステントサイズ欄７１を介して留置を検討中のステントのサイズの入力を受け付ける。なお、制御部２１はステントの型番を受け付けて、対応する外径および長さをステントサイズ欄７１に表示してもよい。
The
制御部２１は、受け付けたステントのサイズに合わせたステントマーカ７２を、三次元分類データ５４に重畳させて表示する。ユーザは、カーソル８９を操作してステントマーカ７２の位置を適宜変更できる。
The
本実施の形態によると、ステントのサイズおよび留置位置の検討を支援可能なカテーテルシステム１０を提供できる。
According to this embodiment, a
なお、制御部２１は拡張用バルーンまたはロータブレータによる切削領域等を三次元分類データ５４に重畳表示してもよい。種々のカテーテル治療を支援可能なカテーテルシステム１０を提供できる。
The
［実施の形態４］
本実施の形態は、縦切断面５８１の回転軸を変更可能なカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
[Fourth embodiment]
This embodiment relates to a
図２０は、実施の形態４のブックマークＤＢ６６のレコードレイアウトを説明する説明図である。データＩＤフィールド、三次元カテーテルデータフィールド、三次元分類データフィールドおよび第１ブックマークフィールドは、図３を使用して説明した実施の形態１のブックマークＤＢ６６と同一である。
Figure 20 is an explanatory diagram explaining the record layout of the
第２ブックマークフィールドは、第２ブックマークＩＤフィールドおよび角度フィールドに加えて、回転軸フィールドを有する。回転軸フィールドには、第２ブックマークを記録した際に使用した回転軸の座標が記録されている。 The second bookmark field has a rotation axis field in addition to the second bookmark ID field and the angle field. The rotation axis field records the coordinates of the rotation axis used when the second bookmark was recorded.
図２１は、実施の形態４のカテーテルシステム１０が表示する画面の例である。図２１は、図１１を使用して説明した画面において、ユーザが縦切断面５８１の回転軸を変更する指示を入力した後の状態を示す。
Figure 21 is an example of a screen displayed by the
制御部２１は、軸指定欄７３および軸選択欄７４を表示する。軸指定欄７３には、第２インジケータ８２の表示を開始した際の横断層像５７が拡大表示されている。
The
軸選択欄７４には、ユーザが選択可能な回転軸の候補が表示されている。「Ａ．カテーテル中心」は、プローブ部４１の中心に沿う直線を回転軸に選択することを意味する。この候補を選択した場合の回転軸は、実施の形態１で説明した回転軸と同一である。
In the axis selection field 74, candidates for the rotation axis that the user can select are displayed. "A. Catheter center" means that a straight line along the center of the
「Ｂ．ＥＥＭ中心」は、軸指定欄７３に表示された横断層像に描出されたＥＥＭ（External Elastic Membrane：外弾性板）の中心を通るように回転軸を並行移動させる選択することを意味する。ＥＥＭは、たとえばユーザが入力装置３２を操作して入力する。制御部２１が自動的にＥＥＭを検出してもよい。ＥＥＭの中心は、たとえばＥＥＭの重心である。
"B. EEM center" means selecting to translate the rotation axis so that it passes through the center of the EEM (External Elastic Membrane) depicted in the transverse image displayed in the
制御部２１は、「カテーテル中心」および「ＥＥＭ中心」を軸指定欄７３内の横断層像に重畳して表示する。制御部２１は、軸選択欄７４を介して、ユーザによる選択を受け付ける。なお、ユーザが「Ｃ．手動入力」を選択した場合、制御部２１はユーザによる位置の指定を受け付ける。以後、制御部２１は軸選択欄７４を介して指定された点を通り、複数のカテーテル画像５１の中心を結ぶ方向に平行な軸を中心にして、縦切断面５８１を回転させる。
The
図２２は、実施の形態４のマーキングのサブルーチンの処理の流れを説明するフローチャートである。図２２のサブルーチンは、図１７を使用して説明したサブルーチンの代わりに使用される。ステップＳ５１１からステップＳ５２１までの処理は、図１７で説明したサブルーチンの処理と同一であるため、説明を省略する。 Figure 22 is a flowchart explaining the process flow of the marking subroutine of embodiment 4. The subroutine of Figure 22 is used in place of the subroutine explained using Figure 17. The process from step S511 to step S521 is the same as the process of the subroutine explained using Figure 17, so the explanation is omitted.
第１スライダ８１１に対する操作を受け付けていないと判定した場合（ステップＳ５２１でＮＯ）、制御部２１は第２インジケータ８２に対する指示を受け付けたと判定する。制御部２１は、縦切断面５８１の回転軸を変更する指示を受け付けたか否かを判定する（ステップＳ５６１）。
If it is determined that an operation on the
たとえば制御部２１は、回転軸を変更する指示をキーボードの操作または音声入力等により受け付ける。制御部２１は、回転軸を変更する指示を受け付けるボタンを画面上に表示してもよい。
For example, the
回転軸を変更する指示を受け付けたと判定した場合（ステップＳ５６１でＹＥＳ）、制御部２１は軸変更のサブルーチンを起動する（ステップＳ５６２）。軸変更のサブルーチンは、回転軸の変更を受け付けるサブルーチンである。軸変更のサブルーチンの処理の流れは後述する。
If it is determined that an instruction to change the rotation axis has been received (YES in step S561), the
回転軸を変更する指示を受け付けていないと判定した場合（ステップＳ５６１でＮＯ）、制御部２１は、第２スライダ８２１の位置に基づいて三次元分類データ５４の縦断面を変更する（ステップＳ５２７）。以後の処理は、図１７を使用して説明したサブルーチンの処理と同一であるため、説明を省略する。
If it is determined that an instruction to change the rotation axis has not been received (NO in step S561), the
図２３は、軸変更のサブルーチンの処理の流れを説明するフローチャートである。軸変更のサブルーチンは、回転軸の変更を受け付けるサブルーチンである。制御部２１は、たとえば図２１を使用して説明した「ＥＥＭ中心」のような回転軸の候補位置を算出する（ステップＳ５７１）。候補位置は、たとえば「内腔領域の中心」および、「血管外周の中心」等を含んでもよい。制御部２１は、図２１を使用して説明したように、軸指定欄７３および軸選択欄７４に候補を表示する（ステップＳ５７２）。
Figure 23 is a flowchart explaining the process flow of the axis change subroutine. The axis change subroutine is a subroutine that accepts a change of the rotation axis. The
制御部２１は、たとえば軸選択欄７４の左端に設けたチェックボックスを介してユーザによる選択を受け付ける（ステップＳ５７３）。制御部２１は、ユーザから「Ｃ．手動入力」の選択を受け付けたか否かを判定する（ステップＳ５７４）。
The
「Ｃ．手動入力」の選択を受け付けたと判定した場合（ステップＳ５７４でＹＥＳ）、制御部２１はユーザによる軸の指定を受け付ける（ステップＳ５７５）。具体的には、ユーザは入力装置３２を操作して軸指定欄７３上の一点をクリック操作する。制御部２１はクリック操作された位置に基づいて軸の指定を受け付ける。
If it is determined that the selection of "C. Manual input" has been accepted (YES in step S574), the
「Ｃ．手動入力」の選択を受け付けていないと判定した場合（ステップＳ５７４でＮＯ）、または、ステップＳ５７５の終了後、制御部２１はユーザが指定した軸を主記憶装置２２または補助記憶装置２３に記録する（ステップＳ５７６）。以後、再度軸変更のサブルーチンが起動されるまで、制御部２１はステップＳ５７６で記憶した回転軸を使用する。その後、制御部２１は処理を終了する。
If it is determined that the selection of "C. Manual input" has not been accepted (NO in step S574), or after step S575 is completed, the
なお、制御部２１はブックマークＤＢ６６に第２ブックマークを記録する際、回転軸フィールドにステップＳ５８６で記憶した回転軸の位置を記録する。
When the
本実施の形態によると、縦切断面５８１の回転軸を変更できるカテーテルシステム１０を提供できる。たとえば、狭窄等によりカテーテル画像５１の中心とＥＥＭの中心とが離れている場合であっても、ユーザはＥＥＭの中心を軸に用いて複数の縦断層像５８を観察できる。
According to this embodiment, a
［実施の形態５］
図２４は、実施の形態５のカテーテルシステム１０の構成を説明する説明図である。本実施の形態は、カテーテル制御装置２７と、ＭＤＵ３３と、画像診断用カテーテル４０と、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態のカテーテルシステム１０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。
[Embodiment 5]
24 is an explanatory diagram for explaining the configuration of the
カテーテル制御装置２７は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく横断層像５７および縦断層像５８の生成等を行なう、ＩＶＵＳ用の超音波診断装置である。カテーテル制御装置２７の機能および構成は、従来から使用されている超音波診断装置と同様であるため、説明を省略する。
The
本実施の形態のカテーテルシステム１０は、コンピュータ９０を含む。コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、読取部２９およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。
The
プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。
The
プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。
The
コンピュータ９０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。コンピュータ９０は、分散処理を行なう複数のパソコン等であってもよい。
The
［実施の形態６］
図２５は、実施の形態６の情報処理装置の機能ブロック図である。情報処理装置２０は、三次元画像出力部９１と、インジケータ出力部９２と、第１記録部９３とを備える。三次元画像出力部９１は、ラジアル走査型の画像診断用カテーテル４０により取得した複数のカテーテル画像５１に基づく三次元画像５４を出力する。
Sixth Embodiment
25 is a functional block diagram of an information processing device according to embodiment 6. The
インジケータ出力部９２は、画像診断用カテーテル４０の長手方向に対応する第１インジケータ８１を出力する。第１記録部９３は、第１インジケータ８１を介して取得した第１ブックマークを記録する。
The
各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
The technical features (constituent elements) described in each embodiment can be combined with each other, and by combining them, new technical features can be formed.
The embodiments disclosed herein are illustrative in all respects and should not be considered as limiting. The scope of the present invention is defined by the claims, not by the above meaning, and is intended to include all modifications within the scope and meaning equivalent to the claims.
１０ カテーテルシステム
２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ 表示部
２６ 入力部
２７ カテーテル制御装置
２７１ カテーテル制御部
２９ 読取部
３１ 表示装置
３２ 入力装置
３３ ＭＤＵ
４０ 画像診断用カテーテル
４１ プローブ部
４２ センサ
４３ シャフト
４５ コネクタ部
５１ カテーテル画像
５２ 分類データ
５２１ 第１領域
５２２ 第２領域
５２３ 第３領域
５２４ 第４領域
５２５ 第５領域
５３ 三次元カテーテルデータ
５４ 三次元分類データ（三次元画像）
５７ 横断層像
５７１ 横切断面
５８ 縦断層像
５８１ 縦切断面
６６ ブックマークＤＢ
７１ ステントサイズ欄
７２ ステントマーカ
７３ 軸指定欄
７４ 軸選択欄
８１ 第１インジケータ
８１１ 第１スライダ
８１２ 第１マーカ
８１５ 第１補助マーカ
８２ 第２インジケータ
８２１ 第２スライダ
８２２ 第２マーカ
８２５ 第２補助マーカ
８６ フレームインジケータ
８９ カーソル
９０ コンピュータ
９１ 三次元画像出力部
９２ インジケータ出力部
９３ 第１記録部
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ
REFERENCE SIGNS
40
57
71
Claims (14)
前記画像診断用カテーテルの長手方向に対応する第１インジケータを出力する第１インジケータ出力部と、
前記第１インジケータを介して取得した第１ブックマークを記録する第１記録部と、
前記画像診断用カテーテルのラジアル走査方向に対応する第２インジケータを出力する第２インジケータ出力部と、
前記第２インジケータを介して取得した第２ブックマークを記録する第２記録部とを備える
情報処理装置。 a three-dimensional image output unit that outputs a three-dimensional image based on a plurality of catheter images acquired by a radial scanning type diagnostic imaging catheter;
a first indicator output unit that outputs a first indicator corresponding to a longitudinal direction of the diagnostic imaging catheter;
a first recording unit that records a first bookmark acquired via the first indicator ;
a second indicator output unit that outputs a second indicator corresponding to a radial scanning direction of the catheter for diagnostic imaging;
a second recording unit configured to record a second bookmark acquired via the second indicator .
請求項１に記載の情報処理装置。 The information processing device according to claim 1 , wherein the first bookmark is a position of a cross section of the three-dimensional image acquired through an operation on a first slider that is movable along the first indicator.
請求項１または請求項２に記載の情報処理装置。 The information processing device according to claim 1 , wherein the first indicator output unit outputs a first marker indicating a position of the first bookmark that was previously recorded, in addition to the first indicator.
請求項１から請求項３のいずれか一つに記載の情報処理装置。 The information processing device according to claim 1 , further comprising a transverse cross-sectional image output unit configured to output a catheter image of a transverse cross-sectional image corresponding to the first bookmark.
請求項４に記載の情報処理装置。 The information processing device according to claim 4 , wherein the transverse image output unit outputs, in thumbnail format, catheter images of transverse images corresponding to the first bookmarks recorded in the past.
前記第２ブックマークは、前記第２インジケータに沿って移動可能な第２スライダに対する操作を介して取得した前記三次元画像の縦断面の位置である
請求項１から請求項５のいずれか一つに記載の情報処理装置。 the second indicator is arcuate;
The second bookmark is a position of a vertical section of the three-dimensional image acquired through an operation on a second slider movable along the second indicator.
6. The information processing device according to claim 1 .
請求項１から請求項６のいずれか一つ請に記載の情報処理装置。 The second indicator output unit outputs a second marker indicating a position of the second bookmark previously recorded in addition to the second indicator.
7. The information processing device according to claim 1 .
請求項１から請求項７のいずれか一つに記載の情報処理装置。 a longitudinal tomographic image output unit for outputting a catheter image of the longitudinal tomographic image corresponding to the second bookmark;
8. The information processing device according to claim 1 .
請求項８に記載の情報処理装置。 The longitudinal tomographic image output unit outputs, in thumbnail format, catheter images of longitudinal tomographic images corresponding to the second bookmarks recorded in the past.
The information processing device according to claim 8 .
請求項１から請求項９のいずれか一つに記載の情報処理装置。 The information processing device according to claim 1 , wherein the three-dimensional image is a three-dimensional classified image generated based on a plurality of classification data obtained by classifying objects captured in each of a plurality of catheter images.
取得した前記カテーテル画像のそれぞれを、前記カテーテル画像を入力した場合に、前記カテーテル画像のそれぞれの領域に撮影されているオブジェクトを分類した分類データを出力する分類モデルに入力する分類モデル入力部と、
前記分類モデルから出力された分類データに基づいて前記三次元分類画像を生成する三次元分類画像生成部とを備える
請求項１０に記載の情報処理装置。 a catheter image acquisition unit for acquiring a plurality of the catheter images;
a classification model input unit that inputs each of the acquired catheter images to a classification model that outputs classification data obtained by classifying objects captured in each region of the catheter image when the catheter image is input;
a three-dimensional classified image generating unit that generates the three-dimensional classified image based on classification data output from the classification model.
The information processing device according to claim 10 .
前記三次元分類画像を取得する三次元分類画像取得部とを備える
請求項１０に記載の情報処理装置。 a catheter image acquisition unit for acquiring a plurality of the catheter images;
a three-dimensional classified image acquisition unit for acquiring the three-dimensional classified image;
The information processing device according to claim 10 .
前記画像診断用カテーテルの長手方向に対応する第１インジケータを出力し、
前記第１インジケータを介して取得した第１ブックマークを記録し、
前記画像診断用カテーテルのラジアル走査方向に対応する第２インジケータを出力する第２インジケータを出力し、
前記第２インジケータを介して取得した第２ブックマークを記録する
処理をコンピュータに実行させるプログラム。 outputting a three-dimensional image based on a plurality of catheter images acquired by a radial scanning type imaging diagnostic catheter;
outputting a first indicator corresponding to a longitudinal direction of the diagnostic imaging catheter;
Recording a first bookmark obtained via the first indicator ;
outputting a second indicator corresponding to a radial scanning direction of the imaging diagnostic catheter;
Recording a second bookmark obtained via the second indicator.
A program that causes a computer to carry out processing.
前記画像診断用カテーテルの長手方向に対応する第１インジケータを出力し、
前記第１インジケータを介して取得した第１ブックマークを記録し、
前記画像診断用カテーテルのラジアル走査方向に対応する第２インジケータを出力する第２インジケータを出力し、
前記第２インジケータを介して取得した第２ブックマークを記録する
処理をコンピュータに実行させる情報処理方法。 outputting a three-dimensional image based on a plurality of catheter images acquired by a radial scanning type imaging diagnostic catheter;
outputting a first indicator corresponding to a longitudinal direction of the diagnostic imaging catheter;
Recording a first bookmark obtained via the first indicator ;
outputting a second indicator corresponding to a radial scanning direction of the imaging diagnostic catheter;
Recording a second bookmark obtained via the second indicator.
An information processing method for causing a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020164604A JP7480010B2 (en) | 2020-09-30 | 2020-09-30 | Information processing device, program, and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020164604A JP7480010B2 (en) | 2020-09-30 | 2020-09-30 | Information processing device, program, and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022056714A JP2022056714A (en) | 2022-04-11 |
| JP7480010B2 true JP7480010B2 (en) | 2024-05-09 |
Family
ID=81111272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020164604A Active JP7480010B2 (en) | 2020-09-30 | 2020-09-30 | Information processing device, program, and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7480010B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004167042A (en) | 2002-11-21 | 2004-06-17 | Fuji Photo Film Co Ltd | Image display device |
| JP2005040223A (en) | 2003-07-24 | 2005-02-17 | Olympus Corp | Medical image display device |
| JP2012075702A (en) | 2010-10-01 | 2012-04-19 | Fujifilm Corp | Apparatus, method, and program for reconstructing intra-tubular-structure image |
| JP2013070827A (en) | 2011-09-28 | 2013-04-22 | Terumo Corp | Imaging apparatus for diagnosis |
| WO2014045327A1 (en) | 2012-09-24 | 2014-03-27 | テルモ株式会社 | Image diagnosis apparatus, and image processing method |
-
2020
- 2020-09-30 JP JP2020164604A patent/JP7480010B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004167042A (en) | 2002-11-21 | 2004-06-17 | Fuji Photo Film Co Ltd | Image display device |
| JP2005040223A (en) | 2003-07-24 | 2005-02-17 | Olympus Corp | Medical image display device |
| JP2012075702A (en) | 2010-10-01 | 2012-04-19 | Fujifilm Corp | Apparatus, method, and program for reconstructing intra-tubular-structure image |
| JP2013070827A (en) | 2011-09-28 | 2013-04-22 | Terumo Corp | Imaging apparatus for diagnosis |
| WO2014045327A1 (en) | 2012-09-24 | 2014-03-27 | テルモ株式会社 | Image diagnosis apparatus, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022056714A (en) | 2022-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10687777B2 (en) | Vascular data processing and image registration systems, methods, and apparatuses | |
| US9659375B2 (en) | Methods and systems for transforming luminal images | |
| US20220079563A1 (en) | Methods and systems for establishing parameters for three-dimensional imaging | |
| EP2903532B1 (en) | System for operation of three-dimesional imaging systems | |
| EP2967480B1 (en) | Vascular data processing and image registration methods | |
| JP2024020239A (en) | Intravascular data collection and processing system | |
| US8046707B2 (en) | Medical imaging apparatus which displays predetermined information in differentiable manner from others | |
| JP6080248B2 (en) | Three-dimensional image display apparatus and method, and program | |
| US10070827B2 (en) | Automatic image playback | |
| US20080303818A1 (en) | Medical image display apparatus and program, and recording medium therefor | |
| JPWO2010055817A1 (en) | Image processing apparatus and image processing method | |
| US9367965B2 (en) | Systems and methods for generating images of tissue | |
| JP2022079550A (en) | Method of operating processor device | |
| US20240013514A1 (en) | Information processing device, information processing method, and program | |
| JP7489882B2 (en) | Computer program, image processing method and image processing device | |
| US20240013385A1 (en) | Medical system, method for processing medical image, and medical image processing apparatus | |
| JP7480010B2 (en) | Information processing device, program, and information processing method | |
| WO2020148162A1 (en) | Intravascular imaging and pressure-sensing procedure case log with dynamic preview | |
| US20230260120A1 (en) | Information processing device, information processing method, and program | |
| WO2023100979A1 (en) | Information processing device, information processing method, and program | |
| JP7421548B2 (en) | Diagnostic support device and diagnostic support system | |
| US20240013386A1 (en) | Medical system, method for processing medical image, and medical image processing apparatus | |
| US20230230355A1 (en) | Information processing device, information processing method, program, and generation method for trained model | |
| WO2023100838A1 (en) | Computer program, information processing device, information processing method, and training model generation method | |
| JP2022056713A (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230410 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240424 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7480010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |