JP7195868B2 - 医用画像処理装置、x線診断装置及び医用画像処理プログラム - Google Patents

医用画像処理装置、x線診断装置及び医用画像処理プログラム Download PDF

Info

Publication number
JP7195868B2
JP7195868B2 JP2018197395A JP2018197395A JP7195868B2 JP 7195868 B2 JP7195868 B2 JP 7195868B2 JP 2018197395 A JP2018197395 A JP 2018197395A JP 2018197395 A JP2018197395 A JP 2018197395A JP 7195868 B2 JP7195868 B2 JP 7195868B2
Authority
JP
Japan
Prior art keywords
image
dimensional
blood vessel
vessel region
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018197395A
Other languages
English (en)
Other versions
JP2020062324A (ja
Inventor
美郁 高谷
亮一 長江
翔 佐々木
智生 藤戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018197395A priority Critical patent/JP7195868B2/ja
Publication of JP2020062324A publication Critical patent/JP2020062324A/ja
Application granted granted Critical
Publication of JP7195868B2 publication Critical patent/JP7195868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明の実施形態は、医用画像処理装置、X線診断装置及び医用画像処理プログラムに関する。
近年、被検体内にデバイスを挿入して操作し、被検体内にデバイスを留置する種々の治療方法が知られている。例えば、ステントグラフト内挿術において、医師等の操作者は、被検体の大動脈の形状に応じたステントグラフトを作製し、ステントグラフトを留置する位置を計画する。そして、操作者は、ステントグラフトを被検体内に挿入し、術前の計画に従ってステントグラフトを留置する。
ここで、上述したステントグラフト内挿術では、術前の計画通りにステントグラフトを留置するための支援技術として、3次元ロードマップが知られている。3次元ロードマップでは、ステントグラフトを留置する血管を示す血管領域画像を、当該血管の3次元画像データから生成して、ステントグラフトを留置する際に観察されるX線画像上に重畳して表示する。
特開2008-161643号公報
本発明が解決しようとする課題は、3次元ロードマップにおける血管領域画像の更新を容易にすることである。
実施形態に係る医用画像処理装置は、医用画像取得部と、記憶部と、血管画像生成部と、更新部と、合成画像生成部とを備える。医用画像取得部は、2次元医用画像を取得する。記憶部は、血管領域の情報を含む3次元医用データを記憶する。血管画像生成部は、前記3次元医用データから血管領域の情報を含む2次元血管領域画像を生成する。更新部は、取得された第1の2次元医用画像に基づいて、前記2次元血管領域画像を更新する。合成画像生成部は、更新された前記2次元血管領域画像と、前記第1の2次元医用画像、又は、前記第1の2次元医用画像より後に取得された第2の2次元医用画像とを合成した合成画像を生成する。
図1は、第1の実施形態に係る医用画像処理システムの構成の一例を示す図である。 図2は、第1の実施形態に係るX線診断装置の構成の一例を示す図である。 図3は、第1の実施形態に係るステントグラフトの一例を示す図である。 図4は、第1の実施形態に係る血管領域画像の一例を示す図である。 図5Aは、第1の実施形態に係るステントグラフトのマーカーの一例を示す図である。 図5Bは、第1の実施形態に係るステントグラフトのマーカーの一例を示す図である。 図6は、第1の実施形態に係る更新機能による位置合わせ処理の一例を説明するための図である。 図7は、第1の実施形態に係る更新機能による位置合わせ処理の一例を説明するための図である。 図8は、第1の実施形態に係る更新機能による位置合わせ処理の一例を説明するための図である。 図9は、第1の実施形態に係る更新機能による位置合わせ処理の一例を説明するための図である。 図10は、第1の実施形態に係る医用画像処理装置の処理の流れを示すフローチャートである。 図11は、第2の実施形態に係るX線診断装置の構成の一例を示す図である。
以下、図面を参照して、医用画像処理装置、X線診断装置及び医用画像処理プログラムの実施形態について詳細に説明する。
(第1の実施形態)
まず、第1の実施形態について説明する。第1の実施形態では、医用画像処理装置を含む医用画像処理システムを一例として説明する。また、第1の実施形態では、デバイスの一例として、ステントグラフトについて説明する。
図1は、第1の実施形態に係る医用画像処理システム1の構成の一例を示す図である。図1に示すように、第1の実施形態に係る医用画像処理システム1は、X線診断装置10と、画像保管装置20と、医用画像処理装置30とを備える。そして、医用画像処理システム1においては、X線診断装置10、画像保管装置20及び医用画像処理装置30が、ネットワークを介して相互に通信可能に接続される。
X線診断装置10は、被検体PからX線画像を収集する装置である。例えば、X線診断装置10は、ステントグラフトが挿入された被検体Pから投影データを収集し、収集した投影データからX線画像を生成する。そして、X線診断装置10は、収集した投影データや、生成したX線画像を画像保管装置20及び医用画像処理装置30に送信する。また、X線診断装置10は、回転撮影によって収集した投影データを用いて3次元画像データ(ボリュームデータ)を再構成して、再構成したボリュームデータを画像保管装置20及び医用画像処理装置30に送信することもできる。なお、X線診断装置10の構成については後述する。また、本実施形態では、投影データ、3次元画像データ及びX線画像をまとめてX線画像データと記載する場合がある。
画像保管装置20は、X線診断装置10によって収集された投影データや、X線画像を保管する装置である。例えば、画像保管装置20は、ネットワークを介してX線診断装置10から投影データや、X線画像を取得し、取得した投影データや、X線画像を装置内又は装置外に設けられたメモリに記憶させる。例えば、画像保管装置20は、サーバ装置等のコンピュータ機器によって実現される。
医用画像処理装置30は、ネットワークを介してX線画像データを取得し、取得したX線画像データを用いて種々の処理を実行する。例えば、医用画像処理装置30は、画像保管装置20からX線画像データを取得する。或いは、医用画像処理装置30は、画像保管装置20を介さず、X線診断装置10からX線画像データを取得する。なお、医用画像処理装置30が行なう処理については後に詳述する。例えば、医用画像処理装置30は、ワークステーション等のコンピュータ機器によって実現される。
なお、ネットワークを介して接続可能であれば、X線診断装置10、画像保管装置20及び医用画像処理装置30が設置される場所は任意である。例えば、医用画像処理装置30は、X線診断装置10と異なる病院に設置されてもよい。また、図1においてはX線診断装置10を1つ示すが、医用画像処理システム1は、複数のX線診断装置10を含んでもよい。
図1に示すように、医用画像処理装置30は、入力インターフェース31と、ディスプレイ32と、メモリ33と、処理回路34とを有する。
入力インターフェース31は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路34に出力する。例えば、入力インターフェース31は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース31は、医用画像処理装置30本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース31は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用画像処理装置30とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路34へ出力する電気信号の処理回路も入力インターフェース31の例に含まれる。
ディスプレイ32は、各種の情報を表示する。例えば、ディスプレイ32は、処理回路34による制御の下、X線診断装置10により収集されるX線画像や、処理回路34による処理結果を表示する。また、ディスプレイ32は、処理回路34によって生成される血管領域画像や、合成画像を表示する。血管画像及び合成画像については、後に詳述する。また、ディスプレイ32は、入力インターフェース31を介して操作者から各種指示や各種設定等を受け付けるためのGUI(Graphical User Interface)を表示する。例えば、ディスプレイ32は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。ディスプレイ32は、デスクトップ型でもよいし、医用画像処理装置30本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
メモリ33は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ33は、X線診断装置10又は画像保管装置20から取得したX線画像データを記憶する。また、例えば、メモリ33は、処理回路34が生成した血管領域画像や、合成画像を記憶する。また、例えば、メモリ33は、医用画像処理装置30に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、メモリ33は、医用画像処理装置30とネットワークを介して接続されたサーバ群(クラウド)により実現されることとしてもよい。ここで、メモリ33は、記憶部の一例である。
処理回路34は、医用画像取得機能34a、血管画像生成機能34b、更新機能34c、合成画像生成機能34d及び出力機能34eを実行することで、医用画像処理装置30全体の動作を制御する。ここで、医用画像取得機能34aは、医用画像取得部の一例である。また、血管画像生成機能34bは、血管画像生成部の一例である。また、更新機能34cは、更新部の一例である。また、合成画像生成機能34dは、合成画像生成部の一例である。
例えば、処理回路34は、医用画像取得機能34aに対応するプログラムをメモリ33から読み出して実行することにより、X線診断装置10或いは画像保管装置20からX線画像データを取得する。また、例えば、処理回路34は、血管画像生成機能34bに対応するプログラムをメモリ33から読み出して実行することにより、X線画像データから血管領域画像を生成する。また、例えば、処理回路34は、更新機能34cに対応するプログラムをメモリ33から読み出して実行することにより、X線画像データに基づいて、血管領域画像を更新する。また、例えば、処理回路34は、合成画像生成機能34dに対応するプログラムをメモリ33から読み出して実行することにより、合成画像を生成する。また、例えば、処理回路34は、出力機能34eに対応するプログラムをメモリ33から読み出して実行することにより、合成画像を出力する。
図1に示す医用画像処理装置30においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ33へ記憶されている。処理回路34は、メモリ33からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路34は、読み出したプログラムに対応する機能を有することとなる。なお、図1においては単一の処理回路34にて、医用画像取得機能34a、血管画像生成機能34b、更新機能34c、合成画像生成機能34d及び出力機能34eが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路34を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路34が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
次に、X線画像データを収集するX線診断装置10について、図2を用いて説明する。図2は、第1の実施形態に係るX線診断装置10の構成の一例を示す図である。図2に示すように、X線診断装置10は、X線高電圧装置101と、X線管102と、X線絞り器103と、天板104と、Cアーム105と、X線検出器106と、メモリ107と、ディスプレイ108と、入力インターフェース109と、処理回路110とを備える。
X線高電圧装置101は、処理回路110による制御の下、X線管102に高電圧を供給する。例えば、X線高電圧装置101は、変圧器(トランス)及び整流器等の電気回路を有し、X線管102に印加する高電圧を発生する高電圧発生装置と、X線管102が照射するX線に応じた出力電圧の制御を行うX線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。
X線管102は、熱電子を発生する陰極(フィラメント)と、熱電子の衝突を受けてX線を発生する陽極(ターゲット)とを有する真空管である。X線管102は、X線高電圧装置101から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、X線を発生する。
X線絞り器103は、X線管102により発生されたX線の照射範囲を絞り込むコリメータと、X線管102から曝射されたX線を調節するフィルタとを有する。
X線絞り器103におけるコリメータは、例えば、スライド可能な4枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、X線管102が発生したX線を絞り込んで被検体Pに照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、X線の照射範囲を調整するためにX線管102のX線照射口付近に設けられる。
X線絞り器103におけるフィルタは、被検体Pに対する被曝線量の低減とX線画像データの画質向上を目的として、その材質や厚みによって透過するX線の線質を変化させ、被検体Pに吸収されやすい軟線成分を低減したり、X線画像データのコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってX線の線量及び照射範囲を変化させ、X線管102から被検体Pへ照射されるX線が予め定められた分布になるようにX線を減衰させる。
例えば、X線絞り器103は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路110による制御の下、駆動機構を動作させることによりX線の照射を制御する。例えば、X線絞り器103は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Pに対して照射されるX線の照射範囲を制御する。また、例えば、X線絞り器103は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Pに対して照射されるX線の線量の分布を制御する。
天板104は、被検体Pを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Pは、X線診断装置10に含まれない。例えば、寝台は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路110による制御の下、駆動機構を動作させることにより、天板104の移動・傾斜を制御する。例えば、寝台は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板104を移動させたり、傾斜させたりする。
Cアーム105は、X線管102及びX線絞り器103と、X線検出器106とを、被検体Pを挟んで対向するように保持する。例えば、Cアーム105は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路110による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Cアーム105は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、X線管102及びX線絞り器103と、X線検出器106とを被検体Pに対して回転・移動させ、X線の照射位置や照射角度を制御する。なお、図2では、X線診断装置10がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。
X線検出器106は、例えば、マトリクス状に配列された検出素子を有するX線平面検出器(Flat Panel Detector:FPD)である。X線検出器106は、X線管102から照射されて被検体Pを透過したX線を検出して、検出したX線量に対応した検出信号を処理回路110へと出力する。なお、X線検出器106は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。
メモリ107は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ107は、処理回路110によって収集されたX線画像データを受け付けて記憶する。また、メモリ107は、処理回路110によって読み出されて実行される各種機能に対応するプログラムを記憶する。なお、メモリ107は、X線診断装置10とネットワークを介して接続されたサーバ群(クラウド)により実現されることとしてもよい。
ディスプレイ108は、各種の情報を表示する。例えば、ディスプレイ108は、処理回路110による制御の下、操作者の指示を受け付けるためのGUIや、各種のX線画像を表示する。例えば、ディスプレイ108は、液晶ディスプレイやCRTディスプレイである。なお、ディスプレイ108はデスクトップ型でもよいし、処理回路110と無線通信可能なタブレット端末等で構成されることにしても構わない。
入力インターフェース109は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路110に出力する。例えば、入力インターフェース109は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース109は、処理回路110と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース109は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、X線診断装置10とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路110へ出力する電気信号の処理回路も入力インターフェース109の例に含まれる。
処理回路110は、収集機能110a、出力機能110b及び制御機能110cを実行することで、X線診断装置10全体の動作を制御する。ここで、収集機能110aは、医用画像収集部の一例である。
例えば、処理回路110は、メモリ107から収集機能110aに相当するプログラムを読み出して実行することにより、X線画像データを収集する。例えば、収集機能110aは、X線高電圧装置101を制御し、X線管102に供給する電圧を調整することで、被検体Pに対して照射されるX線量やオン/オフを制御する。
また、例えば、収集機能110aは、X線絞り器103の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Pに対して照射されるX線の照射範囲を制御する。また、収集機能110aは、X線絞り器103の動作を制御し、フィルタの位置を調整することで、X線の線量の分布を制御する。また、収集機能110aは、Cアーム105の動作を制御することで、Cアーム105を回転させたり、移動させたりする。また、例えば、収集機能110aは、寝台の動作を制御することで、天板104を移動させたり、傾斜させたりする。
また、収集機能110aは、X線検出器106から受信した検出信号に基づいて投影データを生成し、生成した投影データをメモリ107に格納する。また、収集機能110aは、メモリ107が記憶する投影データに対して各種画像処理を行なうことで、X線画像を生成する。また、収集機能110aは、X線画像に対して、例えば、画像処理フィルタによるノイズ低減処理や、散乱線補正を実行する。また、収集機能110aは、回転撮影によって収集した投影データを用いてボリュームデータを再構成し、再構成したボリュームデータからX線画像を生成する。
また、処理回路110は、メモリ107から出力機能110bに相当するプログラムを読み出して実行することにより、ディスプレイ108にGUIやX線画像を表示させる。また、出力機能110bは、X線画像データを、画像保管装置20や医用画像処理装置30に出力する。また、処理回路110は、メモリ107から制御機能110cに相当するプログラムを読み出して実行することにより、入力インターフェース109を介して操作者から受け付けた入力操作に基づいて、処理回路110の各種機能を制御する。
図2に示すX線診断装置10においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ107へ記憶されている。処理回路110は、メモリ107からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路110は、読み出したプログラムに対応する機能を有することとなる。なお、図2においては、収集機能110a、出力機能110b及び制御機能110cの各処理機能が単一の処理回路110によって実現される場合を示したが、実施形態はこれに限られるものではない。例えば、処理回路110は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路110が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、あるいは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサはメモリ33又はメモリ107に保存されたプログラムを読み出し実行することで機能を実現する。
なお、図1及び図2においては、単一のメモリ33又はメモリ107が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、複数のメモリ33を分散して配置し、処理回路34は、個別のメモリ33から対応するプログラムを読み出す構成としても構わない。同様に、複数のメモリ107を分散して配置し、処理回路110は、個別のメモリ107から対応するプログラムを読み出す構成としても構わない。また、メモリ33及びメモリ107にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
また、処理回路34及び処理回路110は、ネットワークを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路34は、メモリ33から各機能に対応するプログラムを読み出して実行するとともに、医用画像処理装置30とネットワークを介して接続されたサーバ群(クラウド)を計算資源として利用することにより、図1に示す各機能を実現する。
以上、医用画像処理装置30を含んだ医用画像処理システム1について説明した。かかる構成のもと、医用画像処理システム1における医用画像処理装置30は、処理回路34による処理によって、3次元ロードマップにおける血管領域画像の更新を容易にする。具体的には、医用画像処理装置30は、医師などが3次元ロードマップを参照しながら医用デバイスを操作する際の3次元ロードマップの更新を容易にする。
ここで、本実施形態では、デバイスの一例として、ステントグラフトを用いる場合について説明する。例えば、ステントグラフトは、被検体Pにおける治療対象部位の血管形状に応じて作製される。例えば、大動脈瘤に対するステントグラフト内挿術では、術前の治療計画において被検体Pの血管形状を示す3次元画像データが収集され、3次元画像データに基づいてステントグラフトが作製される。
例えば、X線診断装置10における収集機能110aは、Cアーム105を回転させながら所定のフレームレートで投影データを収集する回転撮影を実行し、収集した投影データから、被検体Pの血管形状を示す3次元画像データを再構成する。一例を挙げると、収集機能110aは、血管内に造影剤が注入されていない状態の被検体Pに対する回転撮影を実行し、所定のフレームレートでマスク画像を収集する。また、収集機能110aは、血管内に造影剤が注入された状態の被検体Pに対する回転撮影を実行し、所定のフレームレートでコントラスト画像を収集する。次に、収集機能110aは、マスク画像とコントラスト画像とを差分した差分画像データを投影データとして、被検体Pの血管形状を示す3次元画像データを再構成する。別の例を挙げると、収集機能110aは、マスク画像を投影データとして3次元画像データを再構成する。また、収集機能110aは、コントラスト画像を投影データとして3次元画像データを再構成する。そして、収集機能110aは、再構成した2つの3次元画像データを差分することで、被検体Pの血管形状を示す3次元画像データを生成する。
なお、被検体Pの血管形状を示す3次元画像データについては、X線診断装置10が収集してもよいし、X線診断装置10以外のX線診断装置が収集してもよいし、X線診断装置以外の医用画像診断装置(例えば、X線CT(Computed Tomography)など)が収集してもよい。
例えば、ステントグラフトは、図3に示すように、幹部(メインボディ)と複数の分枝部とを有する。図3に示す幹部は、例えば、被検体Pの大動脈の形状に基づいて作製される。また、例えば、図3に示す複数の分枝部は、それぞれ、大動脈から分枝する種々の動脈(分枝血管)の形状に基づいて作製される。なお、図3は、第1の実施形態に係るステントグラフトの一例を示す図である。
例えば、ステントグラフトは、幹部と分枝部とを分割可能に構成され、幹部には分枝部をはめ込むための孔が複数設けられる。この場合、ステントグラフト内挿術においては、大動脈にステントグラフトの幹部が留置された後、幹部の孔にはめ込むようにステントグラフトの分枝部が留置される。これにより、大動脈瘤への血流を低減して大動脈瘤の拡大を防ぎつつも、大動脈から分枝する種々の動脈(分枝血管)への血流が維持される。
ステントグラフトが作製された後、操作者は、術前の計画に従ってステントグラフト内挿術を実施する。例えば、操作者は、まず、ステントグラフトの幹部をカテーテル内に収納した状態で被検体Pの血管内に挿入し、治療対象部位(大動脈瘤)の位置まで進行させる。この際、ステントグラフトの幹部は、径方向に圧縮された状態でカテーテル内に収納される。
ここで、ステントグラフトが留置される間、収集機能110aが、治療対象部位のX線画像を収集して、出力機能110bが、X線画像を出力する。例えば、収集機能110aは、治療対象部位についてX線画像を時系列的に収集する。また、出力機能110bは、時系列的に収集されるX線画像をディスプレイ108に順次表示させる。或いは、出力機能110bは、時系列的に収集されるX線画像を医用画像処理装置30に順次出力する。この場合、医用画像処理装置30における出力機能34eは、X線診断装置10から取得したX線画像をディスプレイ32に順次表示させる。なお、以下では、X線画像の収集と並行して順次表示されるX線画像、或いは、他の装置からのX線画像の取得と並行して順次表示されるX線画像については、透視画像とも記載する。
操作者は、透視画像を参照しながら、術前の計画通りの位置に、ステントグラフトの幹部を留置する。具体的には、操作者は、カテーテルの先端が治療対象部位に位置した状態において、カテーテル外へステントグラフトの幹部を押出す。ここで、図3に示したように、ステントグラフトはバネ状のワイヤーフレームを有しており、かかるワイヤーフレームを縮めるようにしてカテーテル内に収納されている。従って、カテーテルから押し出されたステントグラフトの幹部は、ワイヤーフレームの弾性力により径方向に展開され、血管内壁と接触した状態で大動脈に留置される。
ここで、上述したように、ステントグラフトの幹部には、分枝部をはめ込むための孔が複数設けられている。ステントグラフトの幹部における孔の位置と、対応する分枝血管の入口の位置とがずれた状態で留置される場合、後にステントグラフトの分枝部を留置することができず、分枝血管への血流を阻害するおそれもある。従って、操作者は、ステントグラフトの幹部における複数の孔の各々の位置が、対応する分枝血管の入口の位置と一致するように、ステントグラフトの幹部を留置する。しかしながら、通常、血管は透視画像に明瞭に描出されず、また、2次元画像であるため、操作者が、被検体内に配置させるステントグラフトの位置及び向きを正確に把握することは容易でない。
これに対して、第1の実施形態に係る医用画像処理装置30は、治療対象部位の血管形状(血管走行)を示す血管領域画像を透視画像に合成した合成画像を生成して表示させる3次元ロードマップを実行することで、操作者に血管走行を把握させ、ステントグラフトを配置する位置及び向きを容易に把握させるように制御する。しかしながら、上述したように、ステントグラフトは、幹部が配置され、その後、分枝部が配置されるという複数のステップによって治療対象部位に配置される。したがって、1つのステップが完了した後、デバイスの留置によって血管形状が変化すると、3次元ロードマップに用いる血管領域画像の形状とずれが生じることとなる。
この場合、再度正確な3次元ロードマップを表示させるためには、造影剤を用いた回転撮影を再度行って現時点での血管形状を示す血管領域画像を生成することとなり、被検体の負担が増大するとともに、操作者の手間が増えることとなる。そこで、第1の実施形態に係る医用画像処理装置30は、ステントグラフトの留置の際に収集されているX線画像に基づいて3次元ロードマップにおける血管領域画像を更新することで、3次元ロードマップにおける血管領域画像の更新を容易にする。以下、第1の実施形態に係る医用画像処理装置30の処理の詳細について説明する。
医用画像取得機能34aは、X線診断装置10或いは画像保管装置20からX線画像データを取得する。例えば、医用画像取得機能34aは、X線診断装置10によって経時的に収集されるX線画像を順次取得する。一例を挙げると、医用画像取得機能34aは、ステントグラフト内挿術において経時的に収集されるX線画像を順次取得する。
また、医用画像取得機能34aは、X線診断装置10或いは画像保管装置20から血管形状を示す3次元画像データを取得する。例えば、医用画像取得機能34aは、ステントグラフトの作製に用いられた血管の3次元画像データを、X線診断装置10或いは画像保管装置20から取得する。
血管画像生成機能34bは、3次元画像データから血管領域の情報を含む2次元血管領域画像を生成する。具体的には、血管画像生成機能34bは、血管領域を含むボリュームデータを用いて、医用画像取得機能34aによって取得される透視画像の収集方向に対応する方向から2次元の血管領域画像を生成する。例えば、血管画像生成機能34bは、X線診断装置10から透視画像を収集する際の撮像系の情報を取得して、取得した情報に基づいて3次元画像データに対する投影方向或いはレンダリング方向を決定する。そして、血管画像生成機能34bは、決定した投影方向から3次元画像データを投影した投影画像を血管領域画像として生成する。或いは、血管画像生成機能34bは、決定したレンダリング方向から3次元画像データをレンダリングしたレンダリング画像を血管領域画像として生成する。なお、上記した撮像系の情報は、例えば、寝台の移動状態やCアームの回転状態などを示す情報である。
このように、血管画像生成機能34bは、3次元ロードマップにおける血管領域画像を3次元画像データから生成する。ここで、血管画像生成機能34bは、ステントグラフトの特徴点に対応するランドマークが付与された血管領域画像を生成することができる。上述したように、ステントグラフトは、被検体の血管の形状に合わせてそれぞれ作製され、幹部に対して分枝部が形成される。このような医用デバイスの留置位置をより正確に示した3次元ロードマップを可能とするために、血管画像生成機能34bは、ステントグラフトの幹部の先端部分や、分枝位置などに対応するランドマークを示した血管領域画像を生成することができる。なお、以下では、ランドマークが付与された血管領域画像を用いた3次元ロードマップをランドマーク付き3次元ロードマップと記載する場合がある。
図4は、第1の実施形態に係る血管領域画像の一例を示す図である。例えば、血管画像生成機能34bは、図4に示すように、血管領域51に対してランドマーク52が付与された血管領域画像50を生成する。ここで、血管画像生成機能34bは、例えば、入力インターフェース31を介した操作者(例えば、医師)による操作によって、血管領域画像上で指定された位置にランドマークを付与する。
かかる場合には、例えば、血管画像生成機能34bは、まず、ボリュームデータから血管領域51を示す血管領域画像50を生成する。その後、出力機能34eが、血管領域画像50をディスプレイ32に表示させ、入力インターフェース31が、血管領域画像50の各位置にランドマーク52を付与するための指定操作を受け付ける。血管画像生成機能34bは、ディスプレイ32に表示された血管領域画像50を、入力インターフェース31を介して指定された位置にランドマーク52をそれぞれ付与した血管領域画像50に更新する。そして、血管画像生成機能34bは、生成した血管領域画像をメモリ33に格納する。
なお、操作者は、血管に留置するステントグラフトの特徴点に対応付けたランドマークをそれぞれ指定する。例えば、操作者は、血管領域画像50を参照して、作製したステントグラフトを配置する際の幹部の先端部分の位置や、分枝位置を示すランドマークをそれぞれ指定する。ここで、ステントグラフトの幹部の先端部分や、分枝位置には、マーカーなどの特徴点が設けられており、操作者は、治療対象部位にステントグラフトを留置する際に各特徴点を配置する位置に、各ランドマークを設定する。なお、マーカーとは、例えば、ステントグラフトに付されるX線不透過の金属である。
更新機能34cは、取得された第1の2次元医用画像に基づいて、2次元血管領域画像を更新する。具体的には、更新機能34cは、3次元ロードマップを用いた手技中に収集されるX線画像に基づいて、3次元ロードマップにおける血管領域画像を更新する。例えば、更新機能34cは、X線画像に基づくステントグラフトの特徴点と、血管領域画像における特徴点とを用いて、血管領域画像の形状を更新する。
ここで、以下で説明する更新機能34cによる血管領域画像の更新は、任意のタイミングで実行することができる。例えば、更新機能34cは、操作者による入力インターフェース31を介した操作に応じて、血管領域画像を更新する。かかる場合には、例えば、操作者は、3次元ロードマップを用いた手技中に参照する3次元ロードマップにおいて、実際の血管の形状と、血管領域画像における血管の形状とがずれた場合に、血管領域画像を更新するための操作を実行する。一例を挙げると、手技中にステントグラフトを留置することで実際の血管の形状が、血管領域画像における血管の形状と異なる形状となった場合に、操作者は、血管領域画像を更新するための操作を実行する。
また、例えば、更新機能34cは、ステントグラフトの幹部及び分枝部が留置されるごとに、血管領域画像を更新する。かかる場合には、例えば、更新機能34cは、幹部或いは分枝部の留置が完了したタイミングを検出し、検出したタイミングで血管領域画像を更新する。一例を挙げると、更新機能34cは、経時的に収集されるX線画像間でのステントグラフトの形状の変化量を算出し、算出した変化量が閾値を下回った場合に、留置が完了したと判定する。すなわち、更新機能34cは、ステントグラフトがカテーテルから押出されて、完全に展開したか否かによって、留置が完了したか否かを判定する。
また、例えば、更新機能34cは、実際の血管の形状と、血管領域画像における血管の形状とのずれを算出し、算出したずれが閾値を超えた場合に、血管領域画像を更新する。かかる場合には、例えば、更新機能34cは、幹部或いは分枝部の留置が完了するごとに、ステントグラフトの特徴点と、血管領域画像において対応する特徴点とのずれを算出し、算出したずれが閾値を超えた場合に、血管領域画像を更新する。
上述したように、更新機能34cは、3次元ロードマップにおける血管領域画像を任意のタイミングで更新する。次に、更新機能34cによる血管領域画像の更新の詳細について説明する。ここで、更新機能34cは、いくつかの方法によって血管領域画像を更新することができる。以下、各方法について順に説明する。
更新機能34cは、第1の2次元医用画像に含まれる特徴点の位置に対して、2次元血管領域画像に含まれる特徴点の位置を位置合わせすることで、2次元血管領域画像を更新する。ここで、ステントグラフトは、血管内壁と接触した状態で留置されるものであるため、留置後のステントグラフトの形状は血管の形状に沿ったものとなる。そこで、更新機能34cは、例えば、3次元ロードマップを用いた手技中に収集されるX線画像に含まれるステントグラフトの特徴点の位置に対して、血管領域画像における特徴点の位置を位置合わせすることで、血管画像生成機能34bによって生成された血管領域画像を更新する。なお、本実施形態における位置合わせは、例えば、非剛体位置合わせである。すなわち、更新機能34cは、X線画像に含まれるステントグラフトの位置に対して血管領域画像の特徴点の位置が合うように、血管領域画像を変形する。
ここで、ステントグラフトにおける特徴点は、例えば、上記したマーカーである。かかる場合には、更新機能34cは、まず、ステントグラフトが挿入された被検体について収集されたX線画像を取得し、取得したX線画像において、ステントグラフトが有するマーカーの位置を特定する。
例えば、更新機能34cは、X線診断装置10によって経時的に収集されたX線画像のうち、位置合わせの対象となるX線画像を取得し、取得したX線画像において、ステントグラフトが有するマーカーの位置を特定する。なお、位置合わせの対象となるX線画像は、例えば、血管領域画像の更新が決定された時点のX線画像である。
図5A及び図5Bは、第1の実施形態に係るステントグラフトのマーカーの一例を示す図である。例えば、ステントグラフトは、図5Aに示すように、幹部や、分枝部の先端に3つのマーカー(マーカー61、マーカー62及びマーカー63)を有する。また、例えば、ステントグラフトは、図5Bに示すように、幹部や、分枝部の先端に3つのマーカー(マーカー64、マーカー65及びマーカー66)を有するとともに、中腹に2つのマーカ(マーカー67及びマーカー67)を有する。例えば、更新機能34cは、X線画像に対してステントグラフトに付されたマーカーの形状を用いたパターンマッチングを行なう。これにより、更新機能34cは、複数のマーカーをX線画像において検出する。
そして、更新機能34cは、検出したマーカーに対して血管領域画像におけるランドマークの位置を合わせることで、血管領域画像を更新する。図6は、第1の実施形態に係る更新機能34cによる位置合わせ処理の一例を説明するための図である。ここで、図6においては、左側にX線画像I1を示し、右側に血管領域画像80を示す。また、図6においては、血管領域画像の更新が決定された後の処理を示す。
例えば、更新機能34cは、X線画像I1におけるマーカー71、マーカー72、マーカー73をそれぞれ検出する。そして、更新機能34cは、検出したマーカーに対して、対応するランドマークの位置を合わせるように、非剛体位置合わせによって血管領域画像80を変形することで、血管領域画像80の形状を更新する。ここで、ステントグラフトにおけるマーカーと血管領域画像におけるランドマークは予め対応づけられており、更新機能34cは、各ランドマークの位置を対応するマーカーの位置に合わせるように、血管領域画像を変形させる。
例えば、更新機能34cは、図6におけるマーカー71に対してランドマーク81の位置を合わせるように、血管領域画像を変形させる。一例を挙げると、更新機能34cは、ランドマーク81の楕円が、マーカー71の3点を通過するように、血管領域画像を変形させる。同様に、更新機能34cは、ランドマーク82の楕円が、マーカー72の3点を通過するように、血管領域画像を変形させる。
ここで、更新機能34cは、血管領域画像の更新において、許容された変形量を超えないように、血管領域画像を変形させる。例えば、更新機能34cは、血管領域画像に含まれる血管領域のサイズの変化が閾値を超えないように、血管領域画像を変形させる。一例を挙げると、更新機能34cは、ランドマークの移動距離が閾値以内となる範囲で、血管領域画像を変形させる。これにより、更新機能34cは、例えば、図6に示すマーカー73に対するランドマーク83の位置合わせを行わず、マーカー71に対するランドマーク81の位置を合わせ、及び、マーカー72に対するランドマーク82の位置を合わせのみを行うこととなる。すなわち、更新機能34cは、マーカー73とランドマーク83のように、対応しない特徴点同士での位置合わせを行うことを抑止することができる。なお、血管領域画像にマーカー73に対応するランドマークが設定されている場合、更新機能34cは、上記と同様に、マーカー73に対するランドマークの位置合わせを実行する。
また、例えば、更新機能34cは、変形後のランドマークの直径のサイズが、ステントグラフトの直径の最大値以内となるように、血管領域画像を変形させる。一例を挙げると、更新機能34cは、マーカー71に対してランドマーク81を位置合わせする際に、ランドマーク81の楕円の長径が、ステントグラフトの径の最大値以下となるように、血管領域画像80を変形させる。これにより、更新機能34cは、無理な変形を抑え、精度の高い位置合わせを行うことができる。
上記した例では、X線画像において検出したマーカーに対して血管領域画像を位置合わせする2次元の位置合わせを行う場合について説明した。更新機能34cは、上記した位置合わせ以外にも、例えば、血管領域画像を生成した3次元画像データを位置合わせに用いる3次元の位置合わせを行うこともできる。すなわち、更新機能34cは、2次元の医用画像に基づいて3次元画像データを更新し、更新後の3次元画像データから新たに2次元の血管領域画像を生成させることで、血管領域画像を更新する。
かかる場合には、例えば、更新機能34cは、2次元のX線画像に基づいて生成された、当該2次元のX線画像に含まれる医用デバイスの3次元モデルに対して、3次元画像データに含まれる血管領域を位置合わせすることで、3次元画像データを更新する。そして、更新機能34cは、更新後の3次元画像データから新たに2次元の血管領域画像を生成させることで、血管領域画像を更新する。
図7は、第1の実施形態に係る更新機能34cによる位置合わせ処理の一例を説明するための図である。ここで、図7においては、左側にX線画像I1を示し、中央にX線画像I1に基づいて生成されたステントグラフトの3次元モデルを示し、右側に血管領域画像80を示す。また、図7においては、血管領域画像の更新が決定された後の処理を示す。
例えば、更新機能34cは、X線画像I1におけるマーカー71、マーカー72、マーカー73をそれぞれ検出する。また、更新機能34cは、ステントグラフトを示す3次元モデルを取得する。例えば、更新機能34cは、ステントグラフトを作製する際に使用された3次元データ(CAD(computer-aided design)データ等)を、3次元モデルとして取得する。また、例えば、更新機能34cは、作製されたステントグラフトを、光学カメラ、X線CT装置、X線診断装置10等により複数方向から撮影してモデリングすることにより、3次元モデルを取得する。
ここで、更新機能34cによって取得される3次元モデルは、実際に被検体内に挿入されたステントグラフトと同様に、先端部分や、分枝位置などのマーカーを有する。更新機能34cは、X線画像から検出したマーカーの位置に基づいて、3次元モデルにおけるマーカーの位置を変えることで、被検体内に挿入された後のステントグラフトの形状を示す3次元モデルを生成する。一例を挙げると、更新機能34cは、図7に示すように、X線画像I1から検出したマーカー71、マーカー72及びマーカー73の位置に基づいて、3次元モデルにおけるマーカーの位置を変えることで、被検体内に挿入された後のステントグラフトの形状を示す3次元モデルM71を生成する。すなわち、更新機能34cは、取得した3次元モデルのマーカー71’、マーカー72’、マーカー73’の位置を、X線画像I1において検出したマーカー71、マーカー72及びマーカー73の位置にそれぞれ合わせることで、被検体内に挿入された後のステントグラフトの形状を示す3次元モデルM71を生成する。
ここで、各マーカーの対応関係は、各マーカーの相対位置によって識別することができる。例えば、ステントグラフトに付与されるマーカーは、図7におけるマーカー71に示すように、3つのマーカー間で間隔がそれぞれ異なる。すなわち、更新機能34cは、X線画像におけるマーカー71の3つのマーカーと、3次元モデルにおけるマーカー71’の3つのマーカーとの対応関係を、3つのマーカー間の間隔の違いに基づいて特定する。同様に、更新機能34cは、マーカー72及びマーカー73についても、マーカー72’及びマーカー73’との間で対応関係をそれぞれ特定する。そして、更新機能34cは、X線画像において検出したマーカーに対して、3次元モデルで対応するマーカーを非剛体位置合わせすることにより、被検体内に挿入された後のステントグラフトの形状を示す3次元モデルM71を生成する。
なお、上記した3次元モデルM71を生成する場合、更新機能34cは、上述した3次元モデルを、ステントグラフト内挿術が開始されるよりも前に取得し、メモリ33に格納する。そして、ステントグラフト内挿術が開始された後、更新機能34cは、3次元モデルをメモリ33から読み出して、X線画像から検出したマーカーの位置に基づく3次元モデルの変形を実行する。
また、X線画像において特定されたマーカーの各々と、3次元モデルにおけるマーカーの各々との対応関係を一意に特定する方法は、上述した例に限定されるものではない。例えば、ステントグラフトに付されるマーカーの形状や大きさが異なる場合、更新機能34cは、X線画像において検出された各マーカーの形状や大きさと3次元モデルにおけるマーカーの形状や大きさとを比較することにより、対応関係を一意に特定することができる。
そして、更新機能34cは、生成した3次元モデルに対して、血管領域画像を生成した3次元画像データを位置合わせすることで、3次元画像データにおける血管領域の形状を更新する。例えば、更新機能34cは、血管領域画像80の生成に用いた3次元画像データを、3次元モデルM71に対して非剛体位置合わせすることにより、3次元画像データにおける血管領域の形状を更新する。
一例を挙げると、更新機能34cは、マーカー71’における3点を通過する楕円の平面と、ランドマーク81を示す楕円の平面とが平行となり、かつ、ランドマーク81を示す楕円が、マーカー71’における3点を通過するように、血管領域画像80の生成に用いた3次元画像データを更新する。同様に、更新機能34cは、マーカー72’における3点を通過する楕円の平面と、ランドマーク82を示す楕円の平面とが平行となり、かつ、ランドマーク82を示す楕円が、マーカー72’における3点を通過するように、血管領域画像80の生成に用いた3次元画像データを更新する。
なお、更新機能34cは、上記した血管領域画像の更新と同様に、3次元画像データの更新においても、許容された変形量を超えないように、3次元画像データを変形させる。すなわち、更新機能34cは、上記した2次元の位置合わせと同様に、3次元の位置合わせでも、3次元画像データに含まれる血管領域のサイズの変化が閾値を超えないように、3次元画像データを変形させる。また、更新機能34cは、変形後のランドマークの直径のサイズが、ステントグラフトの直径の最大値以内となるように、3次元画像データを変形させる。
上記したように、3次元画像データを更新すると、更新機能34cは、更新後の3次元画像データをメモリ33に格納する。そして、更新機能34cは、新たに格納した3次元画像データを用いて血管領域画像を再度生成するように、血管画像生成機能34bを制御することで、血管領域画像を更新する。
上記した例では、ステントグラフトのマーカーに対して血管領域画像或いは3次元画像データを位置合わせする場合について説明した。更新機能34cは、上記した位置合わせ以外にも、例えば、血管の形状を用いた位置合わせを行うこともできる。すなわち、更新機能34cは、2次元のX線画像に含まれる血管領域を抽出し、抽出した血管領域の形状に対して、2次元の血管領域画像に含まれる血管領域の形状を位置合わせすることで、血管領域画像を更新する。
すなわち、更新機能34cは、ステントグラフトが留置された後のX線画像から血管領域を抽出し、抽出した血管領域に対して血管領域画像の血管領域を位置合わせすることで、血管領域画像を更新する。ここで、例えば、更新機能34cは、造影剤が注入されて収集された2次元のX線画像から血管領域を抽出する。
例えば、更新機能34cは、ステントグラフトが治療対象部位(大動脈瘤など)まで挿入された後、治療対象部位を含む血管に対して造影剤が注入された状態で収集されたX線画像を取得する。そして、更新機能34cは、取得したX線画像から血管領域を取得する。一例を挙げると、更新機能34cは、陽性造影剤(ヨード系の造影剤等)が注入された状態で収集されたX線画像から、画素値が閾値よりも大きい領域を血管領域として抽出し、抽出した血管領域の輪郭を血管形状として取得する。
そして、更新機能34cは、抽出した血管領域に対して、血管領域画像に含まれる血管領域を位置合わせすることで、血管領域画像を更新する。例えば、更新機能34cは、血管領域画像における血管の輪郭が、抽出した血管領域の輪郭と一致するように、血管領域画像を変形することで、血管領域画像を更新する。図8は、第1の実施形態に係る更新機能34cによる位置合わせ処理の一例を説明するための図である。ここで、図8においては、左側にステントグラフトを留置した後の血管に対して造影剤を注入しながら収集したX線画像I2を示し、右側に血管領域画像における血管の輪郭80’を示す。また、図7においては、血管領域画像の更新が決定された後の処理を示す。
例えば、更新機能34cは、図8に示すように、造影剤が注入された状態で収集されたX線画像I2から血管V1を抽出して、抽出した血管V1における輪郭(境界線)74を取得する。また、更新機能34cは、例えば、血管領域画像の生成に用いた3次元画像データを、血管領域画像を生成した方向から射影することで、血管領域画像における血管の輪郭80’を取得する。
そして、更新機能34cは、血管V1における輪郭(境界線)74に対して、血管領域画像における血管の輪郭80’の境界線84を一致させるように変形させる。例えば、更新機能34cは、血管領域画像における血管の輪郭80’の境界線84を径方向に圧縮又は拡張したり、芯線に沿って湾曲させたりすることで、血管V1における輪郭(境界線)74に一致させる。
同様に、更新機能34cは、血管領域画像における血管の輪郭80’における他の境界線を、血管V1において対応する境界線に対して一致させるように変形させる。これにより、更新機能34cは、血管V1における境界線に対して、血管領域画像における血管の輪郭80’の境界線を一致させるための各位置の変形量を算出する。そして、更新機能34cは、算出した変形量で血管領域画像を変形させることで、血管領域画像を更新する。
なお、更新機能34cは、上記した血管の形状を用いた位置合わせは、ステントグラフトのマーカーに対して血管領域画像或いは3次元画像データを位置合わせする処理と組み合わせて実行することができる。例えば、更新機能34cは、X線画像から検出したステントグラフトのマーカーに対して血管領域画像のランドマークを位置合わせする処理と、上記した血管の形状を用いた位置合わせとを組み合わせて実行することができる。これにより、更新機能34cは、位置合わせの精度をより向上させることができる。
また、上記した実施形態では、ステントグラフトのマーカーに対して3次元画像データを位置合わせする場合に、ステントグラフトのマーカーの位置に応じて3次元モデルを更新し、更新した3次元モデルと血管領域画像の生成に用いた3次元画像データとを位置合わせする場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、X線診断装置10がバイプレーン装置である場合、異なる方向から収集したX線画像を用いて3次元画像データの位置合わせを行う場合でもよい。
かかる場合には、更新機能34cは、複数方向から収集された2次元のX線画像に基づいて当該2次元のX線画像に含まれる特徴点の3次元の位置を特定し、特定した特徴点の3次元の位置に対して、3次元画像データに含まれる特徴点を位置合わせすることで、3次元画像データを更新する。
図9は、第1の実施形態に係る更新機能34cによる位置合わせ処理の一例を説明するための図である。ここで、図9においては、上段に一方の方向における位置合わせを示し、下段に他方の方向における位置合わせを示す。また、図8の左側に、上段の方向及び下段の方向のそれぞれにおいて同時に収集したX線画像I1をそれぞれ示し、右側に、上段の方向及び下段の方向から血管領域画像80をそれぞれ示す。また、図8においては、血管領域画像の更新が決定された後の処理を示す。
例えば、更新機能34cは、図9に示すように、異なる方向から収集された2つのX線画像を用いて、マーカー71、マーカー72、及び、マーカー73の3次元の位置を推定する。なお、異なる方向から収集された2つのX線画像を用いた3次元の位置の推定は、既存の手法を任意に用いて実行される。そして、更新機能34cは、推定した各マーカーの3次元の位置に対して、血管領域画像を生成した3次元画像データのランドマークを位置合わせすることにより、血管領域画像を更新する。なお、位置合わせの処理は、上記した3次元モデルを用いた場合と同様に実行される。
合成画像生成機能34dは、血管画像生成機能34bによって生成された血管領域画像と、医用画像取得機能34aによって取得されたX線画像とを合成した合成画像を生成する。また、合成画像生成機能34dは、更新機能34cによって更新された2次元の血管領域画像と、更新に用いたX線画像、又は、当該X線画像より後に取得されたX線画像とを合成した合成画像を生成する。
すなわち、合成画像生成機能34dは、ランドマーク付き3次元ロードマップの開始に伴い、血管画像生成機能34bによって生成された血管領域画像を、医用画像取得機能34aによって順次取得される各X線画像に重畳させた合成画像を順次生成する。また、合成画像生成機能34dは、更新機能34cによって更新された血管領域画像を、医用画像取得機能34aによって順次取得される各X線画像に重畳させた合成画像を順次生成する。合成画像生成機能34dは、更新機能34cによって血管領域画像が更新されるごとに、最新の血管領域画像をX線画像に合成した合成画像を生成する。ここで、合成画像生成機能34dによって合成される合成画像は、例えば、X線画像に血管領域画像が重畳された重畳画像である。
出力機能34eは、合成画像生成機能34dにより生成された合成画像を出力する。例えば、出力機能34eは、順次合成された合成画像をディスプレイ32に順次表示させる。また、例えば、出力機能34eは、合成画像をX線診断装置10に出力する。かかる場合には、X線診断装置10における出力機能110bが、医用画像処理装置30から取得した合成画像をディスプレイ108に表示させる。
上述したように、医用画像取得機能34aは、経時的に収集される2次元のX線画像を順次取得する。更新機能34cは、順次取得される複数の2次元のX線画像に含まれる第1のX線画像に基づいて、2次元の血管領域画像を更新する。合成画像生成機能34dは、更新された2次元の血管領域画像と、順次取得される複数のX線画像において第1のX線画像より後に取得された第2のX線画像とを合成した合成画像を生成する。すなわち、医用画像処理装置30は、例えば、X線診断装置10を用いて実施されるステントグラフト内挿術において、手技中にリアルタイムでX線画像を取得しながら、3次元ロードマップをディスプレイ32或いはディスプレイ108に表示させる。そして、医用画像処理装置30は、3次元ロードマップにおける血管領域画像を更新すると判定した場合に、取得したX線画像に基づいて、血管領域画像を更新し、更新した血管領域画像を用いた3次元ロードマップをディスプレイ32或いはディスプレイ108に表示させる。
次に、図10を用いて、医用画像処理装置30による処理の手順の一例を説明する。図10は、第1の実施形態に係る医用画像処理装置30の処理の流れを示すフローチャートである。ステップS101は、血管画像生成機能34bに対応するステップである。ステップS102は、合成画像生成機能34d及び出力機能34eに対応するステップである。ステップS103及びステップS104は、更新機能34cに対応するステップである。ステップS110は、医用画像取得機能34aに対応するステップである。
第1の実施形態に係る医用画像処理装置30においては、処理回路34が、治療対象部位を含む3次元画像データを用いてランドマーク付き3次元ロードマップに用いる血管領域画像を生成する(ステップS101)。そして、処理回路34は、生成した血管領域画像を透視画像に重畳させて表示させることで、ランドマーク付き3次元ロードマップを開始する(ステップS102)。
そして、処理回路34は、血管領域画像の更新をするか否かを判定する(ステップS103)。ここで、更新する場合(ステップS103更新)、処理回路34は、透視画像に基づいて、血管領域画像を更新することで、ランドマーク付き3次元ロードマップを更新する。一方、更新しない場合(ステップS103否定)、処理回路34は、最初に生成された血管領域画像を、順次取得する透視画像に対してそれぞれ重畳して順次表示させる。
その後、処理回路34は、処理を終了するか否かを判定する(ステップS105)。ここで、処理を終了しない場合(ステップS105否定)、処理回路34は、処理を継続する。一方、処理を終了する場合(ステップS105肯定)、処理回路34は、処理を終了する。
上述したように、第1の実施形態によれば、医用画像取得機能34aは、2次元のX線画像を取得する。メモリ33は、血管領域の情報を含む3次元画像データを記憶する。血管画像生成機能34bは、3次元画像データから血管領域の情報を含む2次元の血管領域画像を生成する。更新機能34cは、取得された第1の2次元X線画像に基づいて、2次元の血管領域画像を更新する。合成画像生成機能34dは、更新された2次元の血管領域画像と、第1の2次元X線画像、又は、第1の2次元X線画像より後に取得された第2の2次元X線画像とを合成した合成画像を生成する。従って、第1の実施形態に係る医用画像処理装置30は、造影剤を用いた回転撮影を行うことなく、血管領域画像を更新することができ、3次元ロードマップにおける血管領域画像の更新を容易にすることを可能にする。
また、第1の実施形態によれば、更新機能34cは、第1の2次元X線画像に含まれる特徴点の位置に対して、2次元の血管領域画像に含まれる特徴点の位置を位置合わせすることで、2次元の血管領域画像を更新する。従って、第1の実施形態に係る医用画像処理装置30は、3次元ロードマップで用いられる透視画像を用いて血管領域画像を更新することができ、血管領域画像の更新をより容易に行うことを可能にする。
また、第1の実施形態によれば、更新機能34cは、第1の2次元X線画像に基づいて3次元画像データを更新し、更新後の3次元画像データから新たに2次元の血管領域画像を生成させることで、2次元の血管領域画像を更新する。従って、第1の実施形態に係る医用画像処理装置30は、3次元の情報を用いて血管領域画像を更新することができ、より精度の高い更新を行うことを可能にする。
また、第1の実施形態によれば、更新機能34cは、第1の2次元X線画像に基づいて生成された、当該第1の2次元X線画像に含まれるステントグラフトの3次元モデルに対して、3次元画像データに含まれる血管領域を位置合わせすることで、3次元画像データを更新する。従って、第1の実施形態に係る医用画像処理装置30は、3次元画像データの更新をより容易に行うことを可能にする。
また、第1の実施形態によれば、更新機能34cは、複数方向から収集された第1の2次元X線画像に基づいて当該第1の2次元X線画像に含まれる特徴点の3次元の位置を特定し、特定した特徴点の3次元の位置に対して、3次元医用データに含まれる特徴点を位置合わせすることで、3次元画像データを更新する。従って、第1の実施形態に係る医用画像処理装置30は、バイプレーン装置である場合に、3次元画像データの更新をより容易に行うことを可能にする。
また、第1の実施形態によれば、更新機能34cは、第1の2次元X線画像に含まれる血管領域を抽出し、抽出した血管領域の形状に対して、2次元の血管領域画像に含まれる血管領域の形状を位置合わせすることで、2次元血管領域画像を更新する。従って、第1の実施形態に係る医用画像処理装置30は、位置合わせの精度をより向上させることを可能にする。
また、第1の実施形態によれば、更新機能34cは、造影剤が注入されて収集された第1の2次元X線画像から血管領域を抽出する。従って、第1の実施形態に係る医用画像処理装置30は、血管領域を容易に抽出することを可能にする。
また、第1の実施形態によれば、更新機能34cは、2次元の血管領域画像の更新において、許容された変形量を超えないように、2次元の血管領域画像又は3次元画像データを変形させる。従って、第1の実施形態に係る医用画像処理装置30は、位置合わせの精度を向上させることを可能にする。
(第2の実施形態)
さて、これまで第1の実施形態について説明したが、上述した第1の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した実施形態では、ステントグラフトが有する特徴点として、ステントグラフトに付されたマーカーについて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、特徴点として、ステントグラフトの形状に対応する情報が用いられる場合でもよい。ここで、ステントグラフトの形状に対応する情報とは、例えば、ステントグラフトの輪郭や芯線等において特徴のある部分を示す情報である。かかる場合には、血管領域画像に指定されるランドマークは、上記した特徴点に対する位置に配置される。
また、上述した実施形態では、造影剤を注入した状態で収集したX線画像を用いることでX線画像に含まれる血管の形状を取得する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、ステントグラフトのワイヤーフレームを用いて血管の形状を取得する場合でもよい。
例えば、ステントグラフトは、図3に示したように波状の金属のワイヤーフレームを有する。したがって、ステントグラフトにおける外側の輪郭は、X線画像に描出されないが、このワイヤーフレームは、X線画像に描出される。そこで、更新機能34cは、パターンマッチングなどを用いて、X線画像に含まれるワイヤーフレームを特定し、特定したワイヤーフレームの端部を通過する線分を形成することで、得られた線分をX線画像における血管領域の輪郭(境界線)として取得する。
また、上述した実施形態では、先端や分枝位置にそれぞれ3つのマーカーを有するステントグラフトを一例に挙げて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、それぞれ2つ以下のマーカー、或いは、4つ以上のマーカーを有するステントグラフトが用いられる場合でもよい。
また、上述した実施形態では、医用画像処理装置30が、血管画像生成機能34b、更新機能34c及び合成画像生成機能34dを有する処理回路34を備える場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、X線診断装置10における処理回路110が、血管画像生成機能34b、更新機能34c及び合成画像生成機能34dに対応した機能を有する場合であってもよい。
図11は、第2の実施形態に係るX線診断装置10の構成の一例を示す図である。例えば、X線診断装置10における処理回路110は、図11に示すように、収集機能110a、出力機能110b及び制御機能110cに加え、血管画像生成機能110d、更新機能110e及び合成画像生成機能110fを有する。ここで、血管画像生成機能110dは、血管画像生成機能34bに対応した機能である。また、更新機能110eは、更新機能34cに対応した機能である。また、合成画像生成機能110fは、合成画像生成機能34dに対応した機能である。
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
また、上述した実施形態で説明した画像処理方法は、予め用意された医用画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも一つの実施形態によれば、3次元ロードマップにおける血管領域画像の更新を容易にすることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 医用画像処理システム
10 X線診断装置
30 医用画像処理装置
34、110 処理回路
34a 医用画像取得機能
34b、110d 血管画像生成機能
34c、110e 更新機能
34d、110f 合成画像生成機能
34e、110b 出力機能
110a 収集機能

Claims (10)

  1. 2次元医用画像を取得する医用画像取得部と、
    血管領域の情報を含む3次元医用データを記憶する記憶部と、
    前記3次元医用データから血管領域の情報を含む2次元血管領域画像を生成する血管画像生成部と、
    取得された第1の2次元医用画像に含まれる医用デバイスの特徴点の位置に対して、前記2次元血管領域画像上にユーザによって指定された前記医用デバイスの特徴点の位置を位置合わせすることで、前記2次元血管領域画像を更新する更新部と、
    更新された前記2次元血管領域画像と、前記第1の2次元医用画像、又は、前記第1の2次元医用画像より後に取得された第2の2次元医用画像とを合成した合成画像を生成する合成画像生成部と、
    を備える、医用画像処理装置。
  2. 前記更新部は、前記第1の2次元医用画像に基づいて前記3次元医用データを更新し、更新後の3次元医用データから新たに2次元血管領域画像を生成させることで、前記2次元血管領域画像を更新する、請求項1に記載の医用画像処理装置。
  3. 前記更新部は、前記第1の2次元医用画像に基づいて生成された、当該第1の2次元医用画像に含まれる医用デバイスの3次元モデルに対して、前記3次元医用データに含まれる前記血管領域を位置合わせすることで、前記3次元医用データを更新する、請求項に記載の医用画像処理装置。
  4. 前記更新部は、複数方向から収集された前記第1の2次元医用画像に基づいて当該第1の2次元医用画像に含まれる特徴点の3次元の位置を特定し、特定した特徴点の3次元の位置に対して、前記3次元医用データに含まれる特徴点を位置合わせすることで、前記3次元医用データを更新する、請求項に記載の医用画像処理装置。
  5. 前記更新部は、前記第1の2次元医用画像に含まれる血管領域を抽出し、抽出した血管領域の形状に対して、前記2次元血管領域画像に含まれる血管領域の形状を位置合わせすることで、前記2次元血管領域画像を更新する、請求項1~のいずれか1つに記載の医用画像処理装置。
  6. 前記更新部は、造影剤が注入されて収集された前記第1の2次元医用画像から前記血管領域を抽出する、請求項に記載の医用画像処理装置。
  7. 前記更新部は、前記2次元血管領域画像の更新において、許容された変形量を超えないように、前記2次元血管領域画像又は前記3次元医用データを変形させる、請求項1~のいずれか1つに記載の医用画像処理装置。
  8. 前記医用画像取得部は、経時的に収集される前記2次元医用画像を順次取得し、
    前記更新部は、順次取得される複数の2次元医用画像に含まれる前記第1の2次元医用画像に基づいて、前記2次元血管領域画像を更新し、
    前記合成画像生成部は、更新された前記2次元血管領域画像と、順次取得される前記複数の2次元医用画像において前記第1の2次元医用画像より後に取得された前記第2の2次元医用画像とを合成した合成画像を生成する、
    請求項1~のいずれか1つに記載の医用画像処理装置。
  9. 2次元医用画像を収集する医用画像収集部と、
    血管領域の情報を含む3次元医用データを記憶する記憶部と、
    前記3次元医用データから血管領域の情報を含む2次元血管領域画像を生成する血管画像生成部と、
    取得された第1の2次元医用画像に含まれる医用デバイスの特徴点の位置に対して、前記2次元血管領域画像上にユーザによって指定された前記医用デバイスの特徴点の位置を位置合わせすることで、前記2次元血管領域画像を更新する更新部と、
    更新された前記2次元血管領域画像と、前記第1の2次元医用画像、又は、前記第1の2次元医用画像より後に取得された第2の2次元医用画像とを合成した合成画像を生成する合成画像生成部と、
    を備える、X線診断装置。
  10. 2次元医用画像を取得し、
    血管領域の情報を含む3次元医用データから血管領域の情報を含む2次元血管領域画像を生成し、
    取得された第1の2次元医用画像に含まれる医用デバイスの特徴点の位置に対して、前記2次元血管領域画像上にユーザによって指定された前記医用デバイスの特徴点の位置を位置合わせすることで、前記2次元血管領域画像を更新し、
    更新された前記2次元血管領域画像と、前記第1の2次元医用画像、又は、前記第1の2次元医用画像より後に取得された第2の2次元医用画像とを合成した合成画像を生成する、
    各処理をコンピュータに実行させる、医用画像処理プログラム。
JP2018197395A 2018-10-19 2018-10-19 医用画像処理装置、x線診断装置及び医用画像処理プログラム Active JP7195868B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018197395A JP7195868B2 (ja) 2018-10-19 2018-10-19 医用画像処理装置、x線診断装置及び医用画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018197395A JP7195868B2 (ja) 2018-10-19 2018-10-19 医用画像処理装置、x線診断装置及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2020062324A JP2020062324A (ja) 2020-04-23
JP7195868B2 true JP7195868B2 (ja) 2022-12-26

Family

ID=70387960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018197395A Active JP7195868B2 (ja) 2018-10-19 2018-10-19 医用画像処理装置、x線診断装置及び医用画像処理プログラム

Country Status (1)

Country Link
JP (1) JP7195868B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023183004A (ja) * 2022-06-15 2023-12-27 株式会社アールテック 医用画像処理装置及び医用画像処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036167A1 (en) 2004-07-03 2006-02-16 Shina Systems Ltd. Vascular image processing
US20060269108A1 (en) 2005-02-07 2006-11-30 Viswanathan Raju R Registration of three dimensional image data to 2D-image-derived data
US20120289825A1 (en) 2011-05-11 2012-11-15 Broncus, Technologies, Inc. Fluoroscopy-based surgical device tracking method and system
JP2014509239A (ja) 2011-02-24 2014-04-17 コーニンクレッカ フィリップス エヌ ヴェ 血管内の装置の形状を用いた血管画像の非剛体モーフィング
JP2016147059A (ja) 2015-02-13 2016-08-18 バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. 冠状静脈洞カテーテル画像を用いた心臓の運動の補償
JP2018508276A (ja) 2015-02-13 2018-03-29 セント・ジュード・メディカル・インターナショナル・ホールディング・エスエーアールエルSt. Jude Medical International Holding S.a,r.l. 追跡ベース3dモデルのエンハンスメント
JP2018522695A (ja) 2015-06-26 2018-08-16 セレンバ 血管構造内で血管内器具を誘導する助けとなるための方法及びシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036167A1 (en) 2004-07-03 2006-02-16 Shina Systems Ltd. Vascular image processing
US20060269108A1 (en) 2005-02-07 2006-11-30 Viswanathan Raju R Registration of three dimensional image data to 2D-image-derived data
JP2014509239A (ja) 2011-02-24 2014-04-17 コーニンクレッカ フィリップス エヌ ヴェ 血管内の装置の形状を用いた血管画像の非剛体モーフィング
US20120289825A1 (en) 2011-05-11 2012-11-15 Broncus, Technologies, Inc. Fluoroscopy-based surgical device tracking method and system
JP2016147059A (ja) 2015-02-13 2016-08-18 バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. 冠状静脈洞カテーテル画像を用いた心臓の運動の補償
JP2018508276A (ja) 2015-02-13 2018-03-29 セント・ジュード・メディカル・インターナショナル・ホールディング・エスエーアールエルSt. Jude Medical International Holding S.a,r.l. 追跡ベース3dモデルのエンハンスメント
JP2018522695A (ja) 2015-06-26 2018-08-16 セレンバ 血管構造内で血管内器具を誘導する助けとなるための方法及びシステム

Also Published As

Publication number Publication date
JP2020062324A (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
JP6181459B2 (ja) 放射線治療システム
US8045677B2 (en) Shifting an object for complete trajectories in rotational X-ray imaging
US20170106208A1 (en) System and method for monitoring structural movements throughout radiation therapy
EP3028258A1 (en) Method and system for tomosynthesis imaging
JP2010214094A (ja) X線診断装置
JP2017144000A (ja) 医用画像処理装置、方法、プログラム及び放射線治療装置
JP2009160205A (ja) 医療支援装置、医療支援プログラム及び放射線撮影装置
CN111918698B (zh) 医用图像处理装置、治疗系统及存储介质
CN106725851B (zh) 用于外科器械重建的图像采集的系统和方法
WO2013157457A1 (ja) X線撮影装置、医用画像処理装置、x線撮影方法及び医用画像処理方法
JP7195868B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JP2018042831A (ja) 医用画像処理装置、治療システム、および医用画像処理プログラム
KR102619994B1 (ko) 의용 화상 처리 장치, 기억 매체, 의용 장치, 및 치료 시스템
JP7297507B2 (ja) 画像処理装置、x線診断装置及びプログラム
JP6433745B2 (ja) 医用画像処理装置およびx線診断装置
US11515031B2 (en) Image processing apparatus, X-ray diagnostic apparatus, and image processing method
JP7444387B2 (ja) 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP7133108B2 (ja) 患者の拡大画像を提供するためのシステムおよび方法
KR101525040B1 (ko) 시술 전 영상의 촬영 범위를 결정하기 위한 레퍼런스 영상 생성 방법 및 그 장치
JP7261576B2 (ja) 医用画像処理装置、x線診断装置および医用画像処理プログラム
CN109152561B (zh) 利用固定多源x射线系统进行经解剖结构调整的采集
JP7341667B2 (ja) 医用画像処理装置、x線診断装置及び医用情報処理システム
WO2024117129A1 (ja) 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム
JP2016041166A (ja) X線診断装置、画像処理装置及び画像処理方法
JP2016221095A (ja) 放射線透視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221214

R150 Certificate of patent or registration of utility model

Ref document number: 7195868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150