JP6929687B2 - 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム - Google Patents

医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム Download PDF

Info

Publication number
JP6929687B2
JP6929687B2 JP2017079185A JP2017079185A JP6929687B2 JP 6929687 B2 JP6929687 B2 JP 6929687B2 JP 2017079185 A JP2017079185 A JP 2017079185A JP 2017079185 A JP2017079185 A JP 2017079185A JP 6929687 B2 JP6929687 B2 JP 6929687B2
Authority
JP
Japan
Prior art keywords
point
route
image processing
tree structure
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017079185A
Other languages
English (en)
Other versions
JP2018175379A (ja
Inventor
フィー ホワン チャン
フィー ホワン チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziosoft Inc
Original Assignee
Ziosoft Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziosoft Inc filed Critical Ziosoft Inc
Priority to JP2017079185A priority Critical patent/JP6929687B2/ja
Publication of JP2018175379A publication Critical patent/JP2018175379A/ja
Application granted granted Critical
Publication of JP6929687B2 publication Critical patent/JP6929687B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムに関する。
従来、X線透視や超音波像、CT(Computed Tomography)などの画像診断装置を使用しながら、被検体にカテーテルを挿入して被検体を治療する画像下治療(IVR)(Interventional Radiology)が知られている。医師がIVRを実施するために、カテーテルを挿入する血管について術前及び術中に医用画像を参照する。このときに、管状組織を探索することが知られている。
例えば、血管探索アルゴリズムにより、被検体において探索された血管の全てを表示する医用画像処理方法が知られている(非特許文献1参照)。この医用画像処理方法では、末梢に向かって枝分かれする動脈及び静脈を探索する。この医用画像処理方法では、血管探索結果が全て表示される。なお、末梢に向かって枝分かれする動脈及び静脈は木構造で表現できる。
また、血管探索アルゴリズムにより、被検体において2点(例えば点A、点B)間を接続する血管のパスを抽出し、このパスを表示する医用画像処理方法が知られている(特許文献1参照)。この医用画像処理方法は、血管探索アルゴリズムに従って、点Bを開始点とし、点Aに到達した時点で血管探索を打ち切る。
米国特許第7639855号明細書
C.Boldak, Y. Rolland, C. Toumoulin, "An Improved Model-based Vessel Tracking Algorithm with Application to Computed Tomography Angiography", Biocybernetics And Biomedical Engineering, vol.23 nr 1, p.41-63, 2003年
非特許文献1の技術では、被検体において探索された血管の全てが表示されるので、表示される要素が多くなり、表示が煩雑となり易い。したがって、この表示を確認しながらIVRを実施する医師は、どの血管にカテーテルを進行させればよいかを判断し難いことがある。また、3次元画像における奥行方向に血管が重なって表示される可能性が高くなる。この表示を確認しながらIVRを実施する医師は、重なりのある複数の血管を区別して観察することが困難となり、カテーテルを誤った血管に進行させることがあり得る。
特許文献1の技術では、2点間を接続するパスのみが表示されるので、このパスで表現された血管から他の血管がどのように分岐しているかを把握することが困難である。したがって、この表示を確認しながらIVRを実施する医師は、観察対象に向かって第1の血管から第2の血管に進行する血管を変更する必要がある場合に、複数の血管の分岐口を視認し難いため、カテーテルの進行方向を誤る可能性がある。また、分岐した血管が、表示画面における奥行方向に延びる場合、分岐した血管を把握しづらく、カテーテルの誤操作に繋がり易い。
本開示は、上記事情に鑑みてなされたものであり、被検体の内部の管状組織において医療器具を進行させるべき方向を容易に視認できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムを提供する。
本開示の医用画像処理装置は、木構造を有する組織を含むボリュームデータを取得する取得部と、前記ボリュームデータのうち少なくとも前記木構造の部分を木構造データとして抽出する抽出部と、前記木構造データにおける第1の点を設定する設定部と、前記木構造データにおいて前記第1の点よりも基端側に位置する第2の点と、前記第1の点と、を結び、前記木構造データに沿って走行する経路を生成する生成部と、前記経路と、前記木構造データにおいて前記経路から分岐する分岐点から所定距離以内である分岐点付近の副路と、を区別して、前記経路、前記経路と前記副路との分岐、及び前記分岐点付近の副路の前記分岐からの走行方向を表示し、前記経路及び前記分岐点付近の副路の走行方向を異なる表示態様で1つの画像上で表示する表示部と、を備える。
本開示の医用画像処理装置は、木構造を有する組織を含むボリュームデータを取得する取得部と、前記ボリュームデータのうち少なくとも前記木構造の部分を木構造データとして抽出する抽出部と、前記木構造データにおける第1の点を設定する設定部と、前記木構造データにおいて前記第1の点よりも基端側に位置する第2の点と、前記第1の点と、を結び、前記木構造データに沿って走行する経路を生成する生成部と、前記経路と、前記木構造データにおいて前記経路から分岐する副路と、を区別して、前記経路、前記経路と前記副路との分岐、及び前記副路の前記分岐からの走行方向を表示し、前記経路及び前記副路の走行方向を異なる表示態様で1つの画像上で表示する表示部と、を備え、前記表示部は、前記木構造データにおいて前記第1の点よりも末端側を走行する複数の末端側経路を表示し、前記複数の末端側経路は、前記第1の点を基点とすると患部に接近する方向に走行する第1の末端側経路と、前記第1の点を基点とすると患部から遠ざかる方向に走行する第2の末端側経路と、を含み、前記表示部は、前記第1の末端側経路と前記第2の末端側経路とを異なる表示態様で表示する。
本開示の医用画像処理方法は、医用画像処理装置における医用画像処理方法であって、
木構造を有する組織を含むボリュームデータを取得し、前記ボリュームデータのうち少なくとも前記木構造の部分を木構造データとして抽出し、前記木構造データにおける第1の点を設定し、前記木構造データにおいて前記第1の点よりも基端側に位置する第2の点と、前記第1の点と、を結び、前記木構造データに沿って走行する経路を生成し、前記経路と、前記木構造データにおいて前記経路から分岐する分岐点から所定距離以内である分岐点付近の副路と、を区別し、前記経路及び前記分岐点付近の副路の走行方向を異なる表示態様として、前記経路、前記経路と前記副路との分岐、及び前記分岐点付近の副路の前記分岐からの走行方向を1つの画像上で表示する。
本開示の医用画像処理方法は、医用画像処理装置における医用画像処理方法であって、木構造を有する組織を含むボリュームデータを取得する取得ステップと、前記ボリュームデータのうち少なくとも前記木構造の部分を木構造データとして抽出する抽出ステップと、前記木構造データにおける第1の点を設定する設定ステップと、前記木構造データにおいて前記第1の点よりも基端側に位置する第2の点と、前記第1の点と、を結び、前記木構造データに沿って走行する経路を生成する生成ステップと、前記経路と、前記木構造データにおいて前記経路から分岐する副路と、を区別して、前記経路、前記経路と前記副路との分岐、及び前記副路の前記分岐からの走行方向を表示し、前記経路及び前記副路の走行方向を異なる表示態様で1つの画像上で表示する表示ステップと、を有し、前記表示ステップは、前記木構造データにおいて前記第1の点よりも末端側を走行する複数の末端側経路を表示するステップを有し、前記複数の末端側経路は、前記第1の点を基点とすると患部に接近する方向に走行する第1の末端側経路と、前記第1の点を基点とすると患部から遠ざかる方向に走行する第2の末端側経路と、を含み、前記表示ステップは、前記第1の末端側経路と前記第2の末端側経路とを異なる表示態様で表示するステップを含む。
本開示の医用画像処理プログラムは、上記医用画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
本開示によれば、被検体の内部の管状組織において医療器具を進行させるべき方向を容易に視認できる。
第1の実施形態における医用画像処理装置のハードウェア構成例を示すブロック図 医用画像処理装置の機能構成例を示すブロック図 木構造データに含まれるパスの表示対象の一例を説明するための図 木構造データに含まれるパスの表示対象の他例を説明するための図 経路と副路と分岐を含む画像例を示す図 経路と副路と分岐と患部を含む画像例を示す図 経路及び副路の表示態様のバリエーションを説明するための図 経路及び副路の表示態様のバリエーションを説明するための図 経路及び副路2の表示態様のバリエーションを説明するための図 医用画像処理装置の動作例を示すフローチャート 患部よりも手前の点を目標点として設定することを説明するための図 分岐から所定距離離れた位置での副路の走行方向を示す表示例を示す模式図 木構造データの一例を示す模式図
以下、本開示の実施形態について、図面を用いて説明する。
(第1の実施形態)
図1は、第1の実施形態における医用画像処理装置100の構成例を示すブロック図である。医用画像処理装置100は、ポート110、ユーザインタフェース(UI:User Interface)120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。
医用画像処理装置100には、CT装置200が接続される。医用画像処理装置100は、CT装置200からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置100は、PC(Personal Computer)とPCに搭載されたソフトウェアにより構成されてもよい。
CT装置200は、生体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、画像(CT画像)を撮像する。生体としては人体等が挙げられる。生体は、被検体の一例である。
CT画像は、時系列に複数撮像されてもよい。CT装置200は、生体内部の任意の箇所の情報を含むボリュームデータを生成する。生体内部の任意の箇所は、各種臓器(例えば心臓、腎臓、大腸、小腸、肺)を含んでもよい。CT画像が撮像されることにより、CT画像における各画素(ボクセル)の画素値(CT値)が得られる。CT装置200は、CT画像としてのボリュームデータを医用画像処理装置100へ、有線回線又は無線回線を介して送信する。
具体的に、CT装置200は、ガントリ(図示せず)及びコンソール(図示せず)を備える。ガントリは、X線発生器(図示せず)やX線検出器(図示せず)を含み、コンソールにより指示された所定のタイミングで撮像することで、人体を透過したX線を検出し、X線検出データを得る。X線発生器は、X線管(図示せず)を含む。コンソールは、医用画像処理装置100に接続される。コンソールは、ガントリからX線検出データを複数取得し、X線検出データに基づいてボリュームデータを生成する。コンソールは、生成されたボリュームデータを、医用画像処理装置100へ送信する。コンソールは、患者情報、CT撮像に関する撮像条件、造影剤の投与に関する造影条件、その他の情報を入力するための操作部(図示せず)を備えてよい。この操作部は、キーボードやマウスなどの入力デバイスを含んでよい。
CT装置200は、連続的に撮像することで3次元のボリュームデータを複数取得し、動画を生成することも可能である。複数の3次元のボリュームデータによる動画のデータは、4D(4次元)データとも称される。
CT装置200は、複数のタイミングの各々でCT画像を撮像してよい。CT装置200は、被検体が造影された状態で、CT画像を撮像してよい。CT装置200は、被検体が造影されていない状態で、CT画像を撮像してよい。
医用画像処理装置100内のポート110は、通信ポートや外部装置接続ポートを含み、CT画像から得られたボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ140に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。
CT装置200により撮像されたボリュームデータは、CT装置200から画像データサーバ(PACS:Picture Archiving and Communication Systems)(不図示)に送られ、保存されてよい。ポート110は、CT装置200から取得する代わりに、この画像データサーバからボリュームデータを取得してよい。このように、ポート110は、ボリュームデータ等の各種データを取得する取得部として機能する。
UI120は、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでもよい。UI120は、医用画像処理装置100のユーザから、任意の入力操作を受け付ける。ユーザは、医師、放射線技師、又はその他医療従事者(Paramedic Staff)を含んでもよい。
UI120は、ボリュームデータにおける関心領域(ROI:Region of Interest)の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織(例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流)の領域を含んでよい。組織は、病変組織、正常組織、臓器、器官、など生体の組織を広く含んでよい。
ディスプレイ130は、LCD(Liquid Crystal Display)を含んでもよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像を含む。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像(VE画像)、MPR画像、CPR画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム(RaySum)画像、MIP(Maximum Intensity Projection)画像、MinIP(Minimum Intensity Projection)画像、平均値(Average)画像、又はレイキャスト(Raycast)画像を含んでもよい。
メモリ150は、各種ROM(Read Only Memory)やRAM(Random Access Memory)の一次記憶装置を含む。メモリ150は、HDD(Hard Disk Drive)やSSD(Solid State Drive)の二次記憶装置を含んでもよい。メモリ150は、USBメモリやSDカードの三次記憶装置を含んでもよい。メモリ150は、各種情報やプログラムを記憶する。各種情報は、ポート110により取得されたボリュームデータ、プロセッサ140により生成された画像、プロセッサ140により設定された設定情報、各種プログラムを含んでもよい。メモリ150は、プログラムが記録される非一過性の記録媒体の一例である。
プロセッサ140は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphics Processing Unit)を含んでもよい。プロセッサ140は、メモリ150に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う処理部160として機能する。
図2は、処理部160の機能構成例を示すブロック図である。
処理部160は、領域抽出部161、画像生成部162、木構造抽出部163、点設定部164、パス生成部165、及び表示制御部166を備える。
処理部160は、医用画像処理装置100の各部を統括する。なお、処理部160に含まれる各部は、1つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部160に含まれる各部は、専用のハードウェア部品により実現されてもよい。
領域抽出部161は、ボリュームデータにおいて、セグメンテーション処理を行ってよい。この場合、UI120がユーザからの指示を受け付け、指示の情報が領域抽出部161に送られる。領域抽出部161は、指示の情報に基づいて、公知の方法により、ボリュームデータから、セグメンテーション処理を行い、関心領域を抽出(segment)してもよい。また、ユーザからの詳細な指示により、手動で関心領域を設定(set)してもよい。また、観察対象が予め定められている場合、領域抽出部161は、ユーザ指示なしでボリュームデータから、セグメンテーション処理を行い、観察対象を含む関心領域を抽出してもよい。抽出される領域には、各種組織(例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流)の領域を含んでよい。各種組織は、動脈、静脈、門脈、胆管、等を含んでもよい。
画像生成部162は、ポート110により取得されたボリュームデータに基づいて、3次元画像を生成してよい。画像生成部162は、ポート110により取得されたボリュームデータから、指定された領域や領域抽出部161により抽出された領域に基づいて、3次元画像を生成してよい。画像生成部162は、3次元画像とともに表示され、ボリュームデータに含まれる管状組織内への医療器具の進行を補助するガイド情報としての表示情報を生成する。
木構造抽出部163は、取得されたボリュームデータを基に、このボリュームデータに含まれる木の形状(木構造)の部分を木構造データTRとして抽出する(図11参照)。取得されるボリュームデータは、木の形状(木構造)を有する組織を含む。木構造は、例えば血管走行を示し、1つ以上の分岐を有する1つ以上の血管の部分を有する。木構造抽出部163は、木構造を有する組織を含むボリュームデータに対して、組織を関心領域として抽出し、関心領域に対して細線化処理(thining)をすることによって木構造として抽出してよい。木構造抽出部163は、組織の関心領域をいわゆるMorpology処理によって成形してから、細線化処理を行ってもよい。また、木構造抽出部163は、木構造を有する組織を含むボリュームデータに対して既知の探索処理(例えば非特許文献1に記載された探索処理)を適用して木構造を抽出してよい。木構造抽出部163は、細線化処理や探索処理により、ボリュームデータから木構造データTRを抽出する。
点設定部164は、木構造データTRにおける任意の点を目標点(Target)T1として設定する。目標点T1は、ユーザが観察を希望する患部(観察対象部位)T3の領域に含まれる点でもよい。目標点T1は、患部T3の領域の外側に位置する点でもよく、患部T3から独立していてよい。目標点T1は、UI120を介して設定されてよい。つまり、目標点T1は、ユーザ手動で設定されてよい。また、目標点T1は、領域抽出部161により抽出された領域(例えば肝臓)における任意の点が設定されてもよい。つまり、目標点T1は、自動設定されてもよい。点設定部164は、目標点T1として、患部T3に最も近い木構造データTR上の点を設定してもよい。患部T3に元も近い木構造データTR上の点は、カテーテルの挿入方向において患部よりも手前(木構造データTRの根本側)の点でよい。また、癌抽出アルゴリズムにより被検体の内部に癌が抽出された場合、抽出された癌に最も木構造データTR上の点が、目標点T1とされてもよい。目標点T1は、医師がカテーテルを到達させる予定の点であってよい。目標点T1に到達したカテーテルより、止血剤、抗がん剤、その他薬剤を投与したり、コイルやステントを留置したりすることができる。目標点T1は、医師が気管支内視鏡を到達させる予定の点であってよい。目標点T1に到達した気管支内視鏡より、抗がん剤、その他薬剤を投与したり、ステントを留置したり、また生検したりすることができる。
点設定部164は、患部の領域(患部領域)又は点(患部点)を、目標点T1とは独立して設定してもよい。患部領域又は患部点を単に「患部」とも称する。患部T3は、UI120を介して設定されてよい。つまり、患部T3は、ユーザ手動で設定されてよい。また、患部T3は、術式等に応じて自動的に設定されてもよい。例えば、点設定部164は、UI120を介して入力された術式や患部の識別情報に応じて、患部T3を自動設定してもよい。
点設定部164は、木構造データTRにおける目標点T1と異なる任意の点を、開始点T2として設定してもよい。開始点T2は、木構造データTRにおいて、目標点T1よりも基端側(木の根本側)に位置する。IVRが行われる場合、開始点T2は、被検体におけるカテーテル挿入位置でもよい。この場合、開始点T2は、カテーテル挿入を開始する目安の位置となる。一方、開始点T2は、カテーテル挿入位置でなくてもよい。
点設定部164は、術式に応じて、特定の組織(例えば大動脈)における任意の点を、開始点T2として設定してもよい。開始点T2は、特定の組織の領域における中間点、中心点、重心点、等として設定されてもよい。術式の情報は、例えばUI120を介して入力されてよい。特定の組織は、領域抽出部161により術式の情報に応じて抽出された領域の組織でよい。
点設定部164は、目標点T1に応じて開始点T2を設定してもよい。例えば、目標点T1が腹腔動脈及び肝動脈の1つに含まれる点である場合、開始点T2は、大動脈に含まれる点でよい。腹腔動脈及び肝動脈は、大動脈から分岐されてくるからである。大動脈の領域は、領域抽出部161により抽出されていてよい。例えば、目標点T1が脳動脈瘤に含まれる点である場合、開始点T2は、頸動脈に含まれる点でよい。頸動脈瑠は、頸動脈において発生するからである。頸動脈の領域は、領域抽出部161により抽出されていてよい。この場合、カテーテル挿入地点は、開始点T2としての頸動脈と異なっていてよい。開始点T2よりもカテーテル挿入地点側では、カテーテルの進行方向を認識し易く、表示によるガイドがなくてもカテーテルが誤った分岐に進入される可能性が低いためである。
また、開始点T2は、UI120を介して設定されてもよい。つまり、開始点T2は、ユーザ手動で設定されてもよい。
パス生成部165は、木構造データTRに沿って開始点T2と目標点T1とを接続するパスを、経路(主路)として生成する。パス生成部165は、木構造データTRにおける主路以外の血管等の走行を示す全てのパスを、副路としてよい。つまり、パス生成部165は、木構造データTRから主路を差し引いたパスを、副路として生成してよい。パス生成部165は、木構造データTRにおける主路に接続された、つまり主路から分岐された血管等の走行を示すパスを、副路としてもよい。従って、パス生成部165は、木構造データTRにおいて主路と副路とを区別して生成している。パス生成部165は、主路と副路との接続位置を分岐(分岐位置)として検出する。分岐は、例えば、分岐点、分岐点付近の領域、又は分岐点から所定距離以内に位置する副路の一部であってよい。
表示制御部166は、経路P1、副路P2の走行方向PD2、経路P1と副路P2との分岐BR、をディスプレイ130に表示させる。副路P2の走行方向PD2は、副路P2の分岐BRの位置や分岐BRから所定距離離れた位置におけるパスとしての副路P2の接線方向と一致してよい。副路P2の走行方向PD2とは、副路P2がどの方向に延びているかを主眼としており、副路P2自体を表示することを主としては意図していない。つまり、副路P2の全体を表示するのではなく、副路P2の走行状態を把握できる程度の表示とする。副路P2の走行方向PD2は、副路P2に付された矢印によって表現されてもよいし、分岐BRの付近の所定距離(例えば数mm)以内で描かれた副路P2を示す線によって表現されてもよいし、その他のマークによって表現されてもよい。このように、医用画像処理装置100は、副路P2が過剰に表示されることを抑制することで、経路P1の走行に係る表示の視認性が低下することを抑制できる。
表示制御部166は、経路P1と副路P2の走行方向PD2とを区別し、経路P1と副路P2の走行方向PD2との表示態様が異なるように、経路P1と副路P2の走行方向PD2とを表示させる。例えば、表示制御部166は、経路P1を示す線と副路P2の走行方向PD2を示す線との線種を変えて(例えば実線、点線、破線、鎖線、ハッチングの種別を変えて)、表示制御してよい。表示制御部166は、経路P1と副路P2の走行方向PD2との表示色を変えて(例えば黒、赤、青、黄、緑のように色を変えて)、表示するよう制御してよい。表示制御部166は、経路P1を示す線の太さと副路P2の走行方向PD2を示す線の太さとを変えて、表示するよう制御してよい。
表示制御部166は、経路P1の走行方向を示す情報(例えば矢印、その他のマーク)を、経路P1の先端等に付して、表示するよう制御してよい。表示制御部166は、副路P2の走行方向PD2を示す情報(例えば矢印、その他のマーク)を、副路P2の先端等に付して、表示するよう制御してよい。なお、経路P1として表示されたパスの延びる方向自体が、経路P1の走行方向を示す情報として扱われてもよい。同様に、副路P2として表示されたパスの延びる方向自体が、副路P2の走行方向PD2を示す情報として扱われてもよい。
経路P1、副路P2の走行方向PD2、及び分岐BRなどの、医療器具が組織を進行するための補助となる(ガイドする)情報を、本実施形態ではガイド情報とも称する。
ディスプレイ130は、表示制御部166による制御に従って、各種表示を行う。ディスプレイ130は、経路P1、副路P2の走行方向PD2、及び分岐BRを表示する。ディスプレイ130は、経路P1と副路P2の走行方向PD2とを区別し、経路P1と副路P2の走行方向PD2との表示態様が異なるように、経路P1と副路P2の走行方向PD2とを表示する。例えば、ディスプレイ130は、経路P1を示す線と副路P2の走行方向PD2を示す線との線種を変えて(例えば実線、点線、破線、鎖線、ハッチングの種別を変えて)、表示してよい。ディスプレイ130は、経路P1と副路P2の走行方向PD2との表示色を変えて(例えば黒、赤、青、黄、緑のように色を変えて)、表示してよい。ディスプレイ130は、経路P1を示すパスの線と副路P2の走行方向PD2を示す線の太さとを変えて、表示してよい。
ディスプレイ130は、経路P1の走行方向を示す情報(例えば矢印、その他のマーク)を、経路P1の先端等に付して表示してよい。ディスプレイ130は、副路P2の走行方向PD2を示す情報(例えば矢印、その他のマーク)を、副路P2の先端等に付して表示してよい。
図3Aは木構造データTRに含まれるパスの表示対象の一例を説明するための図である。
図3Aでは、UI120等を介して患部T3が設定され、患部T3に最も近い位置に目標点T1が設定されている。患部T3は、例えば肝臓の領域である。大動脈A1の中間点に開始点T2が設定されている。この場合、経路P1は、開始点T2を起点として大動脈A1を通り、大動脈A1から分岐BR1で分岐した腹腔動脈及び肝動脈A2を通り、腹腔動脈及び肝動脈A2に存在するいくつかの分岐BR2、BR3を通り、目標点T1まで達する。経路P1の分岐BR1,BR2、BR3から分岐されると、副路P21,P22,P23となる。また、分岐BR2,BR3の分岐点付近(各分岐点から所定距離以内)では、経路P1と副路P2の走行方向PD2とが区別して可視化される。図3では、経路P1が実線で示され、副路P2の走行方向PD2が点線で示されている。
ディスプレイ130は、経路P1、副路P21,P22,P23の走行方向PD21,PD22,PD23、分岐BR1、BR2,BR3、及び患部T3を表示する。ディスプレイ130は、分岐BR1において経路P1から分岐する副路P21が延びる方向を、副路P21の走行方向PD21として示している。ディスプレイ130は、分岐BR2において経路P1から分岐する副路P22が延びる方向を、副路P22の走行方向PD22として示している。ディスプレイ130は、分岐BR3において経路P1から分岐する副路P23が延びる方向を、副路P23の走行方向PD23として示している。
これにより、医用画像処理装置100は、カテーテルが進行すべき経路P1上に存在する分岐BR1,BR2,BR3の情報(分岐情報)を可視化できる。この場合、医用画像処理装置100は、経路P1ではなく、経路P1から分岐された副路P2でもない無関係のパスが多数表示されることを抑制できる。また、副路P2の走行方向PD2を示すことで、副路P2が過多に表示されることも抑制できる。つまり、医用画像処理装置100は、実際にカテーテルが通過すべき経路P1以外のパスが過多となり、ディスプレイ130において多数のパスが重なって見えることを抑制でき、パスを混同して区別不能となることを抑制できる。また、副路P2については、分岐BRにおいて経路P1に接続して走行方向PD2が示されるので、経路P1から副路P2が分岐しているのか、経路P1と副路P2(無関係のパス)とが交差しているかを区別して確認し易くなる。また、開始点T2と目標点T1とをつなぐ経路P1のみを表示する場合と比較すると、医用画像処理装置100は、分岐部分として分岐BR1,BR2,BR3を可視化できる。そのため、ユーザは、分岐BRから副路P2にカテーテルを挿入することを抑制できる。特に、アンギオ画像と比較しているときに奥行方向において重なっている分岐が存在しても、ユーザは、経路P1と副路P2とを表示対象により区別して視認できる。このように医用画像処理装置100により得られたガイド情報が付された三次元画像は、カテーテル手技の術前プラニング及び術中に参照するための画像として活用され得る。
また、画像生成部162は、3次元の血管造影装置(3D Angiography装置:アンギオ装置とも称する)により撮像されたデータに基づく断面画像(アンギオ画像とも称する)の角度に基づいて、CT装置200からのボリュームデータに基づく断面画像(CT画像の3次元画像とも称する)の角度を決定してよい。つまり、ユーザがIVRの術中にアンギオ画像の表示を確認しながら処置を行う場合に、画像生成部162は、アンギオ画像の角度やアンギオ画像の向きに合わせて、ガイドとしてのパスが表示されたCT画像の3次元画像の角度や向きを決定してよい。この場合、ポート110が、アンギオ画像の表示のために設定された角度情報をアンギオ装置から取得し、画像生成部162が、取得された角度情報に基づいて、CT画像の3次元画像を表示してよい。また、UI120が、アンギオ画像の表示のための角度情報の入力を受け付け、画像生成部162が、入力された角度情報に基づいて、CT画像の3次元画像を表示してよい。これにより、ユーザが、アンギオ画像とガイドが付された3次元画像との対応を容易に視認でき、カテーテルを誤った副路P2へ誤挿入等することを抑制できる。
なお、アンギオ画像の角度は、原則として、体軸を中心に回転させた角度となる。また、アンギオ画像の角度は、術式により決定されていることがある。例えば、経皮的冠動脈形成術(PCI:Percutaneous Coronary Intervention)が行われる場合の、アンギオ画像の角度には、RAO(Right Anterior Oblique)、LAO(Left Anterior Oblique)がある。
図3Bは木構造データTRに含まれるパスの表示対象の他例を説明するための他の図である。図3Bでは、腹腔動脈及び肝動脈A2の図示が省略されている。また、図3Bでは、ユーザにより挿入されるカテーテルの進行ルートC1が示されている。図3Bにおいて、図3Aと同様の事項については、説明を省略又は簡略化する。
図3Aと比較すると、図3Bでは、開始点T2が、大動脈A1と腹腔動脈及び肝動脈A2との接続点付近に存在する。よって、大動脈内でのパスの可視化は行われない。大動脈は表示が明瞭な臓器であるので、医用画像処理装置100は、大動脈内部でどのようにカテーテルを進行させるかを示さなくても、カテーテルの誤進行の可能性を低く維持できる。また、UI120等を介して大動脈A1内の任意の点が開始点T2として選択されても、点設定部164は、図3Bのような目標点T1側の接続点付近を開始点T2として設定してもよい。
図4Aは、経路P1と副路P2の走行方向PD2と分岐BRを含む画像例を示す図である。図4Bは、経路P1と副路P2の走行方向PD2と分岐BRと患部T3を含む画像例を示す図である。図4A及び図4Bに示す画像は、同じボリュームデータに基づく断面画像であるが、異なる位置の断面の断面画像が示されている。
図4Aの断面画像では、患部T3が表示されていない。つまり、この断面には、患部T3が存在していない。一方、図4Bの断面画像では、患部T3が表示されている。つまり、個の断面には、患部T3が含まれる。図4A及び図4Bでは、IVRの際にカテーテルが進行すべき経路P1は、実線で示されており、カテーテルが進行すべきでない副路P2の走行方向PD2は、点線で示されている。つまり、経路P1と副路P2の走行方向PD2とは表示態様が異なり、経路P1であるか副路P2であるかを一見して視認できるようになっている。経路P1の走行方向は、矢印の向きによって表現されている。副路P2の走行方向PD2は、副路P2に沿った点線及び矢印の向きによって表現されている。なお、副路P2の走行方向PD2を示す情報として、点線、矢印、等の少なくとも1つのマークが付されればよい。
次に、経路P1及び副路P2の走行方向PD2の表示態様のバリエーションについて説明する。
図5〜図7は、経路P1及び副路P2の走行方向PD2の表示態様のバリエーションを説明するための図である。図5〜図7では、比較的太い血管(例えば大動脈A1)から分岐して比較的細い血管(例えば腹腔動脈及び肝動脈A2)へカテーテルを挿入する場合のガイド情報を示している。経路P1で示される線が、実際の血管とは別に表示されている。
図5では、経路P1は実線で示されており、副路P2の走行方向PD2はハッチング(ここでは斜線の模様)で示されている。このように、正パスとしての経路P1と誤パスとしての副路P2の走行方向PD2との表示態様が異なる。医用画像処理装置100が経路P1と副路P2の走行方向PD2との表示態様を変更することで、ユーザは、経路P1と副路P2の走行方向PD2とを視覚的に識別でき、カテーテルの進行すべき方向を理解し易くできる。
図5では、経路P1からの分岐直後の副路P2の走行方向PD2が、矢印により示されている。副路P2の走行方向PD2は、誤パスへの方向を示している。なお、副路P2の走行方向PD2は、分岐から少し進んだ位置(所定距離離れた位置)において折れ曲がっているものが含まれてもよい(副路P24参照)。副路P24の折れ曲がった後の走行方向PD24が、矢印により示されている。このように、経路P1の分岐から所定距離以上離れた位置での副路P2の走行方向PD2が、矢印等のマークにより示されてもよい。
図6では、経路P1は、副路P2の走行方向PD2よりも太く表示されている。このように、正パスとしての経路P1と誤パスとしての副路P2の走行方向PD2との表示態様が異なる。医用画像処理装置100は、経路P1を副路P2の走行方向PD2よりも太く表示することで、ユーザに経路P1が注目され易くなり、副路P2が注目され難くなる。よって、ユーザは、カテーテルの進行すべき方向を理解し易くできる。
図7では、経路P1は直線で示されており、副路P2の走行方向PD2はハッチング(ここでは斜線の模様)で示されている。また、副路P2の走行方向PD2では矢印が付されていない。図7では、矢印の代わりに、副路P2が延びる方向が副路P2の走行方向PD2を示している。このように、医用画像処理装置100は、副路P2の矢印を省略しても、副路P2の走行方向PD2を示すことができ、ユーザに対して副路P2の走行方向PD2への進入を抑制すべく注意喚起できる。
次に、医用画像処理装置100の動作について説明する。
図8は医用画像処理装置100の動作例を示すフローチャートである。図8では、腹部の血管にカテーテルを挿入することを想定してよい。
まず、ポート110は、CT装置200等から、被検体の腹部のボリュームデータを取得する(S11)。
領域抽出部161は、各種動脈(例えば、大動脈A1、大動脈A1から分岐する腹腔動脈、上腸間膜動脈、下腸間膜動脈、その他の動脈、上記した動脈から更に分岐する動脈)を抽出する(S12)。
木構造抽出部163は、領域抽出部161により抽出された動脈を基に、木構造データTRを抽出(生成)する(S13)
点設定部164は、木構造データTRに含まれる左右総腸骨動脈のいずれかにおける任意の点(例えば左右総腸骨動脈のいずれかにおける中間点)を、開始点T2として設定する(S14)。開始点T2は、被検体におけるカテーテル挿入地点を示してよい。
点設定部164は、例えばUI120を介して、患部T3を設定する(S15)。
点設定部164は、目標点T1を設定する(S16)。この場合、点設定部164は、設定された患部T3に最も近い木構造データTR上の点を、目標点T1として設定してよい。
パス生成部165は、木構造データTRに含まれる開始点T2と目標点T1とを結ぶ経路P1を生成する(S17)。パス生成部165は、木構造データTRに含まれる経路P1以外のパスの少なくとも一部である副路P2が走行する方向を示す、副路P2の走行方向PD2を生成する。なお、副路P2自体も生成してもよい。
パス生成部165は、経路P1上に存在する経路P1から副路P2へ分岐する分岐BRを全て取得する(S18)。
画像生成部162は、ポート110等を介して取得されたボリュームデータに基づいて、ボリュームレンダリング画像を生成する(S19)。
表示制御部166は、経路P1を例えば実線として、副路P2の走行方向PD2を例えば点線として、経路P1及び副路P2の走行方向PD2と分岐BRとを含むガイド情報を生成する。ディスプレイ130は、表示制御部166の制御に従って、ボリュームレンダリング画像に、ガイド情報に含まれる経路P1と副路P2の走行方向PD2と分岐BRとを重畳させて、表示する(S20)。この際、ガイド情報は、定められた実線や点線などの表示態様により表示される。
次に、医用画像処理装置100が表示するガイド情報のバリエーションについて説明する。
目標点T1は、複数存在してもよい。つまり、木構造データTRにおける目標点T1として、複数の位置がメモリ150に登録されていてよい。各目標点T1の位置の登録は、前述した目標点T1の設定時と同様に、UI120を介して手動で行われてもよいし、他の情報に基づき自動で行われてもよい。
UI120は、複数の登録された目標点T1のうち、ユーザ所望の目標点を選択するための入力を受け付けてよい。点設定部164は、選択された目標点T1を設定してよい。つまり、ユーザの意思を反映して選択された目標点T1が、カテーテルが通過すべき位置として設定されてよい。この場合、複数存在する目標点T1のうち、選択して設定された目標点T1と開始点T2とを結ぶ経路P1が生成される。目標点T1の選択及び設定に伴い、副路P2及び分岐BRも生成される。ディスプレイ130は、選択された目標点T1に基づいて、経路P1、副路P2の走行方向PD2及び分岐BRを表示する。
UI120は、複数の登録された目標点T1のうち、現在設定された目標点T1を他の点に変更するための入力を受け付けてよい。点設定部164は、変更後の目標点として入力された目標点T1を設定してよい。つまり、ユーザの意思を反映して変更された目標点T1が、カテーテルが通過すべき位置として設定される。この場合、複数存在する目標点T1のうち、変更して設定された目標点T1と開始点T2とを結ぶ経路P1が再生成される。目標点T1の変更及び設定に伴い、副路P2及び分岐BRも再生成される。ディスプレイ130は、変更された目標点T1に基づいて、経路P1、副路P2の走行方向PD2及び分岐BRを再表示する。したがって、変更前には経路P1であったパスが変更後に副路P2となり、表示態様が変更されて表示され得る。同様に、変更前には副路P2であったパスが変更後に経路P1となり、表示態様が変更されて表示され得る。
このように、医用画像処理装置100は、複数の目標点T1が存在する場合でも、選択された目標点T1に従って、経路P1や副路P2を生成できる。したがって、予め目標点T1の候補が複数存在する場合に、ユーザの意思によって所望の経路P1や副路P2を生成できる。また、医用画像処理装置100は、複数の目標点T1が存在する場合でも、目標点T1の設定を変更することで、経路P1と副路P2とを切り替えできる。よって、例えばIVR中に処置対象とする患部T3が変更される場合や、カテーテルを進行させる経路P1を変更したい場合には、ユーザの意思によって所望の経路P1に変更できる。経路P1の変更に伴って、副路P2や分岐BRが変更される。
図9は、患部T3よりも手前(木構造データTRの根本側)の点を目標点T1として設定することを説明するための図である。
図9では、例えばUI120を介したユーザ指定により、目標点T1の位置の入力を受け付け、点設定部164が目標点T1を設定する。パス生成部165が、木構造データTRに沿って目標点T1と開始点T2とを結ぶ経路P1を生成する。経路P1の分岐BRから副路P2が分岐される。また、目標点T1と患部T3との間には、木構造データTRにおける末端側に延びるパスとしての末端側経路P3が1つ以上存在し得る。図9では、2つの末端側経路P3が、患部T3に到達する。
したがって、パス生成部165は、目標点T1と開始点T2との間に、経路P1として1つのパスを生成する。ユーザは、ディスプレイ130に表示された経路P1を含むガイド情報を確認することで、患部T3の手前までカテーテルを高精度に到達できる。経路P1を経由して患部T3の手前にある目標点T1までカテーテルを到達すれば、処置として十分有効である場合がある。例えば、カテーテルの先端から薬剤を投与することが考えられる。薬剤を投与する場合、カテーテルの先端が必ずしも患部T3に到達していなくてよいことがあり得る。
また、パス生成部165は、目標点T1を基点とする末端側経路P3を複数生成し得る。つまり、ディスプレイ130は、1つの経路P1を表示し、1つ以上の末端側経路P3を表示してよい。ユーザは、ディスプレイ130に表示された経路P1を含むガイド情報を確認することで、目標点T1から患部T3に到達するまでの複数の経路(例えば全経路)を把握でき、カテーテルを高精度に進行できる。また、医用画像処理装置100は、目標点T1よりも末端側に位置する末端側経路P3を複数表示することで、複数の末端側経路P3からも患部T3に到達できる場合、ユーザに複数の選択肢を提供できる。
図9では、末端側経路P3には、目標点T1を基点とすると、患部T3に近づくように延びる末端側経路P31と、患部T3から離れるように延びる末端側経路P32と、が含まれる。表示制御部166は、末端側経路P31と末端側経路P32とを表示態様が異なるように表示してよい。例えば、末端側経路P31を実線で示し、末端側経路P32を破線で示すよう、ガイド情報を生成してよい。ディスプレイ130は、表示制御部166の制御に従って、末端側経路P31と末端側経路P32とを、異なる表示態様で表示してよい。これにより、ディスプレイ130のガイド表示を確認したユーザは、表示態様を確認することで、患部T3に向かってカテーテルを進行させるための末端側経路P3を識別できる。
図10は、分岐BRから所定距離離れた位置での副路P2の走行方向PD2を示す他の表示例を示す模式図である。
観察対象の組織によっては、経路P1から分岐してから所定距離で副路P2の走行方向PD2が変化したり、副路P2が曲がりくねっており副路P2の走行方向PD2が頻繁に変化したりすることがあり得る。そのため、ディスプレイ130は、分岐BRに係る分岐点付近での副路P2の走行方向PD2ではなく、分岐点から所定距離(例えば数mm)離れた位置での副路P2の走行方向PD2を表示するようにしてもよい。また、ディスプレイ130は、分岐点から所定距離毎に副路P2の走行方向PD2を複数表示するようにしてもよい。
これにより、医用画像処理装置100は、観察対象の組織における副路P2の形状に即して、副路P2の走行方向PD2の情報を含むガイド情報を表示できる。したがって、ユーザは、例えば、ディスプレイ130に表示された副路P2の走行方向PD2を確認して、副路P2の代表的な走行方向PD2や副路P2における各位置での走行方向PD2を理解でき、カテーテルを血管内部においてスムーズに進行できる。
以上のように、本実施形態の医用画像処理装置100では、ポート110が、木構造を有する組織を含むボリュームデータを取得してよい。木構造抽出部163が、ボリュームデータのうち少なくとも木構造の部分を木構造データとして抽出してよい。点設定部164が、木構造データにおける目標点T1を設定してよい。パス生成部165が、木構造データにおいて目標点T1よりも基端側に位置する開始点T2と、目標点T1と、を結び、木構造データに沿って走行する経路P1を生成してよい。ディスプレイ130は、経路P1と、木構造データにおいて経路P1から分岐する副路P2と、を区別して、経路P1、経路P1と副路P2との分岐BR、及び経路P1から分岐する副路P2の走行方向PD2を表示し、経路P1及び副路P2の走行方向PD2を異なる表示態様で1つの画像上に表示してよい。なお、ポート110は、取得部の一例である。木構造抽出部163は、抽出部の一例である。点設定部164は、設定部の一例である。パス生成部165は、生成部の一例である。ディスプレイ130は、表示部の一例である。目標点T1は、第1の点の一例である。開始点T2は、第2の点の一例である。
これにより、医用画像処理装置100は、経路P1により、カテーテルを進行させるべきパスを可視化できる。医用画像処理装置100は、分岐BRにより、カテーテルを誤進行させそうな箇所を可視化できる。医用画像処理装置100は、副路P2の走行方向PD2により、カテーテルを誤進行させそうな方向を可視化できる。医用画像処理装置100は、経路P1及び副路P2の走行方向PD2を異なる表示態様とすることで、経路P1及び副路P2の走行方向PD2を視覚的に識別し易くできる。よって、ユーザは、被検体の内部の管状組織において医療器具を進行させるべき方向を容易に視認できる。
また、医用画像処理装置100は、被検体において探索された血管の一部が表示されるので、血管を全部表示する場合と比較すると、表示される要素を少なくでき、煩雑性を低減できる。したがって、この表示を確認しながらIVRを実施するユーザは、どの血管にカテーテルを進行させればよいかを判断し易くなる。また、ディスプレイ130における奥行方向に血管が重なって表示される可能性が低下する。また、主要な経路と副路との表示態様を異なる表示態様とすることで、ユーザは、仮に複数の血管が奥行方向に重なっても、複数の血管を区別して観察し易くなり、カテーテルを所望の方向に進行し易くなる。
また、2点間を接続するパスのみが表示される場合と比較すると、医用画像処理装置100は、2点間の経路P1とともに分岐BRや副路P2の走行方向PD2を示す。つまり、分岐BRのある点と分岐BRの向きを示しているとも言える。そのため、ユーザは、観察対象のパス(経路P1)から他のパスがどのように分岐しているかを把握し易くなる。したがって、この表示を確認しながらIVRを実施するユーザは、観察対象に向かって第1の血管から第2の血管に進行する血管を変更する必要がある場合でも、複数の血管の分岐口や分岐の方向(副路P2の走行方向PD2)を視認し易くなり、カテーテルの進行方向を誤る可能性を低減できる。また、医用画像処理装置100は、分岐した血管が、ディスプレイ130における奥行方向に延びる場合でも、経路P1と副路P2とを表示態様を変えて表示することで、分岐した血管を把握し易くでき、カテーテルの進行を支援できる。
IVRにおいてカテーテルを目標位置に到達させるために、いくつかの分岐口を経由することが多い。そのため、ユーザは、複数の血管が接続した分岐BRを経由して、目標位置にカテーテルを進行させる。この場合、医用画像処理装置100によれば、誤って分岐BRから副路P2にカテーテルを進行させ、誤った血管にカテーテルを進行させることを抑制できる。ユーザは、アンギオ装置等により表示されたカテーテルの先端位置を確認しながら、カテーテルを進行させる。アンギオ装置では、撮像された角度に起因して、複数の血管の表示位置が、表示画面の奥行方向に重なることで、一見分岐しているように見えない血管がある。アンギオ装置では確認し難い血管の構造であっても、医用画像処理装置100がIVRを支援するために導入されることで、ユーザは、高精度にIVRの処置を実施でき、患者への侵襲や負担を抑制できる。
開始点T2は、木構造データにおいて、目標点T1よりも基端側に位置する所定範囲(例えば気管や大動脈)に含まれてよい。
これにより、医用画像処理装置100は、カテーテルの進行を比較的誤り難い箇所から、カテーテルの進行を支援できる。よって、ユーザは、スムーズにIVRの処置を実施できる。また、例えばカテーテルの進行を誤り難い箇所では、ガイド情報を省略できる。例えば、カテーテルは、足から挿入されて大動脈を介して他の血管へ進行することが多いが、大動脈内ではカテーテルの進行を誤り難いので、カテーテルの挿入位置と開始点T2の位置とを一致させなくてよい。例えば大動脈のいずれかの位置を開始点T2としても、IVRの処置の精度は維持可能である。
UI120は、ボリュームデータにおける患部T3の指定を受け付けてよい。点設定部164は、患部T3の位置に基づいて、木構造データにおける目標点T1の位置を決定してよい。なお、UI120は、第1の操作部の一例である。
これにより、医用画像処理装置100は、例えば、指定された患部T3から最も近い木構造データ上の点を目標点T1に設定できる。つまり、被検体のボリュームデータの観察対象となる患部T3を指定することで、患部T3に向かう血管を経路P1として抽出できる。よって、ユーザが木構造データとしての血管の位置を把握していなくても、医用画像処理装置100は、患部T3を指定することで、カテーテルを進行すべき経路P1を生成でき、ユーザに提示できる。
UI120は、木構造データにおける目標点T1の指定を、患部T3の指定として受け付けてよい。例えば、血管の狭窄のように、木構造データにおける目標点T1に患部T3が存在する場合があるからである。
これにより、医用画像処理装置100は、患部T3に達するカテーテルの進行すべき経路P1を取得でき、患部T3に至るまでカテーテルを正確に進行させ易くできる。
パス生成部165は、患部T3の位置に基づいて、木構造データTRにおいて目標点T1よりも末端側を走行する複数の末端側経路P3から、患部T3に関連する末端側経路P3を複数設定してよい。ディスプレイ130は、設定された末端側経路P3を表示してよい。パス生成部165は、経路設定部の一例である。患部T3に関連する末端側経路P3は、患部T3に対する治療とともに治療を意図する(治療対象の)末端側経路や、患部T3に対する処置とともに処置の可能性のある(処置対象)末端側経路であってよい。例えば、患部T3に関連する末端側経路P3は、患部T3が腫瘍の場合には、腫瘍を栄養する末端側経路P3でよい。患部T3に関連する末端側経路P3は、患部T3が出血の場合には、出血に至る末端側経路でよい。
医用画像処理装置100は、患部T3の位置に応じて患部T3を識別し、患部T3の状態を認識できる。患部T3の状態に応じて、目標点T1と患部T3との間のいずれの末端側経路P3に対して治療や処置が必要であるかが変化する。医用画像処理装置100は、患部T3の状態に応じて、患部T3に関連して治療や処置な末端側経路を可視化できる。よって、ユーザは、患部T3とともに治療や処置が必要な末端側経路を容易に把握でき、末端側経路の治療や処置をスムーズに実施できる。
ディスプレイ130は、木構造データにおいて目標点T1よりも末端側を走行する複数の末端側経路P3を表示してよい。
これにより、医用画像処理装置100は、例えば目標点T1から患部T3に向かうパスが複数存在する場合、その複数のパスをユーザに提示できる。例えば、目標点T1よりも末端側に患部T3が位置する場合に、ユーザは、ガイド情報の表示を確認しながら、患部T3の手前の目標点T1において血管を塞いだ場合の末端側経路P3への影響を予測したり、目標点T1において抗がん剤を注入した場合の末端側経路P3での抗がん剤の進行具合を予測したりすることができる。
複数の末端側経路P3は、目標点T1を基点とすると患部T3に接近する方向に走行する末端側経路P31と、目標点T1を基点とすると患部T3から遠ざかる方向に走行する末端側経路P32と、を含んでよい。ディスプレイ130は、末端側経路P31と末端側経路P32とを異なる表示態様で表示してよい。なお、末端側経路P31は第1の末端側経路の一例である。末端側経路P32は、第2の末端側経路の一例である。
これにより、ユーザは、表示態様により一見して末端側経路P3が患部T3に近づくか遠ざかるかを判別できる。つまり、医用画像処理装置100は、目標点T1まで進行したカテーテルを更にどちらに進行させるべきかを、理解し易くできる。
目標点T1は、複数存在してよい。UI120は、複数の目標点T1のうちいずれか1つの目標点T1を選択するための入力を受け付けてよい。ディスプレイ130は、UI120を介して選択された目標点T1に基づく経路P1と、経路P1から分岐する副路P2の走行方向PD2と、を異なる表示態様で表示してよい。なお、UI120は、第2の操作部の一例である。
これにより、医用画像処理装置100は、例えば、頻繁に設定されると予測される目標点T1を予め登録しておき、実際に設定された目標点T1の位置に基づき、経路P1と副路P2の走行方向PD2とを決定してよい。経路P1と副路P2の走行方向PD2とは表示態様が異なるので、医用画像処理装置100は、選択された目標点T1の位置を加味して、カテーテルの進行をガイドできる。
UI120は、複数の目標点T1のうち選択された目標点T1から他の目標点T1に切り替えるための入力を受け付けてよい。切り替えの前の目標点T1に基づく経路P1と経路P1から分岐する副路P2の走行方向PD2との表示態様と、切り替えの後の第1の点に基づく経路P1と経路P1から分岐する副路P2の走行方向PD2との表示態様とは、異なってよい。
これにより、医用画像処理装置100は、目標点T1を変更することで、経路P1が変更される。そのため、分岐BRや副路P2の走行方向PD2も変更される。よって、同じ位置のパスでも、目標点T1の位置によって、経路P1であるか副路P2であるかが変化する。ユーザは、経路P1であるか副路P2であるかは、表示態様を確認することで把握できる。よって、医用画像処理装置100は、複数ある患部を順番に施術する場合に、目標点T1を順に変更し、カテーテルが誤ったパスの方向に進行されることを抑制し、迅速な処置を支援できる。よって、医用画像処理装置100が複数ある患部を順番に施術する場合に目標点T1を順に変更することによって、ユーザは、治療を終えた患部から新しく処置するカテーテルを移動させるときに、新しい経路P1までカテーテルを引き戻すことが容易になる。
組織は、動脈、静脈、門脈、気管支、及び胆管の少なくとも1つを含んでよい。
これにより、医用画像処理装置100は、多数の管状組織が入り組んで形成されたり、多数の管状組織が何度も交差したりする組織に対して、上述のガイド情報の表示を適用できる。よって、医用画像処理装置100は、例えば細かな血管が入り組んで構成された門脈や先端に進む程細くなる気管支において、カテーテルや気管支鏡が進行すべき経路P1を表示できる。よって、ユーザは、ガイド情報の表示を確認することで、IVRや各種内視鏡での処置、治療、検査、等を高精度に実施できる。
画像生成部162は、ボリュームデータに基づいてボリュームレンダリング画像を生成してよい。ディスプレイ130は、ボリュームレンダリング画像に、経路P1、分岐BR、及び副路P2の走行方向PD2を重畳表示してよい。ボリュームレンダリング画像には、ボリュームレンダリング画像は、レイサム画像、MIP画像、MinIP画像、平均値画像、又はレイキャスト画像を含んでもよい。また、レイサム画像はアンギオ画像に近い画像となるので、レイサム画像に経路P1、分岐BR、及び副路P2の走行方向PD2を重畳表示した画像は、カテーテル手技の術前プラニング及び術中に参照するための画像として活用され得る。
これにより、医用画像処理装置100は、経路P1、分岐BR、及び副路P2の実際の様子をボリュームレンダリング画像で表現しつつ、併せて経路P1、分岐BR、及び副路P2の走行方向PD2を含むガイド情報を表示できる。よって、医用画像処理装置100は、カテーテルの進行すべき箇所を更に直感的に理解し易くできる。
(他の実施形態)
なお、本開示は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
第1の実施形態では、医用画像処理装置100は、TAE肝動脈塞栓術やTACE肝動脈化学塞栓療法を実施するIVRに適用されてもよい。
第1の実施形態では、IVRとしてカテーテルを用いた治療を主に例示したが、医用画像処理装置100は、開腹や腹腔鏡経由で門脈や胆管にカテーテルを挿管するIVRに適用されてもよい。
第1の実施形態では、医用画像処理装置100は、止血や腫瘍への栄養カットをするためのIVRに適用されてもよい。これにより、医用画像処理装置100は、例えば止血や主要への栄養カットするための箇所を目標点T1に設定して、目標点T1に至るパスとしての経路P1を介して、カテーテルを進行し易くできる。例えば止血をするためには短時間でカテーテルを目標点T1に移動させる必要があるが、医用画像処理装置100は、目標点T1や誤り易い分岐BR及び副路P2の走行方向PD2をガイド情報に含めて表示することで、迅速且つ正確にカテーテルを目標点T1へ案内できる。
第1の実施形態では、医用画像処理装置100は、PTA(Percutaneous Transluminal Angioplasty)バルーンを用いた閉塞血管塞栓術をするためのIVRや冠動脈を患部としたIVRに適用されてもよい。これにより、医用画像処理装置100は、被検体内部における適切なパスとしての経路P1を介して、カテーテルを進行し易くできる。
第1の実施形態では、医用画像処理装置100は、ステント留置のために用いられてもよい。これにより、医用画像処理装置100は、ステントを留置するためにステントを被検体内部における適切なパスとしての経路P1を介して、ステントを運搬し易くできる。
第1の実施形態では、医用画像処理装置100は、カテーテルを用いた被検体の内部への薬剤注入に適用されてもよい。薬剤注入は、血栓溶解剤や抗がん剤の注入を含んでよい。医用画像処理装置100は、生研時に用いられてもよい。これにより、医用画像処理装置100は、薬剤注入に適切な箇所を目標点T1に設定して、目標点T1に至るパスとしての経路P1を介して、カテーテルを進行し易くできる。
第1の実施形態では、医用画像処理装置100は、血管へのカテーテル治療の他に、胆管へのカテーテル治療に用いられてもよい。これにより、医用画像処理装置100は、複雑に入り組んだ堪能へのカテーテル治療を行う場合でも、カテーテルの誤ったパスへご進行を抑制できる。
第1の実施形態では、医用画像処理装置100は、気管支への気管支内視鏡に適用されてもよい。気管支は、分岐のある略木構造を有する組織で形成される。気管支内視鏡は、木構造データTRを有する気管支の内部を撮像する。よって、ユーザは、気管支内視鏡を被検体の気管支に進行させる際に、医用画像処理装置100により表示されるガイド情報が付された三次元画像を確認することで、気管支内視鏡の誤進行を抑制できる。気管支以外の分岐のある管状組織(例えば動脈、静脈、門脈、胆管)の内部を医療器具が進行させる場合にも同様に、医用画像処理装置100は、医療器具の誤進行を抑制できる。また、管状組織が入り組んで集合した被検体の領域(例えば血管を多く含む腹部、脳)の内部を医療器具が進行する場合にも、医用画像処理装置100は、医療器具の誤進行を抑制できる。
第1の実施形態では、医用画像処理装置100が、木構造データの抽出した後に患部T3を設定することを例示したが、逆でもよい。つまり、医用画像処理装置100は、患部T3を設定した後に木構造データを設定してもよい。
第1の実施形態では、医用画像処理装置100が、木構造データを用いて、経路P1と副路P2を含むパスを管理したが、任意の木構造データの実現方法をとることができる。木構造データは、汎用グラフ構造を用いて実現してもよいし、木構造専用データ構造を用いてもよい。隣接リスト、隣接行列、二分木、多分木、平衡木などのデータ構造で実現してもよい。また、ボリュームデータ上に木構造データを作成してもよい。また、パスが巡回グラフで表現される状況であったとしても、都度に辺を削除することで実質的に木構造を得ても良い。巡回グラフから経路P1と副路P2を取り出すと、木構造が得られるからである。
第1の実施形態では、医用画像処理装置100は、経路P1と副路P2との成す角度が所定角度(例えば10°)以下である場合、カテーテルを誤進行し易い旨の警告情報を、ディスプレイ130を介して表示してよい。経路P1と副路P2との成す角度が小さい場合、経路P1と副路P2とは同じような方向に進行していることを意味しており、ユーザから見ると、どちらが進行すべきパスであるかを判別し難い。ディスプレイ130が警告情報を表示してユーザに注意喚起することで、医用画像処理装置100は、ユーザ操作により進行するカテーテルを、正しいパスへ誘導できる可能性を高くできる。
第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ等へ送信され、サーバ等に保管されてもよい。この場合、必要時に医用画像処理装置100のポート110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。
第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へポート110を経由して送信されることを例示した。これは、実質的にCT装置200と医用画像処理装置100とを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置100がCT装置200のコンソールとして扱われている場合も含む。
第1の実施形態では、CT装置200により画像を撮像し、生体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。
第1の実施形態では、被検体として人体を例示したが、動物の体でもよい。
第1の実施形態では、分岐のある管状組織として血管を例示したが、血管以外(例えばリンパ管、気管支)であってもよい。
本開示は、第1の実施形態の医用画像処理装置の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介して医用画像処理装置に供給し、医用画像処理装置内のコンピュータが読み出して実行するプログラムも適用範囲である。
本開示は、被検体の内部の管状組織において医療器具を進行させるべき方向を容易に視認できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム等に有用である。
100 医用画像処理装置
110 ポート
120 ユーザインタフェース(UI)
130 ディスプレイ
140 プロセッサ
150 メモリ
160 処理部
161 領域抽出部
162 画像生成部
163 木構造抽出部
164 点設定部
165 パス生成部
166 表示制御部
200 CT装置
BR,BR1,BR2,BR3 分岐
P1 経路
PD2,PD21,PD22,PD23,PD24 副路の走行方向
P3 末端側経路
T1 目標点
T2 開始点
T3 患部

Claims (16)

  1. 木構造を有する組織を含むボリュームデータを取得する取得部と、
    前記ボリュームデータのうち少なくとも前記木構造の部分を木構造データとして抽出する抽出部と、
    前記木構造データにおける第1の点を設定する設定部と、
    前記木構造データにおいて前記第1の点よりも基端側に位置する第2の点と、前記第1の点と、を結び、前記木構造データに沿って走行する経路を生成する生成部と、
    前記経路と、前記木構造データにおいて前記経路から分岐する分岐点から所定距離以内である分岐点付近の副路と、を区別して、前記経路、前記経路と前記副路との分岐、及び前記分岐点付近の副路の前記分岐からの走行方向を表示し、前記経路及び前記分岐点付近の副路の走行方向を異なる表示態様で1つの画像上で表示する表示部と、
    を備える医用画像処理装置。
  2. 請求項1に記載の医用画像処理装置であって、
    前記第2の点は、前記木構造データにおいて、前記第1の点よりも基端側に位置する所定範囲に含まれる、医用画像処理装置。
  3. 請求項1または2に記載の医用画像処理装置であって、更に、
    前記ボリュームデータにおける患部の指定を受け付ける第1の操作部を備え、
    前記設定部は、前記患部の位置に基づいて、前記木構造データにおける前記第1の点の位置を決定する、医用画像処理装置。
  4. 請求項3に記載の医用画像処理装置であって、
    前記第1の操作部は、前記木構造データにおける前記第1の点の指定を、前記患部の指定として受け付ける、医用画像処理装置。
  5. 請求項3に記載の医用画像処理装置であって、更に、
    前記患部の位置に基づいて、前記木構造データにおいて前記第1の点よりも末端側を走行する複数の末端側経路から、前記患部に関連する末端側経路を複数設定する経路設定部を備え、
    前記表示部は、設定された前記末端側経路を表示する、医用画像処理装置。
  6. 請求項1〜4のいずれか1項に記載の医用画像処理装置であって、
    前記表示部は、前記木構造データにおいて前記第1の点よりも末端側を走行する複数の末端側経路を表示する、医用画像処理装置。
  7. 請求項6に記載の医用画像処理装置であって、
    前記複数の末端側経路は、前記第1の点を基点とすると患部に接近する方向に走行する第1の末端側経路と、前記第1の点を基点とすると患部から遠ざかる方向に走行する第2の末端側経路と、を含み、
    前記表示部は、前記第1の末端側経路と前記第2の末端側経路とを異なる表示態様で表示する、医用画像処理装置。
  8. 請求項1〜7のいずれか1項に記載の医用画像処理装置であって、
    前記第1の点は、複数存在し、
    複数の前記第1の点のうちいずれか1つの前記第1の点を選択するための入力を受け付ける第2の操作部を備え、
    前記表示部は、前記第2の操作部を介して選択された前記第1の点に基づく前記経路と、前記分岐点付近の副路の走行方向と、異なる表示態様で表示する、医用画像処理装置。
  9. 請求項8に記載の医用画像処理装置であって、
    前記第2の操作部は、複数の前記第1の点のうち選択された第1の点から他の第1の点に切り替えるための入力を受け付け、
    切り替え前の前記第1の点に基づく前記経路と前記分岐点付近の副路の走行方向との表示態様と、切り替え後の前記第1の点に基づく前記経路と前記分岐点付近の副路の走行方向との表示態様とは、異なる、医用画像処理装置。
  10. 請求項1〜9のいずれか1項に記載の医用画像処理装置であって、
    前記組織は、動脈、静脈、門脈、気管支、及び胆管の少なくとも1つを含む、医用画像処理装置。
  11. 請求項1〜10のいずれか1項に記載の医用画像処理装置であって、更に、
    前記ボリュームデータに基づいてボリュームレンダリング画像を生成する画像生成部を備え、
    前記表示部は、前記ボリュームレンダリング画像に、前記経路、前記分岐、及び前記副路の走行方向を重畳表示する、医用画像処理装置。
  12. 木構造を有する組織を含むボリュームデータを取得する取得部と、
    前記ボリュームデータのうち少なくとも前記木構造の部分を木構造データとして抽出する抽出部と、
    前記木構造データにおける第1の点を設定する設定部と、
    前記木構造データにおいて前記第1の点よりも基端側に位置する第2の点と、前記第1の点と、を結び、前記木構造データに沿って走行する経路を生成する生成部と、
    前記経路と、前記木構造データにおいて前記経路から分岐する副路と、を区別して、前記経路、前記経路と前記副路との分岐、及び前記副路の前記分岐からの走行方向を表示し、前記経路及び前記副路の走行方向を異なる表示態様で1つの画像上で表示する表示部と、
    を備え、
    前記表示部は、前記木構造データにおいて前記第1の点よりも末端側を走行する複数の末端側経路を表示し、
    前記複数の末端側経路は、前記第1の点を基点とすると患部に接近する方向に走行する第1の末端側経路と、前記第1の点を基点とすると患部から遠ざかる方向に走行する第2の末端側経路と、を含み、
    前記表示部は、前記第1の末端側経路と前記第2の末端側経路とを異なる表示態様で表示する、医用画像処理装置。
  13. 医用画像処理装置における医用画像処理方法であって、
    木構造を有する組織を含むボリュームデータを取得し、
    前記ボリュームデータのうち少なくとも前記木構造の部分を木構造データとして抽出し、
    前記木構造データにおける第1の点を設定し、
    前記木構造データにおいて前記第1の点よりも基端側に位置する第2の点と、前記第1の点と、を結び、前記木構造データに沿って走行する経路を生成し、
    前記経路と、前記木構造データにおいて前記経路から分岐する分岐点から所定距離以内である分岐点付近の副路と、を区別し、前記経路及び前記分岐点付近の副路の走行方向を異なる表示態様として、前記経路、前記経路と前記副路との分岐、及び前記分岐点付近の副路の前記分岐からの走行方向を1つの画像上で表示する、
    医用画像処理方法。
  14. 医用画像処理装置における医用画像処理方法であって、
    木構造を有する組織を含むボリュームデータを取得する取得ステップと、
    前記ボリュームデータのうち少なくとも前記木構造の部分を木構造データとして抽出する抽出ステップと、
    前記木構造データにおける第1の点を設定する設定ステップと、
    前記木構造データにおいて前記第1の点よりも基端側に位置する第2の点と、前記第1の点と、を結び、前記木構造データに沿って走行する経路を生成する生成ステップと、
    前記経路と、前記木構造データにおいて前記経路から分岐する副路と、を区別して、前記経路、前記経路と前記副路との分岐、及び前記副路の前記分岐からの走行方向を表示し、前記経路及び前記副路の走行方向を異なる表示態様で1つの画像上で表示する表示ステップと、
    を有し、
    前記表示ステップは、前記木構造データにおいて前記第1の点よりも末端側を走行する複数の末端側経路を表示するステップを有し、
    前記複数の末端側経路は、前記第1の点を基点とすると患部に接近する方向に走行する第1の末端側経路と、前記第1の点を基点とすると患部から遠ざかる方向に走行する第2の末端側経路と、を含み、
    前記表示ステップは、前記第1の末端側経路と前記第2の末端側経路とを異なる表示態様で表示するステップを含む、医用画像処理方法。
  15. 請求項13に記載の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラム。
  16. 請求項14に記載の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラム。
JP2017079185A 2017-04-12 2017-04-12 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム Active JP6929687B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017079185A JP6929687B2 (ja) 2017-04-12 2017-04-12 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017079185A JP6929687B2 (ja) 2017-04-12 2017-04-12 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2018175379A JP2018175379A (ja) 2018-11-15
JP6929687B2 true JP6929687B2 (ja) 2021-09-01

Family

ID=64280124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017079185A Active JP6929687B2 (ja) 2017-04-12 2017-04-12 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6929687B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020217758A1 (ja) * 2019-04-25 2020-10-29 富士フイルム株式会社 疑似アンギオ画像生成装置、方法およびプログラム
WO2022270150A1 (ja) * 2021-06-25 2022-12-29 富士フイルム株式会社 画像処理装置、方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690816B2 (en) * 2000-04-07 2004-02-10 The University Of North Carolina At Chapel Hill Systems and methods for tubular object processing
US7532748B2 (en) * 2004-11-24 2009-05-12 General Electric Company Methods and apparatus for selecting and/or labeling vessel branches
JP5159086B2 (ja) * 2006-10-31 2013-03-06 株式会社東芝 超音波診断装置及びカテーテルナビゲーションシステム
JP5028191B2 (ja) * 2007-09-03 2012-09-19 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5641792B2 (ja) * 2010-06-24 2014-12-17 株式会社東芝 医用画像診断装置及び医用画像診断装置の制御方法
JP5748520B2 (ja) * 2011-03-25 2015-07-15 富士フイルム株式会社 内視鏡挿入支援装置およびその作動方法、並びに内視鏡挿入支援プログラム
JP5785120B2 (ja) * 2012-03-15 2015-09-24 富士フイルム株式会社 医用画像診断支援装置および方法並びにプログラム
JP6371729B2 (ja) * 2015-03-25 2018-08-08 富士フイルム株式会社 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム

Also Published As

Publication number Publication date
JP2018175379A (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
US11793389B2 (en) Intelligent display
US10772684B2 (en) Spatial visualization of internal mammary artery during minimally invasive bypass surgery
EP2599033B1 (en) Co-use of endoluminal data and extraluminal imaging
US10639105B2 (en) Navigation apparatus and method
JP2010517632A (ja) 内視鏡の継続的案内のためのシステム
JP2002119507A (ja) 医用装置および医用画像収集表示方法
US11395702B2 (en) Navigation system
JP6305915B2 (ja) 候補セグメンテーション画像を選択するための個別ボタンを備える医用画像装置
CN110891513A (zh) 辅助引导血管内器械的方法和系统
JP2020120828A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
KR101703564B1 (ko) 혈관 정보를 포함하는 의료 영상을 디스플레이하는 장치 및 방법
US10497115B2 (en) Method, apparatus and computer program for visually supporting a practitioner with the treatment of a target area of a patient
JP6929687B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
Raza et al. Transhepatic puncture of portal and hepatic veins for TIPS using a single-needle pass under sonographic guidance
US9872655B2 (en) PAE treatment for BPH
JP6490423B2 (ja) 医療画像内の管状構造への注記
US11783607B2 (en) Automatic image feature removal
Minamimura et al. Current status of robotic hepatobiliary and pancreatic surgery
JP2006042969A (ja) 医用画像表示装置
Nypan et al. Endovascular navigation in patients: vessel-based registration of electromagnetic tracking to preoperative images
US11941808B2 (en) Medical image processing device, medical image processing method, and storage medium
JP2019103749A (ja) 医用画像処理装置、医用画像診断装置、及び医用画像処理プログラム
JP6780936B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
EP4342384A1 (en) Image guided intervention method and system
Isfort et al. Feasibility of electromagnetically guided transjugular intrahepatic portosystemic shunt procedure

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210811

R150 Certificate of patent or registration of utility model

Ref document number: 6929687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250