JP5309109B2 - 医用画像処理装置および方法、並びにプログラム - Google Patents

医用画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP5309109B2
JP5309109B2 JP2010233416A JP2010233416A JP5309109B2 JP 5309109 B2 JP5309109 B2 JP 5309109B2 JP 2010233416 A JP2010233416 A JP 2010233416A JP 2010233416 A JP2010233416 A JP 2010233416A JP 5309109 B2 JP5309109 B2 JP 5309109B2
Authority
JP
Japan
Prior art keywords
image
property map
tubular structure
core line
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010233416A
Other languages
English (en)
Other versions
JP2012085721A (ja
Inventor
潤 桝本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010233416A priority Critical patent/JP5309109B2/ja
Priority to US13/275,810 priority patent/US8538105B2/en
Priority to EP11185546.6A priority patent/EP2442278B1/en
Priority to CN201110316950.1A priority patent/CN102567728B/zh
Publication of JP2012085721A publication Critical patent/JP2012085721A/ja
Application granted granted Critical
Publication of JP5309109B2 publication Critical patent/JP5309109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、3次元医用画像中の管状構造物の性状を表す画像を生成する医用画像処理技術に関するものである。
医療現場におけるマルチスライスCTの普及に伴い、医用画像解析技術が急速に発展している。例えば、心臓領域においては、より短時間で心臓全体を撮影することが可能になり、心臓の動きによるアーチファクトがほとんどない画像を取得することができるようになった。そのため、心臓領域の画像診断においては、冠動脈の狭窄部位のより詳細な診断が可能となってきている。冠動脈の観察では、一般的に観察対象の冠動脈の中心線を指定し、その中心線に沿って、血管の中心線に直交する断面を表す直交断面画像を観察したり、CPR(Curved Planar Reformation)技術を用いて、血管の中心線に沿った断面を表す画像を観察したりする方法が知られている(例えば、特許文献1)。その際、医師が観察するのは、血管のどの位置に、どのような種類の狭窄が存在するのかということである。血管が詰まる原因としては、完全に石灰化した領域が血管をふさいでいる場合(ハードプラーク)と、脂肪のような軟質の組織が血管をふさいでいる場合(ソフトプラーク)とがある。CT画像では、前者は通常の血管内腔のCT値より高い信号値として判別でき、後者は通常の血管内腔のCT値より低い信号値として確認できる。
特開2009−195561号公報
このような血管の観察の結果、特定のプラークが血管内で発見された場合、医師は、そのプラークの付近におけるプラークの3次元分布を観察する必要がある。その際、血管の直交断面画像を観察対象としている場合、その直交断面の位置を血管の中心線に沿って前後させて観察する必要がある。一方、血管のCPR画像を観察対象としている場合、中心線を回転軸としてその断面を回転させて観察する必要がある。
すなわち、血管の直交断面画像では、その直交断面の位置におけるプラークの分布や狭窄の状態を血管の全周方向で把握することができるが、血管の中心線に沿った奥行き方向にどのようにプラークが存在していて、どのように血管が細くなっているのかを観察することは困難である。また、血管のCPR画像では、血管の中心線に沿った奥行き方向におけるプラークの分布や狭窄の状態が表されているものの、それは血管の中心線に沿った特定の断面での状態であり、血管の全周にわたってプラークがどのように分布していて、どのように血管が細くなっているかは観察できない。
本発明は上記事情に鑑みてなされたものであり、3次元医用画像中の管状構造物の性状を一目瞭然に視認可能にする医用画像処理装置および方法、並びにプログラムを提供することを目的とするものである。
本発明の医用画像処理装置は、管状構造物を表す3次元医用画像から該管状構造物を抽出する管状構造物抽出手段と、該抽出された前記管状構造物の芯線を抽出する芯線抽出手段と、該抽出された芯線上の複数の点の各々を視点とする、該芯線上の各点における該芯線に垂直な放射状の視線の各方向における該管状構造物の性状を表す指標値を算出する指標値算出手段と、前記芯線の方向における位置を表す第1の座標成分と、前記放射状の視線の方向を表す第2の座標成分とによって規定される座標平面に、前記芯線上の各点において前記視線の各方向について算出された指標値をマッピングすることによって、前記管状構造物内の前記性状を表す性状マップ画像を生成する性状マップ画像生成手段とを設けたことを特徴とする。
本発明の医用画像処理方法は、コンピュータが、管状構造物を表す3次元医用画像から、該管状構造物を抽出し、該抽出された前記管状構造物の芯線を抽出し、該抽出された芯線上の複数の点の各々を視点とする、該芯線上の各点における該芯線に垂直な放射状の視線の各方向における該管状構造物の性状を表す指標値を算出し、前記芯線の方向における位置を表す第1の座標成分と、前記放射状の視線の方向を表す第2の座標成分とによって規定される座標平面に、前記芯線上の各点において前記視線の各方向について算出された指標値をマッピングすることによって、前記管状構造物内の前記性状を表す性状マップ画像を生成することを特徴とする。
本発明の医用画像処理プログラムは、コンピュータを上記医用画像処理装置の各手段として機能させるものである。
ここで、管状構造物の具体例としては冠動脈等の血管が挙げられる。
管状構造物の性状を表す指標値の具体例としては、その管状構造物の狭窄率や、その管状構造物の内部のプラークの性状を表す指標値等が挙げられる。
また、上記各視線方向における指標値とともに、管状構造物の領域のうち、性状マップ画像の生成対象の領域全体についての管状構造物の性状を表す指標値をさらに算出するようにしてもよい。例えば、性状マップ画像生成対象領域全体における平均狭窄率や、プラークの体積等が挙げられる。
また、指標値の算出の際に2種類の指標値を算出するようにしてもよい。この場合、第1および第2の座標成分と、算出された指標値のうちの一方を表す第3の座標成分とによって規定される座標空間に、その一方の指標値を第3の座標成分の座標値として表し、他方の指標値を、色、濃度、模様の少なくとも1つで表した性状マップ画像を生成するようにしてもよい。
性状マップ画像の生成の際の座標平面は、第1の座標成分と第2の座標成分による、極座標系で表現されたものであってもよいし、直交座標系で表現されたものであってもよい。
また、本発明において、管状構造物を表す他の画像をさらに生成するようにし、生成された画像と性状マップ画像とを連携表示させるようにしてもよい。
具体的には、3次元医用画像から、上記芯線上の所与の基準点を通り、その基準点における芯線に垂直な断面による第1の断面画像を生成し、性状マップ画像と第1の断面画像とを、第1の断面画像における基準点に対応する、性状マップ画像上の位置を識別可能な態様にして、表示手段に表示させるようにしてもよい。
さらに、基準点の位置を自動または手動で変更できるようにし、変更後の基準点に基づいて第1の断面画像を再生成し、変更後の基準点の位置および再生成された第1の断面画像に基づいて、性状マップ画像と断面画像の表示を更新させるようにしてもよい。
また、性状マップ画像が極座標系に基づいて生成されたものである場合には、3次元医用画像から、上記芯線上の所与の基準点を通り、その基準点における芯線に垂直な断面による第2の断面画像を、その断面と芯線の交点を通る断面内の所定の直線の、第2の断面画像中での向きが、その所定の直線に対応する、性状マップ画像内の直線の向きと一致するように生成するようにし、性状マップ画像と第2の断面画像とを表示手段に表示させるようにしてもよい。
さらに、性状マップ画像を、自動または手動により、画像中の芯線を表す点を中心に所与の角度回転できるようにし、これに応じて、既に生成済みの第2の断面画像をその角度回転させた画像を再生成するようにし、回転後の性状マップ画像および第2の断面画像に表示を更新させるようにしてもよい。
逆に、第2の断面画像を、自動または手動により、第2の断面画像中の芯線を表す点を中心に所与の角度回転できるようにし、これに応じて、既に生成済みの性状マップ画像をその角度回転させた画像を再生成するようにし、回転後の性状マップ画像および第2の断面画像に表示を更新させるようにしてもよい。
また、3次元医用画像から、上記芯線の方向における所定の範囲にある管状構造物の長手方向の画像を生成し、生成された長手方向の画像と性状マップ画像とを、性状マップ画像に表されている管状構造物の芯線方向における範囲(マップ画像化範囲)を長手方向の画像中で識別可能な態様にして、表示手段に表示させるようにしてもよい。ここで、管状構造物の長手方向の画像の具体例としては、CPR手法によって生成される、管状構造物の芯線に沿った断面を表すCPR画像等が挙げられる。さらに、上記長手方向の画像においてマップ画像化範囲を自動または手動で変更できるようにし、変更後のマップ画像化範囲に基づいて性状マップ画像を再生成し、変更後のマップ画像化範囲および再生成された性状マップ画像に基づいて、性状マップ画像と上記長手方向の画像の表示を更新させるようにしてもよい。
逆に、生成された長手方向の画像と性状マップ画像とを、長手方向の画像に表されている管状構造物の芯線方向における範囲(長手方向画像化範囲)を性状マップ画像中で識別可能な態様にして、表示手段に表示させるようにしてもよい。さらに、上記性状マップ画像において長手方向画像化範囲を自動または手動で変更できるようにし、変更後の長手方向画像化範囲に基づいて長手方向の画像を再生成し、変更後の長手方向画像化範囲および再生成された長手方向の画像に基づいて、性状マップ画像と上記長手方向の画像の表示を更新させるようにしてもよい。
本発明によれば、3次元医用画像から抽出された管状構造物の芯線上の複数の点の各々を視点とする、芯線上の各点における芯線に垂直な放射状の視線の各方向における管状構造物の性状を表す指標値を算出し、上記芯線の方向における位置を表す第1の座標成分と、上記放射状の視線の方向を表す第2の座標成分とによって規定される座標平面に、芯線上の各点において視線の各方向について算出された指標値をマッピングすることによって、管状構造物内の性状を表す性状マップ画像を生成することができる。これにより、3次元医用画像中の管状構造物の性状を、性状マップ画像を用いて一目瞭然に視認可能となるので、管状構造物を表す従来の画像(直交断面画像やCPR画像)を用いて観察する場合のように、表示範囲を変更して複数の画像を観察する手間が軽減される。このように、本発明によって、画像を用いて管状構造物の性状を観察する際の効率が向上する。
また、本発明において、2種類の指標値を算出し、各指標値を、上記第1および第2の座標成分と、算出された指標値のうちの一方を表す第3の座標成分とによって規定される座標空間に表した性状マップ画像を生成するようにした場合には、複数の指標値を用いて、管状構造物の性状を多面的に観察することが可能になり、観察精度の向上に資する。
また、本発明において、管状構造物を表す他の画像(直交断面画像や長手方向を表す画像等)をさらに生成し、生成された他の画像と性状マップ画像とを連携表示させるようにした場合には、例えば、管状構造物を表す他の画像と性状マップ画像の一方の観察で注目した位置を他方の画像でも観察することにより、管状構造物のより精緻な観察が可能になる。
本発明の実施の形態となる医用画像処理装置が導入された医用画像診断システムの概略構成図 本発明の第1から第3の実施形態における医用画像処理機能を実現する構成および処理の流れを模式的に示したブロック図 本発明の第1から第3の実施形態における医用画像診断システムを用いた医用画像処理の流れを表したフローチャート 冠動脈、芯線、芯線上の各点からの視線を模式的に表した図 冠動脈のプラークの種類を表す指標値の算出方法を説明するための冠動脈の直交断面図 冠動脈の狭窄率を表す指標値の算出方法を説明するための冠動脈の直交断面図 指標値がマッピングされる極座標系による座標平面を表した図 指標値がマッピングされる直交座標系による座標平面を表した図 極座標系による性状マップ画像の一例を模式的に表した図 直交座標系による性状マップ画像の一例を模式的に表した図 2つの特徴量をマッピングした性状マップ画像の第1の例を模式的に表した図 2つの特徴量をマッピングした性状マップ画像の第2の例を模式的に表した図 本発明の第4の実施形態における医用画像処理機能を実現する構成および処理の流れを模式的に示したブロック図 本発明の第4の実施形態における医用画像診断システムを用いた医用画像処理の流れを表したフローチャート 冠動脈の直交断面画像の一例を模式的に表した図 極座標系による性状マップ画像中に直交断面画像の位置を重畳表示した例を表した図 直交座標系による性状マップ画像中に直交断面画像の位置を重畳表示した例を表した図 本発明の第5の実施形態における医用画像処理機能を実現する構成および処理の流れを模式的に示したブロック図 本発明の第5の実施形態における医用画像診断システムを用いた医用画像処理の流れを表したフローチャート 冠動脈のCPR画像に性状マップ画像の画像化範囲を重畳表示した例を表した図 本発明の第6の実施形態における医用画像処理機能を実現する構成および処理の流れを模式的に示したブロック図 本発明の第6の実施形態における性状マップ画像と直交断面画像とCPR画像の表示例を模式的に表した図 マップ画像化範囲と直交断面の位置関係を設定するためのユーザインターフェースの一例を表した図 直交断面の前方の性状マップを重点的に表示した例を表す図 注目点の指定に伴う各画像の更新の様子を模式的に表した図 本発明の第6の実施形態における直交座標系による性状マップ画像を表した図 直交座標系による性状マップ画像で直交断面の前方の性状マップを重点的に表示した例を表す図 注目点の指定に伴う直交座標系による性状マップ画像の更新の様子を模式的に表した図 極座標系による性状マップ画像中でマップ画像化範囲を変更する操作を模式的に表した図 直交座標系による性状マップ画像中でマップ画像化範囲を変更する操作を模式的に表した図
以下、人体の冠動脈のプラークの性状を観察する場合を例にして、本発明の実施の形態となる医用画像処理装置が導入された医用画像診断システムについて説明する。
図1は、この医用画像診断システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ1と、画像保管サーバ2と、画像処理ワークステーション3とが、ネットワーク9を経由して通信可能な状態で接続されている。
モダリティ1には、被検体の検査対象部位を撮影することにより、その部位を表す3次元医用画像の画像データを生成し、その画像データにDICOM(Digital Imaging and Communications in Medicine)規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。具体例としては、CT、MRIなどが挙げられる。本実施形態では、CTで被検体である人体の体軸方向にスキャンすることによって人体の胸部の3次元画像データを生成する場合について説明する。
画像保管サーバ2は、モダリティ1で取得された医用画像データや画像処理ワークステーション3での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア(たとえば、ORDB(Object Relational Database)管理ソフトウェア)を備えている。
画像処理ワークステーション3は、本発明の医用画像処理装置として機能する。読影者からの要求に応じて、モダリティ1や画像保管サーバ2から取得した医用画像データに対して画像処理(画像解析を含む)を行い、生成された画像を表示するコンピュータであり、CPU,主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置(マウス、キーボード等)、表示装置(ディスプレイモニタ)、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステム等がインストールされたものである。本発明の医用画像処理は、CD−ROM等の記録媒体からインストールされたプログラムを実行することによって実現される。また、このプログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
画像データの格納形式やネットワーク9経由での各装置間の通信は、DICOM等のプロトコルに基づいている。
図2は、画像処理ワークステーション3の機能のうち、本発明の第1の実施形態となる医用画像処理に関連する部分を示すブロック図である。図に示すように、本実施形態における医用画像処理は、冠動脈抽出部31、芯線抽出部32、指標値算出部33、マップ画像生成部34、表示制御部35によって実現される。また、3次元医用画像V、冠動脈情報CA、芯線情報CL、指標値IDXm,n、性状マップ画像IMは、各々、上記各処理部によって、画像処理ワークステーション3の所定のメモリ領域に対して読み書きされるデータである。
次に、本発明の第1の実施形態となる医用画像処理を用いた画像診断の流れに沿って、上記各処理部の処理内容の詳細について説明する。図3は、本実施形態における医用画像処理ソフトウェアの実行下でのユーザの操作や、演算処理、表示処理等の流れを示したフローチャートである。
まず、画像処理ワークステーション3は3次元医用画像Vの画像データを取得する(#1)。この3次元医用画像データVは、モダリティ1で撮影され、画像保管サーバ2に保管されたものであり、画像処理ワークステーション3からの検索要求に応じて、画像保管サーバ2によるデータベース検索によって抽出され、画像処理ワークステーション3に送信されたものである。
冠動脈抽出部31は、3次元医用画像データVを読み込み、3次元医用画像V中の冠動脈を抽出し、抽出結果を表す冠動脈情報CAとして、画像処理ワークステーション3の所定のメモリ領域に格納する(#2)。また、芯線抽出部32は、冠動脈情報CAを読み込み、冠動脈の芯線を抽出し、抽出結果を表す芯線情報CLとして、画像処理ワークステーション3の所定のメモリ領域に格納する(#3)。
ここで、冠動脈CAおよびその芯線CLの抽出には公知の手法を実装することができる。例えば、3次元医用画像Vから、心筋等を表すCT値による閾値処理によって心臓領域を抽出した後、心臓領域を表す3次元医用画像に対して多重解像度変換を行い、各解像度の画像に対してヘッセ行列の固有値解析を行い、各解像度の画像における解析結果を統合することによって、3次元医用画像V中の様々なサイズの線構造(血管)を抽出する(Y Sato, et al.、「Three-dimensional multi-scale line filter for segmentation and visualization of curvilinear structures in medical images.」、Medical Image Analysis、1998年6月、Vol.2、No.2、p.p.143-168等参照)。そして、最小全域木アルゴリズム等を用いて、抽出された各線構造の中心点を連結することにより、冠動脈CAを表す木構造のデータが得られる。このとき、中心点を結ぶ線が冠動脈CAの芯線CLとなる。さらに、抽出された冠動脈CAの芯線CL上の各点(木構造データの各ノード)において、芯線CLに直交する断面を求め、各断面において、Graph-Cuts法等の公知のセグメンテーション手法を用いて冠動脈CAの輪郭を認識し、その輪郭を表す情報を木構造データの各ノードに関連づける。
なお、上記の手法では冠動脈CAおよび芯線CLの抽出は一体的に行われるが、各抽出処理が個別に行われる手法を用いてもよい。例えば、冠動脈抽出部31が、ユーザによって冠動脈上に設定されたシード点からの領域拡張法等に基づいて冠動脈領域CAを抽出し、芯線抽出部32が冠動脈領域CAに対して公知の細線化処理を行うことによって芯線CLを抽出するようにしてもよい。また、上記の手法によって抽出された冠動脈CAや芯線CLを手動修正するためのユーザインターフェースをさらに設けてもよい。
指標値算出部33は、3次元医用画像データV、冠動脈情報CA、芯線情報CLを読み込み、図4に模式的に表したように、冠動脈CAの芯線CL上の複数の点Pm(m=0,1,2,・・・,M)の各々を視点とする放射状の視線VLn(n=0,1,2,・・・,N-1)の各方向における、冠動脈の性状を表す指標値IDXm,nを算出し、画像処理ワークステーション3の所定のメモリ領域に格納する(#4)。ここで、芯線CL上の各点Pmにおける各視線VLnは、その点を通って芯線CLに直交する断面上にある。芯線CLは全体としては曲線であるから、各点Pmの近傍の微小区間を直線区間と近似し、その区間で近似された直線に直交する方向を芯線CLに直交する方向とすればよい。例えば、点Pmにおける芯線CLの方向は、前後の点Pm-1およびPm+1を通る直線の向きとすることができる。また、指標値IDXm,nは、芯線CLの方向における位置を表す情報、および、その位置での視線の方向を表す情報と関連づけられている。
本実施形態では、冠動脈の性状を表す指標値IDXm,nの具体例として、プラークの種類を示す指標値が算出される。すなわち、冠動脈内を表すCT値には「ハードプラーク>内腔>ソフトプラーク」という関係があるので、冠動脈内の信号値を用いることによってプラークの種類を識別することができる。図5Aは、冠動脈の芯線CL上の点Pmにおける直交断面を模式的に表したものである。指標値算出部33は、各点Pmを視点とするN本の放射状の視線VL0からVLN-1の各々について、視点Pmから冠動脈の輪郭CAまでの平均信号値をプラークの種類を表す指標値IDXm,nとして算出する。この指標値IDXm,nの値が内腔を表す値よりも大きい領域はハードプラークが存在することを意味し、この値が内腔を表す値よりも小さい領域はソフトプラークが存在することを意味する。あるいは、各視線VLnにおける視点Pmから冠動脈の輪郭CAまでの信号値の最大値をハードプラークの指標値IDXm,nとして算出してもよいし、各視線VLnにおける視点Pmから冠動脈の輪郭CAまでの信号値の最小値をソフトプラークの指標値IDXm,nとして算出してもよい。さらに、画像中のノイズの影響を避けるために、上記最大値および最小値の代わりに、例えば90パーセンタイル値や10パーセンタイル値を算出するようにしてもよい。
そして、マップ画像生成部34は、指標値IDXm,nを読み込み、冠動脈CAの芯線CLの方向における位置をx座標成分、芯線CL上の各点での放射状の視線VLnの方向をy座標成分とする座標平面に、指標値IDXm,nをマッピングすることによって、冠動脈CL内の性状を表す性状マップ画像IMを生成し、画像処理ワークステーション3の所定のメモリ領域に格納する(#5)。本実施形態では、x座標成分を芯線CL上の各点Pmと点P0の間の芯線CLに沿った距離xmで表し、y座標成分を各視線VLnがVL0となす角θnで表している。図6Aは、本実施形態において指標値IDXm,nがマッピングされる極座標系による座標平面の一例を表したものである。図に示したように、x座標成分は原点Oを中心とする円の半径で表され、y座標成分は基準軸y0からの反時計回りの回転角で表されている。マップ画像生成部34は、図5Aに示された、点P0からの距離がxmである点Pmを視点とする、視線VL0となす角がθnである視線VLnでの指標値IDXm,nを、原点Oから半径xmの円周上で、基準軸y0からの反時計回りの回転角の大きさがθnの点Pm,nにマッピングする。図7Aは、このようにして、芯線上の各点Pmでの各視線VLnの方向における指標値IDXm,nをマッピングすることによって生成された性状マップ画像IMの一例を模式的に表したものである。図に示したように、指標値IDXm,nが、その値の範囲に応じて異なる色や濃度、模様等を用いてマッピングされている。なお、性状マップ画像IMの芯線CLの方向における画像化範囲の初期値は、プログラムの起動パラメータ等により、予め与えるようにすればよい。
表示制御部35は、性状マップ画像IMを読み込み、画像処理ワークステーション3のディスプレイモニタの所定の位置に表示させる(#6)。
以上のように、本発明の第1の実施形態によれば、指標値算出部33が、3次元医用画像Vから抽出された冠動脈CAの芯線CL上の複数の点Pmの各々を視点とする、芯線CL上の各点Pmにおける芯線CLに垂直な放射状の視線VLnの各方向における冠動脈CAの性状を表す指標値IDXm,nを算出し、マップ画像生成部34が、芯線CLの方向における位置を表す第1の座標成分と、上記放射状の視線VLnの方向を表す第2の座標成分とによって規定される座標平面に、芯線CL上の各点Pmにおいて視線VLnの各方向について算出された指標値IDXm,nをマッピングすることによって、冠動脈CA内の性状を表す性状マップ画像IMを生成する。これにより、3次元医用画像V中の冠動脈CAの性状を、性状マップ画像IMを用いて一目瞭然に視認可能となるので、冠動脈CAを表す従来の画像(直交断面画像やCPR画像)を用いて観察する場合のように、表示範囲を変更して複数の画像を観察する手間が軽減され、管状構造物の性状の画像を用いた観察の際の効率が向上する。
また、図6Aおよび図7Aに示した極座標系による性状マップ画像IMは、座標平面上での円周方向における位置関係が、冠動脈CAの芯線CLに直交する断面における冠動脈CAの輪郭(外周)方向における位置関係と一致するので、冠動脈CAの芯線CLに直交する断面を表す直交断面画像に近い位置感覚で冠動脈CAの性状(プラークの分布)を観察することが可能になる。
上記実施形態では、冠動脈CAの性状を表す指標値IDXm,nとして、プラークの種類を表す指標値を用いたが、他の具体例としては冠動脈の狭窄率が挙げられる。具体的には、図5Bに模式的に示したように、指標値算出部33は、まず、点Pmを視点とするN本の放射状の視線VL0からVLN-1の各々について、視点Pmから冠動脈の輪郭CAに向かって探索を行い、内腔を表す信号値とプラークを表す信号値の境界の位置を求める。図5Bでは、この境界を曲線で結んだものを冠動脈の内輪郭CAin、冠動脈の抽出時に求められた外側の輪郭をCAoutと表している。指標値算出部33は、各視線VLnについて、
(外径PmCAoutの長さ−内径PmCAinの長さ)×100/外径PmCAoutの長さ
の値を狭窄率として算出する。あるいは、各視線VLn上の探索点について、
プラークを表す信号値を有する探索点の数×100/その視線上の全探索点の数
の値を狭窄率として算出してもよい。
本発明の第2の実施形態は、直交座標系による座標平面に指標値をマッピングした性状マップ画像を生成する態様であり、ブロック図およびフローチャートは第1の実施形態と同様である。
図6Bは、本実施形態において指標値IDXm,nがマッピングされる直交座標系による座標平面の一例を表したものである。図に示したように、芯線CL上の各点Pmと点P0の間の芯線CLに沿った距離xmがx軸上に表され、各視線VLnがVL0となす角θnがy軸上に表されている。ここで、角θnは、視線VL0から反時計回りに0度から180度までの値を取り、視線VL0から時計回りに0度から-180度までの値を取る。したがって、本実施形態では、マップ画像生成部34は、図5Aに示された、点P0からの距離がxmである点Pmを視点とする、視線VL0となす角がθn(0度≦θn≦180度)である視線VLnでの指標値IDXm,nを、座標値が(xm,θn)の点Pm,nにマッピングする。また、点P0からの距離がxmである点Pmを視点とする、視線VL0となす角がθN-1(0度≧θN-1≧-180度)である視線VLN-1での指標値IDXm,nを、座標値が(xm,θN-1)の点Pm,N-1にマッピングする。図7Bは、このようにして、芯線上の各点Pmでの各視線VLnの方向における指標値IDXm,nをマッピングすることによって生成された性状マップ画像IMの一例を模式的に表したものである。なお、この座標平面の例では、各視線VLnがVL0となす角θnが-180度から180度の値の範囲となるように原点Oを定めているが、例えば、この角θnが0度から360度の値の範囲となるように原点Oを定めるようにしてもよい。
このように本発明の第2の実施形態では、図6Bおよび図7B等に示した直交座標系による性状マップ画像IMが生成されるので、冠動脈CAの血管壁を芯線CLに沿って切り開いて血管内部を表した状態で、冠動脈CAの性状(プラークの分布)を一目瞭然に観察することが可能になる。また、冠動脈CAの芯線CL上の各点Pmにおける各視線VLnがVL0となす角θnをy軸としているので、各点Pmにおける冠動脈CAの太さが正規化された状態での観察が可能になる。
本発明の第3の実施形態は、2つの指標値がマッピングされた性状マップ画像を生成する態様であり、ブロック図およびフローチャートは第1の実施形態と同様である。
本実施形態では、指標値算出部33は、プラークの種類を表す指標値IDX1m,nと狭窄率を表す指標値IDX2m,nの両方を算出する。そして、マップ画像生成部34は、2つの指標値のうちの一方(例えば、プラークの種類を表す指標値IDX1m,n)を第1または第2の実施形態と同様にマッピングするとともに、他方の指標値(例えば、狭窄率を表す指標値IDX2m,n)を、第1または第2の実施形態で示した座標平面に垂直な高さ方向を表すz軸の座標値としてマッピングすることによって、2つの指標値IDX1m,n、IDX2m,nがマッピングされた性状マップ画像IMを生成する。図8Aは、図7Aの極座標系による座標平面に対して高さ方向を表すz軸を追加した性状マップ画像の一例を表したものであり、図8Bは、図7Bの直交座標系による座標平面に対して高さ方向を表すz軸を追加した性状マップ画像の一例を表したものである。各図に示したように、本実施形態では、性状マップ画像は、例えば狭窄率をz軸方向の高さとして等高線やメッシュ等を用いて表した擬似3次元的なグラフに、プラークの分布を表す色を付したものとなる。
以上のように、本発明の第3の実施形態では、2つの指標値の分布を一目瞭然で把握することが可能になるので、観察効率がさらに向上する。例えば、プラークの存在する位置において実際に冠動脈CAの狭窄が生じているかどうかについて、本実施形態の性状マップ画像IMのみから把握することが可能になる。
なお、本実施形態では、性状マップ画像IMが疑似3次元的な表現となっているため、性状マップ画像IMを見る視点に対して奥側(裏側)の位置は観察しづらくなってしまう。そこで、性状マップ画像IMを見る視点や視線方向を設定、変更できるようにしておくことが好ましい。これにより、ユーザは、性状マップ画像IMを回転させながら観察することが可能になる。
本発明の第4の実施形態は、冠動脈の芯線に対する直交断面画像と性状マップ画像とを連携表示させる態様である。図9は、本発明の第4の実施形態となる医用画像処理に関連する部分を示すブロック図である。図に示すように、本実施形態における医用画像処理は、第1の実施形態と同様の、冠動脈抽出部31、芯線抽出部32、指標値算出部33、マップ画像生成部34、表示制御部35の他、直交断面画像生成部36、断面位置変更受付部37によって実現される。また、3次元医用画像V、冠動脈情報CA、芯線情報CL、指標値IDXm,n、性状マップ画像IM、断面位置情報PR、直交断面画像ISは、各々、上記各処理部によって、画像処理ワークステーション3の所定のメモリ領域に対して読み書きされるデータである。
図10は、本実施形態における医用画像処理ソフトウェアの実行下でのユーザの操作や、演算処理、表示処理等の流れを示したフローチャートである。図に示したように、ステップ#11から#15は第1の実施形態のステップ#1から#5(図3)と同様である。
次に、直交断面画像生成部36は、公知の手法を用いて、3次元医用画像Vから、冠動脈CAの芯線CL上の所与の基準点(断面位置)を通り、その基準点における芯線CLに垂直な断面による直交断面画像ISを生成する(#16)。図11は、生成された冠動脈CAの直交断面画像ISの一例を表したものである。なお、基準点(断面位置)は、プログラムの起動パラメータ等によって与えられたデフォルトの位置、例えば、性状マップ画像IMの原点Oに対応する位置や、性状マップ画像IMの芯線CLの方向における画像化範囲の中間位置(図4の点P0とPMの中点)、プラークが最も集中している位置、冠動脈CAが最も狭窄している位置とすることができる。ここで、性状マップ画像IMが極座標系に基づく画像である場合には、直交断面画像生成部36は、性状マップ画像IM中の基準軸y0(図6A参照)と、基準軸y0に対応する直交断面画像ISの軸D0(図11参照;図5Aおよび5Bの視線VL0に対応する)とが同じ向きになるように、直交断面画像ISを生成する。
表示制御部35は、マップ画像生成部34によって生成された性状マップ画像IMと、直交断面画像生成部36によって生成された直交断面画像ISとを並べて、画像処理ワークステーション3のディスプレイモニタの所定の位置に表示させる(#17)。このとき、図12Aの極座標系の性状マップ画像IMに示したように、基準点の位置(直交断面の位置)に対応する円周PR1を視認可能な態様で(ここでは点線)表示させるようにしてもよい。また、図12Bに示したように、直交座標系の性状マップ画像IMでは、基準点の位置は直線PR2で表される。
ここで、断面位置変更受付部37は、性状マップ画像IMの任意の位置を指定する操作(例えば、マウスのクリック操作)を検知し、その指定された位置に対応する芯線CL上の位置PRを特定し、所定のメモリ領域に格納する(#18)。
直交断面画像生成部36は、その特定された芯線CL上の位置PRを読み込み、その位置PRを通る直交断面画像ISを再生成し(#19)、表示制御部35が、直交断面画像ISの表示を再生成後のものに更新する(#20)。このとき、図12Aや図12Bの性状マップ画像IM中に示された、基準点の位置に対応する円周PR1や直線PR2の表示も、断面位置変更受付部37によって特定された位置PRに対応する位置に更新する。
以上のように、本発明の第4の実施形態によれば、直交断面画像生成部36が、所与の基準点における芯線CLに垂直な断面による直交断面画像ISを生成し、表示制御部35が、性状マップ画像IM上での基準点の位置を視認可能な態様で表しつつ、性状マップ画像IMと直交断面画像ISを表示させることができる。したがって、ユーザは、性状マップ画像IMと直交断面画像ISの位置的な対応関係を容易に把握しながら、両画像を観察することができるので、冠動脈CAのより精緻な観察を効率的に行うことが可能になる。
また、性状マップ画像IMが極座標系に基づくものである場合、直交断面画像生成部36は、性状マップ画像IM中の基準軸y0と、基準軸y0に対応する直交断面画像ISの軸D0とが同じ向きになるように、直交断面画像ISを生成するので、性状マップ画像IMと直交断面画像ISの円周方向の位置(中心角)が合わせられた状態で両画像を観察することができる。
なお、上記実施形態において、極座標系の性状マップ画像IM、および/または、直交断面画像ISを、芯線CLに対応する位置を中心としてその画像の平面上で回転させる操作を受け付けるようにし、一方の画像で受け付けた上記回転操作に応じて、他方の画像も同様の回転を行うようにしてもよい。これにより、上記回転操作に対しても、両画像の表示を連動させることが可能になる。
本発明の第5の実施形態は、冠動脈の芯線に沿ったCPR画像と性状マップ画像とを連携表示させる態様である。図13は、本発明の第5の実施形態となる医用画像処理に関連する部分を示すブロック図である。図に示すように、本実施形態における医用画像処理は、第1の実施形態と同様の、冠動脈抽出部31、芯線抽出部32、指標値算出部33、マップ画像生成部34、表示制御部35の他、CPR画像生成部38、画像化範囲変更受付部39によって実現される。また、3次元医用画像V、冠動脈情報CA、芯線情報CL、指標値IDXm,n、性状マップ画像IM、CPR画像IC、性状マップ画像IMに表されている冠動脈CAの芯線CL方向における範囲であるマップ画像化範囲RMは、各々、上記各処理部によって、画像処理ワークステーション3の所定のメモリ領域に対して読み書きされるデータである。
図14は、本実施形態における医用画像処理ソフトウェアの実行下でのユーザの操作や、演算処理、表示処理等の流れを示したフローチャートである。図に示したように、ステップ#31から#34は第1の実施形態のステップ#1から#4(図3)と同様である。
次に、CPR画像生成部38は、公知の手法を用いて、3次元医用画像Vから、冠動脈CAの芯線CL上に沿った曲面によるCPR画像ICを生成する(#35)。図15は、生成された冠動脈CAのCPR画像ICの一例を表したものである。なお、図は、ストレートCPR手法によって生成された画像を表しているが、ストレッチCPR等の他のCPR手法も採用可能である。また、CPR画像ICの画像化範囲は、プログラムの起動パラメータ等によって与えられる。
ここで、画像化範囲変更受付部39は、性状マップ画像IMに表す冠動脈CAの芯線CL方向における範囲であるマップ画像化範囲を設定する操作を検知し、検知されたマップ画像化範囲RMを所定のメモリ領域に格納する(#36)。具体的には、例えば、図15に示したように、マップ画像化範囲RMを表す矩形枠をマウス等を用いて描画する操作を画像化範囲変更受付部39が検知し、その矩形に含まれる芯線CLの範囲をマップ画像化範囲RMとして特定する。このとき、必要に応じて、CPR画像ICと性状マップ画像IMとで芯線CL方向の位置の対応関係に基づいて座標値の変換を行う。
そして、マップ画像生成部34は、指標値IDXm,n、および、画像化範囲変更受付部39によって設定されたマップ画像化範囲RMに基づいて、上記第1の実施形態と同様にして性状マップ画像IMを生成し(#37)、表示制御部35は、マップ画像生成部34によって生成された性状マップ画像IMと、CPR画像生成部38によって生成されたCPR画像ICとを並べて、画像処理ワークステーション3のディスプレイモニタの所定の位置に表示させる(#38)。
さらに、画像化範囲変更受付部39は、性状マップ画像IMのマップ画像化範囲を変更する操作を検知し、変更後のマップ画像化範囲RMを所定のメモリ領域に格納する(#39)。具体的には、マウス等のドラッグ操作によって、図15に示した矩形枠RMを芯線CL方向に拡大・縮小する操作や、矩形枠RMを芯線CLに沿って移動させる操作等を画像化範囲変更受付部39が検知し、操作後の矩形枠RMに基づいて、その操作後の矩形枠RMに含まれる芯線CLの範囲を、変更後のマップ画像化範囲RMとして特定する。
マップ画像生成部34は、変更後のマップ画像化範囲RMに基づいて性状マップ画像IMを再生成し(#40)、表示制御部35が、性状マップ画像IMの表示を再生成後のものに更新する(#41)。このとき、CPR画像IC上のマップ画像化範囲を表す矩形枠RMの表示も更新する。
以上のように、本発明の第5の実施形態によれば、CPR画像生成部38が、芯線CLに沿ったCPR画像ICを生成し、表示制御部35が、CPR画像IC上での性状マップ画像IMの画像化範囲RMを視認可能な態様で表しつつ、性状マップ画像IMとCPR画像ICを表示させることができる。したがって、ユーザは、性状マップ画像IMとCPR画像ICの位置的な対応関係を容易に把握しながら、両画像を観察することができるので、冠動脈CAのより精緻な観察を効率的に行うことが可能になる。
上記実施形態では、CPR画像IC中に性状マップ画像MIの画像化範囲を表示させているが、CPR画像ICの画像化範囲が性状マップ画像MIの画像化範囲よりも狭い場合には、性状マップ画像MI中にCPR画像ICの画像化範囲を表示させるようにしてもよい。この場合には、性状マップ画像MI中でCPR画像ICの画像化範囲の拡大、縮小、移動の操作を受け付け、それに応じてCPR画像ICを再生成し、各画像の表示を更新するようにすればよい。このような態様では、性状マップ画像MIで冠動脈CAを広域的に観察し、CPR画像ICで局所的に詳細な観察を行うという観察フローに適した画像の表示が実現される。
本発明の第6の実施形態は、直交断面画像とCPR画像と性状マップ画像とを連携表示させる態様である。図16は、本発明の第6の実施形態となる医用画像処理に関連する部分を示すブロック図である。図に示すように、本実施形態における医用画像処理は、第1の実施形態と同様の、冠動脈抽出部31、芯線抽出部32、指標値算出部33、マップ画像生成部34、表示制御部35の他、第4の実施形態と同様の直交断面画像生成部36、第5の実施形態と同様の、CPR画像生成部38、画像化範囲変更受付部39、さらに、マップ条件選択受付部40、注目点入力受付部41によって実現される。また、3次元医用画像V、冠動脈情報CA、芯線情報CL、指標値IDXm,n、性状マップ画像IM、直交断面画像IS、CPR画像IC、マップ画像化範囲RM、マップ条件MC、注目点POIは、各々、上記各処理部によって、画像処理ワークステーション3の所定のメモリ領域に対して読み書きされるデータである。
本実施形態では、まず、第5の実施形態の処理フローにおけるステップ#31から#37までと同様にして、デフォルトの条件でのCPR画像ICおよび、ユーザによって設定されたマップ画像化範囲の性状マップ画像IMが生成される。次に、第4の実施形態の処理フローにおけるステップ#16と同様にして、デフォルト位置(ここではマップ画像化範囲RMの中間位置)での直交断面画像ISが生成される。そして、表示制御部35が、生成された性状マップ画像IMと直交断面画像ISとCPR画像ICを並べて画像処理ワークステーション3のディスプレイモニタに表示させる。
図17は表示される画面の一例を模式的に表したものである。図に示したように、CPR画像ICには、性状マップ画像MIの画像化範囲を表す矩形枠RMと、直交断面画像ISの断面位置を表す補助線L-S2が重畳表示されている。また、性状マップ画像IMには、CPR画像ICの曲面を表す補助線L-CPR1と、直交断面画像ISの断面位置を表す補助線L-S1が重畳表示されている。さらに、直交断面画像ISには、CPR画像ICの曲面を表す補助線L-CPR2が重畳表示されている。なお、本実施形態では、第4の実施形態と同様に、性状マップ画像IM中の軸D0の向きは、直交断面画像ISにおける軸D0の向きにおける指標値IDXm,nが表示されるように、円周方向の位置が合わせられている。
ここで、第5の実施形態のステップ#39と同様に、画像化範囲変更受付部39が、CPR画像IC上でマップ画像化範囲RMを変更する操作を検知した場合、マップ画像生成部34が、変更後のマップ画像化範囲RMに基づいて性状マップ画像IMを再生成するだけでなく、直交断面画像生成部36が、変更後のマップ画像化範囲RMの中間位置を新たな直交断面の位置として、直交断面画像ISを再生成する。すなわち、本実施形態では、マップ画像化範囲と直交断面の位置関係が固定されている。
そして、この位置関係を変更したい場合、本実施形態では、ユーザが、画面に表示されたメニュー(図示なし)から「マップ条件の変更」を選択する操作を行うと、マップ条件選択受付部40は、図18に例示した設定画面を表示させる。図に示したように、ユーザは、この画面でマップ画像化範囲と直交断面の位置関係を選択することができる。図17の表示例は、「直交断面の前後の性状マップを均等に表示」が選択された状態を表しており、直交断面の位置はマップ画像化範囲RMの中間位置となっている。ここで、ユーザが、例えば、「直交断面の前方の性状マップを重点的に表示」をマップ条件として選択すると、マップ条件選択受付部40は、その選択を受け付け、マップ条件MCを所定のメモリ領域に出力する。マップ画像生成部34は、選択されたマップ条件MCを読み込み、マップ画像化範囲RMを直交断面の位置L-S2の前方(図17の右側とする)が広く(長く)なるように変更し、変更後のマップ画像化範囲RMに基づいて性状マップ画像IMを再生成し、表示制御部35は、性状マップ画像IMの表示を再生成後のものに更新するとともに、性状マップ画像IM上の補助線L-S1や、CPR画像IC上の矩形枠RMの表示も更新する。
図19は、マップ条件の選択を変更した後の性状マップ画像IMと直交断面画像ISとCPR画像ICの表示例を表したものである。図に示したように、CPR画像IC上では、直交断面の位置L-S2は変更されず、マップ画像化範囲を表す矩形枠RMのみが変更されている。性状マップ画像IMでは、直交断面の位置L-S1における指標値IDXm,nが同心円の半径が小さい位置に移動し、直交断面の位置L-S1よりも前方(CPR画像ICでは右側)における指標値IDXm,nが、同心円L-S1の外側に表されている。一方、直交断面の位置自体は移動していないので、直交断面画像ISの表示は図17と同じである。
一方、図18の設定画面において、ユーザが「直交断面の後方の性状マップを重点的に表示」をマップ条件として選択した場合には、上記と逆に、CPR画像IC上では、マップ画像化範囲を表す矩形枠RMが、直交断面の位置L-S2の左側が長くなるように移動し、性状マップ画像IMでは、直交断面の位置L-S1における指標値IDXm,nが同心円の半径が大きい位置に移動し、直交断面の位置L-S1よりも後方(CPR画像ICでは左側)における指標値IDXm,nが、同心円L-S1の内側に表される。
このように、本実施形態では、マップ画像化範囲と直交断面の位置関係をユーザが選択できるようにしたので、ユーザの嗜好に応じた性状マップ画像IMとCPR画像ICと直交断面画像ISの連携表示が可能になる。
なお、マップ条件の変更のためのユーザインターフェースは、図18に例示したものには限定されない。例えば、図17のCPR画像ICと同様のユーザインターフェースで、ユーザのマウス操作等によって、マップ画像化範囲を表す矩形枠RM、または、直交断面位置L-S2を所望の位置関係となるように移動させることによって、マップ画像化範囲と直交断面の位置関係の設定を行うようにしてもよい。
また、図20に示したように、ユーザが、性状マップ画像IMの注目点POIを指定する操作(例えば、マウスのボタンを押下し続ける操作)を行うと、注目点入力受付部41がその操作を検知し、その指定された位置に対応する芯線CL上の位置および上記放射状の視線VLnの方向を特定し、所定のメモリ領域に格納する。直交断面画像生成部36は、その特定された芯線CL上の位置を読み込み、その位置を通る直交断面画像IS′を再生成する。一方、CPR画像生成部38は、その特定された芯線CL上の位置において、その特定された上記放射状の視線VLnの方向を通る曲面を特定し、特定された曲面によるCPR画像IC′を再生成する。そして、表示制御部35は、ユーザが上記操作を続けている間は、直交断面画像IS′およびCPR画像IC′に表示を更新するとともに、CPR画像IC′上に注目点POIに対応する直交断面位置を表す補助線L-S2′をさらに重畳表示させ、性状マップ画像IM上に、注目点POIに対応する直交断面位置を表す補助線L-S1′やCPR画像IC′の曲面を表す補助線L-CPR1′をさらに重畳表示させ、直交断面画像IS′上にCPR画像IC′の曲面を表す補助線L-CPR2′をさらに重畳表示させる。ユーザが上記操作を中止した場合には、表示制御部35は、表示をもとの図17の状態に戻す。
このように、本実施形態では、性状マップ画像IM上での注目点POIの指定と連携して、その注目点POIに対応する直交断面画像やCPR画像を表示させることが可能になり、操作性が向上する。マップ画像化範囲と直交断面の位置関係をユーザが選択できるようにしたので、ユーザの嗜好に応じた性状マップ画像IMとCPR画像ICと直交断面画像ISの連携表示が可能になる。
なお、上記実施形態では、特定の操作状態の継続中にのみ注目点POIの位置に対応するCPR画像IC′と直交断面画像IS′の表示を行うようにしているが、例えば、マウスのクリック操作のように完結した操作に応じて、これらの画像を別の画面(ウィンドウ)に表示させるようにしてもよい。
上記実施形態では、極座標系による性状マップ画像IMを生成するようにしていたが、直交座標系による性状マップ画像MIでも同様のことが可能である。図21Aは、図17の初期状態における直交座標系による性状マップ画像MIの表示例を表したものである。図に示したように、本実施形態では、上記放射状の視線VLnの方向を表すy軸の位置を直交断面の位置L-S1と一致させている。また、CPR画像ICの曲面は、2本の補助線L-CPR11、L-CPR12で表される。この場合、図18のユーザインターフェースで「直交断面の前方の性状マップを重点的に表示」にマップ条件MCが変更されると、図21Bに示したように、y軸自体が左側に移動し、y軸として表された直交断面の位置L-S1よりも前方(CPR画像ICでは右側)における指標値IDXm,nが重点的に画像化される。また、直交座標系による性状マップ画像IM上で注目点POIが指定された場合も、図21Cに示したように、上記実施形態と同様の連携表示が可能である。この場合、直交断面の当初の位置を表すy軸自体は移動せず、注目点POIに対応する直交断面の位置を表す補助線L-S1′、および、注目点POIに対応するCPR画像の曲面を表す補助線L-CPR11、L-CPR12がさらに重畳表示される。
なお、上記実施形態においても、第4の実施形態と同様の断面位置変更受付部37を設け、マップ画像化範囲RMと直交断面位置とを独立して変更できるようにしてもよい。
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
例えば、本発明の実施形態は、各実施形態の特徴的構成を適宜組み合わせた実施形態であってもよい。具体例としては、上記第4、第5、第6の実施形態において、上記第3の実施形態のように2つの指標値を表す性状マップ画像を生成、表示するようにした実施形態が考えられる。
また、上記各実施形態において、指標値算出部33が、性状マップ画像MIの画像化範囲内の冠動脈CA全体について、プラークの種類別に体積を算出したり、平均狭窄率を算出したりするようにし、算出されたプラークの体積や平均狭窄率を、性状マップ画像MI等とともに画像処理ワークステーション3のディスプレイモニタに表示させるようにしてもよい。
また、マップ画像生成部34は、芯線CL方向において、表示範囲よりも広い範囲における冠動脈CAの性状を表す広域性状マップ画像を予め生成しておき、予め与えられた、あるいは、ユーザによって指定された画像化範囲を広域性状マップ画像から切り出すことによって性状マップ画像IMを生成するようにしてもよい。
また、上記実施形態では、画像化範囲変更受付部39は、マップ画像化範囲をユーザ操作に応じて変更するようにしているが、自動的にマップ画像化範囲を順次変更していくようにしてもよい。
また、性状マップ画像IM上でマップ画像化範囲の変更する操作を受け付けるようにしてもよい。図22Aはこの操作の具体例を模式的に表したものである。図に示したように、性状マップ画像IMの任意の位置Q1を指定し、その指定された位置Q1を半径方向(図の矢印の方向)に移動させる操作(例えばマウスのドラッグ操作)を検知すればよい。この操作が検知された場合、その指定された位置Q1に対応する芯線CL上の位置(図の破線の円周の半径)を特定するとともに、その位置の移動後の芯線CL上の位置(図の一点鎖線の円周の半径)を特定し、その移動方向(原点Oに向かう向き)および移動量(移動前後での半径の差)に基づいて、変更後の芯線CLの方向における画像化範囲RMを特定すればよい。図22Aの例では、図の矢印の長さの分だけ、図4の芯線CLの点P0からPMに向かう向きに画像化範囲を移動させる操作が行われたことになり、変更後の画像化範囲に基づいて再生成された性状マップ画像MIは、図4の点PMより先の位置における冠動脈CAの性状がマッピングされたものとなっている。なお、例えば、点Q1を原点Oから遠ざかる向きに移動させる操作が検知された場合には、図4の芯線CLの点PMからP0に向かう方向に画像化範囲を移動させる操作が行われたことになり、再生成された性状マップ画像MIは、図4の点P0より前の位置における冠動脈CAの性状がマッピングされたものとなる。
図22Bは直交座標系の性状マップ画像IM中で画像化範囲を変更する操作の具体例を模式的に表したものである。図に示したように、性状マップ画像IMの任意の位置Q2を指定し、その指定された位置Q2をx軸方向(図の矢印の方向)に移動させる操作(例えばマウスのドラッグ操作)が検知された場合、その指定された位置Q2の移動前後でのx座標を特定し、その移動方向(図では原点Oに向かう向き)および移動量(移動前後でのx座標値の差)に基づいて、変更後の芯線CLの方向における画像化範囲RMを特定する。図22Bの例では、図の矢印の長さの分だけ、図4の芯線CLの点P0からPMに向かう向きに画像化範囲を移動させる操作が行われたことになる。そして、この操作に応じて再生成された性状マップ画像MIは、図4の点PMより先の位置における冠動脈CAの性状がマッピングされたものとなる。一方、点Q2を原点Oから遠ざかる向きに移動させる操作が検知された場合には、図4の芯線CLの点PMからP0に向かう方向に画像化範囲を移動させる操作が行われたことになり、再生成された性状マップ画像MIは、図4の点P0より前の位置における冠動脈CAの性状がマッピングされたものとなる。
また、上記各実施形態では、人体の冠動脈を観察対象としているが、他の血管や、気管、気管支等の他の管状構造物を観察対象とする場合にも本発明は適用可能である。
31 冠動脈抽出部
32 芯線抽出部
33 指標値算出部
34 マップ画像生成部
35 表示制御部
36 直交断面画像生成部
37 断面位置変更受付部
38 CPR画像生成部
39 画像化範囲変更受付部
40 マップ条件選択受付部40
41 注目点入力受付部

Claims (19)

  1. 管状構造物を表す3次元医用画像から該管状構造物を抽出する管状構造物抽出手段と、
    該抽出された前記管状構造物の芯線を抽出する芯線抽出手段と、
    該抽出された芯線上の複数の点の各々を視点とする、該芯線上の各点における該芯線に垂直な放射状の視線の各方向における該管状構造物の性状を表す2種類の指標値を算出する指標値算出手段と、
    前記芯線の方向における位置を表す第1の座標成分と、前記放射状の視線の方向を表す第2の座標成分とによって規定される座標平面に、前記芯線上の各点において前記視線の各方向について算出された指標値をマッピングすることによって、前記管状構造物内の前記性状を表す性状マップ画像を生成する性状マップ画像生成手段とを備え
    前記性状マップ画像生成手段が、前記第1および第2の座標成分と、前記指標値のうちの一方を表す第3の座標成分とによって規定される座標空間に、前記指標値のうちの一方を前記第3の座標成分の座標値として表し、前記指標値のうちの他方を、色、濃度、模様の少なくとも1つで表した前記性状マップ画像を生成するものであることを特徴とする医用画像処理装置。
  2. 前記座標平面が、前記第1の座標成分と前記第2の座標成分による極座標系で表現されたものであることを特徴とする請求項1に記載の医用画像処理装置。
  3. 前記座標平面が、前記第1の座標成分と前記第2の座標成分による直交座標系で表現されたものであることを特徴とする請求項1に記載の医用画像処理装置。
  4. 前記3次元医用画像から、前記芯線上の所与の基準点を通り、該基準点における前記芯線に垂直な断面による第1の断面画像を生成する第1の断面画像生成手段と、
    前記性状マップ画像と前記第1の断面画像とを、前記第1の断面画像における前記基準点に対応する、前記性状マップ画像上の位置を識別可能な態様にして、表示手段に表示させる第1の表示制御手段とをさらに備えたことを特徴とする請求項1からのいずれか1項に記載の医用画像処理装置。
  5. 前記基準点の位置を変更する基準点変更手段をさらに備え、
    前記第1の断面画像生成手段が、該変更後の基準点に基づいて前記第1の断面画像を再生成するものであり、
    前記第1の表示制御手段が、該変更後の基準点の位置および該再生成された第1の断面画像に基づいて、前記性状マップ画像と前記断面画像の表示を更新させるものであることを特徴とする請求項に記載の医用画像処理装置。
  6. 前記3次元医用画像から、前記芯線上の所与の基準点を通り、該基準点における前記芯線に垂直な断面による第2の断面画像を、前記断面と前記芯線の交点を通る前記断面内の所定の直線の前記断面画像中での向きが、該所定の直線に対応する、前記性状マップ画像内の直線の向きと一致するように生成する第2の断面画像生成手段と、
    前記性状マップ画像と前記第2の断面画像とを表示手段に表示させる第2の表示制御手段とをさらに備えたことを特徴とする請求項に記載の医用画像処理装置。
  7. 前記性状マップ画像を、該画像中の芯線を表す点を中心に所与の角度回転させる手段をさらに備え、
    前記第2の断面画像生成手段が、既に生成済みの前記第2の断面画像を前記所与の角度回転させた画像を再生成するものであり、
    前記第2の表示制御手段が、該回転後の性状マップ画像および第2の断面画像に表示を更新させるものであることを特徴とする請求項に記載の医用画像処理装置。
  8. 前記第2の断面画像を、該第2の断面画像中の芯線を表す点を中心に所与の角度回転させる手段をさらに備え、
    前記性状マップ画像生成手段が、既に生成済みの前記性状マップ画像を前記所与の角度回転させた画像を再生成するものであり、
    前記第2の表示制御手段が、該回転後の性状マップ画像および第2の断面画像に表示を更新させるものであることを特徴とする請求項に記載の医用画像処理装置。
  9. 前記3次元医用画像から、前記芯線の方向における所定の範囲にある前記管状構造物の長手方向の画像を生成する手段と、
    前記性状マップ画像と前記長手方向の画像とを、前記性状マップ画像に表されている前記管状構造物の前記芯線方向における範囲であるマップ画像化範囲を前記長手方向の画像中で識別可能な態様にして、表示手段に表示させる第3の表示制御手段とをさらに備えたことを特徴とする請求項1からのいずれか1項に記載の医用画像処理装置。
  10. 前記長手方向の画像において前記マップ画像化範囲を変更する第1の画像化範囲変更手段をさらに備え、
    前記性状マップ画像生成手段が、該変更後のマップ画像化範囲に基づいて前記性状マップ画像を再生成するものであり、
    前記第3の表示制御手段が、該変更後のマップ画像化範囲および該再生成された性状マップ画像に基づいて、前記性状マップ画像と前記長手方向の画像の表示を更新させるものであることを特徴とする請求項に記載の医用画像処理装置。
  11. 前記3次元医用画像から、前記芯線の方向における所定の範囲にある前記管状構造物の長手方向の画像を生成する手段と、
    前記性状マップ画像と前記長手方向の画像とを、前記長手方向の画像に表されている前記管状構造物の前記芯線方向における範囲である長手方向画像化範囲を前記性状マップ画像中で識別可能な態様にして、表示手段に表示させる第4の表示制御手段とをさらに備えたことを特徴とする請求項1から10のいずれか1項に記載の医用画像処理装置。
  12. 前記性状マップ画像において前記長手方向画像化範囲を変更する第2の画像化範囲変更手段をさらに備え、
    前記長手方向の画像を生成する手段が、該変更後の長手方向画像化範囲に基づいて前記長手方向の画像を再生成するものであり、
    前記第4の表示制御手段が、該変更後の長手方向画像化範囲および該再生成された長手方向の画像に基づいて、前記性状マップ画像と前記長手方向の画像の表示を更新させるものであることを特徴とする請求項11に記載の医用画像処理装置。
  13. 前記指標値算出手段が、前記管状構造物の領域のうち、前記性状マップ画像の生成対象の領域全体についての前記管状構造物の性状を表す指標値をさらに算出するものであることを特徴とする請求項1から12のいずれか1項に記載の医用画像処理装置。
  14. 前記管状構造物が血管であることを特徴とする請求項1から13のいずれか1項に記載の医用画像処理装置。
  15. 前記管状構造物が冠動脈であることを特徴とする請求項14に記載の医用画像処理装置。
  16. 前記指標値が前記管状構造物の狭窄率であることを特徴とする請求項1から15のいずれか1項に記載の医用画像処理装置。
  17. 前記指標値がプラークの性状を表すものであることを特徴とする請求項14または15に記載の医用画像処理装置。
  18. 状構造物を表す3次元医用画像から該管状構造物を抽出し、
    該抽出された前記管状構造物の芯線を抽出し、
    該抽出された芯線上の複数の点の各々を視点とする、該芯線上の各点における該芯線に垂直な放射状の視線の各方向における該管状構造物の性状を表す2種類の指標値を算出し、
    前記芯線の方向における位置を表す第1の座標成分と、前記放射状の視線の方向を表す第2の座標成分とによって規定される座標平面に、前記芯線上の各点において前記視線の各方向について算出された指標値をマッピングすることによって、前記管状構造物内の前記性状を表す性状マップ画像を生成して、
    前記第1および第2の座標成分と、前記指標値のうちの一方を表す第3の座標成分とによって規定される座標空間に、前記指標値のうちの一方を前記第3の座標成分の座標値として表し、前記指標値のうちの他方を、色、濃度、模様の少なくとも1つで表した前記性状マップ画像を生成することを特徴とする医用画像処理方法。
  19. コンピュータを、
    管状構造物を表す3次元医用画像から該管状構造物を抽出する管状構造物抽出手段と、
    該抽出された前記管状構造物の芯線を抽出する芯線抽出手段と、
    該抽出された芯線上の複数の点の各々を視点とする、該芯線上の各点における該芯線に垂直な放射状の視線の各方向における該管状構造物の性状を表す2種類の指標値を算出する指標値算出手段と、
    前記芯線の方向における位置を表す第1の座標成分と、前記放射状の視線の方向を表す第2の座標成分とによって規定される座標平面に、前記芯線上の各点において前記視線の各方向について算出された指標値をマッピングすることによって、前記管状構造物内の前記性状を表す性状マップ画像を生成する性状マップ画像生成手段として機能させるものであって、
    前記性状マップ画像生成手段が、前記第1および第2の座標成分と、前記指標値のうちの一方を表す第3の座標成分とによって規定される座標空間に、前記指標値のうちの一方を前記第3の座標成分の座標値として表し、前記指標値のうちの他方を、色、濃度、模様の少なくとも1つで表した前記性状マップ画像を生成するものであることを特徴とする医用画像処理プログラム。
JP2010233416A 2010-10-18 2010-10-18 医用画像処理装置および方法、並びにプログラム Active JP5309109B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010233416A JP5309109B2 (ja) 2010-10-18 2010-10-18 医用画像処理装置および方法、並びにプログラム
US13/275,810 US8538105B2 (en) 2010-10-18 2011-10-18 Medical image processing apparatus, method, and program
EP11185546.6A EP2442278B1 (en) 2010-10-18 2011-10-18 Medical image processing apparatus, method, and program
CN201110316950.1A CN102567728B (zh) 2010-10-18 2011-10-18 医用图像处理装置及方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010233416A JP5309109B2 (ja) 2010-10-18 2010-10-18 医用画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2012085721A JP2012085721A (ja) 2012-05-10
JP5309109B2 true JP5309109B2 (ja) 2013-10-09

Family

ID=44905502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010233416A Active JP5309109B2 (ja) 2010-10-18 2010-10-18 医用画像処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8538105B2 (ja)
EP (1) EP2442278B1 (ja)
JP (1) JP5309109B2 (ja)
CN (1) CN102567728B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9057361B2 (en) 2005-08-10 2015-06-16 Bionic Power Inc. Methods and apparatus for harvesting biomechanical energy
US9222468B2 (en) 2011-09-01 2015-12-29 Bionic Power Inc. Methods and apparatus for control of biomechanical energy harvesting

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5606832B2 (ja) * 2010-03-05 2014-10-15 富士フイルム株式会社 画像診断支援装置、方法およびプログラム
JP5215483B1 (ja) * 2012-02-24 2013-06-19 株式会社東芝 医用画像処理装置
US9349220B2 (en) * 2013-03-12 2016-05-24 Kabushiki Kaisha Toshiba Curve correction in volume data sets
JP6201255B2 (ja) * 2013-04-11 2017-09-27 ザイオソフト株式会社 医用画像処理システムおよび医用画像処理プログラム
JP6188434B2 (ja) * 2013-06-07 2017-08-30 東芝メディカルシステムズ株式会社 医用画像処理装置および医用画像処理プログラム
US9805463B2 (en) 2013-08-27 2017-10-31 Heartflow, Inc. Systems and methods for predicting location, onset, and/or change of coronary lesions
WO2015048178A2 (en) * 2013-09-25 2015-04-02 Heartflow, Inc. Systems and methods for visualizing elongated structures and detecting branches therein
EP3108456B1 (en) * 2014-02-19 2020-06-24 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
JP6411073B2 (ja) 2014-06-02 2018-10-24 キヤノンメディカルシステムズ株式会社 医用画像処理装置および医用画像処理方法
JP2016158916A (ja) * 2015-03-03 2016-09-05 キヤノンマーケティングジャパン株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
JP6476041B2 (ja) * 2015-03-31 2019-02-27 株式会社Aze 医用画像診断装置、その制御方法、及びプログラム
JP6496698B2 (ja) * 2015-10-30 2019-04-03 株式会社Aze 医用画像処理装置、その制御方法、及びプログラム
CN105551004A (zh) * 2015-12-29 2016-05-04 中国石油大学(华东) 一种基于岩心ct图像处理的剩余油微观赋存表示方法
JP6639935B2 (ja) * 2016-02-09 2020-02-05 キヤノンメディカルシステムズ株式会社 画像処理装置およびmri装置
US9767557B1 (en) 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
EP3308738B1 (de) * 2016-10-13 2020-04-22 a.tron3d GmbH Verfahren zum bereinigen von virtuellen repräsentationen von objekten
CN108234892B (zh) * 2016-12-15 2024-09-10 松下知识产权经营株式会社 摄像装置及摄像方法
US12089977B2 (en) 2017-03-24 2024-09-17 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning
US10762637B2 (en) 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
CN108564568A (zh) * 2018-03-23 2018-09-21 沈阳东软医疗系统有限公司 冠脉的显示方法、装置、设备及存储介质
US10699407B2 (en) * 2018-04-11 2020-06-30 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning
WO2021046990A1 (zh) * 2019-09-09 2021-03-18 苏州润迈德医疗科技有限公司 基于影像和压力传感器计算微循环指标的方法装置及系统
CN114299357B (zh) * 2021-12-18 2024-05-03 深圳先进技术研究院 一种用于血管壁影像分割的自定义卷积路径方法
CN115690309B (zh) * 2022-09-29 2023-07-18 中国人民解放军总医院第一医学中心 一种冠脉cta自动三维后处理方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05266214A (ja) * 1992-03-17 1993-10-15 Hitachi Ltd 画像表示方法
JP3117665B2 (ja) * 1997-08-26 2000-12-18 ジーイー横河メディカルシステム株式会社 画像表示方法および画像表示装置
JP4421203B2 (ja) * 2003-03-20 2010-02-24 株式会社東芝 管腔状構造体の解析処理装置
JP4891541B2 (ja) * 2004-12-17 2012-03-07 株式会社東芝 血管狭窄率解析システム
US8285012B2 (en) * 2005-04-28 2012-10-09 Hitachi Medical Corporation Image display apparatus and program
JP4845566B2 (ja) * 2006-04-03 2011-12-28 株式会社日立メディコ 画像表示装置
JP2009195561A (ja) 2008-02-22 2009-09-03 Toshiba Corp X線ct装置、画像処理装置および画像処理プログラム
US8743118B2 (en) 2008-03-21 2014-06-03 Hitachi Medical Corporation Medical image display device and medical image display method
JP2009273886A (ja) * 2008-05-12 2009-11-26 Siemens Medical Solutions Usa Inc 医用画像データの適応的処理システム
US9761004B2 (en) * 2008-09-22 2017-09-12 Siemens Healthcare Gmbh Method and system for automatic detection of coronary stenosis in cardiac computed tomography data
JP4914517B2 (ja) * 2009-10-08 2012-04-11 富士フイルム株式会社 構造物検出装置および方法ならびにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9057361B2 (en) 2005-08-10 2015-06-16 Bionic Power Inc. Methods and apparatus for harvesting biomechanical energy
US9222468B2 (en) 2011-09-01 2015-12-29 Bionic Power Inc. Methods and apparatus for control of biomechanical energy harvesting

Also Published As

Publication number Publication date
JP2012085721A (ja) 2012-05-10
CN102567728B (zh) 2016-08-31
US8538105B2 (en) 2013-09-17
EP2442278B1 (en) 2016-11-30
CN102567728A (zh) 2012-07-11
US20120093388A1 (en) 2012-04-19
EP2442278A1 (en) 2012-04-18

Similar Documents

Publication Publication Date Title
JP5309109B2 (ja) 医用画像処理装置および方法、並びにプログラム
JP5078609B2 (ja) 画像表示装置及びプログラム
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP6080248B2 (ja) 3次元画像表示装置および方法並びにプログラム
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
JP5572470B2 (ja) 診断支援装置および方法並びにプログラム
JP4545169B2 (ja) 画像表示方法、装置およびプログラム
JP5191989B2 (ja) 医用画像表示装置、医用画像表示方法
JP4845566B2 (ja) 画像表示装置
JP2010528750A (ja) 管状構造の検査
JP2001283191A (ja) 臓器の特定領域抽出表示方法及び装置
JP2007135843A (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
CN103491877B (zh) 医用图像显示装置、医用图像显示方法
JP2014064824A (ja) 管状構造の最短経路探索装置および方法並びにプログラム
JP3989896B2 (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
JP4896470B2 (ja) 画像処理装置、医用画像診断装置及び画像処理方法
JP5380231B2 (ja) 医用画像表示装置および方法ならびにプログラム
EP2823764B1 (en) Medical image processing device, method, and program
US20060103678A1 (en) Method and system for interactive visualization of locally oriented structures
JP2001087228A (ja) 読影支援装置
JP2018061844A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017023834A (ja) 画像処理装置、撮影システム及び画像処理方法
JP5159195B2 (ja) 医用画像処理装置
JP6662580B2 (ja) 医用画像処理装置
JPH07141529A (ja) 医用画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130701

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5309109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250