JP5323795B2 - 診断支援装置、診断支援プログラムおよび診断支援方法 - Google Patents

診断支援装置、診断支援プログラムおよび診断支援方法 Download PDF

Info

Publication number
JP5323795B2
JP5323795B2 JP2010229300A JP2010229300A JP5323795B2 JP 5323795 B2 JP5323795 B2 JP 5323795B2 JP 2010229300 A JP2010229300 A JP 2010229300A JP 2010229300 A JP2010229300 A JP 2010229300A JP 5323795 B2 JP5323795 B2 JP 5323795B2
Authority
JP
Japan
Prior art keywords
dimensional
image
heart
index value
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010229300A
Other languages
English (en)
Other versions
JP2012081037A (ja
Inventor
修 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010229300A priority Critical patent/JP5323795B2/ja
Priority to EP11184725.7A priority patent/EP2442277A3/en
Priority to US13/270,871 priority patent/US20120089016A1/en
Publication of JP2012081037A publication Critical patent/JP2012081037A/ja
Application granted granted Critical
Publication of JP5323795B2 publication Critical patent/JP5323795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/503Clinical applications involving diagnosis of heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/4808Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • G01R33/481MR combined with positron emission tomography [PET] or single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Description

本発明は、三次元画像データから算出された心臓の機能を表す二次元画像上で、心臓の動きを表示することにより診断を支援する装置、方法、およびコンピュータプログラムに関する。
放射線科医による画像診断を支援する装置として、被検体の撮影により得られた三次元データに基づいて被検体を構成する臓器の状態や動きを解析し、解析結果を診断に適した形で画面に表示する装置が提供されている。心臓の心拍運動の解析機能としては、時系列な三次元データに基づいて心機能の評価値(心筋の壁運動量、壁厚変化量等)を算出する機能が知られている。これらの評価値は、心基部(心臓上部の血管と接続するところ)と心尖部(心臓下部の尖った部分)を通る軸に垂直な断面を複数設定し、断面ごとに算出される。算出された評価値は、通常、心臓の形状に合わせて三次元的に表示される。一方、解析結果を2次元的に表す方法としては、各断面における評価値を、半径が異なる同心円の円周上に配置したブルズアイ画像が知られている。
例えば、特許文献1には、複数の位相ごとに、複数の断面画像からそれぞれ臓器の輪郭情報を抽出し、抽出した複数の輪郭情報から臓器の3次元輪郭を算出し、各位相の3次元輪郭上の対応する頂点間の移動距離により3次元輪郭の運動情報を算出し、各頂点の運動情報に基づいて異なる色で表示された3次元輪郭上に、輪郭を構成する点間を直線で結んだメッシュ表示を重ね合わせて表示する方法が開示されている。
また、特許文献2には、心壁の運動情報について、複数の位相ごとに、心臓の機械的な運動が所定値以上の領域を抽出してブルズアイ画像上に表示することにより、心臓の機械的な運動の時空間的な伝搬の様子を表示する方法が開示されている。
特開2002−306483号公報 特開2009−39429号公報
しかしながら、心臓の運動について、特許文献1に記載された方法では、心臓の全体の運動情報を把握するためには、3次元輪郭を複数の方向から表示して確認する必要があり、心臓の特定の頂点の移動軌跡を確認するためには、位相の異なる複数の3次元輪郭を表示して対比させる必要があり、心臓の運動情報の把握に手間がかかるものであった。
また、特許文献2に記載された方法では、各位相ごとに心臓の機械的な運動が所定値以上の領域を確認することはできても、心臓を構成する各々の部位が位相変化に応じてどのような方向に運動しているか把握することが難しかった。
本発明は上記事情に鑑みて、心臓全体について、心臓の機能を表す指標値とともに心臓を構成する各部位の動きを理解しやすく表示し、医師による診断を支援することを目的とする。
本発明の診断支援装置は、心臓を位相ごとに撮影することにより取得した、前記心臓の構造を三次元的に表した三次元形態画像からなる三次元形態画像群を取得する画像取得手段と、前記三次元画像群の所定の位相における三次元形態画像について、さらなる位相に対する前記心臓の各部分の動きの向きおよび大きさを表す第1の指標値を算出する第1の指標値算出手段と、前記所定の位相における三次元形態画像または前記三次元形態画像群から前記心臓の各部分ごとに、診断の指標となる第2の指標値を算出する第2の指標値算出手段と、前記心臓の全体について、該心臓の各部分の第2の指標値を平面状に配置した2次元画像を生成する2次元画像生成手段と、前記生成された2次元画像を表示装置に表示するとともに、該表示された2次元画像上に、前記指標値算出手段により算出された第1の指標値を表す標識を、該第1の指標値の前記動きの向きを視認可能な態様で重畳表示する表示制御手段とを備えたことを特徴とするものである。
本発明の診断支援方法は、コンピュータにより、心臓を位相ごとに撮影することにより取得した、前記心臓の構造を三次元的に表した三次元形態画像からなる三次元形態画像群を取得し、前記三次元画像群の所定の位相における三次元形態画像について、さらなる位相に対する前記心臓の各部分の動きの向きおよび大きさを表す第1の指標値を算出し、前記所定の位相における三次元形態画像または前記三次元形態画像群から前記心臓の各部分ごとに、診断の指標となる第2の指標値を算出し、前記心臓の全体について、該心臓の各部分の第2の指標値を平面状に配置した2次元画像を生成し、前記生成された2次元画像を表示装置に表示するとともに、該表示された2次元画像上に、前記算出された第1の指標値を表す標識を、該第1の指標値の前記動きの向きを視認可能な態様で重畳表示することを特徴とするものである。
本発明の診断支援プログラムは、コンピュータを、心臓を位相ごとに撮影することにより取得した、前記心臓の構造を三次元的に表した三次元形態画像からなる三次元形態画像群を取得する画像取得手段と、前記三次元画像群の所定の位相における三次元形態画像について、さらなる位相に対する前記心臓の各部分の動きの向きおよび大きさを表す第1の指標値を算出する第1の指標値算出手段と、前記所定の位相における三次元形態画像または前記三次元形態画像群から前記心臓の各部分ごとに、診断の指標となる第2の指標値を算出する第2の指標値算出手段と、前記心臓の全体について、該心臓の各部分の第2の指標値を平面状に配置した2次元画像を生成する2次元画像生成手段と、前記生成された2次元画像を表示装置に表示するとともに、該表示された2次元画像上に、前記指標値算出手段により算出された第1の指標値を表す標識を、該第1の指標値の前記動きの向きを視認可能な態様で重畳表示する表示制御手段として機能させることを特徴としたものである。
また、本発明の診断支援装置による画像取得手段は、前記臓器の構造を三次元的に表した三次元形態画像(3D Anatomical Image)を取得するものであり、さらに臓器の機能を評価するための評価値を臓器の形状に合わせて三次元的に配列した三次元機能画像(3D Functional Image)を取得してもよい。画像取得手段は、診断支援装置として機能するコンピュータに内蔵されるメモリ、ストレージのほか、そのコンピュータに直接またはネットワークを介して接続された外部ストレージから、これらの画像を取得する。三次元機能画像は、臓器が正常に機能しているか否かの評価に用いられる評価値(例えば、臓器の動きや生理的反応を示す値)をボクセルデータとするボリュームデータである。三次元形態画像は、臓器の解剖学的構造を表す値をボクセルデータとするボリュームデータである。
第1の指標値には、所定の位相における三次元形態画像とさらなる位相における三次元形態画像間の、心臓の心壁の各部位の動きの向きと大きさを表すあらゆる指標値を含み、代表的なものとして、拡張末期から収縮末期などの特定の位相間の心壁の変位、心壁の移動速度、心壁の速度の変化量(加速度)があげられる。また、第1の指標値は、三次元機能画像やブルズアイ画像を構成するデータの値でもよく、このデータの値を対象に何らかの解析を行った結果得られた値でもよい。何らかの解析を行った結果得られた値は、例えば、拡張末期から収縮末期などの特定の位相間の心壁の移動速度や加速度などの各データの平均値(加重平均等も含む)、最大値、最小値などが考えられる。また、第1の指標は、例えば、心臓の中心からの半径や、心壁厚等に対する比率で表されてもよく、各心壁の変位、移動速度、心壁の加速度などを、心臓の中心から放射状に心臓の外に向かう向きの成分と、心臓の中心から放射状に心臓の外に向かう向きと直交する平面上の成分に分け、心臓の中心から放射状に心臓の外に向かう向きと直交する平面上の成分を第1の指標値としてもよい。
また、「診断の指標となる第2の指標値」とは、診断に役立つ指標値であればなんでもよく、三次元機能画像やブルズアイ画像を構成するデータの値でもよく、このデータの値を対象に何らかの解析を行った結果得られた値でもよい。例えば、三次元形態画像または三次元機能画像を構成する各データの平均値(加重平均等も含む)を算出する処理、最大値や最小値を求める処理等により得られた値でもよい。また、第2の指標値の具体例として、心臓を構成する各部分の半径や、駆出率、心壁厚、心壁の画素値(心臓の各部分の画素値の平均値等を含む)などのブルズアイ画像表示に用いられるような各指標値があげられる。また、第2の指標値は、第1の指標値と同じ指標値であってもよく、各心壁の変位、移動速度、心壁の加速度などの、心臓の中心から放射状に心臓の外に向かう向きの成分を第2の指標値とし、心臓の中心から放射状に心臓の外に向かう向きと直交する平面上の成分を第1の指標値としてもよい。
また、「前記心臓の全体について、該心臓の各部分の第2の指標値を平面状に配置した2次元画像」とは、例えば、心臓の各部分における第2の指標値に基づいたブルズアイ画像や、心臓全体について、心臓の各部分の第2の指標値を矩形に配置した画像があげられる。心臓の各部分の第2の指標値を矩形に配置した画像は、例えば、”Three-Dimensional Display of Positron Emission Tomography of the Heart”, The Journal of Nuclear Medicine ,29, pp.530-537, 1988に記載された方法により、心臓の各部分における第2の指標値を円筒形状に投影することにより生成できる。
なお、画像取得手段は、心臓の異なる位相における構造をそれぞれ表すnt個(ntは2以上の整数)の三次元形態画像を取得する。なお、第1の指標の種類によって、いくつ以上の位相における三次元形態画像を必要とするかが異なるため、画像取得手段は、第1の指標を算出するために必要な位相の数だけ、異なる位相における三次元形態画像を取得する。例えば、心臓の各部分の変位や速度を算出する場合には、画像取得手段は少なくとも2つ以上の位相における三次元形態画像を取得し、心臓の各部分の加速度を算出する場合には、画像取得手段は3つ以上の位相における三次元形態画像を取得する。
また、本発明の診断支援装置における前記第1の指標値算出手段は、前記心臓の複数の位相における三次元形態画像について、前記第1の指標値を算出するものであり、前記表示制御手段は、時系列に前記各位相における前記標識を表示するものであってもよい。例えば、心臓の検査では、通常、位相が異なる複数の三次元形態画像が取得されるため、一回の検査につき複数の三次元形態画像が保存される。一つの臓器について時間T1、T2、…、Tntの三次元形態画像がある場合には、第1の指標値算出手段が、nt個の三次元形態画像ごとに、時間Tiにおける位相における三次元形態画像に対する、時間Ti+1の位相における三次元形態画像について、それぞれ第1の指標値を抽出し、時系列に各位相における第1の指標値を表示してもよい。
本発明の診断支援装置において、前記画像取得手段は、前記心臓の機能を評価するための評価値を臓器の形状に合わせて三次元的に配列した三次元機能画像をさらに取得するものであり、第2の指標値算出手段は、前記所定の位相における三次元形態画像と前記三次元形態画像群の少なくとも一方に替えて、前記三次元機能画像から診断の指標となる第2の指標値を算出するものであるものであってもよい。
また、本発明の診断支援装置における前記表示制御手段は、前記2次元画像内に規則的に配置された複数の点において、第1の指標値を表示する標識を表示するものであることが好ましい。例えば、2次元画像上に、格子状に配置した複数の点において、第1の指標値を表示する標識を表示してもよく、2次元画像がブルズアイ画像である場合には、半径の異なる同心円の周上に等間隔に配置した複数の点において、第1の指標値を表示する標識を表示してもよい。
また、「第1の指標値の前記動きの向きを視認可能な態様で重畳表示する」とは、動きの向きが視認可能であればいかなる態様で第1の指標値を表してもよい。例えば、前記表示制御手段は、前記第1の指標値を表す標識として、心臓の動きの向きを表すものであればあらゆる標識を用いることができ、一例として、標識として矢印を用い、この矢印を、心臓の各部分の動きの向きに応じた向きに、心臓の各部分の動きの大きさに応じた長さまたは太さにより表すことが好ましい。
また、前記表示制御手段は、前記第1の指標値を表す標識として、前記心臓の位相の変化に伴う前記2次元画像上の複数の点の軌跡を表示してもよい。
また、前記表示制御手段は、前記第1の指標値を表す標識として、前記二次元画像上に規則的な格子を構成するように配置された複数の点を、該各所定位置における前記第1の指標値の大きさおよび向きに基づいた位置に移動させたものを用いてもよい。
また、第1の標識を、心臓の各部分の動きの向きまたは大きさに応じて異なる色を第1の指標値を表す標識の各点に配置して表示してもよい。
本発明の診断支援装置、方法およびプログラムによれば、前記心臓の全体について、該心臓の各部分の第2の指標値を平面状に配置した2次元画像上に、第1の指標値を表す標識を、該第1の指標値の前記動きの向きを視認可能な態様で重畳表示することができるため、表示された画像上で、心臓全体について、診断の指標となる指標値と心臓の各部分の動きの向きを同時に表示することができる。これにより、医師や放射線技師は、表示された画像上で、心臓全体について診断の指標となる指標値と心臓の各部分の動きの向きの両方を確認することができ、心臓全体について診断の指標となる指標値と各部分の動きの向きを容易に把握することができる。
また、本発明の診断支援装置において、前記画像取得手段が、前記心臓の機能を評価するための評価値を臓器の形状に合わせて三次元的に配列した三次元機能画像をさらに取得するものであり、第2の指標値算出手段は、前記所定の位相における三次元形態画像と前記三次元形態画像群の少なくとも一方に替えて、前記三次元機能画像から診断の指標となる第2の指標値を算出するものである場合には、表示された画像上で、心臓全体について、心臓の機能を評価する指標値と心臓の各部分の動きの向きを同時に表示することができる。これにより、医師や放射線技師は、表示された画像上で、心臓全体について心臓の機能を評価する指標値と心臓の各部分の動きの向きの両方を確認することができ、心臓全体について心臓の機能を評価する指標値と各部分の動きの向きを容易に把握することができる。
また、本発明の診断支援装置における前記第1の指標値算出手段は、前記心臓の複数の位相における三次元形態画像について、前記第1の指標値を算出するものであり、前記表示制御手段は、時系列に前記各位相における前記標識を表示するものである場合には、表示された画像上で、心臓全体について、診断の指標となる指標値と心臓の各部分の動きの向きを同時に表示することができるとともに、位相ごとに変化する心臓の動きを、時系列に容易に把握できる。
また、本発明の診断支援装置における前記表示制御手段が、前記2次元画像内に規則的に配置された複数の点において、第1の指標値を表示する標識を表示するものである場合には、表示された画像上で、心臓全体について、診断の指標となる指標値と心臓の各部分の動きの向きを同時に表示することができるとともに、心臓の各部分の動きの向きをより把握しやすい。
さらに、前記表示制御手段が、前記第1の指標値を表す標識として、矢印を用いた場合には、心臓の各部分の動きの向きを把握しやすい。
また、前記表示制御手段が、前記第1の指標値を表す標識として、心臓の位相の変化に伴う前記2次元画像上の複数の点の軌跡を表示した場合には、心臓の各部分の動きの向きを把握しやすい。
また、前記表示制御手段が、前記第1の指標値を表す標識として、前記二次元画像上に規則的な格子を構成するように配置された複数の点を、該各所定位置における前記第1の指標値の大きさおよび向きに基づいた位置に移動させたものを用いた場合には、心臓の各部分の動きの向きを把握しやすい。
また、本発明の診断支援装置における前記2次元画像生成手段が、前記2次元画像としてブルズアイ画像を生成するものである場合には、表示されたブルズアイ画像上で、心臓全体について、ブルズアイ画像に表した診断の指標となる指標値と心臓の各部分の動きの向きを同時に表示することができる。これにより、医師や放射線技師は、表示されたブルズアイ画像上で、心臓全体について診断の指標となる指標値と心臓の各部分の動きの向きの両方を確認することができ、心臓全体について診断の指標となる指標値と各部分の動きの向きを容易に把握することができる。
本発明の一実施形態における診断支援装置の概略構成を示す図 診断支援装置が実行する処理の流れを示すフローチャート 心機能解析処理において設定される長軸および断面を示す図 心機能解析処理における評価値の算出例を示す図 ブルズアイ画像の一例を示す図 第1の指標値の算出方法を説明する図 本実施形態の第1の指標値を表す矢印を重畳表示したブルズアイ画像の一例を示す図 本実施形態の第1の指標値を表す格子を重畳表示したブルズアイ画像の一例を示す図 本実施形態の第1の指標値を表す軌跡を重畳表示したブルズアイ画像の一例を示す図 本実施形態の応用例を説明する図
以下、本発明の診断支援装置、診断支援プログラムおよび診断支援方法の実施形態について、図面を参照しながら詳細に説明する。
以下に示す各実施形態において、診断支援装置1は、一台のコンピュータに、各実施形態の診断支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションやパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。診断支援プログラムは、DVD,CD−ROM等の記録メディアに格納されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図1は、ワークステーションに診断支援プログラムをインストールすることにより実現された診断支援装置の概略構成を示す図である。同図が示すように、診断支援装置1は、標準的なワークステーションの構成として、CPU2、メモリ3およびストレージ4を備えている。また、診断支援装置1には、ディスプレイ5と、マウス6等の入力装置が接続されている。
ストレージ4には、三次元形態画像7として、CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置が出力したスライスデータから再構成されたボリュームデータ、MS(Multi Slice)CT装置やコーンビームCT装置が出力したボリュームデータ等が記憶されている。また、各ボリュームデータは、被検体を所定の時間間隔ΔTをおいてnt回撮影することにより得られた一連のボリュームデータ群を構成している。なお、ntは2以上の整数である。
また、ストレージ4には、三次元機能画像8として、単一光子放射断層撮影(SPECT: Single Photon Emission Computed Tomography)装置が出力したSPECT画像、MSCT装置等が出力したボリュームデータを解析することにより生成された機能画像等が記憶されている。後述するように、本実施形態では、ボリュームデータの解析機能(心機能解析機能)は、診断支援プログラムの一機能として提供される。
また、メモリ3には、診断支援プログラムと診断支援プログラムが参照するデータ(処理パラメータ等)が記憶されている。診断支援プログラムは、CPU2に実行させる処理として、画像取得処理、第1の指標算出処理、第2の指標算出処理、2次元画像生成処理、および表示制御処理を規定している。そして、CPU2がプログラムに従いこれらの処理を実行することで、汎用のワークステーションは、画像取得手段31、第1の指標値算出手段32、第2の指標値算出手段33、2次元画像生成手段34、表示制御手段35として機能することになる。
図2は、本実施形態の診断支援プログラムにより実行される診断支援方法の流れを示すブロック図である。以下、図2に従って、本実施形態の診断支援方法を説明する。
診断支援装置1は、選択メニューにおいて心機能の診断支援機能が選択されたことを検出すると、被検体のIDの一覧を表示する。診断支援装置1の画像取得手段31が、ユーザによる選択操作を検出すると、選択された被検体に関連する画像ファイルとして、三次元形態画像7の群をメモリ3にロードする(S01)。
一般的な、心臓の検査では、位相が異なる複数の三次元形態画像7が取得されるため、一回の検査につき複数の三次元形態画像7が保存される。本実施形態においては、画像取得手段31は、心臓の異なる位相における構造をそれぞれ表すNt個(Ntは2以上の整数)の三次元形態画像7を取得する。ここでは、被写体を一定の時間間隔ΔTで撮影を行ない、時間T1、T2、・・・、Tntで撮影した一連の三次元形態画像を取得する。
また、画像取得手段31は、ユーザによる選択操作を検出すると、選択された被検体に関連する画像ファイルの全てを取得してもよい。例えば、その被検体に対し複数種類の検査(例えばCT検査とSPECT検査)が行われ、その結果ストレージ4に三次元形態画像7と三次元機能画像8の両方が記憶されていた場合には、2種類の画像をメモリ3にロードしてもよい。
まず、第1の指標値算出手段32は、取得した三次元形態画像7の群を構成する各三次元形態画像7を対象に、心臓領域抽出処理を実行する(S02)。
また、以下の処理のうち、第1の指標値算出手段と第2の指標値算出手段は、第1の指標値算出手段が用いる三次元形態画像と第2の指標値算出手段が用いる三次元形態画像が同一の場合など、互いに重複する処理については、いずれか一方のみがその処理を行い、その結果を他方が利用してもよい。ここでは、第2の指標値算出手段33は、第1の指標値を算出するために用いる三次元形態画像7と第2の指標値を算出するために三次元形態画像7が異なる場合または第2の指標値を算出するためにさらなる三次元機能画像8を用いる場合には、第2の指標値を算出するために用いる三次元形態画像または三次元形態画像群または三次元機能画像8に対して、心臓領域抽出処理を実行する。
なお、第2の指標の種類によって、いくつ以上の位相における三次元形態画像を必要とするかが異なるため、第2の指標を算出するために異なる位相における三次元形態画像を用いる必要がある場合には、三次元形態画像群に対して、心臓領域抽出処理を実行し、第2の指標を算出するために1つの位相における三次元形態画像を用いればよい場合には、一つの三次元形態画像に対して、心臓領域抽出処理を実行すればよい。
心臓領域抽出処理では、心臓領域(心臓全体)を抽出し、さらにその心臓領域から左心室領域を抽出する。本実施形態では、各領域は、各領域の輪郭を決定することにより抽出される。具体的には、診断支援装置1は、三次元形態画像7を構成する各ボクセルデータの値について、心臓の輪郭らしさを表す特徴量、左心室の輪郭らしさを表す特徴量をそれぞれ算出し、算出した特徴量を機械学習により予め取得された評価関数に基づいて評価することで、そのボクセルデータが心臓の輪郭を表すものであるか否か、また左心室の輪郭(左心室と心筋の境界)を表すものであるか否かを判断する。この判断を繰り返すことにより、心臓全体の輪郭および左心室の輪郭を表すボクセルデータが、それぞれ抽出される。本実施形態では、評価関数の取得にアダブースト(Adaboost)アルゴリズムを用いている。この輪郭決定方法の詳細は、例えば、特開2007−307358号公報に開示されている。なお、心臓領域の抽出は、他のマシンラーニング法や統計解析法、例えば線形判別法やニューラルネットワーク、サポートベクターマシン等を用いて行ってもよい。
第1の指標値算出手段32は、心臓の全体について、心臓を構成する各部分の動きの大きさおよび向きについて心機能解析処理を実行する(S03)。また、第2の指標値算出手段33は、所定の位相における三次元形態画像7または一連の三次元形態画像7から心臓を構成する各部分について、第2の指標値を算出するための心機能解析処理を実行する。図3は、心機能解析処理において設定される長軸および断面を示す図であり、図4は、心機能解析処理における評価値の算出例を示す図であり、図5は、ブルズアイ画像の一例を示す図である。以下、図3から図5を参照して、心機能解析処理について説明する。
図3に示すように、心機能解析処理において、第1の指標値算出手段32および第2の指標値算出手段33は、抽出された左心室領域に対し、心芯部と左心室のほぼ中心と心基部とを結ぶ長軸A1と長軸A1と直交する短軸A2を設定する。本実施形態では、長軸A1は、心臓領域抽出処理の結果から心芯部と左心室の中心の位置座標を算出することにより、自動的に設定される。短軸A2は、左心室の中心を通り、長軸A1と直交するように設定される。但し、自動設定された長軸の位置や方向は、ユーザ操作により修正可能とする。本実施形態では、自動設定された長軸が心臓領域の画像とともに画面に表示され、ドラッグ操作あるいは回転操作により長軸の位置や方向を変更することができる。
続いて、第1の指標値算出手段32および第2の指標値算出手段33は、設定した長軸と直交する複数の断面P1〜PNを設定する。そして、図4に示すように、各断面Piにおいて、長軸と断面との交点Cから断面に沿って放射状に延びる複数の線分l1〜lmを定義する。そして各線分li上で左心室と心筋の境界19および心筋の外壁20の座標値を求め、それらの座標値から各線分li上での心筋の壁厚tを算出する。
また、第1の指標値算出手段32は、心臓の動きを解析するために、種々の方法を用いることができ、一例として、Tissue Tracking法のように、局所的にテンプレートマッチングを行い、心壁の各部分がどのように移動するか追跡する方法が適用できる。また、Tagging法のように、MRI装置による撮影時に、格子模様を投影し、格子模様の変形により心壁の各部分がどのように移動したか測定する方法も適用できる。本実施形態では、時間T1、T2、…、Tntにおける複数の時系列な三次元形態画像7について、各時間Tiにおける三次元形態画像7とTi+ΔTにおける三次元形態画像7の間で(1≦i<Nt)、テンプレートマッチング法により心壁の各部分の動きを解析する処理を繰り返し、心臓の動きを表す評価値をそれぞれ算出する。なお、心臓の動きを解析するために、2つ以上の位相における三次元形態画像7を用いて解析を行う必要がある。心臓についてNt個の三次元形態画像7がある場合に、どのような位相間で三次元形態画像7間の心臓の動きを解析するかについては、ユーザが任意に設定して前述の処理を行ってもよい。
なお、三次元形態画像7の解析により三次元機能画像8を生成する方法の詳細は、例えば、特許文献1や特開2008−289799号公報に開示されている。
本実施形態においては、周知の方法で算出された上記各評価値のうち、心臓の中心から放射状に心臓の外側に延びる方向に直交する方向の心壁の壁移動量を、第1の指標値として算出し(S04)、心臓の中心から放射状に心臓の外側に延びる方向の心壁の壁移動量を第2の指標値として算出する(S05)。
図6は、本実施形態における2次元画像上に重畳表示するための第1の指標値の算出方法を説明する図である。
本実施形態では、所定の位相である時間Tにおける三次元形態画像とさらなる位相である時間T+ΔTにおける三次元形態画像とを比較し、設定した長軸と直交する複数の断面P1〜PNのうちの断面PJ(1≦J≦N)ごとに、心筋を複数の部分Q1、Q2、…、Qm(mは2以上の整数)に分割する。
そして、図6に示すように、分割した各心筋の部分Qiの動きを表す評価値を、長軸と断面PJとの交点Cから心筋の部分Qiに向かう方向と直交する、断面PJ上の方向aの成分Vai、長軸と断面PJとの交点Cから心筋の部分Qiに向かう方向bの成分Vbi、断面PJと垂直方向cの成分VciからなるベクトルViとして算出する。なお、長軸と断面PJとの交点Cから心筋の部分Qiに向かう方向と直交する、断面PJ上の方向aは、概ね心臓の円周方向と同じであるため、断面PJ上の方向aの成分Vaiは、ほぼ断面上の心臓の円周方向の動きを表すものとなる。
そして、このベクトルViのうち、断面PJ上の方向aの成分Vaiと断面PJと直交する方向cの成分Vciを、ブルズアイ画像I上の対応する部分Qi’の円周方向dの成分Vdiと半径方向eの成分Veiとしてそれぞれ対応付けて、部分Qi’の円周方向dの成分Vdiと半径方向eの成分Veiからなる第1の指標値を表すベクトルVi’を算出する。また、本実施形態では、部分Qiにおける第2の指標値として、第1の指標値に含まれない、長軸と断面との交点Cから断面に沿って延びる方向bの成分Vbiを第2の指標値として算出する。そして、設定した長軸と直交する複数の断面P1〜PNのうちの断面PJ(1≦J≦N)ごとに、各心筋の部分Qi(1≦i≦m)に対し、第1の指標値と第2の指標値を算出する処理を繰り返し、心臓の全体について、第1の指標値と第2の指標値を算出する。
また、本実施形態のように、第1の指標値を算出するボリュームデータと第2の指標値を算出するボリュームデータが同一の場合、心筋の部分Qiの位置の位置合わせは必要ない。第1の指標値を算出するボリュームデータと第2の指標値を算出するボリュームデータが異なる場合には、これらの異なるボリュームデータ間での対応する部分の位置合わせは、例えば特開2008−289799号公報、特開2008−253753号公報に記載された方法など、周知の種々の方法により位置合わせを行うことができる。
なお、第1の指標値の算出処理と第2の指標値の算出処理は、いずれを先に行ってもよく、両方同時に行ってもよい。また、第1の指標値の算出処理と第2の指標値の算出処理において重複処理については、一方の処理の結果を他方に用いてもよい。
また、第2の指標値算出手段33は、第1の指標値の算出処理の結果を第2の指標値の算出処理に利用しない場合には、例えば、膜厚変化量を第2の指標値とする場合には、位相の異なる三次元形態画像7間で座標値等の差分などを取得するなど、周知の方法により第2の指標値を算出するための評価値を別途算出する。この処理により、評価値が心臓の形状に合わせて配列された三次元機能画像8が生成される。生成された三次元機能画像8は、メモリ3に記憶される。また、第2の指標値算出手段33は、複数の評価値を算出し、評価値ごとに、評価値が心臓の形状に合わせて配列された複数の三次元機能画像8を生成してもよい。
なお、本実施形態のように三次元形態画像7から第1、第2の評価値を行うだけでなく、画像取得手段31は、心臓の機能を評価するための評価値を臓器の形状に合わせて三次元的に配列した三次元機能画像8をさらに取得するものであり、第2の指標値算出手段33は、所定の位相における三次元形態画像と三次元形態画像群の少なくとも一方に替えて、三次元機能画像から診断の指標となる第2の指標値を算出し、2次元画像生成手段34が算出された第2の指標値に基づいて2次元画像を生成するものであってもよい。
例えば、第2の指標値算出手段33は、メモリ3にSPECT画像等の三次元機能画像8が記憶されているときには、三次元機能画像8を構成するデータを第2の指標値とし、心機能解析処理を実行しなくてもよい。
なお、三次元機能画像8が表す評価値としては、壁厚のように1つの三次元形態画像7から算出される評価値がある。一方、壁移動量、壁厚変化量、駆出率のように、複数の時系列な三次元形態画像7を解析することにより算出される評価値もある。また、さらに取得された三次元機能画像8は、三次元形態画像7に対して心機能解析を行った結果得られたものでも良く、SPECT画像等、機能画像を生成する撮影装置から出力されたものであってもよく、SPECT画像等の機能画像を生成する撮影装置から出力された評価値と三次元形態画像7により得られた評価値を組み合わせて算出した評価値により得られたものであってもよい。
次に、2次元画像生成手段34は、心臓の全体について、心臓の各部分の第2の指標値を平面状に配置した2次元画像を生成する。ここでは、第2の指標値に基づいてブルズアイ画像Iを生成する(S06)。ブルズアイ画像生成処理において、診断支援装置1は、三次元機能画像8の断面P1〜PNに含まれる第2の指標値を、断面ごとに半径が異なる同心円の円周上に配することにより、ブルズアイ画像Iを生成する。本実施形態では、心芯部を同心円の中心とし、心芯部に最も近い断面PNの評価値が最も半径の小さい円上に配され、心芯部から最も遠い断面P1の評価値が、最も半径の大きい円上に配されるようなブルズアイ画像Iを生成する。図5に、このような処理により生成されたブルズアイ画像Iの一例を示す。
そして、表示制御手段35は、生成された2次元画像を表示装置5に表示するとともに、表示された2次元画像上に、指標値算出手段により算出された第1の指標値を表す標識を、第1の指標値の動きの向きを視認可能な態様で重畳表示する(S07)。
図7に、第1の指標値を表すベクトルV1’-VN’を表す矢印を、断面ごとに半径が異なる同心円の円周上に所定の間隔で配置された複数の点に表示したブルズアイ画像Iを例示する。図7に示すように、本実施形態では、表示制御手段35は、心筋の各部分における第1の指標値として、円周方向の成分Vdi、半径方向の成分VeiであるベクトルVi’を表す矢印をブルズアイ画像Iに重畳表示する。
本実施形態によれば、心臓の全体について、心臓の各部分の第2の指標値を平面状に配置した2次元画像上に、第1の指標値を表す標識を、第1の指標値の動きの向きを視認可能な態様で重畳表示することができるため、表示された画像上で、心臓全体について、診断の指標となる指標値と心臓の各部分の動きの向きを同時に表示することができる。これにより、医師や放射線技師は、表示された画像上で、心臓全体について診断の指標となる指標値と心臓の各部分の動きの向きの両方を確認することができ、心臓全体について診断の指標となる指標値と各部分の動きの向きを容易に把握することができる。このため、画像を回転させる等の操作無しに、簡単に心壁の運動を把握することができ、さらには2次元画像による第2の指標値と併せて第1の指標値の把握ができるため、心機能の異常等を容易に推定することができる。
また、本実施形態において、表示制御手段35が、2次元画像内に規則的に配置された複数の点において、第1の指標値を表示する標識を表示するものであるため、表示された画像上で、心臓全体について、診断の指標となる指標値と心臓の各部分の動きの向きを同時に表示することができるとともに、心臓の各部分の動きの向きをより把握しやすい。
さらに、表示制御手段35が、第1の指標値を表す標識として、矢印を用いたため、心臓の各部分の動きの向きを把握しやすい。
また、本発明の診断支援装置における2次元画像生成手段34が、2次元画像としてブルズアイ画像Iを生成するものであるため、表示されたブルズアイ画像I上で、心臓全体について、ブルズアイ画像Iに表した診断の指標となる指標値と心臓の各部分の動きの向きを同時に表示することができる。これにより、医師や放射線技師は、表示されたブルズアイ画像I上で、心臓全体について診断の指標となる指標値と心臓の各部分の動きの向きの両方を確認することができ、心臓全体について診断の指標となる指標値と各部分の動きの向きを容易に把握することができる。
以下に、本明細書の診断支援方法を適用可能な第1の指標値および第2の指標値の他の例について説明する。
第1の指標値は、所定の位相における三次元形態画像7とさらなる位相における三次元形態画像7間の、心臓の心壁の各部位の動きの向きと大きさを表すあらゆる指標値を含む。また、第1の指標値は、心臓の心壁の各部位の動きの向きと大きさを表すものであれば、三次元機能画像8やブルズアイ画像Iを構成するデータの値でもよく、このデータの値を対象に何らかの解析を行った結果得られた値でもよい。何らかの解析とは、例えば、拡張末期から収縮末期などの特定の位相間の心壁の移動速度や加速度などの各データの平均値(加重平均等も含む)、最大値、最小値などが考えられる。
例えば、第1の指標値として、三次元機能画像8やブルズアイ画像Iを構成する評価値のうち、次のような指標値を算出し、提示することが考えられる。
(i)壁移動量:心臓の拡張期と収縮期の壁の位置の変位を示す値
(ii) 心壁の移動速度
(iii)心壁の加速度:心壁の移動速度の変化量を表す値
また、第2の指標値は、診断に役立つ指標値であれば何でもよく、三次元機能画像8やブルズアイ画像Iを構成するデータの値でもよく、このデータの値を対象に何らかの解析を行った結果得られた値でもよい。例えば、三次元形態画像7または三次元機能画像8を構成する各データの平均値(加重平均等も含む)を算出する処理、最大値や最小値を求める処理等により得られた値でもよい。また、第2の指標値は、第1の指標値と同じ指標値であってもよく、異なる指標値であってもよい。
また、例えば、第2の指標値として、三次元機能画像8やブルズアイ画像Iを構成する評価値のうち、次のような指標値を算出し、提示することが考えられる。
(iv)壁移動量:心臓の拡張期と収縮期の壁の位置の変位を示す値
(v)壁厚変化量:拡張期と収縮期の心筋の厚さの差
(vi)壁厚増加率:壁厚変化量と拡張期の壁厚の比を示す値
(vii)壁運動量:拡張期と収縮期の心室径の差を示す値
(viii)駆出率:1回の収縮で拍出される血液の量と心臓の拡張期の容量の比を示す値
上記実施形態においては、第1の指標値として、各断面の心筋の部分Qiの動きを表す第1の指標値のうち、心臓の長軸から各断面の心筋の部分Qiに向かう方向aに直交する平面上の動きを表し、第2の指標値として心臓の長軸から各断面の心筋の部分Qiに向かう方向bの動きを表示することができるため、表示された画像上で、心臓のねじれの動きを分かり易く表示することができ、医師らは心臓の全体について、心筋のねじれの動きを容易に把握することができる。また、従来方法では、心臓の半径方向の動きについての指標値しか2次元画像で表せなかったところ、本実施形態のように、第1の指標値により、心臓の部分の3方向の動きを2次元画像で表せるため、心臓の動きを詳しく正確に表示することができる。
また、本実施形態の変形例として、各断面の心筋の部分Qiの動きを表す第1の指標値のうち、図6に示すように、心臓の長軸から各断面の心筋の部分Qiに向かう方向bに直交する、断面PJ上の方向aの成分Vaを、ブルズアイ画像I上の円周方向dの成分Vdiとして対応付けてもよい。そして、表示制御手段35は、円周方向の成分Vaiの大きさを、矢印の長さとして決定してもよい。このように、第1の指標値として、心臓の長軸から各断面の心筋の部分Qiに向かう方向bに直交する平面上の心筋の動きを表示し、第2の指標値として心心臓の長軸から各断面の心筋の部分Qiに向かう方向bの動きを表示した場合には、表示された画像上で、心臓の2方向の動きを分かり易く表示することができ、医師らは心臓の全体について、心筋の円周方向のねじれの動きを容易に把握することができる。
さらに、各断面の心筋の部分Qiの動きを、心臓の長軸から各断面の心筋の部分Qiに向かう方向bに直交する、断面PJ上の方向の成分Vaと、心臓の長軸から各断面の心筋の部分Qiに向かう方向bの成分Vbiを、ブルズアイ画像I上の円周方向dの成分Vdiと半径方向eの成分Veiとしてそれぞれ対応付けてもよい。そして、表示制御手段35は、ベクトルVi’を円周方向の成分Vdi、半径方向の成分Veiとなるように、ベクトル表示してもよい。以上のように、表示された画像上で、第1の指標値が心臓の長軸から各断面の心筋の部分Qiに向かう方向bに直交する方向への動きを表す場合には、医師らは心臓の全体について、心筋のねじれの動きを容易に把握することができる。また、第1の指標値と第2の指標値の両方が、心臓の動きを表すものである場合には、心臓の動きを複数の表現方法により表示できるため、より心臓の動きを詳細に把握することができる。
また、本実施形態において、表示制御手段35は、第1の指標値の大きさが大きくなるにつれて、矢印の太さが太くなるように表示してもよい。ユーザが直感的に第1の指標値の大きさを把握することができる。
また、上記例において、ベクトルV’の成分に含まれない方向の成分の大きさ、または、ベクトルV’の成分に含まれない方向の成分を含む各成分を加算したベクトルの大きさを、付帯的な情報として表示してもよい。例えば、上記のような付帯的な情報を、矢印の近傍に数値で表示してもよく、ベクトルV’の成分に含まれない方向の成分の大きさ、または、ベクトルV’の成分に含まれない方向の成分を含む各成分を加算したベクトルの大きさを、所定の範囲ごとに、異なる種類の矢印の幅、色、矢尻・矢の根の形状等に予め対応付けて、付帯的な情報を、矢印の幅、色、矢尻・矢先の形状等により識別可能に表してもよい。また、第1の指標の値に応じて異なる色を標識の各点に配置して表示してもよい。
また、これに限られず、種々の方法により、ユーザの要求に応じて、第1の指標値を表す標識を、心臓の各部分の動きの向きまたは大きさごとに色を異ならせて表示してもよい。また、上記付帯的な情報ごとに異なる色を標識に配置して表示してもよい。
また、本実施形態の変形例として画像取得手段31が、心臓の機能を評価するための評価値を臓器の形状に合わせて三次元的に配列した三次元機能画像8をさらに取得するものであり、第2の指標値算出手段33は、所定の位相における三次元形態画像と前記三次元形態画像群の少なくとも一方に替えて、三次元機能画像から診断の指標となる第2の指標値を算出するものであってもよい。この場合には、表示された画像上で、心臓全体について、心臓の機能を評価する指標値と心臓の各部分の動きの向きを同時に表示することができる。これにより、医師や放射線技師は、表示された画像上で、心臓全体について心臓の機能を評価する指標値と心臓の各部分の動きの向きの両方を確認することができ、心臓全体について心臓の機能を評価する指標値と各部分の動きの向きを容易に把握することができる。
なお、本実施形態では、2次元画像生成手段34が、2次元画像に第1の指標値を対応付けた2次元画像を生成し、表示制御手段35がこれを表示装置5に表示することにより、2次元画像上に第1の指標値を表す標識を、第1の指標値の動きの向きを視認可能な態様で重畳表示したが、生成された2次元画像と第1の指標値を表す標識を、第1の指標値の動きの向きを視認可能な態様で重畳表示可能であれば、これに限られず、第1の指標値に基づいた2次元画像と第2の指標値に基づいた2次元画像を個々に生成し、重ね合わせて表示してもよい。
また、第1の指標を表す標識は、心臓の動きの向きと大きさを表すものであれば、種々の標識を用いることができる。例えば、矢印に限られず、ベクトルを表示可能な種々の標識を用いてよい。また、図8、図9は、第1の指標値を表す異なる標識の表示例を示す。図8は、本実施形態の第1の指標値を表す格子を重畳表示したブルズアイ画像Iの一例を示す図であり、図9は、本実施形態の第1の指標値を表す軌跡を重畳表示したブルズアイ画像Iの一例を示す図である。
図8に示すように、表示制御手段35は、第1の指標値を表す標識として、図8左に示すような二次元画像上に規則的な格子を構成するように配置された複数の点を、図8右に示すように、各所定位置における第1の指標値の大きさおよび向きに基づいた位置に移動させたものを表示してもよい。この場合には、心臓の各部分の動きの向きを把握しやすい。
また、各第1の指標を表す標識を組み合わせて2次元画像上に表示してもよい。例えば、図8右に示すような格子と図7に示すような矢印の両方をブルズアイ画像上に表示してもよい。複数の標識を用いることにより、心臓の動きを様々な表現方法により表示することができ、ユーザの理解を高めることができる。
また、図9に示すように、表示制御手段35は、心臓の位相の変化に伴う2次元画像上の複数の点の軌跡を表示してもよい。図9は、ブルズアイ画像I上の半径の異なる同心円状に所定の間隔で複数配置された各点における、拡張末期から収縮末期までの位相の変化に伴う軌跡を表すイメージ図である。この場合には、心臓の各部分の動きの向きを把握しやすい。また、この軌跡上の各位相における速度や加速度等に応じて、例えば、速度又は加速度が大きくなるほど軌跡の色の濃度を大きくするなど、軌跡をグラデーション表示してもよい。この場合には、各位置の位相変化に応じた移動だけでなく、速度や加速度等の他の動きを表すことができ、心臓の動きをより詳しく把握できる。
また、第1の実施形態では、第1の指標値算出手段32が、Nt個の三次元形態画像7ごとに、各三次元形態画像7および各三次元形態画像7に対して後続の位相から、第1の評価値を算出している。2次元画像生成手段34は、各位相ごとに、時系列に各位相における第1の評価値を対応付けた2次元画像を生成し、表示制御手段35は、時系列に各位相における標識を表示するものであることが好ましい。
この場合には、表示された画像上で、心臓全体について、診断の指標となる指標値と心臓の各部分の動きの向きを同時に表示することができるとともに、位相ごとに変化する心臓の動きを、時系列に容易に把握できる。
図10は、第1の実施形態の応用例を説明する図である。本実施形態の診断支援装置は、ブルズアイ画像I上に重畳表示された標識を指定することにより、指定された標識に対応する位置の断層像を表示してもよい。例えば、図10に示すようにユーザがカーソルSを移動させてブルズアイ画像I上の矢印の任意の位置をマウス等でクリック操作を受け付けて、クリックされた矢印の根の位置に対応する位置を含む断層像Pkを表示してもよい。
さらに、上記の場合、ブルズアイ画像I上の矢印上の長さ方向の位置を、位相の変化に沿った所定の時間に対応付けてもよい。例えば、矢印の根を心臓の拡張末期の時間とし、矢尻を収縮末期の終了時間となるように、矢印の長さ方向に沿って、矢印の長さ方向の位置を所定の時間の進行に沿った各位相に対応付けてもよい。そして、ユーザが矢印の任意の位置をマウス等でクリックすると、クリックされた矢印の位置に対応する位相における三次元形態画像の、矢印の根の位置に対応する位置を含む断層像が表示されて、続く位相における矢印の根の位置に対応する位置を含む断層像に対応する画像が時系列に動画表示されてもよい。
また、この場合に、ユーザが矢印の任意の位置をマウス等でクリックするとともにクリックした位置からマウスをドラッグすると、ドラッグした距離または時間に応じて時系列の動画表示の期間を決定してもよい。つまり、ドラッグした距離またはドラッグした時間ごとに、所定の時間のうちの再生する時間の割合を予め対応付けて設定し、クリックされた矢印の位置に対応する位相から、ドラッグした距離またはドラッグした時間に対応付けられた時間だけ、矢印の根の位置に対応する位置を含む断層像が表示されて、続く位相における矢印の根の位置を含む断層像に対応する画像が時系列に動画表示されてもよい。
なお、診断支援装置1は、冠動脈抽出手段をさらに備え、冠動脈を周知の種々の方法により抽出し、例えば、特開2005−27999号公報、特開2008−253753号公報などに示すように、ブルズアイ画像Iに、冠動脈像を重ね合わせて表示する周知の方法により、抽出された冠動脈領域を、表示装置の画面に重畳表示してもよい。なお、この画面において、ユーザは、表示された冠動脈領域の経路を修正したり、自動処理で抽出できなかった経路等を手動で設定することができるように、診断支援装置1を構成することが好ましい。つまり、診断支援装置1は、画面に対して行われたユーザの操作を検出したら、その操作に基づいて、メモリに記憶されている冠動脈の情報を修正し、また、画面に表示されている冠動脈領域を、修正後の情報に基づいて更新可能であることが好ましい。
本実施形態において、診断支援装置は、メモリ3に記憶されている標識の種類の設定情報を参照することにより、もしくはユーザが行うメニュー選択操作を検出することにより、画面の標識の種類および表示タイミング(表示切り替え)を制御してもよい。
例えば、表示制御装置は、GUI等により第1の指標を表す標識を選択可能にし、ユーザの選択操作を検出することにより、第1の指標の標識として矢印が指定されたときには、矢印により第1の指標値をブルズアイ画像Iに重ねて表示し、第1の指標の標識として各部分の軌跡が指定されたときには、各点の軌跡により第1の指標値をブルズアイ画像Iに重ねて表示し、第1の指標の標識として格子模様が指定されたときには、規則的な格子を構成するように配置された複数の点を第1の指標値に基づいて移動させた模様をブルズアイ画像Iに重ねて表示する。なお、第1の指標値を表す標識をブルズアイ画像I上に表示するか否かについても、図7に例示した第1の指標値を表す標識を重畳表示したブルズアイ画像Iと図5に例示したブルズアイ画像Iとは別個に保存し、ユーザの要求に応じて切り替えて表示できることが好ましい。診断支援装置1は、ブルズアイ画像Iの重ね合わせ表示を行うか否か、およびどのような標識を用いて重ね合わせ表示するかを、設定情報もしくはユーザ操作に従って決定する。
また、診断支援装置1は、第2の指標値算出手段33が、種類の異なる複数の第2の指標値を算出し、2次元画像生成手段34が、複数の第2の指標値ごとに2次元画像を生成し、表示制御手段35が、ユーザの要求に応じて、所望の2次元画像に第1の指標値を表す標識を重畳表示してもよい。
また、上記各実施形態では、ブルズアイ画像Iを、心芯部を同心円の中心とし、心芯部に最も近い断面PN上で求められた値が最も半径の小さい円上に配され、心芯部から最も遠い断面P1上で求められた値が、最も半径の大きい円上に配されるように生成されるが、心基部を同心円の中心とし、断面P1上で求められた値が最も半径の小さい円上に配され、断面PN上で求められた値が最も半径の大きい円上に配されるように、ブルズアイ画像を生成してもよい。ブルズアイ画像に関しては、この他にも種々の変形例が知られているが、本発明ではいずれの方法を採用してもよい。
また、上記各実施形態では、診断支援装置1は、一台のコンピュータに各プログラムを組み込んだものであったが、複数台のコンピュータに各プログラムを分散して組み込むことにより、診断支援装置1と同等の機能を実現する診断支援システムを構築してもよい。
また、上記各実施形態において、診断支援装置1は、表示出力のほか、プリント出力、データ出力(CD−R、DVDなどのメディアへの記録もしくはネットワークを介した転送)を行う手段を備えるものとしてもよい。すなわち、本発明において、指標値の出力形態は表示出力に限定されない。
このように、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、種々の変更を加えることができる。
1 診断支援装置、 2 CPU、 3 メモリ、 4 ストレージ
5 ディスプレイ、 6 マウス、
7 三次元形態画像、 8 三次元機能画像
31 画像取得手段
32 第1の指標値算出手段
33 第2の指標値算出手段
34 2次元画像生成手段
35 表示制御手段

Claims (11)

  1. 心臓を位相ごとに撮影することにより取得した、前記心臓の構造を三次元的に表した三次元形態画像からなる三次元形態画像群を取得する画像取得手段と、
    前記三次元形態画像群の所定の位相における三次元形態画像について、さらなる位相に対する前記心臓の各部分の動きの向きおよび大きさを表す第1の指標値を算出する第1の指標値算出手段と、
    前記所定の位相における三次元形態画像または前記三次元形態画像群から前記心臓の各部分ごとに、診断の指標となる第2の指標値を算出する第2の指標値算出手段と、
    前記心臓の全体について、該心臓の各部分の第2の指標値を平面状に配置した2次元画像を生成する2次元画像生成手段と、
    前記生成された2次元画像を表示装置に表示するとともに、該表示された2次元画像上に、前記指標値算出手段により算出された第1の指標値を表す標識を、該第1の指標値の前記動きの向きを視認可能な態様で重畳表示する表示制御手段とを備え、
    前記2次元画像は、前記三次元形態画像の心臓の心芯部と心基部とを結ぶ長軸に対して垂直な複数の断面のそれぞれを半径が異なる同心円と対応させ、前記各断面の心臓の各部分の位置と前記同心円の円周上の位置とを対応させて前記第2の指標値を配置したブルズアイ画像であり、
    前記第1の指標値は、前記三次元形態画像から得られた前記心臓の各部分の動きを表す三次元ベクトルを、所定の規則に従って前記同心円の円周方向の成分と前記円周方向に垂直な半径方向の成分で表した二次元ベクトルに変換したものであり、
    前記表示制御手段が、前記三次元形態画像の心臓の各部分の位置に対応する前記ブルズアイ画像上の位置に、前記二次元ベクトルを表す標識を重畳表示することを特徴とする診断支援装置。
  2. 第1の指標値算出手段が、前記円周方向の成分を、前記三次元ベクトルの成分のうちの前記各断面上の心臓の略円周方向の成分に対応させることを特徴とする請求項1記載の診断支援装置。
  3. 第1の指標値算出手段が、前記半径方向の成分を、前記三次元ベクトルの成分のうちの前記各断面上の前記長軸の位置から前記心筋部分の各位置に向かう方向の成分、または、前記三次元ベクトルの成分のうちの前記各断面に対して垂直方向の成分に対応させることを特徴とする請求項2記載の診断支援装置。
  4. 前記画像取得手段が、前記心臓の機能を評価するための評価値を臓器の形状に合わせて三次元的に配列した三次元機能画像をさらに取得するものであり、
    第2の指標値算出手段は、前記所定の位相における三次元形態画像と前記三次元形態画像群の少なくとも一方に替えて、前記三次元機能画像から診断の指標となる第2の指標値を算出するものであることを特徴とする請求項1から3いずれか1項記載の診断支援装置。
  5. 前記第1の指標値算出手段は、前記心臓の複数の位相における三次元形態画像について、前記第1の指標値を算出するものであり、
    前記表示制御手段は、時系列に前記各位相における前記標識を表示するものであることを特徴とする請求項1から4いずれか1項記載の診断支援装置。
  6. 前記表示制御手段は、前記2次元画像内に規則的に配置された複数の点において、第1の指標値を表示する標識を表示するものであることを特徴とする請求項1からのいずれか1項記載の診断支援装置。
  7. 前記表示制御手段は、前記第1の指標値を表す標識として、矢印を用いるものであることを特徴とする請求項記載の診断支援装置。
  8. 前記表示制御手段は、前記第1の指標値を表す標識として、前記心臓の位相の変化に伴う前記2次元画像上の複数の点の軌跡を表示するものであることを特徴とする請求項記載の診断支援装置。
  9. 前記表示制御手段は、前記第1の指標値を表す標識として、前記二次元画像上に規則的な格子を構成するように配置された複数の点を、該各所定位置における前記第1の指標値の大きさおよび向きに基づいた位置に移動させたものを用いるものであることを特徴とする請求項1から5いずれか1項記載の診断支援装置。
  10. コンピュータにより、
    心臓を位相ごとに撮影することにより取得した、前記心臓の構造を三次元的に表した三次元形態画像からなる三次元形態画像群を取得するステップと
    前記三次元形態画像群の所定の位相における三次元形態画像について、さらなる位相に対する前記心臓の各部分の動きの向きおよび大きさを表す第1の指標値を算出するステップと
    前記所定の位相における三次元形態画像または前記三次元形態画像群から前記心臓の各部分ごとに、診断の指標となる第2の指標値を算出するステップと
    前記心臓の全体について、該心臓の各部分の第2の指標値を平面状に配置した2次元画像を生成するステップと
    前記生成された2次元画像を表示装置に表示するとともに、該表示された2次元画像上に、前記算出された第1の指標値を表す標識を、該第1の指標値の前記動きの向きを視認可能な態様で重畳表示するステップを実行する診断支援方法であって、
    前記2次元画像は、前記三次元形態画像の心臓の心芯部と心基部とを結ぶ長軸に対して垂直な複数の断面のそれぞれを半径が異なる同心円と対応させ、前記各断面の心臓の各部分の位置と前記同心円の円周上の位置とを対応させて前記第2の指標値を配置したブルズアイ画像であり、
    前記第1の指標値は、前記三次元形態画像から得られた前記心臓の各部分の動きを表す三次元ベクトルを、所定の規則に従って前記同心円の円周方向の成分と前記円周方向に垂直な半径方向の成分で表した二次元ベクトルに変換したものであり、
    前記重畳表示するステップが、前記三次元形態画像の心臓の各部分の位置に対応する前記ブルズアイ画像上の位置に、前記二次元ベクトルを表す標識を重畳表示することを特徴とする診断支援方法。
  11. コンピュータを、
    心臓を位相ごとに撮影することにより取得した、前記心臓の構造を三次元的に表した三次元形態画像からなる三次元形態画像群を取得する画像取得手段と、
    前記三次元形態画像群の所定の位相における三次元形態画像について、さらなる位相に対する前記心臓の各部分の動きの向きおよび大きさを表す第1の指標値を算出する第1の指標値算出手段と、
    前記所定の位相における三次元形態画像または前記三次元形態画像群から前記心臓の各部分ごとに、診断の指標となる第2の指標値を算出する第2の指標値算出手段と、
    前記心臓の全体について、該心臓の各部分の第2の指標値を平面状に配置した2次元画像を生成する2次元画像生成手段と、
    前記生成された2次元画像を表示装置に表示するとともに、該表示された2次元画像上に、前記指標値算出手段により算出された第1の指標値を表す標識を、該第1の指標値の前記動きの向きを視認可能な態様で重畳表示する表示制御手段として機能させるための診断支援プログラムであって、
    前記2次元画像は、前記三次元形態画像の心臓の心芯部と心基部とを結ぶ長軸に対して垂直な複数の断面のそれぞれを半径が異なる同心円と対応させ、前記各断面の心臓の各部分の位置と前記同心円の円周上の位置とを対応させて前記第2の指標値を配置したブルズアイ画像であり、
    前記第1の指標値は、前記三次元形態画像から得られた前記心臓の各部分の動きを表す三次元ベクトルを、所定の規則に従って前記同心円の円周方向の成分と前記円周方向に垂直な半径方向の成分で表した二次元ベクトルに変換したものであり、
    前記表示制御手段が、前記三次元形態画像の心臓の各部分の位置に対応する前記ブルズアイ画像上の位置に、前記二次元ベクトルを表す標識を重畳表示することを特徴とする診断支援プログラム
JP2010229300A 2010-10-12 2010-10-12 診断支援装置、診断支援プログラムおよび診断支援方法 Active JP5323795B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010229300A JP5323795B2 (ja) 2010-10-12 2010-10-12 診断支援装置、診断支援プログラムおよび診断支援方法
EP11184725.7A EP2442277A3 (en) 2010-10-12 2011-10-11 Diagnosis assisting apparatus, diagnosis assisting program, and diagnosis assisting method
US13/270,871 US20120089016A1 (en) 2010-10-12 2011-10-11 Diagnosis assisting apparatus, diagnosis assisting program, and diagnosis assisting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010229300A JP5323795B2 (ja) 2010-10-12 2010-10-12 診断支援装置、診断支援プログラムおよび診断支援方法

Publications (2)

Publication Number Publication Date
JP2012081037A JP2012081037A (ja) 2012-04-26
JP5323795B2 true JP5323795B2 (ja) 2013-10-23

Family

ID=44862529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010229300A Active JP5323795B2 (ja) 2010-10-12 2010-10-12 診断支援装置、診断支援プログラムおよび診断支援方法

Country Status (3)

Country Link
US (1) US20120089016A1 (ja)
EP (1) EP2442277A3 (ja)
JP (1) JP5323795B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5651600B2 (ja) * 2008-12-03 2015-01-14 コーニンクレッカ フィリップス エヌ ヴェ 再パラメータ化されたブルズアイ表示
US9858687B2 (en) * 2012-01-17 2018-01-02 Emory University Systems, methods, and computer readable storage media storing instructions for generating an image integrating functional, physiological and anatomical images
EP2875368A2 (en) * 2012-07-18 2015-05-27 Koninklijke Philips N.V. Quantification of myocardial contractile function with mri, ct or us
WO2014081021A1 (ja) * 2012-11-22 2014-05-30 株式会社東芝 画像処理装置、磁気共鳴イメージング装置及び画像処理方法
JP5992848B2 (ja) * 2013-03-06 2016-09-14 富士フイルム株式会社 体動表示装置および方法
US9949643B2 (en) * 2014-10-18 2018-04-24 International Business Machines Corporation Automatic visualization of regional functional parameters of left ventricle from cardiac imaging
KR102531117B1 (ko) 2015-10-07 2023-05-10 삼성메디슨 주식회사 대상체를 나타내는 영상을 디스플레이하는 방법 및 장치.
GB201610269D0 (en) 2016-06-13 2016-07-27 Isis Innovation Image-based diagnostic systems
JP6724154B2 (ja) 2016-10-05 2020-07-15 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
JP6862310B2 (ja) * 2017-08-10 2021-04-21 株式会社日立製作所 パラメータ推定方法及びx線ctシステム
JP6643416B2 (ja) * 2018-08-01 2020-02-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
US11734837B2 (en) * 2020-09-30 2023-08-22 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for motion estimation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3725442B2 (ja) * 2001-04-18 2005-12-14 株式会社東芝 医用画像診断装置及びその方法
JP4596759B2 (ja) * 2002-09-12 2010-12-15 株式会社日立メディコ 画像診断装置、及び画像診断装置の作動方法
JP3802018B2 (ja) 2003-07-10 2006-07-26 ザイオソフト株式会社 画像解析装置および画像解析プログラムおよび画像解析方法
JP4750429B2 (ja) * 2005-02-08 2011-08-17 株式会社日立メディコ 画像表示装置
JP2006239195A (ja) * 2005-03-04 2006-09-14 Fuji Photo Film Co Ltd コンピュータによる画像診断支援方法および画像診断支援装置ならびにプログラム
JP4999163B2 (ja) 2006-04-17 2012-08-15 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
JP4559501B2 (ja) * 2007-03-14 2010-10-06 富士フイルム株式会社 心機能表示装置、心機能表示方法およびそのプログラム
JP4690361B2 (ja) * 2007-05-28 2011-06-01 富士フイルム株式会社 心臓機能解析装置、方法およびそのプログラム
US7940978B2 (en) * 2007-06-05 2011-05-10 General Electric Company Automatic characterization of cellular motion
JP5523681B2 (ja) * 2007-07-05 2014-06-18 株式会社東芝 医用画像処理装置
JP2009018005A (ja) * 2007-07-11 2009-01-29 Toshiba Corp ブルズアイマップ作成装置、ブルズアイマップ作成方法、及び画像処理装置
JP5238201B2 (ja) 2007-08-10 2013-07-17 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US8315354B2 (en) * 2007-12-07 2012-11-20 Konica Minolta Medical & Graphic, Inc. Dynamic radiographing system
JP5454844B2 (ja) * 2008-08-13 2014-03-26 株式会社東芝 超音波診断装置、超音波画像表示装置及び超音波画像表示プログラム
WO2010020933A2 (en) * 2008-08-20 2010-02-25 Koninklijke Philips Electronics N.V. Processing cardiac data for personalized aha diagram

Also Published As

Publication number Publication date
EP2442277A2 (en) 2012-04-18
JP2012081037A (ja) 2012-04-26
EP2442277A3 (en) 2014-02-12
US20120089016A1 (en) 2012-04-12

Similar Documents

Publication Publication Date Title
JP5323795B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
JP5009391B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
JP4559501B2 (ja) 心機能表示装置、心機能表示方法およびそのプログラム
JP5584006B2 (ja) 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
JP6657132B2 (ja) 画像分類装置、方法およびプログラム
EP2301432B1 (en) Projection image creation device, method, and program
US9953429B2 (en) Model-based segmentation of an anatomical structure
US8059876B2 (en) Cardiac function analysis apparatus, method and program
JP5345934B2 (ja) 観察のための三次元レンダリングからのデータ集合の選択
JP5802175B2 (ja) 画像処理装置
US10395380B2 (en) Image processing apparatus, image processing method, and storage medium
JP5700964B2 (ja) 医用画像処理装置、方法およびプログラム
CN107169919A (zh) 用于3d医学体积的加速读取的方法和系统
WO2010020933A2 (en) Processing cardiac data for personalized aha diagram
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
WO2013140750A1 (ja) 医用画像表示制御装置および方法並びにプログラム
JP2011125569A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP6898047B2 (ja) 時変データの定量的評価
JP5709957B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
WO2010001327A1 (en) Processing anatomy and associated quantitative analysis data of tissue
JP6258403B2 (ja) 医用画像表示制御装置および方法並びにプログラム
JP2022073262A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2022095099A (ja) 情報処理装置、情報処理方法、情報処理システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130717

R150 Certificate of patent or registration of utility model

Ref document number: 5323795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250