JP4980723B2

JP4980723B2 - 画像生成方法及び画像生成装置

Info

Publication number: JP4980723B2
Application number: JP2006544930A
Authority: JP
Inventors: 修荒井
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 2004-11-10
Filing date: 2005-11-10
Publication date: 2012-07-18
Anticipated expiration: 2025-11-10
Also published as: JPWO2006051831A1; WO2006051831A1

Description

本発明は、X線CT装置、MRI装置、超音波診断装置などの医療用画像診断装置により、造影剤が注入された被検体を撮影して取得された画像データを用いて、造影剤のエンハンス効果を表すカラー画像を生成する画像生成装置及び画像生成方法に関する。

X線CT装置、MRI装置、超音波診断装置などの医療用画像診断装置の中には、例えば、血流にコントラストをつけるための造影剤が注入された被検体を撮影して取得した画像において、ある組織の輝度値が造影剤注入前よりも高くなるという造影剤によるエンハンス効果(増強効果)を表示するものがある。

例えば、(特許文献1)では、医療用画像診断装置の一例である電子内視鏡装置を用いて、造影剤により時間的に変化する疾患部位を撮影して取得された画像を、造影剤により疾患部位が変化する様子をわかりやすくして表示している。具体的には、電子内視鏡装置からの三原色(R，G，B)画像データを人間が把握しやすい表色系である色相、彩度及び明度からなるHSV表色系に変換して表示している。

このように造影剤注入後の時相が異なる複数の画像を取得するとともに、各々の画像に対して人間が把握しやすい様に表色変換を行い、それらの造影剤によるエンハンス効果を見比べることによって、操作者は造影剤により疾患部位の変化する様子や血行状態若しくは血流動態を容易に把握することが可能になる。

しかし、従来の医療用画像診断装置において、その表示部のサイズの制限から画像を1枚しか表示できない場合のように、操作者が複数時相の画像のうちから一つの時相の画像を選択して表示したとすると、操作者は、その選択した画像における輝度値の高い組織がエンハンス効果によるものか、それとも輝度値がもともと大きいためなのかを判別することができない。

(特許文献1)には、一つの画像上で、輝度値の高い組織が造影剤によるエンハンス効果によるものか、それとも輝度値がもともと大きいためなのか等の組織の時間的変化の情報を容易に理解できるようにするための手段や方法は開示されていない。
特開昭63-79632号公報

本発明の目的は、一つの画像上で、輝度値の高い組織が造影剤によるエンハンス効果によるものか、それとも輝度値がもともと大きいためなのかを容易に理解可能な画像を生成する、画像生成装置及び画像生成方法を提供することにある。

上記目的を達成するために、本発明の画像生成方法は、造影剤が注入された被検体を撮影して時相の異なる複数の断層像を取得する断層像取得ステップと、前記被検体の超音波画像を取得する超音波画像取得ステップと、前記取得した超音波画像と同一断面を含む断層像の各々から同一位置の画素の輝度値を取得する輝度値取得ステップと、前記輝度値の時間的変化に基づいて、前記造影剤による前記輝度値の時間的変化を表す特徴量を取得する特徴量取得ステップと、前記特徴量をそれぞれ異なる色情報に変換する色情報変換ステップと、
前記色情報に基づいて、前記輝度値の時間的変化の情報を表すために前記画素の色づけを行う画素色づけステップと、前記断層像の画素毎に前記輝度値取得ステップ、特徴量取得ステップ、色情報変換ステップ及び画素色づけステップを繰り返して、前記色づけされたカラー画像を生成するカラー画像生成ステップと、を含む画像生成方法であって、前記特徴量取得ステップは、前記複数の断層像の中で前記画素の輝度値が最大となった時刻と、前記造影剤による前記画素の輝度値の増加量を取得し、前記色情報変換ステップは、前記時刻を色相成分、前記画素の輝度値の増加量を彩度成分及び前記輝度値を明度成分とするHSV表色系にそれぞれ変換し、前記カラー画像生成ステップは、前記HSV表色系に変換された断層像を生成することを特徴とする。

また、上記目的を達成するために、本発明の画像生成装置は、造影剤が注入された被検体を撮影して取得された時相の異なる複数の断層像を入力する入力手段と、前記被検体の超音波画像を取得する超音波画像取得手段と、前記取得した超音波画像と同一断面を含む断層像を記憶する記憶手段と、前記時相の異なる複数の画像データから、前記造影剤による組織の時間的変化を表す一以上の特徴量を画素毎に抽出してそれぞれ異なる色情報に変換し、前記断層像の画素毎にその時間的変化の情報を表すように色づけされたカラー画像を生成する演算手段と、を備えた画像生成装置であって、前記演算手段は、前記複数の画像データの中で前記画素の輝度値が最大となった時刻と、前記造影剤による前記画素の輝度値の増加量を取得し、前記時刻を色相成分、前記画素の輝度値の増加量を彩度成分及び前記輝度値を明度成分とするHSV表色系にそれぞれ変換し、前記HSV表色系に変換された断層像を生成することを特徴とする。

上記本発明の画像生成方法及び画像生成装置によれば、一つの画像上で、輝度値の高い組織が造影剤によるエンハンス効果によるものか、それとも輝度値がもともと大きいためなのかを容易に理解できるようなる。

本発明の第1実施形態による医療用画像診断装置における画像生成装置を採用したX線CT装置の概略構成図である。図1に示したX線CT装置のカラー合成処理を示すブロック図である。各組織の輝度値変化を表す特性曲線を示す図である。図3に示した血管Aの特性曲線を示す図である。図2に示したX線CT装置のカラー合成処理動作を示すフローチャートである。図5に示した要部である合成処理を示すフローチャートである。輝度値が最大(最小)になった時刻Tの算出例を示す極座標平面である。輝度値が最大(最小)になった時刻Tの算出例を示す他の極座標平面である。図1に示した医療用画像診断装置における画像生成装置の表示例を示す正面図である。図9に示した医療用画像診断装置における画像生成装置における要部を示す説明図である。図9に示した医療用画像診断装置における画像生成装置における他の要部を示す説明図である。図9に示した医療用画像診断装置における画像生成装置における他の表示例を示す説明図である。本発明の第2の実施形態による医療用画像診断装置における画像生成装置を採用した超音波装置の概略構成図である。超音波画像とカラー合成画像とを並列表示する一例を示す図である。

以下、本発明の画像生成方法及び画像生成装置についての各実施の形態を図面に基づいて説明する。

(第1の実施形態)
図1は、本発明の一実施の形態であり、医療用画像診断装置としてのX線CT装置に本発明の画像生成装置を用いた例の概略構成図である。
スキャナ制御部17によって可回転的に支持されたスキャナ1には、その中央部に形成した開孔1aに被検体を載せる寝台2が寝台制御部16によって位置調整可能に配置され、この寝台2上の被検体を挟んでX線発生源3と多列X線検出器4が対向配置されている。高電圧スイッチングユニット13、高電圧発生装置14およびX線制御部15によってX線発生源3からのX線ビームが曝射されると、被検体を通過した後に多列X線検出器4によって検出される。多列X線検出器4からの出力は、増幅器を介してA/D変換器によってデジタル化され処理装置18の画像処理装置5に入力され、この画像処理装置5により画像再構成処理が施される。再構成された画像データは、例えば画像処理装置5内の図示してない記憶装置に記憶される。また、再構成された画像が表示処理装置6によって操作卓12上の表示部11に表示される。

画像処理装置5には、画像生成装置19と画像表示装置6とが接続されている。画像生成装置19は、輝度値であるCT値に対応する特徴量を取得する輝度値特徴量取得部7と、エンハンス効果の度合いに対応する特徴量を取得するエンハンス効果度合い特徴量取得部8と、エンハンス効果の時刻に対応する特徴量を取得するエンハンス効果時刻特徴量取得部9と、これらの3つの特徴量取得部7〜9における共通の演算を行う前処理演算部20と、これらの3つの特徴量取得部7〜9からの特徴量を用いてカラー画像を生成するカラー合成画像生成部10とを有している。各特徴量取得部7〜9は、前処理演算部20を介して画像処理装置5に接続されて、画像処理装置5から画像データが入力され、その画像データに基づいて各特徴量をそれぞれ取得し、カラー合成画像生成部10に出力する。
また、前処理演算部20は画像データを入力するための入力部(図示せず)を有している。

画像表示装置6は、画像処理装置5とカラー合成画像生成部10と表示部11とに接続され、画像処理装置5からの再構成画像とカラー合成画像生成部10からのカラー画像が入力されて、それぞれ表示部11に表示する。
なお、画像生成装置19が、上記画像処理装置5と上記表示処理装置6と上記表示部11と操作卓12とを含んで構成されても良い。

図2は、上述した画像生成装置19におけるカラー画像の生成処理動作を示すブロック説明図である。
従来のCT画像は、CT値(つまり輝度値)のみに基づいて画像をグレースケール表現したものであるのに対して、本発明の画像生成装置19は、輝度値特徴量取得部7で取得した輝度値(CT値)データ19を明度(Value)成分とし、エンハンス効果時刻特徴量取得部9で造影剤によるエンハンス効果が現れた時刻から取得したエンハンス効果時刻データ20を色相 (Hue)成分とし、エンハンス効果度合い特徴量取得部8で取得したエンハンス効果度合いデータ21をSaturation(彩度)成分として、それらの各成分を用いてカラー合成画像生成部10によって一枚のカラー合成画像(以下、単位カラー画像と表記する)データ22として生成し、HSV表色系によるカラー表示する。

なお、輝度値特徴量を明度成分に割り当て、エンハンス効果時刻特徴量とエンハンス効果度合い特徴量との内のいずれか1つの特徴量を、色相成分と彩度成分の内のいずれかに割り当てて、明度成分を含む2つの成分のみでカラー画像を生成してもよい。或いは、色相成分と彩度成分のみ、又は、いずれか一方の成分のみでカラー画像を生成しても良い。いずれの場合も、割り当ての無い不足の成分は、任意の一定値に固定されてカラー画像が生成される。

図3は、血管47，血管48および肝臓49，骨50におけるそれぞれの輝度値の時間変化を表す特性曲線を示す。
縦軸に輝度値(CT値)を、横軸に時間を取ると、血管47の時間変化は特性曲線23で、血管48および肝臓49の時間変化は特性曲線24で、また骨50の時間変化は直線25で示される。先ず時刻1において血管47が造影剤によって増強され、その後、時刻2において肝臓49全体と血管48が造影剤によって増強される。なお、骨50には造影剤が流れ込まないので、骨50のCT値は時間に依らず一定に推移している。

図4は、図3における血管47の輝度値の時間変化を表す特性曲線23を示すもので、この特性曲線23から血管47における輝度値が最大となる時刻T47、最大輝度値I47、輝度値変化量D47をそれぞれ取得することができる。同様にして、臓器毎又は画素毎に、その臓器又は画素の輝度値の時間変化を表す特性曲線から、その臓器又は画素の輝度値が最大となる時刻Tn、最大輝度値In、輝度値変化量Dnをそれぞれ取得することができる。

なお、図2，図3及び図4の例では、造影剤によって臓器の輝度値が増強されて、輝度値の最大値が存在する場合を説明したが、造影剤によって臓器の輝度値が抑制されて、輝度値の最小値が存在する場合(例えば、MR perfusion撮像の場合)は、前述の最大を最小に置き換えれば同様の説明となる。以下、最大値が存在する場合のみ説明するが、最小値が存在する場合も同様である。

そこで、図2に示したCT値に対応する特徴量を取得する輝度値特徴量取得部7は、輝度値Iの特徴量としてCT値の最大(最小)値である最大(最小)輝度値Inを取得するようにする。或いは、任意の一の断層像のCT値を最大(最小)輝度値Inとしても良い。また、エンハンス効果の度合いに対応する特徴量を取得するエンハンス効果度合い特徴量取得部8は、エンハンス効果の度合いDに対応する特徴量としてCT値の変化量である輝度値変化量Dnを取得するようにする。そして、エンハンス効果が現れた時刻に対応する特徴量を取得するエンハンス効果時刻特徴量取得部9は、エンハンス効果が現れた時刻Tに対応する特徴量として輝度値(つまりCT値)が最大(最小)となる時刻Tnを取得するようにする。或いは、輝度値の変化量が所定の閾値以上となった時刻Tnとしても良い。この場合の閾値を輝度値の最大(最小)変化量の1/2とすることができる。或いは、輝度値の変化の勾配が所定の閾値以上となった時刻Tnとしても良い。この場合の閾値を輝度値の最大(最小)勾配の1/2とすることができる。

なお、上述の説明では、3つの特徴量を取得することを説明したが、エンハンス効果度合い特徴量とエンハンス効果時刻特徴量の内の少なくとも1つでも良く、或いは、4つ以上の特徴量を取得して、それらの中から2つ又は3つの特徴量を選択しても良い。

その後、カラー合成画像生成部10は、各特徴量を同時に表示するカラー画像を生成する。操作者は、各特徴量の表示を比較考慮することによって、輝度値の高い組織の輝度値が造影剤によるエンハンス効果によるものか、それともCT値がもともと大きいためなのかを判別することができるようになる。

各特徴量を同時に表示するカラー画像を生成するためには、カラー合成画像生成部10は、例えばHSV表色系によるカラー表示としたカラー画像を合成する。つまり、カラー合成画像生成部10は、エンハンス効果が現れた時刻TをHue(色相)成分に、エンハンス効果の度合いDをSaturation(彩度)成分に、またCT値IをValue(明度)成分にそれぞれ割り当てる。

エンハンス効果の度合いDを表す特徴量としての輝度値変化量Dnを採用すると、例えば、骨50のようにエンハンス効果がない組織の場合は輝度値変化量D50が小さくなり、血管47などのようにエンハンス効果がある場合は輝度値変化量D47が大きくなるので、この輝度値変化量Dnを臓器毎又は画素毎に取得してHSV表色系の彩度成分に対応付けることができる。

例えば、カラー合成画像生成部10は、取得した輝度値変化量Dnを予め設定した閾値と比較し、閾値以下の場合にはエンハンス効果がないと判断し、従来と同様にグレースケールで表示するようにする。一方、カラー合成画像生成部10は、輝度値変化量Dnが閾値以上でエンハンス効果があると判断した場合は、HSV表色系のカラー表示としてその彩度成分に輝度値変化量Dnを割り当てる。この場合の閾値として、例えば輝度値変化量Dnの最大(最小)値の1/2とすることができる。

このため、操作者は、彩度成分によってカラー表示された組織がエンハンス効果によるものであることを簡単に識別することができる。一方、エンハンス効果がない部位の表示は、従来のCT値と同じように明度成分によってグレースケール表示される。このため、操作者は、エンハンス効果がない部位であることを容易に判定でき、これまでの画像表示装置におけるCT値情報から得ていたのと同じ情報を簡単に得ることができる。これらのことは、カラー画像に十分慣れていない操作者でも容易に行うことができる。

同様に、輝度値が最大(最小)となる時刻Tnが、エンハンス効果が現れた時刻Tとして、HSV表色系のカラー表示としてその色相成分に割り当てられているため、エンハンス効果が現れた時刻が現在表示されている画像の時刻か、それよりも前の時刻か、あるいは後の時刻かを容易に識別することができる。

図5は、上述した画像生成装置19の具体的な処理動作を示すフローチャートである。
ステップS1では、造影剤注入後の時刻1、時刻2、時刻3、…時刻Nに被検体を撮影して取得されたボリュームデータが、例えば画像処理装置5内の記憶装置から前処理演算部20に、合計N個読み込まれる。

ステップS2では、N個のボリュームデータ中の対応する組織が同一位置にくるようにするために、ボリュームデータ同士の位置合わせを行う。これは、ダイナミックCT撮影中に被検体の体位が変化してしまったり、被検体の呼吸による内臓移動などが生じてしまったりした場合に、画像中の組織の位置が時相によってまちまちになってしまうのを補正するために行う。具体的には、N個のボリュームデータ中の任意の一つのボリュームデータを基準とし、N個のボリュームデータ上に、基準点を少なくとも3点ずつ設け、それらの位置の基準ボリュームデータからの変動量から、組織の移動量および回転量を算出し、その分だけ逆変換して全てのボリュームデータを基準ボリュームデータに合わせればよい。このステップS2の処理は、例えば前処理演算部20で行われる。

ステップS3では、各ボリュームデータより所望の断層像を切り出す。具体的には、任意の一つのボリュームデータを用いて切り出したい断面の位置および角度情報を指定し、これらの指定に基づいて、全ボリュームデータから所望の断面を含む断層像をそれぞれ切り出す。このとき切り出された画像は、時相の異なる同一断面画像である。このステップS3の処理は、例えば前処理演算部20で行われる。
なお、ステップS1で読み込むデータがボリュームデータでなくて、上述の様な所望の断面を含む断層像のデータである場合は、前述のステップS2では、断層像同士の位置合わせを行うことになり、ステップS3は不要となる。

ステップS4では、これらの時相の異なる断層像を用いて後述するように、少なくとも一部の臓器毎に又は少なくとも一部の領域内の画素毎に、時間軸方向にカラー合成処理(色づけ)演算を行う。このステップS4の処理は、各特徴量取得部7，8，9及びカラー合成画像生成部10で行われる。

ステップS5では、上記ステップS4で生成されたカラー画像が、医療用画像表示装置における表示部11で表示される。
なお、前述のステップS1の前に、造影剤を注入された被検体を実際に撮影して、時相の異なるボリュームデータを取得し、例えば画像処理装置5内の記憶装置に記憶するステップを有しても良い。

ステップS4のカラー合成処理は、図6に示すように、少なくとも一部の臓器毎に又は少なくとも一部の領域内の画素毎に、同一臓器又は同一画素の輝度値を抽出するステップS4aと、輝度値の最大(最小)値Inを取得するステップS4bと、輝度値変化量Dnを取得するステップS4cと、輝度値が最大(最小)になった時刻Tnを取得するステップS4dと、輝度値の最大(最小)値Inと輝度値変化量Dnと輝度値が最大(最小)になった時刻Tnとから、その臓器又は画素の色づけを行うステップS4eを、臓器又は画素を変えて繰り返す。或いは、ステップS4b，S4c，S4d，及びS4eをそれぞれ単独に臓器又は画素を変えて繰り返してもよい。図6は画素の場合及び最大の場合のみを示している。
なお、色づけ対象臓器又は領域を設定する場合は、上記ステップS4aの前にマウスなどを用いて任意の断層像上でその臓器又は領域を指定しておく。以下、上記ステップS4の各ステップを詳細に説明する。

ステップS4aでは、同一臓器又は同一画素の輝度値が時相の異なる断層像毎に抽出されて、その臓器又は画素の輝度値の時間的変化が取得される。つまり、前述の図3，図4の様な特性曲線が取得される。このステップS4aの処理で抽出される特性曲線データは、以降の各ステップS4b〜S4dにおいて共通に使用されるデータであり、例えば図1の前処理演算部20で行われる。

ステップS4bでは、輝度値の時間軸方向での最大(最小)値および最小(最大)値が取得され、最大(最小)輝度値In＝[最大(最小)値]とされる。このステップS4bの処理は、輝度値特徴量取得部7で行われる。なお、最大輝度値として、任意の一つの断層像の輝度値をInとしても良い。

ステップS4cでは、輝度値の時間軸方向での最大(最小)値および最小(最大)値が取得され、輝度値変化量Dn＝[最大(最小)値]−(最小値)とされる。このステップS4cの処理は、エンハンス効果度合い特徴量取得部8で行われる。

ステップS4dでは、輝度値の時間軸方向での変化が最大(最小)値となる時刻Tnが取得される。このステップS4dの処理は、エンハンス効果時刻特徴量取得部9で行われる。なお、輝度値の変化量が所定の閾値以上となった時刻Tnとしても良い。或いは、輝度値の変化の勾配が所定の閾値以上となった時刻Tnとしても良い。

ここで、ステップS4dに関しては、ボリュームデータ数Nの値が小さい場合であっても、比較的優れた分解能で輝度値が最大(最小)になった時刻Tを取得する方法を説明する。図7のような極座標平面上で、偏角をN等分するベクトルを考え(ここでは例として、N＝3の場合を示す)、それぞれのベクトルの大きさを、V1，V2，V3とする。ここで、V1，V2，V3は、時刻1，時刻2，時刻3の輝度値である。図8に示すようにこれらのベクトルの合成ベクトルを算出し、この合成ベクトルの偏角Thetaを算出し、これを時刻に変換して輝度値が最大(最小)になった時刻Tを取得する。このようにして数1に示す画素(x，y)の最大(最小)輝度値In(x，y)、輝度値変化量Dn(x，y)、輝度値が最大(最小)になった時刻Tn(x，y)を、画素(x，y)の最大値Max(x，y)、最小値Min(x，y)、及び最大(最小)となった時刻Thetaから得ることができる。
(数１)
In(x，y)＝Max(x，y)；
Dn(x，y)＝Max(x，y)− Ｍin(x，y)；
Tn(x，y)＝Theta；

ステップS4eでは、臓器毎又は画素毎に、エンハンス効果が現れた時刻Tを表す特徴量として輝度値が最大(最小)となる時刻Tnと、エンハンス効果の度合いDを表す特徴量として輝度値変化量Dnと、エンハンス効果によって強調された組織を表す特徴量としてCT値である輝度値の最大(最小)値Inとを、図2に示すようにそれぞれHSV表色系の色相成分、彩度成分、明るさ成分にそれぞれ変換して、その臓器又は画素を色づける。
例えば、2つの異なる臓器又は画素が、同じ時刻に輝度値が最大(最小)になれば、同じ色相に色づけられるが、輝度値変化量が異なれば、少なくとも一方の臓器又は画素の彩さが異なる色に色づけされることになる。時刻Tnから色相成分へ、輝度値変化量Dから彩度成分へ、また輝度値の最大(最小)値Iから明度成分への変換方法に関しては後述する。

上記ステップS4a〜S4eを少なくとも一部の臓器毎に又は少なくとも一部の領域内の画素毎に繰り返すことによって、少なくとも一部の臓器又は少なくとも一部の領域が色づけられる。この結果、輝度値の時間的変化が異なる臓器又は画素に対して異なる色づけが行われる。また、同じ臓器内でも、輝度値の時間的変化が異なる画素に対して異なる色づけが行われる。また、異なる臓器内のそれぞれの画素でも、同じ色づけ又は異なる色づけが行われる。
そして、HSV表色系に基づいてカラー合成されたカラー画像が、図5に示した様に、ステップS5で例えば表示部11に表示される。

図9は、画像表示装置の表示部22における表示例を示す図である。
カラー画像26の下部近傍にはカラーバー27が配置され、彩度Sと明度Vは定数とし(例えば、彩度S＝255、明度V＝255)、色合い(つまり色相成分)Hを0から255に変化させたときのカラーグラデーションが表示されている。その下には色合いに対応する時相(時刻)が目盛りとして記されており、このカラーバー27を見ることによって色合いとエンハンス効果が現れた時刻Tとの関係が分かるようになっている。このとき、彩度Sと明度Vは定数であればよく、例えば操作者が指定した画像上の点の彩度と明度を採用するようにしてもよい。さらに、このカラーバー27は、エンハンス効果の時刻Tを表現することに限定されるものではなく、エンハンス効果の度合いDや、エンハンス効果によって強調された組織を表現するCT値(つまり輝度値)Iを表示するようにしてもよい。例えば、操作者が、CT値I、エンハンス効果の時刻T、エンハンス効果の度合いDの3つの特徴量にそれぞれ対応するラジオボタン28a，28b，28cのいずれかを選択すると、選択されたラジオボタンに対応するカラーバーに切り替わる。また、一次元カラーバーに限定されることなく、これら3つの特徴量を組み合わせた形で、二次元カラーバーや三次元カラーバーを表示するようにしてもよい。
このようにカラー画像26とカラーバー27を並置して表示するようにすると、操作者は、カラー画像26における表示カラーが何を意味するかを対応付けして判断することが容易になる。

また、HSV表色系の色相成分にエンハンス効果が現れた時刻T、彩度成分にエンハンス効果の度合いD、明度成分にCT値Iをそれぞれ割り当てることに限らず、エンハンス効果が現れた時刻T、エンハンス効果の度合いD、CT値Iに対してそれぞれ異なる成分を割り当てても識別が容易になる。例えば、彩度成分にエンハンス効果が現れた時刻T、明度成分にエンハンス効果の度合いD、色相成分にCT値Ｉをそれぞれ割り当てもよい。或いは、HSV表色系の色相成分の配列に限らず、エンハンス効果が現れた時刻Tを複数の期間に細分化して、予め複数色を用意して各色と各期間との対応関係を予め決めておいてもよい。

さらに、HSV表色系のみならず、RGB表色系や他の表色系を用いて、それらの表色系の異なる成分のいずれかにエンハンス効果が現れた時刻T、エンハンス効果の度合いD、及び輝度値Iのいずれかを割り当ててもよい。例えば、RGB表色系を用いる場合は、R(赤)成分にエンハンス効果が現れた時刻Tを、G(緑)成分にエンハンス効果の度合いDを、B(青)成分に輝度値Iをそれぞれ割り当てても良い。

また、画像表示装置の表示部22にカラー画像26を表示するとき、特定の部位や臓器、或いは時刻を視覚上見易くするために、特徴量表示の表示窓(Window)を任意に調整できるようにしている。例えば、図9に示す様に、CT値Ｉ、エンハンス効果の時刻T、エンハンス効果の度合いDの3つの特徴量に対して、操作者がラジオボタン28a，28b，29cで各々を選択する。その後に、操作者は、各特徴量のWindowレベルをWindowレベル調整手段30としてのスクロールバー30aで、また各特徴量のWindow幅をWindow幅調整手段31としてのスクロールバー31aで、それぞれ独立して調整可能する。これにより各特徴量の表示窓(Window)が調整されるようにしている。ここで、Windowレベルとは表示窓の中心値であり、Window幅とは表示窓の幅、つまり最大値と最小値の差を意味する。

次に、表示窓に関する画像処理方法について説明する。
特徴量表示の表示窓が設定された場合、エンハンス効果の時刻Tから色相への変換は、図10に示した第一の変換方法32によって次のように行われる。Windowレベル30(つまり、縦軸に平行な2本の一点鎖線の間隔で示された表示窓の中心位置)を調整する(つまりレベルを左右させる)と変換式H＝fH(T)の切片が調整(つまり変換式と縦軸との交点の位置が上下)され、Window幅31(つまり、縦軸に平行な2本の一点鎖線の間隔で示された表示窓の幅)を調整する(つまり表示窓の幅を広狭する)と変換式H＝fH(T)の傾きが調整される。つまり、この第一の変換方法32は、変換式H＝fH(T)の形状を表示窓に応じて変える方法である。時刻Tが表示窓の内側である場合はH∝T(比例関係)とし、時刻Tが表示窓よりも小さい場合はH＝0とし、時刻Tが表示窓よりも大きい場合はH＝255とする。こうすることによって、表示窓の内側の時刻にエンハンス効果が現れた組織が赤色→緑色→青色のカラーグラデーションで表示され、表示窓よりも前の時刻にエンハンス効果が現れた組織は赤色で表示され、表示窓よりも後の時刻にエンハンス効果が現れた組織は青色で表示されることとなる。このとき、色合いＨと時刻Tとの関係の変化に応じて、カラーバー上の時相の目盛りの位置を変化させて表示する。もしくは、カラーバー上の目盛りの位置は固定にして、カラーグラデーションを変化させて表示する。

また、エンハンス効果度合いDを表す特徴量として輝度値変化量Dnから彩度へ、またエンハンス効果によって強調された組織を表現する特徴量として輝度値Iから明度への変換に関しても、それぞれの所定の変換式に基づいて、上述のエンハンス効果の時刻Tから色相への変換と同様に行う。

なお、上述したエンハンス効果の時刻Tから色相への変換処理では、表示窓よりも前の時刻にエンハンス効果が現れた組織と、表示窓よりも後の時刻にエンハンス効果が現れた組織とは異なる色相のカラーで表示されるが、表示窓の内側の時刻Tでエンハンス効果が現れた組織のみがカラー表示されるようにし、その他の時刻にエンハンス効果が現れる組織はグレースケールで表示されるようにしても良い。この場合は、上述の処理に加えて数2で示した次の処理が行われることになる。
(数2)
If T＝(表示窓の外側)
Then Saturation(S)＝0；

つまり、表示窓の外側の時刻Tでエンハンス効果が現れた画素は、その彩度成分をゼロにされる。こうすることにより、表示窓が調整されたときに、表示窓の内側に対応する臓器又は画素のみがカラー表示とされ、外側はグレースケール表示とされるので、特定の時刻下におけるエンハンス効果を見るのに適したカラー画像が得られることになる。このとき、カラーバー27は、表示窓の内側のみがカラー表示され、外側がグレースケール表示されてもよい。

また、表示窓に関する画像処理方法において、エンハンス効果の時刻Tから色相への変換は、図11に示した第二の変換方法33のように、エンハンス効果の時刻Tから色相へ変換してもよい。この第二の変換方法33は、変換式H＝fH(T)を変えずにこの変換式上で表示窓の位置と幅を変える方法である。つまり、Window幅およびWindowレベルを調整しても、変換式の切片、傾きを一定とする。そして、Windowレベルにより表示窓の位置が、Window幅により表示窓の幅が調整される。これにより、表示窓は点線で示された変換式線上を移動するだけとなる。そのため、第一の変換方法32と比較して表示窓を調整したときに各組織の色合いが変化することがなくなる。また、カラーバー27上のカラーグラデーションと、時相の目盛りの位置は固定的に表示される。なお、数2に示したように、表示窓の外側の時刻Tでエンハンス効果が現れた画素の彩度成分がゼロにされることにより、第一の変換方法32と同様に、表示窓の内側の時刻Tでエンハンス効果が現れた組織のみがカラー表示され、その他の時刻にエンハンス効果が現れる組織がグレースケールで表示されるようにしても良い。

さらに、この表示窓の応用技術として、エンハンス効果の時刻TのWindow幅を一定値にした状態で、Windowレベルを変化させると、エンハンス効果が現れた部位の時間変化が動画として分かるようになる。図12は、時刻TのWindow幅を狭めた状態で、Windowレベルを34a〜34eと変化させていったときの動画35a〜35eを示している。このような動画35a〜35eによって、操作者は造影剤が時々刻々と流れる様子を容易に観察することができる。
或いは、Windowレベルを一定値にした状態でWindow幅を変化させても良いし、WindowレベルとWindow幅を共に変化させて動画を生成しても良い。

このとき各動画35a〜35eの表示に際して、特定時刻においてエンハンス効果が現れた特定の部位や臓器の明るさを増加して強調することによって視覚上見易くすることもできる。例えば、図12では、Windowレベルが34aにおける動画35a内の特定部位の色相Hueが、HVS表色系の赤色に対応してカラーバー27に対して0＜Hue＜0.3のとき、この範囲内の色相Hueで表示されている特定部位の明度を増加して強調するようにすることもできる。

上述した医療用画像診断装置における画像生成装置では、従来のCT画像がCT値Iのみを表現したものであるのに対して、上述したようにCT値Iのみならず、造影剤によるエンハンス効果が現れた時刻Tの情報と、エンハンス効果の度合いDの情報とが、新たにCT画像に取り入れてカラー表示とされ、それらの情報が一枚の画像上に表現される。X線CT装置では、従来は、CT値Iをグレースケールで表示することが行われていた。
一方、本発明の画像生成装置は、このグレースケール表示を変えずに、エンハンス効果が現れた時刻Tの情報と、エンハンス効果の度合いDの情報とをグレースケール情報に付加してこれらをカラー表示することによって、CT値Iに関するこれまでの経験を継承しながら、新たな判別しやすい情報を表示することができる。

特に、上述した3つの特徴量を表現するために、それら3つの特徴量はHSV表色系を採用したカラー表示とされる。つまり、色相成分にはエンハンス効果が現れた時刻T、彩度成分はエンハンス効果の度合いD、また明度成分は輝度値(つまりCT値)Iが、それぞれ割り当てられる。これによって、操作者にとって、一層見易く、識別判断が容易なカラー画像を表示する画像表示装置とすることができる。

また、上述した医療用画像診断装置における画像生成装置では、エンハンス効果の度合いを表す特徴量としての輝度値変化量Dnを用いているため、骨のようにエンハンス効果がない組織の場合は輝度値変化量Dnが小さくグレースケールで表示され、一方、血管などのようにエンハンス効果がある場合は輝度値変化量Dnが大きくカラーで表示されるので、操作者は両者を区別して血流の有無を把握し易くなる。また、エンハンス効果によって強調された組織を表現する特徴量として、最大(最小)輝度値Inが採用され、さらに、エンハンス効果が現れた時刻Tを表す特徴量として輝度値が最大(最小)となる時刻Tnが採用されて、それぞれ色情報に変換されて画像表示に反映されるようにしている。このため、画像上で、エンハンス効果が現れた時刻によって、色合いが赤色、黄色、緑色、青色と変化して表示され、造影剤が時々刻々と進んでいく様子が一枚の画像上で表示されることになる。これにより、操作者は血行状態を一層把握し易くなる。

(第2の実施形態)
図13は、本発明の他に実施の形態であり、医療用画像診断装置としての超音波診断装置に本発明の画像生成装置を用いた例の概略構成図である。
超音波診断装置38は、ネットワークやその他の可搬性記憶媒体を利用してX線CT装置やMRI装置等の医療画像診断装置37から第1の実施形態で説明したボリュームデータの転送を受け、データ記憶部43に格納している。この超音波診断装置38の主要部は、超音波像を再構成する系統と、再構成された超音波像に対応する断層像を再構成する系統とに大別される。前者は、探触子39から出力される反射エコー信号に基づいて超音波像を再構成する超音波像取得部42を有してなる。後者は、データ記憶部43と、探触子39に取り付けられた磁場を検知する位置センサや体位センサやこれらと協働する本体である磁場発生器や呼吸センサなどから成る各種検出手段40と、位置関連づけ部44と、断層像取得部45とを有している。超音波像取得部42と断層像取得部45から出力される同一断面の超音波像と断層像のカラー画像とは表示処理装置46によって表示部11に描画され、ここでは超音波像と断層像を同一画面に並べて表示するようにしている。
本実施形態の画像生成装置は、少なくとも上記データ記憶部43と断層像取得部45を含んで成り、さらに表示処理装置46と表示部11とを含んで構成されも良い。

探触子39は、被検体41との間で超音波を送受信するものであり、超音波を発生すると共に反射エコーを受信する複数の振動子を内蔵している。超音波像取得部42は、探触子39から出力される反射エコー信号を入力してデジタル信号に変換し、診断部位の例えば白黒断層像(Bモード像)やカラーフローマッピング像(CFM像)を生成するものである。

位置関連づけ部44は、超音波像と略同一の断面を含む断層像を得るために様々な情報を各種検出手段40から取得するものである。この各種検出手段40は、被検体41の体位変化や、呼吸による内臓移動によって被検体41の座標系が絶えず変化することによる断層像と超音波像の座標系のずれを補正するための情報を付加して取得する。断層像取得部45は、位置関連づけ部44で取得された各種情報に基づいてデータ記憶部43内のボリュームデータを用いて、超音波像と略同一の断面を含む断層像を得る。このように超音波像と同一断面の断層像を取得する方法は、種々考えられ、本願と同一出願人に係わる種々の提案に示された算出方法やその他の様々な算出方法を採用することができる(例えば、WO2004/098414号公報)。

また断層像取得部45は、図2に示したようにデータ記憶部43内の輝度値(つまりCT値)Iのデータ19と、造影剤によるエンハンス効果が現れた時刻Tのデータ20と、エンハンス効果の度合いDのデータ21とから、前述の第1の実施形態で説明したカラー画像データ22を生成ように構成されている。

図14は、表示部11における表示例を示す図である。同一断面の超音波画像70とCTのカラー画像71を表示する。また、被検体の体表面および内臓を可視化した3D画像に対して、現在の超音波スキャン面を重ねた3Dボディマーク72を表示する。

3D画像は、カラー画像データ22のボリュームデータを用いて、ボリュームレンダリング法で生成する。ボリュームレンダリング法とは、三次元可視化画像を生成するための代表的な処理であり、オパシティ(不透明度)の調整により表示対象の選択や内部構造の透視を行うことができる。(詳細は。例えば、「Barthold Lichtenbelt, et al著、Introduction to Volume rendering, Hewlett-Packard Professional Books」に記載されている)

本画像生成装置は、エンハンス効果が現れた時刻T、輝度値I、エンハンス効果の度合いDの内の少なくとも一つの特徴量に応じてオパシティを設定することができるようにしておく。例えば、(数3)のように、オパシティOを、エンハンス効果が現れた時刻Tと、エンハンス効果の度合いDと、CT値Iの関数として定義しておく。なお、オパシティOを、エンハンス効果が現れた時刻Tと、エンハンス効果の度合いDと、CT値Iの内のいずれか1つ又は2つの関数としても良い。
(数３)
O＝f(T、D、I)

このオパシティOを求めるステップは、例えば前述の図6におけるステップS4dとステップS4eとの間に挿入されて、臓器毎又は画素毎にオパシティが求められる。或いは、ステップS4とステップS5との間に挿入されて臓器毎又は画素毎のオパシティOを求めても良い。そして、全ての臓器又は画素の色づけとオパシティが求められた後に、上記ボリュームレンダリング法を用いて、カラー3D合成画像が生成されるステップを有し、この後に前述の表示ステップS5で、表示部11にカラー3D画像が表示される。

表示部11には、例えば、オパシティOとエンハンス効果が現れた時刻Tとの関係をグラフとして表した、オパシティ曲線73が表示される。操作者は、マウスなどを用いてオパシティ曲線を変更できるようにしておく。これにより、エンハンス効果が現れた時刻毎に、操作者は、表示対象を選択することや内部構造の透視を行うことができる。

例えば、時相2のオパシティ値が大きく設定され、時相2以外のオパシティ値が小さく設定されると、時相2にエンハンス効果が得られた部位が抽出された3D画像が生成されることになる。

なお、オパシティ曲線73は、オパシティOとエンハンス効果の度合いDとの関係を示すものを表示してもよいし、オパシティOと輝度値Iとの関係を示すものを表示してもよい。操作者のラジオボタン28a、28b、28cの選択に対応して、表示が切り替えられるようにしておく。

このような超音波診断装置における画像生成装置によれば、超音波像と、それと同一断面の断層像とを同時に表示することができる。また、前述の第1の実施形態で説明したように、断層像はカラー表示によって強調されているため、操作者は両者を対比しながら総合的な診断を一層容易に行うことができる。

しかも、前述の第1の実施形態と同様にエンハンス効果の度合いDを表す特徴量としての輝度値変化量Dnを用いているため、骨のようにエンハンス効果がない組織の場合は輝度値変化量Dnが小さくグレースケールで表示される。一方、血管などのようにエンハンス効果がある場合は輝度値変化量Dnが大きく色づけ表示される。両者のこのような差異のために、操作者は両者を区別して血流の有無を把握し易くなる。また、エンハンス効果によって強調された組織を表現する特徴量として、輝度値の最大(最小)値Inを採用し、さらに、エンハンス効果が現れた時刻を表す特徴量として、輝度値が最大(最小)となる時刻Tnを採用してカラー画像に反映されるようにしているため、エンハンス効果が現れた時刻によって、色合いが、赤色、黄色、緑色、青色と変化して表示され、造影剤が時々刻々と進んでいく様子が一枚の画像上で表示できるようになる。

Claims

造影剤が注入された被検体を撮影して時相の異なる複数の断層像を取得する断層像取得ステップと、
前記被検体の超音波画像を取得する超音波画像取得ステップと、
前記取得した超音波画像と同一断面を含む断層像の各々から同一位置の画素の輝度値を取得する輝度値取得ステップと、
前記輝度値の時間的変化に基づいて、前記造影剤による前記輝度値の時間的変化を表す特徴量を取得する特徴量取得ステップと、
前記特徴量をそれぞれ異なる色情報に変換する色情報変換ステップと、
前記色情報に基づいて、前記輝度値の時間的変化の情報を表すために前記画素の色づけを行う画素色づけステップと、
前記断層像の画素毎に前記輝度値取得ステップ、特徴量取得ステップ、色情報変換ステップ及び画素色づけステップを繰り返して、前記色づけされたカラー画像を生成するカラー画像生成ステップと、
を含む画像生成方法であって、
前記特徴量取得ステップは、前記複数の断層像の中で前記画素の輝度値が最大となった時刻と、前記造影剤による前記画素の輝度値の増加量を取得し、
前記色情報変換ステップは、前記時刻を色相成分、前記画素の輝度値の増加量を彩度成分及び前記輝度値を明度成分とするHSV表色系にそれぞれ変換し、
前記カラー画像生成ステップは、前記HSV表色系に変換された断層像を生成することを特徴とする画像生成方法。
前記色情報に変換される前記特徴量の範囲とレベルの内の少なくとも一方に基づき前記カラー画像における色づけを調整する調整ステップをさらに含むことを特徴とする請求項1記載の画像生成方法。
前記調整ステップは、前記色情報に変換される前記特徴量の範囲とレベルの内の少なくとも一方が連続的に変更されることによって、前記カラー画像を動画として生成することを特徴とする請求項2記載の画像生成方法。
造影剤が注入された被検体を撮影して取得された時相の異なる複数の断層像を入力する入力手段と、
前記被検体の超音波画像を取得する超音波画像取得手段と、
前記取得した超音波画像と同一断面を含む断層像を記憶する記憶手段と、
前記時相の異なる複数の画像データから、前記造影剤による組織の時間的変化を表す一以上の特徴量を画素毎に抽出してそれぞれ異なる色情報に変換し、前記断層像の画素毎にその時間的変化の情報を表すように色づけされたカラー画像を生成する演算手段と、を備えた画像生成装置であって、前記演算手段は、前記複数の画像データの中で前記画素の輝度値が最大となった時刻と、前記造影剤による前記画素の輝度値の増加量を取得し、前記時刻を色相成分、前記画素の輝度値の増加量を彩度成分及び前記輝度値を明度成分とするHSV表色系にそれぞれ変換し、前記HSV表色系に変換された断層像を生成することを特徴とする画像生成装置。