本実施形態に係る超音波診断装置及び医用画像処理装置について、添付図面を参照して説明する。
1.本実施形態に係る超音波診断装置
図1は、本実施形態に係る超音波診断装置の構成を示す概略図である。
図1は、本実施形態に係る超音波診断装置10を示す。超音波診断装置10は、超音波プローブ11、磁場送信器12、及びセンサ13、装置本体14を備える。なお、装置本体14のみを超音波診断装置と称する場合もあり、その場合、超音波診断装置は、超音波診断装置の外部に設けられる超音波プローブ、磁場送信器、及びセンサと接続される。
超音波プローブ11は、被検体(例えば、患者)に対して超音波の送受波を行う。超音波プローブ11は、被検体の表面に対してその前面を接触させ超音波の送受波を行うものであり、1次元(1D)又は2次元(2D)に配列された複数個の微小な振動子(圧電素子)をその先端部に有している。この振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルスに変換し、又、受信時には反射波を電気信号(受信信号)に変換する機能を有している。
超音波プローブ11は小型、軽量に構成されており、ケーブルを介して装置本体14に接続される。超音波プローブ11の種類としては、1Dアレイプローブや、メカ4Dプローブや、2Dアレイプローブ等が挙げられる。1Dアレイプローブは、複数の振動子が1次元的に配列された構成を有する。ここで、1Dアレイプローブは、エレベーション方向に少数の振動子が配列された構成も含む。
図2は、超音波プローブ11の走査面を説明するための図である。
図2は、操作者が超音波プローブ11としての1Dアレイプローブを移動操作する場合の走査面Pの移動を示す。この場合、センサ13も走査面Pも1Dアレイプローブ11に対して位置が固定されているので、センサ13から走査面Pまでの幾何学的位置関係を換算すれば、センサ13の位置情報から走査面Pの位置情報を得ることができる。操作者が1Dアレイプローブ11を走査面Pと交差する方向に移動させることで、いわゆる3次元走査が行われる。1Dアレイプローブ11の移動(動かす)には、平行移動・煽り・回転等が含まれ、以下同様である。
図1の説明に戻って、磁場送信器12は、センサ13が磁場送信器12から発生する磁場の有効範囲内に入るように、超音波プローブ11の近傍に配置される。磁場送信器12は、装置本体14による制御により、磁場を発生する。
センサ13は、超音波プローブ11の、時系列に複数の位置情報を検知して、装置本体14に出力する。センサ13としては、超音波プローブ11に取り付けられるタイプのセンサと、超音波プローブ11とは別体で設けられるタイプのセンサとがある。後者のセンサは、光学式センサであり、測定対象である超音波プローブ11の特徴点を複数位置から撮影し、三角測量の原理で超音波プローブ11の各位置を検出する。以下、センサ13が前者のセンサである場合について説明する。
センサ13は、超音波プローブ11に取り付けられ、自身の位置情報を検知して、装置本体14に出力する。センサ13の位置情報を、超音波プローブ11の位置情報と見なすこともできる。超音波プローブ11の位置情報は、超音波プローブ11の位置及び姿勢(傾き角)を含む。例えば、磁場送信器12が3軸の磁場を順次送信しその磁場をセンサ13で順次受信することにより超音波プローブ11の姿勢が検知され得る。また、センサ13は、3次元空間における3軸の角速度を検知する3軸ジャイロセンサ、3次元空間における3軸の加速度を検知する3軸加速度センサ、3次元空間における3軸の地磁気を検知する3軸地磁気センサのうち少なくともいずれかを含む、いわゆる9軸センサであってもよい。
装置本体14は、送受信回路21、2次元画像生成回路22、2次元メモリ23、位置情報収集回路24、位置情報対応付け回路25、処理回路26、ボリューム生成回路27、3次元メモリ28、3次元画像生成回路29、制御回路30、記憶回路31、入力回路32、及びディスプレイ33を備える。送受信回路21、2次元画像生成回路22、位置情報収集回路24、位置情報対応付け回路25、処理回路26、ボリューム生成回路27、3次元画像生成回路29は、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)等によって構成される。
送受信回路21は、制御回路30からの制御信号に従って、超音波プローブ11に超音波を送波させると共に、超音波プローブで受波された超音波に基づく信号(受信信号)を受信する。送受信回路21は、超音波プローブ11から送信波を放射させるための駆動信号を生成する送信回路と、超音波プローブ11からの受信信号に対して整相加算を行う受信回路を備える。
送信回路は、レートパルス発生器、送信遅延回路、及びパルサを備える。レートパルス発生器は、送信波の繰り返し周期を決定するレートパルスを、基準信号発生回路から供給される連続波又は矩形波を分周することによって生成し、このレートパルスを送信遅延回路に供給する。送信遅延回路は、送信に使用される振動子と同数の独立な遅延回路から構成されており、送信において細いビーム幅を得るために所定の深さで送信波を収束するための遅延時間と所定の方向に送信波を放射するための遅延時間をレートパルスに与え、レートパルスをパルサに供給する。パルサは、独立な駆動回路を有し、超音波プローブ11に内蔵された振動子を駆動するための駆動パルスをレートパルスに基づいて生成する。
送受信回路21の受信回路は、プリアンプ、A/D(analog to digital)変換回路、受信遅延回路、及び加算回路を備える。プリアンプは、振動子によって電気的な受信信号に変換された微小信号を増幅して十分なS/Nを確保する。プリアンプにおいて所定の大きさに増幅された受信信号は、A/D変換回路にてデジタル信号に変換され、受信遅延回路に送られる。受信遅延回路は、所定の深さからの反射波を集束するための集束用遅延時間と、所定方向に対して受信指向性を設定するための偏向用遅延時間をA/D変換回路から出力される受信信号に与える。加算回路は、受信遅延回路からの受信信号を整相加算(所定の方向から得られた受信信号の位相を合わせて加算)する。
2次元画像生成回路22は、制御回路30からの制御信号に従って、送受信回路21の受信回路から入力された受信信号に基づいて、時系列で複数の2次元画像データ、つまり、複数フレームに係る2次元画像データを生成する。2次元画像データの種類としては、Bモード画像データ、カラーモード画像データ、エラストグラフィー等のアプリケーションモード画像データ、等が挙げられる。
2次元画像データの形態としては、ある時相に係る走査面P(図2に図示)内の複数のラスタデータから成るローデータ(Raw Data)や、ローデータがスキャンコンバージョン(SC:Scan Conversion)処理された後のSCデータが挙げられる。以下、2次元画像データが、ローデータがスキャンコンバージョン処理された後のSCデータである場合について説明する。
2次元メモリ23は、1フレーム当たり2軸方向に複数のメモリセルを備え、それを複数フレーム分備えた記憶回路である。2次元メモリ23は、2次元画像生成回路22によって生成された時系列で複数の2次元画像データを記憶する。超音波プローブ11は操作者によって移動操作されるので、時系列で複数の2次元画像データは、すなわち、複数位置におけるデータである。各2次元画像データがローデータである場合、各ローデータを構成する各ラスタデータには、システムタイマーを用いて、ラスタデータ収集に係る時刻データが付帯される。
位置情報収集回路24は、磁場送信器12を制御して磁場送信器12から磁場を送信させると共に、センサ13から超音波プローブ11の時系列で複数の位置情報を収集する。位置情報収集回路24は、各位置情報を、2次元画像データの位置情報、つまり、2次元画像データに係る走査面の位置情報として収集する。走査面の位置情報は、走査面の位置及び姿勢を含む。
位置情報収集回路24は、2次元画像データに係る走査面の各点までの幾何学的位置関係に基づいて、センサ13の位置情報を2次元画像データに係る走査面の位置情報に換算することができる。
位置情報対応付け回路25は、2次元画像生成回路22によって生成された複数の2次元画像データのそれぞれに、位置情報収集回路24によって収集された位置情報を対応付ける。位置情報対応付け回路25は、複数の2次元画像データのそれぞれに付帯された時刻データと、複数の位置情報にそれぞれ付帯された時刻データとを比較し、各2次元画像データの時刻に最近接、直前、又は直後の時刻をもつ位置情報を当該2次元画像データに対応付ける。ここで、各2次元画像データがローデータである場合、各ローデータの時刻は、各ローデータを構成する複数のラスタデータのうち最初のラスタデータに付帯された時刻であってもよいし、中央のラスタデータに付帯された時刻であってもよいし、複数のラスタデータの平均時刻であってもよい。
なお、複数の2次元画像データと複数の位置情報との時刻を合わせる方法は、上記の場合に限定されるものではない。例えば、センサ13及び位置情報収集回路24による位置情報の収集を2次元画像データの収集に同期させることで、位置情報が、対応する2次元画像データに対応付けられてもよい。
位置情報対応付け回路25は、複数の2次元画像データのそれぞれに位置情報を対応付けるために、複数の2次元画像データのそれぞれに位置情報を付帯させることができる。例えば、位置情報対応付け回路25は、各2次元画像データのヘッダやフッタ等に位置情報を書込む。位置情報が付帯された複数の2次元画像データは2次元メモリ23に記憶される。
又は、位置情報対応付け回路25は、複数の2次元画像データのそれぞれに位置情報を対応付けるために、2次元画像データと位置情報とを対応テーブルに書込んでもよい。以下、複数の2次元画像データのそれぞれに位置情報を対応付けるために、複数の2次元画像データのそれぞれに位置情報が付帯される場合を例にとって説明する。
処理回路26は、複数の位置情報に従って3次元メモリ28に配列される複数の2次元画像データが3次元メモリ28のメモリ空間にほぼ収まるような処理を行う。ここで、当該処理は、(1)2次元メモリ23に記憶された複数の2次元画像データの全部が3次元メモリ28のメモリ空間に収まるような処理であるか、又は、(2)2次元メモリ23に記憶された複数の2次元画像データから選択された複数の2次元画像データの全部が3次元メモリ28のメモリ空間に収まるような処理である。
上記(2)の場合、2次元メモリ23に記憶された複数の2次元画像データは、選択される複数の2次元画像データと、非選択の1又は複数の2次元画像データとを含む(図3(B)に図示)。上記(2)の場合、非選択の2次元画像データは、当該処理によって、3次元メモリ28のメモリ空間に収まらなくてもよい。また、上記(2)の場合、処理回路26は、2次元メモリ23に記憶された複数の2次元画像データをディスプレイ33に複数の2次元画像として表示し、後述する入力回路32からの操作信号に従って、表示された複数の2次元画像から任意の複数の2次元画像データを選択する。
図3(A),(B)は、任意の複数の2次元画像データの選択方法の例を示す図である。
図3(A)に示すように、ディスプレイ33に、記憶された複数の2次元画像データが奥行方向に重ねられた状態で複数の2次元画像(断層画像)として表示される。表示される複数の2次元画像は、ローデータがスキャンコンバージョン処理された後のSCデータに基づく。また、ディスプレイ33に、記憶された複数の2次元画像データの中の、最前面の2次元画像データの位置(フレーム)を示すバーを含むスクロールバーが表示される。
操作者は、入力回路32(図1に図示)としてのトラックボール及びハードウェアボタンを使って、選択幅の始点(始点フレーム)及び終点(終点フレーム)を確定させる。
具体的には、操作者は、トラックボールを操作して複数の2次元画像を奥行方向にスクロールさせることで、最前面の2次元画像を変更する。操作者は、ディスプレイ33の最前面に表示された2次元画像が始点として適切であると判断すると、ハードウェアボタンを押下して始点を確定させる。その後、操作者は、トラックボールを操作して複数の2次元画像を奥行方向にスクロールさせることで、最前面の2次元画像を変更する。操作者は、スクロールの後に新たにディスプレイ33の最前面に表示された2次元画像が終点として適切であると判断すると、ハードウェアボタンを押下して終点を確定させる。このように確定された始点及び終点に基づいて選択される複数の2次元画像データの概念を図3(B)に示す。
なお、選択方法は上述した選択方向に限定されるものでない。例えば、操作者は、入力回路32としてのマウスと、ディスプレイ33に表示されるスクロールバー及びボタンとを使って、選択幅の始点及び終点を確定させてもよい。その場合、操作者は、マウスを使ってディスプレイ33上のスクロールバーのバーをスライドさせ複数の2次元画像を奥行方向にスクロールさせることで、最前面の2次元画像を変更する。操作者は、ディスプレイ33の最前面に表示された2次元画像が始点として適切であると判断すると、マウスを使ってディスプレイ33上の「始点」ボタンをクリックして始点を確定させる。その後、操作者は、マウスを使ってディスプレイ33上のスクロールバーのバーをスライドさせ複数の2次元画像を奥行方向にスクロールさせることで、最前面の2次元画像を変更する。操作者は、スクロールの後に新たにディスプレイ33の最前面に表示された2次元画像が終点として適切であると判断すると、マウスを使ってディスプレイ33上の「終点」ボタンをクリックして終点を確定させる。確定された始点及び終点に基づいて選択される複数の2次元画像データの概念は図3(B)に示される。
図1の説明に戻って、処理回路26は、処理の第1例として、処理対象の複数の2次元画像データが3次元メモリ空間にほぼ収まるような倍率を算出し、当該倍率にて処理対象の複数の2次元画像データの処理を行う。具体的には、処理回路26は、処理の第1例として、処理対象の複数の2次元画像データが3次元メモリ空間にほぼ収まるような拡大率又は縮小率を算出し、当該拡大率又は縮小率にて処理対象の複数の2次元画像データの拡大処理又は縮小処理を行う。以下、縮小処理の場合を用いて説明するので、縮小率及び縮小処理という用語を用いるが、拡大率及び拡大処理の場合を除外するものではない。ここで、処理対象の複数の2次元画像データとは、2次元メモリ23に記憶された複数の2次元画像データ(図3(B)に図示)、又は、2次元メモリ23に記憶された複数の2次元画像データから選択される複数の2次元画像データ(図3(B)に図示)であり、以下、「2次元画像データセット」と呼ばれる。
なお、処理回路26は、2次元画像データセットが3次元メモリ空間に収まり、かつ、2次元画像データセットのサイズ(大きさ)が最大となる場合の縮小率を採用することが好適である。処理回路26における縮小処理については、主に図6〜図8を用いて後述する。
処理回路26は、処理の第2例として、2次元画像データセットが3次元メモリ空間にほぼ収まるような2次元画像データセットの向きを算出し、当該向きに従って2次元画像データセットの向き変更処理を行う。なお、処理回路26は、向き変更処理により2次元画像データセットが3次元メモリ空間に収まる場合、向き変更処理後の2次元画像データセットのサイズが最大となるように2次元画像データセットを拡大してもよい。つまり、処理回路26は、2次元画像データセットのサイズを優先し、サイズが最大となるような向きを算出してもよい。処理回路26における向き変更処理については、主に図9(A),(B)を用いて後述する。
処理回路26は、処理の第3例として、2次元画像データセットに、向き変更処理と縮小処理とを組み合わせた処理を行う。処理回路26は、2次元画像データセットの適切な向きを算出し、当該向きに従って2次元画像データセットの向き変更処理を行う。続いて、処理回路26は、向き変更処理後の2次元画像データセットがメモリ空間にほぼ収まるような縮小率を算出し、当該縮小率にて、向き変更処理後の2次元画像データセットの縮小処理を行う。なお、処理回路26は、2次元画像データセットのサイズが最大となる縮小率を含む組を採用することが好適である。処理回路26における向き変更処理と縮小処理との組み合わせ処理については、主に図10〜図11を用いて後述する。
ボリューム生成回路27は、処理回路26により処理され3次元メモリ28に配列された2次元画像データセットに対し、必要に応じて補間処理を行う3次元再構成を行うことで、3次元メモリ28内にボリュームデータを生成する。補間処理方法としては、公知の技術が用いられる。公知の技術として、例えば、非特許文献(Trobaugh, J.W., Trobaugh, D.J., Richard W.D. "Three-Dimensional Imaging with Stereotactic Ultrasonography", Computerized Medical Imaging and Graphics, 18:5, 315-323, 1994.)に記載された技術が挙げられる。
非特許文献の技術は、隣り合う2フレーム分の2次元画像データを、位置情報を用いて空間上に配列し、その間の面上のピクセル値を、近接点(ピクセル)の値から、ニアレストネイバー(nearest neighbor)、バイリニア補間(bilinear interpolation)、バイキュービック補間(bicubic interpolation)、等の補間により求めるものである。ボリューム生成回路27は、収集された複数の位置情報を処理回路26による処理に従ってそれぞれ補正し、補正後の複数の位置情報に従って配置された複数の2次元画像データに基づいて、非特許文献の技術を使って、ボリュームデータを生成する。
3次元メモリ28は、3軸方向(X軸、Y軸、及びZ軸方向)に複数のメモリセルを備えた記憶回路である。3次元メモリ28は、ボリューム生成回路27によって生成されたボリュームデータを記憶する。
図4は、3次元メモリ空間とボリュームデータとの関係を示す図である。
超音波プローブ11の走査方式がコンベックスである場合を例にとって説明する。図4の左側に示す2次元画像データは、ローデータであるので、扇状はしていない。ローデータは、複数のラスタデータ、例えば、300個のラスタデータを有する。
また、図4の右側に示すように、ボリュームデータは、ローデータ形式で、奥行き方向には複数のフレームをもつ。また、ボリュームデータの各フレーム内は、扇形をした、SCデータのような形状をもつ。すなわち、コンベックスの場合に、ボリュームデータは、あたかもリニアプローブのローデータのような形式で、3次元メモリ28の3次元メモリ空間内にコンベックス形状のデータをもつ。
3次元メモリ空間内のコンベックス形状外でデータの無いメモリセルには、例えば「0」の値が設定される。現存するレンダラが入力としてローデータを読込んでいるので、ボリュームデータをローデータ形式で持つことにより、現存のレンダラをそのまま適用することができ、しかもデータ領域の形状を表示領域と合わせて四角形とすることにより、無駄の無いデータ領域を確保することができる。
以下、説明を分かり易くするため、コンベックス形状内の実際にデータをもつボリュームデータが生成される領域を、3次元再構成を行う前の「2次元画像データセット」と、また、データの無い「0」のメモリセルまで含めた直方体の領域を「3次元メモリ空間」と呼んで区別する。この場合、2次元画像データセットと3次元メモリ空間とのサンプル数、ラスタ数、フレーム数は一般に異なる。例えば、図4では、2次元画像データセットのサンプル数が1024、ラスタ数が300であり、3次元メモリ空間のサンプル数が1024、ラスタ数が1024、フレーム数が300である。1ピクセルのデータ長を1バイト(1B)とすれば、3次元メモリ空間の容量は300MB(1B*1024sample*1024raster*300fr)となる。
図1の説明に戻って、3次元画像生成回路29は、3次元メモリ28に記憶されたボリュームデータに、MPR(Multi-Planar Reconstruction)処理、ボリュームレンダリング処理、サーフェスレンダリング処理、及びMIP(Maximum Intensity Projection)処理等の3次元画像処理を施す。また、3次元画像生成回路29は、ボリュームデータに3次元画像処理を施すことで、MPR画像データ、ボリュームレンダリング画像データ、サーフェスレンダリング画像データ、MIP画像データ等の3次元画像データを生成する。そして、3次元画像生成回路29は、3次元画像データを3次元画像としてディスプレイ33に表示させる。
制御回路30は、専用又は汎用のCPU(central processing unit)、MPU(micro processor unit)、又はGPU(Graphics Processing Unit)の他、特定用途向け集積回路(ASIC:application specific integrated circuit)、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス(SPLD:simple programmable logic device)、複合プログラマブル論理デバイス(CPLD:complex programmable logic device)、及び、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)等が挙げられる。制御回路30は記憶回路31に記憶された、又は、制御回路30内に直接組み込まれたプログラムを読み出して実行することで、各部21〜29,31〜33の処理動作を統括的に制御する。
また、制御回路30は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合わせによって構成されてもよい。後者の場合、プログラムを記憶する記憶回路31は回路要素ごとに個別に設けられてもよいし、単一の記憶回路31が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。
記憶回路31は、RAM(random access memory)、フラッシュメモリ(flash memory)等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。記憶回路31は、USB(universal serial bus)メモリ及びDVD(digital video disk)等の可搬型メディアによって構成されてもよい。記憶回路31は、制御回路30において用いられる各種処理プログラム(アプリケーションプログラムの他、OS(operating system)等も含まれる)や、プログラムの実行に必要なデータを記憶する。また、OSに、操作者に対するディスプレイ33への情報の表示にグラフィックを多用し、基礎的な操作を入力回路32によって行うことができるGUI(graphical user interface)を含めることもできる。
入力回路32は、操作者によって操作が可能な入力デバイスからの信号を入力する回路であり、ここでは、入力デバイス自体も入力回路32に含まれるものとする。入力デバイスは、ポインティングデバイス(例えばマウス)、キーボード、トラックボール、及び各種ボタン等を含む。操作者により入力デバイスが操作されると、入力回路32はその操作に応じた入力信号を生成して制御回路30に出力する。なお、装置本体14は、入力デバイスがディスプレイ33と一体に構成されたタッチパネルを備えてもよい。
入力回路32は、操作者によって設定された送信条件を、制御回路30に出力する。送信条件とは、例えば超音波プロ−ブ11を介して送信される超音波の中心周波数等である。中心周波数は、スイープ方式(リニア、コンベックス、及びセクタ等)、被検体の診断対象部位、超音波診断のモード(Bモード、ドプラモード、及びカラードプラモード等)、被検体表面から診断対象部位までの距離等によってそれぞれ異なる。
また、入力回路32は、操作者が操作可能なデータ収集開始のボタンや、データ収集終了のボタンや、処理回路26による処理を行うか否かを切り替えるスイッチ等を含む。
ディスプレイ33は、液晶ディスプレイやOLED(organic light emitting diode)ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ33は、制御回路30の制御に従って3次元画像生成回路29等によって生成された3次元画像データを3次元画像として表示する。
処理回路26による処理について、図5〜図11を用いて説明する。
図5(A)〜(E)は、超音波プローブ11によるスイープ形式の種類を示す図である。
図5(A)〜(E)は、5種類のスイープ形式を示す。これらいずれのスイープが行われても、2次元画像データセットが3次元メモリ28の3次元メモリ空間内に収まるように、2次元画像データセットに対して3次元的に縮小処理が行われる。
処理回路26による縮小処理について、図6〜図8を用いて説明する。
図6(A),(B)は、処理回路26による縮小処理の概要を示す図である。
以降、理解を容易にするため2次元画像データセットをSCデータ形式で図示する。3次元メモリ28の3次元メモリ空間と、2次元画像データセットの大きさとの関係で、複数の位置情報に従ってそれぞれ配列された2次元画像データセットの一部が、3次元メモリ空間に収まらない場合がある(図6(A))。このような場合、一部のデータが不足した2次元画像データセットに基づくボリュームデータが生成されることになる。これにより、ボリュームデータに基づく3次元画像による診断能が低下してしまう。
そこで、2次元画像データセットの一部が3次元メモリ空間に収まらない場合に、2次元画像データセット全体が3次元メモリ28の3次元メモリ空間内に収まるような縮小率が算出され、2次元画像データセットに対して当該縮小率にて3次元的な縮小処理が行われる(図6(B))。これにより、3次元メモリ空間から2次元画像データセットが全くはみ出さなくなる。すなわち、2次元画像データセット全体に基づくボリュームデータに基づく3次元画像を表示できるので、診断能が向上する。
ここで、2次元画像データセットの縮小処理における縮小率について説明する。
図7(A),(B)は、2次元画像データセットの縮小率を説明するための図である。
図7(A)は、2次元画像データセットを正面から見た図、すなわち、3次元メモリ空間のX−Y面を示す図を示す。図7(B)は、2次元画像データセットを側面から見た図、すなわち、3次元メモリ空間のZ−Y面を示す図を示す。図7(A),(B)において、3次元メモリ空間のX軸、Y軸、Z軸方向における、2次元画像データセットの広がりをそれぞれDx,Dy,Dzと定義する。
図7(A)において、3次元メモリ空間のX−Y面内の縮小処理について説明する。3次元メモリ空間のX−Y面(フレーム面)のサンプルピッチと、ラスタピッチを同じとする。例えば、Dx>Dyならば、Dxのサイズがラスタの両端一杯になるように、2次元画像データセットが、X軸、Y軸方向において等倍で縮小処理される。この場合、Dyは3次元メモリ空間のY軸方向の長さよりも小さいので、上下に空間ができる。なお、各2次元画像データの走査面上の各点の位置は、前述したように、超音波プローブ11の位置及び姿勢から換算される。
一般には、サンプルピッチとラスタピッチは異なってもよく、Dx、Dyの縮小処理も等倍でなくてもよい。この場合、Dxのサイズをラスタの両端一杯になるようにし、Dyのサイズを3次元メモリ空間のY軸方向の長さになるようにすることができる。
図8は、3次元メモリ空間のZ軸方向の縮小処理を説明するための図である。
2次元画像データセットを構成する処理対象の複数の2次元画像データから3次元再構成されたボリュームデータのフレームサイズ(枚数)が3次元メモリ28の3次元メモリ空間におけるZ軸方向のフレームサイズを超える場合(図8の上段)、フレームピッチが粗くされる。2次元画像データセットのDz(図7(B))が、3次元メモリ空間のZ軸方向のフレームサイズを超えないように縮小処理される。例えば、図8の上段において、サンプルピッチが0.146[mm]、深さが15[cm]、1024[個]のサンプル数とする場合、超音波の空間分解能から考えて一般にフレームピッチはサンプルピッチよりも大きくてよいので、フレームピッチを0.146[mm]より小さくしなくてもよい。
初期設定において、ボリュームデータの長さが12[cm]、フレームピッチが0.146[mm]、フレーム数が821[fr(12cm/0.146mm)]である場合、ボリュームデータのサイズは821[MB(1B*1024sample*1024raster*821fr)]となる。この場合、ボリュームデータのサイズ821[MB]が3次元メモリ空間のメモリサイズ300[MB]を越えるので、2次元画像データセットの縮小処理が必要となる。そこで、縮小率を300[MB]/821[MB](= 0.365)として2次元画像データセットが縮小処理されると、縮小処理後の2次元画像データセットを3次元再構成したボリュームデータの長さが12[cm]、フレームピッチが0.400[mm(0.146[mm]/0.365)]、フレーム数が300[fr(821fr*0.365)]となり、ボリュームデータのサイズが300[MB(1B*1024sample*1024raster*300fr)]となる。すなわち、縮小処理後の2次元画像データセットを3次元再構成したボリュームデータのサイズ300[MB]は、3次元メモリ空間のメモリサイズ300[MB]を超えない。
このように、Z軸方向の縮小処理は、X−Y面内の縮小処理とは独立に行うことができる。一般にZ軸方向のフレームピッチはX−Y面内のサンプルピッチ、ラスタピッチとは異なるが、この3つのピッチを同じにしてもよい。この場合、3つのピッチの内一番粗いピッチを採用することになる。
以上のように、処理回路26が2次元画像データセットを縮小処理することにより、2次元画像データセットが3次元メモリ空間内に収まるので、データが欠落せず、診断能の高い超音波診断装置を提供することができる。
続いて、処理回路26による向き変更処理について、図9を用いて説明する。
図9(A),(B)は、処理回路26による向き変更処理の概要を示す図である。
3次元メモリ28の3次元メモリ空間と、2次元画像データセットの大きさとの関係で、複数の位置情報に従ってそれぞれ配列された2次元画像データセットの一部が、3次元メモリ空間に収まらない場合がある(図9(A))。このような場合、一部のデータが不足した2次元画像データセットに基づくボリュームデータが生成されることになる。これにより、ボリュームデータに基づく3次元画像による診断能が低下してしまう。
そこで、2次元画像データセットの一部が3次元メモリ空間に収まらない場合に、2次元画像データセットが3次元メモリ28の3次元メモリ空間内に収まるような2次元画像データセットの向きが算出され、2次元画像データセットに対して当該向きにて3次元的な向き変更処理が行われる(図9(B))。すなわち、2次元画像データセットに含まれる先頭フレームに係る2次元画像データの向きG1が、向きG2に変更されることで2次元画像データセットの向きが変更される。なお、先頭フレームに係る2次元画像データの3次元メモリ28における向き変更前の位置H1は、2次元画像データセットが3次元メモリ28の3次元メモリ空間内に収まるような向きG2への向き変更処理によって、位置H2にシフトされる。これにより、3次元メモリ空間から2次元画像データセットが全くはみ出さなくなる。すなわち、2次元画像データセットの全体に基づくボリュームデータに基づく3次元画像を表示できるので、診断能が向上する。
また、処理回路26は、上述の向き変更処理を行った後、更に、向き変更処理後の2次元画像データセットに縮小処理を施すこともできる。
続いて、処理回路26による向き変更処理と縮小処理との組み合わせ処理について、図10〜図11を用いて説明する。
図10(A)〜(C)は、処理回路26による向き変更処理と縮小処理との組み合わせ処理の概要を示す図である。
図10(A),(B)は、図6(A),(B)と同一である。2次元画像データセットの一部が、3次元メモリ28の3次元メモリ空間に収まらない場合に、2次元画像データセットの向きが3次元的に適切に調整された上で、2次元画像データセットが3次元メモリ空間内に収まるように3次元的に縮小処理される(図10(C))。これにより、図10(A)と比較して3次元メモリ空間から2次元画像データセットがはみ出さなくなり、かつ、図10(B)と比較して空間分解能が適切に設定される。すなわち、2次元画像データセットの全体に基づき、適切な空間分解能のボリュームデータに基づく3次元画像を表示できるので、さらに診断能が向上する。
ここで、向き変更処理と縮小処理との組み合わせ処理における、2次元画像データセットの向き変更処理について説明する。
図11(A)〜(D)は、組み合わせ処理における2次元画像データセットの向きの設定方法を説明するための図である。
図11(A)は、複数の位置情報に従ってそれぞれ配列された2次元画像データセットを示す。2次元画像データセットから中央のフレームの2次元画像データFcが選択される。例えば、200フレーム分の2次元画像データが収集された場合、中央のフレームは第100フレームである。そして、2次元画像データFcの向きが、2次元画像データセットの向きとされる。すなわち、図11(B)に示す2次元画像データFcのXc,Yc,Zc軸が、2次元画像データセットのX,Y,Z軸とされ、図11(C)に示す3次元メモリ空間のX,Y,Z軸とされる。なお、原点は一致しなくてもよい。
なお、図11(A)に示す2次元画像データFcが手振れ等により、向き変更処理後の2次元画像データセットの向きが適切でない場合もあり得る。2次元画像データFcが、超音波プローブ11が意図せず傾いてしまったときに得られたものである場合等である。そこで、中央のフレームの近傍の数フレーム、例えば7フレーム分の2次元画像データFcs(図11(D))について2次元画像データセットの向きをそれぞれ算出し、それらの向きのメディアンを2次元画像データセットの向きとすればよい。
以上のように、処理回路26が2次元画像データセットの向きを適切に調整した上で、2次元画像データセットを縮小処理することにより、3次元メモリ空間の空きスペースを減少させ、3次元画像データを大きくでき、3次元画像データの空間分解能を可能な限り高く設定でき、診断能がさらに向上する。
続いて、図1及び図12を用いて超音波診断装置10の動作について説明する。
図12は、超音波診断装置10の動作を示すフローチャートである。図12では、処理回路26が2次元画像データセットに対して縮小処理を行う場合について説明する。
送受信回路21は、入力回路32としてのデータ収集開始のボタンが操作者によって押圧されると、超音波プローブ11を制御して超音波の送受信を実行させ、複数のフレームに係るデータ収集を行う(ステップST1)。2次元画像生成回路22は、ステップST1によって収集されたデータに基づいて、時系列で複数の2次元画像データを生成する(ステップST2)。
位置情報収集回路24は、センサ13から超音波プローブ11の複数の位置情報を、各2次元画像データの位置情報として収集する(ステップST3)。位置情報対応付け回路25は、ステップST2によって生成された各2次元画像データに、ステップST3によって収集された位置情報を付帯する(ステップST4)。ステップST4によって位置情報が付帯された複数の2次元画像データは、2次元メモリ23に記憶される。
処理回路26は、位置情報対応付け回路25によって付帯された複数の位置情報に従って3次元メモリ28に配列される2次元画像データセットが、3次元メモリ28の3次元メモリ空間に収まるか否かを判断する(ステップST5)。ステップST5では、処理回路26は、2次元画像データセットのうち先頭フレームに係る2次元画像データの向きを3次元メモリ空間に向きに合わせ、後に続くフレームに係る2次元画像データを適宜配列する。そして、処理回路26は、2次元画像データセットが3次元メモリ空間に収まるか否かを判断する。前述したように、2次元画像データセットとは、処理対象の複数の2次元画像データを指し、2次元メモリ23に記憶された複数の2次元画像データ(図3(B)に図示)、又は、2次元メモリ23に記憶された複数の2次元画像データから選択される複数の2次元画像データ(図3(B)に図示)を指す。
ステップST5の判断にてYES、すなわち、2次元画像データセットが、3次元メモリ28の3次元メモリ空間に収まると判断される場合、ボリューム生成回路27は、従来技術に従って3次元メモリ28に配列された2次元画像データセットに対し、必要に応じて補間処理を行う3次元再構成を行うことで、3次元メモリ28内にボリュームデータを生成する(ステップST6)。
一方、ステップST5の判断にてNO、すなわち、2次元画像データセットの一部が、3次元メモリ28の3次元メモリ空間に収まらないと判断される場合、処理回路26は、2次元画像データセットに縮小処理を施す(ステップST7)。ステップST7による縮小処理ついては、図6〜図8を用いて説明したとおりである。
ボリューム生成回路27は、3次元メモリ28に配列された縮小処理後の2次元画像データセットに対し、必要に応じて補間処理を行う3次元再構成を行うことで、3次元メモリ28内にボリュームデータを生成する(ステップST8)。
3次元画像生成回路29は、ステップST6又はST8によって3次元メモリ28内に生成されたボリュームデータに3次元画像処理を施すことで、3次元画像データを生成する(ステップST9)。そして、3次元画像生成回路29は、3次元画像データを3次元画像としてディスプレイ33に表示させる(ステップST10)。
超音波診断装置10によると、複数の位置情報に従って3次元メモリ28に配列される2次元画像データセットが3次元メモリ28のメモリ空間にほぼ収まるような処理を行うことで、2次元画像データセットに基づいて表示される3次元画像による診断能を向上させることができる。さらに、超音波診断装置10によると、2次元画像データセットの向きを調整した上で調整後の2次元画像データセットを縮小処理することで、空間分解能が考慮されるので、2次元画像データセットに基づいて表示される3次元画像による診断能をさらに向上させることができる。
2.第1の変形例
図4を用いて説明したように、3次元メモリ28の3次元メモリ空間のフレームをあたかもリニアプローブのローデータのような形式にしたが、別の方法もある。すなわち、3次元メモリ空間のサンプル数とラスタ数を2次元画像データ(ローデータ)と同じにし、3次元メモリ空間のフレームを2次元画像データと全く同じ扱いにする方法である。この方法の利点は、2次元画像データのヘッダやフッタをそのまま使うことができる点である。ただし、この方法では、3次元メモリ空間のフレームをレンダラで読込んだ際に例えばコンベックス形状に展開するので、表示範囲が展開されたコンベックス領域に制限されることになる。
3.第2の変形例
図11(A)を用いて、中央のフレームの2次元画像データFcに基づいて決定される2次元画像データセットの向きにおいて2次元画像データセットの縮小率が算出される場合について説明した。また、図11(D)を用いて、中央のフレームを含む複数のフレームの2次元画像データFcsに基づいて決定される2次元画像データセットの向きにおいて2次元画像データセットの縮小率が算出される場合について説明した。しかしながら、それらの場合に限定されるものではない。処理回路26は、最小の縮小率(最も縮小をしない)とそれに対応する向きとに基づいて2次元画像データセットの縮小処理及び向き変更処理を行ってもよい。
具体的には、処理回路26は、2次元画像データセットのうち離間する複数の2次元画像データに関する複数の向きをそれぞれ決定する。処理回路26は、複数の向きに従って2次元画像データセットの向き変更処理を行った場合の複数の縮小率をそれぞれ算出する。ここで、各縮小率は、2次元画像データセットが3次元メモリ空間に収まる場合における縮小率を意味する。処理回路26は、複数の縮小率のうち最小値を縮小率として採用し、最小値に相当する向きに従って2次元画像データセットの向き変更処理を行うと共に、最小値に相当する縮小率にて2次元画像データセットの縮小処理を行う。
図13は、2次元画像データセットのうち離間する複数の2次元画像データを示す図である。
図13に示すように、2次元画像データセットに含まれる離間する4個の2次元画像データFc1〜Fc4が設定される。4個の2次元画像データFc1〜Fc4に基づいて決定される2次元画像データセットの4個の向きにおいて、4個の縮小率がそれぞれ算出され、それらの最小値が2次元画像データセットの縮小率として採用される。その場合、最小値に相当するものが2次元画像データセットの向きとして採用される。
このように、空間分解能がより考慮されるので、2次元画像データセットに基づいて表示される3次元画像による診断能をさらに向上させることができる。
なお、処理回路26は、最大の拡大率(最も拡大する)とそれに対応する向きとに基づいて2次元画像データセットの拡大処理及び向き変更処理を行ってもよい。その場合、処理回路26は、2次元画像データセットのうち離間する複数の2次元画像データに関する複数の向きをそれぞれ決定する。処理回路26は、複数の向きに従って2次元画像データセットの向き変更処理を行った場合の複数の拡大率をそれぞれ算出する。ここで、各拡大率は、2次元画像データセットが3次元メモリ空間に収まる場合における拡大率を意味する。処理回路26は、複数の拡大率のうち最大値を拡大率として採用し、最大値に相当する向きに従って2次元画像データセットの向き変更処理を行うと共に、最大値に相当する拡大率にて2次元画像データセットの拡大処理を行う。
4.第3の変形例
以上は、2次元画像データの収集終了後、縮小処理を行い、ボリュームデータを生成し、表示する場合を想定して記述したが、その場合に限定されるものではない。例えば、2次元画像データ収集を行いながら、縮小処理を行い、ボリュームデータを生成し、リアルタイムで表示することもできる。この場合、収集中の各時点で収集済みの2次元画像データを用いて本発明の処理を行うことになる。
1つの方法として、2次元画像データのフレームが追加される度に本発明の処理を更新する方法がある。ただし、装置の負荷が大きくなるので、簡略な方法として、図10(A)の3次元メモリ空間のX軸、Y軸、Z軸方向の枠から2次元画像データがはみ出したとき更新する方法がある。さらに簡略な方法としては、Z軸方向の枠から2次元画像データがはみ出したとき縮小率を最適化せず大きくしてZ軸方向のメモリに余裕がある状態を作って継続する方法がある。
5.本実施形態に係る医用画像処理装置
図14は、本実施形態に係る医用画像処理装置の構成を示す概略図である。
図14は、本実施形態に係る医用画像処理装置50を示す。医用画像処理装置50は、図示しない医用画像管理装置(画像サーバ)や、ワークステーションや、図示しない読影端末等であり、ネットワークを介して接続された医用画像システム上に設けられる。また、医用画像処理装置50は、オフラインの装置であってもよい。
医用画像処理装置50は、制御回路51、記憶回路52、入力回路53、ディスプレイ54、通信制御回路55、2次元メモリ56、及び3次元メモリ57を備える。
制御回路51は、図1に示す制御回路30と同等の構成を備える。制御回路51は、記憶回路52に記憶された、又は、制御回路51内に直接組み込まれたプログラムを読み出して実行することで、各部52〜57の処理動作を統括的に制御する。
記憶回路52は、図1に示す記憶回路31と同等の構成を備える。記憶回路52は、制御回路51において用いられる各種処理プログラムや、プログラムの実行に必要なデータを記憶する。また、OSに、操作者に対するディスプレイ54への情報の表示にグラフィックを多用し、基礎的な操作を入力回路53によって行うことができるGUIを含めることもできる。
入力回路53は、図1に示す入力回路32と同等の構成を備える。操作者により入力デバイスが操作されると、入力回路53はその操作に応じた入力信号を生成して制御回路51に出力する。なお、医用画像処理装置50は、入力デバイスがディスプレイ54と一体に構成されたタッチパネルを備えてもよい。
ディスプレイ54は、図1に示すディスプレイ33と同等の構成を備える。ディスプレイ54は、制御回路51の制御に従って生成された3次元画像データ等を3次元画像として表示する。
通信制御回路55は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成される。通信制御回路55は、各規格に応じた通信制御を行い、電話回線を通じてネットワークに接続することができる機能を有しており、これにより、医用画像処理装置50をネットワークに接続させる。
2次元メモリ56は、図1に示す2次元メモリ23と同等の構成を備える。2次元メモリ56は、通信制御回路55を介して送信された、位置情報が付帯された各2次元画像データを記憶する。
3次元メモリ57は、図1に示す3次元メモリ28と同等の構成を備える。制御回路51によって生成されたボリュームデータを記憶する。
続いて、本実施形態に係る医用画像処理装置50の機能について説明する。
図15は、本実施形態に係る医用画像処理装置50の機能を示すブロック図である。
制御回路51がプログラムを実行することによって、医用画像処理装置50は、処理機能61、ボリューム生成機能62、及び3次元画像生成機能63として機能する。なお、機能61〜63がソフトウェア的に機能する場合を例に挙げて説明するが、それら機能61〜63の一部又は全部は、医用画像処理装置50にハードウェア的にそれぞれ設けられるものであってもよい。
処理機能61は、図1に示す処理回路26が行う機能と同等の機能を有する。
ボリューム生成機能62は、図1に示すボリューム生成回路27が行う機能と同等の機能を有する。
3次元画像生成機能65は、図1に示す3次元画像生成回路29が行う機能と同等の機能を有する。
医用画像処理装置50によると、複数の位置情報に従って3次元メモリ57に配列される2次元画像データセットが3次元メモリ57のメモリ空間にほぼ収まるような処理を行うことで、2次元画像データセットに基づいて表示される3次元画像による診断能を向上させることができる。さらに、医用画像処理装置50によると、2次元画像データセットの向きを調整した上で調整後の2次元画像データセットを縮小処理することで、空間分解能が考慮されるので、2次元画像データセットに基づいて表示される3次元画像による診断能をさらに向上させることができる。
以上述べた少なくともひとつの実施形態の超音波診断装置及び医用画像処理装置によれば、複数の2次元画像データに基づいて表示される3次元画像による診断能を向上させることができる。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。