本発明に係る医用画像位置合わせ方法について、それを実施する医用画像位置合わせ装置との関係において好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。
図1は、本実施の形態に係る医用画像位置合わせ装置1の電気的な概略ブロック図である。医用画像位置合わせ装置1は、標準的なワークステーションの構成として、プロセッサおよびメモリ(いずれも図示せず)を備え、さらに、HDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージ2を備えている。また、画像表示装置1には、ディスプレイ3と、マウス、キーボード等の入力装置4が接続されている。
医用画像位置合わせプログラムと医用画像位置合わせプログラムが参照するデータ(後述する変換テーブル等)は、インストール時にストレージ2に記憶され、起動時にメモリにロードされる。医用画像位置合わせプログラムは、CPUに実行させる処理として、画像取得処理と、画像生成処理と、椎骨中心線検出処理と、第1特徴量算出処理と、第2特徴量算出処理と、第3特徴量算出処理と、位置合わせ処理と、表示制御処理を規定している。
そして、プログラムの規定にしたがって、CPUが上記各処理を実行することにより、汎用のワークステーションは、3次元画像および比較3次元画像を取得する3次元画像取得部11と、3次元画像および比較3次元画像のそれぞれについて、被写体の各椎骨の中心軸に沿って、中心軸に直交する複数の断層画像を生成する画像生成部12と、複数の断層画像から椎骨の中心線を検出する椎骨中心線検出部13と、3次元画像および比較3次元画像のそれぞれについて、断層画像に基づいて中心軸に直交する方向のプロファイルを表す第1特徴量を、中心軸上の点毎に算出する第1特徴量算出部14と、3次元画像および比較3次元画像のそれぞれについて、断層画像に基づいて中心軸方向のプロファイルを表す第2特徴量を、中心軸上の点毎に算出する第2特徴量算出部15と、3次元画像および比較3次元画像のそれぞれについて、各椎骨の配列の規則性を表す第3特徴量を、算出された第1特徴量および第2特徴量に基づいて中心軸上の点毎に算出する第3特徴量算出部16と、3次元画像から算出された第3特徴量と比較3次元画像から算出された第3特徴量の中心軸に沿った位置を位置合わせする椎骨位置合わせ部17と、画像生成部12が生成した断層画像を表示装置に表示させる画像表示制御部18として機能する。
ストレージ2には、撮影を担当する検査部門から転送された、3次元画像、もしくはデータベース検索により取得された3次元画像が記憶される。3次元画像は、マルチスライスCT装置等から直接出力された3次元画像でもよいし、従来型のCT装置等から出力された2次元のスライスデータ群を再構成することにより生成された3次元画像でもよい。
医用画像位置合わせ装置1は、選択メニューにおいて本実施形態の位置合わせ機能が選択されたことを検出すると、ユーザに、3次元画像の特定に必要な情報の選択または入力を促す。そして、ユーザの操作により、診断対象である患者の現在の3次元画像V1および同じ患者の過去の3次元画像である比較3次元画像V2が特定されると、ストレージ2からメモリに、該当する3次元画像V1およびV2をロードする。
ここでは、ある患者の検査において、マルチスライスCT装置による撮影が行われ、患者の椎骨を含む3次元画像V1、V2が取得されて不図示のデータベースに記憶されているものとする。また、3次元画像V1、V2には患者の椎骨として、頚椎から、胸椎、腰椎、仙椎、尾椎までの椎骨が全て含まれているものとする。ユーザが位置合わせ機能を選択し、その患者の識別子や検査日を入力すると、該当する3次元画像V1および比較3次元画像V2が取得されてストレージ2に記憶され、本発明の画像表示方法が実行される。
画像取得部11は、椎体を含む3次元画像V1および比較3次元画像V2を取得する。画像取得部11は、3次元画像V1および比較3次元画像V2として、CT画像、MRI画像、RI画像、PET画像、及びX線画像等の医用画像のみならず、後述する三次元の生成画像又は人工的に作成された三次元医用画像等、二次元又は三次元医用画像等を取得してよい。
画像生成部12は、画像取得部11が取得した椎体を含む三次元画像V1および比較3次元画像V2のそれぞれについて、所定の軸方向(例えば、体軸方向)に沿った複数の第1断層画像(例えば、アキシャル断層画像)を生成する。画像生成部12は、生成した複数の第1断層画像をメモリに記録する。なお、画像取得部11が、椎体を含む三次元医用画像のアキシャル断面である複数の第1断層画像を直接取得した場合は、画像生成部12は、そのまま、複数の第1断層画像を取得して、メモリに記録する。
また、画像生成部12は、画像取得部11が取得した3次元画像V1および比較3次元画像V2のそれぞれについて、後述する各3次元画像V1および比較3次元画像V2の椎骨の中心軸Z1’、Z2’に沿って、椎骨の中心軸Z1’、Z2’に直交する複数の断層画像(第2断層画像)を生成する。さらに、画像生成部12は、生成する画像空間領域の範囲を適宜変更できる。また、本実施形態による画像生成部12は、後述するように、位置合わせ部17によって位置合わせされた3次元画像V1および比較3次元画像V2の互いに対応する位置のそれぞれの断層画像を生成する。さらに、このような3次元画像V1および比較3次元画像V2の互いに対応する位置のそれぞれの断層画像のペアは、3次元画像V1および比較3次元画像V2の中心軸Z1’、Z2’に沿って複数生成する。なお、本明細書では、椎骨の中心線AをZ’軸として設定したX’Y’Z’座標系を、3次元画像V1に対してはX1’Y1’Z1’座標系、比較3次元画像V2に対してはX2’Y2’Z2’座標系と場合により記す。また、椎骨の中心線AをZ’軸として設定したX’Y’Z’座標系の位置(x’,y’,z’)を、3次元画像V1に対しては(x1’,y1’,z1’)、比較3次元画像V2に対しては(x2’,y2’,z2’)と場合により記す。
椎骨中心線検出部13は、画像生成部12が生成した複数の第1断層画像のそれぞれに含まれる各椎骨の中心線を検出する。
図2は、各椎骨の配列を表すサジタル画像の模式図である。椎体群40は、略円筒状の皮質を有する15個の椎骨42から構成されている。各椎骨42は、体軸(Z軸)方向に対しS字状に湾曲するように配置されている。すなわち、各椎骨42は、そのS字状の中心線Aに沿って配置されているともいえる(以下、中心線Aに沿った座標軸を「Z’軸」という。)。
また、隣接する椎骨42の間には椎間板44が介在する。説明の便宜上、図2において椎間板44の線図による表示を省略し、椎骨42間の隙間として表現する。
さらに、椎骨42、椎間板44の区別をするため、これらの参照符号42、44の後にアルファベット文字をそれぞれ付加する。つまり、上方から順番に、椎骨42a−42o、椎間板44a−44oとする。なお、最下部の椎間板44oの下面側と骨盤46とは接続されている。
複数の第1断層画像を用いて各椎骨42の中心線Aを直接的に検出するには、きわめて高度な画像処理技術を要する。そこで、椎体の構造的特徴に着目した種々の検出手法を採り得る。例えば、画像処理による検出が比較的容易である図示しない脊髄の中心線を予め求めておき、該脊髄と椎骨42との相対的位置関係に基づいて、各椎骨42の中心線Aを正確に検出することができる(詳細は、特開2009−207727号広報参照)。
なお、この脊髄の中心線の検出方法として、テンプレートマッチング手法や、画定手法を用いてもよいし、統合学習機械を作る手法であるAdaboostに基づいたラーニング手法を用いてもよい。
特徴量検出部20を構成する第1特徴量算出部14、第2特徴量算出部15および第3特徴量算出部16について説明する。
第1特徴量算出部14は、3次元画像V1および比較3次元画像V2のそれぞれについて、複数の第2断層画像に基づいて椎骨42(図2参照)についての中心軸に直交する方向のプロファイルを表す第1特徴量を、中心軸上の点毎に算出する。第1特徴量として、例えば、Z’軸上の所定の点Pを中心とする円環状の模様を抽出する特徴量を用いる。この特徴量の算出には、後述するヘッセ行列の固有値解析法を用いる。第1特徴量算出部14は、算出した第1特徴量をメモリに記録する。
第2特徴量算出部15は、3次元画像V1および比較3次元画像V2のそれぞれについて、複数の第2断層画像に基づいて椎骨42(図2参照)についての中心軸方向Z’のプロファイルを表す第2特徴量を、中心軸上の点毎に算出する。第2特徴量として、例えば、Z’軸上の所定の点Pを中心として該Z’軸方向に延在する管状の模様を抽出する特徴量を用いる。この特徴量の算出には、後述するヘッセ行列の固有値解析法を用いる。第2特徴量算出部15は、算出した第2特徴量をメモリに記録する。
第3特徴量算出部16は、3次元画像V1および比較3次元画像V2のそれぞれについて、各椎骨42の配列の規則性を表す第3特徴量を、算出された第1特徴量および第2特徴量に基づいて中心軸上の点毎に算出する。第3特徴量として、例えば、第1及び第2特徴量の加重和を用いる。第3特徴量算出部16は、算出した第3特徴量をメモリに記録する。
位置合わせ部17は、3次元画像V1から算出された第3特徴量と比較3次元画像V2から算出された第3特徴量の中心軸に沿った位置を位置合わせする。
ここで、図7は、3次元画像V1の第3特徴量のプロファイルを表すグラフ31と比較3次元画像V2の第3特徴量のプロファイルを表すグラフ32の一例である。第3特徴量は、椎骨の周期性を表すものであり、椎骨は呼吸や経時的な変化によって大きく形状が変わることが少ないため、同じ患者を表す画像である3次元画像V1および比較3次元画像V2の各第3特徴量は、中心軸Z’上の各位置で同じような特徴を示すものとなる。つまり、図7に示すように、各第3特徴量は、図7に示すように中心軸に沿って相似するものとなる。本実施形態では、3次元画像V1の第3特徴量と比較3次元画像V2の第3特徴量とをマッチングし、3次元画像V1の第3特徴量および比較3次元画像V2の第3特徴量の互いに対応する中心軸Z’の位置を以下に説明するように算出する。なお、図7に示す、3次元画像V1の第3特徴量と比較3次元画像V2の第3特徴量とをマッチングの前処理として、3次元画像V1の第3特徴量と比較3次元画像V2の第3特徴量に対して、Z’軸方向の縮尺等を調整する等の前処理を必要に応じて行ってよい。
位置合わせ部17は、SSD法により、後述するコスト関数を最小化することによって3次元画像V1から算出された第3特徴量と比較3次元画像V2から算出された第3特徴量が最も一致する3次元画像V1の中心軸Z’(A1)軸上の位置に対する比較3次元画像V2の中心軸Z’(A2)軸上の位置のシフト量sを決定する。そして、決定したシフト量sから、3次元画像V1と比較3次元画像V2の互いに対応する中心軸Z’軸上の位置を決定し、該位置をXYZ座標上の位置に変換する。位置合わせ部17は変換した3次元画像V1と比較3次元画像V2の互いに対応する中心軸Z’軸上の位置および互いに対応するXYZ座標上の位置をメモリに記録する。
表示制御部18は、画像生成部12が生成した断層画像を表示装置に表示させる。また、表示制御部18は、位置合わせ部17が位置合わせした3次元画像V1と比較3次元画像V2の互いに対応する位置の断層画像をディスプレイ3に表示させる。本実施形態においては、画像生成部12が、3次元画像V1および比較3次元画像V2からそれぞれ互いに対応する位置における断層画像を生成する。また、このような3次元画像V1および比較3次元画像V2からそれぞれ互いに対応する位置における断層画像のペアを、3次元画像V1および比較3次元画像V2のそれぞれの中心軸Z1’、Z2’に沿って複数生成する。表示制御部18は、画像生成部12が生成した互いに対応する位置における断層画像のペアを比較可能に表示する。なお、各対応する位置における断層画像は、それぞれ3次元画像V1および比較3次元画像V2から決定された中心軸Z1’、Z2’に直交するものであってもよい。比較可能に表示するとは、医師らのユーザが断層画像のペアを比較できる態様であればどのような方法で表示してもよいが、断増画像のペアを同サイズに並べて表示することが好ましく、対応する断層画像のペアを互いに切り替えて表示してもよい。
図3A、3Bは、本実施形態の医用画像位置合わせ処理の流れを表すフローチャートである。次に、医用画像位置合わせ装置1の動作を図3A、3Bのフローチャートに従って説明する。
先ず、画像取得部11は、椎体を含む3次元医用画像V1および比較3次元医用画像V2を取得する(S01)。
次いで、画像生成部12は、画像取得部11が取得した椎体を含む3次元医用画像V1に基づいて、体軸方向(Z軸)に沿ったX−Y断面画像、すなわち、複数の第1断層画像を生成する(S02A)。
なお、画像取得部11がアキシャル断面である複数の第1断層画像を取得した場合は、画像生成部12は、画像取得部11が取得した複数の第1断層画像を取得する。
次いで、椎骨中心線検出部13は、ステップS01で取得した3次元画像V1の複数の第1断層画像から、それぞれに含まれる椎骨42の中心線A1を検出する(S03A)。椎骨中心線検出部13は、上述した検出方法を用いて3次元画像V1の複数の第1断層画像から図2に示す椎骨42の中心線Aを検出する。(3次元画像V1の複数の第1断層画像から抽出した中心線Aを、以降中心線A1と記載する。)その後、中心線A1は、3次元画像V1の新たな座標軸(Z1’軸)として設定される。なお、本明細書では、椎骨の中心線AをZ’軸として設定したX’Y’Z’座標系を、3次元画像V1に対してはX1’Y1’Z1’座標系、比較3次元画像V2に対してはX2’Y2’Z2’座標系と場合により記す。また、椎骨の中心線AをZ’軸として設定したX’Y’Z’座標系の位置(x’,y’,z’)を、3次元画像V1に対しては(x1’,y1’,z1’)、比較3次元画像V2に対しては(x2’,y2’,z2’)と場合により記す。
次いで、画像生成部12は、ステップS01で取得した三次元医用画像V1に基づいて、ステップS03で検出した中心線A1(Z1’軸)に沿ったX1’−Y1’断面画像、すなわち、複数の第2断層画像を生成する(S04A)。なお、画像生成部12は、取得した三次元医用画像のうちすべての画像情報を用いることなく、椎体群40の存在領域を網羅するZ’軸周辺の一部領域において再構成可能な画像情報のみを用いて、複数の第2断層画像を生成すればよい。そうすれば、メモリの使用量や、制御部14による演算時間を低減することができる。
次に、特徴量算出部20は、ステップS04で取得した複数の第2断層画像からZ1’軸の各点において第1から第3の特長量を算出する(S05A)。特徴量を算出する方法については後述する。
一方、画像生成部12は、画像取得部11が取得した椎体を含む比較3次元医用画像V2に基づいても、体軸方向(Z軸)に沿ったX−Y断面画像、すなわち、複数の第1断層画像を生成する(S02B)。なお、画像取得部11が比較3次元画像V2のアキシャル断面である複数の第1断層画像を取得した場合は、画像生成部12は、画像取得部11が取得した比較3次元画像V2の複数の第1断層画像を取得する。
次いで、椎骨中心線検出部13は、図2に示すように、先ほどと同様に、S01で取得した比較3次元画像V2の複数の第1断層画像から、それぞれに含まれる椎骨42の中心線A2を検出する(S03B)。(比較3次元画像V2の複数の第1断層画像から抽出した中心線Aを、以降中心線A2と記載する。)その後、中心線A2は、比較3次元画像V2の新たな座標軸(Z2’軸)として設定される。
次いで、画像生成部12は、ステップS01で取得した比較三次元医用画像V2に基づいて、ステップS03で検出した中心線A2(Z2’軸)に沿ったX2’−Y2’断面画像、すなわち、複数の第2断層画像を生成する(S04B)。
そして、特徴量算出部20は、ステップS04で取得した複数の第2断層画像からZ2’軸の各点において第1から第3の特長量を算出する(S05B)。
ここで、特徴量算出手段20によるS05AおよびS05Bにおける第1から第3の特徴量のそれぞれの算出処理について、S21からS23まで段階を分けて詳細に説明する。
第1特長量算出手段14は、第1特徴量を算出する(S21)。第1特徴量は、次の(1)式で示される。
脊椎は、頚椎、胸椎、腰椎、仙骨、尾骨から構成され、そのうち、頚椎、胸椎、腰椎は外形が円柱形であり、表面が皮質(Cortical bone)、内部は海綿骨(Spongy bone)で構成され、椎体の円柱形状の両端はほぼ平らであり、椎体間に椎間板が存在するという特徴を有する。
このため、椎体の円柱形状の両端を除いた椎骨の胴部において、椎骨の表面の皮質が円筒形状をなすという特徴に起因して、円筒形状に画素値(CT値)の高い領域が表れる。第1特徴量は、この円筒形状の模様を定量的に表すものであればよく、本実施形態では、円筒形状の模様を、椎骨中心線に直交する断層像に表れる輪状の模様として捉え、椎骨中心線を結ぶベクトルに直交する特徴量として式(1)のように定量化し、第1特徴量とする。
なお、(x’,y’,z’)は、X’Y’Z’座標系での位置を表す。また、積分領域Rは第2断層画像上の点であって、椎骨42の皮質領域を表す。
さらに、3×3ヘッセ行列における固有値及び固有ベクトルは、それぞれ(λ1,λ2,λ3)、及び(E1,E2,E3)とする。さらにまた、λ1≦λ2≦λ3である。ベクトルdは、Z’軸上の点(0,0,z’)から(x’,y’,z’)に向かうベクトルであり、d=(x’,y’,0)である。なお、εは、ゼロ割防止のために設けられた、微小な正の整数である。
図4A及び図4Bは、各断面位置における第1特徴量(被積分関数)の二次元分布を表す模式図である。つまり、第2断層画像上での第1特徴量(被積分関数)の数値を画像の濃淡として可視化している。第1特徴量が大きい位置での濃度は濃く、第1特徴量が小さい位置での濃度は薄くなるように表示されている。
図4Aは、断面位置T1(図2参照)における第1特徴量の算出値を表す可視画像50の模式図である。断面位置T1は椎骨42の中間位置であるから、その第2断層画像には椎骨42の皮質の断面形状が含まれている。よって、可視画像50上には、円環状の黒い模様52が鮮明に現れている。その結果、積分領域R内での被積分関数の総和である第1特徴量は大きくなる。なお、積分領域R椎骨の表面(皮質)領域を表す。
一方、図4Bは、断面位置T2(図2参照)における第1特徴量の算出値を表す可視画像54の模式図である。断面位置T2は椎間板44mの位置であるから、その第2断層画像には椎骨42の皮質の断面形状が含まれず、代わりに椎間板44の辺縁部が含まれている。よって、可視画像54上には、円環状の薄い模様56が僅かに現れている。その結果、積分領域R内での被積分関数の総和である第1特徴量は小さくなる。
第1特徴量の別の算出例として、例えば、エッジの強度を検出するラプラシアンフィルタ(2次微分フィルタ)を用いてもよい。また、局所領域の画素にガウス分布の重み付けして平滑化した後、ラプラシアンを作用してそのゼロクロスをエッジとして検出するラプラシアンオブガウシアンフィルタ(Laplacian of Gaussian Filter;以下、「LOGフィルタ」という。)を用いてもよい。
次いで、第2特徴量算出部15は、ステップS04AまたはS04Bで取得した複数の第2断層画像から第2特徴量を算出する(S22)。
第2特徴量は、椎骨が、両端が円盤状をした円柱形状であり、椎体間に椎間板が存在するという特徴に起因して、椎骨間に椎間板を表す円盤状(ディスク状)の画素値(CT値)の低い領域が表れる。なお、画素値の低い領域として該模様が表れる理由は、椎間板は椎骨に比して画素値が低いためである。第2特徴量は、この円盤状の模様を定量的に表すものであればよい。
本実施形態では、各椎骨中心線に沿って、椎骨中心線に直交する断層像の椎骨中心線付近に表れる円盤上の模様を、椎骨中心線付近にZ軸に垂直する断面の特徴量として式(2)のように定量化し、第2特徴量とする。
第2特徴量は、次の(2)式で示される。
なお、(x’,y’,z’)は、X’Y’Z’座標系での位置を表す。また、積分領域Cは中心線A(Z’軸)の周辺領域を表す。
(1)式と同様に、3×3ヘッセ行列における固有値及び固有ベクトルは、それぞれ(λ1,λ2,λ3)、及び(E1,E2,E3)とする。また、λ1≦λ2≦λ3である。さらに、ezは、Z’軸における単位ベクトル(0,0,1)である。なお、εは、ゼロ割防止のために設けられた微小な正の整数である。
図5は、椎骨42mの三次元形状と、その内部点Pにおけるヘッセ行列の固有ベクトルE1−E3との対応関係を示す模式図である。ヘッセ行列の最小固有値λ1に対応する固有ベクトルE1は、椎骨42mの延在方向(Z’軸方向)を指向する。したがって、(2)式の被積分関数の形状から諒解されるように、第2特徴量は、点Pを基準として濃度勾配がない平坦な形状、特にZ’軸方向のベクトル成分のみを抽出する。すなわち、第2特徴量は、Z’軸方向に延在する円盤状の模様を抽出する特徴量であるといえる。
次いで、第3特徴量算出部16は、ステップS4で算出した第1特徴量と、ステップS5で算出した第2特徴量とに基づいて第3特徴量を算出する(ステップS23)。
第1特徴量は椎体の円柱形上の胴部を明確に表し、第2特長量は椎間板部を明確に表すものであるため、両者を組み合わせることにより、椎体と椎間板の繰り返しの周期をより明確に表すことができる。さらに、第1特徴量及び第2特徴量は2つの特徴量の符号も相反するものであるため、両者を組み合わせることにより、その周期性をさらに顕著に表すことができる。
第3特徴量は、次の(3)式で示される。
なお、αは任意の重み付け係数であり、G(z’,σ)は標準偏差をσとするガウス関数である。
図6A−図6Cは、Z’軸方向における第1−第3特徴量のプロファイルである。
図6Aは、Z’軸方向における第1及び第2特徴量のプロファイルである。第1特徴量(実線)及び第2特徴量(破線)は、椎骨42の中央位置(図2に示す断面位置T1)で極大値をとり、椎間板44の位置(図2に示す断面位置T2)で極小値をとる。
図6Bは、第2特徴量にLOGフィルタを作用させた後のプロファイルである。第2特徴量のプロファイル(図6A参照)のうち2次微分が0になっている箇所が抽出されるので、図6Bに示すプロファイルは周期的な関数形状を有している。このプロファイルは、椎骨42の中央位置(図2に示す断面位置T1)で極大値をとり、椎間板44の位置(図2に示す断面位置T2)で極小値をとる。
ところで、ガウス関数G(z’,σ)におけるσの値に応じて、図6Bに示すプロファイルの形状が変化する。本実施の形態では、所定の範囲σ0−σ1において、そのプロファイルの値が最大となるσを選択する。
図6Cは、Z’軸方向における第3特徴量のプロファイルである。第3特徴量は、第1特徴量f1(z’)と、第2特徴量f2(z’)にLOGフィルタを作用した特徴量とを加算した値である。
これにより、各椎骨42の配列の規則性を表す第3特徴量f3(z’)が生成される。この第3特徴量は、椎骨42の中央位置(図2に示す断面位置T1)で極大値をとり、椎間板44の位置(図2に示す断面位置T2)で極小値をとる。
本明細書においては、特徴量算出部20は、ステップS05AおよびS05Bにおいて、三次元医用画像V1および比較三次元医用画像V2に対して上記のS21からS23の処理を行って、第1から第3の特徴量をそれぞれ算出し、図7に示すように、第3の特徴量f31(z’)、f32(z’)をそれぞれ取得する。
次に、位置合わせ部17は、次元画像V1から算出した第3特徴量f31(z’)と比較三次元画像V2から算出した第3特徴量f32(z’)の中心軸Z1’、Z2’に沿った位置を位置合わせする(S06)。
先述したように、3次元画像V1から算出した第3特徴量f31(z’)と比較三次元画像V2から算出した第3特徴量f32(z’)とは、同じ患者の椎骨について算出されたものであるので、各椎骨の互いに対応する位置における第3の特徴量は類似していると考えられる。そこで、本実施形態においては、椎骨位置合わせ部17は、比較三次元画像V2から算出した第3特徴量f32(z’)をZ’軸上にシフトさせ、3次元画像V1から算出した第3特徴量f31(z’)と比較三次元画像V2から算出した第3特徴量f32(z’)が最も一致する位置でのシフト量sを算出する。
具体的には、位置合わせ部17は、SSD法により、以下の(4)式により表されるコスト関数が小さければ小さいほど3次元画像V1から算出した第3特徴量f31(z’)と比較三次元画像V2から算出した第3特徴量f32(z’)が高い相関を有すると判定し、(4)式により表されるコスト関数を最小化するシフト量sを算出してメモリに記憶する。
この方法によれば、3次元画像V1と比較三次元画像V2の各第3の特徴量の、0≦z’≦Z’の範囲全体を最も一致させる、一つのシフト量sを取得することができる。
そして、位置合わせ部17は、算出したシフト量sから、3次元画像V1と比較3次元画像V2の互いに対応する中心軸Z’軸上の位置を決定する。具体的には、図7に示すように、上記の評価関数を最小化した比較3次元画像V2の中心軸Z2’上の位置P2(0,0,z’+s)が、3次元画像V1の中心軸上の位置P1(0,0,z’)に対応する位置として算出する(S07)。
図8は、第1の実施形態の3次元画像と比較3次元画像の各椎骨中心線上の互いに対応する位置を説明する図である。図8に示すように、本実施形態では、3次元画像V1の中心軸Z1’軸上に、頚椎から尾椎に向かう方向に0≦z’≦Z’の範囲で、等間隔にn個の位置P1i(0≦i <n、i,nは正の整数)を順番に設定するものとする。そして、3次元画像V1の中心軸Z1’上の各位置P1i(0≦i<n)について、P1i(0,0,zi’)に対応する比較3次元画像V2の中心軸Z2’上の位置P2i(0,0,zi’+s)を求める。
次いで、位置合わせ部17は、3次元画像V1と比較3次元画像V2の互いに対応する中心軸Z’軸上の位置をXYZ座標上における各位置に変換する(S08)。椎骨位置推定部36は、ステップS8で推定した各椎骨42のZ’軸上の位置をXYZ座標の位置に変換する。なお、Z’軸上の点PとXYZ座標との位置関係は既知であるので、このような座標変換は容易である。
本実施形態では、図8に示すように、3次元画像V1の中心軸Z1’に沿って、0≦z’≦Z’の範囲で等間隔に設定された3次元画像V1の中心軸Z1’の位置P1i(0≦i<n)をそれぞれ変換し、対応する各XYZ座標Q1i(0≦i<n)を取得する。また、3次元画像V1の中心軸Z1’の位置P1iに対応する比較3次元画像V2の中心軸Z2’上の位置P2i(0≦i<n)をそれぞれ変換し、対応する各XYZ座標Q2i(0≦i<n)を取得する。
さらに、本実施形態においては、算出されたXYZ座標の位置に基づいて、対応する位置の断層画像の生成および表示を行う。第1の実施形態では、算出された互いに対応する位置である、3次元画像V1の中心軸上の位置Q1iおよび比較3次元画像V2の中心軸上の位置Q2i(0≦i<n)に対し、XYZ座標の位置に基づいて、3次元画像V1のQ1iを含むアキシャル断層画像Img1iおよび比較3次元画像V2のQ2iを含むアキシャル断層画像Img2iのペアをそれぞれ生成する。(S09)。
図9は、互いに対応する位置の3次元画像のアキシャル断層画像Img1iとアキシャル断層画像Img2iを比較可能に表示した画像表示の一例である。最後に、表示制御装置18は、図9に示すように、画像生成部12が生成した、対応する位置のアキシャル断層画像Img1iとアキシャル断層画像Img2iを比較可能に表示する。
本実施形態においては、表示制御装置18は、GUI上に設けたボタン等によりユーザによる比較読影開始の指示を入力装置等から受け付けて、生成された複数のアキシャル断層画像Img1iおよびアキシャル断層画像Img2iのペアのうち、あらかじめ設定された位置のアキシャル断層画像Img10とアキシャル断層画像Img20を比較可能に表示する。
さらに、本実施形態では、表示制御装置18は、図9に示すように、表示画面右に、断層画像の椎骨中心線を示す指標Mと、現在表示された断層画像の椎骨中心線上の位置を表すスライダSを表示する。本実施形態では、このスライダSをマウス等の入力装置を用いて移動可能に設け、ユーザがスライダSをドラッグして中心線を表す指標Mに沿って移動することにより、中心線上のスライダSの位置に応じて、3次元画像V1および比較3次元画像V2の頸骨中心線A1、A2に沿って複数のアキシャル断層画像Img1iおよびアキシャル断層画像Img2i(0≦i<n、i,nは正の整数)のペアを順に表示する。
以上のように、本第1の実施形態によれば、3次元画像および比較3次元画像のそれぞれについて、被写体の各椎骨の中心軸に沿って、中心軸に直交する複数の断層画像を生成し、断層画像に基づいて中心軸に直交する方向のプロファイルを表す第1特徴量を、中心軸上の点毎に算出し、断層画像に基づいて中心軸方向のプロファイルを表す第2特徴量を、中心軸上の点毎に算出し、各椎骨の配列の規則性を表す第3特徴量を、算出された第1特徴量および第2特徴量に基づいて中心軸上の点毎に算出し、3次元画像から算出された第3特徴量と比較3次元画像から算出された第3特徴量の中心軸に沿った位置を位置合わせするようにしたので、脊椎の形状が全体的又は局所的に変形している被写体の三次元医用画像に対しても、変形が少ない各椎骨について異なる2方向からの断面形状に基づいた定量的な濃度解析を行うことにより各椎骨の配列の規則性を表す第3特徴量を算出し、第3特徴量による位置合わせを行うため、精度よく位置合わせを行うことができる。脊椎湾曲症等により全体的に脊椎の形状が変形している場合、特に効果がある。
また、従来の方法のようにZ軸方向によって位置合わせした場合では、同じ中心線上の位置であっても、呼吸や脊椎の長さの経時的な伸縮等による誤差が生ずるところ、本実施形態のように呼吸や姿勢等の影響を受けにくい椎骨によって位置合わせをすることにより、より精度よく同じ位置の断層画像を表示することができる。このことにより、より精度のよい比較読影に資する。
また、第1特徴量が、中心軸上の点を中心とする円環状の模様を表すものであるため、略円筒形状の皮質を有する各椎骨の中心軸方向に交差する断面形状(すなわち、円環状の模様)を適切に定量化することができる。
また、第2特徴量が、中心軸に沿った模様を表すものであるため、略円筒形状の皮質を有する各椎骨の中心軸方向に平行する断面形状(すなわち、円盤状の模様)を適切に定量化することができる。
また、椎骨位置合わせ部17が、SSD法を用いて3次元画像V1から算出された第3特徴量と比較3次元画像V2から算出された第3特徴量とを位置合わせするものであるため、3次元画像の第3の特徴量と比較3次元画像の第3の特徴量が評価範囲の全体を通して最も一致するような、精度よく3次元画像の中心軸上の所定の位置と対応する比較3次元画像の中心軸上の位置を算出することができる。
また、第1の実施形態では、画像生成部12が生成した断層画像を表示装置に表示させる画像表示制御部18をさらに備え、画像生成部12が、3次元画像V1および比較3次元画像V2から、それぞれ互いに対応する位置における断層画像を生成するものであるため、椎骨に基づいて精度よく位置合わせされた画像を用いて比較読影を行えるため、精度よく画像診断をすることを支援できる。
さらに、第1の実施形態においては画像生成部12が、対応する位置における断層画像を、中心軸に沿って複数生成するものであるため、互いに対応する位置の複数の断層画像を中心軸に沿って対比可能に表示することができ、表示された断層画像の脊椎における位置を捉えやすく、椎骨中心線に沿って順に椎骨の断層画像の比較読影を行うことが容易にでき、画像診断の効率を向上できる。
第2の実施形態として、位置合わせ部17の3次元画像V1から算出した第3特徴量と比較3次元画像V2から算出した第3特徴量の位置合わせ方法の変形例を説明する。位置合わせ部17の3次元画像V1から算出した第3特徴量と比較3次元画像V2から算出した第3特徴量の位置合わせ方法以外の、各機能ブロックの構成および処理は第1の実施形態と同じである。
第2の実施形態では、上記SSD法に替えて、動的計画法(DP)法により、3次元画像V1の中心軸Z1上の各位置z’の第3の特徴量と、比較3次元画像V2の中心軸Z2上の位置z’からシフト量sz’だけシフトした位置z’+sz’の第3の特徴量との差分の自乗和を、3次元画像V1の中心軸Z1上の各z’ごとに最小化し、最小化した位置のシフト量sz’を取得する。具体的には、下記式(5)に示す評価関数を最小化するシフト量を求める。
この方法によれば、0≦z’≦Z’の範囲の各位置z’ごとに、3次元画像V1と比較3次元画像V2の第3の特徴量を最も一致させるシフト量sz’をそれぞれ算出できる。
つまり、3次元画像V1の中心軸上の各位置z’に対応する位置は、上記の評価関数を最小化した比較3次元画像V2の中心軸上の位置z’+sz’としてそれぞれ算出できる。
第2の実施形態によれば、3次元画像の中心軸上の各位置ごとに、3次元画像の第3特徴量と比較3次元画像の第3特徴量が最も一致する比較3次元画像の中心軸上の位置をそれぞれ算出でき、精度よく3次元画像の中心軸上の各位置ごとにそれぞれ対応する比較3次元画像の中心軸上の位置を算出することができる。
第3の実施形態として、表示制御部18の変形例を以下に説明する。表示制御部18の断層画像の表示処理以外については、各機能ブロックの構成および処理は第1の実施形態と同じである。
第3の実施形態として、表示制御部18は、中心軸に沿った各位置での中心軸に直交する断層画像(第2断層画像)を表示する。図10は、脊椎湾曲症により全体的に湾曲変形した脊椎を含む被写体の3次元画像V1のサジタル画像と、これに対応する比較3次元画像V2のサジタル画像を模式的に表している。3次元画像V1は、比較読影を行う数日前にCT撮影により被写体を撮影して取得したものであり、比較3次元画像V2は、比較読影を行う数ヶ月前にCT撮影により同じ被写体を撮影して取得した画像であるものとする。
第3の実施形態では、図3AのS01からS08の処理は、第1の実施形態と同様である。すなわち、3次元画像V1およびV2を取得し、各3次元画像V1(V2)のそれぞれに対して、体軸方向に沿った第1の断層画像を生成して、椎骨中心線A1(A2)をそれぞれ検出し、椎骨中心線に沿った第2断層画像を生成し、中心軸A1(A2)の各点において第1から第3の特徴量を算出し、3次元画像V1から算出した第3の特徴量と比較3次元画像V2から算出した第3の特徴量を位置合わせする。そして、3次元画像V1のZ1’軸上の位置P1i(0≦i<n)に対応する、比較3次元画像V2のZ2’軸上の位置P2i(0≦i<n)を算出し、3次元画像V1のZ1’軸上の位置P1i(0≦i<n)をXYZ座標に変換したQ1i(0≦i<n)、比較3次元画像V2のZ2’軸上の位置P2i(0≦i<n)をXYZ座標に変換したQ2i(0≦i<n)を取得する。なお、3次元画像V1の中心軸Z1’軸上に、頚椎から尾椎に向かう方向に0≦z’≦Z’の範囲で、間隔αだけ離間してn個の位置P1i(0≦i<n、i,nは正の整数)を順番に設定したものとする。
そして、第3の実施形態ではS09の処理として、表示制御手段18は、3次元画像V1の中心軸上の位置Q1i(0≦i<n)を含み、中心軸A1に直交する断層画像Img1iを生成し、と比較3次元画像V2のZ2’軸上の位置Q2i(0≦i<n)を含み、中心軸A2に直交する断層画像Img2iを生成する。
本第3の実施形態では、Z’軸に沿ってQ1iと隣り合う座標Q1i-1、Q1i+1を用いることで、3次元画像V1の中心軸A1に直交する断層画像Img1iの法線方向を求める。具体的には、表示制御手段18は、位置Q1iを含み、XYZ座標系での座標Q1i-1からQ1i+1に向かうベクトルの方向を法線方向とする平面を、3次元画像V1の中心軸A1に直交する断層画像Img1iとして生成する。比較3次元画像V2の中心軸A2に直交する断層画像Img2iも同様に、位置Q2iを含み、Q2i-1からQ2i+1に向かうベクトルの方向を法線方向とする平面として生成できる。なお、3次元画像V1の中心軸A1または比較3次元画像V2の中心軸A2に直交する断層画像Img1i、Img2iは、ステップS3で取得した第2断層画像に、各Q1iまたはQ2i(0≦i<n)を含む断層画像がすでに含まれていれば、各Q1iまたはQ2i(0≦i<n)を含む第2断層画像をImg1i、Img2iとして用いてもよい。
また、第3の実施形態では、第1の実施形態と同様に、算出された互いに対応する位置である、3次元画像V1の中心軸上の位置Q1iおよび比較3次元画像V2の中心軸上の位置Q2i(0≦i<n)に対し、XYZ座標の位置に基づいて、3次元画像V1のQ1iを含み、中心線A1と直交する断層画像Img1iおよび比較3次元画像V2のQ2iを含み、中心線A2と直交する断層画像Img2iのペアをそれぞれ生成する。(S09)。
図11は、互いに対応する位置の3次元画像の断層画像Img1iと断層画像Img2iを比較可能に表示した画像表示の一例である。最後に、表示制御装置18は、図3のS10と同様に、図11に示すように、画像生成部12が生成した、対応する位置の断層画像Img1iと断層画像Img2iを比較可能に表示する。図11では、椎骨の疾患の比較読影を意図して、対応する位置の断層画像Img1i、Img2iの表示範囲を椎骨断面のみに設定しているが、該椎骨断面を含む断層画像であれば、対比可能に表す断層画像の表示範囲は任意に設定してよく、例えば患者の腹部を完全に横断する範囲を表示範囲として設定してもよい。
図11に示すように、本第3の実施形態においても、第1の実施形態と同様、表示制御装置18は、GUI上に設けたボタン等によりユーザによる比較読影開始の指示を入力装置等から受け付けて、中心線上のスライダSの位置に応じて、3次元画像V1および比較3次元画像V2の頸骨中心線A1、A2に沿って複数の断層画像Img1iおよび断層画像Img2i(0≦i<n、i,nは正の整数)のペアを順に表示する(S10)。
第3の実施形態によれば、3次元画像V1および比較3次元画像V2の頸骨中心線A1、A2に沿って対応する位置のそれぞれの断層画像として、アキシャル断層画像でなく、椎骨中心線に直交する断層画像を用いることで、読影効果が大きく向上する。特に、第3の実施形態のように、脊椎が湾曲した患者は、体軸が垂直方向から曲がっているため、アキシャル断層画像では、脊椎が湾曲していない患者と比較して垂直方向の内蔵等の解剖学的構造物の位置が把握しにくくなるが、椎骨中心線に沿って、椎骨中心線に直交する断層画像を表示することにより、椎骨中線と内蔵等の解剖学的構造物の相対的な位置は、おおむね維持されているため、内蔵等の解剖学的構造物の位置が把握しやすい。また、椎骨の疾患等を観察する際にも、椎骨に直交する断層画像による画像診断が必要であるため、本実施形態により、中心軸に沿って、より正確に位置合わせされた、互いに対応する位置の椎骨中心線に直交する断層画像を表示することにより、より正確な比較読影に資する。
また、第3の実施形態の変形例として、互いに対応するZ’軸上の位置を基準としてMPR法(multiplanar reconstruction)により任意の断面を再構成して表示してもよい。呼吸や姿勢等の影響を受けにくい椎骨を基準として、対応する椎骨中心線上の位置に基づいて、医療現場の要望に応じた任意の断層画像による比較表示を精密に位置合わせして行うことができ、有用である。
第4の実施形態は、位置合わせ手段17の変形例として3次元画像V1および比較3次元画像V2が被写体の互いに異なる範囲を撮影した画像である場合等、3次元画像V1および比較3次元画像V2の異なる範囲について第3特徴量が算出されている場合の位置合わせ方法を以下に説明する。位置合わせ手段17の位置合わせ方法以外については、各機能ブロックの構成および処理は第1の実施形態と同じである。
第4の実施形態では、3次元画像V1と比較3次元画像V2がそれぞれ患者の異なる範囲を撮影されているものとする。図12は、第4の実施形態の、3次元画像V1と比較3次元画像V2のそれぞれの中心線A1,A2を表している。そして、図12に示すように、3次元画像V1の患者の椎骨を含む撮影範囲W1は、比較3次元画像V2患者の椎骨を含む撮影範囲W22より体軸方向に大きいものとする。
まず、医用画像位置合わせ装置1は第1の実施形態のS01からS06に相当する処理を第1の実施例と同様に行い、3次元画像V1と比較3次元画像V2から、3次元画像V1の全範囲W1と比較3次元画像V2の範囲W22に対して、第3特徴量を算出する。
そして、位置合わせ部17は、第1の実施形態のS07に相当する処理として、3次元画像V1と比較3次元画像V2の中心軸Z’ 沿って重複する範囲に対して第1の実施形態と同様の位置合わせを行う。ここでは、図12に示すように、3次元画像V1の患者の椎骨を含む撮影範囲W1と比較3次元画像V2患者の椎骨を含む撮影範囲W22がそれぞれ異なる場合、3次元画像V1の患者の椎骨を含む撮影範囲W1が比較3次元画像V2患者の椎骨を含む撮影範囲W22と重なる範囲W12について第1の実施形態の位置合わせ処理と同じ方法により3次元画像V1と比較3次元画像V2の位置合わせを行う。そして、位置合わせをした範囲12について、第1の実施形態のS08からS10と同様に、3次元画像V1と比較3次元画像V2の互いに対応する位置の断層画像を生成し表示する。
第4の実施形態によれば、3次元画像V1および比較3次元画像V2の異なる範囲について第3特徴量が算出されている場合であっても、3次元画像V1および比較3次元画像V2の第3特徴量が算出されている範囲が重なる部分があれば、本明細書の3次元画像V1と比較3次元画像V2の第3特徴量の位置合わせ方法を適用することができる。そして、3次元画像V1および比較3次元画像V2のいずれかの必要な部分にのみ第3特徴量を算出することで、本実施形態の位置合わせを適用することができるため、計算負荷を抑制することができる。
なお、第4の実施形態の変形例として、3次元画像V1と比較3次元画像V2の各椎骨中心線A1、A2に沿った撮影範囲の重複する部分の一部のみについて第3特徴量が算出されている場合、第1の実施形態におけるSSD法または第2の実施形態における動的計画法により算出した各シフト量を用いて、3次元画像V1と比較3次元画像V2の各椎骨中心線A1、A2に沿った撮影範囲の重複する部分のうち、3次元画像V1と比較3次元画像V2のいずれか一方もしくは両方に第3特長量が算出されていない部分についても3次元画像V1と比較3次元画像V2の中心軸Z’の位置を互いに対応付けてもよい。
例えば、図12において、3次元画像V1と比較3次元画像V2が同じ撮影範囲W1で撮影されたものとする。そして、3次元画像V1については、撮影範囲W1の全範囲に対して第3特徴量が算出され、比較3次元画像V2については、撮影範囲W1の一部の範囲W22だけ第3特徴量が算出されたとする。なお、比較3次元画像V2については、撮影範囲W1を構成する範囲W21、W22、W23の全てに中心線A2の抽出および、中心線A2に沿ったX’Y’Z’座標系が設定されているものとする。
この場合、位置合わせ処理の過程で、位置合わせ部17は、まず、W22の範囲だけ、第2の実施形態における動的計画法により算出した中心軸Z’上の各位置zi’ごとにそれぞれシフト量szi’を算出し、3次元画像V1と比較3次元画像V2の互いに対応する中心軸Z’軸上の位置を算出する。ここでは、3次元画像V1の中心軸Z1’軸上に、Z軸方向にW22の範囲内、すなわち、頚椎から尾椎に向かう方向に0≦z’≦Z’の範囲で、等間隔にn個の位置P1i(0≦i<n、i,nは正の整数)を順番に設定するものとする。そして、3次元画像V1の中心軸Z1’上の各位置P1i(0≦i<n)について、P1i(0,0,zi’)に対応する比較3次元画像V2の中心軸Z2’上の位置P2i(0,0,zi’+szi’)を求める。
すると、中心軸Z’軸上の位置P20ではシフト量sz0’が算出され、中心軸Z’軸上の位置P2n−1ではシフト量szn−1’が算出される。
ここで、第4の実施形態の変形例では、図12に示すように、比較3次元画像V2では第3特徴量が算出されていない範囲W21について、P10におけるシフト量sz0’を用いて、比較3次元画像V2の中心軸Z2’上の位置P2―h(0,0,z’+sz0’)を、3次元画像V1の中心軸上の位置P1―h(0,0,z’)に対応する位置として対応付ける。同様に、図12に示すように、比較3次元画像V2では第3特徴量が算出されていない範囲W23について、P10におけるシフト量szn−1’を用いて、比較3次元画像V2の中心軸Z2’上の位置P2n−1+k(0,0,z’+szn−1’)が、3次元画像V1の中心軸上の位置P1n−1+k(0,0,z’)に対応する位置として対応付ける。
このように、3次元画像V1と比較3次元画像V2の椎骨中心線A1、A2に沿った一部分についてのみ、本明細書の3次元画像V1から算出された第3特徴量と比較3次元画像V2から算出された第3特徴量による位置合わせ処理が行われた場合であっても、本明細書の位置合わせ部17の位置合わせ処理により算出された、3次元画像V1の中心軸上の位置に対する比較3次元画像V2の中心軸上の位置のシフト量を用いることで、3次元画像V1と比較3次元画像V2のいずれか一方もしくは両方に第3特長量が算出されていない部分についても比較的精度よく位置合わせを行うことができる。
また、第4の実施形態の変形例のように、第3特徴量を用いた位置合わせ処理を行った境界の位置である、中心軸Z’軸上の位置P20のシフト量sz0’を、位置合わせ処理を行っていない範囲W11,13のうち、P20に近い範囲W11について適用し、および中心軸Z’軸上の位置P2n−1のシフト量szn−1’を、位置合わせ処理を行っていない範囲W11,13のうち、P20に近い範囲W13について適用することで、シフト量の誤差を小さく抑えることができる。また、首や腰以下については、重力によって経時的に長さが変動することが少ないため、境界のシフト量でも対応できると考えられる。なお、第1の実施形態と同様にSSD法による3次元画像V1と比較3次元画像V2の中心線上の位置の位置合わせが行われた場合、図12に示すような、比較3次元画像V2では第3特徴量が算出されていない範囲W21、W23について、シフト量sを用いて、比較3次元画像V2の中心軸Z2’上の位置P2―h(0,0,z’+s)が、3次元画像V1の中心軸上の位置P1―h(0,0,z’)に対応する位置として対応付け、比較3次元画像V2の中心軸Z2’上の位置P2n−1+k(0,0,z’+s)が、3次元画像V1の中心軸上の位置P1n−1+k(0,0,z’)に対応する位置として対応付けてもよい。
医用画像位置合わせ装置10は、複数のコンピュータにより、画像取得部と、画像生成部と、椎骨中心線検出部と、第1特徴量算出部と、第2特徴量算出部と、第3特徴量算出部と、位置合わせ部と、表示制御部としての機能を分担する構成としてもよい。また、入力装置、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。
なお、上記各実施形態では、医用画像位置合わせ装置1内で3次元画像V1と比較3次元画像V2の位置合わせが行われ、対応する位置の断層画像のペアが複数生成されて記憶された状態で、ユーザの中心線上の位置の指定を受け付けて、指定された位置に対応する3次元画像V1と比較3次元画像V2のそれぞれの断層画像を表示している。この場合、比較読影するための断層画像のペアが予め全て生成されているため、表示処理を高速に行うことができる。しかし、本医用画像位置合わせ処理を開始するタイミングは種々の実装方法が可能であり、これに限られない。例えば、3次元画像V1の断層画像の読影の際に、GUIに位置合わせボタンをユーザに選択可能に表示し、ユーザがマウス等の入力装置で位置合わせボタンをクリックすることにより、不図示のサーバから比較3次元画像V2を取得し、上記各実施形態の医用画像位置合わせ処理を開始してもよい。
3次元画像は、本発明の第1特徴量、第2特徴量、第3特徴量を算出できるものであれば何でもよく、好ましくはCT装置により撮影された3次元画像があげられる。
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。